/
Автор: Рокафеллар Р.
Теги: алгебра математика математический анализ переводная литература издательство мир выпуклый анализ
Год: 1973
Текст
CONVEX ANALYSIS
by
R. Tyrrell Rockafellar
PRINCETON, NEW JERSEY
PRINCETON UNIVERSITY PRESS
1970
Р. Рокафеллар
Выпуклый анализ
Перевод с английского
А. Д. Иоффе и В. М. Тихомирова
ИЗДАТЕЛЬСТВО <МИР»
МОСКВА
19 73
УДК 512; 513; 517; 519
Первая монография, специально посвященная выпуклому
анализу — сформировавшемуся совсем недавно разделу мате-
матики, занимающему промежуточное положение между ана
лизом и геометрией и изучающему выпуклые функции и мно-
жества. Понятие выпуклости привлекло особое внимание иссле-
дователей в пятидесятые годы, когда выяснилось, какую ог-
ромную роль играет оно в задачах линейного и нелинейного
программирования, теории игр и теории оптимальных процессов.
Исследование выпуклых функций и множеств проводится
в книге во всех аспектах: алгебраическом, аналитическом,
топологическом и т. д. Большое внимание уделено приложе-
ниям и примерам.
Книга написана очень продуманно, с большим педагоги-
ческим мастерством. Автору удалось сочетать элементарность
изложения (рассматривается только конечномерный случай)
с глубиной и широтой охвата материала. Это делает его труд
доступным и интересным как для математиков — от студентов
до научных работников, так и для инженеров, экономистов
и других специалистов-прикладников.
Редакция литературы по математическим наукам
о 0223—017
041(01)—73
ПРЕДИСЛОВИЕ ПЕРЕВОДЧИКОВ
Термин «выпуклый анализ» возник недавно. Так стали назы-
вать раздел математики, занимающий промежуточное положение
между анализом и геометрией, в котором изучаются выпуклые мно-
жества и функции. Геометрические основания выпуклого анализа
были заложены в классических работах Минковского. Двадцатые
и тридцатые годы нашего столетия ознаменовались бурным разви-
тием теории выпуклых множеств. Итоги этого периода были под-
ведены в монографии Боннезена и Фенхеля (к сожалению, так и
не переведенной на русский язык).
Многие важные концепции выпуклой геометрии нашли свое
естественное завершение в функциональном анализе (теоремы Хана—
Банаха, Крейна—Мильмана и другие).
В шестидесятые годы начался новый этап в развитии выпуклого
анализа, продолжающийся и по сей день. На этом этапе ту же
степень завершенности, что ранее теория выпуклых множеств,
получила теория выпуклых функций. В результате возникла син-
тетическая теория, где аналитические и геометрические идеи сли-
лись в тесном и плодотворном единстве. Для нас нет сомнения в
том, что такие основные понятия выпуклого анализа, как сопряжен-
ная функция и субдифференциал, и такие его основные теоремы,
как теорема об инволютивности операции сопряжения или теоре-
ма о субдифференциале суммы функций, должен знать всякий
образованный математик, во-первых, ввиду их естественности, кра-
соты и важности, а во-вторых, в силу той все возрастающей ро-
ли, которую теория выпуклости играет в приложениях.
Книга американского математика Р. Т. Рокафеллара, чей лич-
ный вклад в новую дисциплину весьма значителен,— первая моно-
графия, посвященная выпуклому анализу. Большими ее достоин-
ствами являются широта охвата материала и простота изложения.
Автор изучает выпуклые множества и функции в простейшем случае
конечномерных пространств. Книга^ доступна начинающему: для
ее понимания вполне достаточно знать начала линейной алгебры.
Но она интересна и специалисту: на конечномерном случае можно
прочувствовать практически все существенные моменты общей
теории, а для желающих более глубоко познакомиться с ней имеется
весьма полный список литературы, снабженный тщательно проду-
5
ПРЕДИСЛОВИЕ ПЕРЕВОДЧИКОВ
манными комментариями. (Специально для русского издания автор
существенно дополнил список литературы и соответственно коммен-
тарии к нему.)
Отметим, что автор — чистый аналитик. Это, в частности, видно
из того, что в книге, столь насыщенной геометрическими понятиями
и рассуждениями, нет ни одного чертежа. Но вместе с тем изложе-
ние отличается подкупающей ясностью.
Книга написана не с узкими целями (для экономистов или инже-
неров) и не в расчете на какую-нибудь одну группу специалистов-
математиков; она предназначена для широкой аудитории, ибо, несом-
ненно, выпуклый анализ — это раздел, изучить который целесооб-
разно математикам самых различных направлений, и классических
и прикладных, и обязательно тем, чьи исследования связаны с эк-
стремальными задачами. Всем им книга принесет большую пользу.
ЭТА КНИГА ПОСВЯЩАЕТСЯ
ВЕРНЕРУ ФЕНХЕЛЮ
ИЗ ПРЕДИСЛОВИЯ АВТОРА
В последние годы при исследовании экстремальных задач, воз-
никающих в различных областях прикладной математики, все более
важную роль играют методы, связанные с понятием выпуклости.
Цель этой книги — ввести читателя в теорию выпуклых множеств
и функций. Основной упор при этом делается на приложения
к теории экстремальных задач.
Системы неравенств, нахождение минимумов или максимумов
выпуклых функций на выпуклых множествах, множители Лагран-
жа, теоремы о минимаксе, а также основные результаты относи-
тельно строения выпуклых множеств, непрерывности и дифферен-
цируемости выпуклых и седловых функций — вот примерно тема-
тика этой книги. Всюду особое внимание уделяется двойственности,
в частности фенхелевской двойственности выпуклых функций.
В книге представлено много нового материала. К примеру,
дается обобщение ряда теорем линейной алгебры, при котором
в роли линейных преобразований выступают выпуклые «бифунк-
ции», а «скалярное произведение» выпуклых множеств и функций
определяется при помощи экстремальных значений фенхелевской
теории двойственности. С каждой выпуклой бифункцией связы-
вается некоторая обобщенная задача выпуклого программирования.
Вводится сопряженный оператор для бифункций, что дает возмож-
ность построить теорию двойственности для выпуклых программ.
Общеизвестное соответствие между линейными преобразованиями
и билинейными функциями распространяется до соответствия
между выпуклыми бифункциями и седловыми функциями, и это
получает важные применения при исследовании седловых функций
и минимаксных задач.
В книге не затронут ряд тем, которые естественно было бы
отнести к выпуклому анализу, таких, как, скажем, теоремы о непо-
движных точках. Так сделано не потому, что эти результаты недо-
статочно красивы, и не потому, что они имеют меньшее значение для
приложений, а потому, что их включение потребовало бы привлече-
ния большого технического материала, лежащего в стороне от
основного русла книги.
Помимо чистых математиков, выпуклым анализом теперь инте-
ресуются экономисты, инженеры и многие другие специалисты-
7
ИЗ ПРЕДИСЛОВИЯ АВТОРА
прикладники. Ввиду этого мы старались вести изложение на срав-
нительно элементарном уровне и приводить подробные доказатель-
ства, а не предоставлять проводить их читателю в качестве упраж-
нения, как это можно делать в текстах, предназначенных для одних
лишь математиков. Всюду мы ограничиваемся случаем простран-
ства 0V* (n-мерных вещественных векторов), хотя многие резуль-
таты легко можно было бы сформулировать в гораздо более общем
виде, используя понятия функционального анализа. Сведения
относительно обобщений и дальнейшего развития тех результатов,
о которых говорится в книге, а также замечания исторического
и библиографического характера собраны в специальном разделе
в конце книги (перед списком литературы). Что касается математи-
ческой подготовки читателя, то для чтения большей части книги
достаточно знать линейную алгебру и основы анализа (сходящиеся
последовательности, непрерывные функции, открытые и замкнутые
множества, компактность и т. п.— все это в пространстве (Кп).
Однако, хотя никакого знакомства с более глубокими областями
абстрактной математики действительно не требуется, стиль книги7
рассчитан на определенную «математическую зрелость».
В начале книги помещены советы читателю, где описано содержа-
ние отдельных глав и параграфов и указаны возможные способы
отбора материала при чтении.
Эта книга выросла из курса лекций, прочитанного мною в Прин-
стонском университете весной 1966 г. Но в более широком смысле она
выросла из курса лекций, читанного пятнадцатью годами ранее
в Принстоне профессором Копенгагенского университета Верне-
ром Фенхелем. Лекции Фенхеля, отпечатанные ротапринтным спо-
собом, долго и верно служили многим исследователям основным,
а быть может, и единственным руководством по теории выпуклых
функций. Они оказали глубокое влияние и на мой собственный
образ мыслей, о чем свидетельствует хотя бы тот факт, какое боль-
шое внимание уделено в этой книге сопряженным выпуклым функ-
циям. Это и побуждает меня посвятить книгу Вернеру Фенхелю
как почетному соавтору.
Я хочу выразить мою глубокую благодарность профессору
Принстонского университета А. У. Таккеру, чьи поддержка и одоб-
рение были для меня главной опорой со студенческих лет. Между
прочим, именно профессор Таккер предложил название этой книги.
Я хочу поблагодарить доктора Торренса Д. Парсона, доктора
Нормана 3. Шапиро и мистера Линна Мак-Линдена, которые про-
смотрели всю рукопись и сделали ряд ценных замечаний. Я благо-
дарен также своим студентам из Принстонского и Вашингтонского
университетов, чья реакция на излагаемый материал привела
к внесению в изложение по ходу дела многочисленных улучшений.
ВВОДНЫЕ ЗАМЕЧАНИЯ
(советы читателю)
Не исключено, конечно, что какой-нибудь честолюбивый чита-
тель прочтет книгу от корки до корки, но, вообще говоря, она
на это не рассчитана. Материал книги организован по мере воз-
можности по тематическому принципу. Например, все результаты,
касающиеся относительной внутренности выпуклых множеств, вне
зависимости от их важности, собраны в одном месте (в § 6), а не
выводятся в разных местах по мере изложения основных тем.
Такой способ организации материала делает книгу более удобной
для справок — во всяком случае для тех, кто хоть немного знаком
с предметом. Тем не менее, и начинающий может использовать
книгу для того, чтобы постепенно войти в курс дела. Порядок глав
в основном соответствует логической линии изложения, но во
многих начальных параграфах имеется множество относящихся
к более поздним параграфам мелких деталей, в которых можно
завязнуть. Поэтому, чтобы использовать книгу в качестве введения
в предмет, нужно произвести соответствующий отбор материала.
Ниже указывается по главам, какие результаты в каждом пара-
графе являются по-настоящему существенными, а какие можно
(по крайней мере временно) опустить без ущерба для понимания.
Глава I. Основные понятия
Здесь определяются выпуклые множества и выпуклые функции
и обсуждаются связи между ними. Особое внимание уделено крите-
риям выпуклости. Приводится несколько важных примеров и пока-
зывается, как можно получать выпуклые множества и функции,
исходя из заданных, при помощи различных операций, таких, как
сложение или взятие выпуклой оболочки.
Одна из важных идей, которую нужно усвоить, состоит в том, что
можно взаимно однозначно сопоставить каждой выпуклой функции
в R,n определенное выпуклое множество в Rn+I — ее надграфик,
а каждому выпуклому множеству в R” — ее индикаторную функ-
цию. Эти соответствия позволяют легко переходить от геометриче-
ского к аналитическому подходу и обратно. Обычно, когда имеют
дело с функциями, их мыслят себе геометрически как их графики.
9
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
Однако в случае выпуклых функций содержательнее представлять
их себе как надграфики, а не графики.
Большая часть материала главы, хотя и элементарна, служит
базой для всех остальных глав, однако некоторые отдельные места
могут быть опущены читателем, впервые сталкивающимся с предметом.
В § 1 («Аффинные множества») излагаются необходимые све-
дения из линейной алгебры. Некоторые понятия могут быть не
совсем знакомы читателю. Поэтому § 1 следует читать подряд
вплоть до определения барицентрических координат (перед теоре-
мой 1.6). Остальная часть § 1, касающаяся аффинных преобразо-
ваний, не является обязательной для начинающего читателя. Весь
§ 2 («Выпуклые множества и конусы»), равно как и первая половина
§ 3 («Алгебра выпуклых множеств») являются существенными.
Что же касается второй части § 3, начиная с теоремы 3.5, то затра-
гиваемые там вопросы имеют меньшее значение. В § 4 («Выпуклые
функции») нельзя опустить ничего, разве что некоторые примеры.
Зато конец § 5 («Операции над функциями») — после теоремы 5.7 —
далее нигде не используется.
Глава II. Топологические свойства
Свойства выпуклости, рассматриваемые в первой главе, являют-
ся по преимуществу алгебраическими. Мы показываем там, что
выпуклые множества и функции образуют классы объектов, кото-
рые переходят в себя при различных операциях алгебраического
характера. Во второй же главе выпуклость изучается в связи
с топологическими понятиями внутренности, замыкания, непре-
рывности.
Замечательная простота топологического строения выпуклых
множеств и функций основывается на следующем, интуитивно
очевидном факте. Пусть один из концов некоторого прямолиней-
ного отрезка лежит на границе выпуклого множества, а другой —
во внутренности этого множества. Тогда и все промежуточные точки
этого отрезка лежат во внутренности нашего множества. Приве-
денный выше факт чрезвычайно важен при исследовании топологи-
ческих свойств выпуклых множеств даже тогда, когда мы имеем
дело с конфигурациями из выпуклых множеств, имеющих пустые
внутренности, ибо для выпуклых множеств можно ввести понятие
«относительной внутренности». Все это обсуждается в § 6 («Относи-
тельная внутренность выпуклых множеств»). Важнейшие резуль-
таты, которые необходимо усвоить при изучении выпуклого анали-
за, представлены первыми четырьмя теоремами § 6.
В остальной части § 6, начиная с теоремы 6.5, приводятся
многочисленные формулы для относительной внутренности выпук-
лых множеств, получаемых разного рода способами из других
выпуклых множеств. Там устанавливается несколько существенных
ю
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
для дальнейшего результатов. Таковы, например, следствия 6.5.1
и 6.5.2, весьма часто упоминаемые потом в тексте, и следствие 6.5.2,
используемое при доказательстве важной теоремы отделимости
в § 11. Но эти следствия можно на время отложить и вернуться
к. ним, когда в этом возникнет надобность.
Основная тема § 7 («Замыкания выпуклых функций») — полу-
непрерывность снизу. В применении к выпуклым функциям это
понятие более важно, чем понятие непрерывности. Дело в том,
что оно определяется непосредственно через надграфик: выпуклая
функция полунепрерывна снизу тогда и только тогда, когда ее над-
график есть замкнутое множество. Если выпуклая функция не
является полунепрерывной снизу, ее можно сделать таковой, просто
переопределив ее значения (однозначно определенным образом)
в некоторых граничных точках ее «эффективного множества». Так
мы приходим к операции замыкания выпуклой функции, соответ-
ствующей, в том случае когда функции являются собственными,
операции замыкания ее надграфика (как подмножества в Rn+1).
Весь § 7, за исключением теоремы 7.6, является очень существенным
для понимания дальнейшего.
Это также относится и к § 8 («Рецессивные конусы и неогра-
ниченность»), хотя материал, излагаемый в этом параграфе, исполь-
зуется и не столь повсеместно, как в случае § 6 и 7. Первая часть
§ 8 посвящена объяснению того, что неограниченные выпуклые
множества устроены точно так же, как ограниченные, за тем исклю-
чением, что у них имеются «бесконечно удаленные» точки. Во вто-
рой части § 8 это соображение применяется к надграфикам выпук-
лых функций для получения результатов, касающихся свойств
роста выпуклых функций. Эти свойства существенны при доказа-
тельстве ряда основополагающих теорем существования, встре-
чающихся на протяжении всей книги. Впервые такие теоремы
появляются в § 9 («Некоторые критерии замкнутости»).
Вопрос, ответу на который посвящен § 9, таков: в каком случае
образ замкнутого выпуклого множества при линейном преобразова-
нии является замкнутым множеством? Этот вопрос очень важен
при исследовании теорем существования в теории экстремальных
задач. Важнейшие результаты представлены теоремами 9.1 и 9.2
и следствиями из них. По-видимому, читателю следует пропустить
весь параграф при первом чтении, с тем чтобы вернуться к нему
позже, в связи с § 16, где впервые используются результаты § 9.
Лишь одна, первая, теорема из § 10 («Непрерывность выпуклых
функций») является важной для выпуклого анализа в целом. Любо-
пытные теоремы о непрерывности и сходимости в основном интерес-
ны лишь сами по себе. Они применяются лишь в § 25 и 26 при
выводе теорем непрерывности и сходимости субдифференциалов
и градиентных отображений выпуклых функций, а также в § 35
при выводе подобных теорем для седловых функций.
11
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
Глава III. Двойственность
Двойственность между точками и гиперплоскостями играет
весьма важную роль во многих разделах анализа и геометрии, но,,
пожалуй, нигде она не играет роли столь замечательной, как
в выпуклом анализе. Основой теории двойственности выпуклых
множеств является тот факт, что замкнутое выпуклое множество
есть пересечение замкнутых полупространств, его содержащих.
В переводе на язык функций этот факт звучит так: выпуклая зам-
кнутая функция есть поточечная верхняя грань аффинных функций,
ее не превосходящих. Равносильность этих фактов сразу следует
из рассмотрения надграфиков, и оба они очень важны, хотя первый
интуитивно очевиднее. Вторая формулировка, касающаяся функ-
ций, имеет то преимущество, что она непосредственно приводит
к понятию двойственности между замкнутыми функциями, а именно
двойственности по Фенхелю.
Фенхелевская двойственность включает в себя в некотором
смысле в качестве частного случая двойственность по полярности
между замкнутыми конусами. Но аналогичного ему соотношения
двойственности для произвольных выпуклых множеств нет. Такое
соответствие можно установить между выпуклыми множествами,
с одной стороны, и положительно однородными выпуклыми функ-
циями (их опорными функциями) — с другой. По этой причине
в приложениях часть бывает удобнее описывать ситуацию в терми-
нах выпуклых функций, а не выпуклых множеств. При этом гео-
метрические соображения по-прежнему можно, разумеется, приме-
нять к их надграфикам.
Основания теории двойственности заложены в § 11 («Теоремы
отделимости»). Весь материал этого параграфа, за исключением
теоремы 11.7, очень важен для дальнейшего. В § 12 («Сопряженные
выпуклые функции») определяется двойственность для функций
и приводятся примеры двойственных пар. Фундаментальное значе-
ние имеют теоремы 12.1 и 12.2, их знать необходимо. Остальная
часть § 12 не столь обязательна.
Двойственность, введенная в § 12, применяется в § 13 («Опор-
ные функции») для получения результатов о двойственности между
выпуклыми множествами и положительно однородными выпуклыми
функциями. Находится выражение для опорных функций эффек-
тивных множеств и множеств уровня выпуклой функции через
сопряженную функцию f* и ее рецессивную функцию. Основные
результаты сосредоточены в теоремах 13.2, 13.3 и 13.5. Последние
две теоремы предполагают тщательную проработку § 8. Остальные
теоремы и следствия из них можно пропустить и возвращаться
к ним по мере надобности.
В § 14 («Поляры выпуклых множеств») изучается частный
случай двойственного соответствия для выпуклых функций — поляр-
12
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
ное соответствие для выпуклых конусов, которое потом распростра-
няется до полярного соответствия между произвольными выпуклы-
ми множествами, содержащими начало координат. Полярное соот-
ветствие для выпуклых конусов имеет в дальнейшем некоторые
приложения, однако полярность более общей природы сколько-
нибудь ощутимым образом в дальнейшем изложении не участвует.
Исключение составляет лишь § 15 («Поляры выпуклых функций»),
где обсуждается связь этой полярности с теорией норм в простран-
стве R,”. Целью § 15—помимо исследования двойственного соответ-
ствия Минковского для норм и некоторых смежных результатов—
является построение при помощи теоремы 15.3 и следствия
15.3.1 дальнейших примеров сопряженных выпуклых функций.
Но если читатель не интересуется специально теорией прибли-
жений, он может из обоих § 14, 15 прочитать лишь теорему 14.1.
Теоремы § 16 («Двойственные операции») показывают, что все
операции над функциями, введенные в § 5, распадаются на двой-
ственные пары операций. Наиболее значим для всего дальнейшего
результат теоремы 16.4, где описана двойственность между опера-
цией сложения и операцией инфимальной конволюции. Этот резуль-
тат очень существен и для изучения систем неравенств в § 21 и для
исчисления субградиентов, которое строится в § 23, и вообще
для теории экстремальных задач, о которой говорится в шестой гла-
ве. Вторые части теорем 16.3, 16.4 и 16.5 (где даются условия, при
которых достигаются относительные минимумы в определениях
операций, так что в формулах двойственности можно отбросить
операцию замыкания) опираются на результаты § 9. Все это можно
при первом чтении опустить, равно как и лемму 16.2 и следствия
из нее.
Глава IV. Представления и неравенства
Цель этой главы — получение разного рода результатов о пред-
ставлении выпуклых множеств в виде выпуклых оболочек неко-
торого множества точек и направлений. Затем эти результаты
применяются к исследованию систем линейных и нелинейных
неравенств. В большей части главы по существу используется
конечномерность или наличие той или иной степени линейности.
Читатель может пропустить эту главу целиком без ущерба
для понимания дальнейшего. Однако мы советуем ему ознакомить-
ся с важнейшими результатами этой главы. Об этих результатах
мы сейчас и расскажем.
Та особая роль, которую играет конечность числа измерений
в разных вопросах, связанных с выпуклостью, вскрывается в § 17
(«Теорема Каратеодори»). Важнейшие результаты этого парагра-
фа— это теоремы 17.1 и 17.2. В § 18 («Крайние точки и фасады
выпуклых множеств») рассматриваются вопросы о представлении
точек заданного выпуклого множества через крайние точки, высту-
13
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
лающие точки, крайние направления и касательные гиперплоско-
сти. Все результаты § 18 используются в следующем § 19 («Поли-
эдральные выпуклые множества и функции»). Они находят приложе-
ние также при изучении градиентов (§ 25) и при исследовании
на минимум выпуклых функций (§ 32). Наиболее существенные
результаты § 19 — это теоремы 19.1—19.3 и следствия из них.
В § 20 («Некоторые приложения теории полиэдральной выпук-
лости») мы показываем, как многие теоремы выпуклого анализа
могут быть усилены в том случае, когда даже не обязательно все,
а хотя бы некоторые выпуклые функции являются полиэдральны-
ми. Теоремы 20.1 и 20.2 используются в следующем § 21 для срав-
нительно трудного доказательства усиленного варианта теоремы
Хелли и некоторых других результатов, с помощью которых дока-
зывается потом в § 27 и 28 существование множителей Лагранжа
и оптимальных решений выпуклых программ. Теорема 20.1 опирает-
ся на § 9, а теорема 20.2 — нет. Однако понять фундаментальные
результаты § 21 («Теорема Хелли и системы неравенств») можно
и без проработки § 20 и даже § 18 и 19. При этом надо просто про-
пустить теоремы 21.2, 21.4 и 21.5.
Конечные системы уравнений и линейных неравенств, строгих
и нестрогих,— вот предмет исследования § 22 («Линейные нера-
венства»). Результаты этого параграфа весьма специфичны и далее
нигде в книге не применяются. В начале параграфа большинство
нужных результатов устанавливается как следствие замечатель-
ных теорем §21, а затем показывается, как те же самые результаты, -
и даже с некоторыми усовершенствованиями, могут быть получены
при помощи совершенно элементарных чисто алгебраических рас-
смотрений, вовсе не использующих теории выпуклости.
Глава V. Дифференцирование
Иногда оказывается возможным провести опорную гиперплос-
кость к выпуклому множеству, хотя касательную гиперплоскость
(в смысле классического анализа) провести нельзя. Аналогичным
образом субградиенты выпуклых функций, соответствующие опор-
ным гиперплоскостям к надграфикам выпуклых функций, оказы-
ваются более гибким аппаратом при описании выпуклых функций,
чем градиенты, которые обычно не существуют.
Теория субдифференцирования выпуклых функций, начала кото-
рой закладываются в § 23 («Производные по направлениям и суб-
градиенты»), является основным средством анализа экстремальных
задач, и ее следует освоить обязательно. Читатель может пропу-
стить теоремы 23.6, 23.7, 23.9 и 23.10, но ему следует проработать
теорему 23.8 по меньшей мере для неполиэдрального случая, для
которого дается другое, более элементарное доказательство. Боль-
шая часть § 23 не зависит от результатов четвертой главы.
14
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
Основной результат о связи между субградиентами и обычными
градиентами устанавливается теоремой 25.1, к изучению которой
можно перейти немедленно вслед за проработкой § 23. Результаты
§ 24—26 в книге используются лишь в § 35, где аналогичные
результаты доказываются для седловых функций. Оставшаяся
часть этой главы носит замкнутый характер.
В § 24 («Непрерывность и монотонность субдифференциалов»)
излагается элементарная теория левых и правых производных от
замкнутых собственных выпуклых функций одного переменного.
Мы показываем, что графики субдифференциалов таких функций
можно охарактеризовать как «полные неубывающие кривые». Свой-
ства непрерывности и монотонности обобщаются далее на п-мерный
случай.
Помимо теоремы, о которой уже говорилось выше, в § 25 («Диф-
ференцируемость выпуклых функций») доказывается тот факт, что
для конечной выпуклой функции на открытом множестве обычное
градиентное отображение существует и непрерывно почти всюду.
Вопрос о том, когда градиентное отображение совпадает с субгра-
диентным и когда оно является взаимно однозначным, рассматри-
вается в § 26 («Преобразование Лежандра»). Главная цель § 26—
выяснить, можно ли двойственную выпуклую функцию вычислять,
хотя бы в принципе, по рецептам классического анализа, обращая
градиентное отображение. Здесь же обсуждаются связи между
гладкостью и строгой выпуклостью. Теория, развиваемая в § 25
и 26, опирается на некоторые факты § 18, но совершенно не зависит
от остальных параграфов гл. 4.
Глава VI. Экстремальные задачи с ограничениями
Многие результаты нашли свое место в этой книге лишь потому,
что их можно применить к теории экстремальных задач. С § 27
(«Минимумы выпуклых функций»),начинается систематическое изу-
чение этой теории. Его открывает теорема 27.1, в которой сумми-
руются полученные ранее результаты, имеющие отношение к мини-
мизации выпуклых функций. В остальных теоремах этого парагра-
фа обсуждаются различные ситуации, при которых выпуклая
функция достигает минимума на заданном выпуклом множестве.
Весь параграф следует прочитать при первом чтении, за исключе-
нием, быть может, той его части, где речь идет о полиэдральной
выпуклости.
В § 28 («Обыкновенные выпуклые программы и множители
Лагранжа») рассматривается задача о минимуме выпуклой функ-
ции при ограничениях, заданных конечной системой выпуклых
неравенств. Основное содержание параграфа связано с изучением
специальных множителей Лагранжа, называемых векторами Куна—
Таккера. Читатель может опустить здесь места, связанные с огра-
15
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
видениями, задаваемыми линейными уравнениями; кроме того,
вместо теоремы 28.2 можно рассмотреть ее частный случай —
следствие 28.2.1, которое доказывается существенно проще.
Но больше ничего в этом параграфе пропустить нельзя, разве что
примеры.
В § 29 («Бифункции и обобщенные выпуклые программы») теория
множителей Лагранжа обобщается, а в ряде отношений и углуб-
ляется. Вводится понятие выпуклой бифункции, которое можно
рассматривать как обобщение понятия линейного преобразования.
Это понятие применяется для построения теории возмущений
экстремальных задач. Для измерения эффекта возмущения исполь-
зуются обобщенные векторы Куна — Таккера. Теоремы 29.1, 29.3
и следствия из них содержат все факты, нужные в дальнейшем.
В § 30 («Сопряженные бифункции и двойственные программы»)
теория двойственности в экстремальных задачах получает даль-
нейшее развитие. Практически все в этом параграфе, вплоть до
теоремы 30.5, весьма важно. Остающаяся часть параграфа посвя-
щена примерам и при желании читатель может ее пропустить.
В § 31 («Теорема двойственности Фенхеля») мы продолжаем изу-
чать теорию двойственности. Главная цель § 31 — дать еще
несколько примеров, интересных своими приложениями. После-
дующий материал книги не зависит от § 31, за исключением § 32.
В § 32 («Максимумы выпуклых функций») приводятся резуль-
таты самого различного характера. Доказательства этого параграфа
не опираются на результаты предыдущих параграфов шестой главы,
но требуют полного понимания § 18 и 19. В последующем изложе-
нии результаты § 32 не участвуют.
Глава VII. Седловые функции и минимакс
Седловые функции — это функции, являющиеся выпуклыми
по одним и вогнутыми по другим переменным, и связанные с ними
экстремальные задачи — это задачи на минимакс, а не просто
задачи на минимум или максимум. Теорию таких минимаксных
задач можно весьма далеко продвинуть, следуя тому же пути, что
и в случае задачи минимизации выпуклых функций. Оказывается,
что общая минимаксная задача для (регулярной в некотором надле-
жащем смысле) седловой функции есть в точности лагранжева
задача о седловой точке, связанная с некоторой обобщенной (зам-
кнутой) выпуклой программой. Поэтому, как и следует ожидать,
центральную роль играют выпуклые бифункции в рассмотрениях,
связанных с седловыми функциями, так что от читателя требуется
достаточно глубокое понимание § 29 и 30.
Седловые функции на OV” X Rn соответствуют выпуклым бифунк-
циям из Rm в Rn, подобно тому как билинейные функции на Rm X Rn
соответствуют линейным преобразованиям из Rm в R”. Этот факт
16
ВВОДНЫЕ ЗАМЕЧАНИЯ (СОВЕТЫ ЧИТАТЕЛЮ)
и составляет содержание § 33 («Седловые функции»). В § 34 («Замы-
кания и эквивалентные классы») исследуются некоторые операции
замыкания для седловых функций, аналогичные соответствующим
операциям для выпуклых функций. Показывается, что любая
конечная седловая функция, определенная на произведении выпук-
лых множеств в X И”, задает единственный класс эквивалент-
ности замкнутых выпуклых функций, определенных на всем про-
странстве R"1 X R". Можно не заниматься специальным изуче-
нием этого факта (находящего свое выражение в теоремах 34.4
и 34.5), а переходить сразу к самой теории минимакса.
Результаты относительно седловых функций, доказываемые
в § 35 («Непрерывность и дифференцируемость седловых функ-
ций»), в основном являются аналогами или обобщениями резуль-
татов, полученных в § 10, 24 и 25 для выпуклых функций, и в даль-
нейшем изложении не используются.
В § 36 («Задачи на минимакс») рассматриваются седловые точки
и седловые значения. Здесь объясняется, как изучение этих вопро-
сов можно свести к исследованию выпуклых и вогнутых"Программ,
двойственных друг другу. В § 37 («Сопряженные седловые функции
и теоремы о минимаксе») выводятся теоремы существования для
седловых точек и седловых значений. Они формулируются в терми-
нах двойственности соответствующих седловых функций и операции
обращения для бифункций.
Глава VIII. Выпуклая алгебра
В § 38 («Алгебра бифункций») получает дальнейшее развитие
аналогия между выпуклыми бифункциями и линейными преобра-
зованиями, которая была столь важна в гл. VI и VII. С помощью
обобщенного понятия скалярного произведения, основанного на
фенхелевской теории двойственности, исследуются «сложение»
и «умножение» бифункций. Замечательный и нетривиальный факт
состоит в том, что при ’ операции сопряжения эти естественные
операции для бифункций сохраняются, как и в линейной алгебре.
В § 39 («Выпуклые процессы») результаты относительно бифунк-
ций уточняются для одного класса выпуклозначных отображений,
которые еще более похожи на линейные отображения.
2
Р. Рокафеллар
ГЛАВА I
Основные понятия
§ 1. Аффинные множества
На протяжении всей книги R. обозначает вещественную прямую,
а Шп — обычное векторное пространство n-мерных векторов х —
= (5i> • • •> £п)- За исключением нескольких случаев, оговаривае-
мых специально, все наши рассмотрения проводятся в простран-
стве 0V*. Скалярное произведение двух векторов х и х* из
задается формулой
{х, х*) = ^ + ... +U*.
Один и тот же символ А употребляется для обозначения веществен-
ной матрицы размера т X п и соответствующего ей линейного
отображения х-^Ах из R” в Rm. Транспонированная матрица
и соответствующее ей сопряженное линейное отображение из R.m
в R“ обозначаются через А*. При этом имеет место тождество
{Ах, у*) = {х, А *у*
(Символ * при векторе не имеет никакого операторного смысла*
Все наши векторы „ можно понимать как векторы-столбцы при
перемножении матриц. Символ * при векторах мы будем время
от времени использовать просто для того, чтобы подчеркнуть'
хорошо известную двойственность между векторами-точками
и векторами — линейными функционалами.) В конце доказа-
тельства ставится знак .
Если х и у — две различные точки в R”, совокупность точек
вида
(1 — X) х + Ку = х + X {у — х), X 6 R,
называется прямой, проходящей через точки х и у. Подмножество М
пространства Rn называется аффинным множеством, если (1—X) х +
+ Ку g М для всех х £ М, у € М и X £ R. (Вместо «аффинное’
множество» говорят также «аффинное многообразие», «линейное-
многообразие».) i
19
2*
ГЛ. I. ОСНОВНЫЕ понятия
Пустое множество 0 и все пространство (Кп представляют собой
крайние примеры аффинных множеств. Аффинным является также
и множество, состоящее из одной точки. Вообще же аффинное
множество вместе с любыми своими двумя различными точками
содержит всю прямую, проходящую через эти точки. Интуитивно
аффинное многообразие — это бесконечное «неискривленное» много-
образие, подобное прямой или плоскости в трехмерном про-
странстве.
Геометрия аффинных множеств может быть развита на основе
теорем линейной алгебры, касающихся подпространств. Точное
соответствие между аффинными множествами и подпространствами
описывается следующими двумя теоремами.
Теорема 1.1. Подпространства в суть аффинные множе-
ства, проходящие через нуль.
Доказательство. Каждое подпространство содержит
нуль и, будучи замкнутым относительно операций сложения
й умножения на числа, является, очевидно, аффинным множеством.
Обратно, допустим, что М есть аффинное множество, содержащее
нуль. Тогда для любых х £ М и X £ R имеем
кх = (1 _ х) о + кх е м,
и, значит, множество М замкнуто относительно умножения на
числа. Далее, если х £ М и у fz М, то
y(*+0) = y*+(l-j) У^М
и, следовательно,
х+у = 2 + £М.
Таким образом, М замкнутой относительно операции сложения.
Для М cz и a g сдвигом, или транслянтом множества М
на вектор а (короче, а-транслянтом множества М) называется
множестве
М + а ={х + а | х 6 7И}.
Легко видеть, что транслянт аффинного множества есть снова
аффинное множество.
Говорят, что аффинное множество М. параллельно аффинному
множеству L, если М = L + а для некоторого а. Ясно, что отно-
шение «М параллельно L» есть отношение эквивалентности в мно-
жестве всех аффинных множеств в ЙЛ Заметим, что введенное нами
только что понятие параллелизма является более узким, чем обыч-
ное: у нас, к примеру, прямая не может быть параллельна плоско-
сти. Мы говорим лишь о параллельных прямых, параллельных
плоскостях и т. п.
20
§ 1. АФФИННЫЕ МНОЖЕСТВА
Теорема 1.2. Каждое непустое линейное многообразие М
параллельно единственному подпространству L. Это подпростран-
ство задается формулой
L = М — М ={х — у ] х £ М, у £ М}.
Доказательство. Покажем, во-первых, что М не может
быть параллельно двум различным подпространствам. Действи-
тельно, подпространства Ц и Ь2, параллельные М, будут парал-
лельны друг другу, так что L2 = + а при некотором а. Посколь-
ку 0 6 L2, мы получаем, что —a G Li и, значит, а £ М, т. е. Li zz>
so Lt + а = L2. Единственность доказана. Далее, для у £ М рас-
смотрим (—у)-транслянт М. В силу теоремы 1.1 и уже доказанной
единственности L — М — у есть (единственное) подпространство,
параллельное М. Так как L = М — у фактически не зависит
от у 6 М, мы получаем L = М — А1.И
Размерность dim М непустого аффинного множества М считается
равной размерности подпространства, параллельного ему. Раз-
мерность пустого множества считается равной —1. Аффинные
множества размерностей 0, 1 и 2 называются соответственно точ-
ками, прямыми и плоскостями. Аффинное множество размерности
п — 1 называется гиперплоскостью. Гиперплоскости весьма важны,
поскольку они играют роль, в некотором смысле двойственную
роли обычных точек.
Гиперплоскости и другие аффинные множества могут быть
заданы при помощи линейных функций и линейных уравнений.
Проще всего здесь воспользоваться понятием ортогональности
в Rn. Напомним, что по определению х ± у, если {х, у) = 0.
Если нам задано подпространство L cz lftn, то множество таких
векторов х из R”, что х ± L (т. е. х ± у для любого у £ L), назы-
вается ортогональным дополнением к L и обозначается через ZA.
Как легко видеть, /А — также подпространство и
dim L + dim ZA = п.
Ортогональным дополнением (ZA)-l- к ZA будет снова L; если
bi.....bm — базис в L, то условие х J. L эквивалентно условию
X ± bi.....х ± Ьт. В частности, (п — 1)-мерные подпростран-
ства в R” суть ортогональные дополнения одномерных подпро-
странств L, т. е. подпространств, базис которых состоит из одного
ненулевого вектора b (единственного с точностью до ненулевого
скалярного множителя). Таким образом,. (п — 1)-мерные подпро-
странства — это множества точек вида {х ] х ± Ь}, где b #= 0,
а гиперплоскости — их транслянты. Но
{х | х j_ b} + а = {х + а | (х, Ь) = 0} =
= {у 1 — а, Ь) = 0} — {у \(у, b) = Р),
где р ={а, Ь). Это приводит к следующей характеристике гипер-
плоскостей.
21
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
Теорема 1.3. Для заданных числа Р С Dln и ненулевого век-
тора b £ Din множество
И (p,fe) = Н ={х |(х, b} = Р}
есть гиперплоскость в 1КП. Обратно, каждая гиперплоскость может
быть задана таким образом, причем b и $ единственны с точностью
до общего ненулевого множителя.
Вектор Ь, фигурирующий в теореме 1.3, называется вектором,
нормальным к гиперплоскости Н. Любой другой нормальный к Н
вектор отличается от b лишь положительным или отрицательным
множителем. Это можно интерпретировать так: всякая гиперпло-
скость имеет «две стороны», как прямая в Di2 или плоскость в RA
Отметим, что плоскость в R4 уже не двусторонняя: она не делит
[К4 на две части, равно как прямая не делит Di3 на две части.
Следующая теорема характеризует аффинные множества в 0<п
как множества решений линейных неоднородных уравнений
с п переменными.
Теорема 1.4. Пусть заданы вектор b £ R и матрица В
размера т X п. Множество
М ={х6ЛГ |Вх= Ь}
есть аффинное множество в Din. Обратно, любое аффинное множе-
ство может быть представлено таким образом.
Доказательство. Если х £ М, у £ М и X £ Di, то для
z=(l — X) х + Ху имеет место соотношение
Bz = (1 — X) Вх + ХВу = (1 — X) b + ХЬ = Ь,
т. е. z £ М. Следовательно, М — аффинное множество.
Обратно, пусть М — произвольное аффинное множество, не
совпадающее с 0<п, и L — подпространство, ему параллельное,
и пусть bi, . . ., bm — базис в L1. Тогда
L = (Мр- = {х | х ± bi, . , ., х ± Ьт} =
= {х |(х, Ьг} — 0, i = 1, . . т} ~ {х | Вх = 0},
где В есть матрица размера т X п, строками которой являются
bi, . . ., bm. Поскольку М параллельно L, существует вектор
а £ Rn, такой, что
М ~L-\-a={x\B(x — а) = 0} = {х | Вх = Ь},
где b = Ва. (Аффинные множества Din и 0 могут быть представле-
ны в указанной в теореме форме, если, скажем, в качестве В взять
нулевую tn х п-мятпипу и принять b = 0 в случае Din и b =£ 0
в случае 0.)И
22
§ 1. АФФИННЫЕ МНОЖЕСТВА
Отметим, что в теореме 1.4 у нас
т
Л1 = {х|(х; 6г> = 0/, i= 1, ..., = Q Hi,
1=1
где bt есть i-я строка матрицы В, рг — i-я компонента вектора b и
Ht = {х 1(х, bi) = РО-
Каждое Н( есть либо гиперплоскость (Ьг Ф 0), либо пустое множе-
ство (bj = 0, Р; =7^= 0), либо Rn {bi = 0, рг = 0). Пустое множество
можно рассматривать как пересечение параллельных гиперпло-
скостей, а — как пересечение пустого множества гиперплоско-
стей. В итоге получаем
Следствие 1.4.1. Каждое аффинное множество в Rn есть
пересечение конечного множества гиперплоскостей.
Аффинное множество М в теореме 1.4 допускает также следую-
щее двойственное представление. Пусть Ь[.........Ьп — столбцы
матрицы В. Тогда
М ={х = (|ь . . ., U I W't + + Inbn = b}.
Очевидно, что пересечение любого числа аффинных множеств
снова есть аффинное множество. Таким образом, для всякого
множества S с существует единственное минимальное аффин-
ное множество, содержащее S (а именно пересечение совокупности
всех аффинных множеств М, таких, что М о S). Это множество
называют аффинной оболочкой множества S и обозначают через
aff S. Читатель может доказать в качествё упражнения, что aff S
состоит из всех векторов вида + . . . + ).тхт, где х, Е S и
+ • • . + Кп = 1.
Множество, состоящее из т + 1 точек Ьо, . ., Ьт, назы-
вают аффинно независимым, если dim aff {b0, blt . . ., bm} = m.
Очевидно, что
aff {b0, blt . . ., bm} = L + bo,
где
L = aff {0, bi — b0......bm — b0}.
В силу теоремы 1.1 такое множество L есть минимальное подпро-
странство, содержащее bi — b0, . . ., Ьт — Ьо. Его размерность
равна т в том и только том случае, когда эти векторы линейно неза-
висимы. Таким образом, точки b0, bi, . . ., bm аффинно независимы
тогда и только тогда, когда векторы bi — b0, . . ., Ьт — Ьо линей-
но независимы.
Все утверждения о линейной независимости очевидным образом
превращаются в утверждения об аффинной независимости. В част-
ности, любую совокупность т 1 аффинно независимых точек
в R можно дополнить до аффинно независимого множества, состоя-
23
ГЛ. I. ОСНОВНЫЕ понятия
щего из п + 1 точек. Любое m-мерное аффинное множество М есть
аффинная оболочка т + 1 точек (следует взять транслянты точек,
соответствующих базису подпространства, параллельного М).
Отметим, что если М = aff {b0, bi, . . bm], то векторы под-
пространства, параллельного М, суть линейные комбинации век-
торов bi — bo, . bm — b0. Таким образом, векторы множе-
ства М можно представить в виде
х = Xt (bi — b0) + . . . + “кт (Ьт — Ьо) + Ьо,
т. е. в виде
• х = /~0Ь0 + Xibi + . . . 4~ hmbm, + • + ^ = Ь
Коэффициенты в такой записи определяются по х единственным
образом тогда и только тогда, когда b0, bi, . . ., bm аффинно неза-
висимы. В этом случае числа Хо, • • , Хт называют барицентриче-
скими координатами в М.
Отображение Т: х-^-Тх из R” в Rm называется аффинным
отображением или аффинным преобразованием
Т ((1 — X) х + Х«/) = (1 — X) Тх + КГу
для любых х и у из R” и X f R.
Теорема 1.5. Всякое аффинное преобразование из R" в Rm
есть отображение вида Тх = Ах + а, где А —линейное отображе-
ние и а £ R’n.
Доказательство. Пусть Т — аффинное преобразова-
ние. ’Положим а = ТО и Ах — Тх — а. Тогда А есть аффинное
преобразование и АО = 0. Простые рассуждения типа проведенных
при доказательстве теоремы 1.1 показывают, что отображение А
линейно.
-Обратно, пусть Тх — Ах + а, где отображение А линейно.
Тогда
Т ((1 — X) х + Хг/) = (1 — X) Ах + КАу + а = (1 — X) Тх+КТу,
таким образом, Т — аффинное преобразование.
Отображение, обратное аффинному, если оно существует, тоже
аффинно.
В качестве элементарного упражнения читатель может показать,
что если отображение Т из R" в R”1 аффинно, то образ множества
ТМ ={Тх | х 6 М} есть аффинное множество в Rm для любого
аффинного множества М в Rn. В частности,
aff (TS) = Т (aff S).
Теорема 1.6. Пусть {b0, bi, . . ., bm} и {b'o, bi, ...
. • bm} — аффинно независимые множества в R". Тогда суще-
24
§ 1. АФФИННЫЕ МНОЖЕСТВА
ствует взаимно однозначное аффинное отображение Т простран-
ства Я" в себя, такое, что
Tbi = bl, i = 0, 1, . . т.
При этом если т = п, то отображение Т единственно.
Доказательство. Дополнив, если это нужно, исходные
множества до аффинно независимых множеств,-состоящих из п + 1
точек, мы сведем все к случаю, когда т = п. Тогда, как известно
из линейной алгебры, существует единственное и притом взаимно
однозначное линейное отображение А пространства И” в себя,
переводящее базис bi — b0, . . ., Ьп — Ьо в базис Ь\ — b'o, . . .
. . ., Ьп — Ьо. Нужное нам аффинное преобразование имеет вид
Тх = Ах + а, где а = Ь'й —
Следствие 1.6.1. Пусть Mi и М2— два аффинных множе-
ства в Я™ одной и той же размерности. Тогда существует взаимно
однозначное аффинное отображение Т пространства Яп в себя,
такое, что TMi — М2.
Доказательство. Любое m-мерное аффинное множество
есть аффинная оболочка аффинно независимого множества, состоя-
щего из т + 1 точек, аффинные же оболочки при аффинном пре-
образовании сохраняются.
График аффинного преобразования Т из Я” в Я"1 есть аффинное
множество в Ят+П. Это следует из теоремы 1.4, так как если Тх =
= Ах + а, то график Т состоит из векторов z — (х ,у), х £ Я”,
у 6 Я”*, таких, что Bz = b, где b = —а и В есть линейное пре-
образование (х, у) -> Ах — у из Я”,+" в Ят.
В частности, график линейного преобразования х ->• Ах из Яп
в Нт есть аффинное множество в пространстве Я’п+п, содержащее
начало координат, а значит, оно есть некоторое подпространство L
в Ят+’‘ (теорема 1.1). Ортогональное дополнение к L может быть
задано в виде
LA- = {(х*, у*) | х* £ Яп, у* £ Ят, х* = —Ау*}.
Таким образом, Л-1- есть график отображения — А*. Действительно,
z* ~ (х*, у*) принадлежит Л-L тогда и только тогда, когда
О = {г, г*) = (х, х* ) + {у, у*)
для всех z = (х, у), у которых у = Ах. Другими словами, (х*, у*) £
6 А-L тогда и только тогда, когда
О = (х, х* ) + (Ах, у*) = (х, х* + А*у*)
Для любого х 6 И”. Это и означает, что х* + А*у* — 0, т. е. х* =
= —А* у*.
25
ГЛ» I. ОСНОВНЫЕ ПОНЯТИЯ
Любое нетривиальное аффинное множество можно представить,
и притом многими различными способами, как график аффинного
преобразования. Пусть М — аффинное n-мерное множество в йЛ
и 0< N. Прежде всего мы можем представить М как множе-
ство векторов х = (Bi, . . ., координаты которых удовлетво-
ряют некоторой системе линейных уравнений:
Pzl^l + • • • + PzN^N = t=l, . . k.
Это всегда возможно в силу теоремы 1.4. То, что М п-мерно,
означает, что матрица В = (Рг7) имеет ранг т = N — п, а раз-
мерность ядра преобразования,, задаваемого матрицей В, имеет
размерность п. Мы можем, следовательно, решая эту систему урав-
нений, выразить Bn через £т, . . ., где 1, . . ., N —
некоторая перестановка индексов 1, . . ., N. Мы получим тогда
систему специального вида:
Вп+i O^zlBl • • • Н" Н" I 1> • • •,
которая снова дает необходимое и достаточное условие принадлеж-
ности вектора х = (Bi, . . Bn) к аффинному множеству М.
Такие системы называют таккеровскими представлениями аффин-
ного множества. Они дают представление М в виде графика неко-
торого аффинного преобразования из йп в йт. Существует лишь
конечное число таккеровских представлений множества М (а именно
число различных способов выбрать т объектов из N, т. е. С™).
Зачастую теоремы об аффинных множествах интерпретируют
как теоремы о линейных системах именно в том смысле, что аффин-
ные множества допускают таккеровские представления. Это важно,
например, для получения ряда результатов теории линейных
неравенств (теоремы 22.6 и 22.7) и в приложениях фенхелевской
теории двойственйости (следствие 31.4.2).
Таккеровские представления подпространства L задаются, разу-
меется, однородными формами:
Bn-f-i = Ч” • • • ^zn^n, I ~ 1, • • •>
Если это представление считать графиком линейного преобразо-
вания, то, как мы уже объясняли, подпространству будет соот-
ветствовать график сопряженного преобразования, взятого со зна-
ком минус. Таким образом х* = (В?, . . ., Bn) принадлежит /Д
тогда и только тогда, когда
- + /=1> •••>«•
Это дает таккеровское представление для IA. Это простой и удоб-
ный путь установления взаимно однозначного соответствия между
таккеровским представлением подпространства и его ортогональ-
ного дополнения.
26
§ 2. ВЫПУКЛЫЕ МНОЖЕСТВА И КОНУСЫ
§ 2. Выпуклые множества и конусы
Подмножество С в F называется выпуклым, если (1 — X) х +
4- Ху € С для любых х £ С, у £ С и 0< Х< 1. Все аффинные
множества, включая ф и всё R,n, являются выпуклыми. Аффинные
множества составляют более узкий класс множеств, чем выпуклые.
Это видно из того, что выпуклое множество вместе с любыми двумя
своими точками обязано содержать не всю прямую, проходящую
через эти точки, а лишь часть этой прямой, а именно
{(1 — X) х + Ху |0^Х< 1}.
Эта часть называется отрезком (или замкнутым отрезком), соеди-
няющим точки х и у. Примерами выпуклых, но не аффинных мно-
жеств могут служить эллипсоиды и кубы в RA
Важный пример выпуклых множеств — полупространства. Для
ненулевого элемента b g Rn и любого Р Е 1ft множества
{х|(х, &)<₽}, {х|(х, &>>р}
называются замкнутыми полупространствами. Множества
{х |<х, &>< Р>, {х|(х, 6>>Р}
называются открытыми полупространствами. Все четыре множе-
ства, очевидно, непусты и выпуклы. Отметим, что если в данных
выше определениях заменить Ь, р на ХЬ, Хр (X 0), мы получим
те же самые множества. Таким образом, эти полупространства
вполне определяются гиперплоскостью Н = {х | (х, b) = Р) (теоре-
ма 1.3). Поэтому можно говорить об открытых и замкнутых полу-
пространствах, соответствующих заданной гиперплоскости.
Теорема 2.1. Пересечение любого числа выпуклых множеств
выпукло.
Доказательство элементарно.
Следствие 2.1.1. Пусть bt 6 R." и рг € R для i g I, где
I — произвольное множество индексов. Тогда множество
С={х^п \<х, bt> ^рг Уг €
выпукло.
Доказательство. П усть Ct = {х | (х, &, > С Рг }• Тогда
каждое из Сг —либо замкнутое полупространство, либо 0, либо
а С = П C(.i
г£1
Следствие, разумеется, остается в силе, если некоторые из зна-
ков неравенств заменить знаками <, > или =. Таким обра-
зом, множество решений произвольной системы линейных нера-
венств и уравнений с п переменными всегда выпукло в К.” — факт,
важный и для теории, и для приложений.
27
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
Следствие 2.1.1 будет далее обобщено (см. следствие 4.6.1).
Множество, которое может быть представлено как пересечение
конечного числа полупространств в 0V1, называется полиэдральным
выпуклым множеством, или выпуклым полиэдром. Выпуклые поли-
эдры выделяются среди произвольных выпуклых множеств целым
рядом замечательных свойств, что связано главным образом с тем,
что они «не искривлены». Теории выпуклых полиэдров посвящен
§ 19. Эта теория играет важную роль при изучении конечных
систем линейных уравнений и линейных неравенств.
Векторная сумма
A^Xf -р . . . -j-
называется выпуклой комбинацией векторов хь . . ., хт, если числа
Af неотрицательны и М + . . . + = 1. Во многих приложениях
числа Аь . . ., можно интерпретировать как вероятности или
пропорциональные доли. Например, если т частиц с массами
. . ., ат сосредоточены в точках xlf . . ., хт трехмерного про-
странства, то центр тяжести этой системы будет совпадать с точкой
^1X1 + . . . + ЬтХт, где Az = af/(«i + . . . + am) есть пропор-
циональная доля веса f-й частицы в общем весе системы.
Теорема 2.2. Подмножество в выпукло тогда и только
тогда, когда оно содержит все выпуклые комбинации своих элементов.
Доказательство. Действительно, по определению выпук-
лость множества С равносильна тому, что С содержит выпуклую ком-
бинацию любых двух своих элементов. Далее рассуждаем по индук-
ции. Пусть С содержит выпуклые комбинации любых т — 1, т > 1
своих элементов. Рассмотрим выпуклую комбинацию AiXi + . . .
. . . + ^тхт произвольных т элементов из С. Найдем какой-либо
номер i, такой, что Аг- #= 1 (иначе бы М + . . . + = т Ф 1).
Пусть это будет Аь Положим
у — Х2Х2 + • • . + Аг = АД(1 — АД.
Тогда Af О для i = 2, . . ., т и
А' + . . . + К'т = (А2 + . . . + Ат)/(А2 + . • • + Кп) — 1-
Таким образом, у — выпуклая комбинация т — 1 точек из С,
т. е. у £ С по предположению. Но х — (1 — Ai) у + А^, а значит
хбС.И
Пересечение всех выпуклых множеств, содержащих заданное
множество S, называется выпуклой оболочкой множества S и обо-
значается через conv S. В силу теоремы 2.1 conv S— выпуклое
множество и притом минимальное выпуклое множество, содержа-
щее S.
28
§ 2. ВЫПУКЛЫЕ МНОЖЕСТВА И КОНУСЫ
Теорема 2.3. Для любого S множество conv S состоит
из всех выпуклых комбинаций точек из S.
Доказательство. Точки из S принадлежат conv S,
значит, все их выпуклые комбинации принадлежат conv S в силу
теоремы 2.2. Далее, если нам заданы две выпуклые комбинации
X = XjXi 4“ . . . Н” У ^1У1 4“ ... 4“ ^гУг? %г € S, //z Е S,
то вектор
(1 — X) х +’ ty = (1 — X) 4- ... 4- (1 — X) ктхт 4~
4- Xpiz/t 4- ... 4- Xp,rj/r,
где 0 X 1, также есть линейная комбинация элементов из S.
Таким образом, совокупность выпуклых комбинаций элементов
из S выпукла и, очевидно, содержит S. Значит, она совпада-
ет с conv S — наименьшим выпуклым множеством, содержа-
щим S.
На самом деле в теореме 2.3 достаточно брать выпуклые комби-
нации не более чем п 4- 1 точек из S. Это важное усиление, изве-
стное как теорема Каратеодори, доказывается нами в § 17. Другое
обобщение теоремы 2.3 дается теоремой 3.3.
Следствие 2.3.1. Выпуклая оболочка конечного множества
точек {Ьо, . . ., Ьт} в 0in состоит из всех точек вида Хойо 4- . . •
- • • + Xmfem, где Хо 0, . . ., Хт О, Хо 4- . . . + Хт = 1.
Доказательство элементарно.
Множество, являющееся выпуклой оболочкой конечного числа
точек, называется политопом или выпуклым многогранником. Если
точки {Ьо, . . ., Ьт} аффинно независимы, то их выпуклая обо-
лочка называется т-мерным симплексом, а сами точки — вершина-
ми этого симплекса. Каждая точка симплекса допускает един-
ственное представление в виде выпуклой комбинации своих вер-
шин. Точка (Ьо + ... + bm)/(rn 4~ 1) называется барицентром
симплекса. В случаях т = 0, 1, 2, 3 симплекс — это соответ-
ственно точка, отрезок, треугольник, тетраэдр.
Вообще, размерностью выпуклого множества С называют раз-
мерность его аффинной оболочки. Таким образом, выпуклый круг
двумерен вне зависимости от того, в каком пространстве мы его
рассматриваем. (Отметим, что размерности аффинного множества
и симплекса, как они были введены выше, совпадают с их размер-
ностями как выпуклых множеств.)
Следующий факт будет использован нами в § 6 при доказатель-
стве того, что непустое выпуклое множество имеет непустую отно-
сительную внутренность.
Теорема 2.4. Размерность выпуклого множества С совпа-
дает с максимальной размерностью симплексов, содержащихся в С.
29
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
Доказательство. Выпуклая оболочка любого подмноже-
ства множества С содержится в С. Максимальная размерность
симплексов, лежащих в С, есть, следовательно, то максимальное
число т, для которого имеются т + 1 аффинно независимых
точек, содержащихся в С. Пусть {ba, bi, . . ., bm} — такая аффинно
независимая максимальная система и М — ее аффинная оболочка.
Тогда dim М = т и М cr aff С. Далее, С с М, ибо если С\М
содержит элемент Ь, то мы получим т + 2 аффинно независимых
точек {Ьо, . . ., Ьт, Ь}, содержащихся в множестве С, что противо-
речит максимальности т. В силу того что aff С есть наименьшее
аффинное множество, содержащее С, отсюда следует, что aff С = М
и, значит, dim С = т.Ш
Подмножество К с: R.” называется конусом, если оно замкнуто
относительно умножения на положительные числа, иначе говоря,
если Хх £ К для всех х £ К и Л > 0. Такое множество есть объеди-
нение лучей, выходящих из начала координат. Само начало может
при этом принадлежать, а может и не принадлежать К. Выпуклый,
конус — это конус, являющийся выпуклым множеством. (Заме-
тим, что многие авторы называют конус выпуклым, лишь если
он содержит начало координат. Таким образом, у этих авторов
выпуклый конус — это непустое выпуклое множество, замкнутое
относительно умножения на неотрицательные числа.') Не надо
думать, что конус обязательно «заострен». Например, всякое под-
пространство в R."- есть, конечно, конус. Открытое и замкнутое
полупространства, соответствующие гиперплоскости, проходящей
через нуль, также суть конусы.
Два наиболее важных выпуклых конуса — это неотрицатель-
ный ортант в (Кп
{х=(|1, . . ., и ||i>0......1п>0}
и положительный ортант
{x = (gi, . . ., U | Ь>0, . . ., ^>0}.
Эти конусы играют существенную роль в теории неравенств.
Принято писать х х', если разность х — х’ принадлежит неотри-
цательному ортанту, т. е. если
li> li при / = 1, . . ., п.
Таким образом, выпуклый ортант состоит из векторов х^>0.
Теорема 2.5. Пересечение произвольного числа выпуклых
конусов есть выпуклый конус.
Доказательство элементарно.
зо
§ 2. ВЫПУКЛЫЕ МНОЖЕСТВА И КОНУСЫ
Следствие 2.5.1. Пусть bt 6 R” для i g I, где I — произ-
вольное множество индексов. Тогда множество
{x£Rn |<х, М<0, i е/}
есть выпуклый конус.
Доказательство проводится так же, как и в следствии 2.1.1.
Разумеется, знак может быть заменен на знаки ;>,>,<
или = . В следующей характеризации выпуклых конусов подчерк-
нут момент сходства между конусами и подпространствами.
Теорема 2.6. Подмножество в R,n есть выпуклый конус тогда
и только тогда, когда оно замкнуто относительно сложения и умно-
жения на положительные числа.
Доказательство. Пусть К — конус, х £ Д, у £ Д. Если
Д — выпуклое множество, то z = у (х + у) £ Д и, значит,’ х + у=
= 2z К- Обратно, если Д — множество, замкнутое относи-
тельно сложения и умножения на положительные числа, то при
0< 1 имеем (1 — %) х С Д, ty £ Д и, значит, (1 — X) х + Ку £
6 КЛ
Следствие 2.6.1. Подмножество Д в Rn есть выпуклый
конус тогда и только тогда, когда оно содержит все положительные
линейные комбинации своих элементов, иначе говоря, когда XiXi + . . .
• • • £ Д, если Ki 0, Xf £ Д.
Следствие 2.6.2. Пусть S— произвольное множество
в П'г и К — множество всех положительных линейных комбинаций
векторов из S. Тогда К есть наименьший выпуклый конус, содержа-
щий S.
Доказательство. Ясно, что Д замкнуто относительно
сложения и умножения на положительные числа, а также что
Д d S. С другой стороны, любой конус, содержащий S, должен
содержать и Д.И
Еще более простое описание возможно в том случае, когда
S выпукло.
Следствие 2.6.3. Пусть С — выпуклое подмножество и
К = {Хх | К > 0, х 6 С}.
Тогда К есть наименьший выпуклый конус, содержащий С.
Доказательство. Это сразу вытекает из предыдущего
следствия. Действительно, всякая линейная комбинация с положи-
тельными коэффициентами элементов из С есть положительное
скалярное кратное некоторой выпуклой комбинации элементов
из С и, следовательно, есть элемент из Д.И
31
ГЛ. I. ОСНОВНЫЕ понятия
Выпуклый конус, полученный из конуса, построенного в след-
ствии 2.6.2 (или 2.6.3) присоединением начала координат, называют
обычно выпуклым конусом, порожденным S, и обозначают через
cone S. (Таким образом, cone S в смысле нашего определения
не есть наименьший выпуклый конус, содержащий S, ибо он обязан
содержать начало, которое может и не принадлежать такому наи-
меньшему конусу.) Если S =0= 0, то cone S состоит из всех неотри-
цательных *) (а не из одних только положительных) линейных
комбинаций элементов множества 5. Ясно, что
cone 5 = conv (ray S),
где через ray S обозначено объединение начала координат и лучей
{Ку | X 0), порожденных векторами у € S.
Как эллиптический диск может быть получен сечением круго-
вого конуса, так и любое выпуклое множество С cz R” может быть
получено сёчением некоего конуса /С cz IRn+1. Действительно,
в качестве /С можно взять конус, порожденный парами (1, х) £ Hn+1,
х С С. Тогда К содержит начало и пары (К, Кх) с К > 0, х 6 С.
Сечение конуса К гиперплоскостью {(X, у) | К = 1} совпадает с С.
Отмеченный факт позволяет, если в том есть нужда, многие теоремы
относительно выпуклых множеств получать в качестве следствия
теорем о конусах (обычно более просто доказываемых).
Вектор х* называют нормальным к выпуклому множеству С
в точке а £ С, если (х — а, х*> 0 для всех х 6 С. Например,
если С есть полупространство {х | (х, Ь) 0} и {а, Ь) = 0, то
вектор b нормален к С в точке а. Совокупность всех нормальных
векторов к С в точке а называют нормальным конусом ко множе-
ству С в точке а. Читатель легко проверит, что нормальный конус
всегда выпукл.
Другим примером выпуклого конуса служит барьерный конус для
заданного выпуклого множества С, состоящий из точек х*, таких,
что для некоторого 0 6 R. неравенство (х*, х) 0 выполнено
для любого х 6 С.
Теорема 2.7. Пусть К — выпуклый конус, содержащий
начало координат. Тогда существует минимальное содержащее К
подпространство, а именно
К - К ={Х - у | X с К, у е К} = aff К,
а также максимальное содержащееся в К подпространство,
а именно
(-К) ПК.
Доказательство. По теореме 2.6 К замкнуто относи-
тельно сложения и умножения на положительные числа. Для того
!) То есть линейных комбинаций с неотрицательными коэффициентами.
Аналогичное словоупотребление используется и ниже.— Прим. ред.
32
§ 3. АЛГЕБРА1ВЫПУКЛЫХ МНОЖЕСТВ
чтобы быть подпространством, множество, помимо перечисленных
свойств, должно быть замкнутым относительно умножения на —1.
Значит, К — К есть минимальное подпространство, содержащее К,
а /С П (—К) — максимальное подпространство, содержащееся в К.
Первое из них совпадает с aff К, ибо в соответствии с теоремой 1.1
аффинная оболочка множества, содержащего начало координат,
есть подпространство.И
§ 3. Алгебра выпуклых множеств
На классе выпуклых множеств можно задать большое число
алгебраических операций.
Например, если С — выпуклое множество в Нп, то таковым же
будет всякий его сдвиг С + а, а также всякое его скалярное крат-
ное ХС, где
хс ={х% । х е су.
Геометрически ХС при X > 0 есть образ С при растяжении или
сжатии пространства R" в X раз относительно начала координат.
Множеством, симметричным данному множеству С относительно
начала координат, является множество —С = (—1) С. Выпуклое
множество С называется симметричным, если —С = С. Если
такое множество непусто, то оно обязано содержать начало коорди-
нат, ибо наряду с х оно содержит —х, а значит, и весь отрезок
с концами х и —х. Непустые конусы, являющиеся симметричными
выпуклыми множествами, суть подпространства (теорема 2.7).
Теорема 3.1. Пусть Ci и С2 — выпуклые множества в И".
Тогда выпуклым является и множество Ci + С2, где
С1 “Н С2 == Ч" Х2 | Xi £ Ci, Х2 С2),
Доказательство. Пусть х и у — точки из Ci + С2. Это
означает, что существуют векторы xt и yt из Ct, i = 1, 2, такие,
что
х = х4 + х2, у = yt + У г-
Если 0< Х< 1, то
(1 — X) х + Ху = [(1 — X) Xi + XyJ + [(1 — X) х2 + Ху2],
где (1 — X) Xt + tyi С Ct, i = 1, 2, в силу выпуклости множеств Ci
и С2. Выпуклость множества Ci + С2 доказана.И
В частности, если Ct — выпуклое множество, а С2 — неотри-
цательный ортант, то
С± + С2 ={xi 4~ х2 | Xi £ Ci, х2 0} =
= {х | 3 Xi € Ci, Xi х}
есть выпуклое множество.
з
Р« Рокафеллар
33
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
Выпуклость множества С означает по определению, что
(1 _ %) с + КС cz С, 0< Х< 1.
Чуть ниже мы покажем, что фактически для выпуклых множеств
здесь имеет место равенство. Далее, множество /С есть выпуклый
конус тогда и только тогда, когда КК cz К для каждого К > О
и О/Сс/С (теорема 2.6).
Если Ct, . . ., Ст —выпуклые множества, то и их линейная
комбинация С = + . . . + КтСт также является выпуклым
множеством. Линейная комбинация С называется выпуклой комби-
нацией множеств С^ . . ., Ст, если М 0, . . ., Кт 0 и М + . . ♦
. . . + = 1. По своим геометрическим свойствам выпуклая
оболочка представляет собой своего рода смесь исходных множеств.
Например, если Ci и С2 — соответственно треугольник и круг
в R2, то в процессе изменения параметра К от 0 до 1 множество
С = (1 — X) Ci + КС2 изменяется от треугольника до круга, будучи <
в промежутке треугольником с закругленными углами.
Иногда полезно помнить, что Ci + С2 есть объединение транс-
лянтов Xi + С2 по всем Xi 6 Ci.
Какие же алгебраические законы справедливы для введенных
нами операций сложения и умножения на положительные числа?
Очевидно, что (даже без допущения о выпуклости)
Ci + С2 = С2 + Ci,
(Ci + С2) + Сз = Ci + (С2 + Сз),
Xi (К2С) — (XjX2) С,
к (Ci + С2) = KCi + хс2.
Выпуклое множество, состоящее лишь из точки 0, есть единич-
ный элемент для операции сложения. Обратный элемент относи-
тельно операции сложения существует, лишь если множество
содержит не более одной точки. Самое большее, что можно сказать
в общем случае, это что 0 £ С + (—С) для С =# 0. ;
Укажем теперь одно важное свойство алгебры множеств, где
выпуклость существенна. Выполнение для множества С дистрибу-
тивного закона (см. формулу из приводимой ниже теоремы) факти-
чески эквивалентно его выпуклости, поскольку из этого закона
следует, что множество КС + (1 — К) С содержится в множестве С
при 0 К 1.
Теорема 3.2. Если С — выпуклое множество и О,
Х2 > 0, то ;
(Л1 ^2) С = KiC К2С. 5
Доказательство. Включение cz верно и без пред- \
положения о выпуклости. Обратное включение следует из соот-
ношения
С (KJ(Ki + М) С + K2/(Ki + Х2)) с,
34
§ 3. АЛГЕБРА ВЫПУКЛЫХ МНОЖЕСТВ
верного для выпуклых множеств при условии, что Xj + Х2 >• 0.
Если М или Х2 равны нулю, то утверждение теоремы тривиально.
Из этой теоремы вытекает, что для выпуклого множества С
С + С = 2С, С + С + С = ЗС и т. д.
Пусть заданы выпуклые множества Ci и С2 в пространстве IR2.
Тогда существуют единственное максимальное множество, содер-
жащееся и в Ci и в С2, а именно множество Ci f| С2, а также един-
ственное минимальное множество, содержащее и Ct и С2, а именно
conv (Ci U С2). То же самое верно для любого семейства множеств
{С;, i 6 /}• Иначе говоря, совокупность выпуклых множеств в R."
есть полная решетка относительно естественного упорядочения
по включению.
Теорема 3.3. Пусть {Ct | i 6 /} — произвольное семейство
непустых выпуклых множеств в R” и С — выпуклая оболочка объеди-
нения этих множеств. Тогда
c=L){3 мсг),
где объединение берется по всем конечным выпуклым комбинациям
{иначе говоря, по всем семействам неотрицательных коэффициен-
тов в каждом из которых лишь конечное коэффициентов отлично
от нуля и сумма всех коэффициентов равна 1).
Д оказательство. В силу теоремы 2.3 С есть множество
всех выпуклых комбинаций х = p^i + . . . + \ьтут, где уь ...
. . ., ут принадлежит объединению множеств Сг-. В действительно-
сти мы можем получить С, беря все векторы yt из различных
действительно, если, скажем, у^ С Cif у2 € Сь то член pif/i + \ь2у2
можно заменить на ру, где р = pi + р2,
У = (Hi» У*. + (Нг/р) Уг € Сг.
Но тогда с точностью до обозначений мы и получим то, что тре-
буется.
Пусть А — линейное отображение из К.” в R.m. Положим,
как обычно,
АС — {Ах | х £ С} для СсЯ",
А ~Ч) = {х | Ах € D} для D cz К.”1.
Будем называть АС образом множества С, a А~Ч)— прообразом
множества D относительно А. (Использование записи А~Ч) не
означает, конечно, что А есть взаимно однозначное отображение.)
Теорема 3.4. Пусть А — линейное отображение из R.n
в R.m. Тогда множества АС и А~Ч) выпуклы, если С и D — выпуклые
множества в R.” и R”1 соответственно.
Доказательство элементарно.
36
3»
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
Следствие 3.4.1. Ортогональная проекция выпуклого мно-
жества есть выпуклое множество.
Это немедленно следует из того, что ортогональная проекция
есть линейное отображение.
Вот одно из интересных приложений выпуклости прообраза
А~Ч): если у пробегает выпуклое множество, то совокупность
решений х неоднородной системы линейных уравнений Ах = у
также образует выпуклое множество. Если D = К + а, где К. —
неотрицательный ортант в Rm, а а 6 Rn, то А~Ч) есть множество
таких векторов х, что Ах а, т. е. множество решений некоторой
линейной системы неравенств в R”. Если С — неотрицательный
ортант в Rn, то АС есть множество векторов у б fl"1, таких, что
уравнение Ах = у имеет решение х 0.
Теорема 3.5. Пусть С и D — выпуклые множества в Rm
и в Лр соответственно. Тогда
C@D ={х = (у, z) \у ЕС, zED}
есть выпуклое множество в ftm+p.
Это очевидно.
Напомним, что множество С © D из теоремы 3.5 называют
прямой суммой множеств С и D. Так же называют и обычную сумму
С + D, С a Rn, D cRn, в случае когда любой вектор х Е С +D
допускает единственное разложение вида х = у A- z, у ЕС, z ED .
Это имеет место тогда и только тогда, когда множества С — С
и D — D имеют лишь нулевое пересечение. В этом случае, как
нетрудно показать, R" можно представить в виде прямой суммы
двух подпространств, одно из которых содержит С, а другое
•содержит D.
Теорема 3.6. Пусть Ci и С2 — выпуклые множества в Rm+P
и С — множество векторов х = (у, z) (где у Е z € Лр), таких,
что существуют векторы zt и z2, для которых (у, Zi) Е С1г (у, z2) Е
Е С2 и zt + z2 = z. Тогда С — выпуклое множество в Rm+P.
Доказательство. Пусть (у, z) Е С, где z± и z2 таковы,
как указано в формулировке теоремы, и аналогично для (у', г'),
z\, z2. Тогда для 0 < А< 1, у" = (1 — А,) у + А/, z" = (1 — A) z +
+ Az' имеем
(«/", (1 - A) Zi + Az't) = (1 - А) («/, Zi) + А (у', zi) Е Cit
(у", (1 - A) z2 + Az2) = (1 - А) (у, z2) + А (/, z2) 6 С2,
z” = (1 — A) (zi + z2) + A (z, + z2) =
= ((1 - А) + Az'J + ((1 - A) z2 + Az;).
Таким образом,
(1 - A) (у, z) + A (/, z') = (y", z") E С.И
36
§ 3. АЛГЕБРА ВЫПУКЛЫХ МНОЖЕСТВ
Заметим, что теорема 3.6 описывает некоторую коммутативную
и ассоциативную операцию над выпуклыми множествами в про-
странстве Rm+P. Существует бесчисленное множество способов
выбора координатной системы в Rn и тем самым способов разложе-
ния векторов на пару компонент у £ OV" и г € Rp относительно
выбранной системы координат. Каждое такое представление порож-
дает операцию, описанную в теореме 3.6. (Эти операции различны,
если различны соответствующие разложения Rn в прямую сумму
двух пространств.) Операции такого типа мы будем называть
операциями частичного сложения. Операция обычного сложения,
т. е. операция образования суммы С± + С2, может рассматриваться
как предельный случай, соответствующий значению т = 0, а опе-
рация пересечения, т. е. операция образования Ct (] С2, соответ-
ствует другому предельному случаю, когда р = 0. Между этими
двумя крайними случаями имеется бесконечное число частичных
сложений в совокупности всех выпуклых множеств в Rn, причем
каждое из них есть коммутативная и ассоциативная бинарная
операция.
Это бесчисленное множество введенных нами только что опера-
ций представляется чересчур произвольным. Однако при более
внимательном рассмотрении оказывается возможным выделить сре-
ди них четыре «естественные» операции. Рассмотрим взаимно одно-
значное соответствие, сопоставляющее каждому выпуклому множе-
ству С в К." выпуклый конус К в Rn+I, одно из поперечных сечений
которого отождествимо с С, а именно выпуклый конус, порожден-
ный множеством {(1, х) | х £ С}. Класс конусов, получаемых таким
способом, состоит в точности из тех выпуклых конусов в Rn+I,
которые пересекаются с полупространством {(%, х) | А 0} только
в точке (0, 0). Операциям, переводящим этот класс конусов в себя,
соответствуют операции над выпуклыми множествами в R”. Раз-
ложение Rn+I на пары (А, х) порождает четыре частичных сложения
в Rn+I. Именно, это операция сложения только по иксам, операция
сложения только по А, а также два крайних случая — операция
обычного сложения (и по х, и по А) и операция пересечения (ни по
одному из аргументов). Все четыре операции очевидным образом
переводят в себя выпуклые конусы из нашего класса.
Рассмотрим, в чем состоят введенные нами четыре операции.
Пусть /Ct и /С2 порождаются выпуклыми множествами Ct и С2 соот-
ветственно. Если мы рассмотрим операцию частичного суммирова-
ния только по х, то точка (1, х) будет принадлежать конусу /С,
образованному из конусов /Ci и /С2, в том и только том случае,
когда х = xi + х2 для (1, xj 6 Ki и (1, х2) 6 Кг- Таким образом,
выпуклым множеством, соответствующим /С, будет С i+ С2. Если
мы рассмотрим частичное сложение по обоим аргументам, то (1, х)
будет принадлежать /С, если и только если х = Xi + х2 и1 =
— Ai + А2 для (Ai, Xi) 6 Kt, (А2, х2) € /С2. Таким^образом, С будет
37
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
объединением множеств XtCi + Х2С2 при Xi О, Х2 0, Х2 + Х2 =
= 1, а это есть в силу теоремы 3.3 conv (Ci U С2). Сложению «ни
по х, ни по к», т. е. пересечению К i и Кг, отвечает, очевидно,
взятие пересечения П Cz. Последняя операция, которую нам
осталось рассмотреть, это операция сложения только по X. Здесь
(1, х) g К, если и только если (Xi, х) £ Ki и (Х2, х) £ Кг для некото-
рых Xt Х2О, с Xi + Х2 = 1. Таким образом,
С = (J {XiCj Х2С2 | Xj О, Х2 > О, Xi + Х2 = 1} =
= и «1 — X) Ci П ХС2 |0<Х< 1}.
Это множество мы обозначим через Ci ф С2 и будем называть опера-
цию ф инверсным сложением.
Теорема 3.7. Если С± и С2 — выпуклые множества в R”,
то их инверсная сумма Ci ф Сг также выпукла.
Это сразу следует из сказанного выше.
Инверсное сложение есть коммутативная и ассоциативная бинар-
ная операция на множестве всех выпуклых подмножеств в Rn.
Она имеет то сходство с операцией обычного сложения, что, как
и последняя, может быть представлена как поточечная операция.
Для того чтобы показать это, заметим, во-первых, что С± ф С2
состоит из всех векторов х, которые могут быть записаны так:
х = Xxt = (1—X) х2, О X 1, Xi € Ci, х2 € С2.
Из этого выражения видно, что Xi, х2 и х лежат на одном луче
{осе | а 0}, е #= 0. Следовательно, при некоторых oct 0
и а2 0 мы имеем Xi = о^е, х2 = а2е и
х = [otioc2/(cci + а2)] е = («i-1 + oc2_I)_1 е
(последний коэффициент принимается равным нулю, если at = 0
или ос2 = 0). Элемент х зависит лишь от xt и х2, но не от выбора е.
Мы назовем его инверсной суммой х4 и х2 и обозначим через Xi ф х2.
Инверсное сложение векторов есть коммутативная и ассоциативная
операция, определенная для векторов, лежащих на одном и том же
луче. Мы имеем
Ci Щ- С2 {xi х2 | Xi £ Ci, х2 С2}
аналогично формуле для Ci + С2.
Все операции, о которых мы говорили выше (за исключением
операции параллельного переноса), переводят в себя класс всех
выпуклых конусов в ВЛ Таким образом, множества
ХК, Ki + Кг, Ki ф Кг, conv (Ki U Кг), Ki П Кг, Ki © Кг,
АК и А~*К
суть выпуклые конусы, если множества Ki, Кг и К — выпуклые
конусы. Умножение на положительное число есть тривиальная
38
§ 4. ВЫПУКЛЫЕ ФУНКЦИИ
операция на конусах: Х/С = К. для любого X > 0. По этой причине
сложение и инверсное сложение сводятся в случае конусов к опе-
рациям в решетке конусов:
Теорема 3.8. Если Ki и К2 — выпуклые конусы, содержащие
начало, то
Ki + К2 = conv (Ki и К2),
Ki ф К2 = Ki П к2.
Доказательство. По теореме 3.3 conv (Ki U К2) есть
объединение по всем X £ [0, 1] множеств (1 — X) Ki + ХК2. Послед-
нее множество есть Ki + К2, если 0< Х< 1, Ki, если X = 0,
и К2, если X = 1. Но поскольку 0 £ Ki и 0 £ К2> сумма Ki + К2
содержит как Ki, так и К2- Таким образом, conv (Ki U К2) совпа-
дает с Ki + К2. Аналогично Ki Ф Аг есть объединение по X £ [0, 1]
множеств XKi fl (1 — X) К2. Но это последнее множество есть
Ki 0 К2, если 0< Х< 1, и {0} сц Ki П К2, если X = 0 или X = 1.
Итак, Ki # К2 = Ki П К2.
Нам хотелось бы в этом месте упомянуть еще об одной интерес-
ной конструкции. Пусть нам даны две точки х и у в R". Луч
{(1 — X) х + Ку | X 1} можно представить себе как «тень» точ-
ки у от источника света, расположенного в точке х. Объединение
всех таких лучей по всем точкам у, принадлежащим множеству С,
образует «тень» множества у. Множество
П U{(1-X)X+XC}
естественно назвать полной тенью С относительно S, а множество
и U{(1-X)X+XC}
«es
— полутенью С относительно S. Предоставляем читателю прове-
рить, что полная тень и полутень являются выпуклыми множества-
ми, если множества С и S выпуклы.
§ 4. Выпуклые функции
Пусть f — функция, значения которой суть либо действитель-
ные числа, либо символы ±оо, а область определения есть под-
множество S пространства Л". Множество
{(х, р) | х 6 S, р 6 Н, р > f (х)}’
мы будем называть надграфиком, или эпиграфом f, и обозначать
через epi f. Мы скажем, что f — выпуклая функция, если epi f есть
выпуклое множество в !R,n+I. Вогнутой функцией называется такая
Функция f, для которой функция —f выпукла. Аффинная функция
39
ГЛ. I. ОСНОВНЫЕ понятия
на S — это конечная функция, выпуклая и вогнутая одновре-
менно.
Эффективной областью, или эффективным множеством выпук-
лой функции f на S (обозначение: dom f), называется проекция
на R.” надграфика функции /:
dom f ={х | Эр, (х, р) 6 epi f} ={х | f (х)< оо}.
Это, конечно, выпуклое множество в Шп (теорема 3.4). Размерность
этого множества называется размерностью f. Очевидно, что выпук-
лость f равносильна выпуклости ограничения функции f на dom f.
Все на самом деле интересное связано именно с этим ограничением,
а само по себе множество S особой роли не играет.
Имеются веские причины, по которым нежелательно рассма-
тривать класс выпуклых функций с фиксированной эффективной
областью. Существуют два удобных технических приема, позволяю-
щих избежать этого. Во-первых, можно ограничиться рассмотре-
нием функций, нигде не принимающих значения -j-оо, для которых
множество S совпадает с dom f (но зависит от /). Во-вторых, можно
рассматривать функцию f как заданную на всем пространстве R.”,
поскольку выпуклую функцию, заданную на S, всегда можно про-
должить до выпуклой функции, заданной на всем положив
f (х) = -|-оо для х $ S.
Второй способ мы и принимаем всюду в этой книге. Таким
образом, если специально не оговорено противное, под выпуклой
функцией мы будем всюду далее подразумевать выпуклую функцию,
принимающую, возможно, бесконечные значения и определенную на
всем пространстве ИЛ Этот способ имеет то преимущество, что
почти полностью можно избежать всех неприятностей, связанных
с эффективными областями. Например, если выпуклая функция
задается при помощи некоторой формулы, то эти формулы задают
эффективную область, как правило, неявно. При иных способах
всегда приходится заботиться о явном задании или описании эффек-
тивных областей.
Тот способ, который мы избрали, приводит к необходимости
ввести правила оперирования с символами ±оо. Принятые ниже
правила представляются очевидными:
а + оо = оо + а = оо для —оо <С а оо,
а — оо = —оо + а = —оо для —оо а< оо,
аоо = ооа = оо, а (—оо) = (—оо) а = —оо для 0< а оо,
аоо — ооа = —оо, а (—оо) = (—оо) а = оо для —оо а< О,
О-оо — оо -О = 0 = 0(—оо) = (—оо) 0, — (—оо) = оо,
inf 0 = +оо, sup 0 = —оо.
Сочетания оо — оо и —оо + оо считаются не имеющими смысла.
40
J 4. ВЫПУКЛЫЕ ФУНКЦИИ
В силу введенных нами правил обычные законы арифметики
ai + а2 = а2 + а1; (о^ + а2) + а3 = 04 + (а2 + а3),
ai«2 = а2аь (aia2) а3 = aj (а2а3),
а («! + а2) = аа4 + аа2
остаются справедливыми вне зависимости от того, конечные или
бесконечные значения подставлять вместо букв, если только при
этом не встречаются комбинации оо — оо или —оо + оо. В этом
можно убедиться непосредственно, подставив во все формулы раз-
личные сочетания конечных и бесконечных символов.
То, что мы исключаем выражения типа оо — оо, принуждает
нас принимать меры предосторожности, подобные тем, которые
принимаются, чтобы исключить деление на нуль. Однако на прак-
тике те бесконечности, которые могли бы привести к осложнениям,
автоматически исключаются в силу данных конкретных предпо-
ложений, и недоразумений не возникает.
Выпуклую функцию называют собственной, если ее надграфик
не пуст и не содержит вертикальных прямых, иначе говоря, если
по меньшей мере для одного х выполнено неравенство f (х).< 4-оо
и для всех х выполнено неравенство f (х) > —оо. Иными словами,
выпуклая функция является собственной, если выпуклое множе-
ство С = dom f непусто и ограничение f на С конечно. Или еще:
собственная выпуклая функция на IFln — это функция, получаемая
из некоторой конечной выпуклой функции /, заданной на непустом
выпуклом множестве С, если положить f (х) = оо для х $ С.
Выпуклые функции, не являющиеся собственными, называют
несобственными. Собственные функции — основной объект наших
рассмотрений. Но следует иметь в виду, что несобственные функции
иногда могут весьма естественным путем возникнуть из собствен-
ных, почему представляется более удобным допускать их к рас-
смотрению, чем стараться исключить вовсе. Примером несобствен-
ной функции, не равной тождественно +<ю или —оо, может слу-
жить такая функция, определенная на R:
f(x)= <
— 00, * если
О, если
+ оо, если
и<1,
|х|=1,
|Х|>1.
Выпуклые функции обладают важным интерполяционным свой-
ством. По самому определению функция f выпукла на S тогда
и только тогда, когда
(1 - X) (х, и) + к (у, v) = ((1 - %) х + ку, (1 - Х).И + Xv)
принадлежит epi f, если (х, р>) и (у, v) принадлежит epi f и 0 к
Другими словами, должны быть выполнены соотношения:
(1 +
41
ГЛ. I. ОСНОВНЫЕ понятия
и
Н(1 - Ь) х + М < (1 - X) и + Xv,
если х € S, у £ S, f (х) р. £ R, f (у) v £ R, O^X^l. Эти
условия можно выразить несколькими различными способами.
Следующие два особенно полезны.
Теорема 4.1. Пусть функция f отображает множество С
в (—оо, +оо], причем С — выпуклое подмножество в Ш”, которое
может, в частности, совпадать со всем R". В этом случае f выпукла
на С тогда и только тогда, когда
f ((1 - X) х + Ху) < (1 - X) /= (х) + X/ (у), 0< Х< 1,
для всех х и у из С.
Теорема 4.2. Функция f, отображающая пространство Rn
в [—оо, +оо), выпукла тогда и только тогда, когда
/((1 — Х)х + Ху)< (1 — X) а + Хр, 0< Х< 1,
при t(x)< а и f(y)<. ₽.
Другой полезный вариант легко получается, если применить
теорему 2.2 к надграфику f.
Теорема 4.3 (неравенство Йенсена). Пусть f — отображе-
ние пространства Н" в (—оо, 4-оо]. В этом случае f выпукло тогда
и только тогда, когда
f (XjXi Т~ . . . -j- Xmxm) Ktf (Xi) Ч~ • • • Ч- ^mf (xm)
при Xi 0........Xm 0, Xi 4~ • • • Ч- Xm = 1.
Доказательства этих теорем предоставляются читателю в каче-
стве упражнений.
Вогнутые функции удовлетворяют при сходных допущениях
обратным неравенствам. Для аффинных функций все неравенства
заменяются на равенства. Таким образом, аффинные функции на
0V* суть аффинные отображения из в R.
Неравенство из теоремы 4.1 часто принимается за определение
выпуклости функции, отображающей выпуклое множество С
в (—оо, оо]. Здесь, однако, возможны затруднения в связи с тем,
что могут появиться выражения типа оо — оо. Разумеется, условие
теоремы 4.2 тоже можно было бы принять в качестве определения
выпуклости в общем случае; нам представляется более предпочти-
тельным то определение, которое мы дали в начале параграфа,
ибо в нем подчеркнута геометрическая сторона дела, столь суще-
ственная в теории выпуклых функций.
Выпуклость многих классических функций одного переменного
сразу вытекает из следующей теоремы.
Теорема 4.4. Дважды непрерывно дифференцируемая веще-
ственная функция f, определенная на открытом интервале (а, 0),
42
§ 4. ВЫПУКЛЫЕ ФУНКЦИИ
выпукла тогда и только тогда, когда ее вторая производная f неот-
рицательна на всем интервале (а, 0).
Доказательство. Пусть f" неотрицательна на (а, 0).
Тогда f' не убывает на (а, 0) и для а< х< y<Z 0, 0< Х< 1
и z = (1 — %) х + Ку имеем
f(z)-f(x)^p' (0Л</(г)(г-х),
X
У
f (у) - f (г) = J f (0 dt > f (z) (y-z).
z
Поскольку Z — X = X (у — x) и у — z = (1 — X) (у — x),
получаем
f(z)^f(x) + Kf (z)(y-x),
f^)^f(y)-(l-K)f (z)(y —x).
Умножая эти неравенства на (1 — X) и X соответственно и склады-
вая, находим
(1 - X) f (г) + X/ (г) < (1 - X) f (х) + X/ (у),
и выпуклость f на (а, 0) вытекает из теоремы 4.1, ибо f (z) =
= f ((1 — X) х + Ку). Докажем обратное утверждение. Пусть f" не
отрицательна на (а, 0). Тогда f" должна быть отрицательна на
некотором интервале (а', 0') по соображениям непрерывности.
В силу тех же причин, о которых только что говорилось, мы будем
иметь
/ (z) — / (х) > f' (z) (z — х),
f(y)-f(z)<f(z)(y-z)
и, следовательно,
f ((1 - X) х + Ку)) > (1 - X) f{x) + Kf (у),
что противоречит выпуклости f на (а, 0).
Теорема 4.4 будет обобщена ниже (теоремы 24.1 и 24.2).
Приведем несколько примеров выпуклых функций, выпуклость
которых сразу следует из теоремы 4.4:
1. f (х) = е“х, где —оо< а < оо;
2. f (х) = хр, если х > О, f (х) = оо, если х<< 0;
1 < р < оо;
3. f (х) = —хр, если х > 0, f (х) = оо, если х< 0;
0 ^р < 1;
43
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
4 [ до = хр( если х > 0, /(*) = оо, если х < 0;
—оо < р 0;
5. f до = (а2 — х2)-1/2, если | х |< а, f (х) = оо, если
| х | а; а > 0;
6. f (х) = —log х, если х > 0, f (х) = оо, если х 0.
В многомерном случае, как это тривиально следует из теоре-
мы 4.1, любая функция вида
f (х) = {а, х) + а, а £ R,, а £ Rn,
является выпуклой функцией на R.” и более того — аффинной.
Из теоремы 1.5 вытекает, что любая аффинная функция имеет
такой вид.
Квадратичная функция
f (*) = у <х> Qx> + <х» + а»
где Q — симметричная п X «-матрица, является выпуклой тогда
и только тогда, когда Q неотрицательно определена, т. е. когда
<z, Qz> 0 для всех z £ R”.
Это немедленно вытекает из следующего многомерного обобщения
теоремы 4.4.
Теорема 4.5. Пусть f — дважды непрерывно дифференци-
руемая вещественная функция, определенная на открытом выпуклом
множестве С с: R." Тогда она является выпуклой, если и только если
ее гессиан
= (<7о (х)), <7«7.(x) — £g.(Bi, •
неотрицательно определен для всех х £ С.
Доказательство. Выпуклость f на С равносильна
выпуклости f на любом сегменте, принадлежащем С, иначе говоря,,
выпуклости всякой функции g (X) = f (у + Xz) одного переменного
на открытом интервале {X | у 4- Xz С С}, У € С, z 6 Rn. Непосред-
ственное вычисление дает
g" (X) = (z, Q«z), х = у + te.
Остается применить теорему 4.4.
Интересной функцией на R", выпуклость которой можно про-
верить применением теоремы 4.5, является взятое со знаком минус
геометрическое среднее:
__ f ~~ (Bi • • • Вп) , если 0, • • •, > 0,
* I + °о в остальных случаях.
44
§ 4. ВЫПУКЛЫЕ ФУНКЦИИ
Прямой подсчет показывает, что
(г, Qxz)=rr*f (х) [(3 С7-/^)2-п 3 (С>/|,)2]
ДЛЯ Z = (С1, • • •, Сп), X = (£1, . . 1п), £1 > 0...|п > 0. Это
выражение неотрицательно, ибо f (х) < 0 и для любых аг
(«! + ...+ ап)2 < п (а2 + . . . + а«)
(поскольку 2ага,- < а? + а?).
Одной из важнейших выпуклых функций в R." является евкли-
дова норма
|х|=<Х,х)‘/2 = (£ + . . . +&)1/2.
При п = 1 это, конечно, не что иное, как абсолютная величина.
Выпуклость евклидовой нормы следует из известных соотношений
I х + у | | х | + | у |, | %х | = % | х I, % > 0.
Имеется несколько важных соответствий между выпуклыми
множествами и выпуклыми функциями. Простейшее из них состоит
в том, что каждому множеству С сопоставляют индикаторную
функцию 6 ( | С), полагая
{0, если х 6 С,
. л/
+ <эо, если х$С.
Надграфиком индикаторной функции служит «полуцилиндр с осно-
ванием С». Выпуклость множества С равносильна выпуклости
функции 6 (х | С). Индикаторные функции играют важную роль
в выпуклом анализе, подобную роли характеристических функций
в других ветвях анализа.
Опорной функцией 6* (• | С) выпуклого множества С cRn
называется функция, определяемая так:
6* (х | С) = sup{(x, у) [ у 6 С}.
Калибровочной функцией у (• | С) множества С называют функ-
цию
у (х I С) = inf{% > 0 | х € ХС}, С =# 0.
Функцией (евклидова) расстояния d(-,C) называют функцию
d (х, С) = inf {] х — у | | у 6 С}.
Выпуклость введенных только что функций может быть прове-
рена непосредственно. Она вытекает также из результатов следую-
Щего параграфа.
Существует важный способ сопоставлять выпуклым функциям
выпуклые множества.
45
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
Теорема 4.6. Для любой, выпуклей функции f и любого числа
a g [—оо, +оо] множества уровня {х | / (х) < а} и [х | f (х) а}
выпуклы.
Доказательство. В случае строгого неравенства доста-
точно применить теорему 4.2. Для другого случая доказательство-
сразу получается, если заметить, что {х 1 f (х) а} есть проек-
ция на Rn пересечения epi f и горизонтальной гиперплоскости
{(х, ц) | р = а}.
Следствие 4.6.1. Пусть ft — выпуклые функции на К?
и at — вещественные числа для любого i £ I, где I — произвольное
множество индексов. Тогда
есть выпуклое множество.
Это доказывается так же, как и следствие 2.1.1.
Взяв в качестве f й теореме 4.6 квадратичную функцию, мы
получим, что множество
(х, Qx) + {х, а) + а О
выпукло, если матрица Q неотрицательно определена (теорема 4.5).
Множества этого типа включают в себя все эллипсоиды и пара-
болоиды, в частности шары {х |(х, х) 1).
Теопёма 4 6 и следствие 4.6.1 имеют очевидное значение в теории
систем нелинейных неравенств. Однако выпуклость появляется
ив других разделах теории неравенств, поскольку многие класси-
ческие неравенства могут быть доказаны при помощи неравенства
Иенесена Например, рассмотрим в качестве f отрицательный
логарифм (см. пример 6 выше). Из неравенства Иенесена следует,
So 5 выпуклей комбинации положительных чисел , хт
—log (Ml + . . • + ЪпХт) =< 7^1 log Х1 — • • • — Am 10g Хт.
Умножая ёта неравенства на -1 и потенцируя, получаем
XiXi + . • • + Кпхт *1 • • • х !т-
В частности, если Ki = . • • = Кп =
(xi+...+xm)/m>(^---^)1/M-
Это - знаменитое неравенство между средним арифметическим
И <Нередко нЧвы?у”Ифункции становятся выпуклыми после
нелинейной замены переменных. Замечательным примером такого
ЧодЧ служит класс (положительных) алгебраических функции на
положительном ортанте в Г, представимых в виде суммы членов
ВИДЭ g (х) = g (li, • • •» &>) =
46
§ 4. ВЫПУКЛЫЕ ФУНКЦИИ
где Р > 0 и ojjf — произвольные вещественные числа. (Такого рода
функции сыграют важную роль в конце § 30.) В частности к этому
классу принадлежит, например, функция
№ В2) = £Г2 + (^2)1/3 + 11 > 0, |2>0.
Подстановка = log превращает каждый член в
h (z) = h (^, ..., Сп) = ре<а‘Е* + • • • = ре<“- г>.
В следующем параграфе мы покажем, что любая сумма конечного
числа членов такого вида является выпуклой функцией. Отметим,
что та же замена переменных преобразует множество {х | g (х) = а}
в гиперплоскость
{z | h (z) = а) = {z | (a, z) = log а/р}.
Функция f на R.” называется положительно однородной (степе-
ни 1), если для любого 0<Х.< сю
НМ ^Не-
очевидно, что положительная однородность функции равносильна
тому, что ее надграфик является конусом в R,"+I. Примером положи-
тельной однородной функции, не являющейся линейной, может
служить функция f (х) = | х |.
Теорема 4.7. Положительно однородная функция f, отобра-
жающая R.” в (—оо, 4-оо], выпукла тогда и только тогда, когда
f (х + у) (х) + f (у)
для любых х 6 у € R.n.
Доказательство. Это сразу следует из теоремы 2.6,
ибо условие полуаддитивности функции f равносильно тому, что
ее надграфик замкнут относительно операции сложения.
Следствие 4.7.1. Если f — положительно однородная соб-
ственная выпуклая функция, то
f (Mi + ••• + XmXm) Ьф (Xi) + . . . + Knf (xm)
при Xi > 0, . . ., Xro > 0.
Следствие 4.7.2. Если f — положительно однородная соб-
ственная выпуклая функция, то f (—х) —f (х) для всех х.
> o' ик азательство- f + f (—х) f (х — х) = / (0)
Теорема 4.8. Положительно однородная собственная функ-
Чия I является линейной на подпространстве L тогда и только
тогоа, когда f (—х) = —f (х) для всех х 6 L. То же самое верно,
47
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
если лишь f (—bi) = —f (bi) для всех векторов bt.bm из неко-
торого базиса в L.
Доказательство. Докажем это последнее. Имеем
/ (^ibt) = Kf (bi) для любых Хг С R- (не обязательно положитель-
ных). Для любого х = + . . . + Xmbm £ L
f (Ml) + ...+Г (Ш >f(x)> -f (-X) >
>-(f (-Kbi) + ...+/ (—кпьт)) = f M + ...+/ (Kmbm)
(теорема 4.7 и следствие 4.7.2) и, значит,
f W = f М + ...+/ (Xmdro) = XJ (&t) + . . . + Kmf (bm)-
Таким образом, f линейна на L и, в частности, f (—х) = —f (х).
В § 13 некоторые выпуклые положительно однородные функции
будут охарактеризованы как опорные функции выпуклых множеств,
а в § 15 — как калибровочные функции выпуклых множеств.
Выпуклые однородные функции, являющиеся положительно одно-
родными степени р > 1, будут рассмотрены в следствиях 15.3.1
и 15.3.2.
§ 5. Операции над функциями
Как можно получить выпуклые функции из других функций,
выпуклость которых уже установлена? Имеется большое число
операций, которые сохраняют выпуклость. Некоторые такие опе-
рации, как, например, операция поточечного сложения функций,
известны из обычного анализа. Иные, как, например, операция
взятия выпуклой оболочки данного семейства функций, мотивиро-
ваны геометрическими соображениями. Ряд таких операций связан
со взятием нижней грани, и этим объясняются многочисленные
приложения теории к экстремальным задачам.
Свободное обращение с теми операциями, которые мы вводим
ниже, весьма полезно, особенно при доказательствах того, что
некая функция, определенная сложной формулой, является
выпуклой.
Теорема 5.1. Пусть f — выпуклая функция, определенная
на йп, со значениями в (—оо, +оо], а <р — неубывающая выпуклая
функция, определенная на И, со значениями в (—оо, +оо]. Тогда
функция h (х) = (f (х)) является выпуклой на Rn (мы считаем,
что <р (+°о) = +оо).
Доказательство. Для х, у из R” и 0< X < 1 имеем
f ((1 - X) х + Ку) С (1 - X) / (х) + X/ (у)
48
§ 5. ОПЕРАЦИИ НАД ФУНКЦИЯМИ
(теорема 4.1). Применив <р к обеим частям неравенства, получим
h ((1 - X) х + Ху) С Ф ((1 - X) f (х) 4- X/ (у)) <
< (1 - X) h (х) + ХА (у).
Поэтому в силу той же теоремы 4.1 А выпукла.
Из теоремы 5.1 следует, что А (%) = е^ есть собственная
выпуклая функция на Din, если таковой является функция f. Далее,
функция А (х) = (/ (*))р выпукла при р > 1, если f выпукла и неот-
рицательна: для доказательства надо взять функцию
<₽(&) = {
£р, если £ О,
О, если £ < 0.
В частности, А (х) = | х |р, где | х 1 — евклидова норма в Dln,
есть выпуклая функция при р 1. Если g (х) — вогнутая функ-
ция, то функция А (х) — 1/g (х) выпукла на том множестве С,
где g (х) > 0. Для доказательства следует применить теорему
к выпуклой функции f = —g и функции <р, определенной так:
I если £< °»
Ф (с) = <
I 4-оо, если | 0.
Рассмотрев аффинную функцию <р(|) = Х£4- а с положительным X, мы
получим, что функция Xf 4- а есть собственная выпуклая функция,
если таковой является функция / (а произвольно, X 0). Дальней-
шие примеры применения теоремы 5.1 даны в теореме 15.3.
Теорема 5.2. Если fa и fa — собственные выпуклые функции,
то функция ft 4- /2 также выпукла.
Это сразу следует из теоремы 4.1.
Отметим, что (Л 4- /г) W'C 00 тогда и только тогда, когда
fi (х)< оо и /2 (х)< оо. Таким образом, dom (Д 4- /г) = dom ft f|
П dom fa, и, значит, в принципе может статься, что dom (fa 4- /г) =
= 0, т. е. fa 4- /г будет несобственной функцией. Предположение
о том, что в теореме 5.2 функции fa и fa являются собственными, как
раз и было сделано, чтобы исключить эту возможность.
Линейная комбинация Xjfj 4- ... 4- Xm/TO собственных выпук-
лых функций с неотрицательными коэффициентами также является
выпуклой.
Если f — конечная выпуклая функция и С — непустое выпук-
лое множество, то
+ "С-
( +оо, если х £ С,
где 6 (• | С) — индикаторная функция множества С. Таким обра-
зом, прибавление индикаторной функции к f приводит к ограниче-
нию эффективного множества функции Д
4 Р. Рокафеллар
49
ГЛ. I. ОСНОВНЫЕ понятия
Обычный прием построения выпуклой функции в состоит в том,
что строится выпуклое множество/7 bR"+1, затем берется функция,,
график которой есть нижняя огибающая множества F. Точный
смысл сказанному придает следующая теорема.
Теорема 5.3. Пусть F — произвольное выпуклое множество
в Rn+1 и
f (х) = inf {р, | (х, ц) 6 F}.
Тогда f — выпуклая функция на R.n.
Это сразу следует из теоремы 4.2. (Отметим, что здесь суще-
ственно наше соглашение о том, что нижняя грань пустого множе-
ства вещественных чисел равна Н-оо.)
В качестве первого приложения теоремы 5.3 введем новую
операцию над функциями, соответствующую операции сложения
надграфиков.
(Теорема 5.4. Пусть fa.........fm — собственные выпуклые
функции на R.” и
f (х) = inf {fa (xi) + . . . + fm (xm) | Xi G Xi + . . . + xm ==x}.
Тогда f есть выпуклая функция на Rn.
Доказательство. Пусть Ft = epi fa и F = Ft + • • -
. . . + Fm. Тогда F есть выпуклое множество в R,n+1. По определе-
нию (х, р.) 6 F, если и только если существуют хг £ 1КП, р.г g Л,
такие, что р( >• f (хг), р, = р.* + . . . + рт, х = х± + . . . + хт.
Мы видим, что определенная в теореме функция f получается
из F конструкцией теоремы 5.3.
Функцию f из теоремы 5.4 мы будем обозначать через Л □ . . -
• • • □ fm- Операция □ называется инфимальной конволюцией.
Происхождение термина связано с тем обстоятельством, что для
случая двух функций операция □ выглядит так:
(/ □ S) (*) = inf {f (х — у) + g {у)},
V
и здесь видна некоторая аналогия с формулой свертки (интеграль-
ной конволюции). Инфимальная конволюция дуальна к операции
сложения выпуклых функций в смысле, который будет объяснен
в § 16.
Если g = б (• | а) для некоторой точки а 6 Лп (иначе говоря,
б (х | а) = оо при х =£ а и б (а | а) = 0), то f □ g = f (х — а).
Таким образом, f □ б (• | а) есть функция, получаемая из f пере-
носом графика параллельно самому себе на вектор а. Для произ-
вольной функции g и для функции h (у) = f (—у) инфимальная
конволюция f □ g выражает нижнюю грань на R.” функции «g плюс
транслянт h □ б (• | х)» как функцию этого х. Эффективная область
Для f □ g есть сумма dom f и dom g.
50
§ 5. ОПЕРАЦИИ НАД ФУНКЦИЯМИ
Взяв в качестве f евклидову норму, а в качестве g — индика-
торную функцию выпуклого множества С, получим
(fOg) (*) = inf{l х — У I + 6 (у I Q) = inf I X — у | = d (х, С).
V VSC
Тем самым установлена выпуклость функции расстояния. Другие
примеры инфимальных конволюций встретятся нам в след-
ствии 9.2.2.
Свойство выпуклой функции быть собственной не обязательно
сохраняется при инфимальной конволюции, ибо нижняя грань
в формуле из теоремы 5.4 может оказаться равной —оо. Нельзя
определить этой формулой и инфимальную конволюцию несоб-
ственных функций, ибо при этом может встретиться выражение
оо — оо. Однако А □ Д для произвольных функций А и Д из
в [—оо, оо] можно определить непосредственно в терминах
сложения надграфиков:
(АП /г) (х) = inf {ц | (х, р,) € (epi А + epi А)}.
Как операция на множестве всех функций из R.n в [—оо, +оо]
инфимальная конволюция является коммутативной, ассоциативной
и сохраняющей выпуклость. Функция 6 (• | 0) играет для этой
операции роль единичного элемента.
Мы уже отмечали выше, что операция умножения слева на
неотрицательное число сохраняет выпуклость:
(Х/)(х) =Х(/(х)).
Имеется еще одна важная операция, сохраняющая выпуклость,—
умножение справа, соответствующее гомотетическому преобразова-
нию надграфиков. Для любой выпуклой функции f на R” и любого
X, 0 X < оо, определим /X как выпуклую функцию, построенную
по рецепту теоремы 5.3 с F = Л (epi f). Таким образом,
(/X) (х) = X/ (Х-1х), X > 0.
Если X = 0, то
(/0) (X) = 6 (X I 0), f &+<*>.
(Очевидно, что если f = +оо, то fX = f VX >- 0.) Функция f положи-
тельно однородна тогда и только тогда, когда /X = f для всех
Х> 0.
Пусть h — выпуклая функция на Rn и F — выпуклый конус
в R,n+1, порожденный epi h. Функция, построенная по рецепту тео-
ремы 5.3 при помощи F, имеет своим надграфиком выпуклый конус
в R.n+1, содержащий начало координат. Мы приходим к наибольшей
положительно однородной выпуклой функции А обладающей свой-
ствами : f (0) 0, f h. Мы будем называть ее положительна
однородной выпуклой функцией, порожденной h. Поскольку F
содержит начало и объединение множеств X (epi h) по X > 0, мы
получаем
f (х)- = inf {(/iX) (х) | X > 0},
51
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
если h ф 4-оо. Разумеется, к = 0 может быть исключено, если
х =£ 0 или если h (0) < 4-о°-
Для любой собственной выпуклой функции f на функция g
на R.”+1, определенная так:
[ (fh)(x), если k>0,
Я( ,*)—I -]-оо, если %<0,
является положительной однородной выпуклой собственной функ-
цией, а именно положительно однородной выпуклой функцией,
порожденной функцией
В частности, <р (%) = (/X) (х) есть собственная выпуклая функция
от X 0 для любого х 6 dom f.
Калибровочная функция любого непустого выпуклого множе-
ства С в Я” является положительно' однородной выпуклой функ-
цией, порожденной функцией 6(» | С) 4- 1- Действительно, для
Л (х) = 6 (х | С) 4- 1 мы имеем (йХ) (х) = 6 (х | ХС) 4* так что
inf {(/Л) (х) 11 > 0} = inf {% > 0 | х е М?} = Y (х | С).
Теорема 5.5. Поточечная верхняя грань произвольного семей-
ства выпуклых функций является выпуклой функцией.
Доказательство. Утверждение теоремы следует из того,
что пересечение любого семейства выпуклых множеств является
выпуклым множеством. Действительно, если
f (х) = sup {ft (х) | i € I},
то надграфик f есть пересечение надграфиков ft.
Выпуклость опорной функции 6* (• | С) множества С с= Яп
есть следствие теоремы 5.5, ибо по самому определению опорная
функция есть поточечная верхняя грань семейства линейных
функций (•, у), где у пробегает множество С.
В качестве другой иллюстрации рассмотрим функцию f, которая
сопоставляет каждому вектору х = (£i, . . ., |п) наибольшую из
координат По теореме 5.5 эта функция является выпуклой,
ибо она есть поточечная верхняя грань линейных функций <х, ej),
/ = 1, . . ., п, где в} — вектор, образующий /-й столбец единичной
матрицы. Отметим, что f также является положительно однородной
функцией. В действительности она является опорной функцией
симплекса
С = {у = (П1.....Яп) I Я/ > 0, т)1 + • • • + Яп = 1 }•
Аналогичным образом из теоремы 5.5 следует выпуклость
функции
k (х) = max {| 1-j I, j = 1, . . n},
52
§ 5. ОПЕРАЦИИ НАД ФУНКЦИЯМИ
которая называется чебышевской нормой в пространстве КЛ Эта
Лтмикиия является опорной функцией выпуклого множества
D = {у = (П1, • • •, Пп) I I Я1 1 + • • • + I Лп I 1}
и в то же самое время калибровочной функцией множества
Е = {х = (|ь . . ., U | - 1 < & < 1, / = 1.............п}.
Вообще, как будет показано в § 14, всякая неотрицательная опор-
ная функция является калибровочной функцией некоторого выпук-
лого множества, содержащего начало координат, и обратно.
Выпуклой оболочкой невыпуклой функции g называется функ-
ция f = conv g, получаемая конструкцией теоремы 5.3 с
F = conv (epi g).
Это наибольшая выпуклая функция, не превосходящая g. В силу
теоремы 2.3 точка (х, р) принадлежит F, если и только если она
может быть представлена как выпуклая комбинация
(х, р) = (Xj, р.1) Н” . . . Н- (xm, Pm) =
= (^1*1 + . . . + ^тХт, ^1Р1 + • • • + KnXrtih
где (х<; pi) 6 epi g (т. е. g (xt) рг С R)- Таким образом,
f (х) = inf {X1£ (Х1) + . . . + kjng (хт) I %iXi + . . . + КтХт = х},
где нижняя грань берется по всем представлениям х в виде выпук-
лой комбинации точек из Rn (здесь предполагается, что g не при-
нимает значения —оо, так что суммирование можно проводить без
опасений).
Выпуклая оболочка произвольного семейства функций {ft | i £ 1}
на 0in обозначается так:
conv {ft | i 6 I}.
Это выпуклая оболочка поточечной нижней грани данного семей-
ства, т. е. функция, получаемая с помощью конструкции теоре-
мы 5.3 из выпуклой оболочки F объединения надграфиков epi
функций ft. Эта функция является наибольшей выпуклой (не обяза-
тельно собственной) функцией R.", для которой f (х) < ft (х) при
любых х g Пп и i 6 /.
Теорема 5.6. Пусть {ft | i Е /} — семейство собственных
выпуклых функций на где I — произвольное множество индек-
сов, и пусть f — выпуклая оболочка этого семейства. Тогда
f (х) = inf {2 Ufi (хг) 12 ^ixi = x},
i£I i£I
еде нижняя грань берется по всем представлениям х в виде выпуклых
комбинаций элементов х, в которых лишь конечное число коэффи-
циентов Xj отлично от нуля. (Та же формула остается справедливой,
если считать, что xt берутся из dom Д.)
63
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ
Доказательство. По определению f (х) есть нижняя
грань значений р, таких, что (х, р) € F, где F — выпуклая оболочка
объединения непустых выпуклых множеств Ci = epi ft. В силу
теоремы 3.3 (х, р) 6 F, если и только если (х, р) можно представить
как конечную выпуклую комбинацию вида
(X, р) = 2 (^i> Pi) = (3 ^i-^ii 2 ^/Pi),
i£l i£I i£I
где (хг, pj)‘e/ € Ct (лишь конечное число коэффициентов отлично
от нуля). Таким образом, f (х) есть нижняя грань сумм 2 Хгрг
по всем представлениям х в виде линейной комбинации 2 ^txt
с pi fi (хг) для любого i. Но это как раз то самое, что и тре-
буется.
Важен тот случай теоремы 5.6, когда функции ft имеют вид
( аг-, если х = а/,
ft (х) = 6 (х I аЛ + <Х| = <
' ' ’ ' . ( оо, если х^=а/,
где at и at — фиксированные элементы из и R соответственно.
Тогда f есть наибольшая выпуклая функция, удовлетворяющая
неравенствам
f (ai) < at, Vi 6 I,
и мы получаем
f (х) = inf (2 Mi I 2 ^iai = >
iCI i£i
где нижняя грань берется по всем представлениям х в виде выпук-
лой комбинации конечного числа векторов а,.
Несколько более тонкий результат мы получим в § 17 в каче-
стве следствия из теоремы Каратеодори.
Формулу из теоремы 5.6 можно также получить при помощи
инфимальной конволюции. Для простоты допустим, что I =
= {1, . . ., т}. Тогда f получается конструкцией теоремы 5.3,
если исходить из множества
F = conv (Ci, . . ., Cm) = (J {A.iCi + . . . + XmCm},]
где объединение распространяется на все выпуклые комбинации
множеств Ci = epi ft (теорема 3.3). Но /А* □ . . . □ /тХт есть
функция, получаемая по теореме 5.3 из выпуклого множества
XiCi + . . . + ЪтСт a Din+1. В итоге мы приходим к следующей
формуле:
f (х) = inf {(/Д1 □ . . . □ (х) | Хг > 0, Xi + . . . + Xm = 1},
где fi, . . ., fm — собственные выпуклые функции.
54
§ 5. ОПЕРАЦИИ НАД ФУНКЦИЯМИ
Множество всех выпуклых функций на И.” можно рассматри-
вать как частично упорядоченное множество относительно поточеч-
ного упорядочения: f^g, если /(x)^g(x) для всякого х. Оно
при этом оказывается полной решеткой: наибольшей нижней гранью
семейства выпуклых функций ft служит conv {ft | i € I}, а наи-
меньшей верхней гранью служит sup {ft | i g I}.
В следующей теореме рассматриваются конструкции, связанные
с линейными преобразованиями.
Теорема 5.7. Пусть А — линейное преобразование из К."
в R"1. Тогда для любой выпуклой функции g из выпукла функция
gA на Ип, определенная формулой
(gA) (х) = g (Ах).
Далее, для любой выпуклой функции h на Rn выпукла функция Ah
на определенная формулой
(Ah) (у) = inf {h (х) | Ах = у}.
Доказательство. Первое утверждение непосредствен-
но следует из теоремы 4.2. Выпуклость функции f = Ah также
сразу получается, если применить теорему 5.3 к образу F над-
графика функции h при линейном отображении (х, р) -> (Ах, р)
из R.n+1 в RTO+1.
Функция Ah из теоремы 5.7 называется образом функции h
при отображении А, а функция gA—прообразом функции g
относительно А. Эта терминология подсказана случаем, когда g
и h — индикаторные функции выпуклых множеств.
Важный пример — образ функции при проектировании. Скажем,
для
А: X = (|1, . . ., Вт> Вт+1, • • •> Вп) “* (В1> • • •> Вт)
имеем
(Ah) (|.....%т) = inf h &...........Вт. Вт+1, • • Bn)-
1т+1,...Лп
Согласно теории, это выпуклая функция от у = (£1( . . ., ^то), если
h — выпуклая функция.
Если А —невырожденное преобразование, то Ah = /iA-1.
Частное сложение надграфиков позволяет определить беско-
нечное число коммутативных ассоциативных бинарных операций
на совокупности всех выпуклых функций на ИЛ В качестве примера
рассмотрим частную инфимальную конволюцию
h (у, г) = inf {/ (у, z —и) +g (у, и)},
где х = (у, Д у g Dlw, z £ 0V\ tn + p = n.
Как и в случае выпуклых множеств, среди этого бесчисленного
множества операций можно выделить четыре «естественных»; для
случая выпуклых конусов, содержащих начало, дело сводится
55
ГЛ. I. ОСНОВНЫЕ понятия
к всего-навсего двум операциям. Эти операции получаются при
помощи частного сложения выпуклых конусов вида
К = {(X, х) | А > 0, х G АС} с Rn+1,
где С — выпуклые множества в Rn (см. замечания после теоре-
мы 3.6). Аналогичным образом можно ввести восемь «естественных»
коммутативных ассоциативных бинарных операций на совокупно-
сти всех выпуклых функций на если множества заменить на
надграфики. А именно, сопоставим каждой выпуклой функции f
выпуклый конус К, являющийся надграфиком положительно одно-
родной выпуклой функции на R.n+1, порожденной h, где h (А, х) =
= f W + б (А | 1). Если f не есть функция, тождественно рав-
ная + оо, ТО
К = {(А, х, р) | А > 0, х € Rn, р > (х)} а: Нп+2.
(Если f = Ч-оо, то /С вырождается в неотрицательный луч оси р.)
Имеется восемь способов частного суммирования по трем аргумен-
там А, х, р. В каждом из них мы берем частную сумму /( конусов Ki
и /<2> соответствующих выпуклым функциям h и f2 на R”. Далее
применяем теорему 5.3 к
F = {(х, р) | (1, х, р) 6 К}
и получаем функцию f. Операция (ft, f2) -> f очевидным образом
коммутативна и ассоциативна. Четыре операции из тех, которые
мы так вводим, оказываются старыми. А именно, сложение по р
дает ft + f2; сложение по х и р приводит к Д □ f2; сложение по
А, х и р дает conv {Д, f2}; наконец, сложение «ни по чему» задает
взятие поточечного максимума Д и Д> Остающиеся четыре операции
описываются следующей ниже теоремой (шах {а^ . . ., ат} обо-
значает, конечно, наибольшее из действительных чисел оц, . . .
• • •> ат)’
Теорема 5.8. Пусть flt . . ., fm — собственные выпуклые
функции на И". Тогда выпуклы также следующие функции:
f (х) = inf {шах {Д (х±), . . ., fm (xm)} | xt + . . . + xm = х},
g (х) = inf {(fi^i) (x) + . . . -J- (fmAm) (x) | A; > 0,
Ai 4-... 4- Am = 1},
h (x) = inf {max {(/1A0 (x).....(fmAm) (x)} | A, > 0,
Ai + . • . + ATO = 1},
k (x) = inf {шах’{А1Д (xj)......Amfm (xro)}};
56
5 5. ОПЕРАЦИИ НАД ФУНКЦИЯМИ
в последней формуле нижняя грань берется по всем представлениям х
в виде выпуклой комбинации х = А^ + . . . + Ктхт.
Доказательство. В соответствии с предыдущим обсуж-
дением сложение по х дает f, сложение по А и р. дает g, сложение
только по А дает h, сложение по А и х дает k.
Первую из операций теоремы 5.8 можно при т = 2 выразить
в «конволюционной» форме
f (х) = inf max {Л (х — у), fz (у)}.
У
Заметим в связи с этой операцией, что
{х | / (х) < а} = {х | Д (х) < а} + {х । /2 (х) < а}
для любого а. Третья операция сводится к инверсному сложению
эпиграфов.
ГЛАВА II
Топологические свойства
(
§ 6. Относительная внутренность выпуклых множеств
Евклидово расстояние между двумя точками х и у из Нп есть
по определению величина
d (х, у) = | х — у । = {х — у, х — г/)1/2.
•Функция d — евклидова метрика — выпукла как функция в R-2”.
(Это следует из того, что d представляет собой композицию евклидо-
вой нормы f (z) = । z । и линейного отображения (х, у) ->• х — у
из Dlan в ОТ1.) Обычные топологические понятия (замкнутое множе-
ство, открытое множество, замыкание, внутренность) в простран-
стве Нп вводятся обычно в терминах сходимости векторов в евклидо-
вой метрике. Следует иметь в виду, что такая сходимость, конечно,
равносильна покомпонентной сходимости последовательности век-
торов.
Топологические свойства выпуклых множеств в пространстве
HU1, как это будет видно из дальнейшего, значительно проще, чем
топологические свойства произвольных множеств.
С каждой выпуклой функцией естественно связано некоторое
множество открытых и замкнутых выпуклых множеств. Каждая
непрерывная вещественная функция / на R? порождает семейство
открытых множеств уровня {х | f (х) < а} и замкнутых множеств
уровня {х | f (х) а}, являющихся выпуклыми, если функция f
выпуклая (теорема 4.6).
На протяжении этого параграфа через В мы будем обозначать
евклидов единичный шар в Ш”:
В = {х | | х | < 1} = {х | d (х, 0)< 1}.
Он представляет собой замкнутое выпуклое множество, ибо являет-
ся множеством уровня евклидовой нормы, которая выпукла и непре-
рывна. Для любого а 6 iR-n шар радиуса 8 > 0 с центром в точке а
определяется так:
{х | d (х, а) в} = {а + у | | у | е} = а + &В.
53
§ 6. ОТНОСИТЕЛЬНАЯ ВНУТРЕННОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
Для любого множества С в Rn множество точек х, находящихся
от С на расстоянии, не превосходящем е, есть
{х | Зу € С, d (х, у) е} = U {у + еВ | у £ С} = С + ъВ.
Замыкание cl С и внутренность int С множества даются форму-
лами
с1С = П {С + еВ|е> 0},
int С = {х | Зе > 0, х + еВ czC}.
Для выпуклых множеств понятие внутренности может быть
несколько обобщено. Речь идет о понятии относительной внутрен-
ности, весьма удобном для выпуклых множеств. Введение его моти-
вируется тем, что, например, прямо линейный отрезок или треуголь-
ник в R3 не имеют внутренности, но имеют таковую в своей аффин-
ной оболочке. Относительной внутренностью выпуклого множе-
ства С в Я" (обозначение: ri С) называется совокупность внутрен-
них точек С, если это множество рассматривать как подмножество
его аффинной оболочки. Таким образом, ri С состоит из точек
х € aff С, для которых существует 8 > 0, такое, что у € С, лишь
только у € aff С, d (х, у) 8. Другими словами,
ri С = {х е aff С | 38 > 0, (х + &В) fl (aff С) сС}.
Ясно, что
ri С az С cz cl С.
Разность cl C\ri С называется относительной границей множе-
ства С. Говорят, что С относительно открыто, если ri С = С.
Для «-мерного выпуклого множества С имеем aff С — К”,
и, значит, ri С = int С.
Отметим, что, хотя включение Ct z? С2 влечет включения
cl Ct zz> cl С2 и int Ci Z3 int C2, оно, к сожалению, не влечет вклю-
чения ri Ci Z2 ri C2. Например, если Ci — куб R8, a C2 — одна
из его граней, то ri Ci и ri С2 непусты, а их пересечение пусто.
Всякое аффинное ‘множество является относительно открытым
по определению. С другой стороны, оно замкнуто. Это очевидно
хотя бы потому, что оно есть пересечение гиперплоскостей (след-
ствие 1.4.1), а каждая гиперплоскость есть множество уровня
непрерывной функции (теорема 1.3):
н = {х = (Si, ..., и | pili + -.. + Мп - Р}.
Таким образом,
cl С az cl (aff С) = aff С
Для любого С. Значит, прямая, соединяющая две различные точ-
ки из cl С, целиком лежит в aff С.
Замыкание и относительная внутренность сохраняются при
переносах и, более общо, при произвольных взаимно однозначных
59
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
аффинных отображениях Н” на себя. Действительно, такое ото-
бражение сохраняет аффинные оболочки и непрерывно в обе сто-
роны. Это следует иметь в виду как полезный технический прием
при доказательствах. Например, если С есть /n-мерное выпуклое
множество в R.”, то в силу следствия 1.6.1 существует взаимно
однозначное аффинное отображение Т пространства 0U1 на себя,
переводящее aff С в подпространство
L = {х — (£i, . . ., ^т, ^тп+1, • • •> Bn) I Вт-Н = • • • = Вп = 0}*
Это подпространство L можно рассматривать просто как R"1. Подоб-
ным же образом зачастую возможно сводить различные вопросы,
касающиеся общих выпуклых множеств, к случаю, когда выпуклые
множества имеют полную размерность, т. е. когда их аффинная
оболочка совпадает со всем пространством.
Докажем следующее фундаментальное свойство замыканий
и относительных внутренностей.
Теорема 6.1. Пусть С — выпуклое множество в Hn, х С ri С
и у 6 cl С. Тогда (1 — А) х + Ху принадлежит ri С (и, значит,
в частности, С) при 0^СА<1.
Доказательство. Ввиду предыдущих замечаний мы
можем без ограничения общности считать, что С есть л-мерное
множество, так что ri С — int С. Пусть АСЮ. 1)- Мы должны
показать, что (1 — А) х + Ку + еВ содержится в С при некотором
е > 0. Поскольку у С cl С, мы имеем у £ С + еВ для любого
е > 0. Значит, для любого е > 0
(1 — А) х + 1у + еВ с (1 — %) х + А (С + еВ) + еВ =
= (1 — А) [х + 8 (1 + А) (1 — А)-1В] + АС.
Но последнее множество содержится в (1 — А) С + АС = С, если
е достаточно мало, ибо х С int С, согласно предположению.
В следующих двух теоремах описываются наиболее важные
свойства операций cl и ri на совокупности всех выпуклых множеств
в пространстве RA
Теорема 6.2. Пусть С — выпуклое множество в HV*. Тогда
cl С и ri С суть выпуклые множества в Н”, имеющие ту же самую
аффинную оболочку, а следовательно, и ту же размерность, что
и С {в частности, ri С =£ 0, если С =£ 0).
Доказательство. Множество С + гВ является выпук-
лым для любого е > 0, ибо оно есть линейная комбинация выпук-
лых множеств. Пересечение этой совокупности множеств по 8 > О
есть cl С. Значит, С выпукло. Аффинная оболочка у cl С не мень-
ше, чем у С, а поскольку cl С с. aff С, то они на самом деле просто
во
5 6. ОТНОСИТЕЛЬНАЯ ВНУТРЕННОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
совпадают. Выпуклость ri С есть очевидное следствие предыдущей
теоремы, (если взять у 6 ri С). Для завершения доказательства нам
надо показать, что если С n-мерно, то int С =# 0. Но п-мерное
выпуклое множество содержит «-мерный симплекс (теорема 2.4).
Осталось показать, что внутренность «-мерного симплекса непуста.
Совершив аффинное преобразование, мы можем перевести вершины
симплекса в точки (0, 0...0), (1, 0, ...),. . ., (0.0, 1).
Тогда
S = {(li.....U + . . . + |п<1}.
Но этот симплекс имеет непустую внутренность, а именно
intS = {(gi....U R/>0, gi + ... + gn<l).
Итак, int С Ф 0. .
Для любого множества С, даже не обязательно выпуклого,
справедливы соотношения
cl (cl С) = cl С, ri (ri С) = ri С.
Следующее замечательное свойство верно лишь при наличии выпук-
лости.
Теорема 6.3. Для любого выпуклого множества С в Rn
cl (ri С) = cl С, ri (cl С) = ri С.
Доказательство. Очевидно включение cl (ri С) с cl С,
ибо ri С с: С. С другой стороны, если у £ cl С и х С ri С (в силу
предыдущей теоремы такое х всегда существует для С у= 0), то весь
отрезок, заключенный между х и у, за исключением, быть может,
точки у, принадлежит ri С (теорема 6.1). Таким образом, у 6 cl (ri С).
Мы доказали, что cl (ri С) = cl С.
Далее, включение ri (cl С) zz ri С очевидно, ибо cl С zz> С,
и аффинные оболочки cl С и С совпадают. Допустим, что z С
€ ri (cl С). Мы должны показать, что z Q ri С. Пусть х — произ-
вольная точка из ri С. (Можно предполагать, что х =/= z, ибо иначе
ясно, что z 6 ri С.) Рассмотрим прямую, проходящую через х и г.
Тогда если р > 1 и р — 1 достаточно мало, то точка
у = (1 — р) х + pz = z — (р — 1) (х — z)
на этой прямой принадлежит ri (cl С) и, значит, cl С. Для таких у
мы можем записать z как (1 — X)х + Ху с 0 •< X < 1. В силу
теоремы 6.1 z С ri С.
Следствие 6.3.1. Если Ct и Cz — выпуклые множества
в “V*, то cl Ci = cl С2 тогда и только тогда, когда ri Ci = ri С2.
Эти условия эквивалентны тому, что ri Ci cz С2 cz cl C\.
61
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Следствие 6.3.2. Если С — выпуклое множество в R.n,
то любое открытое множество, имеющее общие точки с cl С, имеет
их и с ri С.
Следствие 6.3.3. Если Ci — выпуклое подмножество отно-
сительной границы непустого выпуклого множества С2 в Нп, то
dim Ci < dim С2.
Доказательство. Если dim С± = dim С2, то должны
существовать точки из Ci, внутренние по отношению к аффинной
оболочке С2. Но такие точки не могут лежать в cl (ri С2), поскольку
ri С2 не пересекается с Ci, а значит, они не могут лежать в с! С2.
Весьма полезна следующая характеризация относительной вну-
тренности.
Теорема 6.4. Если С — непустое выпуклое множество
в И”, то z £ ri С тогда и только тогда, когда для любого х £ С
существует р > 1, такое, что (1 — р) х + pz принадлежит С.
Доказательство. Условие теоремы означает, что любой
прямолинейный сегмент в С, имеющий точку z в качестве одного
из концов, можно продолжить через z, не вылезая из С. Если z £ ri С,
то это ясно. Обратно, пусть z удовлетворяет поставленному усло-
вию. Вследствие того что ri С =£ 0 (согласно теореме 6.2), найдется
точка х 6 ri С. Пусть у есть точка (1 — р) х + pz G С, р > 1,
существующая по предположению. Тогда z = (1 — ty х + ty, где
0<Д = р-1<1. Значит, z С ri С в силу теоремы 6.1.
Следствие 6.4.1. Если С — выпуклое множество в R.n,
то z G int С тогда и только тогда, когда для любого у G суще-
ствует такое в > 0, что z + еу £ С.
Вернемся к вопросу о том, как ведут себя относительные вну-
тренности выпуклых множеств под действием основных операций
над выпуклыми множествами.
Теорема 6.5. Пусть Ci — выпуклые множества для i g I
(где I — произвольное множество индексов). Допустим, что все
множества ri Ct имеют по крайней мере одну общую точку. Тогда
cl П {Ci I i € 1} = n {cl Ci| i е /}.
Если множество I конечно, то, кроме того,
ri П {Сг I i 6 1} = П {п Ct | i G I}.
Доказательство. Зафиксируем x из пересечения всех
множеств ri Для любого у из пересечения f] cl Ci вектор
(1 — X) х + Ку принадлежит каждому множеству ri для 0
X < 1, в силу теоремы 6.1, и у есть предел этого вектора при
62
§ 6. ОТНОСИТЕЛЬНАЯ ВНУТРЕННОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
% fl. Отсюда следует, что
П cl Ct cz cl Q ri Ct <= cl Q Ct <= f| cl Сг.
i i г г
Это означает, что верна первая из формул теоремы, и показывает
вместе с тем, что Q ri С, и Q Ct имеют одно и то же замыкание.
Согласно следствию 6.3.1, эти два последних множества должны
иметь также одну и ту же относительную внутренность. Таким
образом,
ri П Ct с П ri Ct.
i i
Допуская теперь, что I конечно, докажем, что имеет место обратное
включение. Возьмем любой элемент z 6 Q ri Ci. В силу теоремы 6.4
i
любой прямолинейный сегмент, имеющий точку z своим концом,
может быть продолжен за z в каждом из множеств С{. Пересечение
этих продолжений в силу конечности множества / будет продолже-
нием и в пересечении Q Ci. Таким образом, в силу той же теоре-
i
мы 6.4 z € ri Q Ci.
i
Формулы теоремы 6.5 могут оказаться неверными, если ri С<
не имеют общей точки, как это видно из следующего примера:
I = {1,2}, Ci — положительный ортант в IK2 с присоединенной
точкой (0, 0), С2 —«горизонтальная» ось в Я2. Конечность индек-
сов во второй формуле также необходима: пересечение вещественных
интервалов [0, 1 + а] по .всем а >• 0 есть [0, 1]; в то же время
пересечение интервалов ri [0, 1 + а] по а>0 не есть ri [0, 1].
Следствие 6.5.1. Пусть С — выпуклое множество и М —
некоторое аффинное множество, которое содержит хотя бы одну
точку из ri С. Тогда
ri (М П С) = М П ri С, cl (М П С) = М f] cl С.
Доказательство. Для аффинного множества ri М —
= М = cl М.
Следствие 6.5.2. Пусть Ct — выпуклое множество, С2 —
выпуклое множество, содержащееся в cl С1( но не содержащееся
в относительной границе Ct. Тогда ri С2 с ri Ct.
Доказательство. Из наших предположений следует,
что ri С2 имеет хотя бы одну общую точку с ri (cl Ci) = ri Ct,
ибо иначе относительная граница cl Ci\ri Ct, являющаяся замкну-
тым множеством, содержала бы множество ri С2 и его замыкание
с* С2. Значит,
г’ С2 П ri Ci = ri С2 П ri (cl Ci) = ri (C2 f| cl Ct) = ri C2,
T- e- ri C2 cz ri Ci.
63
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Теорема 6.6. Пусть С — выпуклое множество в Нп и А —
линейное отображение из R” в П<т. Тогда
ri (ЛС) = A (ri С), cl (AC) A (cl С). |
Доказательство. Включение для замыканий — это про- |
сто следствие того, что оператор А непрерывен; этот факт не зави- ’
сит от выпуклости С. Что касается формулы для относительной
внутренности, то заметим, что
cl A (ri С) => A (cl (ri С)) = A (cl С) со АС о A (ri С).
Отсюда следует, что АС имеет то же замыкание, что и A (ri С), ч
а значит, в силу следствия 6.3.1 имеет ту же относительную вну-
тренность. Следовательно, ri (AC) cz A ri С. Допустим теперь, что
z A (ri С). Применив теорему 6.4, покажем, что z 6 ri (АС). Пусть
х — любая точка из АС. Выберем z' С ri С и х' £ С, такие, что
Az' = z и Ах' — х. Существует р >• 1, такое, что вектор
(1 - Р) х' + pz' принадлежит С. Образом этого вектора при ото-
бражении А будет (1 — р) х + рг. Значит, для того же самого
р > 1 (1 — р) х + pz принадлежит АС, т. е. z € ri (AC).
Ниже в § 9 мы покажем, что множества cl (АС) и A (cl С) дей-
ствительно могут не совпадать, а также посмотрим, при каких
условиях они все-таки совпадают.
Следствие 6.6.1. Для любого выпуклого множества С -
и любого вещественного числа X
ri (ХС) = X ri С.
Доказательство. Рассмотреть отображение А: х-*- #
Хх.И 1
Совершенно очевидно, что если Ci @ С2 в Ит+Р есть пря-
мая сумма выпуклых множеств Ci и С2 <=Ир, то
ri (Ct © Съ) = ri Ci © ri С2,
cl (Ci © C2) = cl Ci © cl C2.
В сочетании с теоремой 6.6 это дает I
Следствие 6.6.2. Для любых выпуклых множеств Ci и С2 j
в Н" j
ri (С1Ч- С2) = ri Ci -J- ri C2,
cl (Ci + C2) гэ cl Ci + cl C2. I
Доказательство. Имеем Ci + C2 = A (Ci © C2), где *
А есть сложение — линейный оператор из Н2П в действующий
по формуле А: (xif х2) -> Xi + х2.
Дальнейшее развитие этот результат получит в следствиях 9.1.1 Г
и 9.1.2.
1
§ 6. ОТНОСИТЕЛЬНАЯ ВНУТРЕННОСТЬ ВЫПУКЛЫХ МНОЖЕСТВ
Теорема 6.7. Пусть А — линейное отображение из
е и С — выпуклое множество в Я”1, такое, что Л-1 (ri С) =?= 0.
Тогда
ri (Л -ХС) = Л -J (ri С), с! (Л ~1С) = Л -I (cl С).
Доказательство. Пусть D = R" @ С и М — график
оператора Л. Тогда М есть аффинное множество в (действитель-
ности, как мы это объясняли в § 1,— даже подпространство),
и М содержит точки из ri D. Пусть Р — проекция (х, у) -*• х из
Rn+m в RA Тогда Л-1С = Р (М f| D). Следуя правилам, пред-
писываемым теоремой 6.6 и следствием 6.5.1, находим
ri (Л-ХС) = Р (ri (М П £>)) = Р (Л4 f| ri D) = Л-1 (ri С),
cl (Л^С) Р (cl (М (]£>)) = Р(М П cl D) = Л-1 (cl С).
Остающееся включение cl (Л-1С) с: Л-1 (cl С) следует из непре-
рывности оператора Л.
Вот контрпример к теореме 6.7, показывающий, что допущение
о непустоте внутренности отбросить нельзя. Пусть т — п = 2,
С — положительный ортант в Я2 с присоединенным началом коорди-
нат, а Л — отображение (|ь £2) -* (Вь 0). Ясно, что 'заключение
теоремы 6.7 неверно.
Итак, класс относительно открытых выпуклых множеств замк-
нут относительно взятия конечных пересечений, умножения на
числа, сложения, а также взятия образов и прообразов при линей-
ных или аффинных преобразованиях.
Теорема 6.8. Пусть С — выпуклое множество в Н’п+₽,
Су для любого у £ — множество} векторов z g Ир, таких, что
(у, z) g С, и D = {у | Су Ф 0 }• Тогда (у, z) 6 ri С, если и только
если у € ri D, z € ri Су.
Доказательство. Проекция (у, z) -> у отображает С на
D, и, значит, в силу теоремы 6.6, ri С на ri D. Для заданного у 6
6 ri D и аффинного множества М = {(у, z) | z 6 Rp} точки из ri С,
проектирующиеся в у, суть точки вида
М п ri С = ri (М п С) = {(у, z) | z 6 ri Су}.
Первое равенство в этой формуле вытекает из следствия 6.5.1.
Таким образом, для любого заданного у £ ri D мы имеем (у, г) 6
€ ri С, если и только если z g ri Су, что и доказывает теорему.
Следствие 6.8.1. Пусть С — непустое выпуклое множе-
ство в и пусть К. — выпуклый конус в Rre+X, порожденный
•множеством {(1, х) |х£С). Тогда ri К состоит из пар (X, х),
таких, что К > 0, х £ % ri С.
Доказательство. Следует применить теорему к случаю,
когда R.m = R, = Rn.
5
Р. Рокафеллар
65
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Читатель может доказать в качестве простого упражнения, что
имеет место более общий факт, а именно, что относительная вну-
тренность выпуклого конуса, порожденного непустым выпуклым
множеством С в Rn, состоит из векторов вида Хх, где % > 0 и х £ ri С.
Формула для замыкания этого конуса будет получена нами в тео-
реме 9.8.
Отметим, что относительная внутренность и замыкание выпук-
лого конуса всегда являются выпуклыми конусами. Это сразу
видно из следствия 6.6.1, ибо выпуклое множество С есть конус
тогда и только тогда, когда ХС = С для всех X >• 0.
Теорема 6.9. Пусть Cit . . ., Ст — непустые выпуклые
множества в IRn, и пусть Со — conv (Ci U • • • U Cm). Тогда
ri Со — U {Xi ri Ci И- . . .
• • • + ri Cm | Хг > 0, Xi . + Xm = 1}.
Доказательство. Пусть — выпуклые конусы в Rn+I,
порожденные {(1, хг) | хг 6 Сг}, i = 1, .... т. Тогда
Ко = conv (Ki U • • • U Кт) = Ki + • • • + Кт
(теорема 3.8), и, значит, по следствию 6.6.2
ri Ко = ri Ki + • • • + ri Кт-
По следствию 6.8.1 ri Kt состоит из пар (Хг, хг), таких, что Хг > 0,
Xi 6 Хг ri Сг. Значит, принадлежность х0 £ ri Со эквивалентна тому,
что (1, х0) € ri Ко> а это в свою очередь эквивалентно тому, что
х0 € (Xi ri Ci + . . . + Xm ri Cm)
при некоторых Xt >• 0, . . ., Xm > 0, Xt + . . . + Xm = 1.
Замыкание множества Co из теоремы 6.9 будет рассмотрено
в теореме 9.8.
§ 7. Замыкания выпуклых функций
Непрерывность всякой линейной функциих) есть следствие
алгебраического свойства — линейности. Что касается выпуклых
функций, то здесь дело обстоит не столь просто. Однако многие
топологические свойства определяются одной лишь выпуклостью.
Эти свойства легко получаются, если применить теорию замыканий
и относительных внутренностей к надграфикам и множествам уровня
выпуклых функций. Одним из важных следствий теории, которую
нам предстоит развить, является то, что полунепрерывность снизу
есть «конструктивное» свойство выпуклых функций. А именно, мы
покажем, что каждую собственную выпуклую функцию можно
х) На конечномерном пространстве.— Прим. ред.
66
§ 7. ЗАМЫКАНИЯ ВЫПУКЛЫХ ФУНКЦИЙ
превратить в функцию, полунепрерывную снизу, просто переопре-
делив ее в некоторых точках относительной границы ее эффектив-
ного множества.
Напомним, что по определению вещественная функция f, задан-
ная на множестве S <=Rn, называется полунепрерывной снизу
в точке х € S, если
f (х) < lim f (хг)
г—>оо
для любой последовательности х4, . . ., хп, ... в S, такой, что
Xt сходится к х, и предел последовательности f (xt), f (х2), . . .
существует в [—оо, +оо]. Это условие может быть записано еще
и так:
f (х) = lim inf /(«/) = lim (inf {/ (у) | | у — х |< е}).
2/->Х 8 ф О
Аналогично f называется’ полунепрерывной сверху в точке х, если
f (х) = lim sup f (у) = lim (sup {f (у) । | у — x | e}).
У~>Х 8 I 0
Если функция одновременно полунепрерывна сверху и снизу, то
она является непрерывной в обычном смысле.
Истинное значение полунепрерывности снизу при изучении
выпуклых функций видно из следующего результата.
Теорема 7.1. Пусть f — произвольная функция, отобра-
жающая IFtn в [—оо, +оо]. Следующие свойства равносильны'.
(а) функция f полунепрерывна снизу на DV1;
(Ь) множества уровня {х | / (х) а} замкнуты при всех а (Е R;
(с) надграфик f замкнут в R”+I.
Доказательство. Полунепрерывность функции f снизу
в точке х может быть выражена равносильным образом так: р
f (х), если только р = lim рг- и х = lim хг для последовательно-
стей рь . . ., рп, . . . и Xi, . . ., хп, . . ., таких, что рг f (хг)
для всех I. Но это не что иное, как (с). Отсюда сразу следует также
и (Ь) (если положить а = р = pi = . . . = рп = . . .). Пусть теперь
выполнено (Ь). Допустим, что последовательность хг сходится к х,
a f (хг) сходится к р. Для любого вещественного а > р значение
f (*«) должно в конечном счете стать меньшим, чем а, и, значит,
х Е с! {у | f ({/)< а} = {«/ | f (z/X а}.
Следовательно, f (х) р. Мы вывели (а) из (Ь).
Для всякой функции f на R” найдется наибольшая полунепре-
рывная снизу функция (необязательно конечная), которая мажори-
руется функцией f, а именно функция, надграфик которой есть
замыкание в Rn+1 надграфика f. Эту функцию мы будем называть
полунепрерывной снизу оболочкой функции f. Если функция f не
принимает значения —оо, то ее полунепрерывную снизу оболочку
мы будем называть просто замыканием функции /; если же функ-
67
5*
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
ция f хотя бы в одной точке принимает значение, равное —оо, то
ее замыканием по определению является функция, тождественно
равная —оо. Замыкание выпуклой функции есть новая выпуклая
функция. Она обозначается через cl f. (Причина, побудившая нас
ввести исключительный случай при определении cl f, та, что при
этом формула /** = cl f из теоремы 12.2 ниже верна и для несоб-
ственных функций f; это бывает удобно и во многих других слу-
чаях, особенно в теории седловых функций.)
Выпуклую функцию будем называть замкнутой, если cl f = f.
Для собственной выпуклой функции замкнутость равносильна полу-
непрерывности снизу. Замкнутыми несобственными функциями
являются лишь функции, тождественно равные -J-оо или —оо.
Если f — собственная выпуклая функция, такая, что dom f
замкнуто и f непрерывна на dom f, то f замкнута в силу (Ь) из тео-
ремы 7.1. Однако выпуклая функция может быть замкнутой и без
того, чтобы ее эффективная область была замкнута; например,
функция на R, равная 1/х при х > 0 и +°о при х 0, имеет
открытую эффективную область.
Пусть f — собственная выпуклая функция. Тогда
epi (cl /) = cl (epi f)
no определению. Из этого соотношения и из доказательства теоре-
мы 7.1 ясно, что elf можно выразить такой формулой:
(cl f) (х) = lim inf f (у).
у-+х
С другой стороны, cl f (х) можно рассматривать как нижнюю
гр!ань значений р, таких, что х принадлежит множеству cl {х | f (х)^
р). Таким образом,
{х | (cl /) (х)< а) == П cl {х | f (х) < р}.
М>а
В любом случае cl f f и Д f2 влечет с! Д cl f2. Функции f
и cl f имеют, разумеется, одну и ту же нижнюю грань.
Для того чтобы составить лучшее представление об операции
замыкания, рассмотрим выпуклую функцию f на R, определен-
ную так:
, . . (О при х > О,
f (х) = ( _
( оо при х 0.
Тогда функция cl f будет совпадать с f во всех точках, за исключе-
нием начала координат, где она равна 0, а не +оо. В качестве
другого примера рассмотрим любой круг С в Н2 и положим
г 0 при х Сint С,
f(x) = -J-оо при х $ С,
I произвольное число из [0, оо] при х 6 C\int С.
68
§ 7. ЗАМЫКАНИЯ ВЫПУКЛЫХ ФУНКЦИЙ
Это собственная выпуклая функция. Ее замыкание получится,
если все ее значения на границе круга заменить на нуль.
Из этих примеров видно, что операция замыкания есть разумная
регуляризация функции, при которой она переопределяется в тех
точках, где имела неестественные разрывы. Этим объясняется
полезность операции замыкания и в теории, и в ее приложениях.
Обычно удается без ущерба для общности так преобразовать задачу,
чтобы входящие в нее выпуклые функции стали замкнутыми. Тогда
эти функции обладают тремя важными свойствами из теоремы 7.1.
Мы приступаем теперь к более подробному сравнению cl f и f
в общем случае. Представляется целесообразным при этом начать
с несобственного случая. Следующая теорема — основной резуль-
тат о несобственных функциях.
Теорема 7.2. Если f — несобственная выпуклая функция,
то f (х) = —оо для любого х € ri (dom/). Таким образом, несоб-
ственная функция бесконечна во всех точках, кроме, быть может,
точек относительной границы своей эффективной области.
Доказательство. Если эффективная область f непуста,
то по определению несобственной функции должны найтись точки,
где f = —оо. Пусть и — такая точка и х £ ri (dom /). В силу теоре-
мы 6.4 существует такое ц > 1, что у £ dom f, где у — (1 — р) и +
+ цх. Имеем х = (1 — %) и + Ку, где 0 <. % = ц-1 < 1. Значит,
по теореме 4.2
f (х) = f ((1 - X) и + М < (1 - Л) а + Хр
для некоторого а > f (и) и Р > f (у). Коль скоро f (и) = —оо
и f (у) < оо, мы видим, что f (х) = —оо.
Следствие 7.2.1. Полунепрерывная снизу несобственная
функция не может иметь конечных значений.
Доказательство. Множество точек х, где f (х) = —оо,
должно содержать cl (ri (dom /)) в силу свойства полунепрерывно-
сти, но в то же время
cl (ri (dom /)) = cl (dom f) о dom f
в силу теоремы 6.3.
Следствие 7.2.2. Пусть f — несобственная выпуклая функ-
ция. Тогда cl f есть замкнутая несобственная функция, совпадаю-
щая с f на ri (dom /).
В силу этих результатов замыкание выпуклой функции f, кото-
рая принимает значения —оо, не столь уж резко отличается от
ее полунепрерывной снизу оболочки f, как это могло бы показаться
на первый взгляд. Действительно, f равна —оо на cl (dom /) и +оо
вне этого множества, в то время как (cl f) (х) равна —оо всюду.
69
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Нам хочется отметить еще одно следствие теоремы 7.2, хотя оно
й не имеет прямого отношения к основной теме этого параграфа,
полунепрерывности.
Следствие 7.2.3. Если f — выпуклая функция, эффектив-
ная область которой относительно открыта (в частности, есть
все пространство Rn), то либо f (х) >• —оо для всех х, либо f (х)
бесконечно при всех значениях х.
В качестве типичного приложения этого следствия (и тем самым
вообще теории несобственных функций) рассмотрим произвольную
конечную выпуклую функцию f на R.2. Функция
g (^) = inf f (Вь Ъ)
выпукла (см. теорему 5.7 и замечания после нее), и ее эффективная
область есть Я. Мы можем заключить, что нижняя грань либо
является конечной для любого |i, либо тождественно равна —оо.
Таким образом, если функция f ограничена снизу на одной какой-
нибудь прямой, параллельной оси |2, то она будет ограничена снизу
на любой такой прямой.
Наиболее важным топологическим свойством выпуклых множеств
в Нп является наличие тесной связи между их замыканиями и отно-
сительными внутренностями. Поскольку замыкание собственной
выпуклой функции есть замыкание ее надграфика, при изучении
замыкания f важную роль должна играть относительная внутрен-
ность множества epi /.
Лемма 7.3. Для любой выпуклой функции f множество
ri (epi f) состоит из тех пар (х, р), для которых х С ri (dom f),
f (x) < p < oo.
Доказательство. Результат леммы можно сразу полу-
чить как следствие теоремы 6.8, если взять там т = п, р — 1,
С = epi f. Его можно также легко вывести из теорем 6.4 и 6.1.
Но мы хотим предложить независимое доказательство этого факта.
Нам достаточно показать, что
int (epi f) = {(х, р) | х Е int (dom /), f (x) < p < oo }.
Включение cz очевидно, так что надо доказать обратное включение.
Пусть х £ int (dom f) и р — вещественное число, такое, что р >
>/:(х). Пусть «1...аг — точки из dom f, такие, что х 6 int Р,
где
Р = conv {ai, .... аг}.
Положим
а = max {f (ai) | i = 1, . . ., г}.
70
§ 7. ЗАМЫКАНИЯ ВЫПУКЛЫХ ФУНКЦИЙ
Тогда для данного х 6 Р мы можем представить х как выпуклую
комбинацию
х = AjOi + • • • + ^Г°г> ^1 0, Xi + . . . + Хг = 1,
откуда
f (х) W1 (°1) + • • • + ^rfr (аг) (^1 + • • • + А,г) а = а-
Таким образом, открытое множество
{(х, р) | х С int Р, а < р <; оо }
содержится в epi f. В частности, для любого р > а
(х, р) 6 int (epi f),
откуда видно, что (х, р) можно рассматривать как относительно
внутреннюю точку «вертикальной» прямой, проходящей через
точки epi f. По теореме 6.1
(х, р) С int (epi /).
Следствие 7.3.1. Пусть а — вещественное число и f —
выпуклая функция, такая, что f (х) < а для некоторого х. Тогда
f (х) < а для некоторого х 6 ri (dom f).
. Доказательство. Если открытое полупространство
{(х, р) ] х Е Rn, р < а} пересекается с epi f, то оно должно иметь
пересечение и с ri (epi f) (см. следствие 6.3.2).
Следствие 7.3.2. Пусть f — выпуклая функция и С —
выпуклое множество, такое, что ri С cz dom f. Допустим, что а —
вещественное число, такое, что f (х) < а для некоторого х £ cl С.
Тогда найдется такая точка х С ri С, что f (х) < а.
Доказательство. Положим g (х) = f (х) для х 6 cl С,
g (*) = +°° для х $ cl С. Тогда
ri С с: dom g<^ cl С
и, значит, ri (dom g) = ri С. По предположению найдется эле-
мент х, такой, что g (х) < а. Тогда g (х) < а для некоторого х 6
6 ri (dom g) в силу предыдущего следствия. Другими словами,
f (х) < а для некоторого х 6 ri С.
Следствие 7.3.3. Пусть f — выпуклая функция на ft”
и С — выпуклое множество, на котором f принимает конечные
значения. Если f (х) а для всех х £ С, то и для всех х 6 cl С мы
будем также иметь f (х) а.
Это сразу вытекает из предыдущего следствия.
Приводимое далее следствие выражает тот факт, что замыкание
выпуклой функции f полностью определяется ее ограничением
на ri (dom f).
71
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Следствие 7.3.4. Если fug — выпуклые функции на
такие, что
ri (dom /) = ri (dom g),
причем fug совпадают на этом множестве, то cl / = cl g.
Доказательство. Из наших предположений следует, что
ri (epi f) = ri (epi g),
и, значит, в силу теоремы 6.3,
cl (epi /) = cl (epi g).
Но это соотношение в точности и означает, что cl f = cl g, если
f и g — собственные функции. Если же f и g — несобственные
функции, то все следует непосредственно из теоремы 7.2.
Наиболее важной теоремой относительно cl f является сле-
дующая.
Теорема 7.4. Пусть f — собственная выпуклая функция
на Ot". Тогда cl f есть замкнутая выпуклая функция. Кроме того,
cl f совпадает с f всюду, за исключением, быть может, точек отно-
сительной границы множества dom f.
Доказательство. Так как epi (cl f) = cl (epi f), a epi f —
выпуклое множество в (R.n+I, то epi (cl f) есть замкнутое выпук-
лое множество в R.n+I, a cl f — полунепрерывная снизу функция.
Собственность cl f, а также замкнутость этой функции следуют
из допущений теоремы ввиду следствия 7.2.1, ибо f конечна на
dom f. Взяв х £ ri (dom f), рассмотрим вертикальную прямую
М = {(х, р.) | р. С М- Прямая М проходит через точки ri (epi /)
в силу леммы 7.3. Имеем (в силу следствия 6.5.1)
М П cl (epi f) = cl (УИ П epi Д = Al fl epiff
(то же самое можно получить непосредственно из теоремы 6.1).
Но это означает, что (cl f) (х) = f (х). Предположим теперь, что,
обратно, х $ cl (dom f). В силу lim inf-формулы для cl f имеем
cl (dom f) zd dom (cl f) zo dom f,
и, значит, (cl f) (x) = oo = f (x).
Следствие 7.4.1. Если f — собственная выпуклая функция,
то dom (cl f) отличается от dom f самое большее на некоторое под-
множество относительной границы множества dom f. В частности,
dom f и dom (cl f) имеют одно и то же замыкание и одну и ту же
относительную внутренность, равно как и^размерность.
Следствие 7.4.2. Если f — собственная выпуклая функция,
такая, что dom f есть аффинное множество {которое, в частности,
может оказаться совпадающим с Rn), mo/f замкнута.
72
§ 7. ЗАМЫКАНИЯ ВЫПУКЛЫХ ФУНКЦИЙ
Доказательство. Здесь dom f не имеет точек относи-
тельной границы, и, значит, cl f всюду совпадает с f.
Теоремы 7.2 и 7.4 выражают тот факт, что выпуклая функция f
всегда полунепрерывна снизу, за исключением, быть может, точек,
принадлежащих относительной границе множества dom f. Как
мы увидим в § 10, f на самом деле даже непрерывна на множестве
ri (dom f).
В § 9 мы исследуем различные формулы для замыкания выпук-
лых функций в сочетании с различными операциями, введенными
в § 5.
Операция замыкания для выпуклых функций была описана
нами в терминах lim inf. Покажем теперь, что ее можно выразить
с помощью более простых предельных соотношений.
Теорема 7.5. Пусть f — собственная выпуклая функция
и х € ri (dom f). Тогда
(cl f) (у) = lim f ((1 — %) x + Ky)
Mi
для любого у. (Формула остается верной, если f — несобственная
функция и у g cl (dom /).)
Доказательство. В силу полунепрерывности снизу
функции cl f и неравенства cl f f имеем
(cl f) (у) < lim inf f ((1 — X) х + Ку).
Mt
Нам достаточно показать, что
(cl /) (у) lim sup f ((1 — %) х + Ку).
Ml
Допустим, что р есть вещественное число, такое, что р (cl f) (у).
Возьмем любое вещественное число а > f (х). Тогда
(У, Р) 6 epi.(cl f) = cl (epi f),
ибо (x, a) 6 ri (epi f) по лемме 7.3. Таким образом,
(1 — %) (x, a) + К (у, P) C ri (epi f), 0 < К < 1
(см. теорему 6.1), так что
/((1 — К) х + Ку) < (1 — К) а + р, 0<Х<1.
Окончательно получаем
lim sup f ((1 — К) х + Ку) <lim sup [(1 — X) а + АВ] = р,
Ml MI
что и дает нам желаемое заключение. Формула остается верной
и для несобственной функции Д в случае когда у £ cl (dom f),
ибо тогда f ((1 — К) х + Ку) = —оо для 0 К < 1 в силу теоре-
мы 6.1 и теоремы 7.2.
73
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
f W = {
Следствие 7.5.1. Для всякой замкнутой собственной выпук-
лой функции f выполнено соотношение
Ш = Ит/((1-Х)х + Хг/),
верное для любых х £ dom f и у £ R".
Доказательство. Положим <р (X) = f ((1 — X) х + Xz/).
Тогда <р есть собственная выпуклая функция на Л, причем <р (0) =
= f (х) < оо и ф (1) = f (у). В силу теоремы 7.1 ф полунепрерывна
снизу, ибо множество {X | ф (X) а} есть прообраз замкнутого
множества {z | f (г) а} относительно непрерывного отображения
Х-> (1 — X) х + Xz/ = z. Эффективная область ф есть некоторый
интервал. Если внутренние точки этого интервала лежат между О
и 1, то предел ф (а) при X f 1 есть (cl ф) (1) = ф (1) в силу теоремы.
В противоположном случае ф (1) = оо.
Теорема 7.5 и следствие 7.5.1 получат свое дальнейшее развитие
в теоремах 10.2 и 10.3.
Нередко теорема 7.5 позволяет установить, что данная функция
является выпуклой. Например, рассмотрим функцию f на Rn,
определенную формулой
— (1 —|х|а)1/2 при |х|<1,
+ оо при | х | > 1.
Эффективной областью этой функции является единичный шар
В = {х 11 х | 1}. Во внутренности этого шара выпуклость f
можно установить с помощью двукратного дифференцирования
(теорема 4.5). Поскольку значения функции f на границе шара суть
пределы значений этой функции вдоль радиусов, теорема 7.5 пока-
зывает, что f есть замкнутая собственная выпуклая функция.
В теории неравенств и в ряде других вопросов важную роль
имеют множества уровня {х | f (х) а}. Ясны преимущества,
которые дает операция замыкания выпуклых функций — при
ее помощи мы добиваемся, чтобы эти множества были замкнутыми.
Относительные же внутренности этих множеств зависят от самой
функции, и мы сейчас это покажем.
Теорема 7.6. Пусть f — некоторая собственная выпуклая
функция, и пусть а £ R., а > inf f. Множества уровня {х | f (х)
а} и {х | / (х) < а} имеют одно и то же замыкание и одну и ту
же внутренность, а именно
{х | (cl f) (х) а} и {х £ ri (dom f) | f (х) < а}
соответственно. Кроме того, они имеют одну и ту же размер-
ность, что и dom f {и f).
74
§ 7. ЗАМЫКАНИЯ ВЫПУКЛЫХ ФУНКЦИЙ
Доказательство. Пусть М — горизонтальная гипер-
плоскость {(х, а) | х £ Rn} в Rn+1. По следствию 7.3.1 и лемме 7.3
]\4 имеет общие точки с ri (epi f). Рассмотрим замыкание и относи-
тельную внутренность множества
М A epi f = {(х, а) | f (х)< а}.
В силу следствия 6.5.1 это будут м A cl (epi f) и М A ri (epi f)
соответственно. Разумеется, cl (epi f) = epi (cl f). Значит,
cl {x | f (x) < a} = {x | (cl f) (x) < a},
ri {x | f (x) < a} = {x 6 ri (dom f) | f (x) < a}.
Последняя формула показывает, что
ri {х | f (x) C a} <= {x | f (x) < a} c {x | f (x) < a},
и, значит, {x | f (x) < a} имеет те же самые замыкания и относи-
тельную внутренность, что и {х | f (х) а} (следствие 6.3.1).
Размерность у этих множеств одна и та же по теореме 6.2. Она
совпадает фактически с размерностью множества М A ri (epi f),
которая, очевидно, на единицу меньше размерности множества
ri (epi f). Последняя же размерность на единицу больше размерно-
сти множества /.
Следствие 7.6.1. Если f — замкнутая собственная выпук-
лая функция с относительно открытой эффективной областью
(в частности., если dom f — аффинное множество), то при inf f <Z
ri {x | f (x) < a} = {x | f (x) < a},
cl {x | f (x) < a} = {x | f (x)< a}.
Доказательство. Имеем cl f = f и ri (dom f) = dom f.
Здесь существенна именно выпуклость функции f, а не выпук-
лость множеств уровня. Например, рассмотрим невыпуклую функ-
цию f на R, определенную формулой
Все множества уровня {х | f (х) а} и {х | f (х) < а} этой функ-
ции выпуклы. Более того, f полунепрерывна снизу (по условию (Ь)
теоремы 7.1), и ее «эффективная область» относительно открыта,
поскольку она совпадает со всем Я. Но ни множество {х I f (х) < 1}
не является относительной внутренностью для {х | f (х) 1}, ни
множество {х I f (х) 1} не является замыканием для {х | f (х) <
1}.
Все формулы для замыканий и относительных внутренностей
в теореме 7.6 и следствии 7.6.1 тривиальным образом верны и при
75
ГЛ. И. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
а < inf f, ибо тогда все рассматриваемые множества пусты. При
а = inf f формулы, вообще говоря, неверны, поскольку в этом
случае множество {х | f (х) < а} пусто, а множество {х | f (х) а)
может и не быть пустым.
§ 8. Рецессивные конусы и неограниченность
Известно, что обычно с ограниченными замкнутыми множества-
ми работать гораздо легче, чем с неограниченными. Что же касается
выпуклых множеств, то трудностей, связанных с неограниченностью,
много меньше; это большая удача, ибо весьма многие выпуклые
множества, которые нам надлежит рассматривать (например, над-
графики), являются по самой сути своей неограниченными.
Неограниченные выпуклые множества имеют «на бесконечности»
весьма простое строение. Допустим, что С — такое множество
и х 6 С. Очевидно, что если С неограниченно, то существует целый
луч, исходящий из точки х, который целиком принадлежит С.
Направления таких лучей не зависят от точки х: луч, начинающийся
в другой точке у и получающийся параллельным переносом луча,
проходящего через точку х, также целиком принадлежит С.
Те направления, по которым можно, оставаясь в С, удаляться
в бесконечность, соответствуют несобственным точкам проективной
плоскости, а сами лучи можно истолковывать как отрезки, соеди-
няющие точки из х С С с несобственными элементами бесконечно
удаленной проективной гиперплоскости.
Наша ближайшая цель — перевести эти интуитивные представ- >
ления на точный математический язык и применить их к изучению
выпуклых функций.
Сначала формализуем понятие направления. Каждый замкну-
тый луч в определяет некоторое «направление», причем два
луча определяют одно и то же направление в том и только в том
случае, когда их можно перевести друг в друга параллельным
переносом. Таким образом мы определяем направления в R” как
классы эквивалентности в множестве всех замкнутых лучей в R”
по отношению эквивалентности «луч Li есть транслянт луча Li».
Направление луча {х + Ку | X 0}, где у =/= 0, есть по этому
определению множество всех параллельных переносов этого луча
и, следовательно, не зависит от точки х. Мы будем называть его
направлением вектора у. Два вектора из Нп имеют одно и то же
направление, если и только если можно -получить один из другого
умножением на положительное число. Нулевой вектор не имеет
направления. Ясно, что мы имеем в виду под направлением, про-
тивоположным данному.
В силу естественного соответствия между точками простран- А
ства R.” и точками гиперплоскости М = {(1, х) | х С DV1} в про-
странстве Rn+1 точки х € И” можно представить в виде лучей .
76
§ 8. РЕЦЕССИВНЫЕ КОНУСЫ И НЕОГРАНИЧЕННОСТЬ
п (1, х) |Х >()}. Направления в самом пространстве ОТ* можно
представить тогда в виде лучей {X (0, у) | X 0}, у =/= 0, лежащих
в гиперплоскости М', параллельной М и проходящей через начало
координат в Rn+1. Это и позволяет говорить о направлениях в R"
как о бесконечно удаленных точках пространства R". (Эта точка
зрения несколько отличается от проективной, где бесконечно уда-
ленные точки порождаются классом параллельных прямых; при
этом каждая бесконечно удаленная точка проективной геометрии
соответствует паре бесконечноудаленных точек в нашем смысле.)
Взятию выпуклой оболочки двух пересекающих М лучей в Rre+1
отвечает взятие отрезка, соединяющего соответствующие этим лучам
точки в Rn. Если один из лучей представляет точку, находящуюся
в бесконечности, то мы получим вместо отрезка луч с определенной
начальной точкой и определенным направлением.
Пусть С — непустое выпуклое множество в R". Мы скажем,
что С удаляется в бесконечность *) по направлению D или что D есть
рецессивное направление для С, если С содержит все лучи с направ-
лением D, начинающимся в любой точке из С. Другими словами,
С удаляется в бесконечность по направлению у, где у Ф 0, тогда
и только тогда х + Ху б С для любых X 0, х £ С. Множество
всех векторов, удовлетворяющих последнему соотношению с при-
соединенным к нему началом координат, мы будем называть рецес-
сивным конусом множества С. Рецессивный конус будет обозначать-
ся через 0+С; причину для такого обозначения мы объясним чуть
позже.
Рецессивный конус называют еще иногда асимптотическим
конусом С. Нам это название не нравится, ибо оно не согласуется
с обычным значением слов «асимптота», «асимптотический» и ведет
к неверным представлениям.
Теорема 8.1. Пусть С — непустое выпуклое множество.
Рецессивный конус 0+С есть выпуклый конус, содержащий начало
координат. Он совпадает с множеством тех векторов у, для кото-
рых С + у cz С.
Доказательство. Если у £ 0+С, то по определению
для любого х € С, т. е. С + у С С. Обратно, если
с + у с С, то
С +2у = (С + у)+ усС + у<=С
и т- Д-, т. е. х + ту £ С для всех х б С и всех положительных
Целых чисел т. Отрезки, соединяющие точки х € С, х + у,
* ' 2у, . . ., все целиком принадлежат С в силу выпуклости С,
ак что х 4- Ху g С для любого X 0. Таким образом, у € 0+С.
поскольку умножение на положительные числа не изменяет направ-
г) В оригинале recedes.— Прим. ред.
77
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
лений, 0+С есть действительно конус. Осталось показать, что
0+с — выпуклый конус. Если у^ и yz — векторы из 0+С и 0 X
1, то
(1 — X) у\ + Х«/2 + С = (1 — X) (у! + С) + X (t/2 + С) с:
<= (1 — X) С + ХС = С
(при этом мы воспользовались дистрибутивным законом, см. тео-
рему 3.2). Следовательно, (1 — X) yt + Ху2 € 0+С.
Приведем примеры рецессивных конусов. Рассмотрим множе-
ства в И2
Ci = {(!„ ы 111 > о, ь > 1/ы,
с2 = {(gi, Ы|^2>Ц},
C3={(L, +
Сл = {(11Л2) | 11 > 0,ь > 0} и {(0,0)}.
Их рецессивные конусы таковы:
о+С1 = {(^л2) 151 > о, 52 > о),
0+С2 = {(51, 52) I 51 = 0, 52 > 0},
0+С3 = {(Si, | 11 = 52 = 0} = {(0, 0)},
о+с4 = {(51, 5г) 111 > 0, 52 > 0} и {(0, 0)} = Ci.
Рецессивный конус непустого аффинного множества М — это,
конечно, подпространство L, параллельное М. Если С — множе-
ство решений системы линейных неравенств в Rn,
С = {х| (х, Pi Vi 6 /}¥= 0,
то рецессивный конус С описывается, как легко проверить, соот-
ветствующей системой однородных неравенств:
0+С = {х |<х, 6г)>0 Vi 6/}•
Если точки пространства (Кп представлять описанным выше спо-
собом как лучи в Rn+I, то непустое выпуклое множество С будет .
представлено объединением лучей, представляющих точки этого л
множества. Такое объединение есть выпуклый конус
К = {(X, х) | X > 0, х 6 ХС},
который, за исключением начала координат, целиком принадлежит ?
открытому полупространству {(X, х) | X > 0). Посмотрим, нельзя
ли конус К вложить в некоторый выпуклый конус вида К U Ко» ;
где Ко — конус, лежащий в гиперплоскости {(0, х) | х 6 Ип). ,
Поскольку К — выпуклый конус, для того чтобы конус к и Ко
был также выпуклым, необходимо и достаточно, чтобы Ко был
выпуклым конусом и чтобы К + Ко <= К U Ко (теорема 2.6). %
78
§ 8. РЕЦЕССИВНЫЕ КОНУСЫ И НЕОГРАНИЧЕННОСТЬ
Но вложение К + Ко cz К U Ко имеет место тогда и только тогда,
когда для каждого элемента (0, х) 6 Ко выполнено свойство
(1, х') + (О, х) € К Для всех (1, х^ € К. Это свойство означает, что
/’+ х € С для любого х' £ С, и, значит, в силу теоремы 8.1 х £
g 0+С, что в свою очередь означает, что существует единственный
наибольший выпуклый конус К' в полупространстве {(X, х) | X > 0),
а именно конус
к’ = {(х, х) । х > о, х е хс} и {(о, х) । х е о+с},
пересечение которого с полупространством {(X, х) | X > 0} есть
/С\ ({0, 0)}. В этом смысле 0+С можно рассматривать как «предел»
ХС при X—>0+, чем и оправдывается наше обозначение.
Теорема 8.2. Пусть С — непустое замкнутое выпуклое
множество в Нп. Тогда 0+С есть замкнутый конус, состоящий из
пределов всевозможных последовательностей вида Х^, Х2х2, . . .,
где Xi £ С, а Хг | 0. При этом если К cz Rn+1 — выпуклый конус,
порожденный {(1, х) | х 6 С}, то
clK = KU{(0,x) |хбО+С}.
Доказательство. Гиперплоскость М — {(1, х) х 6 ^п}
должна пересекаться с ri К (например, по следствию 6.8.1), так что
МПс1К = с1(Л4ПК) = Л1ПК = {(1, х) | х € С}
по правилу, касающемуся замыканий, из следствия 6.5.1. Конус К',
определенный нами перед теоремой, должен, следовательно, содер-
жать cl К в силу его максимального свойства. С другой стороны,
так как К' содержится в полупространстве И = {(X, х) | Х^>0}
и пересекается с int Н, то ri К' должно целиком содержаться
в inf И (следствие 6.5.2). Ввиду того, что ri К' cz К, имеем
cl К czK' cz cl (ri К') cz cl К.
Этим и доказана формула cl К — К', которую мы хотели получить.
Множество {(0, х) | х 6 0+С} есть пересечение cl К с {(0, х) | х 6
€ Rn), так что оно замкнуто и состоит из пределов последовательно-
стей вида Xi (1, Xi), Х2 (1, х2), . . ., где xt g С и Хг | 0.
Множество 0+С может и не быть замкнутым, если С не есть
замкнутое множество; примером может служить построенное выше
множество С4.
Предположим, что С — замкнутое выпуклое множество иг —
такая точка, что для некоторого х € С относительная внутренность
отрезка, соединяющего точки х и г, лежит в С. Тогда z g С, и,значит,
ЭТО свойство имеет место для любого х ЕС. Следующую теорему
можно истолковать как обобщение этого факта на тот случай,
когда точка z является бесконечно удаленной.
79
ГЛ. И. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Т е о*р ем а 8.3. Пусть С — непустое замкнутое выпуклое
множество, и пусть у =/= 0. Если существует хотя бы один элемент
х, такой, что луч {х + Ку | % 0} целиком содержится в С, то
это же верно и для любого х £ С, иначе говоря, у £ 0+С. Более того,,
{х + Ку | Л 0} в действительности содержится в пС для всех
х £ ri С; иначе говоря, у £0+ (ri С).
Доказательство. Пусть {х + Ку | А 0} содержится
в С. Тогда у есть предел последовательности М-Ki, К2х2, . где
Kk = 1/k п хк = х + ky £ С. Значит, у £ 0+С в силу теоремы 8.2.
Последнее заключение теоремы немедленно следует из того, что
относительная внутренность любого отрезка, пересекающегося
с ri С, целиком лежит в ri С (теорема 6.1).
Следствие 8.3.1. Для любого непустого выпуклого множе-
ства С имеет место равенство '
0+ (ri С) = 0+ (cl С).
Фактически для данного х 6 ri С тогда и только тогда у £ J
€ 0+ (cl С), когда х + Ку £С для всех К > 0. 5<
Следствие 8.3.2. Если С — замкнутое выпуклое множе-
ство, содержащее начало координат, то
0+С = {у I 8-^ е с, Vs > 0} = П еС.
8>0
Следствие 8.3.3. Если {Ci | i £ /} — произвольное семей-
ство замкнутых выпуклых множеств в Нп, пересечение которого,
непусто, то 4
о+(псг)=ло+Сь 4
Ш i£I
Доказательство. Пусть х — любая точка замкнутого *
выпуклого множества С = П Сг. Направление вдоль заданного *
№
вектора у есть направление удаления в бесконечность, если и только
если луч {х + Ку | К 0} содержится в любом Ct. Но это означает,
что у 6 П 0+ci-
Следствие 8.3.4. Пусть А — линейное отображение из
в и С — замкнутое выпуклое множество в Rm, такое, что *
Л-1С #= 0. Тогда
0+ (А-'С) = А-1 (0+С).
Доказательство. Коль скоро А непрерывно и С замкну- «
то, множество Л-1С замкнуто. Возьмем любой элемент х С Л-1С.
Включение у 6 0+ (Л-1С) имеет место тогда и только тогда, когда
для любого К 0 множество С содержит А (х + Ку) = Ах + КАу.
Последнее означает, что AyQO+C, т. е. у 6 Л-1 (0+С).
Первое из заключений теоремы 8.3 может оказаться неверным,'
если С незамкнуто; примером может служить множество С4, >
80
§ 8. РЕЦЕССИВНЫЕ КОНУСЫ И НЕОГРАНИЧЕННОСТЬ
построенное нами выше: оно содержит все точки вида (1, 1) +
-f- X (1, 0), но (1, 0) не принадлежит 0+С4. Отметим также в связи
со следствием 8.3.1, что 0+ (ri С4) шире, чем С4. Содержание сле-
дующей теоремы составляет тот факт, что неограниченные замкну-
тые выпуклые множества содержат по меньшей мере одно направле-
ние удаления в бесконечность. Таким образом, неограниченность
их самого простого рода, на какой только можно рассчитывать.
Теорема 8.4. Непустое замкнутое выпуклое множество С
является ограниченным тогда и только тогда, когда конус 0+С
состоит лишь из нулевого вектора.
Доказательство. Если С ограничено, оно, естественно,
не может содержать никаких лучей, так что 0+С = {0}. Если же
С неограничено, то оно содержит последовательность векторов
х1г . . ., хп, . . ., евклидова норма которых неограниченно возра-
стает. Векторы хг/| х( |, принадлежащие единичной сфере S =
= {х | । х | = 1}, имеют предельную точку у 6 S (ибо сфера S
компактна). Это и есть ненулевой вектор из 0+С в силу теоре-
мы 8.2.
Следствие 8.4.1. Пусть С — выпуклое замкнутое множе-
ство и М — аффинное множество, такое, что М П С непусто
и ограничено. Тогда множество М' Q С является ограниченным для
любого аффинного множества М', параллельного М.
Доказательство. По определению параллельности
0+Л1' = 0+Л4. Допустим, что ЛГ f) С непусто (иначе все тривиаль-
но). Имеем
0+ (ЛГ П С) = 0+Л4' П 0+С = 0+Л4 f| 0+С = 0+ (М f) С)
по правилу о пересечении, сформулированному в следствии 8.3.3.
Поскольку М П С ограничено, отсюда следует, что0+ (М' П С) —
= 0 и, значит, М' П С ограничено.
Если С — непустое выпуклое множество, то множество
(—0+С) П 0+С называется его линейным подмножеством. Оно
состоит из нулевого вектора И тех ненулевых векторов у, которые
обладают следующим свойством: для любого элемента х € С вся
прямая, проходящая через х в направлении у, принадлежит множе-
ству С. Те направления, которые входят в линейное подмножество
множества С, называются направлениями, по которым С линейно.
Ясно, что если С замкнуто и содержит некоторую прямую М, то
оно содержит все прямые, параллельные М и проходящие через
точки множества С (это следует из теоремы 8.3). Читатель может
проверить самостоятельно, что линейное подмножество состоит
в точности из тех векторов у, для которых С + у = С.
Линейное подмножество множества С есть подпространство
и притом максимальное подпространство, содержащееся в конусе
Р» Рокафеллар ’ 81
ГЛ. И. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
0+С (теорема 2.7). Размерность его мы будем называть линейной
размерностью множества С.
Рассмотрим для примера цилиндр
С = Ш u &3) | й + С 1} c=R3.
Его линейное подмножество состоит из оси £3, так что его Линейная
размерность равна 1. Здесь С есть прямая сумма прямой линии
и круга.
В общем случае если С — непустое выпуклое множество с нетри-
виальным линейным подмножеством L, то С можно очевидным
образом представить как прямую сумму
С = L + (С П bL),
где L-J--ортогональное дополнение к L. Линейная размерность
множества С f] L-L в этом выражении равна нулю. Размерность
множества С f] /Д, равная размерности С минус линейная раз-
мерность С, называется рангом С множества С. Ранг — это некая
мера нелинейности множества С.
Выпуклые множества ранга 0 суть аффинные множества. Ранг
замкнутого выпуклого множества С совпадает с его размерностью
тогда и только тогда, когда С не содержит прямых.
В случае когда
С = {х |(х, &i) > pi( Vi Е I},
линейное подмножество является решением системы однородных
уравнений:
L = {х |(х, bt) = 0, Vi е /}•
Теперь обратимся снова к выпуклым функциям.
Пусть f — выпуклая функция на 0V*, не равная тождественно
+оо. Надграфик f как непустое выпуклое множество в Rn+1 имеет .
рецессивный конус 0+ (epi f). По определению (г/, v) £ 0+ (epi /),
если и только если
(х, р) + X (у, v) = (х + Хг/, р + Xv) Е epi f
для любых (х, р) Е epi f и X 0. Это означает, что
/ (х + Ку) f (х) + Xv
для любого Х>0 и любого х. Действительно, в силу теоремы 8.1
последнее неравенство имеет место для любого х и любого X 0,
если только оно имеет место для любого х при X = 1. Во всяком w
случае, при данном у множество тех значений v, для которых
(у, v) G 0+ (epi f), либо пусто, либо образует неограниченный замк-
нутый интервал. Таким образом, 0+ (epi f) есть надграфик некото-
рой функции. Мы будем называть эту функцию рецессивной функцией
функции f и обозначать через /0+. Итак, по определению, ~
epi (f0+) = 0+ (epi f).
82
§ 8. РЕЦЕССИВНЫЕ КОНУСЫ И НЕОГРАНИЧЕННОСТЬ
Таким образом, обозначение /0+ оказывается согласованным с обо-
значением правого умножения на числа, введенным в § 5.
Теорема 8.5. Пусть f — собственная выпуклая функция.
Рецессивная функция f0+ функции f есть положительно однородная
собственная функция. Для любого вектора у выполнено соотношение
№+) (У) = sup {/ (х + у) — f (х) | х е dom /}.
Если функция f замкнута, то замкнутой будет также и функция
f0+ и при этом для любого элемента х g dom f значение f0+ задается
формулой
(fo+) (у) = sup =Нт .
X>0 A X-H-oo Л
Доказательство. Первая формула непосредственно выте-
кает из сделанных ранее замечаний. Условие v (/0+) (у) озна-
чает, что
v > sup {[/ (х + Ку) — f (х)]/Х), Vx б dom f.
К>0
(Отметим, что отсюда следует, что (Д)+) (у) не может равняться
—оо.) Для любого фиксированного элемента х б dom f эта верхняя
грань дает наименьшее возможное значение v (если оно существует),
такое, что луч в направлении (z/, v) с начальной точкой в (х, f (х))
содержится в epi f. Если f замкнута, то и множество epi f также
является замкнутым, и в силу теоремы 8.3 это v не зависит от точ-
ки х. Этим доказана вторая формула с верхней гранью из формули-
ровки теоремы. Но рассматриваемая верхняя грань есть то же
самое, что и предел при оо, ибо разность If (х + Ку) — f (х)]/К
является невозрастающей функцией в силу выпуклости функции К
(см. теорему 23.1). Надгряфик 0+ (epi f) есть непустой выпуклый
конус, замкнутый, если функция f замкнута. Мы получили, что
/0+ — положительно однородная выпуклая функция, замкнутая при
условии замкнутости f.
Следствие 8.5.1. Пусть f — собственная выпуклая функ-
ция. Тогда f0+ есть наименьшая из функций h, таких, что
f (z) < / (х) + h (z — х), Vz, Vx.
Рецессивную функцию можно определить при помощи конструк-
ции, связанной с замыканием (в случае когда f — замкнутая выпук-
лая собственная функция). Пусть g — положительно однородная
выпуклая функция, порожденная функцией h, задаваемой фор-
h {К, х) = f (х) + 6 (X | 1).
другими словами,
((fK)(x), если А.>0,
I + оо, если К < 0.
83
6*
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Из теоремы 8.2 и определения f0+ немедленно следует, что
'(/Х)(х), если
(cl g) (X, х) = (f0+) (х), если
Х>0,
х=о,
Х<0.
„ -р оо, если
Следствие 8.5.2. Если f — замкнутая собственная выпук-
лая функция, то
(/0+) (у) = lim (/X) {у)
ио
для любого у £ dom f. В случае когда 0 6 dom f, последняя формула
верна вообще для всех у 6
Доказательство. Если 0 £ dom f, то последняя формула
теоремы 8.5 дает
(/0+) (у) = lim [f (Xi/) - f (0)]/X = lim Xf (X-1!/).
Xfoo * X|0
Даже если 0 $ dom f, мы имеем (для функции g, определенной,
как выше) в силу следствия 7.5.1
(cl я) (0, у) = lim (cl g) (X, у),
при условии, что (X, у) принадлежит dom (cl g) для некоторого
X > 0. Последнее условие всегда имеет место, если у £ dom f.
Рассмотрим для примера функцию
А (х) = (1 +(Х, Qx))‘/2,
где Q — симметричная неотрицательно определенная матрица раз- *
мера п X п (выпуклость функции вытекает из теоремы 5.1
и выпуклости функции fQ (х) = ((х, Qx))1/2, которая сразу видна,
если привести матрицу Q к диагональному виду). В силу след- |
ствия 8.5.2 |
(А0+) (у) = lim ХА (ХЛ/) = lim (X2 + (у, Qy))№ = (у, Qy}W.
х;о м.0
С другой стороны, для функции
А (х) = <х, Qx) + (а, х) + а
мы по той же формуле получим
(А0+) (у) = lim [X-1 (у, Qy) + {а, у) + Ха] =
о
((а, у), если Qy = Q,
[ +°о, если Qi/=0=O. ?
В частности, если матрица Q положительно определена (а не только
неотрицательно определена), мы будем иметь f20+ = 6 (• | 0). ”
Последняя формула также имеет место, конечно, для любой выпук-
84
$ 8. РЕЦЕССИВНЫЕ КОНУСЫ И НЕОГРАНИЧЕННОСТЬ
лой собственной функции, эффективная область которой является
ограниченной.
Особый интерес представляет следующий пример:
/з (х) = log (еЬ + . . . + eU), х = (gi, . . £n), п > 1.
(Выпуклость функции /з легко следует из теоремы 4.5.) Читатель
может для упражнения вычислить рецессивную функцию f3:
<№+) (У) = max {t)j I / = 1, .... п}, у = (тц.%).
Таким образом, функция f30+ не дифференцируема, хотя и всюду
конечна, в то время как f3 — аналитическая функция.
Рецессивные функции замкнутых выпуклых собственных функ-
ций f мы охарактеризуем в теореме 13.3.
Теорема 8.6. Пусть f — собственная выпуклая функция
и у — некоторый вектор. Тогда если для некоторого х
lim inf f (х + Ку) < +оо,
то для этого х выполнено следующее свойство: функция f (х + Ку)
является невозрастающей функцией для всех К, —оо <; К < оо. Это
свойство имеет место для всех х тогда и только тогда, когда
(/0+) (у) 0. В случае когда функция f замкнута, это свойство
имеет место для любого х, если оно выполнено хотя бы для одного
х g dom f.
Доказательство. По определению (f0+) (у) 0, если
и только если рецессивный конус epi f содержит вектор (у, 0),
что означает, что f (г + Ку) / (z) для любого z и любого К 0.
Таким образом, (/0+) (у) 0 тогда и только тогда, когда f (х + Ку)
есть невозрастающая функция К, —оо < К < оо, для любого х.
Если f замкнута, то в силу последней формулы теоремы 8.5 мы
получаем (/0+) (у) 0 (если существует хотя бы один элемент
х g dom f, такой, что /- (х + Ку) есть невозрастающая функция
от К). Допустим теперь, что х — такая точка, что
lim inf f (х + Ку) < а,
где а f R, и предположим, что h — собственная выпуклая функ-
ция на R, определенная равенством h (X) = f (х + Ку). Надграфик
функции h содержит последовательность точек вида (Kk, a), k =
= 1, 2, . . ., таких, что Хь-> оо. Выпуклая оболочка этой после-
довательности есть луч в направлении вектора (1, 0), и этот луч
содержится в замкнутом выпуклом множестве epi (cl й). В силу
того что (1,0) принадлежит рецессивному конусу epi (cl К), cl h
есть неубывающая функция на R.. Эффективное множество функ-
ции cl h должно содержать неограниченный сверху интервал.
85
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
По теореме 7.4 мы получаем тогда, что h должна быть неотрицатель-
ной функцией на R. Итак, / (х + Ку) — невозрастающая функция
от К.
Следствие 8.6.1. Пусть f — собственная выпуклая функ-
ция и у — некоторый вектор. Для того чтобы при каждом х функ-
ция f (х + Ку) не зависела от К, —оо < К < оо, необходимо и доста-
точно, чтобы (Д)+) (у) 0 и (f0+) (—у) 0. В случае Когда f замкну-
та, это условие удовлетворяется, если существует хотя бы один
вектор х, такой, что для некоторого вещественного а
f (х + Ку) a, VX £ Н.
Следствие 8.6.2. Выпуклая функция f постоянно, на всяком
аффинном множестве, на котором она конечна и ограничена сверху.
Доказа тельство. Переопределим функцию f, положив
ее равной +оо вне М. Таким образом, мы можем считать, что
М = dom f. В силу следствия 7.4.2 f — замкнутая функция.
По предыдущему следствию f есть константа вдоль любой прямой,
лежащей в М. Но в силу того что М содержит прямую, проходя-
щую через любые две заданные в М точки, f есть константа на М.
Множество всех векторов у, для которых (/0+) (у) 0, мы
будем называть рецессивным конусом функции f (не следует путать
его с рецессивным конусам множества epi f). Это выпуклый конус,
содержащий начало координат и замкнутый, если f замкнута.
(Он совпадает с пересечением 0+ (epi f) и горизонтальной гипер-
плоскости {(у, 0) | у £ Ип} в Rn+1.) Как это подсказывается теоре-
мой 8.6, направления, соответствующие векторам из рецессивного
конуса f, разумно назвать рецессивными направлениями.
Множество тех векторов у, для которых (/0+) (у) ^0и (/0+)(—z/)<^
0, есть наибольшее подпространство, содержащееся в рецессив-
ном конусе f (теорема 2.7). Мы будем называть его константным
подпространством f в соответствии со следствием 8.6.1. Сами же
направления в этом подпространстве мы будем именовать направ-
лениями, по которым f постоянно.
В примерах, предшествовавших теореме 8.6, рецессивный ко-
нус и константное подпространство для функции Д равны оба
{*/|Q«/ = 0}, в то время как для функции /2 они таковы:
{у I Qy = 0, (а, у)>0} и {у | Qy = 0, {а, у) = 0).
Рецессивный конус для f3 есть неположительный ортант в Нп,
в то время как константное подпространство состоит лишь из
одного нуля.
Теорема 8.7. Пусть f — замкнутая собственная выпуклая
функция. Тогда все непустые множества уровня вида {х | f (х) а),
а (; R, имеют один и тот же рецессивный конус и одно и то же
86
§ 8. РЕЦЕССИВНЫЕ КОНУСЫ И НЕОГРАНЙЧЕННОСТЬ
линейное подмножество, а именно рецессивный конус и константное
подпространство функции f.
Доказательство. Это следует из теоремы 8.6: у при-
надлежит рецессивному конусу множества {х | f (х) а} тогда
и только тогда, когда f (х + Ку) а, если f (х) а и К 0.
Следствие 8.7.1. Пусть f — замкнутая собственная функ-
ция. Если множество уровня {х | f (х) а} непусто и ограничено
хотя бы для одного а, то оно является ограниченным для любого а.
Доказательство. Следует воспользоваться теоре-
мой 8.4.
Теорема 8.8. Для любой собственной выпуклой функции f
следующие условия на вектор у и вещественные числа v являются
эквивалентными:
(а) имеет место равенство f (х + Ку) = f (х) + Kv для любого
вектора х и любого К g R;
(Ь) пара {у, v) принадлежит линейному подмножеству множе-
ства epi /;
(с) имеет место равенство — (f0+) (—у) = (/0+) (у) = v. Если
f замкнута, то у удовлетворяет этим условиям с v = (f0+) (у),
если имеется хотя бы один вектор х 6 dom f, такой, что f (х + Ку)
есть аффинная функция от К.
Доказательство. В силу (a) f (х + у) — f (х) = v для
любого х £ dom f, так что v = (/0+) (у) и —v = (f0+) (—у) по пер-
вой формуле теоремы 8.5. Итак, из (а) следует (с). Далее, из (с)
вытекает, что пары (у, v) и (—у,,—v) принадлежат обе epi (/0+),
т. е. пары (у, v) и — (у, v) принадлежат обе 0+ (epi f). Но это и есть
условие (Ь). Наконец, из (Ь) следует, что
(epi f) — К (у, v) = epi f, VK £ R.
Для любого К множество слева есть epi g, где g — функция, опре-
деленная так:
g (х) = f (х + Ку) — Kv;
мы получили (а). Итак, (а), (Ь) и (с) эквивалентны. Последнее
утверждение теоремы следует из последней формулы теоремы 8.5.
Множество векторов у, таких, что (/0+) (—у) = — (f0+) (у),
мы будем называть линейным подмножеством собственной выпуклой
Функции f. Это подпространство в Rn, а именно образ линейного
подмножества для epi f при проекции (у, v) -> у. На этом подпро-
странстве Д)+ есть линейная функция (теорема 4.8). Направления
векторов линейного подмножества функции f мы называем далее
направлениями, по которым f аффинна. Размерность линейного
подмножества функции f называется линейной размерностью функ-
87
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
ции f. Ранг функции f определяется как разность ее размерности
и размерности ее линейного подмножества и обозначается rank f.
Собственные выпуклые функции ранга 0 суть частные аффин-
ные функции, т. е. функции, аффинные на некотором аффинном
подмножестве и равные +оо вне его. Если замкнутая собственная
выпуклая функция f такова, что
rank / = dim f,
то это означает, что она не является аффинной ни по одной прямой,
лежащей в dom f.
Ранг выпуклого множества равен рангу его индикаторной
функции.
§ 9. Некоторые критерии замкнутости
Можно указать большое число операций над выпуклыми множе-
ствами, которые сохраняют относительную внутренность. Однако
с замыканиями дело обстоит значительно сложнее. Например, если
заданы выпуклое множество С и линейное преобразование А, то
всегда ri (ЛС) = A (ri С), но, вообще говоря, cl (ЛС) Л (cl С),
хотя имеет место включение с! (ЛС) ю Л cl С (теорема 6.6). Когда
же все-таки cl (ЛС) = Л (cl С)? Когда образ замкнутого множества
является замкнутым?
Такие вопросы заслуживают всестороннего изучения. Одна
из причин для этого та, что они тесно связаны с вопросами о сохра-
нении полунепрерывности снизу. Надграфик образа Ah собствен-
ной выпуклой функции h при линейном преобразовании Л имеет
вид F(JB0, где F — образ множества epi h при линейном пре-
образовании В: (х, р) -> (Лх, р.), а Ро—«нижняя граница» для
F в смысле теоремы 5.3. Если F замкнуто, то мы получаем, что F =
= epi (Л/t), и, значит, Ah полунепрерывна снизу (теорема 7.1).
Следовательно, необходимо изучить, когда образ множества epi h
при отображении В будет замкнут. Условие, что epi h является
замкнутым, т. е. что h полунепрерывна снизу, вообще говоря,
не является достаточным для замкнутости В (epi h). Действитель-
но, возьмем в качестве h замкнутую собственную выпуклую функ-
цию в И2, задаваемую так:
h(x} = /ехР[ — (В15а)1/2] при х=(5ь 5г)>0,
' (-}-оо в остальных точках,
и пусть Л — проекция (|ь |г) -* 51- Тогда образ множества epi h
не есть замкнутое множество и функция
О, если
{Ah) (Ю =<
если
если
не является полунепрерывной снизу в
5i>0,
В1=о,
51 < о,
точке 0.
88
§ 9. НЕКОТОРЫЕ КРИТЕРИИ ЗАМКНУТОСТИ
Вторая причина, которая побуждает нас изучать критерии
замкнутости, состоит в том, что с ними тесно связаны вопросы суще-
ствования решений экстремальных задач. Например, (Ah) (у) есть
нижняя грань функции h на аффинном множестве {х | Ах = у}.
Эта нижняя грань достигается тогда и только тогда, когда верти-
кальная прямая {(у, р) | р Е пересекает множество F, о котором
говорилось выше, по замкнутому лучу (или не имеет с F общих
точек). Но это последнее обстоятельство имеет место, если множе-
ство F замкнуто и направление «вниз» не является для него рецес-
сивным. Снова возникает необходимость получить условия замкну-
тости образа F надграфика epi h при линейном преобразовании.
Ниже с помощью теории рецессивных конусов мы получим
простые условия, при которых сохраняется замкнутость при раз-
личных операциях. Некоторые из этих условий будут «дуализова-
ны» в § 16 и уточнены в § 19 и 20.
Теорема, которая сейчас будет доказана, является стержневой
и для остальных результатов этого параграфа. Суть дела может
быть понята на следующем примере. Пусть С — замкнутое выпук-
лое множество
{(U ?2) I ^2 > 0, |2 > Ц1}
и А — проекция на ось |р
A: (It, |2)->gi.
Тогда, очевидно, образ множества С при отображении А незамкнут.
Причина этого состоит в том, что гиперболическое множество С
асимптотически приближается к некоторой прямой, которая ото-
бражением А переводится в точку. Представляется очевидным, что
если бы множество С имело ограниченные пересечения с любой
прямой, параллельной оси |2, то образ множества С при отображе-
нии А был бы замкнутым. Это условие можно выразить через рецес-
сивные конусы: конус 0+С не должен содержать никакого вектора
в направлении (0, 1) или (0, —1).
Теорема 9.1. Пусть С — непустое выпуклое множество
в К'* и А — линейное отображение из Rn в OV”. Допустим, что
всякий ненулевой вектор z £ 0+ (cl С), удовлетворяющий условию
Az — 0, принадлежит линейному подмножеству множества cl С.
Тогда cl (ЛС) = A (cl С) и 0+Л (cl С) = А (0+ cl С)). В частности,
если С замкнуто и z = 0 есть единственный вектор из 0+С, для
которого Az = 0, то АС замкнуто.
Доказательство. Мы уже говорили, что всегда выпол-
нено включение cl (АС) => A (cl С). Пусть у — некоторая точка
из cl (ЛС). Мы хотим показать, что у = Ах для некоторого х £ cl С.
Пусть L — пересечение линейного подмножества множества cl С
и ядра оператора Л, т. е.
L = (—0+ (cl С)) П 0+ (cl С) П {z I Az = 0}.
89
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Это L есть линейное подпространство в Rn и в силу допущений тео-
ремы относительно 0+ (cl С)
L = 0+ (cl С) П {г I Az = 0}.
Множество L-L П cl С имеет тот же самый образ при преобразова-
нии А, что и cl С, так как
cl С = (IA П cl С) + L.
Далее, у принадлежит замыканию этого образа. Значит, для любого
8 > 0 пересечение
Се = М п (cl С) П Вг, где Ds = {х | | у — Ах |< s},
непусто. Ясно, что Се есть замкнутое выпуклое множество в R.'*.
При этом Се ограничено. Это следует из теоремы 8.4, если показать,
что 0+С8 состоит лишь из нулевого вектора. Но действительно по
следствию 8.3.3
0+С8 = 0+L-L П 0+ (cl С) П 0+П8 =
= L-L Л 0- (cl С) П {z I Az = 0} = L-L Л L = {0}.
Далее, коль скоро Се для е > 0 образуют семейство вложенных
замкнутых ограниченных множеств в IRn, их пересечение непусто.
Для любого х из этого пересечения имеем х £ cl С и у = Ах.
Все, что нам осталось теперь показать, это что А (0+С) =
= 0+ (ДС), если С замкнуто. Рассмотрим выпуклый конус
К = {(X, х) | X > 0, х е ХС} <=Rn+1
и линейное преобразование
В: (X, х) (X, Ах).
Пусть С замкнуто. Тогда
cl К = 0+ (cl К) = К U {(0, z) | z 6 0 +С}
(теорема 8.2). Векторы (X, z), образ которых при отображении В
есть начало координат, таковы, что X = 0, Az = 0. Таким образом,
доказанную нами часть теоремы можно применить к К и В.
Мы получим, что cl (ВК) = В (cl К), где
В (cl К) = {(X, Ах) | X > 0, х 6 ХС} U {(0, Az) [ze 0+С}.
Но поскольку АС замкнуто, мы имеем также
cl (ВК) = cl {(X, у) | X > 0, у е А (ХС) = ХДС} =
= {(А, у) I X > 0, у е ЬАС} и {(о, у) | у € о+ (ДС)}
(теорема 8.2). Равенство cl (ВК) = В (cl К) влечет за собой равен-
ство {Az | z 6 0+С} = 0+ (ДС).
90
§9. НЕКОТОРЫЕ КРИТЕРИИ ЗАМКНУТОСТИ
Необходимо отметить, что 0+ (АС) может не совпадать с А (0+С),
даже если С и АС являются замкнутыми, как, например, в случае
С = {(1ь Ы R2 > I!}, Д:
Следствие 9.1.1. Пусть Ct, . . ., Ст — непустые выпуклые
множества в Rn, удовлетворяющие следующему условию: если
Zt, . • •, суть векторы zt G 0+ (cl Сг), сумма которых равна
нулю (zt + . . + zm = 0), то Zi принадлежат линейному под-
множеству множества cl Сг при каждом i = 1..т. При выпол-
нении этого условия имеют место следующие равенства:
cl (Ct + . . . + Ст) = cl Ct + . . . + cl Ст,
0+ (cl (Ci + . . . + cm)) = 0+ (cl Cl) + . . . + 0+ (cl Ст).
В частности, множество Ci + . . . + Ст при выполнении этого
условия будет замкнутым, если только все Ct замкнуты.
Доказательство. Пусть С — прямая сумма Ct © . ..
. • • © Ст в пространстве Итп и А — линейное преобразование
(Xi, . . Xm) Xi “J— . . . “1“ Xm, Xi £ 41* .
Тогда AC = Ci + . . . + Сто. Но так как
clC = cl Ci © . . . © cl Ст,
мы получаем как элементарное следствие определения рецессивного
конуса, что
0+ (cl С) = 0+ (cl С,) © ... © (cl Ст).
Остается применить теорему.
Следствие 9.1.2. Пусть Ci и С2 — непустые замкнутые
выпуклые множества в R”. Допустим, что множество Ci не имеет
ни одного рецессивного направления, которое было бы противопо-
ложным рецессивному направлению в множестве С2. (Последнее
имеет место, в частности, тогда, когда либо Ct, либо С2 ограниче-
ны.) В этом случае Ct + С2 есть замкнутое множество и
0+ (Ct + С2) = 0+Ci + 0+С2.
Доказательство. Это частный случай предыдущего
следствия при т = 2.
Дальнейшее развитие этот результат получит в следствии 19.3.2
и теореме 20.3.
Следствие 9.1.3. Пусть Ki, . . ., Кт — непустые выпук-
лые конусы в R.n, которые удовлетворяют такому условию: если
zi € cl Ki, i = 1.т и Zt + . . . + Zm = 0, то Zi принадлежат
^инейному подмножеству множества cl Kt для i = 1, . . ., т.
Тогда
cl (Ki + • • • + Кт) = cl (Kt) + . . • + cl Кт.
91
ГЛ. П. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
Доказательство. Следует положить в следствии 9.1.1
Ct = Kt-
Полученные результаты применим теперь к выпуклым функ-
циям.
Теорема 9.2. Пусть h — замкнутая собственная выпуклая
функция в и А — линейное отображение из Н” в Rm. Допустим,
что Az #= 0 для любого z, такого, что (А0+) (z) 0 и (А0+) (—z) > 0.
Тогда функция Ah, где
(Ah) (у) = inf {h (х) | Ах = у},
есть замкнутая собственная функция и (Ah) 0+ = А (А0+). Кроме
того, для каждого у, такого,, что (Ah) (у) =/= со, нижняя грань
в определении (Ah) (у) достигается при некотором х.
Доказательство. Рассмотрим непустое замкнутое выпук-
лое множество epi h и линейное преобразование В: (х, р) -> (Ах, р).
Рецессивный конус для epi h есть epi (А0+), а линейное подмноже-
ство для epi h состоит из тех векторов (г, р), для которых (h0+) (г)
С р и (h0+) (—z) —р. Таким образом, epi А и В удовлетворяют
предположениям теоремы 9.1, и мы можем, следовательно, заклю-
чить, что В (epi h) есть непустое замкнутое выпуклое множество
и что его рецессивный конус есть В (epi (h0+)). Кроме того,
В (epi h) = epi (Ah),
В (epi (h.0+)) = epi (Д (h0+)).
Теорема будет.доказана, если мы покажем, что epi (Ah.) не содержит
вертикальных прямых. Но наличие вертикальных прямых означало
бы, что рецессивный конус В (epi h0+) содержит вектор вида (0, р),
где р < 0. Тогда epi (А0+) обязан был бы содержать некоторую
пару (г, р) с Az — 0, р < 0. Для этого z мы имели бы (А0+) (г) < 0 и
(А0+) (—z) > —А0+ (z) > 0
(следствие 4.7.2), что противоречит условию теоремы.
Предположение теоремы 9.2 относительно А0+ выполняется,
разумеется, в том случае, когда h вообще не имеет рецессивных
направлений, что имеет место, в частности, если dom h ограничено.
Заметим, что в примере, приведенном в начале этого параграфа, это
условие нарушено.
Следствие 9.2.1. Пусть ft.......fm — замкнутые выпук-
лые собственные функции в R.”. Допустим, что Zi + . . . + zm =/= 0
при любом выборе векторов Zi....zm, таких, что
(А0+) (z0 + . . . + (fm0+) (zm) 0,
(Д0+) (-zi) + . . . + (fm0+) (—zm) > 0.
92
§ 9. НЕКОТОРЫЕ КРИТЕРИИ ЗАМКНУТОСТИ
Тогда инфимальная конволюция А □ • • • □ Ап есть замкнутая
выпуклая функция на R.n и нижняя грань в определении (А □ • • •
. . • □ An) W достигается при любом х. Далее,
(А □ • • • □ fm) о* = АО* □ ... □ /то*.
Доказательство. Пусть А — операция сложения, т. е.
следующее линейное отображение из Rmn в R,”:
A* (xj, • • хт) х^ И- . . . 4“ xm, Xi £ [К ,
и пусть h — замкнутая собственная выпуклая функция на Rmn,
определенная так:
h (Xi....Хт) = fi (Xi) + ... +fm (xm); Xt £ ЙЛ
Мы получим требуемый, результат, если применим к этим h и А
теорему 9.2. Все подробности мы предлагаем уточнить самому
читателю в виде упражнения.
Другой вид этого результата дан в следствиях 19.3.4 и 20.1.1.
Следствие 9.2.2. Пусть А ы А — замкнутые собственные
выпуклые функции в И", такие, что
(А0+) (?) + (АО*) (-z) >0, Vz #= 0.
Тогда А □ А — также замкнутая собственная выпуклая функция
и для любого х нижняя грань в формуле
(fi □ /2) (х) = inf {А (х — у) + fz (у)}
V \
достигается при некотором у.
Доказательство. Следует в предыдущем следствии поло-
жить т = 2.
Для иллюстрации последнего следствия допустим, что f = А
есть произвольная замкнутая собственная выпуклая функция,
а А — индикаторная функция множества —С, где С — непустое
выпуклое замкнутое множество. Тогда
(fi □ А) И = inf {б (х - у | —С) +7 (у) | у € Н”} =
= inf\{f(y) \у£С +’х}.
Условие следствия заведомо удовлетворяется, если f и С не имеют
общих рецессивных направлений. В этом случае нижняя грань
функции f на множестве С + х достигается при любом х и является
полунепрерывной снизу (выпуклой) функцией от х.
Взяв в качестве С неотрицательный ортант в Rn, мы получим
С + х = {у | у х}
Для любого х. Следовательно, если f — замкнутая собственная
выпуклая функция в Rn, рецессивный конус которой не имеет
93
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
ненулевых неотрицательных векторов, то нижняя грань в формуле
g (х) = inf {/ (у) I z/ > х}
достигается для любого х и g будет замкнутой собственной выпуклой
функцией в RA Заметим, что g есть наибольшая функция, такая,
что g^f, а при этом g (|i, . . ., |п) есть неубывающая функция
переменного при каждом j = 1, . . ., п.
Свойства замкнутости для остальных операций над функциями
и множествами описываются следующими Теоремами.
Теорема 9.3. Пусть fi..........fm — собственные выпуклые
функции в Если fi замкнуты и сумма (А + . . . + Ап) не равна
тождественно +оо, то ft + . . . 4- fm есть замкнутая собственная
выпуклая функция и
(А + • < • + А») 0+ = до+ + ... + fm0+.
Если fi не все замкнуты, но существует точка, общая всем множе-
ствам ri (dom ft), то
cl (fi + ... + fm) = cl A + . . . + cl fm-
Доказательство. Положим f = A + • • • + fm- Пусть
m
xgri (domf) = ri (|"|domA).
2=1 i
Для любого у имеем
(cl f)(y) = %)x+M = 3 limA((l-X)x+M
XI1 i=lXfl
(теорема 7.5). Если каждая функция ft замкнута, то последняя
сумма есть fi(y) + ... + fm (у)> так что cl f = f. Далее, если
множества ri (dom А) имеют общую точку, то
f| ri (dom ft) — ri (dom f)
i=l
в силу теоремы 6.5. В этом случае х С ri (dom А) Для i = 1, ...
..., т и предел ft в последней сумме есть (cl ft) (у). Таким образом,
cl f =cl А +...4-С1 fm- Формула относительно f 0+ сразу сле-
дует из формулы теоремы 8. 5, содержащей переход к пределу.
Теорема 9.4. Пусть ft — собственные выпуклые функции
для любого i g /, где I — произвольное множество индексов, и
f = sup {А 11 6 I}-
Если функция f конечна хотя бы в одной точке и каждая функция
fi замкнута и собственна, то и функция f является замкнутой
и собственной и
f0+ = sup {ffi+ I i e I}-
94 i
§ 9. НЕКОТОРЫЕ КРИТЕРИИ ЗАМКНУТОСТИ
Если не все ft являются замкнутыми, однако имеется точка х, общая
для всех множеств ri (dom такая, что — оо < f (х) < оо, то
cl / = sup {cl ft I i e /}.
Доказательство. Коль скоро epi / есть пересечение мно-
жеств epi fi, оно является замкнутым, если ft замкнуты. Формула
относительно /0+ вытекает из следствия 8.3.3. Формула относительно
замыкания следует из теоремы 6.5 и леммы 7.3, ибо пересечение
множеств ri (epi ft) содержит точку (х, / (х) + 1).
Теорема 9.5. Пусть А — линейное отображение из R.re
в Н"г и g — собственная выпуклая функция на Нт, такая, что функ-
ция gA не равна тождественно + оо. Если g замкнута, то gA
также замкнута и (gA) 0+ = (g0+) А. Если g не является замкну-
той, но Ах 6 ri (dom g) при некотором х, то cl (gA) = (cl g) А.
Доказательство. Как мы уже знаем, gA — собственная
выпуклая функция (теорема 5.7). Надграфик gA есть прообраз
множества epi g при линейном и непрерывном преобразовании В:
(х, р) -> (Ах, р), и поэтому gA замкнуто, если g замкнуто. Формула
для (gA) 0+ немедленно вытекает из следствия 8.3.4. Формула отно-
сительно замыкания следует из теоремы 6.7 и леммы 7.3.
Теорема 9.6. Пусть С — непустое замкнутое выпуклое
множество, не содержащее начала координат, и К. — выпуклый
конус, порожденный множеством С. Тогда
cl Д’ = KJ 0+С = U {ХС | X > 0 или К = 0+}.
Доказательство. Пусть К' — выпуклый конус в про-
странстве Rn+1, порожденный {(1, х) |х£С}. Тогда
cl К' = {(%, х) | X > О, х 6 ХС} U {(0, х) | х G 0+С}
(теорема 8.2). Образ множества с! К' при линейном преобразовании
А: (X, х)-> х есть К (J 0+С. Поскольку не существует ненулевого
вектора (X, х) в cl К' = 0+ (cl К'), для которого 0 принадлежит
образу этого множества при преобразовании А, мы получаем в силу
теоремы 9.1, что
A (cl К') = с! (А К') = cl К-
Следствие 9.6.1. Если С — непустое замкнутое ограни-
ченное выпуклое множество, не содержащее начала координат, то
порожденный им выпуклый конус К замкнут.
Доказательство. В нашем случае 0+С — {0}.
(Заметим, что этот результат легко можно получить также
и непосредственным рассуждением с использованием компактно-
сти.)
95
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
То, что условие непринадлежности начала координат множе-
ству С в теореме и следствии существенно, показывает пример
замкнутого шара, для которого начало координат является гранич-
ной точкой. Необходимость условия ограниченности в последнем
следствии показывает пример прямой, не проходящей через начало
координат.
Теорема 9.7. Пусть f — замкнутая собственная выпуклая
функция в !ЯП, такая, что f (0) > Q, и k — положительно однородная
выпуклая функция, порожденная f. Тогда k является собственной
функцией и
(cl k) (х) = inf {(/X) (х) | К > 0 или X = 0+},
причем нижняя грань достигается для любого х. Если 0 6 dom f,
то функция k является замкнутой и X = 0+ при взятии нижней
грани можно исключить (однако нижняя грань при этом может
и не достигаться).
Доказательство. Здесь epi f есть непустое замкнутое
выпуклое множество в Rn+1, не содержащее начала координат.
Порождаемый им замкнутый выпуклый конус, равный cl (epi k),
есть объединение множеств X (epi f) = epi (/X), X 0+ (см. преды-
дущую теорему). Это объединение не содержит ни одного вектора
вида (0, р) с р < 0, откуда видно, что оно есть epi (cl k) и что k —
собственная функция. Отсюда сразу же следует наша формула.
Если 0 6 dom f, то
(/0+) (х) — lim [/ (ах) — f (0)]/а = lim (fX) (х)
а|+°°
в силу последней формулы теоремы 8.5, так что достаточно брать
нижнюю грань (/X) (х) лишь по X >• 0. Но это и даст k по опреде-
лению.
Следствие 9.7.1. Пусть С — замкнутое выпуклое множе-
ство в Ип, содержащее 0. Тогда калибровочная функция у (• | С)
множества С является замкнутой. Далее,
{х | у (х | С)< X} = ХС
для любого X > 0 «
{х | у (х | С) = 0} = 0+С.
Доказательство. Применим теорему к функции f (х) =
= 6 (х | С) + 1. Так как по определению k = у (• | С), мы получим
(fX) (х) = б (х | ХС) + X, VX > 0,
и /0+ = б (• | 0+С).
Теорема 9.8. Пусть С±, . . ., Ст — непустые выпуклые
замкнутые множества в R”, удовлетворяющие такому условию'.
96
§9. НЕКОТОРЫЕ КРИТЕРИИ ЗАМКНУТОСТИ
если zlt . . ., zm —векторы, принадлежащие Zi € 0+С; и такие,
что Zi + ... + zm = 0, то Z} принадлежит линейному подмно-
жеству множества Сг для каждого i = 1, . . ., т. Пусть С =
= conv (Ci U • • • U Ст). Тогда
с! С = U {ХА + . . . + XmCm | Хг 0+, Xi+ ... + Хго = 1}
(где запись i>0+ означает, что в качестве при Хг = 0 берется
О+Сг, а не {0}). Далее,
0+ (cl С) = O+Ci + . . . + 0+Ст.
Доказательство. Пусть Kt — выпуклый конус в R.n+l,
порожденный {(1, %г) | X; Е Сг}, i = 1.т. Имеем
cl Kt = {(Хг, хг) | Xf > 0, хг 6 ХгСг} U {(0, хг) | хг 6 0+Сг}
(теорема 8.2). Если применить следствие 9.1.3 к конусам Ki (что
возможно в силу условий, наложенных на конусы О+Сг), то получим
cl (Ki + • • . + Кт) = cl Ki + . . . + cl Кт-
Пересечение cl (Ki + . . . + Km) с Hi — {(1, х) | х 6 ^"} есть
замыкание пересечения Ki + . • . + Кт с Hi и, значит, состоит
из векторов (1, х), таких, что х принадлежит некоторой выпуклой
комбинации XiCi + . . . + XmCm. Но объединение всех таких
выпуклых комбинаций по теореме 3.3 есть С. Следовательно,
cl (Ki + • • • + Кт) fl Hi = {(1, х) | х е cl С}.
Но то же самое множество совпадает, с другой стороны, с пересече-
нием cl Ki + ••• + cl Кт и Hi и, значит, состоит из пар (1, х),
таких, что х принадлежит тому объединению, которое указано
в теореме. Отсюда следует справедливость формулы для cl С.
В силу уже доказанного cl (Ki + • • • + Кт) должно совпадать
с замыканием выпуклого конуса в Rn+l, порожденного {(1, х) | х 6
€ cl С}, так что векторы вида (0, х), содержащиеся в нем, таковы,
что х £ 0+Ci+ . . . + 0+Ст (теорема 8.2). Но такие векторы лежат
в 0+ (cl С). Мы получили, что O+Ci + . . . + 0+Cm = 0+ (cl С).
Следствие 9.8.1. Если Ci.....Ст — непустые замкнутые
выпуклые множества в R", имеющие один и тот же рецессивный ко-
нус К, tno выпуклое множество С = conv (Ci U • • • U Cm) замкну-
то и К является его рецессивным конусом.
Доказательство. Допустим, что zlt .... zm — такие
векторы из Ki, . ., Кт, что Zi + ... + zm = 0. Тогда
— Zi = z2 + ... + zm (Е (—К) П К.
Аналогичное соотношение верно и для z2, . . ., zm- Таким образом,
zt принадлежит линейному подмножеству множества С{ для любого
1> и, значит, мы можем воспользоваться доказанной теоремой.
7
Р. Рокафеллар
97
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
В теореме надо заменить 0+С; на {0} = 0Сг, ибо для любого /
с X, > 0
0+С, + (К + Q) == \}С} = 0Сг +
Таким образом, cl С = С (теорема 3.3).
Сл едствие 9.8.2. Если Ct......Ст — замкнутые ограни-
ченные множества в Rn, то conv (С4 j • • ♦ U Cm) — также
замкнутое и ограниченное множество.
Доказательство это сразу следует из того, что если
Ct Ф 0, то 0+Cf = {0}.
Ниже будет дано одно усиление этого результата (теорема 17.2).
Результат, аналогичный теореме 9.8, очевидным образом верен
и для выпуклых функций. Мы, однако, будем иметь дело лишь
с аналогом следствия 9.8.1.
Следствие 9.8.3. Пусть ft, . . ., fm — замкнутые собст-
венные выпуклые функции в Шп, имеющие одну и ту же рецессивную
функцию k. Тогда f = conv {Д..fm } есть выпуклая и собствен-
ная функция и функция k является ее рецессивной функцией. В фор-
муле для f (х) из теоремы 5.6 нижняя грань достигается для любого
х из некоторой выпуклой комбинации.
Доказательство. Применим следствие 9.8.1, положив
Ct = epi ft, К-*• epi k. Выпуклая оболочка С множества Ct есть
непустое замкнутое выпуклое множество в Rn+1, и поскольку /С
есть его рецессивный конус, оно должно быть надграфиком неко-
торой замкнутой собственной выпуклой функции. Эта функция
не может быть ничем иным, как f, следовательно, f0+ совпадает
с k. Числа р представимы в виде тех комбинаций, по которым берет-
ся нижняя грань в теореме 5.6,— это в точности те числа, для кото-
рых (х, р) принадлежит С, как это объяснялось в доказательстве
теоремы 5.6. Но С = epi f, поэтому само f (х) = р так представимо,
т. е. нижняя грань достигается.
§ 10. Непрерывность выпуклых функций
Операция замыкания несколько «подправляет» функцию, пре-
вращая ее в полунепрерывную снизу функцию. В этом параграфе
мы хотим описать ряд ситуаций, в которых функция / полунепре-
рывна снизу автоматически, так что функция cl f (или сама функ-
ция f, в случае когда она совпадает с с! /) в действительности будет
непрерывной. Мы также рассмотрим здесь разные вопросы, связан-
ные с равномерной непрерывностью и равностепенной непрерывно-
стью. Во всех случаях весьма сильные заключения относительно
непрерывности вытекают непосредственно из выпуклости при самых
элементарных дополнительных предположениях.
§ 10. НЕПРЕРЫВНОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
Функция f на R” называется непрерывной на множестве S (или
относительно множества S), если ее ограничение на S является
непрерывной функцией. Другими словами это означает, что если
х £ S, то f (у) должно стремиться к f (х), когда у стремится к х,
оставаясь в S, хотя это стремление может и не иметь места, когда
у -> х, не принадлежа S.
Следующий результат относительно непрерывности представ-
ляется наиболее существенным, хотя ниже в теоремах 10.2 и 10.4
будет получено его усиление.
Теорема 10.1. Выпуклая функция f на Нп непрерывна
на любом относительно открытом выпуклом множестве, содержа-
щемся в ее эффективном множестве. В частности, f непрерывна
на ri (dom f).
Доказательство. Функция g, которая совпадает с f
на С и равна + оо всюду вне С, имеет своим эффективным множе-
ством само множество С. Заменив, если это необходимо f на g, мы
сведем дело к случаю, когда С ='dom f. Мы можем также считать,
не ограничивая общности, что С есть n-мерное множество (и значит,
даже открытое, а не только относительно открытое). Если f —
несобственная функция, то она должна быть равна — оо на С (тео-
рема 7.2), и, значит, ее непрерывность тривиальна. Допустим поэ-
тому, что f — собственная функция, т. е. конечная функция на мно-
жестве С. В силу теоремы 7.4 (cl /) (х) = f (х), х g С, так что /
полунепрерывна снизу на С. Для того чтобы доказать непрерыв-
ность f, достаточно показать, что множества уровня {х | f (х) ;> а}
являются замкнутыми множествами, ибо это по теореме 7.1 будет
означать, что функция f полунепрерывна сверху. Но так как С —
— dom f есть открытое множество, то по лемме 7.3
int (epi f) = {(х, и) | и > / (х)}.
Таким образом, для любого а £ R. множество {х | f (х) < а} пред-
ставляет собой проекцию на R” открытого выпуклого множества,
являющегося пересечением множества int (epi f) и полупростран-
ства {(х, р.) | р < а} в Din+1. Но это означает, что {х | f (х) < а}
есть открытое множество, а следовательно, его дополнение
{х I f (х) а} замкнуто.
Следствие 10.1.1. Выпуклая функция, конечная во всех
точках пространства является непрерывной.
Полезность этого утверждения относительно непрерывности
состоит, в частности, в том, что выпуклость зачастую сохраняется
при операциях, которые, вообще говоря, не сохраняют непрерыв-
ность саму по себе.
Например, пусть f — вещественная функция на
Rn X Т (где Т — произвольное множество), такая,
произведении
что f (х, 0 как
99
7*
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
функция от х выпукла при каждом t и как функция от t ограничена
сверху при каждом х. (Такая ситуация может возникуть, скажем,
тогда, когда мы имеем семейство конечных выпуклых функций
на 0in, непрерывно зависящих от времени t, изменяющегося в неко-
тором замкнутом интервале Т.) Тогда
h (х) — sup {/ (х, t) It 6 Т}
есть непрерывная функция от х. Для того чтобы вывести это
из следствия 10.1.1, следует заметить лишь, что в силу наших
допущений h является конечной функцией от х и, будучи поточеч-
ной верхней гранью'семейства выпуклых функций, сама выпукла.
Вот другой интересный пример. Рассмотрим произвольную
выпуклую функцию f, конечную на Rn, и произвольное непустое
выпуклое множество С в DV1. Для любого х £ И” положим
h (х) = inf {/ (у) | у 6 С + х}.
Мы утверждаем, что h (х) есть непрерывная функция от х. Действи-
тельно, во-первых,
h (х) = inf {/ (х - г) + 6 (г | - С)} = (f □ g) (х),
Z
Где g — индикаторная функция множества — С. Таким образом,
h — выпуклая функция. Далее, так как f — всюду конечная функ-
ция, то dom h = (Кп. Значит, функция h либо тождественно равна
— оо, либо является всюду конечной (теорема 7.2). Во всех слу-
чаях h непрерывна.
Что можно сказать о непрерывности функции в точках относи-
тельной границы ее эффективного множества? Приведем сначала
пример того, как все может быть плохо. Рассмотрим функцию в R2
при > 0,
при 11 = 0, £2 = 0,
в остальных точках.
Заметим, что функция f есть опорная функция параболического
выпуклого множества С = {(|ь 5г) I + (BV2) 0} и> значит,
выпукла. Далее, f непрерывна всюду, за исключением начала коор-
динат, где она является лишь полунепрерывной снизу. Предел
f (1ь Ы при (£i, |2), стремящемся к (0, 0) по параболе h = ||/2а,
равен а. Таким образом, он может быть любым положительным
числом. В то же время предел по любому прямолинейному отрезку,
соединяющему начало координат с точкой, лежащей в правой полу-
плоскости, есть нуль (это легко усмотреть непосредственно, а кроме
того, следует из теоремы 7.5). Однако все неприятности возникают
лишь в том случае, когда мы движемся к началу координат «пр каса-
тельной» к эффективному множеству dom f. Если же мы будем
стремиться к (0, 0), оставаясь внутри любого треугольника, целиком
100
§ 10. НЕПРЕРЫВНОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
лежащего в dom f и имеющего начало координат своей вершиной,
мы получим, что предел f равен 0.
Этот пример наводит на мысль, что замкнутая выпуклая функ-
ция должна быть непрерывной на любом симплексе, содержащемся
в ее эффективном множестве. Это заключение в силу следствия 7.5.1
во всяком случае верно для простейшего симплекса (т. е. для пря-
молинейного отрезка). Мы покажем, что в общем случае имеет
место даже более сильное утверждение.
Условимся называть множество S в Rn локально симплициаль-
ным, если для любого х £ S существует конечное число симплексов
S1; . . ., Sm, содержащихся в S и таких, что для некоторой окрест-
ности U ТОЧКИ X
U П (Si U • • • U SJ = U П 5.
Локально симплициальное множество не обязано быть ни выпук-
лым, ни замкнутым. Класс локально симплициальных множеств
содержит все политопы и все выпуклые полиэдры.
В доказательстве приводимой ниже теоремы мы будем пользо-
ваться следующим интуитивно очевидным фактом. Пусть С — сим-
плекс с вершинами х0, х±, . . ., хт, и пусть х £ С. Тогда С можно
триангулировать так, чтобы каждый из симплексов разбиения
имел х своей вершиной, иначе говоря, чтобы каждая точка у g С
принадлежала симплексу, вершинами которого служат х и еще т
из т + 1 вершин симплекса С. Доказать это утверждение не состав-
ляет никакого труда, и мы предоставляем это читателю.
Теорема 10.2. Пусть f — выпуклая функция в 0V1 и S —
произвольное локально симплициальное подмножество множества
dom f. Тогда f полунепрерывна сверху относительно множества S,
так что если f — замкнутая функция, то она будет на самом деле
непрерывна относительно S.
Доказательство. Пусть х С S и Si, . . ., Sm — те сим-
плексы, объединение которых имеет то же пересечение с некоторой
окрестностью точки х, что и все множество S. Каждый из симплек-
сов, содержащих точку х, можно разбить на конечное число сим-
плексов, имеющих х своей вершиной. Обозначим эти симплексы
Л, . . ., Tk. Каждый из симплексов Tj имеет х своей вершиной,
и некоторая окрестность точки х имеет то же самое пересечение
с Tt (J ... (J Tk, что и все множество S. Если нам удастся пока-
зать, что функция f полунепрерывна сверху на каждом симплексе
Tj, то отсюда будет следовать, что f полунепрерывна сверху
и на объединении Т\ U • • • U Ть, а значит, будет таковой и на S.
Таким образом, все свелось к случаю одного симплекса. Обозначим
его через Т. Без потери общности мы можем считать, что dom f
есть n-мерный симплекс с вершиной в х. Совершив аффинное пре-
образование, мы можем свести дело к тому случаю, когда х = 0,
101
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
а остальные вершины Т суть ei (1, 0, . . 0), . . еп =
= (0, ...» 0, 1). Тогда для любого z = (£i, . . £п) из Т имеем
(1 - . - Cn) f (0) + Ы (*) + . . . + w (еп)
вследствие выпуклости функции f. (Это верно, даже если функция
f является несобственной, ибо выражение оо — оо здесь появиться
не может, так как f Ф + оо на Т.) Верхний предел левой части
последнего неравенства при z -> 0 в Т не превосходит верхнего
предела правой части, который равен f (0). Мы получили, что функ-
ция f полунепрерывна сверху в нуле относительно множества Т.
Сила теоремы 10.2 хорошо демонстрируется следующим прило-
жением к проблеме продолжения.
Теорема 10.3. Пусть С — локально симплициальное мно-
жество и f — конечная выпуклая функция на ri С, ограниченная
сверху на каждом ограниченном подмножестве в ri С. Тогда f мож-
но продолжить, и притом единственным образом, до непрерывной
функции на всем множестве С.
Доказательство. Пусть f (х) = + оо при х $ ri С.
Образуем cl f. Функция cl f является выпуклой и собственной
и совпадает с f на ri С (теорема 7.4). Более того, cl f ограничена
на относительной границе множества С в силу условия ограничен-
ности, наложенного в теореме. Значит, по теореме 10.2 cl f есть
непрерывная функция на С. Отсюда вытекает, что ограничение cl f
на С есть непрерывная конечная функция, являющаяся продолже-
нием функции /. Но поскольку С cz cl (ri С), это продолжение един-
ственно.
Для продолжения, о котором идет речь в теореме 10.3, можно,
конечно, указать явную конструкцию: надо положить f (х) (для
точек х относительной границы С) равным пределу f (у) при у, стре-
мящемся к х по любому прямолинейному отрезку, соединяющему х
с некоторой точкой из ri С.
Рассмотрим для примера в качестве множества С неотрицатель-
ный ортант в (в силу теоремы 20.5 он является локально симпли-
циальным). Внутренностью С служит положительный ортант. Пусть
f — конечная выпуклая функция на положительном ортанте и при-
том не убывающая в том смысле, что f (£i, . . ., gn) не убывает
по каждому / = 1, . . ., п. Для любого положительного А,
fill, • • ; *•)•
Это неравенство верно для всех векторов х = (gj, . . ., gn), таких,
что 0 < А для всех /. Таким образом, f является функцией,
ограниченной сверху на любом ограниченном подмножестве поло-
жительного ортанта. Значит, как это следует из теоремы 10.3,
функцию f можно единственным образом продолжить до непрерыв-
ной (неубывающей) функции на всем неотрицательном ортанте.
102
§ 10. НЕПРЕРЫВНОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
Вещественная функция f на множестве В cz Rn называется
липшицевой относительно В, если существует вещественное число
й 0, такое, что
\х-у I, Vx6S, Yi/ES.
Из этого условия, в частности, следует равномерная непрерыв-
ность f относительно множества В.
Следующая теорема есть важное усиление теоремы 10.1.
Теорема 10.4. Пусть f — собственная выпуклая функция
и S — любое ограниченное замкнутое подмножество множества
ri (dom f). Тогда f липшицева относительно S,
Доказательство. Без ограничения общности можно
считать, что dom f есть n-мерное множество в и, значит, S
лежит во внутренности dom f. Пусть В — евклидов единичный шар.
Для любого е > 0 множество S + гВ есть, очевидно, замкнутое
выпуклое множество. Совокупность вложенных друг в друга мно-
жеств
(S + еВ) fl (Rn\int (dom /)), 8 > 0,
имеет пустое пересечение, и значит, какое-то из множеств этой
совокупности является пустым. Следовательно, при некотором
8>0
S + еВ с int (dom f).
В силу теоремы 10. Г / непрерывна на В + &В. Поскольку В + гВ —
замкнутое выпуклое множество, отсюда следует, что f ограничена
на В + еВ. Пусть af и а2 — соответственно верхняя и нижняя
границы f на В + гВ. Возьмем любые две различные точки х и у
из В и положим
Z = У + (е/| У — X |) (у — х).
Тогда z С В + sB и
у = (1 _ %) х + %z> х = | у — х |/е + | у — х |.
В силу выпуклости f имеем
/ (у) < (1 - %) f (х) + Kf{z) = f (х) + X (f (z) - f (X))
и, следовательно,
f (У) — f (x) C (ai — a2)< a | x — у |, a = (a2 — ai)/e.
Это неравенство верно для любых х и у из В, а это и означает, что f
есть липшицева функция относительно В.
Всякая конечная выпуклая функция f на 0V* является, следова-
, тельно, равномерно непрерывной и даже липшицевой относительно
любого ограниченного множества, но, разумеется, f может не быть
юз
5
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
ни равномерно непрерывной, ни липшицевой относительно всего
пространства 0V*. Теперь мы хотим рассмотреть вопрос о том, при
каких обстоятельствах эти последние свойства f все-таки имеют
место.
Теорема 10.5. Пусть f — конечная выпуклая функция на R.n.
Для того чтобы она была равномерно непрерывна относительно
Rn, необходимо и достаточно, чтобы ее рецессивная функция fQ+
была всюду конечна. В этом случае f будет даже липшицевой функ-
цией относительно Я".
Доказательство. Пусть f является равномерно непре-
рывной. Выберем произвольно е > 0. Найдется б > 0, такое, что
если | z | б, то
f (х + z) — f (х) < е, Vx.
Для этого б мы будем иметь (f0+) (z) е, где | z | б (в силу пер-
вой формулы теоремы 8.5). Но так как /0+ — положительно одно-
родная собственная выпуклая функция, мы получаем отсюда, что
/0+ всюду конечна.
Обратно, пусть /0+ — всюду конечная функция. Тогда }0+
является в соответствии со следствием 10.1.1 всюду непрерывной
функцией и, значит,
оо > а = sup {(/0+) (z) | | г | = 1} =
= sup {| z I"1 (f0+) (z) | z =/= 0}.
Отсюда следует, что
« I У — х | > (/0+) (# — х) > f (z/) — / (х), Vx, Vt/
(следствие 8.5.1). Таким образом, f является липшицевой и, следо-
вательно, равномерно непрерывной функцией.
Следствие 10.5.1. Конечная выпуклая функция f является
липшицевой относительно Ип, если
lim inf f (ty)/k < oo, Vz/.
Доказательство. Этот предел равен по теореме 8.5
(ЛИ (у). Я
Следствие 10.5.2. Пусть g — конечная выпуклая функция,
липшицева относительно (скажем, g (х) = а | х | + 0, а >0).
Тогда любая конечная выпуклая функция f, такая, что f ^g, также
является липшицевой относительно Rn.
Доказательство. Это сразу следует из того, что Д)+
С g0+, если / < g. Я
В следствии 13.3.3 мы получим двойственную форму теоре-
мы 10.5.
104
§ 10. НЕПРЕРЫВНОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
Вернемся снова к исследованию свойств непрерывности сово-
купностей выпуклых функций и тесно связанных с ними свойств
сходимости.
Пусть {/, | i 6 /} — совокупность вещественных функций
на множестве S в Rn. Мы скажем, что это семейство является экви-
липшицевым относительно S, если существует вещественное число
а 0, такое, что
\^а\у-х\, Vy£S, VxfES, Vi 6 Z.
Если это условие удовлетворяется, то данная совокупность будет,
в частности, равностепенно равномерно непрерывна на S, т. е. для
любого е > 0 найдется б > 0, такое, что
I fi (У) - ft (*) I < 8, Vi 6 I,
для любых у £ S, x£S с | у — х | < б. Совокупность {ft | i £ 1}
называется поточечно ограниченной на S, если множество вещест-
венных чисел fi (х), i 6 /, является ограниченным для любого х £ S.
Мы назовем ее равномерно ограниченной на S, если существуют ве-
щественные числа ccj и а2, такие, что
«2> Vx € <$» Vi€/-
Теорема 10.6. Пусть С — относительно открытое выпук-
лее множество, {ft \ i £ 1} — произвольное семейство конечных
выпуклых функций, поточечно ограниченное на С, S — любое зам-
кнутое ограниченное подмножество в С. Тогда семейство {ft | i Е /}
является равномерно ограниченным на S и эквилипшицевым относи-
тельно S.
Заключение теоремы останется в силе, если ослабить допущение
относительно поточечной ограниченности, заменив его следующей
парой условий:
(а) существует подмножество С множества С, такое, что
(cl С') гз С u sup {fi (х) | i g /} конечен для любого х С С';
(Ь) существует по крайней мере одна точка х £С, такая, что
inf {ft (х) | i Е /} конечен.
Доказательство. Без ограничения общности можно счи-
тать, что С — настоящее открытое множество. Считая (а) и (Ь) вы-
полненными, покажем, что семейство {ft | i £ 1} равномерно огра-
ничено на каждом ограниченном замкнутом подмножестве множе-
ства С. Эквилипшицевость будет тогда следовать из доказательства
теоремы 10.4, ибо константа Липшица, фигурировавшая в доказа-
тельстве этой теоремы, зависела лишь от нижней и верхней границ
ai и а2. Пусть
f (х) = sup {ft (х) | i € /}•
Тогда f есть выпуклая функция, и в силу (а) мы имеем (так как
С1 dom f содержит cl С', а значит, conv cl С' и С)
dom f о int (cl (dom /)) zz> int С = C.
105
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
(Первое включение имеет место по теореме 6.3 в силу выпуклости
dom /.) Следовательно, f является непрерывной функцией относи-
тельно С (теорема 10.1). В частности, / — функция, ограниченная
сверху на каждом замкнутом ограниченном подмножестве С; иначе
говоря, семейство {A I i € 7} равномерно ограничено сверху на каж-
дом замкнутом ограниченном подмножестве множества С. Для
того чтобы показать, что это семейство яв'ляется также равномерно,
ограниченным снизу, достаточно построить непрерывную функцию
g, такую, что
fi (х) > g (х) Ух б С, Vi 6 I-
Используя условие (Ь), выберем точку х £ С, такую, что
— оо < 0! = inf {fi (х) | i б /}.
Подберем е > 0, столь малое, что х + еВ с С, где В — единич-
ный евклидов шар. Обозначим через 02 какую-нибудь положи-
тельную верхнюю границу для значений f на х + еВ. Тогда для
любого х б С, х Ф х, мы будем иметь х = (1 — X) г + Хх, где
z = х + (е/1 х —х |) (х — х),
X = е/(е + | х — х |).
Так как 0 < X < 1 и \ z — х| = е, то для любого i б I
0i < A (*) fi (г) + ХА (х) <
< (1 - X) 02 + ХА (х) С 02 + ХА (х),
следовательно,
А (х) (01 — 02)/Х = (е + | х — х |) (01 — 0г)/е.
Функция в правой части равенства является непрерывной по х,
откуда и следует утверждение теоремы.
Теорема 10.7. Пусть С — относительно открытое выпуклое
множество в R.n, Т — локально компактное топологическое про-
странство {например, любое открытое или замкнутое подмножество
в Rm) и f—вещественная функция на С X Т, такая, что f (х, i)
как функция от х выпукла для любого t £Т и как функция от t
непрерывна для любого х б С. Тогда f будет непрерывной функцией
на С X Т, т. е. f (х, i) непрерывно по совокупности переменных
х и t.
Заключение теоремы останется в силе, если допущение относи-
тельно непрерывности по t заменить следующим более слабым:
найдется подмножество С' множества С, такое, что cl С' => С
и f (х, •) есть непрерывная функция на Т для каждого х б С'.
Доказательство. Пусть (х0, /0) — произвольная точка
из С X Т и То — компактная окрестность точки i0 € Т. Для любого
106
§ 10. НЕПРЕРЫВНОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
х £ С' функция f (х, •) непрерывна на То и, значит, ограничена
на То. Мы получаем, что {/(•, /) I t С То} есть семейство конечных
выпуклых функций на С, которое является поточечно ограниченным
на С'. Из теоремы 10.6 следует тогда, что семейство {/(•,/) | / 6 То}
является эквилипшицевым на любом замкнутом ограниченном под-
множестве в С и, в частности, равностепенно непрерывным в точке
х0. Для любого заданного е > 0 мы, следовательно, можем поды-
скать такое б > 0, что
|f(x, t)—f(x0, t) V/6 То, _
если только | х — х0 | б, Пусть Xt — точка из С', такая, что
] Xi — х0 |^б. Поскольку f (Xi, •) непрерывна в точке t0, можно
найти окрестность V точки t0 в То, такую, что
I f (xi, 0 - f (х1( /о) I С |, V/ 6 V.
Для любой пары (х, f) с \х — х0 | < б и / 6 V имеем
lf(x, 0-/(хо, /о) К П(х, f)-f(x0, /)| +
+ | / (хо, 0 - f (Xi, 014-1/ (xi, 0 - f (Xi, /о) I +
+ | f (Xi, /о) — f (x0, to) I + + Y + = 8.
Это показывает, что f непрерывна в точке (х0, t0).
Теорема 10.8. Пусть С — относительно открытое выпук-
лое множество и ft, f2, . . . — последовательность конечных выпук-
лых функций на С. Допустим, что эта последовательность пото-
чечно сходится на плотном подмножестве множества С, т. е. суще-
ствует С, такое, что cl С' гэ С, и для любого х 6 С' предел после-
довательности ft (х), f2 (х), . . . существует и конечен. Тогда
для любого х 6 С существует предел последовательности ft (х),
/2 (х), . . ., и функция
f (х) = lim ft (х)
г—>оо
является конечной и выпуклой на С. Более того, последовательность
ft, fz, • • . сходится к f равномерно на любом замкнутом ограничен-
ном подмножестве множества С.
Доказательство. Без ограничения общности мы можем
считать, что С — открытое множество. Семейство {ft | i = 1, 2 ...}
поточечно ограничено на С' и, значит, по теореме 10.6 эквилиппш-
цево на каждом замкнутом ограниченном подмножестве в С. Пусть
S — произвольное такое подмножество в С и S' — другое замкну-
тое ограниченное подмножество в С, такое, что int S' => S. (Рас-
суждения, с помощью ’ которых устанавливается существование
107
ГЛ. II. ТОПОЛОГИЧЕСКИЕ СВОЙСТВА
такого множества S', проведены в начале доказательства теоре-
мы 10.4.) Существует вещественное число а > 0, для которого
I fi (у) - ft (х) | < а | у - х|, Vyt S', Ухе S', Vi.
Пусть задано & > 0. Выберем конечную (е/3а)-сеть Со для множе-
ства С' Q S'. В силу конечности множества Со и сходимости последо-
вательности fi в точках множества С'о мы можем найти номер i0, та-
кой, что
IA(z)-f,-(z)|<|, Vi>i0, V/>i0, VzGC;.
Пусть х е S и z — любая точка из С’о, для которой | х — z | ;
мы получим для всех i i0 и / 10
iA(x)-f,W ICIA(X)-A(z) 1 + \ fi (z) _ (z) 1 +
+ I fj (?) — fj(.x) К a I X — z | + у + a | z — x | C 8.
Это доказывает, что для любого данного 8 > 0 можно найти номер
i0, такой, что
I fi (х) - fj (X) |< 8, Vi > io, V/ > /о, Vx e s.
Отсюда следует, что для любого х £ S числовая последовательность
/1 (х), /2 (х), • • • есть последовательность Коши, так что ее предел
f (х) существует и конечен. Более того, для всякого 8 > 0 сущест-
вует такой номер i0, что
I fi (х) — f (х) | = Пт | ft (х) — fj (х) | С 8,
VxCS, Vi>i0.
Мы получили, что функции fi равномерно сходятся к функции f
на множестве S. Но коль скоро S — произвольное замкнутое огра-
ниченное подмножество в С, отсюда следует, что f существует на
всем множестве С. Разумеется, неравенство выпуклости
fi ((1 -%) х + М < (1 -%) fi (х) + kfi (у)
сохраняется при переходе к пределу для любых х £С, у £С, X £
е [0, 1], значит, функция f выпукла.
Следствие 10.8.1. Пусть f — конечная выпуклая функция
на относительно открытом множестве С и flt f2, ... — последова-
тельность конечных выпуклых функций на С, такая, что
lim sup ft (х) f (х), Vx £ С.
г—>оо
Тогда для любого замкнутого ограниченного подмножества S с: С
и любого 8 > 0 найдется номер io, такой, что
fi (х) < f (х) + 8, Vi > i0, Vx е s.
108
§ 10. НЕПРЕРЫВНОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
Доказательство. Пусть gt (х) = max {ft (х), f (х)}.
Последовательность конечных выпуклых функций gt поточечно
сходится к функции f на множестве С, а значит, она сходится рав-
номерно на S.
Теорема 10.9. Пусть С — относительно открытое вы-
пуклое множество и fi, f2, • • — последовательность конечных
выпуклых функций на С. Допустим, что последовательность
fi (х), fz(x), ... является ограниченной для любого х £С (или даже
лишь для плотного подмножества С' множества С). Тогда можно
выбрать подпоследовательность этой последовательности, которая
будет сходиться на С к некоторой конечной выпуклой функции f
равномерно на . каждом замкнутом ограниченном подмножестве
множества С.
Доказательство. Воспользуемся следующим извест-
ным фактом: для каждого подмножества С' cRn найдется такое
счетное подмножество C"czC, что cl С" => С'. Применим, этот
результат к множеству С' с С, такому, что cl С' о С и множество
{ft (х) I i' = 1, 2, . . .} ограниченно для любого х 6 С'. Тогда мно-
жество С' будет обладать теми же свойствами и в то же время будет
счетным. В силу теоремы 10.8 все, что нам надо доказать, это что
найдется подпоследовательность последовательности Д, f2, . . .,
поточечно сходящаяся на С". Пусть х1( х2 . . . —элементы из С",
записанные в виде последовательности. Числовая последователь-
ность {ft (хг) | i = 1, 2, . . .} является ограниченной, и, значит,
из нее можно выбрать сходящуюся подпоследовательность. Таким
образом, существуют вещественное число щ и подпоследователь-
ность /1 последовательности 1, 2, . . ., такие, что
lim ft (xt) = at.
г->оо
iSIi
Далее, рассмотрим числовую последовательность {f( (х2) I i (Е Д}
и найдем а2 и подпоследовательность /2 <= Ц, такие, что
lim ft (х2) =а2.
J—>оо
г^12
Затем найдем а3 и /3 и т. д. Наконец, возьмем последовательность
целых чисел /, состоящую из первых номеров последовательностей
/п. Числовая последовательность Д (х;), i £ /, сходится к а,- для
каждого /. Следовательно, последовательность функций fi, i f /,
поточечно сходится на С". х)
* г) Про рассуждения типа только что проведенного говорят, что в них
используется диагональный процесс.— Прим. ред.
ГЛАВА 111
Двойственность
§ 11. Теоремы отделимости
Одной из самых плодотворных идей в выпуклом анализе и в его
приложениях оказалась идея отделимости. Она основывается на том,
что гиперплоскость в пространстве Я" делит R" ровно на две
части, точнее говоря, дополнение к гиперплоскости представляет
собой объединение двух открытых непересекающихся полупро-
странств, разделенных этой гиперплоскостью.
Пусть Ct и С2 — два непустых множества в Rn. Мы будем гово-
рить, что гиперплоскость Н разделяет Ci и С2 (или отделяет Ci
от С2), если С± содержится в одном из замкнутых полупространств,
порожденных Н, а С2 лежит в противоположном замкнутом полу-
пространстве. Говорят, что Н собственно разделяет Ct и С2, если
при этом хотя бы одно из множеств не содержится целиком в Н.
Наконец, мы будем говорить, что Н сильно (или строго) разделяет Ci и
С2, если существует е > 0, такое, что Ci + гВ содержится в одном
из открытых полупространств, порожденных Н, а С2+еВ—в другом
открытом полупространстве. Здесь В = {х 6 Rn | | х | 1} — еди-
ничный шар евклидова пространства. (Множество Ct + еВ состоит
из всех тех точек х, для которых найдется элемент y^Ci, такой,
что | х — у | е.)
Нередко рассматриваются и другие виды отделимости, как,,
например, усиленная отделимость, когда Ci и С2 принадлежат разным
открытым полупространствам, порожденным Н. Однако нам пред-
ставляется, что наиболее полезными являются именно собственная
и сильная отделимости, поскольку они естественно связаны с экстре-
мумами линейных функций.
Теорема 11.1. Пусть Ci и С2— непустые подмножества
R.". Эти множества можно собственно разделить некоторой гипер-
плоскостью тогда и только тогда, когда существует вектор Ь.
удовлетворяющий следующим условиям'.
(a) inf {<х, Ь) | х С Ci} sup {<х, b) | х С С2},
(b) sup {<х, Ъ) | х £ Ci} > inf {(х, b) | х g С2}.
110
§ 11. ТЕОРЕМЫ ОТДЕЛИМОСТИ
Цх можно сильно разделить некоторой гиперплоскостью тогда
и только тогда, когда существует вектор Ь, удовлетворяющий
такому условию:
(с) inf {<х, Ь) | х £ > sup {(х, Ь) | х 6 С2}.
Доказательство. Пусть Ь удовлетворяет условиям (а)
и (Ь). Тогда 6^0 и можно выбрать Р С Н так, что
inf {(х, Ь) | х g Ci} > р >• sup {(х, Ь) | х 6 Сг}.
По теореме 1.3 множество Н = {х | <х, b) = Р} является гипер-
плоскостью. Полупространство {х | (х, Ь} Р} содержит множе-
ство Ct, а полупространство {х | <х, Ь) р} содержит С2. Из усло-
вия (Ь) следует, что Ci и С2 не могут одновременно содержаться
в гиперплоскости Н. Следовательно, И собственно разделяет
от С2.
С другой стороны, если-Ci и С2 можно разделить собственно, то
разделяющая гиперплоскость и порожденные ею замкнутые полу-
пространства, содержащие Ci и С2, могут быть заданы описанным
выше способом с помощью некоторых b и р. Тогда (х, Ь) р для
всякого х С Ct и (х, Ь)<р для всякого х £ С2, при этом для неко-
торого х g Ci или х 6 С2 соответствующее неравенство должно быть
строгим. Поэтому вектор b удовлетворяет условиям (а) и (Ь).
Если же вектор b удовлетворяет более сильному условию (с),
мы можем на самом деле выбрать р £ Я и 6 >• 0 так, чтобы (х, й) >
> Р + S для всех х £ Ct и (х, b) < р— 6 для всех х £ С2. Поскольку
единичный шар В ограничен в Нп, можно выбрать е > 0 столь
малым, чтобы | {у, b) | < б для всякого у б еВ. Тогда
Ci + еВ cz {х | (х, b) > Р},
С2 + еВ с: {х | <х, b) < Р},
т. е. Н = {х | (х, b) = р} сильно разделяет Ci и С2. Обратно, если
Ci и С2 могут быть сильно разделены, то написанные выше соотно-
шения выполняются для некоторых е > 0, b и р. В этом случае
Р < inf {<х, Ь) + е {у, Ь) | х € Ci, у € В} <
< inf {(х, Ь) | х С Ci},
Р > sup {(х, Ь} + 8 {у, Ь) | х 6 С2, у 6 В} >
> sup {(х, Ь) | х С С2},
откуда следует условие (с).
Любое утверждение о возможности или невозможности отделить
Друг от друга два множества является некоторой теоремой суще-
ствования. Неудивительно поэтому, что именно в доказательствах
разного рода теорем существования теория отделимости находит
свое основное приложение. Типичная ситуация примерно такова.
111
гл. III. ДВОЙСТВЕННОСТЬ
Предположим, нам требуется найти вектор Ь, обладающий опреде-
ленными свойствами. Допустим, что мы можем построить два вы-
пуклых множества Ci и С2 таким образом, чтобы искомый вектор Ь
соответствовал некоторой гиперплоскости, отделяющей Ci от С2.
В этой ситуации мы, естественно, должны обратиться к некоторой
теореме, утверждающей, что Ci и С2 действительно можно разде-
лить в нужном смысле.
В 1КП проблема существования разделяющей гиперплоскости
сравнительно элементарна и не требует для своего решения аксиомы
выбора. Основная конструкция описывается в доказательстве сле-
дующей теоремы.
Теорема 11.2. Пусть С — непустое выпуклое относительно
открытое множество в Rn и М — непустое аффинное множество
в Rn, не пересекающееся с С. Тогда существует гиперплоскость Н,
содержащая М и такая, что одно из порожденных Н открытых
полупространств содержит С.
Доказательство. Если множество М само является
гиперплоскостью, то одно из порожденных Н полупространств
должно содержать С, так как в противном случае М пересекалось
бы с С в противоречие с нашим предположением. (Если С содержит
точки хну, принадлежащие противоположным открытым полупро-
странствам, то некоторая точка отрезка, соединяющего х с у,
должна лежать на М — общей границе этих полупространств.)
Можно считать, таким образом, что М не есть гиперплоскость. Мы
покажем сейчас, как можно построить аффинное множество М'
размерности большей, чем М, которое содержит М и не пересекается
с С. Последовательное применение этой конструкции позволит
нам за п или менее шагов получить гиперплоскость, обладающую
требуемыми свойствами, и, следовательно, доказать теорему.
Заменяя, если нужно, М и С множествами М — х и С — х,
где х £ М, мы можем добиться, чтобы 0 £ М, т. е. чтобы М было
подпространством. Выпуклое множество С — М в этом случае
содержит С, но не содержит 0. Поскольку М — не гиперплоскость,
подпространство М-1- содержит некоторое двумерное подпростран-
ство Р. Положим С' = Р П (С — М). Тогда С' — относительно
открытое выпуклое подмножество Р (следствие 6.5.1 и следст-
вие 6.6.2), не содержащее начала координат. Значит, нам достаточ-
но найти прямую L в Р, проходящую через 0 и не пересекающуюся
с С'; тогда М' = М + L будет подпространством размерности,
на единицу большей, чем М, не пересекающимся с С. (В самом
деле, из (Л1 + А) () С =/= 0 следует, что L П (С — М) = 0, а это
противоречит равенству L П С' = 0.) Мы можем для простоты
отождествить Р с И2. Существование искомой прямой L очевидно,
если С' пусто или нульмерно. Если aff С' есть прямая, не содер-
жащая начала, то в качестве L мы возьмем параллельную ей пря-
112
§ 11. ТЕОРЕМЫ ОТДЕЛИМОСТИ
мую, проходящую через 0. Если aff С' есть прямая, содержащая
начало, то в качестве L мы возьмем перпендикулярную ей пря-
мую, проходящую через 0. Осталось рассмотреть только случай,
когда С' двумерно и, следовательно, открыто. Множество К =
= J tyC' | X > 0 } есть наименьший выпуклый конус, содержащий
С' (следствие 2.6.3); он открыт, поскольку является объединением
открытых множеств и не содержит 0. Поэтому К есть открытый сек-
тор в 5V, соответствующий углу, не большему л. Мы можем взять
в качестве L прямую, порожденную одним из граничных лучей
этого угла.
Докажем теперь основную теорему отделимости.
Теорема 11.3. Пусть Ci и С2 — непустые выпуклые подмно-
жества Я". Для того чтобы Ci и С2 можно было собственно разде-
лить некоторой гиперплоскостью, необходимо и достаточно, чтобы
ri Ci и ri С2 не имели общих точек.
Доказательство. Рассмотрим выпуклое множество С =
— Ci — С2. По следствию 6.6.2 его относительная внутренность
равна ri Ci — ri С2, так что 0 $ ri С тогда и только тогда, когда
ri Ci и ri С2 не пересекаются. Если 0 ($ ri С, то по предыдущей
теореме найдется гиперплоскость, содержащая М = {0} и такая,
что ri С лежит в одном из порожденных ею открытых полупро-
странств. Замыкание этого полупространства содержит С, посколь-
ку С <= cl (ri С). Таким образом, если 0 $ ri С, найдется вектор Ь,
такой, что
0<inf (х, b) — inf (Xi, Ь)—sup (х2, Ь),
х$С Xi£Ci К2$С2
0<sup(x, b)= sup<Xi, b)— inf (х2, Ь).
Х£С Х&С1 «26^2
Согласно теореме 11.1, это означает, что С4 и С2 могут быть разде-
лены собственно. Последнее условие в свою очередь влечет за собой
0 $ ri С, так как из него следует, что полупространство D =
= {х | (х, Ь)^>0} содержит С, а его внутренность ri D —
= {х | (х, Ь) > 0} имеет с С общие точки. В этом случае (следст-
вие 6.5.2) ri С cri D.
Собственная отделимость допускает, чтобы одно из множеств
(но не оба) лежало в разделяющей гиперплоскости. Такой случай
действительно возможен; рассмотрим, например, множества
Ci= {(L, 52) I 5i > 0, |2> В?1},
С2= {(51, 0) |В1>0}
в R.2. Эти выпуклые множества не пересекаются, а единственная
разделяющая их гиперплоскость — ось 51 — содержит целиком С2.
Этот пример показывает, кроме того, что не всякая пара непересе-
кающихся замкнутых выпуклых множеств может быть сильно раз-
делена.
8
Р. Рокафеллар
113
гл. III. ДВОЙСТВЕННОСТЬ
Теорема 11.4. Пусть С± и С2 — непустые выпуклые множе-
ства в Л”. Для существования гиперплоскости, сильно разделяющей
Ci и С2, необходимо и достаточно, чтобы
inf {| Xi — х2 | | Xi Е Ci, х2 € С2} > О
или, другими словами, чтобы О (£ cl (Cj — С2).
Доказательство. Если и С2 можно сильно разделить,
то для некоторого е > 0 множество Ci + ъВ не пересекается
с С2 + гВ. С другой стороны, если последнее условие выполнено,
то Ci + еВ и С2 + &В в соответствии с предыдущей теоремой мож-
но разделить собственно. Поскольку еВ = е'В + е'В для г’ =
= 8/2, множества (Ct + е'В) + е'В и (С2 + е'В) + е'В принад-
лежат противоположным замкнутым полупространствам, и потому
Ci + е'В и С2 + е'В лежат в противоположных открытых полупро-
странствах. Таким образом, Ci и С2 могут быть сильно разделены
тогда и только тогда, когда для некоторого е > 0 начало коорди-
нат не принадлежит множеству
(Ct + еВ) — (С2 + еВ) = — С2 — 2еВ.
Это условие означает, что
2еВ П (Ci — С2) - 0
для некоторого е > 0 или, иначе, что 0 (£ cl (Ct — С2).
Следствие 11.4.1. Пусть Ci и С2 — непустые замкнутые
выпуклые множества в ИГ*, не пересекающиеся и не имеющие совпа-
дающих рецессивных направлений. Тогда существует гиперплоскость,
сильно разделяющая Ci и С2.
Доказательство. Поскольку Ci и С2 не пересекаются,
О (J Ci — С2. Но cl (Ci — С2) = Ci — С2 в силу следствия 9.1.2.
Следствие 11.4.2. Пусть Ci й С2 — непустые выпуклые
множества eft" и их замыкания не пересекаются. Если одно из мно-
жеств ограничено, то существует гиперплоскость, сильно отделяю-
щая Ci от С2.
Доказательство. Применим предыдущее следствие
к множествам cl С4 и cl С2, одно из которых не имеет рецессивных
направлений.
Более специальные результаты, относящиеся к отделимости вы-
пуклых полиэдров, доказываются в следствии 19.3.3, теореме 20.2,
следствии 20.3.1 и в теореме 22.6.
Множество решений системы линейных неравенств {х, bt) рг-,
i б Л выпукло, поскольку оно является пересечением замкнутых
полупространств. Мы покажем сейчас, что каждое замкнутое вы-
пуклое множество в R." может быть представлено в таком виде.
114
§ 11. ТЕОРЕМЫ ОТДЕЛИМОСТИ
Теорема 11.5. Всякое замкнутое выпуклое множество С
в совпадает с пересечением всех содержащих его замкнутых полу-
пространств.
Доказательство. Мы можем считать, что 0 Ф С Rn,
так как иначе теорема тривиальна. Для всякого а $ С множества
Ci = {а} и С2 = С удовлетворяют условиям теоремы 11.4. Поэтому
существует гиперплоскость, сильно отделяющая {а} от С. Одно
из замкнутых полупространств, порожденных этой гиперплоско-
стью, содержит С, но не содержит а. Таким образом, пересечение
всех замкнутых полупространств, содержащих С, не содержит
точек, не принадлежащих С.
Следствие 11.5.1. Пусть S — произвольное подмножество
R.”. Тогда cl (conv S) совпадает с пересечением всех замкнутых
полупространств, содержащих S.
Доказательство. Замкнутое полупространство содер-
жит cl (conv S) тогда и только тогда, когда оно содержит S.
Следствие 11.5.2. Пусть С — выпуклое подмножество R.n,
отличное от 0V*. Тогда существует замкнутое полупространство,
содержащее С. Другими словами, существует вектор b £ R”, такой,
что линейная функция {х, Ь) ограничена сверху на С.
Доказательство. Из сделанных нами предположений
следует, что cl С Ф (так как в противном случае =
= ri (cl С) с: С). В силу теоремы точка принадлежит cl С тогда
и только тогда, когда она лежит в любом замкнутом полупростран-
стве, содержащем cl С. Поэтому совокупность замкнутых полупро-
странств, содержащих cl С, не может быть пуста.
Утверждение теоремы 11.5 уточняется далее теоремой 18.8.
Геометрическое понятие касательной — одно из важнейших
в анализе. Касательные к кривым и касательные плоскости к
поверхностям определяются в классическом анализе в терми-
нах дифференциалов. В выпуклом анализе используется в не-
котором смысле обратный подход. При помощи отделимости гео-
метрически определяются обобщенные касательные. Это понятие
систематически используется в дальнейшем для построения теории
обобщенного дифференцирования.
Обобщение понятия касательной связано с «опорными» гипер-
плоскостями и полупространствами. Пусть С — выпуклое множе-
ство в Rn. Замкнутое полупространство, содержащее С, называется
опорным к С, если хотя бы одна точка множества С принадлежит
его границе. Гиперплоскость, являющаяся границей опорного
к С полупространства, называется гиперплоскостью, опорной к С.
Другими словами, опорные к С гиперплоскости — это в точно-
сти те гиперплоскости, которые можно представить в виде
115
8*
ГЛ. III. ДВОЙСТВЕННОСТЬ
Н = {х | (х, b} = р}, b Ф 0, где (х, b) 0 для всякого х £ С
и (х, Ь) = р хотя бы для одного х € С. Таким образом, опорные
гиперплоскости к С определяются ненулевыми линейными функ-
циями, достигающими на С максимума. Опорные гиперплоскости,
проходящие через данную точку а 6 С, соответствуют векторам,
нормальным к С в точке а (см. § 2). Если размерность С меньше п,
т. е. aff С =# Нп, мы всегда можем продолжить aff С до гиперпло-
скости, содержащей все С. Такие опорные гиперплоскости обычно
не представляют интереса, и мы, как правило, будем рассматривать
только нетривиальные опорные гиперплоскости, т. е. не содержа-
щие С целиком.
Теорема 11.6. Пусть С — выпуклое множество и D — непу-
стое выпуклое подмножество С (например, множество, состоящее
ыз одной точки}. Для существования нетривиальной опорной гипер-
плоскости к С, содержащей D, необходимо и достаточно, чтобы D
Пе~пересекалось с ri С.
Доказательство. Поскольку D с С — нетривиальные
опорные гиперплоскости к С, содержащие D, — это те гиперпло-
скости, которые собственно разделяют D и С. По теореме 11.3 такие
гиперплоскости существуют тогда и только тогда, когда ri D
не пересекается с ri С. Последнее условие эквивалентно соотноше-
нию D fl ri С — 0 (следствие 6.5.2).
Следствие 11.6.1. Выпуклое множество имеет ненулевую
нормаль в каждой своей граничной точке.
Следствие 11.6.2. Пусть С — выпуклое множество. Точка
х £ С тогда и только тогда является относительно граничной,
когда существует линейная функция h, не равная тождественно
на С постоянной и достигающая максимума на С в точке х.
Предыдущий результат может быть несколько усилен в случае
выпуклых конусов.
Теорема 11.7. Пусть Ci и С2— непустые подмножества
Rn и хотя бы одно из них — конус. Если существует гиперплоскость,
собственно отделяющая Ci от С2, то существует гиперплоскость,
собственно отделяющая Ci от С2 и проходящая через начало коор-
динат.
Доказательство. Пусть, например, С2 — конус. Если
Ci и С2 можно разделить собственно, то существует вектор Ь, удов-
летворяющий первым двум условиям теоремы 11.1. Пусть
Р = sup {(х, Ь) | х 6 С2}.
Тогда, как было показано при доказательстве теоремы 11.7, мно-
жество
Н = {х | (х, b) = Р)
116
§ 12. сопряженные выпуклые функции
есть гиперплоскость, отделяющая Ci от С2 собственно. Так как
С2 — конус, то
% {х, Ь} = (Хх, b} < Р < ОО, > 0, Vx е С2.
Отсюда следует, что Р^-Ои (х, Ь) 0 для всякого х 6 С2. Следо-
вательно, р = 0и0бЯ.
Следствие 11.7.1. Непустой замкнутый выпуклый конус
в R” совпадает с пересечением всех содержащих его замкнутых одно-
родных полупространств (т. е. таких полупространств, начало
координат которых является граничной точкой).
Доказательство такое же, как в теореме 11.5, но
с использованием теоремы 11.7.
Следствие 11.7.2. Пусть S — произвольное подмножество
Rn и К. — замыкание выпуклого конуса, порожденного S. Тогда К
совпадает с пересечением всех содержащих S замкнутых однородных
полупространств.
Доказательство. Однородное замкнутое полупростран-
ство — это, в частности, замкнутый выпуклый конус с вершиной
в начале координат. Такой конус содержит S тогда и только тогда,
когда он содержит К. Теперь остается только воспользоваться пре-
дыдущим следствием.
Следствие 11.7.3. Пусть К — выпуклый конус в 01”, отлич-
ный от R,n. Тогда К содержится в некотором замкнутом однородном
полупространстве. Другими словами, существует вектор Ь =0= О,
такой, что {х, Ь) 0 для всякого х Е К.
Доказательство подобно доказательству след-
ствия 11.5.2.
§ 12. Сопряженные выпуклые функции
Кривые и поверхности, подобные коническим, можно рассматри-
вать с двух различных точек зрения: как точечные множества и как
огибающие множества касательных. Эта фундаментальная двой-
ственность приобретает в теории выпуклости несколько другую
форму: замкнутое выпуклое множество в является пересечением
содержащих его замкнутых полупространств (теорема 11.5). Многие
отношения двойственности основываются именно на этом обстоя-
тельстве и среди них — двойственность выпуклых функций, поляр-
ность выпуклых конусов или других классов выпуклых множеств,
а также соответствие между выпуклыми множествами и их опор-
ными функциями. Ниже мы познакомим читателя с основами тео-
рии двойственности.
117
ГЛ. Ш. ДВОЙСТВЕННОСТЬ
Определение сопряженной функции несет в себе отражение того
факта, что надграфик собственной выпуклой функции в Rn являет-
ся пересечением замкнутых содержащих его полупространств
в R“+1. Первое, что нам предстоит сделать,— это перевести этот
геометрический результат на язык функций.
Гиперплоскость в пространстве IKn+1 можно представить при
помощи линейной функции на R+1, т. е. при помощи отображения
(х, р.) -> {х, Ь) + рРо, b^W1, Ро € IR-
Коль скоро две ненулевые линейные функции, отличающиеся лишь
постоянным множителем, задают одну и ту же гиперплоскость,
нам необходимо различать только два случая, когда р0 = 0 или
когда Ро = — 1. Гиперплоскость с р0 = 0 имеет вид
{(х, р) | (х, Ь} = р}, О Ф b 6 р 6 R-
Мы называем ее вертикальной. Гиперплоскость с р0 = —1 имеет
такой вид:
{(х, р) | (х, Ь) — р = р}, b е Hn, Р 6 Rn.
Такие гиперплоскости являются графиками аффинных функций
h (х) = (х, Ь} — Р в пространстве Йп. Таким образом, замкнутое
полупространство в (К”+1 является полупространством одного из
следующих типов:
1. {(х, р) | (х, £)<₽} = {(х, ц) \h (х) <0}, Ь=£0,
2. {(х, р) | р > (х, Ь} — Р} = epi h,
3. {(х, р) | р (х, b) — Р}.
Для заданных таким образом полупространств мы будем употреб-
лять следующие названия: вертикальное, верхнее и нижнее.
Теорема 12.1. Замкнутую выпуклую функцию f можно
задать как поточечный супремум совокупности всех аффинных
функций h, таких, что h f.
Доказательство. Мы можем сразу считать, что функ-
ция f является собственной, ибо в противном случае теорема стано-
вится тривиальной (в силу определения операции замыкания для
несобственных функций). Но если f— собственная функция, то
epi f есть замкнутое выпуклое множество, а значит, по причине,
о которой мы говорили выше, epi f есть пересечение замкнутых
содержащих его полупространств. Очевидно, что ни одно нижнее
полупространство не может содержать надграфика, а значит,
в таком пересечении участвуют лишь вертикальные и верхние полу-
пространства. Все полупространства не могут быть вертикальными,
ибо это противоречит тому, что f — собственная функция. Верхнее
замкнутое полупространство, содержащее epi f, есть как раз над-
118
§ 12. СОПРЯЖЕННЫЕ ВЫПУКЛЫЕ ФУНКЦИИ
график аффинной функции h, такой, что h f. Пересечение таких
надграфиков является поточечной верхней гранью подобных функ-
ций h. Таким образом, для доказательства теоремы нам осталось
показать, что пересечение вертикальных и верхних замкнутых
полупространств, содержащих epi /, равно пересечению только
лишь верхних замкнутых полупространств, содержащих epi f.
Допустим, что
V = {(х, Ц) | 0 > (х, bi) - = hi (х)}
есть вертикальное полупространство, содержащее epi f, и точка
(х0, Но) не принадлежит V. Нам достаточно показать, что найдется
аффинная функция h, такая, что h f и р0 < h (х0). Мы уже знаем,
что существует по меньшей мере одна аффинная функция h2, такая,
что epi h2 го epi f, т. е. h2 f. Для любого х 6 dom f мы получаем
hi (х) 0 и h2 (х) f (х) и, значит,
Wii (х) + h2 (х) < f (х), VX > 0.
То же самое неравенство выполняется также и для х $ dom f, ибо
тогда f (х) = оо. Следовательно, если мы зафиксируем некоторое
число X 0 и определим h так:
h (х) = X/ii (х) -|- h2 (х) = (х, Kbi + b2) — (X0i + 0г),
то получим, что h f. Поскольку hi (х0) > 0, то при достаточно
большом X мы получим, что h (х0) > Но, что и требовалось дока-
зать.
Следствие 12.1.1. Если f есть любая функция на Нп со зна-
чениями в [— оо, + оо], то cl (conv f) есть поточечная верхняя грань
совокупности всех аффинных функций на R", мажорируемых f.
Доказательство. Так как cl (conv f) есть наибольшая
замкнутая выпуклая функция, мажорируемая f, мы получим
утверждение теоремы из того факта, что если аффинная функция
удовлетворяет неравенству h f, то она удовлетворяет и неравен-
ству h cl (conv f).
Следствие 12.1.2. Для всякой собственной выпуклой функ-
ции f на Rn найдутся вектор b и число 0, такие, что f (х) (х, b) —
— 0 для любого х.
Отметим между прочим, что из теоремы 12.1 следует подобный
результат относительно выпуклых множеств, т. е. теорема 11.5.
Действительно, если f есть индикаторная функция выпуклого мно-
жества С и h (х) = (х, Ь) — 0, то мы получим, что тогда
и только тогда, когда h (х) 0 для каждого х £ С, т. е. тогда и
и только тогда, когда С с{х | (х, Ь) 0}.
Пусть f есть замкнутая выпуклая функция на Rn. В силу теоре-
мы 12.1 мы можем описать ее двойственным образом через множе-
119
гл. III. ДВОЙСТВЕННОСТЬ
ство F*, состоящее из всех пар (х*, р*) в пространстве tR.n+1, таких,
что аффинная функция h (х) = (х, х*) — р* мажорируется функ-
цией f. Неравенство h х) f (х) выполняется при всех х тогда
и только тогда, когда
р* >> sup {(х, х*) — f (х) | х 6 HV*}.
Таким образом, F* есть в действительности надграфик функции f*
в пространстве Нп, определенной следующим образом:
f* (х*) = sup {(х, х*) — f (х)} = — inf {/ (х) — (х, х*)}.
X X
Эта функция /* называется сопряженной к функции f. Она пред-
ставляет собой поточечную верхнюю грань аффинных функций
g (х*) = (х, х*) — р по всем парам (х, р), принадлежащим множе-
ству F = epi f. Таким образом, f* есть новая выпуклая функция
и даже более того — замкнутая функция. Коль скоро f есть пото-
чечная верхняя грань аффинных функций h (х) = (х, х*>— р*,
таких, что (х*, р*) С F* — epi /*, мы получаем:
f W = sup { U, х*) — f* (x*)} — — inf {f * (x*) — (x, x*)}.
X* X*
Но это означает, что функция f**, сопряженная к /*, совпадает с f.
Функции, тождественно равные + оо и — оо, являются, оче-
видно, сопряженными друг к другу. Но так как эти функции суть
единственные несобственные замкнутые выпуклые функции, все
остальные сопряженные пары состоят из собственных функций.
Сопряженная функция f* для произвольной функции f из R,n
в [— оо, + оо] может быть определена с помощью той же формулы,
что и выше. В силу того обстоятельства, что f* может бйть опреде-
лена через аффинные функции, мажорируемые функцией f, мы полу-
чаем, что f* будет также сопряженной к функции cl (conv f) (см.
следствие 12.1.1).
Подведем итог полученным результатам.
Теорема 12.2. Пусть] — выпуклая функция. Тогда сопря-
женная функция f* есть выпуклая замкнутая функция, которая
является собственной тогда и только тогда, когда собственной
является функция f. Более того,
(cl /)* = f*, f** = cl f.
Следствие 12.2.1. Операция сопряжения f -> f* индуци-
рует взаимно однозначное и симметричное соответствие в множе-
стве всех замкнутых выпуклых собственных функций на Din.
Следствие 12.2.2. Для любой выпуклой функции f на 0V*
имеет место равенство
f* (х*) = sup {(х, х*).— f (х) | х 6 ri (dom f)}.
120
§ 12. СОПРЯЖЕННЫЕ ВЫПУКЛЫЕ ФУНКЦИИ
Доказательство. Рассмотрим функцию g* (х*), где
функция g совпадает с f на ri (dom f), а в остальных точках равна
4- оо. Тогда в силу следствия 7.3.4 мы получаем cl g — cl f и, зна-
чит, по нашей теореме g* = /*.
Операция сопряжения меняет знаки неравенств на противо-
положные: из fi следует, что f* fl.
Теория сопряженных функций — это в некотором смысле тео-
рия «наилучших» неравенств такого типа:
U z/X f (х) + g (у), Ух, У у, .
где f и g — функции из R" в (— оо, 4- оо]. Пусть W означает мно-
жество всех пар функций (/, g), для которых выполнено такое
неравенство. «Наилучшей» парой (/, g) в W можно назвать такую
пару, для которой неравенство нельзя усилить, т. е. если (f', g') 6
€ W, Г < f и g' < g, то f' — f и g = g. Ясно, что (f, g) g W тогда
и только тогда, когда
g (У) > sup {<х, у) — f (х)} = /* (у) У у,
X
и, аналогично,
f (х) > sup {(х, у} — g(y)} = g* (х), Vx.
у
Мы получаем, что «наилучшие» пары в W — это в точности такие
пары, что g = f* и f — g*. Таким образом, «наилучшие» неравен-
ства соответствуют парам взаимно сопряженных собственных вы-
пуклых и замкнутых функций.
Полезно помнить, в частности, что имеет место такое неравен-
ство:
(х, х*> f (х) 4- /* (х*), -Vx, Vx*,
которое справедливо для любой собственной выпуклой функции
и сопряженной к ней функции f*. Это неравенство мы будем назы-
вать неравенством Фенхеля. Те пары (х, х*), для которых удовлет-
воряется неравенство Фенхеля, можно рассматривать как график
некоторого многозначного отображения, которое обозначается через
df и называется субдифференциалом f,— см. теорему 23.5. Многие
свойства этого отображения мы будем изучать в § 23—25.
Операция сопряжения f -> f* тесно связана с классическим пре-
образованием Лежандра. Этот вопрос мы обсудим в § 26.
Приведем примеры двойственных функций.
Для начала рассмотрим собственную замкнутую выпуклую
Функцию f (х) = ех, х € R. По определению
f* (х*) == sup {хх* — е*}, Vx* 6
X
Если х* < 0, то, очевидно, хх* — ех может стать сколь угодно
большим, если взять достаточно большое по абсолютной величине
отрицательное х, так что верхняя грань равна + оо. Если же х* >
121
ГЛ. III. ДВОЙСТВЕННОСТЬ
> 0, то элементарный подсчет показывает, что верхняя грань дости-
гается и равна х* log х* — х*. Очевидно также, что верхняя грань
равна нулю, если х* = 0. Таким образом, для экспоненты мы полу-
чаем такую сопряженную функцию:
{x*logx*—х*, если х*>0,
0, если х* = 0,
+ оо, если х* <0.
Отметим, что значение функции /* при х* = 0 можно определить
как предел х* log х* —х*, когда х* 0 (следствие 7.5.1). Функция,
сопряженная к /*, определяется так:
sup {хх* — /* (х*)} = sup {хх* — х* log х* + х* | х* > 0},
к*
и при помощи простых вычислений мы снова приходим к ех. Впро-
чем, эти вычисления излишни: мы уже знаем из следствия 12.2.1,
что /** = f.
Из этого простого примера видно, что если функция всюду
определена, то отсюда еще не следует, что и сопряженная функ-
ция является всюду определенной. Свойства эффективного множе-
ства сопряженных функций в зависимости от свойств самой выпук-
лой функции f будут изучены нами в § 13.
Приведем некоторые другие сопряженные пары замкнутых соб-
ственных выпуклых функций на прямой Я (всюду (1/р) + (1/<?) =
= 1).
1. f (х) = (1/р) IX |р, 1<р< + оо,
f*(x*) = (l/?)|x*|9, 1<<7< + оо.
— (1/р)хр, если х>0, 0<р<1,
+ оо, если х<0,
' <* > =1 + оо, f (/72 f*(x*) — а(1 +Х*2)1/2. ( — 1/2 — logx, ={+<», если х* < 0, — оо < q < 0 если х* 0. если |х|<;а, а>0, если | х | > а, если х > 0, если х<0,
( — 1/2— log(—х*), если х*<0,
f*(x*\ ’
' ' ' (4-оо, если х*>0.
В последнем примере f* (х*) = f* (—х*). Такому равенству
удовлетворяет много выпуклых функций. Равенство f* = f является
122
$ 12. сопряженные выпуклые функции
гораздо более ограничительным — имеется ровно одна функция
на Rn, а именно функция
w (х) = 1/2 {х, х),
которая ему удовлетворяет. Действительно, то, что w* = w, легко
проверить непосредственно. С другой стороны, если f — любая
выпуклая функция, для которой /* = f, то f является собственной
функцией и в силу неравенства Фенхеля
{х, х) < / (х) + f* (х) = 2f (х).
Таким образом, f^-w, а значит, f* ш*. Поскольку f* = f и
да* = да, то f = W.
В качестве примера совершенно другого характера рассмотрим
тот случай, когда f есть индикаторная функция подпространства
L в К”. Тогда
/* (х*) = sup {(х, х*) — 6 (х | Z,)} = sup {(х, х*) | х G А}.
X
Но последняя верхняя грань равна 0, если <х, х*) = 0 для каждого
х 6 L, и со во всех остальных случаях. Таким образом, /* есть инди-
каторная функция ортогонального дополнения пространства L,
т. е. пространства IA. Соотношение f** = f означает здесь, что
/А-1- = L. В этом смысле ортогональность для подпространств мож-
но рассматривать как частный случай двойственности для выпуклых
функций. Мы вернемся еще к этому вопросу в начале § 14.
Обобщим соотношения ортогональности для подпространств,
взяв в качестве исходного множества элементов не подпространство,
а непустое аффинное подмножество, на котором задана некоторая
аффинная функция (быть может, тождественно равная нулю). Такие
элементы, конечно, находятся во взаимно однозначном соответствии
с частными аффинными функциями, т. е. с собственными выпуклы-
ми функциями f, у которых dom f является аффинным множеством,
на котором функция f является аффинной. Оказывается, что сопря-
женной к частной аффинной функции будет снова частная аффин-
ная функция. Но вследствие того, что частная аффинная функция
обязательно является замкнутой (следствие 7.4.2), она является
сопряженной к своей сопряженной. Таким образом, совокупность
всех частных аффинных функций так же, как и совокупность всех
подпространств, разбивается на двойственные пары. Легко дать
явную формулу для такого соответствия. Любую частную аффин-
ную функцию можно (не единственным образом) представить в виде
f (х) = б (х | L + а) + (х, а*) + а,
где L есть подпространство, а и а* — векторы и а — действитель-
ное число. Тогда сопряженной частной аффинной функцией будет
[* (х*) = 6 (х* | ZA + а*) + (х*, а) + а*,
123
ГЛ. III. ДВОЙСТВЕННОСТЬ
где а* = — а — {а, а*). Этот результат сразу следует из доказы-
ваемой ниже теоремы, если положить h = 6 (• | L), А — I.
Теорема 12.3. Пусть h — выпуклая функция на И", и пусть
f (х) — h (Л (х — а)) + {х, а*) + а,
где А есть взаимно однозначное линейное преобразование из R”
в КА Пусть а и а* — суть векторы из 0V* и а 6 R.. Тогда
f* (х*) = h* (Л*-1 (х* — а*)) + (х*, а) + а*,
где Л* есть оператор, сопряженный кА, и а* = — а 4- (а, а*).
Доказательство. Соотношение у = Л (х — а) дает нам
возможность вычислить функцию f* следующим образом:
/* (х*) = sup {(х, х*> — h (Л (х — а)) — (х, а*} — а} =
= sup {{A~iy + а, х*) -— h(y) — (А~гу + а, а*) — а}=
у
= sup {(Л~гу, х* — а*'/ — h(y)} + {а, х* — а*} — а =
у
= sup {{у, Л*-1 (х* — а*)) —h (y)} + (х*, а} 4- а*.
у
Верхняя грань в последнем выражении есть по определению
ft* (Л*-1 (х* — а*)).
Двойственность для частных аффинных функций может быть
очевидным образом выражена при помощи таккеровского представ-
ления аффинных множеств. Пусть f есть n-мерная частная аффинная
функция в RA, 0 < п <. N. Каждое таккеровское представление
dom f, описанное нами в § 1, позволяет выразить функцию f сле-
дующим образом:
{#01114“ • • • + — «0,0,
если ^р==#»1?г4- • • • 4-#»п?„—aw, i = m,
-j- оо в остальных случаях.
Здесь есть /-я компонента х, т = N — п и 1...N есть неко-
торая перенумерация множества 1, . . ., N. (Коэффициенты ai}
определяются однозначно, если только эта перенумерация фикси-
рована.) Если у нас есть такое выражение для функции f, то мы
сразу же можем получить соответствующее выражение для f*,
а именно:
Г ₽01|-~р4~ • • • 4-PomS^p^ — Ров,
f*(x*)=< если ^ = Ри^й4-...4-Рм^-Р/о, /=1,
I + оо в остальных случаях,
где рг; = — для i = 1, . . ., т и / = 1, . . ., п. Это доказы-
вается прямым вычислением f* по f.
124
§ 12. СОПРЯЖЕННЫЕ ВЫПУКЛЫЕ ФУНКЦИИ
Функции, сопряженные к квадратичным выпуклым функциям,
могут быть вычислены из формулы теоремы 12.3 (с А = /), как
только мы вычислим функцию, сопряженную к функции
h (х) = (1/2) (х, Qx),
где Q — симметричная неотрицательно определенная матрица раз-
мера п X п. Если Q не вырождена, то непосредственные вычисления
показывают, что верхняя грань (х, х*) — h (х) по х достигается
в точке х = Q-1x*, так что
/г* (х*) = (1/2) (х*. Q-Ix*>.
Если же Q вырождена, то матрица Q-1 не определена, но существует
симметричная неотрицательно определенная матрица Q' (которую
легко определить по Q), такая, что
QQ' = Q'Q = Р,
где Р есть матрица ортогонального проектирования Я” на ортого-
нальное дополнение L подпространства {х | Qx = 0}. Для этого
Q' мы получим, что
* f (1/2) (х*, Q'x*), если x*GL,
л (х )— I если x*$L.
Проверка этого факта является простым упражнением из линейной
алгебры.
Назовем собственную выпуклую функцию f частной квадра-
тичной выпуклой функцией, если f может быть представлена в виде
f (х) = q (х) + S (х | М),
где q — конечная квадратичная выпуклая функция на Rn и М —
аффинное множество в Rn. Например,-выражение
h (z) = (1/2) (XtS? + . . . + Хп&), 0 С X,- < оо
определяет частную квадратичную выпуклую функцию с эффектив-
ным множеством
dom h = {z = (&, . . ., Cn) I С/ = 0 для всех /, таких, что X,- — оо }.
Такого рода функции h естественно называть элементарными част-
ными квадратичными выпуклыми функциями. Сопряженной функ-
цией к функции h будет функция такого же вида. В самом деле,
непосредственным подсчетом получаем, что
/I* (z*) = 1/2 (Х^Г + . . . + Х*£*2), 0 X* < оо,
где X* — 1/Х; (при этом 1/оо мы считаем равным 0, а 1/0 равным
+ оо). Вообще можно показать, что функция f является частной
квадратичной функцией на Ип тогда и только тогда, когда f можно
125
ГЛ. III. ДВОЙСТВЕННОСТЬ
представить в виде
f (х) = h (Л (х — а)) + (х, а*) + а,
где h — элементарная частная квадратичная выпуклая функция
на Rn и А — взаимно однозначный оператор, переводящий R*
в себя, а и а* суть векторы из Нп, а а — вещественное число. Если
задать f таким образом, то и для сопряженной функции получится
такое же выражение в силу теоремы 12.3. Итак, сопряженной к част-
ной квадратичной выпуклой функции снова будетчаетная квадратич-
ная выпуклая функция.
Пусть f — замкнутая выпуклая собственная функция, так что
/** = f. По определению
inf f (х) = — sup {(х, 0) — f (х)} = — /* (0),
X X
и в силу двойственного соотношения
inf f* (х*) = — /** (0) = — f (0).
эс*
Таким образом, соотношение
inf/(x)=0=/(0)
X
имеет место тогда и только тогда, когда
inf /* (х*) = 0 = /* (0).
X*
Другими словами, операция сопряжения переводит в себя класс
неотрицательных замкнутых выпуклых функций, равных нулю
в начале координат.
Замкнутая выпуклая функция f называется симметричной,
если
f (-Х) = f (х), Vx.
Она является симметричной тогда и только тогда, когда симметрич-
ной будет сопряженная к ней функция. В этом легко убедиться
непосредственно, а также можно получить это из теоремы 12.3.
Мы сейчас докажем более общий результат. Назовем функцию f
симметричной относительно некоторого множества G ортогональ-
ных линейных преобразований SV* в себя, если
f (Лх) = / (х), Vx, VЛ € G.
Обычная симметрия соответствует случаю, когда G состоит из един-
ственного преобразования Л: х -ч--х.
Следствие 12.3.1. Замкнутая выпуклая функция f является
симметричной относительно данного множества G линейных орто-
гональных преобразований тогда и только тогда, когда f* является
симметричной относительно этого же множества G.
126
§ 12. СОПРЯЖЕННЫЕ ВЫПУКЛЫЕ ФУНКЦИИ
Доказательство. Рассмотрим теорему 12.3, когда h = /,
а = 0 — а*, а = 0. Мы видим, что fA = f влечет за собой =
= f*. Но если А — ортогональная матрица, то А*-1 = А по опре-
делению. Таким образом, если [А — А для всех А 6 G, то f*A — f*
для всех А 6 G. Если f замкнута, имеет место обратное включение,
поскольку /**=/.
Функции на R”, являющиеся симметричными относительно'
всех ортогональных преобразований Rn, конечно, имеют вид
f(x)=g(\x I),
где |’| — евклидова норма, a g — функция, определенная на сег-
менте [0, + оо). Такие функции f являются замкнутыми собствен-
ными выпуклыми функциями тогда и только тогда, когда g есть
неубывающая полунепрерывная снизу выпуклая функция, такая,
что g (0) конечно (см. теоремы 5.1 и 7.1). Но тогда сопряженная
функция имеет такой же вид:
/* (х*) = Г (| х* |),
где g+ — неубывающая полунепрерывная снизу выпуклая функция
на [0, оо), принимающая в нуле конечное значение. В самом деле,
мы имеем:
f* (х*) = sup {(х, х*) — f (х)} =
X
= sup sup {(х, х*) — g(£)} =
£>0 | sc I =£
= sup {£ |x* I — g(£)},
так что функция g+ может быть задана формулой
g+(£*) = sup {££* - | £>0}.
Мы будем называть g+ монотонно сопряженной к g. Поскольку
/* * = f, то g'++ = g, т. е.
g (С) = sup {СС* -g+(£*) I С* >0}.
Монотонная сопряженность определяет, таким образом, сим-
метричное взаимно однозначное соответствие в классе всех неубы-
вающих полунепрерывных снизу выпуклых функций на [0, оо) и при-
нимающих в нуле конечное значение'.
Монотонная сопряженность может быть обобщена на случай п
переменных. Рассмотрим класс функций f на (Кп, которые являются
симметричными по каждой координате, т. е. являются симметрич-
ными относительно множества G = {Д1 ... Ап}, где Aj — линей-
ное (ортогональное) преобразование, состоящее в замене /-й компо-
ненты вектора х на противоположную. Ясно, что f принадлежит
этому классу тогда и только тогда, когда
f (х) = g (abs х),
127
ГЛ. III. ДВОЙСТВЕННОСТЬ
где g — функция, определенная на неотрицательном ортанте в Л* и
abs х = abs (&..............gn) = (| h |, . . ., | £n |).
Для того чтобы функция f была замкнутой собственной выпуклой
функцией, необходимо и достаточно, чтобы функция g была полу-
непрерывной снизу, выпуклой, конечной в начале координат
и монотонной (в том смысле, что g (х) g (х'), если 0 х х',
т. е. если 0 при / = 1, . . ., п). В этом случае в силу
следствия 12.3.1
/* (х*) = g* (abs х*),
где g+ есть функция такого же типа, что и функция g. Легко пока-
зать, что
g* (z*) — sup {(z, z*} — g (z) | z :> 0}, Vz* 0.
Функция g* называется монотонно сопряженной к g. Таким образом,
имеет место
Теорема 12.4. Пусть g — монотонная полунепрерывная
снизу выпуклая функция на неотрицательном ортанте в DV1, при-
нимающая в начале координат конечное значение. Тогда функцией,
монотонно сопряженной к g, является функция g+, обладающая
перечисленными выше свойствами, причем g++ — g.
Подобным же образом можно показать, что формулы
g~ (z*) = inf {<z, z*} — g (z) | z > 0},
g (z) = inf {(z, z*) — g~ (z*) | z* > 0}
задают взаимно однозначное симметричное соответствие на классе
всех невозрастающих, полунепрерывных сверху вогнутых функций
на ортанте Rn со значениями в [— оо, °о), не равных тождест-
венно — оо. Такое соответствие называется монотонным сопряже-
нием для вогнутых‘функций.
Дальнейшее развитие сказанное получит в § 16 и 30.
§ 13. Опорные функции
Весьма часто экстремальная задача состоит в отыскании макси-
мума линейной функции (-, х* > на выпуклом множестве С cz HV*.
Довольно успешный подход к такой задаче состоит в изучении
поведения решения при изменяющемся х*. Это и приводит нас
к рассмотрению функций, выражающих зависимость этой верхней
грани от х*, иначе говоря, к изучению опорных функций
6* (• | С) от С:
6* (х* | С) = sup {(х, х* > | х е С}.
Обозначение 6* для опорной функции станет ясным из дальней-
шего.
128
§ 13. ОПОРНЫЕ ФУНКЦИИ
Минимизация линейной функции на С так же, как и ее макси-
мизация, может изучаться в терминах функции б* (• | С), ибо
inf {<х, х*) | х Е С} = — б* (—х* | С).
Опорная функция описывает все замкнутые полупространства,
которые содержат С. Действительно,
С cz {х | (х, х* } р}
тогда и только тогда, когда
Р > б* (х* | С).
Эффективное множество функции б* ( | С) есть барьерный конус
множества С. Ясно, что для любого выпуклого множества С
б* (х* | С) = б* (х* | cl С) = б* (х* | ri С), Vx*.
Теоремы отделимости приводят нас к следующему результату.
Теорема 13.1. Пусть С есть выпуклое множество. Вектор
х 6 cl С тогда и только тогда, когда
(х, х*) 6* (х* | С)
для любого вектора х*. С другой стороны, х С ri С тогда и только
тогда, когда имеет место то же соотношение, но со строгим нера-
венством для каждого х*, такого, что —б* (—х* | С) = б* (х* | С).
Далее, х g int С тогда и только тогда, когда
(х, х*) < (б* (х* | С)
для любого х* =# 0. Наконец, в предположении, что С =/= 0, х С
€ aff С тогда и только тогда, когда
(х, х*) ~ б* (х* | С)
для любого х*, такого, что — б* (—х* | С) = б* (х* | С).
Доказательств о. Характеризации cl С и ri С немедлен-
но вытекают из следствий 11.5.1 и 11.6.2 соответственно. Случай,
когда ri С совпадает на самом деле с int С, имеет место лишь
тогда, когда С не содержится ни в какой гиперплоскости, т. е. когда
—б* (—х* | С) =f= б* (х* | С) для любого х* 0. Это приводит
к характеризации int С. Характеризация aff С выражает тот факт,
что наименьшее аффинное множество, содержащее множество С,
представляет собой пересечение всех гиперплоскостей, содержа-
щих С (см. следствие 1.4.1).
Следствие 13.1.1. Для выпуклых множеств Ci и С2 из IK”
соотношение cl Ci cz cl С2 выполнено тогда и только тогда, когда
s* (• |Ci)<6* (• |С2).
9 Р. Рокафеллар 129
ГЛ. III. ДВОЙСТВЕННОСТЬ
Отсюда следует, что замкнутое выпуклое множество С может
быть задано как множество решений системы неравенств, порожден-
ных опорной функцией:
С = {х | (х, х*>< 6* (х* | С), Vx*}.
Таким образом, множество С полностью определяется своей
опорной функцией. Этот факт представляет большой интерес,
поскольку он показывает, что существует важное взаимно однознач-
ное соответствие между замкнутыми выпуклыми множествами из
Rn и объектами совсем иной природы — некоторыми функциями
на R.n.
Это соответствие имеет много замечательных свойств. Например,
опорная функция суммы двух непустых выпуклых множеств Ci
и С2 задается такой формулой:
6* (х* | Ci + С2) = sup {(xi + х2, х*) | хх С Ci> Хг € С2} =
= sup {<Xi, х> | Xi С GJ +
+ sup {<x2, x* > | x2 6 C2} =
= 6* (x* | Ci) + S* (x* | C2).
Мы видим, что сложение множеств переходит в сложение функций.
Дальнейшие свойства такого рода мы получим в § 16.
Спрашивается, что же за класс функций получается в результа-
те такой операции? Если задана некоторая функция на простран-
стве R", то как узнать, является ли она опорной функцией какого-
нибудь множества или нет? Сейчас мы ответим на эти вопросы.
То соответствие, о котором мы ведем речь, можно рассматривать
как частный случай двойственного соответствия. Необходимо лишь
вспомнить, что имеется взаимно однозначное соответствие между
выпуклыми множествами и их индикаторными функциями 6 (• | С).
По определению функцией, сопряженной к S (• | С), является
функция
sup {(х, х*) — 6 (х | С)} = sup (х, х*) =а 6* (х* | С).
«ес
Функция, сопряженная к 6* (х* | С), удовлетворяет тогда таким
соотношениям:
(§* (. | Q)* = cl 6 (• | С) = 6 (• | cl СУ,
см. теорему 12.2.
Теорема 13.2. Индикаторная функция и опорная функция
выпуклого замкнутого множества являются функциями, сопряжен-
ными друг к другу. Совокупность функций, являющихся опорными
функциями непустых выпуклых множеств, совпадает с множеством
всех замкнутых собственных выпуклых положительно однородных
функций.
130
§ 13. ОПОРНЫЕ ФУНКЦИИ
Доказательство. Практически все утверждения тео-
ремы являются совершенно очевидными в силу теоремы 12.2 и сде-
ланных выше замечаний. Нам необходимо лишь показать, что зам-
кнутая собственная выпуклая функция f не принимает никаких
других значений, кроме 0 и 4- оо, тогда и только тогда, когда она
является функцией, сопряженной к положительно однородной
выпуклой функции. Первое свойство f эквивалентно тому, что
f (х) = Xf (х) для любого х и X > 0. Второе свойство эквивалентно
тому, что
(%*) = Xf* = (х*), Vx* и Х>0.
Но
(X/)* (х*) = sup {(х, х*) — X/ (х)} =
= sup {X ((х, Х-1х* > — f (х))} = Xf* (Х-1х*).
X
Таким образом, если f — замкнутая выпуклая функция, то f = Xf
для любого X тогда и только тогда, когда f* = f*k для любого
Х>0.
В частности, из теоремы 13.2 следует, что б* (х* | С) есть функ-
ция, полунепрерывная снизу по х* и
б* (х? 4- х* | С)< б* (х? | С) + б* (х* | С), Vx?, Vx*.
Следствие 13.2.1. Пусть f — любая положительно одно-
родная выпуклая функция, не равная тождественно 4- оо. Тогда
cl f есть опорная функция некоторого выпуклого множества, а имен-
но множества
С = {х* | Vx, (х, x*)<f(x)}.
Доказательство. Функция cl f или является выпуклой
собственной замкнутой положительно однородной функцией, или
является функцией, тождественно равной — оо (опорной функцией
пустого множества). Значит, clf = 6*(- | С) для некоторого
замкнутого выпуклого множества С. По определению отсюда сле-
дует, что f* = (cl /)* = б (• | С) и С = {х* | f* (х*)’< 0}. Но
f* (х*) 0 тогда и только тогда, когда для всех х
(х, х*) — f (х) < 0.
Следствие 13.2.2. Опорные функции непустых ограничен-
ных выпуклых множеств являются конечными положительно однород-
ными выпуклыми функциями.
Доказательство. Конечная выпуклая функция обяза-
тельно является замкнутой (следствие 7.4.2). В силу теоремы нам
надлежит показать, что выпуклое множество С ограничено тогда
и только тогда, когда б* (х* | С) < + оо для любого х*. Действи-
тельно, множество С с HV* ограничено тогда и только тогда, когда
его можно заключить внутри некоторого куба, а это верно в том
131
9*
ГЛ. III. ДВОЙСТВЕННОСТЬ
и только том случае, когда каждая линейная функция является
ограниченной на С.
Евклидова норма, к примеру, является опорной функцией
некоторого множества, поскольку она является конечной положи-
тельно однородной выпуклой функцией. Что же это за множество?
Из неравенства Коши — Буняковского
IU, у) | С I х | • \у |
следует, что (х, у) | х |, если | у | 1. Разумеется, <х, у) ~
= | х |, если х = 0 или если у — | х |-1 х. Таким образом,
I х | = sup {{х, у} 11 у К 1} = 6* (х | В),
где В — единичный1 евклидовый шар. Более общо, опорная функ-
ция шара а + кВ, А, 0, есть
f (х) = {х, а) + к | х |.
Приведем еще несколько примеров опорных функций следую-
щих множеств:
Ci = {х = gn) | 0, -F . . . -f- In = 1},
С2 = {х = .....Ы II Bi I + • • • + I In I < 1},
С8= {x = (U Ы ||i<0, |2<|7Ч
С4 = {х = (U |2) | 2gt 4- £ С 0}.
Легко подсчитать, что
б*(х*| С1) = тах{^| /=1,...,п},
6*(х*|С2) = тах{|^| /=1, п},
ЬЧхЧС'Л -2®'©1'2. если ®>0,
' 1 3' ( 4-оо в остальных случаях
6*(х*|С4) = < О,
’ 1Г/2£,
.00
если > О,
если |? = |£ = 0,
в остальных случаях.
Опорная функция выпуклого множества является в силу теоре-
мы 13.2 положительно однородной выпуклой функцией. Однако
такова же и калибровочная функция выпуклого множества. Зави-
симость между опорными и калибровочными функциями будет
предметом нашего изучения в § 14.
Выпуклой функции f можно сопоставить несколько разных
выпуклых множеств: эффективное множество, надграфик, множе-
ства уровня. Сейчас мы покажем, как выразить опорные функции
этих множеств через функцию f*, сопряженную к функции f.
132
§ 13. ОПОРНЫЕ ФУНКЦИИ
Теорема 13.3. Пусть f — собственная выпуклая функция.
Опорная функция множества dom f есть рецессивная функция f*0+
функции f*. Если f — замкнутая функция, то опорной функцией
для dom f* является рецессивная функция f0+ функции f.
Доказательство. По ^определению f * есть поточечная
верхняя грань аффинных функций h (х*) — (х, х*) — р, (х, р) 6
g epi f. Таким образом, epi f* — (непустое) пересечение соответ-
ствующих замкнутых полупространств epi h. Рецессивный конус
0+ (epi /*), следовательно, является пересечением множеств
0+ (epi ft) (следствие 8.3.3). Это означает, что f*Q+ есть поточечная
верхняя грань функций ftO+. Очевидно, что (Л0+) (х*) = (х, х*),
где ft (х*) = (х, х*) — р. Таким образом, f*0+ есть поточечная
верхняя грань линейных функций (х, •), таких, что (х, р) £ epi f
для некоторого р, т. е.
(f*0+) (х*) = sup {(х, х* > | х g dom f} = б* (х* | dom f).
Второе утверждение теоремы следует из соображений двойственно-
сти, ибо если f — замкнутая функция, то /** = /•
Выпуклая функция f называется кофинитной, если f является
собственной замкнутой функцией и epi f не содержит невертикаль-
ных лучей, т. е. если
(/О*) (у) = + оо, Vi/#=0.
Это последнее условие выполняется, в частности, тогда, когда
dom f является ограниченным множеством.
Следствие 13.3.1. Пусть f — замкнутая выпуклая функция
на Нп. Функция f* является всюду конечной, т. е. dom f — Hn,
тогда и только тогда, когда функция f является кофинитной.
Доказательство. Условие dom f* = Rn выполняется
тогда и только тогда, когда dom f* не содержится ни в каком зам-
кнутом полупространстве пространства п" (следствие 11.5.2).
Но это равносильно такому условию: б* (х | dom f) <" + оо лишь
для х = 0.
Следствие 13.3.2. Пусть f есть собственная выпуклая
замкнутая функция. Множество dom f* является аффинным тогда
и только тогда, когда (f0+) (у) = со для любого у, который не при-
надлежит линейному подмножеству функции f.
Доказательство. В качестве легкого упражнения из тео-
рии отделимости читатель может убедиться в том, что выпуклое
множество С является аффинным тогда и только тогда, когда любая
линейная функция, ограниченная сверху на С, есть константа. Это
условие означает, что —6* (—у | С) = б* (у | С), если только
б* (у | С) < + оо. Для С = dom f* мы имеем б* (у | С) = (/0+) (у),
133
гл. III. ДВОЙСТВЕННОСТЬ
а вектор у такой, что —(/0+) (—у) = (/0+) (у) по определению при-
надлежит линейному подмножеству функции f.
Следствие 13.3.3. Пусть f — собственная выпуклая функ-
ция. Множество dom f* является ограниченным тогда и только
тогда, когда f — всюду конечная функция и существует такое поло-
жительное число а 0, что
I f (z) — f (х) | < а | z — x I, Vz, Vx.
При этом наименьшее из чисел а, для которых имеет место усло-
вие Липшица, задается соотношением
а = sup {| х* | | х* С dom f*}.
Доказательство. Мы можем допустить, что f — зам-
кнутая функция, поскольку f и'с1 f имеют одну и ту же сопряжен-
ную функцию, а условие Липшица имеет место для функции f тогда
и только тогда, когда оно имеет место для функции cl f. Первое
утверждение нашей теоремы следует из теоремы 10.5, поскольку
dom f* является ограниченным множеством тогда и только тогда,
когда его’опорная функция, равная по теореме 13.3 /0+, является
всюду конечной. Далее, условие Липшица для f эквивалентно
выполнению неравенства
f (х + z/)< f (х) + а | у |, Vx, Vz/,
которое в свою очередь в силу следствия 8.5.1 равносильно соот-
ношению
(/0+) (У) < а I У I, Vz/.
Но g (у) = а | у 1 есть опорная функция множества аВ, где В —
единичный евклидов шар. Следовательно, неравенство f0+ g
означает, что cl (dom /♦) с аВ (следствие 13.1.1). Это показы-
вает, что условие Липшица имеет место для заданного а тогда
и только тогда, когда | х* | а для любого х* С dom f*.
Следствие 13.3.4. Пусть f — замкнутая выпуклая
собственная функция. Пусть х* — фиксированный вектор и g (x) =
= f (х) — (х, х*). В этом случае
(а) х* £ cl (dom /*) тогда и только тогда, когда (g0+) (z/) >• 0
для любого у',
(Ь) х* Cji (dom f*) тогда и только тогда, когда (g0+) (z/) > 0
для всех векторов у, за исключением тех векторов, которые удовлет-
воряют соотношению (g0+) (—у) = (g0+) (у) — 0;
(с) х* С int (dom f*) тогда и только тогда, когда (g0+) (z/) > >
для любого у Ф 0;
(d) х* £ aff (dom f*) тогда и только тогда, когда (g0+) (z/) > 0
для любого вектора у, такого, что —(g0+) (—у) = (g0+) (z/).
134
§ 13. ОПОРНЫЕ ФУНКЦИИ
Доказательство. Пусть С = (dom f*) — х*. Ясно, что
х* 6 cl (dom /*) в том и только том случае, когда О С cl С и т. д.
Поскольку g* (у*) = f* (у* + х*) (теорема 12.3), мы получаем,
что dom g* = С. Опорной функцией множества С, следовательно,
является по теореме 13.3 функция g0+, и условия (а) — (d) немед-
ленно следуют из соответствующих результатов теоремы 13.1 для
опорных функций.
Теорема 13.4. Пусть f — собственная выпуклая функция
на 0V*. Линейным подмножеством функции f* является тогда орто-
гональное дополнение подпространства, параллельного aff (dom /).
Обратно, если функция f замкнута, то подпространство, парал-
лельное aff (dom /*), является ортогональным дополнением линей-
ного подмножества f, так что имеют место такие соотношения'.
(линейная размерность /*) = п — (размерность f),
(размерность /*) — п — (линейная размерность f).
Доказательство. Линейное подмножество L функции
f* состоит из тех векторов х*, для которых —(f*0+) (—х*) =
= (f*0+) (х*). По теореме 13.3 (f*0+) (х*) и —(f*0+) (—х*) суть
соответственно нижняя и верхняя грани линейной функции (•, х*)
на dom f. Таким образом, х* С L тогда и только тогда, когда (•, х*)
есть константа на dom f или, что равносильно,— константа
на aff (dom f) (поскольку гиперплоскость, содержащая aff dom f,
и гиперплоскость, содержащая dom f, совпадают). Линейная функ-
ция х*} является константой на непустом аффинном множестве
М тогда и только тогда, когда
О = (хь X* > — (х2, X* ) = (Х1 — Х2, X* ),
Vxt € Mt Vx2 6 М.
Это условие означает, что х* 6 (М — М)-1-. Таким образом, L =
= (М — М)-1-, где М = aff (dom f). Но М — М есть подпро-
странство, параллельное М (теорема 1.2). Это доказывает первое
утверждение теоремы. Поскольку размерность ортогонального
дополнения в Пп есть разность между п и размерностью подпро-
странства и поскольку параллельные аффинные множества имеют
одну и ту же размерность, мы получаем, что “
dim М + dim L = п.
Но по определению dim М есть размерность f, a dim L есть ли-
нейная размерность f*. Второе утверждение теоремы и вторая
формула относительно размерностей следуют из того, что f** = f
если f — замкнутая функция.
Следствие 13.4.1. Замкнутые выпуклые собственные функ-
ции, сопряженные друг к другу, имеют один и тот же ранг.
135
ГЛ. III. ДВОЙСТВЕННОСТЬ
Доказательство немедленно следует из формул послед,
ней теоремы и определения ранга.
Следствие 13.4.2. Пусть f — замкнутая собственная вы-
пуклая функция. Множество dom f* имеет непустую внутренность
тогда и только тогда, когда не существует такой прямой, вдоль
которой функция f была бы (конечной и) аффинной.
Доказательство. Размерность /* равна п тогда и толь-
ко тогда, когда линейная размерность / равна нулю.
Если задана выпуклая функция h, то множество уровня вида
С = {х \ h (х)< р + (х, Ь*}}
можно представить в виде {х | f (х) ^0}, где
f (х) = h (х) — (х, Ь*) — р
При этом функцией, сопряженной к f, является
f* (х*) = ft* (х* + &*) 4- р
Следующая теорема позволяет вычислять опорную функцию мно
жества С.
Теорема 13.5. Пусть f — замкнутая собственная выпук-
лая функция. Опорной функцией множества {х | f (х) 0} является
cl g, где g — положительно однородная функция, порожденная
функцией f*. Обратно, замыкание положительно однородной вы-
пуклой функции k, порожденной функцией f, есть опорная функция
множества {х* | f* (х*) 0}.
Доказательство. Лишь второе утверждение на самом
деле нуждается в доказательстве в силу полной двойственности
между f и f*. Согласно следствию 13.2.1, cl k есть опорная функция
множества D, где D состоит из всех векторов х*, таких, что
<•, х*)^й. Линейные функции, мажорируемые k, соответствуют
верхним замкнутым полупространствам в Rn+1, которые в то же
время содержат epi k. Но по определению k замкнутый выпуклый
конус, содержащий epi k, содержит и epi f. Таким образом, D
состоит из векторов х*, таких, что (х, х*) f (х) для любого х;
иными словами, f* (х*) 0.
Следствие 13.5.1. Пусть f — замкнутая собственная вы-
пуклая функция на Нп. Функция k на Rn+1, определенная формулой
{(/Х)(х), если Х>0
(fO+)(x), если % = 0,
+ оо, если Х<0,
есть опорная функция множества
С = {(V, х*) | X* < —/* (х*)} сКл+1.
136
§ 13. ОПОРНЫЕ ФУНКЦИИ
Доказательство. Пусть h (X, х) = f (х) + 6 (X | 1)
на Rn+1. Замыканием положительно однородной выпуклой функ-
ции, порожденной функцией h, является функция k (мы говорили
об этом после теоремы 8.5). Следовательно, k есть опорная функ-
ция множества
{(X*, х*) | h* (X*, х*) 0}
(см. предыдущую теорему). Но
h* (X*, х*) =
= sup {XX* + (х, х*) — f (х) — 6 (X | 1) | X 6 R, х 6 Rn} =
= sup {X* + (х, х*) — f (х)} = X* + f* (х*).
X
Таким образом, неравенство h* (X*, х*) 0 означает, что X*
— f* (х*).
Для примера сосчитаем опорную функцию «эллиптического»
выпуклого множества
С — {х | (1/2) (х, Qx> + {а, х) + а 0),
где Q — положительно определенная симметричная матрица раз-
мера п х п. В силу теоремы 13.5 опорная функция б* (• | С)
является замыканием положительно однородной выпуклой функ-
ции g, порожденной функцией /*. В предыдущем параграфе мы
показали, что
f* (х*) — (1/2) (х* — a, Q-x (х* — а)) — а =
= (1/2) (х*, Q-Xx*> + {b, х*> + 0,
где b = — Q-1a и р = (1/2) {a, Q-1o) — а. Для любого х* =/= 0,
g (х*) есть по определению нижняя грань (f*X) (х*) = X/* (Х-1х*)
по X >• 0. Коль скоро dom f* — R", мы получаем, что dom g = Rn.'
Следовательно, g есть замкнутая функция и
б* (х* | С) = g(x*) = inf {(1/2%) (х*. Q-1x*) + {b, х*) + Хр}.
Х>0
Эту нижнюю грань легко сосчитать. Если С #= 0, то
0 < sup {—/ (х)} =/* (0) = р.
X
Если р = 0, то нижняя грань равна (Ь, х*). Если Р >• 0, то, диф-
ференцируя по X, мы получаем
б* (х* | С) = {Ь, х*) + [2р (х*, Q-1x* Я1/2.
Это и есть общая формула для б* (• | С), верная во всех случаях.
137
ГЛ. III. ДВОЙСТВЕННОСТЬ
§ 14. Поляры выпуклых множеств
Соответствие между выпуклыми множествами и их опорными
функциями отражает некое дуальное соответствие между положи-
тельной однородностью и свойством быть индикаторной функцией.
Действительно, допустим, что f есть собственная выпуклая функ-
ция на пространстве 0V*. Если f — индикаторная функция, то ее
сопряженная является положительно однородной функцией (тео-
рема 13.2). Если же f — положительно однородная функция, то
из следствия 13.2.1 вытекает, что индикаторной функцией будет
/*. Значит, если f есть положительно однородная индикаторная
функция, то f* будет также положительно однородной индикатор-
ной функцией. Разумеется, положительно однородная индикатор-
ная функция есть не что иное, как индикаторная функция конуса.
Таким образом, мы получаем, что если f (х) = 6 (х | К) для неко-
торого непустого выпуклого конуса К, то f* (х*) = б (х* | №), где
К° — некоторый другой непустой выпуклый конус, который к тому
же является замкнутым, поскольку замкнутой является функция
/*. Этот конус К° называют полярой конуса /С. В силу следствия
13.2.1 мы получаем
= {х* | Vx, (х, х* > sC 6 (х | К)} -
= {х* | Vx е К, <х, х* > 0}.
Поляра №° конуса /С есть cl К, ибо сопряженной функцией
к f* = б (• | К°) является cl f = б (• | с! /0. Кроме того, (cl /0° =
= К° (поскольку (cl f)* = /*). Таким образом, двойственное соот-
ветствие между выпуклыми функциями порождает взаимно одно-
значное симметричное соответствие между выпуклыми конусами.
Теорема 14.1. Пусть К — непустой выпуклый замкнутый
конус. Поляра конуса К является непустым выпуклым замкну-
тым конусом, причем К°° = К- Индикаторные функции конусов К
и К° являются сопряженными друг к другу.
Первое утверждение теоремы можно получить непосредственно,
из того факта, что непустой замкнутый выпуклый конус является
пересечением однородных замкнутых содержащих его полупро-
странств (следствие 11.7.1).
Заслуживает внимания второе утверждение теоремы 14.1, ибо
индикаторы выпуклых конусов часто появляются в экстремальных
задачах, а их сопряженные необходимы при описании соответст-
вующих двойственных проблем.
Отметим, что если К — подпространство в Rn, то № является
его ортогональным дополнением. Вообще для любого непустого
замкнутого выпуклого конуса К конус К° состоит из всех векто-
ров, нормальных к К в нуле, в то время как К состоит из всех
векторов, нормальных к К в нуле.
138
§ 14. ПОЛЯРЫ ВЫПУКЛЫХ МНОЖЕСТВ
Если К есть неотрицательный ортант в то К° есть —К, т. е.
неположительный ортант. Если К — выпуклый конус, порожден-
ный непустым множеством векторов {at | i £ /}, то К состоит
из всех неотрицательных линейных комбинаций векторов ait откуда
следует, что
№ = {х* 1 Vx 6 К, <х, х* 0} =
= {х* | Vi €/, (at, x*X0}.
Поляра конуса № есть конус cl Д'. Таким образом, поляра
выпуклого конуса вида
{у I Vi 6 /, {аь у) < 0}
является замыканием выпуклого конуса, порожденного векторами at.
Если последний конус является замкнутым (так будет, например,
если множество {аг | i 6 /} является конечным,— мы это видим
в теореме 19.1), то его поляра состоит из неотрицательных линей-
ных комбинаций^векторов at.
Ниже мы распространим полярное соответствие на более широ-
кий класс выпуклых множеств, но сначала опишем некоторые дру-
гие связи между полярами выпуклых конусов и функциями, сопря-
женными к выпуклым.
Т е о р'е м а 14.2. Пусть f — собственная выпуклая функция.
Поляра выпуклого конуса, порожденного множеством dom f, есть
рецессивный конус функции f*. Обратно, если f — замкнутая функ-
ция, то поляра рецессивного конуса функции f есть замкнутый
выпуклый конус, порожденный множеством dom/.
Док а з а т е’л’ь с т в о. Для любого а > inf f* рецессивный
конус функции /* по теореме 8.7 совпадает с рецессивным конусом
0+С непустого выпуклого замкнутого множества
С = {х* | f* (х*) а} = {х* | (х, х*) — f (х) < а, Vx}
= {х* | (х, х*) а + f (х), Vx £ dom f}.
Из последнего выражения ясно, что вектор у* обладает тем свой-
ством, что
х* + Ку* G С, Vx* С С, VX > 0,
тогда и только тогда, когда
Значит,
(х, z/* X 0,
Vx 6 dom f.
где
0+С = {у* | (х, у*) 0, Vx 6 dom f} =
= {У* I (у> </*> <0. Vz/ € К},
К = {у I Зх 6 dom f, ЭХ>0, у = Хх}.
139
ГЛ. III. ДВОЙСТВЕННОСТЬ
Таким образом, 0+С = К°, где К — выпуклый конус, порожден-
ный множеством dom f. Двойственная часть теоремы следует из того,
что /** = f, если f — замкнутая функция.
Следствие 14.2.1. Поляра барьерного конуса непустого
замкнутого выпуклого множества С есть рецессивный конус мно-
жества С.
Доказательство. Возьмем в качестве f опорную функ-
цию множества С (так что f* будет индикаторной функцией мно-
жества С по теореме 13.2).
Следствие 14.2.2. Пусть f — замкнутая собственная
выпуклая функция. Для того чтобы множество {х | f (х) а} было
ограниченным для любого а £ Я, необходимо и достаточно, чтобы
О g int (dom f*).
Доказательство. Включение 0 6 int (dom f*) имеет ме-
сто тогда и только тогда, когда выпуклый конус К, порожденный
множеством dom /*, совпадает со всем пространством Нп (след-
ствие 6.4.1). С другой стороны, множество уровня {х | f (х) а}
является ограниченным тогда и только тогда, когда рецессивный
конус функции f, который есть не что иное,. как К°, состоит лишь
из одного нуля (теорема 8.7 и теорема 8.4). Мы имеем К° — {0}
в том и только том случае, когда cl К — {0}° = Hn, a cl К — Нп
влечет за собой равенство К. = R”.
Теорема 14.3. Пусть f — замкнутая собственная выпуклая
функция, такая, что / (0) > 0 > inf f. Тогда замкнутый выпуклый
конус, порожденный множеством {х | f (х) 0), является полярой
конуса, порожденного множеством {х* | f* (х*) 0), и обратно.
Доказательство. Коль скоро f* (0) = — inf f и f (0) =
— — inf f*, из наших предположений следует, что /* (0) > 0 >•
> inf f*. Тогда {х | / (х) 0} и {х* | f* (х*) 0} суть непустые
замкнутые выпуклые множества, не содержащие начала коорди-
нат. Пусть К — положительно однородная выпуклая функция,
порожденная функцией f. Поскольку cl К и индикаторная функция
множества {х* | f* (х*) 0 } являются сопряженными друг к другу
(теоремы 13.5 и 13.2), рецессивный конус К функции cl k и замы-
кание выпуклого конуса, порожденного множеством {х* | f* (х*)
^0}, являются друг для друга полярами (теорема 14.2). Нам
надо показать, что К есть замыкание выпуклого конуса, порожден-
ного множеством {х | f (х) 0}. В силу положительной однород-
ности имеем: (cl k) 0+ = cl k, так что по определению
К = {х | (cl k) (х) < 0}.
Тогда
К = cl {х | k (х) С 0} = cl {х | k (х) < 0}
140
§ 14. ПОЛЯРЫ ВЫПУКЛЫХ МНОЖЕСТВ
в силу теоремы 7.6, утверждающей, что последнее множество
не является пустым. Далее, k (х) есть нижняя грань (/X) (х) по X >
> 0 для любого х #= 0. Более того, (/X) (х) 0 для положительных
X тогда и только тогда, когда Х-1х 6 {у | f (у) 0}. Все эти утвер-
ждения останутся справедливыми, если заменить на <. В силу
того, что inf / < 0, множество {х | k (х) < 0} не пусто. Выпуклый
конус, порожденный множеством {х | f (х) 0}, лежит между
{х | k (х) < 0} и {х | k (х) 0}, так что его замыканием должно
быть К.
Полярное соответствие для выпуклых конусов было полу-
чено из соотношения двойственности для выпуклых функций. Инте-
ресно, что возможно и обратное. Для того чтобы провести этот
обратный вывод, вспомним, что каждая замкнутая выпуклая соб-
ственная функция f на 0V* отвечает некоторому непустому замкну-
тому выпуклому конусу в Лп+2, а именно конусу cl К, где К —
выпуклый конус, порожденный тройками (К х, р), такими, что
(х, р) 6 epi f. Этот конус, разумеется, полностью определяет функ-
цию /. Действительно, из свойств рецессивных конусов и функций
вытекает, что cl К является множеством троек (Л, х, р) в Н”+2,
таких, что Х> 0 и р> (/X) (х) или 1 = 0 й (/0+) (х). Пока-
жем, что функцию, сопряженную к f, можно выразить через поля-
ру конуса К (если пренебречь незначительными деталями). _
Теорема 14.4. Пусть f — замкнутая собственная выпук-
лая функция на R”, и пусть К — выпуклый конус, порожденный
такими векторами (1, х, р) £ Rn+2, что р f (х). Пусть К* —
выпуклый конус, порожденный множеством (1, х*, р*) С Rn+2, где
р*^/*(х*). Тогда
cl К* = {(X*, х*. р*) | (—р*, х*. —%*) е к°}.
Доказательство. Коль скоро f — собственная функ-
ция, с! К содержит вектор (0,0,1), но не „содержит вектора
(0, 0, —1). Отсюда следует, что полярный конус (cl К)0 = К°
содержится в полупространстве
И = {(—р*. х*, —X*) | X* > 0},
но не содержится в граничной гиперплоскости полупространства Н.
Поэтому К° есть замыкание его пересечения с внутренностью Н
(следствие 6.5.2). Отсюда следует, что № является замыканием
выпуклого конуса, порожденного пересечением К° с гиперпло-
скостью
{(—р*, х*, —X*) | X* = 1).
Вектор принадлежит /<° тогда и только тогда, когда его скалярное
произведение с любым вектором вида X (1, х, р), где X > 0, р
141
ГЛ. III. ДВОЙСТВЕННОСТЬ
(х), является неположительным. Таким образом, (—р*, х*, —1)
принадлежит К° тогда и только тогда, когда
—р* + (х, х*) — р О,
при условии, что р f (х), т. е. тогда и только тогда, когда
р* >• sup {<х, х* > — f (х)} = f* (х*).
X
Это показывает, что образ поляры К° при отображении
(%*, х*, р*) -> (—р*, х*, —X*)
является замыканием выпуклого конуса, порожденного векторами
(1, х*, р*) с р* f* (х*), т. е. замыканием/С*.
Полярное соответствие между выпуклыми конусами можно
обобщить до полярного соответствия между всеми замкнутыми вы-
пуклыми множествами, содержащими начало координат. Для этого
следует применить операцию сопряжения к калибровочным функ-
циям выпуклых множеств. Разумеется, калибровочная и индика-
торная функции непустого выпуклого множества совпадают, если
это множество является конусом.
Пусть С — непустое выпуклое множество. По определению
калибровочной функцией у (• | С) называется положительно одно-
родная выпуклая функция, порожденная функцией f = 6 (• | С) +
+ 1. Замыкание калибровочной функции у(- |С) является опор-
ной функцией множества {х* |/*(х*)^0} (теорема 13.5). Но
f* = 6* (• | С) — 1. Значит,
С1у(. 10 = 6* (• |С°),
где С° — замкнутое выпуклое множество, которое определяется
следующим образом:
С° = {х* | б* (х* | О — 1 < 0} =
= .{x*|VxeC, (х, х*)С1}-
Множество С° называется полярой множества С. Отметим, что мно-
жество С° содержит начало координат. Поляра множества С° есть
С°° = {х | Vx* е с°, (х, х*} 1} =
= {х I 6* (х | С°) 1} = {х I cl у (х | о < 1}.
Если само множество С содержит начало координат и является
замкнутым, то в силу следствия 9.7.1 последнее множество будет
совпадать с множеством С. И вообще С° = D°, где
D = cl (conv (С U {0})),
так как множество вида {х | (х, х*) ^ 1} содержит С тогда и толь-
ко тогда, когда оно содержит множество D. Поскольку D°° — D,
142
§ 14. ПОЛЯРЫ ВЫПУКЛЫХ МНОЖЕСТВ
отсюда следует, что
С00 = cl (conv (С U {0})).
В частности, мы получаем новое симметричное взаимно однозначное
соответствие.
Теорема 14.5. Пусть С — замкнутое выпуклое множество,
содержащее начало координат. Поляра С° является тогда другим
выпуклым замкнутым множеством, содержащим начало координат,
причем С°° — С. Калибровочная функция множества С° является
опорной функцией поляры С°. Обратно, калибровочная функция
поляры С° является опорной функцией множества С.
Следствие 14.5.1. Пусть С — замкнутое^выпуклое мно-
жество, содержащее начало координат. Поляра С° является огра-
ниченным множеством тогда и только тогда, когда 0 € int С.
Обратно, С ограничено тогда и только тогда, когда 0 £ int С°.
Доказательство. Мы знаем, что С° является ограничен-
ным множеством тогда и только тогда, когда опорная функция
у (• | С) множества С° всюду конечна (следствие 13.2.2). С другой
стороны, функция у (• | С) является конечной тогда и только тог-
да, когда 0 g int С (следствие 6.4.1).
Поляра выпуклого конуса К в силу предыдущих определений
совпадает с полярой К как выпуклого множества, поскольку полу-
пространство {х | (х, х*) ^ 1} содержит К в том и только том
случае, когда {х | (х, х*) ^ 0} содержит К-
Заметим, что полярное соответствие обращает порядок: из
Ci с С2 следует, что С°, => С°2.
Рассмотрим к примеру несколько замкнутых выпуклых мно-
жеств:
Ci = {х = (gi, . . gn) | ^>0, gi + . . . + gn < 1},
с2 = {X - (й, . . и I 1111 + . .. + I In I С О,
Сз={х = (В1, В2) 1(В1-1)2 + й<1},
С4 = {х = (&, Ы | Bi < 1 - (1 +
Их поляры таковы:
с; = {х* - (й, ...,&) | й с 1, ’/ = 1.....п},
q = {х* = (й.......й) 11й I ci, / = 1—, п},
с; = {х* = (й, Ш I й<(1 - й2)/2),
q = conv (Р U {0}), где
р = {X* = (й, й) I й > (1 + W).
Другие примеры мы дадим после следствия 15.3.2.
143
ГЛ. III. ДВОЙСТВЕННОСТЬ
Теорема 14.6. Пусть С и С° — множество и его поляра, при-
чем каждое из них выпукло, замкнуто и содержит начало координат.
Тогда рецессивный конус множества С и замыкание выпуклого кону-
са, порожденного полярой С°, являются полярными друг к другу.
Линейное подмножество множества С и подпространство, порожден-
ное полярой С°, являются ортогональными дополнениями друг дру-
га. Все эти утверждения остаются в силе, если поменять местами
С и С°.
Доказательство. Рецессивный конус множества С есть
замкнутый выпуклый конус, а поскольку 0 6 С, он является в силу
следствия 8.3.2 наибольшим из таких конусов, содержащихся в мно-
жестве С. Его поляра должна быть наименьшим замкнутым выпук-
лым множеством, содержащим С°, а это есть замыкание выпуклого
конуса, порожденного полярой С°. Аналогично линейное подмно-
жество множества С есть наибольшее подпространство, содержа-
щееся в С (поскольку ОСС), так что его ортогональное дополнение,
являющееся в то же время его полярой, должно быть наибольшим
подпространством, содержащим С°.
Следствие 14.6.1. Пусть С — замкнутое выпуклое множе-
ство в содержащее начало координат. Тогда
{размерность С°) = п — {линейная размерность С),
{линейная размерность С°) = п — {размерность С),
{ранг С°) = {ранг С).
Доказательство. Если выпуклое множество содержит
начало координат, то порожденное им подпространство совпадает
с порожденным им аффинным множеством (теорема 1.1). Размерност-
ные соотношения нашего следствия немедленно вытекают из Ортого-
нальных соотношений теоремы.
Ясно, что не может быть простого полярного соответствия между
множествами уровня самой выпуклой функции и множеством уров-
ня сопряженной к ней функции. Однако для важного класса функ-
ций справедливы весьма полезные неравенства.
Теорема 14.7. Пусть f — неотрицательная замкнутая вы-
пуклая функция, обращающаяся в нуль в начале координат. Тогда
f* также является неотрицательной выпуклой функцией, обращаю-
щейся в начале координат. При этом для любого 0 < а < оо
{х | f (х) а}° с а-1 {х* | f* (х) а} с= 2 (х | f (х) а}°.
До казательство. По предположению inf f = f (0) = 0.
Поскольку inf f = — f* (0) и inf f* = — f** (0) = — f (0), мы
получаем, что inf f* = f* (0) = 0, как это уже отмечалось в § 12.
Пусть С ={х | / (х) а}, 0 < а < оо. Тогда С есть замкнутое вы-
пуклое множество, содержащее начало координат. Мы можем напи-
144
§ 15. ПОЛЯРЫ ВЫПУКЛЫХ ФУНКЦИЙ
сать, что С = {х | h (х) 0}, где h (х) = / (х) — а. Тогда h* (х*) =
= f* (х*) + а, и замыкание положительно однородной выпуклой
функции, порожденной функцией h*, есть опорная функция
б* (• | С) множества С (теорема 13.5). Но б* (х* | С) = у (х* | С°)
в силу теоремы 14.5. Так как 0 < h* (0) < оо, то положительно
однородная выпуклая функция, порожденная функцией h*, являет-
ся замкнутой (теорема 9.7), и мы получаем такую формулу:
у (х* | с°) = inf {(/i*X) (х*) | % > 0}.
В частности, у (х* | С°) h* (х*), так что
{х* | /* (х*) а} = {х* | h* (х*) 2а} cz
с: {х* | у (х* | С°) < 2а} = 2аС°.
Это доказывает второе включение теоремы. Для того чтобы доказать
первое включение, достаточно показать, что
{х* | у (х* | С°) < a} cz {х* | f* (х*) а}.
поскольку замыканием первого множества является аС°, а второе
множество замкнуто в силу замкнутости функции f*. Взяв любой
вектор х*, такой, что у (х* | С°) < а, мы получим в силу последней
формулы, что существует число X > 0, такое, что
а > (Л*Х) (х*) = Xf* (Х-»х*) + Ха.
Коль скоро f* 0, X заведомо должно быть меньше единицы. Мы
получаем:
f* (х*) = f* ((1 — X) 0 + X (Х^х*)) < (1 — X) /* (0) + X/* (Х-1х*) =
= Xf* (Х-1х*) < (1 — X) а.
Таким образом, f* (х*) < а.
§ 15. Поляры выпуклых функций
Функция k на будет называться калибром1), если k является
неотрицательной положительно однородной выпуклой функцией,
такой, что k (0) — 0, т. е. epi f является выпуклым конусом в R.n+1,
содержащим начало координат, но не содержащим векторов (х, р)
с ц <0. Таким образом, калибрами будут функции k, такие, что
k (х) = у (х I С) = inf {р > 0 I X 6 рС}
для некоторого непустого выпуклого множества С. Вообще говоря,
С определяется по функции k. Один из возможных способов опреде-
ления множества С такой: k = у (• | С), где
С = {х | k (х)< 1}.
, 1) Другое общепринятое название калибра — функция Минковского.—
Прим, перев.
Ю Р. Рокафеллар
145
ГЛ. HI. ДВОЙСТВЕННОСТЬ
Это дает нам право употреблять оба термина: калибровочная функ-
ция и калибр. Если k замкнута, последнее множество С является
единственным замкнутым выпуклым множеством, содержащим нача-
ло координат, для которого у (• | С) = k.
Полярой калибра k называется функция k°, определяемая сле-
дующим образом:
k° (х*) = inf {р* 0 | {х, х* ) р*& (х) Vx}.
Если k является всюду конечной и положительной всюду, кроме
начала координат, функцией, то последнюю формулу можно пере-
писать так:
k° (х*) = sup .
' 7 «Л
Отметим, что если k — индикаторная функция выпуклого конуса
/С, то k° — индикаторная функция полярного выпускного конуса /С,
совпадающая с функцией, сопряженной к функции k.
Поляры выпуклых функций более общей природы будут опреде-
лены далее в этом параграфе несколько позже.
Теорема 15.1. Если k — калибр, то поляра k° функции k
является замкнутым калибром, причем k°° = cl k. Если k — у (• | С),
где С — непустое выпуклое множество, то k° = у (• । С°), где С —
поляра множества С.
Доказательство. Пусть С есть непустое выпуклое мно-
жество, такое, что k = у (• | С). Для р* > 0 условие
(х, х*} р*у (х | С), Чх
в определении k° можно записать так:
(рг/, р*-1х*)^р, Vz/€ С, Vp>0,
а это равносильно неравенству
{у, р*-1х*)^1, Vz/ £С,
т. е. р*-1х* 6 С°. Для р* = 0, с другой стороны, то же самое уело-,
вие влечет за собой равенство х* = 0. Таким образом,
k° (х*) = inf {р* > 0 | х* е р*С°} = у (х* | С°).
В частности, k° замкнуто, согласно следствию 9.7.1. Пусть теперь
D = {х | ife (х)< 1}. Это множество является выпуклым множест-
вом, содержащим начало координат, и у (• I D) = k. Отсюда сле-
дует, что k° = у (• । П°) и что k°° = у (• | £>°°). Но D°° = (cl D)°° =
= cl D (теорема 14.5). Поскольку
{x | (cl k) (x) < 1} = cl {x. | k (x) 1}
(теорема 7.6), мы получаем cl k = у (• | cl D). Значит, k°° = cl k.
146
§ 15. ПОЛЯРЫ ВЫПУКЛЫХ ФУНКЦИЙ
Следствие 15.1.1. Полярность k-+k° является взаимно
однозначным симметричным соответствием в классе всех замкну-
тых калибров на 0V*. Два замкнутых выпуклых множества, содержа-
щих начало координат, являются полярами друг к другу тогда
и только тогда, когда их калибровочные функции являются полярой
одна другой.
Следствие 15.1.2. Если С — замкнутое выпуклое множе-
ство, содержащее начало координат, то калибровочная функция
множества С и опорная функция этого множества являются
полярными друг к другу как калибры.
До казательство сразу же следует из теоремы 14.5.
Нормы общего вида, о которых речь пойдет ниже, являются част-
ным случаем замкнутых калибров. Ряд примеров полярного соот-
ветствия калибров будет дан в теореме 15.2 и следствии 15.3.2. При-
мер полярной пары двух замкнутых калибров, не являющихся нор-
мами, можно построить так:
k(x)^^ + ^)l,2 + h, Х=&,
k° (х*) — <
о,
если > О,
если £*=£* = О,
. +оо в остальных случаях.
Отметим, что для двух полярных калибров имеет место такое
неравенство:
<х, х*) k (х) k° (х*), Vx £ dom k, Vx* £ dom k°.
Теория неравенств подобного рода уже давно служила одним из
наиболее старых поводов для изучения полярного соответствия вы-
пуклых множеств. Но подобно тому как двойственные пары выпук-
лых функций (как это отмечалось в § 12) соответствуют «наилуч-
шим» неравенствам типа
{х, у) f (х) + g (у), Vx, Vy,
полярные пары калибров соответствуют «наилучшим» неравенствам
типа ,
(х, у) h (х) j (у), VxQH, Vy£J,
где Н и J — подмножества Hn, a h и / — неотрицательные вещест-
венные функции на Н и J соответственно. Действительно, если зада-
но любое неравенство последнего типа, мы можем задать «лучшее»
неравенство следующим образом. Пусть
k (х) = inf {р >0 | (х, у} ц/ (у), Vy£J}.
В этой формуле надграфик k выражается как пересечение некото-
рого семейства замкнутых полупространств Hn+1, ограничивающие
147
10*
ГЛ. Ш. ДВОЙСТВЕННОСТЬ
гиперплоскости которых проходят через начало координат, так что
k — есть замкнутый калибр. Мы имеем
(х, у} k (х) j (у), Vx £ dom k, У у 6 J,
и это неравенство «лучше» исходного в том смысле, что dom k Н и
й (х)< Л (х), Vx 6 Н.
Из этого нового неравенства следует, что dom k° о J и
k° (y)^j(y), yyEJ-
Отсюда также следует, что имеет место даже «лучшее» неравенство,
а именно
(х, у) k (х) k° (у), Ух 6 dom k, У у g dom ka.
Из сказанного вытекает, что «наилучшим» неравенством, т. е. таким
неравенством, в котором нельзя заменить h или j на меньшие функ-
ции или функции с большими эффективными областями, является
написанное только что неравенство, где функции hug, дополненные
значением + оо вне Н и J, суть полярные друг к другу замкнутые
калибры.
В том случае, когда k есть евклидова норма, k является в одно
и то же время и опорной, и калибровочной функцией единичного
евклидова шара. Таким образом, k° = k. Соответствующее неравен-
ство — это известное неравенство Коши — Буняковского
<х, г/Х |х |-| у |. ч
И вообще, калибр k называется нормой, если он является всюду
конечной, симметричной, положительной функцией, за исключением
начала координат. Вспомнив теорему 4.7, мы увидим, что нормы
характеризуются такими вещественными функциями, для которых
выполнены следующие соотношения:
(a) k (х) >0, Vx 0,
(b) k (Xi + х2) < k (xi) + k (x2), Ухъ Vx2,
(c) k (bx) = Kk (x), Vx, VA > 0,
(d) k (—x) = k (x), Vx.
Свойства (с) и (d) можно объединить в одно
k (Ах) = | А | k (x), Vx, VA.
Теорема 15.2. Соотношения
>(x) = y(x|C), С = {x Щх)<1}
определяют взаимно однозначное соответствие между нормами k
и симметричными замкнутыми выпуклыми множествами С, для
которых 0 6 int С. Поляра нормы есть норма.
148
§ 15. ПОЛЯРЫ ВЫПУКЛЫХ ФУНКЦИЙ
Доказательство. Нормы, будучи конечными выпуклы-
ми функциями, являются непрерывными функциями (теорема 10.1),
а следовательно, замкнуты. Мы уже знаем, что те соотношения,
которые описаны в теореме, определяют взаимно однозначное соот-
ветствие между замкнутыми калибровочными функциями k и зам-
кнутыми выпуклыми множествами С, содержащими начало коорди-
нат. Симметрия k, очевидно, влечет за собой симметрию множества
С. Условие, что k — всюду конечная функция, равносильно тому,
что С содержит любой вектор, если его умножить на достаточно
малое положительное число. Но это в силу следствия 6.4.1 равно-
сильно тому, что 0 £ int С. Неравенство k (х) > 0 для х #= 0 равно-
сильно тому, что С не содержит лучей вида {Хх | X 0}, а это усло-
вие имеет место тогда и только тогда, когда С является ограничен-
ным множеством (теорема (8.4). Если же С — симметричное выпук-
лое замкнутое ограниченное множество, такое, что 0 £ int С, то
опорная функция множества С является всюду конечной, симме-
тричной функцией, неотрицательной всюду, кроме начала коорди-
нат. Но опорная функция С есть калибровочная функция С°, откуда
мы получаем, что функция у (• | С) является нормой.
Пример неевклидовых полярных друг к другу норм дают нормы
k (х) = max {| |....| ln |}, x = (|ь . . ., gn).
k° (x*) = | It | + . . . + | g* I, x* = (K, . . ., Щ
Другие примеры мы приведем ниже.
Если k — норма, то неравенство, связанное с k, может быть за-
писано так:
| (х, х*) | k (х) k° (х*), Vx, Vx*
в силу конечности и симметрии k и k°.
Понятие нормы естественно возникает при изучении разного
рода метрических структур и соответствующих задач аппроксима-
ции. По определению метрикой в R” называется вещественная функ-
ция р на Rn X DV1, такая, что
(а) р (х, у) > 0, если х =£ у, р (х, у) — 0, если х = у,
(Ь) р (х, у) = р (у, х), Vx, Vy,
(с) р (х, z)< р (х, у) + р (у, г), Ух, У у, Уг.
Число р (х, у) можно интерпретировать как расстояние между х
и у. Вообще говоря, метрика в не обязана быть связанной
с алгебраической структурой пространства — предельный при-
мер такой несогласованной метрики дает расстояние
{0, если х=ц,
1, если х #= у.
149
ГЛ. III. ДВОЙСТВЕННОСТЬ
Однако, если мы хотим согласовать метрику с алгебраическими
операциями, разумно потребовать, чтобы выполнялись два допол-
нительных свойства метрики по отношению к двум основным опе-
рациям в Нп:
(d) р (х + z, у + z) = р (х, у), Vx, Vz,
(е) р (х, (1 — X) х + ty) = Хр (х, у), Vx, Vy, VX £ [0, 1].
Свойство (d) означает, что’расстояние не меняется при параллельных
переносах. Свойство (е) означает, что метрика ср линейна на линей-
ных сегментах.
Оказывается, что имеет место взаимно однозначное соответствие
между метриками, обладающими этими двумя свойствами (так назы-
ваемыми метриками Минковского), и нормами. Если k — норма, то
р (х, у) = k(x —у)
определяет метрику Минковского. Обратно, по каждой метрике
Минковского можно единственным образом определить соответст-
вующую норму. Эти весьма простые результаты мы предоставляем
доказать читателю в качестве упражнения.
Из теоремы 15.2 следует, что имеется взаимно однозначное соот-
ветствие между метриками Минковского и симметричными замкну-
тыми ограниченными выпуклыми множествами С, для которых
О 6 int С.
Возьмем любое такое множество С; тогда мы получим единствен-
ную метрику Минковского р, такую, что
{у | р (х, у) в} = х + еС, Vx, V& > 0.
Заметим, что коль скоро С является ограниченным множеством
и 0 6 int С, можно найти такие положительные числа аир, что
аВ сС с РВ,
где В — единичный евклидов шар. Для этих чисел мы получим
a-1d (х, «/) > р (х, у) P-1d (х, у), Vx, Vy,
где d (х, у) — евклидово расстояние. Таким образом, метрика Мин-
ковского на 0V* «эквивалентна» евклидовой метрике, т. е. обе они
определяют одну и ту же совокупность открытых и замкнутых мно-
жеств и одни и те же последовательности Коши.
Несколько важных примеров выпуклых функций, которые со-
пряжены друг другу, могут быть построены при помощи полярных
друг к другу калибров,— речь идет о калиброподобных функциях.
Вещественную выпуклую функцию, принимающую значения в рас-
ширенной вещественной Апрямой, мы называем калиброподобной,
если / (0) = inf f, и все множества уровня
{х | / (х)< a}, f (0) < а < оо,
150
§ 15. ПОЛЯРЫ ВЫПУКЛЫХ ФУНКЦИЙ
являются пропорциональными, т. е. все они получаются из одного
умножением на положительное число.
Т е о р е м а 15.3. Функция f является калиброподобной замкну-
той собственной выпуклой функцией тогда и только тогда, когда
ее можно представить в виде
f{x)=g (k (х)),
где k — замкнутый калибр, a g есть не равная константе неубываю-
щая полунепрерывная снизу выпуклая функция на [0, оо], такая, что
g (£) конечна для некоторого £ > 0. (Выражение g (+ оо) в формуле
для f следует интерпретировать как + оо.) Если же f — функция
описанного типа, то и сопряженная к ней функция f* является кали- -
броподобной. При этом
f* (х*) = g+ (**)).
где g+ — монотонно сопряженная к g функция, обладающая теми же
свойствами, что и g.
Доказательство. Допустим сначала, что функция f
имеет вид f (х) = g (k (х)), где g и k обладают описанными свойст-
вами. Пусть I — интервал, где функция g является конечной и С =
= {х | k (х) 1}. Условия, налагаемые на g, приводят к тому, что
g (£)-> + оо при + °° (теорема 8.6). Для любого веществен-
ного числа а > f (0) = g (0) число
X = sup {С >0 |g(£X а}
является конечным и положительным, и мы получаем
{х | f (х) а} = {х | k (х) X} = ХС.
Это показывает, что f является калиброподобной. Сопряженная
функция считается так:
f * (**) = sup {(х, х*>—я (k (х))} =
= sup sup «X, X*)—g (С)} =
= sup {C (sup (у, x*)—g (£))}.
tei vec
Внутренняя верхняя грань есть по определению 6* (х* | С) или, что
то же самое, у (х* | С°) (теоремаЧ4.5). В действительности она рав-
на k° (х*) ввиду того, что k = у (• I С). С другой стороны, для
С*>0
sup {^*-g(C)}= sup {^*-g(C)} =g+(c*).
Отсюда следует, что f* (х*) = g+ (k° (х*)). Из рассуждений относи-
тельно монотонной двойственности в конце § 12 ясно, что g'+ удов-
151
ГЛ. III. ДВОЙСТВЕННОСТЬ
летворяет как раз тем условиям, которые мы налагаем здесь
на функцию g. Таким образом, функция f* является калиброподоб-
ной, и если провести то же самое вычисление для /*, мы получим, что
/** (х) = g++ (k°° (х)) = g (k (x)) = fix).
Ввиду того’ что f** =f, a / (0) < оо, в силу условий, налагаемых
на g, мы получаем, что f есть замкнутая собственная выпуклая
функция (теорема 12.2).
Осталось только показать, что если задана любая калиброподоб-
ная замкнутая собственная выпуклая функция f, то ее можно выра-
зить так: f (х) = g (k (х)) при некоторых g и k, обладающих описан-
ными свойствами. Из условий на функцию f мы получаем, что мно-
жества уровня
Са = {х | f (х) а}, а > а0 = f (0) = inf f
являются замкнутыми выпуклыми множествами, содержащими нача-
ло координат. При этом каждое из них является множеством, полу-
чаемым из фиксированного множества С умножением на положи-
тельную константу. Если все они совпадают с одним множеством
ХС, то мы сразу получаем, что
/ (х) = / (0) + 6 (х | ХС) = g (& (х)),
где k — калибровочная функция множества С, и
(а0, если
£ ~ | оо, если
Мы можем предположить далее, что С не является конусом, a f
не есть просто константа на dom f. В этом случае мы можем опреде-
лить g следующим образом:
g (О = inf {а | Са => ZC}, £ > 0.
Ясно то функция g не убывает, не является константой и что
«о = g (0) = inf {g (С) К > 0} < оо.
Для любого вектора х мы получим
f (х) = inf {а | а > а0, х £ Са} =
= inf {а | ? > 0, х с Са} =
= inf К>0, х££С} =
= inf {g (OK > Т (х I С) = k (х)} = g (k (x)).
По.кольку С не является конусом, найдется вектор х, такой, что
k (х) = 1, и для этого вектора выполняются такие равенства:
2(0 =я(0Цх)) =£(МСх)) =№), vc>o.
152
§ 15. ПОЛЯРЫ ВЫПУКЛЫХ ФУНКЦИЙ
Выпуклость и полунепрерывность снизу функции g вытекают, та-
ким образом, из соответствующих свойств функции f, т. е. g обла-
дает всеми требуемыми свойствами.
Основное приложение теорема 15.3 находит при описании функ-
ций такого вида:
f (Хх) = Хр/ (х), VX > 0, Vx,
где 1 <z р < сю. Такие функции называют положительно однород-
ными функциями степени р.
Следствие 15.3.1. Замкнутая собственная выпуклая функ-
ция f является положительно однородной степени р, где 1 < р <оо,
тогда и только тогда, когда она имеет вид
f (х) = (1/р) (k (х))р
при некотором замкнутом калибре k. Для такой функции f сопря-
женной функцией будет положительно однородная степени q функ-
ция, где 1 < q < сю и (1/р) + (1/g) = 1. При этом
f* (х*) = (1/<?) (k° (х*))*.
Доказательство. Если f является функцией однородной
степени р, то очевидно, что она является калиброподобной. След-
ствие вытекает непосредственно из того факта, что если g (С) =
= (1/р) ?>0, то g+ (£*) = (1/0 (С*)9.
Следствие 15.3.2. Пусть f — замкнутая собственная
выпуклая функция, являющаяся положительно однородной степени
р, 1 < р < оо. Тогда (pf)1/v есть замкнутый калибр, поляра кото-
рого есть (qf*)1/q, где 1 <Zq<C оо, (1/р) 4- = 1- Имеет место
неравенство
<х, х*> Ipf (x)1/v Iqf* Vx 6 dom f, Vx* 6 dom f*.
Кроме того, замкнутые выпуклые множества
С ={х\ [pf (x)]VP < 1} = {х | / (х)< Пр},
С* = {х* | [qf* (x*)Vlq < 1} = {х* | f* (х*) < 1/q}
являются полярами друг друга.
Доказательство немедленно следует из предыдущего
следствия и того факта, что функция k = (р/)1/р есть замкнутый
калибр.
Например, для любого р, 1 < р < оо, определим функцию
f (У . . ., у = (1/р) (| + • • • + I In 1₽).
Эта функция является замкнутой собственной выпуклой функцией
на положительно однородной степени р, а ее сопряженная f*
имеет такой вид:
Г (li, • • IX) = (1/<7) (I I* I’ + ... + IIX I’),
153
ГЛ. III. ДВОЙСТВЕННОСТЬ
где 1 < q<_ оо и (1/р) + (l/q) = 1. В силу следствия 15.3.2 функция
*’(li...............In) = (Ri 1+ . • • + I In lp)1/p
является замкнутым калибром, поляра которого задается таким
равенством:
k° (|Т, • • IX) = (I It I’ + • • • + I IX Г)1*,
и выпуклые замкнутые множества
с = {х = (|ь . . In) | II! |Р + . . . + | In |р < 1},
с* = {х* = (It......In) I I 11 К + • . • + I IX I’ < 1}
оказываются полярами друг к другу.
Рассмотрим другой пример. Пусть Q — любая симметричная
положительно определенная матрица размера п X п. Положим
f (х) = (1/2) {х, Qx).
Как мы отмечали в § 12, f есть (замкнутая собственная) выпуклая
функция на сопряженная к которой имеет такой вид:
/* (х*) = (1/2) (х*, Q-1x*>.
Поскольку f есть положительно однородная функция степени 2,
мы имеем в силу следствия 15.3.2, что
k (х) = <х, Qx)1/2
есть калибр, а в действительности,— норма с полярой
k°(x*) = (х*, Q-1x*)1/2.
Кроме того, поляра выпуклого множества
С = {х | (х, Qx) 1}
имеет вид
С° = {х* | (х*, Q-Xx*)< 1}.
Так, например, полярой эллипса на плоскости IK2
С= {(11, |2) |(|?/сф + (!>!)< О
является эллипс
С°= {(IT, I!) I a?lt2 + all!2 < 1 }•
Далее, из сказанного вытекает, что если g удовлетворяет предполо-
жениям теоремы 15.3, то мы получаем следующую пару замкнутых
собственных выпуклых функций, двойственных друг к другу:
f (х) = g ({х, Qx)1/2), f* (х*) = g+((x*, Q^x*)1/2).
Калибры принадлежат, в частности, к классу всех неотрица-
тельных выпуклых функций f, равных нулю в начале координат.
154
§ 15. ПОЛЯРЫ ВЫПУКЛЫХ ФУНКЦИЙ
Полярное соответствие, установленное нами для калибров, можно
распространить на этот больший класс, определив поляру f° функ-
ции f следующим образом:
f° (х) = inf {р* > 0 | (х, х*) ^ 1 + p*f (х), Vx).
Если f есть калибр, то это определение в силу положительной одно-
родности функции f приводит нас снова к определению поляры
калибра, которое мы дали ранее. Если f индикаторная функция
выпуклого множества С, содержащего начало координат, то /°
оказывается индикаторной функцией поляры С°.
Теорема 15.4. Пусть f — неотрицательная выпуклая функ-
ция, равная нулю в начале координат. Тогда ее поляра f° является
неотрицательной замкнутой выпуклой функцией, также равной
нулю в начале координат. При этом f°° = cl f.
Доказательство. Неотрицательность f° и равенство
f° (0) = О очевидны. Надграфик f° состоит из векторов (х*, р*) 6
!R.n+1, таких, что
(х, х* > — рр* <1, V (х, р) € epi /,
и, следовательно,
epi Г = (Л (epi /))° = Л ((epi f)°),
где А есть «вертикальная симметрия» в R.n+1, т. е. линейное преобра-
зование (х*, р*)->(х*, —р*). Таким образом, epi f°— замкнутое
выпуклое множество (это означает, что f° — замкнутая выпуклая
функция). Более того,
epi Г) = (A (epi П)° = ИЛ ((epi f) °))° =
= (epi Л°° = cl (epi f) = epi (cl f)
(теорема 14.5), так что f° = cl f.
Следствие 15.4.1. Полярность есть симметричное
взаимно однозначное соответствие на классе всех неотрицательных
замкнутых выпуклых функций, равных нулю в начале координат.
Отметим, что для функций, полярных в этом расширенном смы-
сле, всегда выполняется неравенство
<х, х*) 1 + f (х) f° (х*), Vx 6 dom f, Vx* C dom f°,
которое приводит к «наилучшим» неравенствам такого типа. Детали
могут быть уточнены читателем в виде легкого упражнения.
Пусть f — неотрицательная замкнутая выпуклая функция, рав-
ная нулю в начале координат. Тогда, как мы видели выше, функция
f° обладает теми же самыми свойствами. Но ведь и сопряженная
функция f*, по самому ее определению, также обладает этими свой-
ствами. Возникает вопрос: какова же связь между функциями f°
155
ГЛ. III. ДВОЙСТВЕННОСТЬ
и /*? Ответ на этот вопрос можно получить, проведя геометриче-
ский анализ надграфика функции g = f*° и сравнив его с надгра-
фиком f.
Сначала выразим g через f*. По определению если g (х) с
< X < оо, то X > 0 и
1 sup {{х, х*) — Xf* (х*)} = X sup {(Х-1х, х* > — /* (х*)} =
я* я*
= х/** (Х-М = х/ (Х-’х) = (М) (х).
С другой стороны, в силу того же подсчета, если 0 < X < оо и
(fk) (х) С 1, мы получим к g (х). Тогда
g(x) = inf {Х>0 |tfX) (х)< 1}.
Назовем эту функцию g оболочкой f.
Заметим, что, если f является индикаторной функцией замкну-
того выпуклого множества С, содержащего начало координат, тогда
g есть калибровочная функция С. С другой стороны, если f — кали-
бровочная функция С, то g — индикаторная функция С. Таким
образом, индикаторные функции и калибровочные функции мно-
жества С являются оболочками друг друга.
Вообще же имеется простая геометрическая связь между epi f
и epi g. Поскольку (Jk) (х) стремится к (Д)+) (х) при к | 0 (следст-
вие 8.5.2), мы получаем из последней формулы, что
epi g = {(х, X) | h (к, х) С 1}»
где
{(fk)(x), если Х>0,
(fO+)(x), если Х = 0,
+ оо, если к<0.
Мы показали в § 8, что Р = epi h есть замкнутый выпуклый конус
в Rn+2, и это наименьший такой конус, содержащий {(1, х, р) | р
f (х)}. Пересечение Р с гиперплоскостью {(X, х, р) | к = 1}, та-
ким образом, есть epi f. Приведенные выше вычисления показы-
вают, что пересечение Р с гиперплоскостью {(%, х, р) | р = 1} есть.
epi g. Но, кроме того, Р обязательно должен быть наименьшим
замкнутым выпуклым конусом, содержащим {(X, z, 1) | X^-g'(x)},
поскольку Р есть замыкание своего пересечения с открытым полу-
пространством {(X, х, р) | р > 0} (поскольку f 0). Таким образом,
fug принадлежат одному и тому же замкнутому выпуклому конусу
Р в 01п+2, причем при переходе от f Kg следует поменять местами X и р.
Теорема 15.5. Пусть f — неотрицательная замкнутая
выпуклая функция, равная нулю в начале координат, и g — оболочка
f. Тогда g является неотрицательной замкнутой выпуклой функцией,
равной нулю в начале координат, и f есть оболочка g. Далее, f° — g*
и f* = g°. Более того, f° и f* являются оболочками друг друга.
156
§ 16. ДВОЙСТВЕННЫЕ ОПЕРАЦИИ
Доказательство. Тот факт, что f есть оболочка g, ясен
из той симметрии, которая была объяснена только что. Таким обра-
зом, f = (g*)°. Отсюда следует, что /° = g*°° = g*. С другой сторо-
ны, из g — f*° следует, что g° = Оболочка f есть
Следствие 15.5.1. Если f — любая неотрицательная замк-
нутая выпуклая функция, равная нулю в начале координат, то
Доказательство: f°* = g§ ** = g = f*°.
Естественно, что множества уровня f не являются просто поля-
рами множеств уровня функции f и калибры k и k° в теореме 15.3
нельзя заменить произвольными полярными парами функций. Для
оболочки g функции f имеет место неравенство (/X) (х) р. тогда
и только тогда, когда (gp.) (х) Л (в предположении, что X > О
и р. > 0). Следовательно, для 0 < а < оо мы будем иметь
{лЦ£ W < а} = {х | (fa) (х) 1} = а {х | f (х) < а"1}.
Поскольку f есть оболочка /*, мы можем отсюда заключить,
{х* | f° (х*) < а-1} = а"1 {х* | (х*) < a}, Va > 0.
Отметим, что это множество есть среднее множество в неравенстве
теоремы 14.7.
§ 16. Двойственные операции
Допустим, мы совершили какие-то операции над выпуклыми
функциями Л.....fm, например сложили их. Спрашивается: как
выразить функцию, сопряженную к полученной функции, через
сопряженные функции /*, . . ., Подобные вопросы возникают
также и для множеств, и для функций при полярных соответствиях,
о которых только что шла речь. В большинстве случаев, если прене-
бречь деталями, связанными с замкнутостью, каждой операции соот-
ветствует вполне определенная двойственная операция, так что все
они распадаются на двойственные пары.
Начнем с самых простых случаев, уже рассмотренных в теоре-
ме 12.3. Пусть h — некоторая выпуклая функция на Rn. Если мы
сделаем параллельный перенос h на вектор а, т. е. если заменим h
функцией f (х) = h (х — а), то получим f* (х*) = h* (х*) + {а, х*).
С другой стороны, если мы заменим h на f (х) = h (х) + (х, а*),
то сопряженной к f будет функция f* (х*) = h* (х* — а*).
Для вещественного а сопряженной к h + а будет h* — a.
Для выпуклого множества С опорной функцией переноса С + а
будет функция 6* (х* | С) + (а, х*). Это, конечно, легко получить
и непосредственно, но следует отметить также, что этот результат
является частным случаем тех утверждений о сопряженных функ-
157
ГЛ. III. ДВОЙСТВЕННОСТЬ
циях, о которых мы только что говорили, ибо сопряженной к инди-
каторной функции является опорная функция, а перенос С есть то
же самое, что и перенос индикаторной функции.
Операции левого и правого скалярного умножения являются
двойственными друг к другу.
Теорема 16.1. Для любой собственной выпуклой функции f
имеем (X/)* = /*Х и (fty* — X/*, О X < оо.
Доказательство. Если X > 0, то этот результат автома-
тически следует из определений. Если X = 0, то записанные соот-
ношения просто выражают тот факт, что функция, тождественно
равная нулю, является сопряженной к индикаторной функции
б(. |0).а
Следствие 16.1.1. Для любого непустого выпуклого множе-
ства С выполнено равенство 6* (х* | ХС) = Х6* (х.* | С), 0 X < оо.
Доказательство. Следует положить f (х) = 6 (х | С).
Поляра выпуклого множества С есть множество уровня опорной
функции С, а именно
С° = {х*|6*(х*|С)<1}.
Таким образом, любой результат, касающийся опорной функции,
как, например, результат следствия 16.1.1, можно перевести на язык
поляр. 1
Следствие 16.1.2. Для любого непустого выпуклого множе-
ства С имеет место (ХС)°'= Х-1С° при 0 < X < оо.
Для того чтобы изучать двойственные операции, необходимо
вспомнить результаты § 9, касающиеся замыканий. Выразим преж-
де всего эти условия в двойственных терминах.
Лемма 16.2. Пусть L — подпространство пространства Н”
и f — собственная выпуклая функция. Подпространство L имеет
общие точки с множеством ri (dom f) тогда и только тогда, когда
не существует такого вектора х* 6 что (/*0+) (х*) 0 и
(_х*) > 0.
Доказательство. Коль скоро множество L является
относительно открытым, пересечение А П ri (dom f) пусто тогда
и только тогда, когда найдется гиперплоскость, собственно отделяю-
щая L от dom f (теорема 11.3). Это значит, что найдется такой век-
тор х* g 0V*, что
inf {<х, х*) | х 6 L} >• sup {(х, х*) | х 6 dom f},
sup {(х, х*) | х (:£}> inf {(х, x*) | x 6 dom f}
158
§ 16. ДВОЙСТВЕННЫЕ ОПЕРАЦИИ
(см. теорему 11.1). Верхняя и нижняя грани по dom f равны соот-
ветственно
(f*0+) (х*) и — (f*0+) Н*)
ввиду того, что /*0+ есть опорная функция dom f (теорема 13.3).
Нижняя грань по L равна нулю, если х* 6 L-Ч и — оо, если х* $
L-L. Таким образом два предельных условия на х* эквивалентны
таким условиям: х* С L-1-, 0 (f*0+) (х*) и 0> — (f*0+) (—х*).
Следствие 16.2.1. Пусть А — линейное преобразование
из R” в Пусть g — собственная выпуклая функция на Rm. Для
того чтобы не существовало такого вектора у* g Hm, что
А* у* « 0, (g*0+) («/*) < 0, (g*0+) (-//*) >X),
необходимо и достаточно, чтобы Ах С ri (dom g) по меньшей мере
для одного х £ ЙЛ
Доказательство. Для подпространства L = {Ах|х£
6 Нп} имеем
L.L = {г,* | А* у* = 0}.
Далее следует применить лемму к L и g.
Следствие 16.2.2. Пусть flt . . ., fn — собственные выпук-
лые функции на Для того чтобы не существовало векторов
х*, . . ., Хт, таких, что
X* + . . • + Хт = О,
(f*o+) (хТ) + ... + (/* 0+) (х*) < (X
(f*0+) (-хД) + . . . + (/Д0+) (-х*т) > О,
необходимо и достаточно, чтобы
ri (dom А) Г1 • • • fl ri (dom fm) #= 0.
Доказательство. Пусть символом Hmn обозначено про-
странство R” х ... х Rn = {х = (xi, . . ., хт) | xt € Rn). Ска-
лярное произведение в этом пространстве зададим так:
(х, X* ) === (Xf, Xj) | . . • |” (хт, Хт )•
Определим выпуклую функцию f на ^”1П следующим образом:
f Ui.....хт) = fi (х0 + ... +fm (xm).
Тогда сопряженной к ней функцией, очевидно, будет
/* (хТ, . . ., X») = ft (xf) + . . . + fa (X?.),
а рецессивный конус f* определяется формулой
(ГОД (xt, . . ., х*) = (ft0+) (хП + . . . + О+) (xS,).
159
гл. III. ДВОЙСТВЕННОСТЬ
Подпространство
L - {х | xt — ... = xm}
имеет следующее ортогональное дополнение:
М = {х* | х? + . . . + х£ = 0}.
Далее следует применить лемму к f и L.
Покажем теперь, что две функциональные операции, в которых
участвуют линейные операторы, определенные в § 5, являются
двойственными друг к другу.
Теорема 16.3. Пусть А есть линейное преобразование из Rn
в IRm. Для любой выпуклой функции f на
(Af)* = f*A*.
Для любой выпуклой функции g на имеет место формула
((cl g) Л)*- - cl (Л*£*).
Если существует вектор х, такой, что Ах £ ri (dom g), то операцию
замыкания в последней формуле можно опустить, т. е.
(^Л)* (х*) = inf {g* (у*) | А*у* — х*},
где для любого х* нижняя грань либо достигается, либо оказывается
равной +оо.
Доказательство. Первое соотношение доказывается
непосредственным подсчетом:
(Л/)* (у*) = sup {(у, у*} — inf / (х)} =
= sup^sup {{у, у*) — f (х)} = sup {(Ах, у*) — f (х)} —
== sup {(х, А*у*) — f (х)} = /* (А* у*).
X
Применив это равенство к Л* и g*, мы получим
(Л*^*)* = g**A** — (cl g) А,
и, следовательно,
((cl g) Л)* = (Л*£*)** = cl (4*g*).
Оставшаяся часть теоремы тривиальна, если функция g принимает
где-то значение —оо (ибо тогда в соответствии с теоремой 7.2 она
принимает значение —оо на всем множестве ri (dom g), откуда
следует, что g* и (gA)* тождественно равны 4-оо). Допустим
теперь, что g (у) > —оо для любого у и что Ах принадлежит
ri (dom g) для некоторого х. Из теоремы 9.5 следует тогда, что в этом
случае (cl g) А = cl (gA). Значит, ((cl g) Л)* = (gA)*. С другой
стороны, из следствия. 16.2.1 вытекает, что g* и А* удовлетворяют
160
§ 16. ДВОЙСТВЕННЫЕ ОПЕРАЦИИ
условиям теоремы 9.2. Эти условия приводят к тому, что cl (Д*£*) =
= A*g*, и гарантируют достижение нижней грани в определении
A*g*.
Следствие 16.3.1. Пусть А—линейное преобразование
из R” в Тогда для любого выпуклого множества С в
6* (у* | АС) = б* (Д*г/* | С), Чу* 6 OVA
Для любого выпуклого множества D в R,”1
б* (• | Д-1 (cl £»)) = cl (Д*б* (• | D)).
Если же существует элемент х, такой, что Ах Zri D, то операцию
замыкания в последней формуле можно опустить, и мы приходим
к формуле
б* (х* | А-ЧУ) = inf {б* (у* | D) | А*у* = х),
где для любого х* нижняя грань либо достигается, либо она рав-
на +оо.
Доказательство. Следует взять f (х) = б (х | С), g (у) =
= 6 {У I D).
Следствие 16.3.2. Пусть А—линейное преобразование
из в ffV”. Тогда для любого выпуклого множества С в RA
(ДС)° = А*-1 (С°).
Для любого выпуклого множества D в 5V” имеет место формула '
(Д-1 (cl D))° = cl (Д* (D0)).
Если же существует такой элемент х, для которого Ах 6 ri D, то
в последней формуле операцию замыкания можно опустить.
Доказательство немедленно вытекает из предыдущего
следствия.
Далее, в следствии 19.3.1, мы покажем, что если g является
«полиэдральной» функцией (это означает, что epi g есть полиэдраль-
ное выпуклое множество), то условие Ах Е ri (dom g) в теореме 16.3
можно ослабить до следующего условия: Ах £ dom g. То, что
в общем случае условие об относительной внутренности является
существенным, можно усмотреть из примеров в начале § 9.
В качестве иллюстрации к теореме 16.3 рассмотрим функцию
h (&) = inf f (g1( B2), € R,
$2
где f — выпуклая функция на плоскости IRA Тогда h — Af, где
А есть проекция (£ь g2) -* li- Сопряженный оператор А* таков:
В* -* (В*, 0), откуда мы получаем
h* (£?) = f* (5?, 0).
11 Р. Рокафеллар
161
ГЛ. III. ДВОЙСТВЕННОСТЬ
В качестве другого примера рассмотрим выпуклую функцию h
на Rn, имеющую следующий вид:
h (х) = gi ({аъ х)) + . . . + gm ((ат, х)),
где at, . . ., ат — элементы из Rm, a git . . ., gm — замкнутые
собственные выпуклые функции одного вещественного переменного.
Для того чтобы определить функцию, сопряженную к функции h,
заметим, что h = gA, где А — линейное преобразование
х-> ((at, х).....(ат, х)),
a g — замкнутая собственная выпуклая функция на OV", опреде-
ленная следующим образом:
g (у) = gi (П1) + • • • + gm (Пт) ДЛЯ у = (Л1......Пт)-
Сопряженный оператор А* задает линейное преобразование
У* =? (п!.....Нт) -* П*«1 + • • • + Т|т«т-
Очевидно, что
g* (У*) = gA (П?) + • • • + gm (Пт)-
Таким образом, (A*g*) (х*) для любого х* 6 есть нижняя
грань суммы
gi (П1) + • • • + (Пт)
по всем наборам вещественных чисел т]*> • • -, Пт, таким, что
П1Я1 + • • • + ПтОт = X*.
В силу теоремы 16.3 функция, сопряженная к h, является замыка-
нием этой выпуклой функции A*g*. Если существует элемент
х С Яп, такой, что
(а}, х) gri (doing,) для i— 1,..., tn,
нижняя грань в определении (4*g*) (х*) достигается для любого х*
при некотором выборе т]*, . . ., ц™, и мы получаем просто, что
h* - A*g*.
Отметим, что в том случае, когда в теореме 16.3 операцию замы-
кания можно опустить, формула (gA)* = A*g* для любого х\€
дает
sup {(х, х*) — g (Лх) | х 6 R.n} = inf {g* (у*) | А*у* = х* }.
Таким образом, теорема 16.3 вскрывает нетривиальные связи между
двумя различными экстремальными проблемами. Подобные же
результаты мы получим в теоремах 16.4 и 16.5 ниже. Происхожде-
ние и анализ такого рода «inf = 5пр»-формул составляет предмет
общей теории двойственности экстремальных задач. Речь об этом
пойдет в § 30 и § 31.
162
§ 16. ДВОЙСТВЕННЫЕ ОПЕРАЦИИ
Покажем теперь, что операции сложения и инфимальной конво-
люции выпуклых функций двойственны друг к другу. Пожалуй,
это наиболее важная пара двойственных операций в приложениях
к экстремальным задачам.
Теорема 16.4. Пусть fi, . . ., fm — собственные выпуклые
функции в Rm. Тогда
(fi □ f2 □ • • • □ fm)* = ft + • • • + ftn,
(cl fi + Cl f2 + . . . + cl fm)* = cl (/!□... □ f*m).
Если множества ri (dom ft), i = 1, . . ., m, имеют общую точку,
то операцию замыкания во второй формуле можно опустить, и мы
получаем
(А + • • • + fm)* = inf {ft (xt) + ... + f*m (xii) | x* + ... + x*m = x*},
где нижняя грань достигается для любого х*.
Доказательство. По определению
(fl □ • • • □ fm)*(x*) = SUp {(%, X*)— inf {fi(X!)+. •-+fm(xm)}=
= sup sup {(X,X*>—fi(Xi)— . . .— fm(Xm)} =
x X14-...
= x SUP X + • • • + ~
-fl(Xi)- . . . -fm(Xm)} = f?(X*)+ . . . + f »(**)•
Отсюда вытекает, что
(ftO ... □fm)* = ft*+...+f^=Clf1+...+clfm
и, следовательно,
(cl 4-... + cl fm)* = (f* □ ... □ fm)** = cl (f* □ ... Ш*т).
Если же множества ri (dom ft) имеют общую точку, то в силу теоре-
мы 9.3 множества cl fi + . • • + cl fm и cl (fi + . • • + fm) совпа-
дают. Но сопряженная к последней функции есть(Д + . . . + fm)*-
С другой стороны, следствие 16.2.2 утверждает, что при том же
самом условии относительно пересечения функции ft, •••, fm
удовлетворяет предположениям следствия 9.2.1, из которого выте-
кает, что функция f* □ . . . □ fm является замкнутой, а нижняя
грань в определении f* □ . . . □ f™ всегда достигается.
Следствие 16.4.1. Пусть С1г . . ., Ст — непустые выпук-
лые множества в Rn. Тогда
6* (• | Ci + . . . + Ст) = 6* (• | Ci) + . . . + 6* (• | Ст)
б* (• | cl Ci П ... Л cl Ст) = cl (6* (• | Cf) □ ... □ 6* (• | Ст)).
163
11*
ГЛ. III. ДВОЙСТВЕННОСТЬ
Если множества ri Ct, i = 1, . . ., т, имеют общие точки, опера-
цию замыкания во второй формуле можно отбросить, и мы получим
S* (х* I Ci П • • • 0 Ст) = .1
= inf {б* (х? I Ct) + . . . + 6* (х*т I Ст) | 4 + . . . + х*т = X*}, ’
где для любого х* нижняя грань достигается.
Доказательство. Следует положить = б (• | Cf).
Следствие 16.4.2. Пусть Ki, -, Кт — непустые выпук-
лые конусы в Нп. Тогда |
(К1 + • • • + Кт)° = К[ П • • • П К°т,
(cl Ki П • • • П cl Кт)° = с! (К: + . .. + К°т).
Если конусы ri К, i = 1» • • •, пг, имеют общие точки, то в послед-
ней формуле операцию замыкания можно опустить.
Доказательство. Следует применить теорему к ft =
= б ( • | Ki)- В силу того, что ft = б (• | К1) (это мы объясняли
в начале § 14), мы сразу получаем требуемый результат.
Важное усиление последней части теоремы 16.4 для случая, ;
когда некоторые функции являются полиэдральными, будет полу- |
чено далее в теореме 20.1. |
Применим теорему 16.4 к вычислению функции, сопряженной
к функции
f (х) = d (х, С) = inf {| х — у | | у 6 С),
где С — заданное непустое выпуклое множество. Как мы упоми- i
нали после теоремы 5.4, имеет место формула / = А □ f2, где
А (х) = | х |, А (х) = б (х | С).
Таким образом,
6* (х* | С), если | х* | 1,
+ оо в остальных случаях.
В качестве подобного примера, важного в теории аппроксимации,
рассмотрим функцию
f (х) = inf {II х — Ziai — ... — tmam ||оо |
где ai, . . ., ат — данные элементы из Ип и |
|| х | |оо = max {|^| I j = 1, .... п} для х = (£ь . . |л). I
Здесь f = fi □ fz, где |
fi (х) = II х ||оо, fz (х) = б (х | L). I
f*(x*) = f*(x*) + A*(x) =
164
§ 16. ДВОЙСТВЕННЫЕ ОПЕРАЦИИ
Подпространство L есть подпространство в R”, порожденное векто-
рами ai.....ат. Поскольку Д есть опорная функция множества
D = {х* = (I?, .... I I 5? I + . . • + I & К 1},
функция ft является индикаторной функцией D (теорема 13.2).
С другой стороны, есть индикаторная функция ортогонального
дополнения
,£Д = {х* |(х*, «0 = О, 1 = 1, . . т}.
Таким образом, функция /*, которая по теореме 16.4 равна
f* + fl, является индикаторной функцией D Q L-L. Отсюда сле-
дует, что сама функция f является опорной функцией полиэдраль-
ного выпуклого множества D Q £Д.
Проиллюстрируем вторую часть теоремы 16.4, вычислив функ-
цию, сопряженную к функции
(h(x), если х>0,
/ W — I .(-оо, если х о,
где h — заданная собственная замкнутая выпуклая функция на Rn.
Мы имеем f = h + 6 (• | К), где /С — неотрицательный ортант
в R". Сопряженной функцией к функции 6 (• | /0 по теореме 14.1
является индикаторная функция полярного конуса К°, который
есть не что иное, как —К, т. е. неположительный ортант. В силу
теоремы 16.4 функция f* есть замыкание выпуклой функции
g = ft* П б (. | -К),
где функция g определяется так:
g (х*) = inf {ft* (z*) | z* x* }.
Если ri (dom h) имеет общие точки с положительным ортантом ri К,
мы получаем формулу
f* (х*) = min {ft* (z*) | z* х* }.
В дальнейшем — см. теорему 20.1.— мы увидим, что в силу того,
что /С является полиэдральным выпуклым множеством, условие
пересечения ri (dom ft) с ri К. может быть заменено условием пере-
сечения ri (dom h) с самим неотрицательным ортантом К.
В качестве последнего примера использования теоремы 16.4
Для определения сопряженных функций подсчитаем сопряженную
функцию для следующей важной функции:
h log 51 ~h • • • "i" log Bn, если Вj О
для /=1, п, и В1+ .. .+Bn= 1,
+ оо в остальных случаях
165
ГЛ. III. ДВОЙСТВЕННОСТЬ
(где 0 log 0 = 0). Заметим, что f является замкнутой собственной
выпуклой функцией на R.n, ибо
f (%) = g (х) + S (х | С),
где
С = {х = (й.........gn) | + . . . + = 1},
g (x) = k (Ы + . . . + k (U
glogg
k (£)=< 0
+ °°
для
для
для
g>0,
1 = 0,
g<0.
Относительные внутренности эффективных функций g и 6 (• | С)
имеют непустое пересечение, так что в силу последней части теоре-
мы 16.4 мы получаем
f* = [g + б (• | QJ* = g* □ 6 (• | С)* = g* □ б* (• | С);
другими словами,
f* (х*) = inf {g* (х* — у*) + б* (у* | С)},
у*
где для любого х* нижняя грань достигается для некоторого у*.
Очевидно, что
g* (х*) = ft* (й) + . . . + ft* (&).
Элементарный подсчет показывает, что
k* (£♦) = eV-i.
С другой стороны,
( Л, если х*<Д(1, ..1) для некоторого XgR,
б (х* I С) — {
' 1 ' I +оо в остальных случаях.
Таким образом,
f* (x*) = min {X +3
xeIR- 3=1
Этот минимум легко сосчитать, взяв производную по X и приравняв
ее нулю. В итоге получаем следующую формулу:
/* (х*) = log (е& + . . . + ё&).
Тот факт, что двойственность есть операция, меняющая порядок,
приводит к двойственности операции поточечной верхней грани
и операции взятия выпуклой оболочки.
Теорема 16.5. Пусть fi — собственная выпуклая функция
на для любого i £ I (где / — произвольное множество индексов).
Тогда
(conv {ft | i € /})* = sup {ft | i E I},
(sup {cl fi | i E /})* = cl (conv {ft | i € /})•
166
§ 16. ДВОЙСТВЕННЫЕ ОПЕРАЦИИ
Если I есть конечное множество и все множества cl (dom ft) = С
одинаковы (как, например, в случае, когда все функции ft конечны
на всем пространстве IRn), то операцию замыкания в последней
формуле можно опустить. Более того, в этом случае
(sup {fi | i G /})* = inf {3 Uft (x?)},
где для любого x* нижняя грань (взятая по всем представлениям х*
в виде линейной комбинации 3 XjX*) достигается.
i£I
Доказательство. Пусть f = conv {fi | i G I}- Элементы
(x*, p*) множества epi f* соответствуют аффинным функциям h =
= (•, x*)— p*, таким, что h f. Эти функции h удовлетворяют
неравенству h^.ft, Vi £ I. Неравенство p* f* (x*) имеет место
тогда и только тогда, когда р* ft (х*) для любого i, что доказы-
вает первую формулу. Применив эту формулу к ft, мы получим
(conv (ft | i G /})* = sup {ft* | i G /} = sup {cl ft | i G /},
и, следовательно,
(sup {cl ft | i G /})* = (conv {ft | i G /})** = cl (conv {ft I i G /})•
Если же существует точка, общая для всех ri (dom ft), где верхняя
грань по ft является конечной, мы получаем в силу теоремы 9.4
(sup {cl fi | i G /})* = (cl (sup {fi | i G /}))* = (sup {ft | i G /})*•
Это выполняется, в частности, тогда, когда / является конечным
множеством и cl (dom ft) = С для любого i. В последнем случае
опорные функции множеств dom ft, являющиеся рецессивными
конусами функций ftO+ (теорема 13.3), совпадают с б* (• | С),
откуда в силу следствия 9.8.3 conv {ft | i G /} является замкнутым
множеством и задается описанной формулой с нижней гранью.
Следствие 16.5.1. Пусть Ci — непустое выпуклое множе-
ство в Нп для любого i £ I (где I — индексное множество). Тогда
опорная функция выпуклой оболочки D объединения множеств Ct
задается формулой
6* (. | D)=sup {6*(- |Сг) 11 G/},
в то время как опорная функция пересечения С множеств cl Сг опре-
деляется формулой
б* (• | С) = cl (conv {б* (• | Ci) | i G /}).
Доказательство. Следует взять ft = б (• | Сг).
Следствие 16.5.2. Пусть Ct — выпуклые множества в R”
при любом i G I (где I — индексное множество). Тогда
(conv {Сг | i G 1}У = П {Cl 11' G /},
(П {cl Ct 11 G /})° = cl (conv {Cl | i G /}).
167
ГЛ. III. ДВОЙСТВЕННОСТЬ
Доказательство. Эти факты, очевидно, вытекают из
предыдущего следствия. Кроме того, они же следуют непосред-
ственно из того, что полярное соответствие меняет порядок.
Иллюстрацией теоремы 16.5 может служить вычисление функ-
ции, сопряженной к функции
f (х) = max {| х — at | | i = 1, . . ., т},
где аь . . ., аго — заданные элементы в Зп. Здесь f есть поточечная
верхняя грань выпуклых функций
Л (х) = I х — «г |, i = 1, . . ., т,
сопряженные к которым таковы: -
f?(x*) = 6(х* |В) +(ah х*>,
где В — единичный евклидов шар. Коль скоро функции Д имеют
одинаковое эффективное множество, а именно все пространство !ftn,
в силу последней части теоремы 16.5 мы получаем, что Vx* f* (х*)
есть минимум
^*1 Х1 ) 4“ . . . “1“ (йуд, Xftj ),
взятый по всем х* и Хг, удовлетворяющим условиям
^1Х* + • • • + Кпхт = X*,
|х* |^1, Лг>0, %1 + ... + Ьи= 1.
ГЛАВА IV
Представления и неравенства
§ 17. Теорема Каратеодори
Если S является подмножеством[в R,n, то'выпуклая оболочка S
получается, если взять всевозможные выпуклые комбинации элемен-
тов из S. По классической теореме Каратеодори нет нужды брать
комбинации, включающие более чем п + 1 элемент. Можно огра-
ничиться рассмотрением выпуклых комбинаций вида + . . .
. . . + ^тХ-т, где т п + 1 (или даже таких комбинаций, где
т = п + 1, если не требовать, чтобы векторы Х( были различны).
Теорема Каратеодори является важнейшим результатом конеч-
номерного выпуклого анализа. Она стоит у истоков многих других
теорем, связанных с понятием размерности. Мы используем ее
в § 21 при доказательстве теоремы Хелли, где речь идет о пере-
сечениях выпуклых множеств, а также при доказательстве различ-
ных результатов о бесконечных системах линейных неравенств.
Для того чтобы дать формулировку теоремы Каратеодори в
наиболее общей форме, которая охватывала бы случай выпуклых
конусов и других неограниченных множеств, мы рассмотрим вы-
пуклые оболочки множеств S, состоящих как из точек, так и из
направлений (т. е. бесконечно удаленных точек).
Пусть So — множество точек в Ж", Si — множество направле-
ний в (§ 8). Определим выпуклую оболочку conv S множества
5 = So U Si как наименьшее выпуклое множество С в Rn, такое,
что С So и все направления Si являются рецессивными в С.
Легко понять, что такое выпуклое множество С существует. Дей-
ствительно,
С = conv (So + ray Si) = conv So + cone Si,
где ray Si состоит из начала координат и всех векторов, направле-
ния которых принадлежат Si, и
cone Si = conv (ray Si),
т. e. cone Si является выпуклым конусом, порожденным всеми
векторами, направления которых принадлежат Si. Алгебраически
169
ГЛ. IV. ПРЕДСТАВЛЕНИЯ.и НЕРАВЕНСТВА
вектор х принадлежит conv S тогда и только тогда, когда его можно
представить в виде
х = XiXi + . . . + Kkxk + + . . . +
где Xi, . . xk —5 векторы из So, a xft+i, . . xm —произвольные
векторы, имеющие направления из Si (1 k т), все коэффи-
циенты X; неотрицательны и Xi + . . . + = 1- Назовем такой
вектор х выпуклой комбинацией т точек и направлений из множе-
ства S. Такие выпуклые комбинации соответствуют неотрицатель-
ным линейным комбинациям
^1 (1, Х1) + . . . + (1, Xft) + (0, -Kfc+l) 4* • • • 4“ Кп (0> хт)
в Rn+1, расположенным в гиперплоскости Н — {(1, х) | х С R-n}.
Таким образом, другой способ получить conv S состоит в том,
чтобы взять пересечение гиперплоскости Н с выпуклым конусом
в Kn+1, порожденным множеством S', где S' состоит из всех векто-
ров в Hn+1 вида (1, х) с х G So или вида (0, х) с х С SJ, причем SJ —
произвольное подмножество в Rn, такое, что множество направле-
ний векторов из S^ совпадает с Si.
Выпуклый конус, порожденный множеством Т eft”, можно
также рассматривать как выпуклую оболочку множества S, состоя-
щего из начала координат и всех направлений вдоль векторов из Т.
Выпуклая комбинация m элементов множества S является выпук-
лой комбинацией точки 0 и m — 1 направлений из S и, следоратель-
но, является просто неотрицательной линейной комбинацией m — 1
векторов из Т.
Аффинная оболочка aff S множества, состоящего из точек
и направлений в Нп, по самому ее смыслу должна, конечно, совпа-
дать с aff (conv S), т. е. быть наименьшим аффинным множеством,
содержащим все точки из S и все рецессивные направления множе-
ства S. Очевидно, что если S состоит лишь из направлений, то
aff S = conv S = 0. Назовем множество S аффинно независимым,
если dim (aff S) = m — 1, где m — общее число точек и направ-
лений в S. Для непустого множества S это условие означает, что
S содержит по крайней мере одну точку и что векторы
(1, х±), . . ., (1, х^), (0, Xfc-f-i), • (О, хт)
линейно независимы в Rn+1, где х4, . . xk — точки из S,
a xft+i......хт — произвольные векторы, направления которых
являются отличными друг от друга направлениями из S.
Под обобщенным т-мерным симплексом мы будем понимать
множество, являющееся выпуклой оболочкой т + 1 аффинно
независимых точек и направлений, причем эти точки будут назы-
ваться обычными вершинами симплекса, а направления —верши-
нами в бесконечности. Таким образом, одномерными обобщенными
симплексами являются отрезки прямой и замкнутые лучи. Дву-
170
5 17. ТЕОРЕМА КАРАТЕОДОРИ
мерными обобщенными симплексами являются треугольники, замк-
нутые полосы (выпуклые оболочки пар различных параллельных
замкнутых лучей) и замкнутые квадранты (выпуклые оболочки пар '
различных замкнутых лучей с общей начальной точкой).
Обобщенный /n-мерный симплекс с одной обычной вершиной
и т — 1 вершинами в'бесконечности называется tn-мерным (косым)
ортантом. Понятно, что m-мерный ортант в И” является образом
неотрицательного ортанта в И™ при взаимно однозначном аффин-
ном отображении из в RA Все эти ортанты являются замкнуты-
ми множествами, так как неотрицательный ортант в R™ есть замкну-
тое множество.
Вообще любой обобщённый /n-мерный симплекс в R” замкнут,
так как такое множество отождествляется с пересечением (т + 1)-
мерного ортанта в СЧ.”+1 и гиперплоскости {(1, х) |xgRn), как
это указано выше.
Теорема 17.1 (теорема Каратеодори). Пусть S — произ-
вольное множество точек и направлений в Жп и С = conv S. Тогда
х 6 S в том и только том случае, когда х можно представить в виде
выпуклой комбинации п + 1 точек и направлений из S (не обяза-
тельно различных). Фактически С есть объединение всех обобщенных
d-мерных симплексов с вершинами из S, где d = dim С.
Доказательство. Пусть So — множество точек из S,
51 — множество направлений из S, S^ — совокупность таких
векторов в Нп, что множество направлений этих векторов совпа-
дает с Si, S' — подмножество в Rn+1, состоящее из всех векторов
вида (1, х) с х б 50 или вида (0, х)сх( SJ. Пусть К — выпуклый
конус, порожденный множеством S'. Как указано выше, conv S
можно отождествить с пересечением конуса /С и гиперплоскости
{(1, х) |х£Лп}. Рассмотрев теорему применительно к данному
случаю в R,n+1, мы видим, что достаточно показать, что любой
ненулевой вектор у £ К., который является неотрицательной линей-
ной комбинацией элементов множества S', можно представить как
неотрицательную линейную комбинацию d + 1 линейно незави-
симых векторов из S', где d + 1 — размерность К (которая равна
размерности Подпространства Hn+1, порожденного множеством S').
Эти соображения носят алгебраический характер и не зависят от
соотношения между S' и S. Для данного у £ К пусть yit . . ., ут —
такие векторы из S', что у = Xii/i + . . . + Ктут, где коэффи-
циенты Х; неотрицательны. Предполагая, что векторы yi линейно
зависимы, мы можем найти скаляры щ, . . ., pm, по крайней мере
один из которых положителен, такие, что p.iZ/i + . . . + у.тут = 0.
Пусть X — наибольший скаляр, такой, что Хщ Хг для i = 1, ...
. . ., т, и Xi = Хг — Хрг. Тогда
кdh + • . . + Xmt/m = ^dh + . . . + КпУтп —
~ (141/1 + • • • + УтУт) = У-
171
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
В силу выбора % новые коэффициенты К неотрицательны и по
меньшей мере один из них равен нулю. Таким образом, мы пред-
ставили у в виде неотрицательной линейной комбинации меньшего
чем т числа элементов из S'. Если эти оставшиеся элементы не
являются линейно независимыми, мы можем повторить рассуждение
и исключить новые элементы. После конечного числа шагов мы
получим выражение у в виде неотрицательной линейной комбина-
ции линейно независимых векторов Zi, . . ., zr из S'. Тогда г
d + 1 по определению d + 1.
Если мы хотим получить базис подпространства, порожденного
множеством S', можно выбрать дополнительные векторы zr+i, . . .
. . ., zd+i из S'. При этом мы получаем нужное выражение для у,
прибавляя член Ozr+i + . . . + Ozd+i к линейной комбинации век-
торов Zi....zr.
Следствие 17.1.1. Пусть {Сг | i С 7} — произвольное семей-
ство выпуклых множеств в Rn и С — выпуклая оболочка объединения
множеств этого семейства. Тогда любую тючку из С можно пред-
ставить в виде выпуклой комбинации п + 1 или меньшего числа
аффинно независимых точек, принадлежащих различным Ct.
Доказательство. По теореме каждую точку х (Е С можно
представить в виде выпуклой комбинации Хохо + Xdxd, где
х0, . . ., xd — линейно независимые точки в объединении множеств
семейства и d = dim С п. Члены с нулевыми коэффициентами
в этом выражении можно опустить. Если две точки, например х0
и х1у принадлежат одному множеству Ct, то соответствующий член
Хохо + KiXi можно заменить на рг/, где р = Хо + и
у = (Мр) х0 + (%i/p) Xi € С(.
Точка у аффинно независима от х2, . xd. Это означает, что
выражение для х можно привести к такому виду, что точки, входя-
щие в это выражение, принадлежат разным множествам семей-
ства.
Следствие 17.1.2. Пусть {С,- | i € 1} — произвольное семей-
ство непустых выпуклых множеств в Нп и К — выпуклый конус,
порожденный объединением множеств семейства. Тогда любой нену-
левой вектор из К можно представить в виде неотрицательной
линейной комбинации п или меньшего числа линейно независимых
векторов, принадлежащих различным множествам Ct.
Доказательство. Возьмем в качестве множества S из
теоремы множество, состоящее из начала координат и направлений
всех векторов из множеств Ci. По теореме каждая точка х 6 К при-
надлежит d-мерному ортанту с вершиной в начале координат, где
d = dim К. Таким образом, любой ненулевой элемент х (Е К можно
представить в виде неотрицательной линейной комбинации d линей-
172
§ 17. ТЕОРЕМА КАРАТЕОДОРИ
но независимых векторов из объединения множеств Ct. Это выраже-
ние можно, как это было сделано в доказательстве предыдущего
следствия, привести к такому виду, что никакие два вектора из
этого выражения не принадлежат одному и тому же С[.
Следствие 17.1.3. Пусть {ft \ i £ 1} — произвольное семей-
ство собственных выпуклых функций в R." и f — выпуклая оболочка
функций этого семейства. Тогда для любого вектора х
f (х) = inf {2 bift (xt) | 2 Ь(х( = x},
i£I i£I
где inf берется no всем представлениям x в виде выпуклой комбинации,
в которой не более чем п + 1 коэффициентов А.г отличны от нуля,
а векторы х{ с ненулевыми коэффициентами аффинно независимы.
Доказательство получается применением следствия
17.1.1 к множествам Ct = epi ft. При этом рассуждение прово-
дится такое же, как и в теореме 5.6, за исключением одного пункта.
Из следствия 17.1.1 мы получаем, что р. > f (х) тогда и только
тогда, когда существует такое а < р, что (х, а) принадлежит
симплексу с вершинами в множествах epi ft с различными индекса-
ми i. Теперь если (х, а) принадлежит симплексу в Rn+1, то суще-
ствует минимальное а' а, такое, что (х, а') принадлежит тому же
симплексу. Вершины симплекса, необходимые для представления
(х, а') в виде выпуклой комбинации, порождают подсимплекс,
не содержащий «вертикальных» отрезков прямой. Эти вершины
(У1, »1), • • •> (Ут> ат) обладают, таким образом, тем свойством,
что yi, ., ут аффинно независимы. Поэтому f (х) —минимум
таких величин а, что (х, а) можно представить в виде выпуклой
комбинации точек (yt, а^, . . ., (ут, ат) (принадлежащих множе-
ствам epi ft с различными индексами i)» причем z/i, ..., ут аффинно
независимы. Аффинная независимость yt...ут означает, конеч-
но, что /и n + 1, откуда сразу следует требуемая формула.
Нам хотелось бы обратить внимание на то, что следствие 17.1.3
включает с себя следствие 17.1.1 как частный случай (достаточно
взять в качестве ft индикаторные функции Сг).
Следствие 17.1.4. Пусть {ft | i g 1} — произвольное семей-
ство собственных выпуклых функций в R.n, и пусть f — наибольшая
положительно однородная выпуклая функция, такая, что f ft
для каждого i £ I, т. е. положительно однородная выпуклая функ-
ция, порожденная функцией conv {ft | i g I}. Тогда для любого
вектора х =/= О
f (х) = inf {2 btft (xt) | 3 ^iXi = x),
где inf езят no всем представлениям x в виде неотрицательной
линейной комбинации, в которой не более п коэффициентов отлич-
ны от нуля, а векторы хг с ненулевыми коэффициентами линейно
независимы.
173
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Доказательство. Это следствие доказывается точно
так же, как и предыдущие, только вместо следствия 17.1.1 к множе-
ствам Ci = epi ft применяется следствие 17.1.2. Выпуклый конус К,
порожденный множествами Ct, есть, конечно, epi f, при этом
его «нижняя граница» присоединяется, как в теореме 5.3.
Следствие 17.1.5. Пусть f — произвольная функция в 5V*
со значениями в (—оо, +оо). Тогда
(СОНУ f) (х) = inf { 2 hf {Xi) | 2 ^iXi = ,
1=1 1=1
где inf взят no всем представлениям x в виде выпуклой комбинации
п + 1 точек. {Формула справедлива также, если брать только
те комбинации, в которых п + 1 точек аффинно независимы.)
Доказательство. Применим теорему 17.1 к множеству
3 = epi f в R.n+1 и воспользуемся рассуждением из доказательства
следствия 17.1.3, чтобы понизить число точек с п + 2 до п + 1.
Следствие 17.1.6. Пусть f — произвольная функция в DV*
со значениями в (—оо, +°°], и пусть k — положительно однородная
выпуклая функция, порожденная функцией f {т. е. функцией conv /).
Тогда для любого вектора х Ф О
k (х) = inf { 2 Uf {xt) | = 2 ^iXi = x},
i=l 1=1
где inf взят no всем представлениям x в виде неотрицательной линей-
ной комбинации п векторов. {Формула справедлива также, если
брать только те выпуклые комбинации, в которых п векторов
линейно независимы.)
Доказательство. Применим теорему 17.1 к множеству S
в Rn+1, состоящему из начала координат и направлений векторов
из epi f, затем используем рассуждение из доказательства след-
ствия 17.1.3, чтобы уменьшить число векторов с п + 1 до п.
Одно из наиболее важных следствий теоремы Каратеодори
касается замкнутости выпуклых оболочек. Вообще говоря, выпук-
лая оболочка замкнутого множества точек не обязательно замкну-
та. Например, множество conv 3 не замкнуто, если 3 — объедине-
ние прямой в R2 и точки, не лежащей на этой прямой.
Теорема 17.2. Если 3 — ограниченное множество точек
в Н”, то cl (conv S) = conv (cl S). В частности, если 3 замкнуто
и ограничено, то conv 5 замкнуто и ограничено.
Доказательство. Пусть т = 2 {п + 1) и Q — совокуп-
ность всех векторов вида
(%о, . . ., Хп, Хо, • • xn) R ,
174
§ 17. 'ТЕОРЕМА КАРАТЕОДОРИ
таких, что компоненты С и х; (Е R” удовлетворяют соотно-
шениям
о, Хо + . . . + Xn = 1, Xj £ cl S.
Согласно теореме Каратеодори, образ множества Q при непрерыв-
ном отображении
0.’ (%о» • • •> ^п> х0> • • > хп) ~*" ^0х0 + • • . + Кгхп
из в BV* совпадает с conv (cl S). Если S ограничено в HV”, то-
Q замкнуто и ограничено в и, следовательно, образ множества Q
при отображении 0 также замкнут и ограничен. Тогда
conv (cl S) = cl (conv (cl S)) о cl (conv S).
Очевидно, что
cl (conv S) — conv (cl (conv S)) => conv (cl S),
откуда и следует перестановочность операций conv и cl.B
Следствие 17.2.1. Пусть S — непустое замкнутое огра-
ниченное множество в Rn, и f — непрерывная вещественная функ-
ция на S, причем f (х) = 4-оо для х $ S. Тогда conv f есть замкну-
тая собственная выпуклая функция.
Доказательство. Пусть F — график функции f, т. е..
подмножество в Rn+1, состоящее из точек вида (х, f (х)), х £ S.
Так как множество S замкнуто и ограничено, а функция f непре-
рывна, то график F замкнут и ограничен. Из теоремы следует, что»
множество conv F замкнуто и ограничено. Пусть К — вертикаль-
ный луч {(0, р) | р. 0} в Ип+1. Непустое выпуклое множества
К + conv F замкнуто (это легко показать элементарным рассуж-
дением, основанным на замкнутости К. и компактности conv Fy
и не содержит «вертикальных» прямых. Поэтому это множество
является надграфиком некоторой замкнутой собственной выпуклой,
функции. Эта функция должна совпадать с conv f.
Заметим, что при выполнении условий следствия 17.2.1 выпук-
лая функция h, определенная соотношением
h (z) = sup {<z, х) — f (x) | x £ S},
всюду конечна (и, следовательно, всюду непрерывна). След-
ствие 17.2.1 показывает, что функция, сопряженная к h,— это
функция conv f (теорема 12.2).
Теорема Каратеодори описывает выпуклую оболочку данного
множества S точек и направлений. Результат, двойственный теореме
Каратеодори, касается пересечения заданного множества полу-
пространств.
Любое замкнутое полупространство Н в Я" можно, конечно,,
представить вектором (х*, р*) из IKn+1 с х* #= О:
Я= {x£Rn | (х, х*)Сн*}-
175
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Предположим, что S*—непустое множество векторов (х*, р*)
в Rn+1, и рассмотрим замкнутое выпуклое множество С, являющееся
пересечением замкнутых полупространств, соответствующих этим
векторам, т. е.
С = {х | V (х*, р*) g S*, (х, х*) р*}.
Вообще говоря, кроме полупространств, соответствующих векторам
из S*, имеются и другие замкнутые полупространства, содержащие
множество С. Каким же образом векторы (х*, р*), представляю-
щие эти другие полупространства, можно выразить через векторы
из S*?
Векторы, представляющие замкнутые полупространства, содер-
жащие С, имеют вид (х*, р*), где х* =?= О, и принадлежат над-
графику опорной функции множества С, ибо неравенство (х, х*)
р* выполняется для каждого х £ С тогда и только тогда, когда
р* sup {(х, х* ) | х 6 С} = 6* (х* | С).
Для того чтобы функция k была опорной функцией выпуклого
множества D, содержащегося во всех полупространствах, задавае-
мых векторами из S*, необходимо и достаточно, чтобы k была поло-
жительно, однородной замкнутой выпуклой функцией в Rn и S* с
cepi# (теорема 13.2). Поскольку С — это самое большое из
таких множеств D, его опорная функция должна быть самой боль-
шой из таких функций. Отсюда следует, что б* (• | С) = cl f, где
/ — положительно однородная выпуклая функция, порожденная
множеством S*, т. е. функция, определенная соотношением
f (х*) = inf {р* | (х*, р*) G К},
где /С — выпуклый] конус в HVl+1, порожденный множеством S*
и «вертикальным» вектором (0, 1) в Rn+1. Предполагая, что С непу-
сто, имеем
epi б* (• | С) = epi (cl f) = cl (epi f) = cl K-
Поэтому произвольное замкнутое полупространство, содержащее С,
задается вектором (х*, р*), х* #= 0, предельным для множества
векторов из /С. С другой стороны, сами векторы из К можно выра-
зить через векторы, принадлежащие S*. Действительно, (х*, р*) 6
€ К тогда и только тогда, когда существуют векторы (х*, р*) 6 S*,
i = l......т, такие, что
(х*, р*) = К (0, 1) + Xi (х?, рГ) +. . . + (х^, pS,),
где коэффициенты Хо, . . ., %т неотрицательны. Это условие озна-
чает, что х* = Мх* + . . . + Zmx£ и ц* > Zip* + • • • + А.тр^.
Применяя теорему Каратеодори к множеству S, состоящему из
начала координат, направления «вверх» в Rn+1 и направлений век-
торов из S* (conv S = К), мы видим, что всегда можно взять
т п + 1. На самом деле нам нужно только «дно» симплексов
176
§ 17. ТЕОРЕМА КАРАТЕОДОРИ
в Rn+1, поэтому (как и в доказательстве следствия 17.1.3) всегда
можно взять т п. Отсюда следует, что в случае cl К = К мы
можем представить всякое замкнутое полупространство, содержа-
щее С, с помощью п или меньшего числа полупространств, соот-
ветствующих векторам из S*.
Вот один из примеров такого пр'едставления.
Теорема 17.3. Пусть S* — непустое замкнутое ограничен-
ное множество векторов (х*, р*) из R.n+1, и пусть
С = {х | V (х*. р*) 6 5*, (х, х* > С Р*}-
Предположим, что выпуклое множество С п-мерно. Для данного
вектора (х*, р*), х* 0, полупространство
Н = {х | <х, х*) ^ р* }
содержит С тогда и только тогда, когда существуют векторы
(х*, р*) € S* и коэффициенты 0, i = 1...............т, т п,
такие, что
Х1Х* + . . . + ХтХт = X*, Х1Р* + • • • + Кп^т р*.
Доказательство. Пусть D — объединение множества S*
и точки (0, 1) из Я1П+1, К — выпуклый конус, порожденный множе-
ством D. В силу предыдущего замечания достаточно показать, что
cl К = К- Поскольку D замкнуто и ограничено, conv D также
замкнуто и ограничено по теореме 17.2. Далее К совпадает с выпук-
лым конусом, порожденным conv D. Если начало координат Rn+1
не принадлежит conv D, то cl К = К, что и требуется (след-
ствие 9.6.1). Чтобы показать, что начало координат не принадлежит
conv D, мы воспользуемся тем, что множество С n-мерно. Из п-мер-
ности следует, что существует точка х 6 int С. Для этой точки х
мы имеем (х, х*> < р* при любых (х*, р*) 6 S*. Таким образом,
открытое нижнее полупространство
{(х*, р*) |(х, х*) — р* < 0}
в R,n+1 содержит D (а следовательно, и conv D), но не содержит
начала координат.
Условие теоремы 17.3 эквивалентно, конечно, существованию
п полупространств вида
Hi - {х I (х, х*) Си?}, (X?, Р?) е S*
(не обязательно различных) с тем свойством, что
Hi Л . . • л нп <=Н.
12 р. Рокафеллар
177
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
§ 18. Крайние точки и фасады
выпуклых множеств
Для данного множества С существуют различные множества S,
состоящие из точек, такие,. что С = conv S. Для любого такого
множества S точки из С можно представить в виде выпуклой комби-
нации точек из S, о которой говорится в теореме Каратеодори.
Можно назвать это «внутренним представлением» множества С
в отличие от «внешнего представления» С в виде пересечения неко-
торого семейства полупространств. Представления вида С — conv S
или С = cl (conv S) можно также рассматривать и в том случае,
когда S содержит не только точки, но и направления, как это было
в предыдущем параграфе. Очевидно, что, чем меньше множество S
или чем более специален его вид, тем более содержательно вну-
треннее представление С. В действительности, в наиболее важных
случаях существует минимальное множество S, такое, что С =
= conv S. Это следует из развиваемой ниже общей теории.
Фасадом выпуклого множества С называется такое выпуклое
подмножество С' czC, что концы каждого (замкнутого) прямо-
линейного отрезка в С, имеющего относительно внутреннюю точку
в С', принадлежат множеству С'. Пустое множество и само множе-
ство С являются фасадами С. Нульмерные фасады множества С
называются его крайними точками. Таким образом, точка х £ С
является крайней точкой множества С в том и только том случае,
когда нет другого способа представить х в виде линейной комби-
нации (1 — Л) у + Xz с у £С, z 6 С, 0 < % < 1, кроме как х =
= (1 — X) х + Хх.
Для выпуклых конусов понятие крайней точки не очень содержа-
тельно, поскольку единственным кандидатом в крайние точки
служит начало координат. Вместо этого рассматривают крайние
лучи, крайний луч — это фасад, являющийся лучом, исходящим
из начала координат. Вообще если С' — лучевой фасад выпуклого
множества С, назовем направление С' крайним направлением
множества С (крайней точкой множества С в бесконечности). Таким
образом, крайние лучи выпуклого конуса находятся во взаимно
однозначном соответствии с его крайними направлениями.
Если С' — множество точек, на которых некоторая линейная
функция h достигает своего максимума на С, то С' — фасад множе-
ства С. (Действительно, множество С' выпукло, ибо оно есть пере-
сечение С и {х | h (х) = а}, где а — величина максимума. Если
максимум достигается на относительной внутренности отрезка
прямой L <=С, то h должна быть постоянна на L, т. е. L сС.)
Фасад такого типа называется выступающим фасадом. Выступаю-
щие фасады С (отличные от самого множества С и, возможно, от
пустого множества) являются, таким образом, в точности множе-
ствами вида С П Н, где Н — гиперплоскость, опорная к множе-
178
5 18. КРАЙНИЕ ТОЧКИ И ФАСАДЫ
ству С. Выступающая точка С — это выступающий фасад, являю-
щийся точкой, т. е. такая точка, что существует гиперплоскость,
опорная к С в этой точке и не содержащая других точек множе-
ства С. Выступающие направления (выступающие точки в беско-
нечности) множества С мы определим как направления выступаю-
щих лучевых фасадов С. Выступающим лучом выпуклого конуса
называется выступающий фасад, являющийся лучом, исходящим
из начала координат. Заметим, что выступающая точка является
крайней точкой, выступающее направление — крайним направле-
нием, а выступающий луч — крайним лучом.
Фасады не все являются выступающими. Предположим, напри-
мер, что С — выпуклая оболочка тора, и пусть D — один из двух
замкнутых кругов, ограничивающих С. Относительная граница
точек круга D состоит из крайних, но не выступающих точек множе-
ства С. Эти точки являются, однако, выступающими точками мно-
жества D, a D — выступающим фасадом множества С.
Если С" — фасад множества С', а С'—фасад множества С,
то С" — фасад множества С. Это сразу следует из определения
фасада. В частности, крайняя точка или крайнее направление фасада
множества С являются крайней точкой и крайним направлением
самого множества С. Соответствующее утверждение для выступаю-
щих фасадов не верно, как показывает пример с тором.
Если С' — фасад множества С, a D — такое выпуклое множе-
ство, что С' <^D сС, то С' тем более является фасадом множе-
ства D. Если фасад С' является выступающим в С, то он также будет
выступающим и в множестве D.
Например, пусть С — замкнутое выпуклое множество, С' —
лучевой фасад множества С с начальной точкой х и D = х + 0+С.
Тогда С' c=D cz С (теорема 8.3), так что С — лучевой фасад
множества D и С' — х — крайний луч конуса 0+С. Отсюда сле-
дует, что любое крайнее направление множества С является также
крайним направлением для множества 0+С. Аналогично любое
выступающее направление множества С является выступающим,
направлением для 0+С. Обратное утверждение не имеет места.
Действительно, пусть С — параболическое выпуклое множество
в Л2, 0+С — луч в направлении оси С, в этом случае 0+С имеет
одно крайнее (на самом деле выступающее) направление, в то время
как само множество С не имеет лучевых фасадов, а следовательно,
никаких крайних выступающих направлений.
Из свойства, фигурирующего в определении «фасада», вытекает
более сильное свойство, касающееся произвольных выпуклых под-
множеств, а не только отрезков прямых.
Теорема 18.1. Пусть С — выпуклое множество, С' — фасад
множества С. Если выпуклое множество D в С таково, что ri D
пересекается с С', то D а С'.
179
12*
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Доказательство. Пусть z € С' П ri D. Если х —любая
точка из D, отличная от г, то существует точка у £ D, такая, что
точка z расположена в относительной внутренности отрезка прямой
между х и у. Поскольку С' — фасад, х и у должны принадлежать
С'. Итак, D cC'.i
Следствие 18.1.1. Если С' — фасад выпуклого множества С,
то С' = С П cl С'. В частности, множество С замкнуто, если
С замкнуто.
Доказательство. Возьмем D = С П cl С'.
Следствие 18.1.2. Если С' и С" — фасады выпуклого
множества С, причем ri С и ri С имеют общую точку, то С — С".
Доказательство. С" с С', потому что ri С" пересе-
кается с С'; аналогично С' аС", ибо ri С' пересекается с С".
Следствие 18.1.3. Пусть С — выпуклое множество, С' —
его фасад, отличный от самого множества С. Тогда С' содержится
в относительной границе множества С, так что dim С' <* dim С.
Доказательство. Если бы ri С пересекалось' с С,
мы бы имели С czC'. Утверждение о размерностях вытекает из
следствия 6.3.3.
Пусть F (С) — семейство всех фасадов выпуклого множества С,
рассматриваемое как частично упорядоченное по включению множе-
ство, F (С) имеет максимальный и минимальный элементы (Си 0).
Пересечение любого множества фасадов является фасадом, поэтому
всякая совокупность элементов из F (С) имеет наибольшую нижнюю
границу. Любая совокупность элементов имеет также и наименьшую
верхнюю границу (поскольку совокупность всех верхних границ
имеет наибольшую нижнюю границу). Таким образом, F (С) —
полная решетка. Любая строго убывающая последовательность
фасадов должна состоять из конечного числа элементов, потому что
размерности фасадов такой последовательности должны строго
убывать согласно следствию 18.1.3.
Теорема 18.2. Пусть С — непустое выпуклое множество,
U — семейство всех относительных внутренностей непустых фаса-
дов множества С. Тогда U является разбиением С, т. е. множества
из семейства U попарно не пересекаются, а их объединение совпа-
дает с С. Любое относительно открытое выпуклое подмножество
в С содержится в одном из множеств семейства U, и эти последние
являются максимальными относительно открытыми выпуклыми
подмножествами в С.
Доказательство. Относительные внутренности различ-
ных фасадов множества С попарно не пересекаются по след-
ствию 18.1.2. Для данного непустого относительно открытого
180
§ 18. КРАЙНИЙ ТОЧКИ И ФАСАДЫ
выпуклого подмножества D в С (D может состоять из одной-един-
ственной точки) обозначим через С' наименьший фасад множества С,
содержащий D (т. е. пересечение семейства фасадов, которые
содержат множество D). Если бы D содержалось в относительной
границе множества С', то существовала бы опорная к множеству С'
гиперплоскость Н, содержащая D, но не содержащая всего множе-
ства С' (теорема 11.6). Тогда D содержалось бы в выступающем
фасаде С" = С' П Н множества С, а этот выступающий фасад
был бы фасадом множества С и строго содержался бы в С. Таким
образом, D не может целиком содержаться в относительной границе
множества С' и должно пересекаться с ri С'. Отсюда следует, что
ri D с: ri С' (следствие 6.5.2). Но ri D = D. Итак, D содержится
в одном из множеств семейства U. Поскольку ни одно из множеств
этого семейства не содержится в другом множестве того же семей-
ства, мы можем заключить, что множества из U являются макси-
мальными относительно открытыми выпуклыми подмножествами
множества С и их объединение совпадает с С.1
Заметим, что если х и у — две различные точки из С, то отно-
сительно открытое выпуклое подмножество D а: С, содержащее
обе эти точки, существует тогда и только тогда, когда в множе-
стве С найдется отрезок прямой, в относительной внутренности
которого лежат обе точки. Если точки х и у удовлетворяют этому
условию или же х = у, мы будем писать х ~ у. Из теоремы сле-
дует, что ~ является соотношением эквивалентности на множе-
стве С, причем соответствующие классы эквивалентности совпадают
с относительными внутренностями непустых фасадов множества С;
Если С = conv S, то, согласно следующей теореме, существует
взаимно однозначное соответствие между фасадами множества С
и некоторыми подмножествами множества S.
Теорема 18.3. Пусть С = conv S, где S — некоторое
множество точек и направлений, и С' — непустой фасад множе-
ства С. Тогда С' = conv S', где S' состоит из тех входящих в S
точек, которые принадлежат С', и тех направлений из S, которые
являются рецессивными направлениями для С'.
Доказательство. По определению С' ю conv S'. Обрат-
но, пусть х — произвольная точка из С'. Докажем, что х 6 conv S'.
Поскольку х g conv S, существуют точки xlt . . ., xk из S и ненуле-
вые векторы Xfe+i, . . ., хт, направления которых принадлежат
множеству S (1 к т), такие, что
х = + . . . + kkxh + Xft+1xft+i + . . . -|- КтХт,
где Kt > 0 для i=l, . . ., /п и М + • • • + = 1 (§ 17). Пусть
О = conv S", где S" состоит из точек Xi, . . ., xh и направлений
xk+i, . . ., хт. Тогда х g ri D ввиду того, что все коэффициенты Хг
положительны (теорема 6.4). Следовательно, ri D пересекается
181
ГЛ. IV. ПРЕДСТАВЛЕНИЕ И НЕРАВЕНСТВА
с С'. По теореме 18.1 D <=С'. Таким образом, Xi, . . ., хк при-
надлежат С' и (в случае k < т) С' содержит лучи с направлениями
xk+1....хт. Эти направления, следовательно, являются рецес-
сивными направлениями множества cl С'. Они также являются
рецессивными направлениями множества С (поскольку они при-
надлежат S и С = conv S). А так как С' = С П cl С' по след-
ствию 18.1.1, эти направления являются рецессивными направле-
ниями для множества С'. Следовательно, S" <= S' и х £ conv £'.
Следствие 18.3.1. Предположим, что С = conv S, где
S — некоторое множество точек и направлений. Тогда любая край-
няя точка множества С принадлежит S. Если никакой луч из С не
содержит неограниченного множества точек из S (что имеет место,
в частности, в том случае, когда множество всех точек из S огра-
ничено), то всякое крайнее направление для С принадлежит S.
Доказательство; Следует рассмотреть фасад С' множе-
ства С, который состоит из одной точки или из одного луча.И
Разумеется, выпуклое множество С не имеет ни крайних точек,
ни крайних направлений, если его линейная размерность не равна
нулю. В этом случае, однако, С = Со + L, где L — линейное
подмножество С, а Со = С П ----выпуклое множество с нуле-
вой линейной размерностью. Фасады С' множества С находятся,
очевидно, во взаимно однозначном соответствии с фасадами
множества Со по формулам С' = + L, = С' П А-L. Таким
образом, при изучении фасадов достаточно в большинстве случаев
рассматривать лишь выпуклые множества с нулевой линейной
размерностью.
Обратимся теперь к вопросу о внутренних представлениях.
Зададимся, во-первых, вопросом, когда замкнутое выпуклое мно-
жество совпадает с выпуклой оболочкой своей относительной
границы? Это, очевидно, не так, когда С — аффинное множество
или замкнутая половина аффинного множества (пересечение аффин-
ного множества и замкнутого полупространства, не содержащего
этого множества, но имеющего с ним общую точку). Во всех дру-
гих случаях это верно. А^именно, справедлива следующая теорема.
Теорема 18.4. Пусть С — замкнутое выпуклое множество,
не являющееся аффинным множеством или замкнутой половиной
аффинного множества. Тогда любая точка относительной вну-
тренности С принадлежит некоторому отрезку прямой, соеди-
няющей две точки относительной границы множества С.
Доказательство. Пусть D — относительная граница
множества С. Так как С — неаффинное множество, D — непусто.
Покажем сначала, что D не может быть выпуклым. Если бы множе-
ство D было выпуклым, то существовала бы нетривиальная опорная
к множеству С гиперплоскость И зэ D (теорема 11.6). Пусть А —
182
§ 18. КРАЙНИЕ ТОЧКИ И ФАСАДЫ
соответствующее открытое полупространство, содержащее ri С,
но не пересекающееся с D. Поскольку С не совпадает с замкнутой
половиной aff А, должна существовать точка х £ А |"| aff А, такая,
что х $ ri С. Любой прямолинейный отрезок, соединяющий х с точ-
кой из ri С, должен пересекать С по отрезку, один из концов кото-
рого расположен в множестве D. Это противоречит тому, что множе-
ства А и D не пересекаются. Итак, множество D не выпукло и долж-
ны существовать такие две точки Xi и х2 из D, что отрезок, соеди-
няющий эти точки, содержит точку из ri С. Пусть М — прямая,
проходящая через и х2. Пересечение М и С должно совпадать
с прямолинейным отрезком, соединяющим точки Xi и х2, так как
если бы этот отрезок был длиннее, то или х2 принадлежали бы
ri С по теореме 6.1. Любая прямая, параллельная М, также должна
иметь (замкнутое) ограниченное пересечение с множеством С по
следствию 8.4.1. Таким образом, для данной точки у £ ri С прямая,
проходящая через у параллельно М, пересекает множество С
по отрезку, концы которого лежат в множестве D.
Сейчас мы получим фундаментальную теорему о представлении.
Она сформулирована для замкнутых выпуклых множеств нулевой ли-
нейной размерности, но имеется очевидное обобщение на замкнутые
выпуклые множества произвольной линейной размерности, как это
легко видно из приведенных выше замечаний.
Теорема 18.5. Пусть С —замкнутое выпуклое множество,
не содержащее прямых, и S — множество крайних точек и край-
них направлений множества С. Тогда С = conv S.
Доказательство (по индукции). Теорема тривиальна,
если dim С 1 (в этом случае С — пустое множество, точка,
замкнутый отрезок прямой или замкнутый луч). Пусть теорема
верна для всех замкнутых выпуклых множеств, размерность кото-
рых меньше некоторого т > 1, и пусть само множество С т-мерно.
По определению мы имеем Со conv S (так как точки из S при-
надлежат С, а направления из S являются рецессивными направ-
лениями множества С). Поскольку множество С не содержит пря-
мых и само не является лучом, оно совпадает с выпуклой оболоч-
кой своей относительной границы, согласно теореме 18.4. Поэтому
для того, чтобы показать, что С <= conv S, нам достаточно пока-
зать, что любая точка относительной границы множества при-
надлежит conv S. По теореме 18.2 точка х относительной границы
содержится в относительной внутренности некоторого фасада С,
отличного от самого множества С. Это множество С' замкнуто
по следствию 18.1.1 и имеет меньшую размерность, чем множе-
ство С, по следствию 18.1.3. Теорема справедлива для множества С'
по предположению индукции, поэтому х 6 conv S', где S' — множе-
ство крайних точек и крайних направлений множества С.
Поскольку S с S, мы получаем х £ conv S.
183
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Следствие 18.5.1. Всякое замкнутое ограниченное выпук-
лое множество есть выпуклая оболочка своих крайних точек.
Следствие 18.5.2. Пусть К — замкнутый выпуклый конус,
не совпадающий с началом координат и не содержащий прямых,
и Т — множество таких векторов из К, что каждый крайний луч
из К порожден некоторым х £ Т. Тогда К — выпуклый конус,
порожденный Т.
Доказательство. Сказать, что К — выпуклый конус,
порожденный множеством Т, это все равно, что сказать, что К =
= conv S, где S состоит из начала координат и направлений век-
торов из Т. В данном случае начало координат — единственная
крайняя точка множества /С, а направления векторов из Т —
крайние направления множества К-
Следствие 18.5.3. Всякое непустое замкнутое выпуклое
множество, не содержащее прямых, имеет по крайней мере одну
крайнюю точку.
Доказательство. Если бы множество S в теореме
состояло только из направлений, то conv S было бы пустым множе-
ством по определению.
Заметим, что множество S в теореме 18.5 минимально в том
смысле, что (по следствию 18.3.1) если С = conv S', где S' —
множество точек и направлений, причем никакой луч не содержит
неограниченного множества точек из S', то S' => S.
Множество крайних точек замкнутого ограниченного выпуклого
множества С не обязательно замкнуто. Пусть, например, Ci —
замкнутый круг в Н3, С2 — отрезок, перпендикулярный плоскости
круга, пересекающий его в точке относительной границы и деля-
щийся в точке пересечения пополам. Множество С = conv (С4 J С2)
замкнуто. Но совокупность крайних точек множества С состоит
из концов отрезка С2 и всей относительной границы круга
за исключением точки пересечения Ci и С2, и это множество не
замкнуто. .
С помощью следующей теоремы получают внутренние представ-
ления вида С = cl (conv S). Крайние точки заменяются высту-
пающими точками.
Теорема 18.6 (теорема Страшевича). Для любого замкну-
того выпуклого множества С множество его выступающих точек
образует плотное подмножество в множестве его крайних точек.
Таким образом, каждая крайняя точка является пределом некоторой
последовательности выступающих точек.
Доказательство. Пусть В — единичный евклидов шар.
Для любого а > 0 точки х с । х | < а, являющиеся крайними или
выступающими точками множества С, совпадают с крайними или
184
§ 18. КРАЙНИЕ ТОЧКИ И ФАСАДЫ
выступающими точками множества С Q аВ. Поэтому достаточно
доказать теорему в том случае, когда множество С ограничено
(и непусто). Пусть S — совокупность выступающих точек множе-
ства С. Конечно, S содержится в совокупности крайних точек
множества С и cl S сС. Мы должны показать, что любая крайняя
точка принадлежит cl S. Предположим, что крайняя точка х не
принадлежит cl S. Тогда х $ Со = conv (cl S) (следствие 18.3.1).
Поскольку Со замкнуто (теорема 17.2), существует замкнутое полу-
пространство Н, содержащее Со, но не содержащее х (теорема 11.5).
Мы построим выступающую точку р множества С, не лежащую
в Н, и это противоречие докажет теорему. Пусть е — внешняя
нормаль к И с | е | = 1, е — наименьшее положительное число,
такое, что (х — ее) 6 Я, и пусть у =х — X е для некоторого X > в.
Рассмотрим евклидов шар Во радиуса X с центром в точке у. Грани-
ца шара Во содержит х. Однако точки полупространства Н, не при-
надлежащие int Во, отстоят от точки х не менее чем на (2еХ)1/2,
как можно подсчитать с помощью теоремы Пифагора. Пусть теперь
X столь велико, что (2еХ)*/2 >- г, где г = sup | z — х | по z £С л Н.
Тогда С должно содержать точки, отстоящие от у не менее чем
на X (а именно х), но из точек С f] Н ни одна не удовлетворяет
этому условию. Выберем точку р £ С, которая максимизирует
величину | р — у | (т. е. точку множества С, наиболее удаленную
от у). Тогда р $ Н. Пусть Bt — евклидов шар с центром в точке у,
на границе которого лежит р. Гиперплоскость, опорная к В в точ-
ке р, не содержит других точек из В1( кроме р. Поскольку р £ С cz
с Bi, отсюда следует, что р — выступающая точка множества С.
Теорема 18.7. Пусть С — замкнутое выпуклое множество,
не содержащее прямых, и S —множество всех его выступающих
точек и выступающих направлений. Тогда С = cl (conv S).
Доказательство. Мы можем предположить, что С —
n-мерное множество вНп и что п^2(при n< 1 теорема тривиальна).
Поскольку S содержится в соответствующем множестве из тео-
ремы 18.5, мы получаем, что С cl (conv S). Далее, cl (conv S) —
замкнутое выпуклое множество, содержащее все крайние точки
множества С (теорема 18.6) и, следовательно, непустое (след-
ствие 18.5.3). Предположим, • что cl (conv S) не совпадает со всем
множеством С, и покажем, что предположение приводит к противо-
речию. По теореме 11.5 существует гиперплоскость Н, пересекаю-
щая С, но не пересекающая cl (conv S). Выпуклое множество
С П Н должно иметь по крайней мере одну крайнюю точку (след-
ствие 18.5.3) и, следовательно, по крайней мере одну выступающую
точку (теорема 18.6). Согласно определению выступающей точки,
в гиперплоскости Н существует (п — 2)-мерное аффинное множе-
ство М, пересекающееся с С (1 Н только в точке х. В частности,
это М не пересекает int С (#=0), так что по теореме 11.2 множество М
185
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
можно продолжить до гиперплоскости Н', не пересекающей int С.
Гиперплоскость Н' опорна к С, а С' = С П Н' — (замкнутый)
выступающий фасад множества С. Крайние и выступающие точки
множества С являются также крайними точками множества С
и, следовательно, принадлежат cl (conv S), но не принадлежат Н.
Гиперплоскость Н пересекает С' только в точке х. Поскольку х
не может быть выступающей точкой множества С', мы имеем {х} =
= Н fl ri С, а следовательно, dim С' = 1. По условию С' не может
быть прямой. Точно так же С' не может быть отрезком прямой,
соединяющим две точки, так как эти точки (будучи крайними точ-
ками множества С') принадлежали бы множеству S, вопреки тому,
что х $ conv S. Единственное, чем может быть множество С',—
это замкнутым лучом, начальная точка которого лежит в S. Направ-
ление С' принадлежит S, ибо это — выступающее направление
множества С по определению. Отсюда следует, что С' cz conv S,
в противоречии с тем, что х $ conv S.
Следствие 18.7.1. Пусть К — замкнутый выпуклый конус,
не совпадающий с началом координат и не содержащий прямых,
и пусть Т — множество таких векторов из К, что каждый высту-
пающий луч из К порожден некоторым х£Т. Тогда К — замыкание
выпуклого конуса, порожденного Т.
Выступающие точки замкнутого выпуклого множества С будут
охарактеризованы в следствии 25.1.3 как градиенты опорной функ-
ции множества С.
Двойственным к понятию выступающей точки является понятие
касательной гиперплоскости. Гиперплоскость И называется каса-
тельной к замкнутому выпуклому множеству С в точке х, если
Н — единственная опорная к множеству С в точке х гиперплоскость.
Касательным полупространством к множеству С называется опор-
ное полупространство, граница которого касается С в некоторой
точке. В дальнейшем, при рассмотрении вопросов дифференцируе-
мости выпуклых функций, мы увидим, что касательные гипер-
плоскости можно также определить с. помощью предельного пере-
хода, как в классическом анализе.
Следующая теорема о «внешнем» представлении может рассма-
триваться как двойственная к теореме 18.7, а также как усиление
теоремы 11.5.
Теорема 18.8. Каждое п-мерное замкнутое выпуклое мно-
жество С в W1 есть пересечение замкнутых полупространств, каса-
тельных к этому множеству.
Доказательство. Пусть G — надграфик опорной функ-
ции 6* (• | С). Это множество G есть замкнутый выпуклый конус
в Rn+1, не совпадающий с началом координат. Поскольку множе-
186
§ 19. ПОЛИЭДРАЛЬНЫЕ МНОЖЕСТВА И ФУНКЦИИ
ство С n-мерно, оно имеет непустую внутренность, так что
—6* (—х* | С) < б* (х* | С)
для каждого х* #= 0. Следовательно, множество G не может содер-
жать прямых, проходящих через начало координат. По след-
ствию 18.7.1 мы имеем G = cl (conv S), где S — объединение всех
выступающих лучей множества G. Отсюда следует, что линейные
функции (х, •), которые соответствуют точкам х € С и мажори-
руются функцией б* (• | С) (теорема 13.1),— это в точности линей-
ные функции, надграфики которых содержат каждый «неверти-
кальный» выступающий луч множества G. С другой стороны, С есть
пересечение всех тех полупространств {х |(х, х*) а}, для кото-
рых совокупность неотрицательных кратных вектора (х*, а) состав-
ляет «невертикальный» выступающий луч множества G. Последнее
условие означает, что существует невертикальная гиперплоскость,
опорная к множеству G (график некоторой линейной функции
{у, ->), которая пересекает Столько по лучу, порожденному векто-
ром (х*, а). Другими словами, существует у £ С, такое, что {у, х* )=
= б* (х*| С) = а, но {у, t/*)<6* (у*| С) для любого у*, не являю-
щегося неотрицательным кратным вектора х*. Это означает, что
полупространство {х|(х, х*)^а} касательно к С в точке у.
Таким образом, С есть пересечение всех таких полупространств.
§ 19. Полиэдральные выпуклые множества и функции
Полиэдральным выпуклым множеством в Rn называется множе-
ство, которое может быть получено как пересечение конечного
числа замкнутых полупространств, т. е. как множество решений
некоторой конечной системы неравенств вида
(х, Pi, i = 1, . . ., tn.
На самом деле, конечно, полиэдральным выпуклым множеством
будет и множество решений любой конечной смешанной системы
линейных уравнений и не обязательно строгих линейных нера-
венств, так как уравнение (х, b) = р можно всегда заменить двумя
неравенствами: (х, Ь) Р и (х, —Ь) —р. Всякое аффинное
множество (включая пустое множество и R.”) является полиэдраль-
ным (следствие 1.4.1).
Очевидно, что полиэдральное выпуклое множество является
конусом тогда и только тогда, когда оно может быть представлено
в виде пересечения конечного семейства замкнутых полупространств,
граничные гиперплоскости которых проходят через начало коор-
динат. Полиэдральный выпуклый конус есть, таким образом, множе-
ство решений некоторой конечной системы однородных (рг = 0)
нестрогих линейных неравенств.
Свойство полиэдр ал ьности выпуклого множества эквивалентно
конечности числа условий во внешнем представлении этого множе-
187
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
ства. Важную роль играет и двойственное свойство — конечность
числа условий во внутреннем представлении выпуклого множества.
Конечнопорожденным выпуклым множеством называется выпуклая
оболочка конечного числа точек и направлений (в смысле § 17).
Таким образом, С есть конечнопорожденное выпуклое множество
тогда и только тогда, когда существуют векторы . ., ат,
такие, что для некоторого целого k, 0 k /и, С состоит из всех
векторов вида
X = + . . . + + ^k+iak+l + • • • + Кпат>
причем
. -f- = 1, 0 для 1 = 1, ...» т.
Конечнопорожденные выпуклые множества, являющиеся кону-
сами,— это множества, которые можно представить в таком виде
при k — 0, т. е. не требуя, чтобы сумма некоторых коэффициентов
равнялась 1; при этом набор {ai, . . ., ат} называется множеством
образующих конуса. Конечнопорожденный выпуклый конус есть,
таким образом, выпуклая оболочка начала координат и конечного
числа направлений.
Ограниченные конечнопорожденные выпуклые множества, в том
числе симплексы, называются выпуклыми многогранниками или по-
литопами. Неограниченные конечнопорожденные выпуклые мно-
жества можно рассматривать как обобщенные выпуклые много-
гранники (обобщенные политопы), имеющие некоторые вершины
в бесконечности подобно обобщенным симплексам из § 17.
Оказывается, что полиэдральные выпуклые множества — это
в точности то же самое, что конечнопорожденные выпуклые мно-
жества. Этот классический результат является ярким примером
утверждения, совершенно очевидного с точки зрения геометриче-
ской интуиции, но имеющего важное алгебраическое содержание
и отнюдь не тривиально доказываемого. Доказательство, которое
мы дадим, основано на теории фасадов выпуклых множеств. Такой
подход к теореме вскрывает причины интуитивной убежденности
в ее справедливости. Возможно также и чисто алгебраическое*
доказательство, которое требует менее сложного технического аппа-
рата.
Теорема 19.1. Следующие свойства выпуклого множества
эквивалентны*.
(а) множество С полиэдрально*,
(Ь) множество С замкнуто и имеет конечное число фасадов*,
(с) множество С конечнопорожденно.
Доказательство, (а) =^> (Ь). Пусть Hi, . . ., Нт —
замкнутые полупространства, пересечение которых есть множе-
ство С, и С' — непустой фасад множества С. Для каждого i мно-
188
§ 19. ПОЛИЭДРАЛЬНЫЕ МНОЖЕСТВА И ФУНКЦИИ
жество ri С' должно содержаться в int Ht или в граничной гипер-
плоскости Mi полупространства Яг. Пусть D — пересечение конеч-
ного семейства, состоящего из относительно открытых выпуклых
множеств int Hi или Мь содержащих ri С'. Множество D является
выпуклым подмножеством в С, и оно относительно открыто (тео-
рема 6.5). Поскольку ri С' — максимальное относительно открытое
выпуклое подмножество в С (теорема 18.2), имеем ri С' = D. Суще-
ствует только конечное число пересечений вида D, а различные
фасады множества С имеют непересекающиеся относительные внут-
ренности (следствие 18.1.2); отсюда следует, что С может иметь
лишь конечное число фасадов.
(Ь) =Ф (с). Рассмотрим сначала случай, когда С не содержит
прямых. Согласно теореме 18.5, С есть выпуклая оболочка своих
крайних точек и крайних направлений. Поскольку у множества С
конечное число фасадов, оно имеет конечное число крайних точек
и крайних направлений. Следовательно, С — конечнопорожденное
множество. Предположим теперь, что С содержит прямые. Тогда
С = Со + L, где L — линейное подмножество пространства С,
а Со — замкнутое выпуклое множество, не содержащее прямых,
именно Со = С ПС-1-. Фасады множества Со имеют вид С, =
= С' П С-1, где С' — фасад множества С, так что Со имеет лишь
конечное число фасадов. Следовательно, Со — конечнопорожденное
множество. Пусть bit . . ., bm — базис пространства L. Любое х С С
можно представить в виде
х = Хо + Pi&i + . . . + llmbm + Pl (—bi) + . . . + Цт (—Ьт),
где x0 6 Co, pi 0 и p(: О для i = 1, . . ., m. Следовательно,
само множество С — конечнопорожденное. (с) =ф (Ь). Предположим,
что С = conv S, где S — конечное множество точек и направлений.
Мы можем по теореме Каратеодори 17.1 представить множество С
в виде объединения конечного числа обобщенных симплексов. Каж-
дый обобщенный симплекс — замкнутое множество; значит,
и С замкнуто. По теореме 18.3 существует взаимно однозначное
соответствие между фасадами множества С и определенными под-
множествами в S, поэтому С может иметь лишь конечное число
фасадов.
(Ь) => (а). Достаточно разобрать случай, когда С есть п-мерное
множество в R”. В этом случае С есть пересечение замкнутых
касательных полупространств (теорема 18.8). Если Н — граничная
гиперплоскость замкнутого касательного полупространства, то суще-
ствует такая точка х £ С, что Н — единственная опорная в точке х
к множеству С гиперплоскость. Таким образом, Н является един-
ственной опорной к С гиперплоскостью, проходящей через высту-
пающий фасад С О Н. Поскольку С имеет лишь конечное число
фасадов, отсюда следует, что это множество может иметь лишь
189
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
конечное число замкнутых касательных полупространств. Следо-
вательно, множество С полиэдрально.
Доказательство теоремы 19.1 показывает между прочим, что
фасад полиэдрального выпуклого множества — полиэдральное мно-
жество.
Следствие 19.1.1. Полиэдральное выпуклое множество
имеет конечное число крайних точек и крайних направлений.
Доказательство. Это немедленно вытекает из того, что
крайние точки и крайние направления соответствуют фасадам,
являющимся точками и лучами соответственно.
Полиэдральной выпуклой функцией называется выпуклая функ-
ция, надграфик которой — полиэдральное множество. Простейшими
примерами таких функций являются аффинные (или частично
аффинные) функции и индикаторные функции полиэдральных выпук-
лых множеств (скажем, неотрицательного ортанта в Нп).
В общем случае, для того чтобы f была полиэдральной выпуклой
функцией в Ип, ее надграфик epi f должен быть пересечением!
конечного числа замкнутых полупространств в R”+1, которые либо
«вертикальны», либо являются надграфиками аффинных функций.
Другими словами, f — полиэдральная выпуклая функция тогда
и только тогда, когда f можно представить в виде
f(x) = h (х) + 6 (х | С),
где
h (х) = max {(х, &i) — Pi....(х, bh) — pft),
С — {х | (х, bk+t) Рь+ь • • •> {х, Ьт.) Pm}-
Выпуклая функция f называется конечнопорожденной, если суще-
ствуют векторы «1, . . ., aft, aft+i, . . ., ат и соответствующие ска-
ляры ai, такие, что
f (х) = inf {Xi«i + . . . + ^kak + ^fe+laft+i + • • • + Кп<Хт}>
где inf взят по всем таким наборам коэффициентов Хг, что
Xtai + . • . + ^kak + ^h+lak+i 4" • • • 4” ^mflm = X,
Xi + . . .Xfe = 1, 0 для i = 1, . . ., т.
Это условие на f означает, что
f (х) = inf {р | (х, р) 6 F},
где р — выпуклая оболочка некоторого конечного множества точек
и направлений из Н”+1, а именно точек (at, a,), i = 1, . . ., k
и направлений (аг, аг), i = k + 1, . . ., т вместе с направлением.
(О, 1) («вверх»). Согласно теореме 19.1, такое множество F замк-
нуто и-, следовательно, в точности совпадает с epi f. Отсюда, в част-
190
§ 19. ПОЛИЭДРАЛЬНЫЕ МНОЖЕСТВА И ФУНКЦИИ
ности, следует, что для любого х, такого, что f (х) конечно, точка
(х, f W) принадлежит F, и, следовательно, нижняя грань в опре-
делении f (х) достигается. Мы установили следующее утверждение.
Следствие 19.1.2. Выпуклая функция полиэдральна тогда
и только тогда, когда она конечнопорожденна. Если такая функция
собственная, то она замкнута. Для всякого данного х нижняя грань
в определении конечнопорожденной выпуклой функции конечна
и достигается при соответствующем выборе коэффициентов kt.
Функция «абсолютная величина»— полиэдральная выпуклая
функция на R. Вообще, функция f, определенная соотношением
f (х) = | | + . . . + | gn I, x = (gt, . . ., y,
есть полиэдральная выпуклая функция на Нп, поскольку она
является поточечной верхней гранью 2” линейных функций вида
х-> eJi + . . . + en|n, где &} = ±1 или —1, / = 1, . . ., п.
Заметим, что фактически f — норма. Другая часто встречающаяся
полиэдральная выпуклая норма — это чебышевская норма /, опре-
деляемая равенством
f (х) = max {| gi|, . . ., | £п |}.
Эта функция f является поточечной верхней гранью 2п линейных
функций вида
Х-> Zj = +1 или —1, / = 1, . . ., п.
Теперь мы покажем, что свойство полиэдральности сохраняется
при многих важных операциях. Начнем с двойственности.
Теорема 19.2. Функция, сопряженная к полиэдральной выпук-
лой функции, полиэдральна.
Доказательство. Если функция f полиэдральна, то она
конечнопорожденна и может быть представлена, как указано выше,
с помощью некоторых векторов сц, . . ., ak, ak+i, . . ., ат и соот-
ветствующих скаляров аг. Подставляя это выражение для f в’фор-
мулу, определяющую сопряженную функцию /*, получаем
f* (х*) = sup М/, х*/—^аг|,
где верхняя грань взята по всем Хг, таким, что
М > О, . . ., Хт > О, Xi + . . . + Х& = 1.
Легко видеть, что если
{at, х*) — аг 0 для i = k + 1........т,
то
f* (х*) = max {{аь х*> — аг};
191
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
в противном случае f* (х*) = + оо. Таким образом, f* — поли-
эдральная функция.
Следствие 19.2.1. Замкнутое выпуклое множество С поли-
эдрально тогда и только тогда, когда полиэдральна функция б* (• |С).
Доказательство. Индикаторная функция и опорная
функция множества С сопряжены друг другу, поэтому по теореме
одна из этих функций полиэдральна в том и только том случае,
когда полиэдральна другая.
В качестве примера рассмотрим задачу нахождения максимума
линейной функции {а, •) на множестве С, состоящем из всех реше-
ний некоторой конечной системы нестрогих линейных неравенств.
Этот максимум равен б* (а | С). Поскольку множество С поли-
эдрально, из следствия 19.2.1 вытекает, что этот максимум есть
полиэдральная выпуклая функция от а.
Если f — полиэдральная выпуклая функция, то множества уров-
ня {х | f (х) а} — полиэдральные выпуклые множества. Поляра
С° выпуклого множества С есть множество уровня опорной функции
б* (• | С), соответствующее а = 1. Отсюда получаем
Следствие 19.2.2. Поляра полиэдрального выпуклого множе-
ства есть полиэдральное множество.
Пересечение конечного числа полиэдральных выпуклых мно-
жеств — полиэдральное множество. Аналогично поточечная верх-
няя грань конечного числа полиэдральных выпуклых функций —
полиэдральная функция.
Теорема 19.3. Пусть А — линейное отображение из
в Rm. Тогда АС — полиэдральное выпуклое множество в для
любого полиэдрального выпуклого множества С в R.", а А~Ч) —
полиэдральное выпуклое множество в R” для любого полиэдрального
выпуклого множества D cRm.
Доказательство. Пусть множество С полиэдрально в Rn.
По теореме 19.1 множество С — конечнопорожденное, т. е. суще-
ствуют такие векторы Oi....ah, ak+i, . . ., аТ, что
С = { 2 I • • • Ч" ^й = 1, О ДЛЯ 1=1, • • •, г) •
г=1
Пусть bt — образ вектора at при отображении А. Тогда
АС = { 2 | М Ч- • • • Ч~ ^й = 1, Ki^-О для 1=1, ..., г} •
2=1
Таким образом, АС — конечнопорожденное множество, а следо-
вательно, по теореме 19.1 это множество полиэдрально. Пусть
теперь D — полиэдральное выпуклое множество в Rm. Представим
192
§ 19. ПОЛИЭДРАЛЬНЫЕ МНОЖЕСТВА И ФУНКЦИИ
р как множество решений у некоторой системы
(г/, а?) а/, i = 1...s.
Тогда A -1D — множество решений х системы
{Ах, а*} ait i = 1..................$.
Это — конечная система нестрогих линейных неравенств относи-
тельно х, поэтому множество A ~Ч) полиэдрально.
Следствие 19.3.1. Пусть А — линейное отображение
изКп в Нт. Для каждой полиэдральной выпуклой функции f на R"
выпуклая функция f полиэдральна на Ж”* и нижняя грань в ее опре-
делении достигается, если она конечна. Для каждой полиэдральной
выпуклой функции g на R.m функция gA полиэдральна на Rn.
Доказательство. Образ множества epi f при линейном
отображении (х, р.) -> (Ах, р) есть полиэдральное выпуклое мно-
жество, и оно совпадает с epi (Af). Прообраз множества epi g при
том же отображении есть полиэдральное выпуклое множество, совпа-
дающее с epi (gA).
Следствие 19.3.2. Если С\ и С2 — полиэдральные выпуклые
множества в Rn, то множество С4 + С2 полиэдрально.
Доказательство. Пусть С = {(х1( х2) I х2 6 С2}.
Очевидно, что С можно представить в виде пересечения конеч-
ного числа замкнутых полупространств в Ж2". Следовательно,
С полиэдрально. Образ множества С при линейном отображении
A: (Xi, х2) -*• Xi + х2 — также полиэдральное множество, и этот
образ совпадает с Ci + С2.
Следствие 19.3.3. Если Ct и С2 — непустые непересекаю-
щиеся полиэдральные выпуклые множества, то существует гипер-
плоскость, строго разделяющая Ct и С2.
Доказательство. Имеем 0 Ct — С2 и Ct — С2 — зам-
кнутое множество, так как оно по предыдущему следствию поли-
эдрально. Согласно теореме 11.4, в этом случае возможно строгое
отделение. .
Следствие 19.3.4. Если ft- « f2 — собственные полиэдраль-
ные выпуклые функции на Rn, /по Д □ /2 — также полиэдральная
выпуклая функция. При этом, если □ f2 — собственная функция,
нижняя грань в определении (Д □ /2) (х) достигается при каждом х.
Доказательство. Множество epi Д + epi f2 — полиэд-
ральное выпуклое множество, и оно совпадает с epi (Д □ Д).
Из теоремы 19.3 следует, в частности, что ортогональная про-
екция полиэдрального выпуклого множества С czHn на всякое
подпространство L — тоже полиэдральное выпуклое множество.
Р. Рокафеллар 193
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Для еще одной иллюстрации теоремы 19.3, а также следствия
19.3.2 рассмотрим линейное отображение A: и множе-
ство
С = {г € HV* | 3 х г, Ах 6 conv {< . . 6r}},
где bl....br — фиксированные элементы из Rm. Имеем
C = A~1D — К,
где К — неотрицательный ортант в Rn (полиэдральный выпуклый
конус) и
D = conv {&i.....Ът}
(конечнопорожденное выпуклое множество); следовательно, С —
полиэдральное выпуклое множество.
Хорошей иллюстрацией следствия 19.3.4 служит случай, когда
А (х) = шах {| | / = 1, . . ., п} = || х ||оо,
А (х) = 6 (х | С),
С = {х | (at, х) at, i = l,..., tn}.
В этом случае
(А ° /г) (У) = inf {А (У — х) + f2 (х)} = inf {|| х — у || оо };
х х£С
эта величина представляет интерес, когда у аппроксимируется
наилучшим образом в смысле чебышевской нормы || • Ц» реше-
ниями х системы
<аг, х)< аг, i=l, . . ., т.
Поскольку fi и f2 — полиэдральные выпуклые функции,,
(fi а fzl (у) — полиэдральная выпуклая функция от у.
Теорема 19.4. Если и f2 — собственные полиэдральные
выпуклые функции, то функция + f2 полиэдральна.
Доказательство. Имеем ft (х) = /г, (х) + 6 (х | Сг) для
i = 1, 2, где Ci и С2 — полиэдральные выпуклые множества и
hi (х) = шах {(х, at} — а( | i = 1, . . ., k},
h2 (х) = max {(х, b}} — Ру | j = 1............г}.
Пусть С = Ci П С2, dtj = at + bj и ргу = af + Ру. Тогда С —
полиэдральное выпуклое множество и
(fi + f2) (х) = h (х) + б (х | С),
где
h (х) = max {(х, <Ау) — р;у | i = 1, . . ., k\ j = 1, . . ., г}.
Следовательно, функция А + f2 полиэдральна.
Очевидно, функция А/ полиэдральна для всякого X О, если
полиэдральна функция f.
§ 19. ПОЛИЭДРАЛЬНЫЕ МНОЖЕСТВА И ФУНКЦИИ
Теорема 19.5. Пусть С — непустое полиэдральное выпук-
лое множество. Тогда КС — полиэдральное множество для любого
скаляра К. Рецессивный конус О +С также полиэдрален. Если
С = conv S, где S — конечное множество точек и направлений,
то 0+С = conv So, где So состоит из начала координат и направ-
лений из множества S.
Доказательство. Представим С как множество реше-
ний конечной системы неравенств: (х, 0г, i = 1, . . ., т.
Тогда КС для Х>0 — это множество решений системы (х, Ь()^
А,рг, i=l, . . ., т. Далее, 0+С — множество решений системы
(х, bi) 0 , i= 1....... т. Таким образом, КС лдяК>0
и 0+С — полиэдральные множества. Очевидно, что множество
ОС полиэдрально, так как по определению ОС = {0}. Множество —С
также полиэдрально, поскольку — С есть образ множества С при
линейном отображении х —х; отсюда следует, что КС полиэд-
рально при К < 0. Предположим теперь, что С = conv S, где
S состоит из точек ai....ak и направлений ak+i, . . ., ат.
Пусть К — полиэдральный выпуклый конус в Rn+1, порожденный
векторами (1, aj), . . ., (1, aft), (0, afe+i), • • •, (0,ат). Пересечение
конуса К с гиперплоскостью {(1, х) 6 tKn+11 х £ R”} можно отож-
дествить с множеством С, а (поскольку конус /С замкнут) пересе-
чение К с гиперплоскостью {(0, х) g Rn+11 х £ЖП} можно отож-
дествить с 0+С. Таким образом, 0+С порождается направлениями
ah+lt . . ., ат, иначе говоря, 0+С = conv So.
Следствие 19.5.1. Если f — собственная полиэдральная
выпуклая функция, то функция fK полиэдральна для К^-0 и К = 0+.
Доказательство. Следует применить теорему 19.5 к С =
= epi f.
Выпуклая оболочка объединения двух полиэдральных выпуклых
множеств — не обязательно полиэдральное множество, как это
видно на примере прямой и точки, не лежащей на этой прямой.
Дело в том, что при обычной операции взятия выпуклой оболочки
не принимаются в расчет рецессивные направления. Всякие непу-
стые полиэдральные выпуклые множества С( и Сг в Ип можно
представить в виде Ci = conv St, С2 = conv S2, где Si и S2 —
конечные множества точек и направлений; при этом
conv (Ci (J С2) <= conv (Si U S2),
но равенство, вообще говоря, не имеет места. По теореме 19.5
conv (Si U S2) = (Ci + 0+С2) (J (0+Ci + С2) U conv (С, U С2).
Однако для множества cl (conv (Ci [J С2)) рецессивны все направ-
ления, являющиеся рецессивными для множеств С± и С2, поскольку
это множество замкнуто выпукло и содержит С4 и С2 (теорема 8.3).
195
13*
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Таким образом, cl (conv (Ci U Сг)) содержит Ci + 0+С2
и O+Ci + С2, а следовательно, и множество conv (Si (J S2).
Поскольку множество conv (Si IJ S2), будучи конечнопорожденным,
полиэдрально, а значит, замкнуто, отсюда следует, что
conv (Si U S2) = cl (conv (Ci (J C2)).
Итак, получен следующий результат.
Теорема 19.6. Пусть Ci, . . ., Ст — непустые полиэдраль-
ные выпуклые множества в R/1 и С = cl (conv (Ci IJ . . . U Cm)).
Тогда С — полиэдральное выпуклое множество и
С = и {Х1С1 + .. . + КЫ,
где объединение берется по всем наборам Х; 0, Xt + . . . + Xm =
= 1, причем при Хг = О надо заменить 0Ct на O+Ct.
Совершенно аналогична ситуация в случае, когда порождаются
выпуклые конусы.
Теорема 19.7. Пусть С — непустое полиэдральное выпуклое
множество и К — замыкание выпуклого конуса, порожденного мно-
жеством С. Тогда К. — полиэдральный выпуклый конус и
U {ХС | X > 0 или К = 0+}.
Доказательство. Обозначим это объединение через К'.
Выпуклый конус, порожденный множеством С, содержится в /С',
а его замыкание К в свою очередь содержит /С'. (Поскольку К —
замкнутое выпуклое множество, содержащее С и О, К должно
содержать рецессивный конус 0+С по теореме 8.3.) Итак, cl К' = К-
Поэтому будет достаточно показать, что множество К' полиэдрально.
Представим С как conv S, где S состоит из точек а1г . . ., ah
и направлений tzft+i, . . ., ат. Для всякого X > 0 множество ХС
есть выпуклая оболочка точек Xai, . . ., Xafe и направлений
aft+i, . . ., ат, тогда как 0+С по теореме 19.5 есть выпуклая обо-
лочка начала координат и направлений ak+i.....ат. Таким
образом, К' — это просто множество всех неотрицательных линей-
ных комбинаций точек и направлений ai, . . ., ак, ah+l, . . ., ат.
Отсюда следует, что К' — конечнопорожденное, а значит, поли-
эдральное множество.
Следствие 19.7.1. Если С — полиэдральное выпуклое мно-
жество, содержащее начало координат, то выпуклый конус, порож-
денный множеством С, полиэдрален.
Доказательство. Если 0 6 С, то множество 0+С содер-
жится в множествах ХС при Х> 0 и, следовательно, может быть
опущено в объединении, указанном в теореме. Поэтому это объеди-
нение как раз и будет выпуклым конусом, порожденным множеством
С, но это объединение, согласно теореме, полиэдрально.
196
$ 20. НЕКОТОРЫЕ ПРИЛОЖЕНИЯ
В качестве полезного упражнения на тему полиэдральной выпук-
лости можно показать, что если С — выпуклый многогранник в
Rn, aS — произвольное непустое подмножество в С, то множество
D={y\S + y сС}
является выпуклым многогранником. Еще упражнение: при каких
условиях тень и полутень, определенные в конце § 3, являются
полиэдральными выпуклыми множествами?
§ 20. Некоторые приложения теории полиэдральной выпуклости
В этом параграфе мы покажем, как можно усилить многие
теоремы отделимости, условия замкнутости и другие результаты,
доказанные ранее для произвольных множеств, если в добавление
к выпуклости предполагать пОлиэдральность.
Мы начнем с общей формулы для функции, сопряженной к сумме
собственных выпуклых функций (теорема 16.4):
(cl А + • • • + cl fm)* = cl (/!□ • • • СШ-
Допустим, что каждая из функций А является полиэдральной и что
dom А П • • • Г) domfm#= 0.
Тогда cl ft = fi и fi + . . . + fm есть собственная полиэдральная
выпуклая функция (теорема 19.4). Функция, сопряженная к сумме
fi + • • • + fm> также должна быть собственной, а значит, и функ-
ция f* □ . . . □ fm обязана быть собственной. Каждая функция
полиэдральна (теорема 19.2). Следовательно, функция
. . • □ fm полиэдральна и, в частности, замкнута по след-
ствию 19.3.4, и мы получаем
(fi + • • • + fm)* = fT □ • • • Гт-
При этом нижняя грань в определении (/*□..•□ /А) (х*) дости-
гается для любого х* в силу следствия 19.3.4. Полученный резуль-
тат является усилением при наших новых допущениях второй
части теоремы 16.4.
Мы покажем теперь, что и в общем «смешанном» случае, когда
некоторые из функций А полиэдральны, а остальные не обладают
этим свойством, формула теоремы 16.4 относительно сопряженных
Функций остается в силе, если ri (dom А) заменить на dom А для
тех I, для которых функция А полиэдральна.
Т е о р е м а 20.1. Пусть fi....fm — собственные выпуклые
Функции в R.”, причем fi, . . ., fk полиэдральны. Допустим, что
пересечение
dom А П • • • Г) dom A A ri (dom A+i) А • • - A ri (dom An)
197
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
непусто. Тогда
(fi + •. • + /т)* (х*) = (Л □ - - - □ fm) (х*) =
= inf {/т (хТ) + . . . + Гт (х*т) | X? + . . . + Х*т = X*}.
где нижняя грань достигается для каждого х*.
Доказательство. Мы уже знаем, что если все множе-
ства ri (dom ft), i = 1, . . m, имеют общую точку, то эта фор-
мула справедлива (теорема 16.4). Кроме того, как мы только что
объяснили, она верна при k = т. Допустим, что 1 k < т,
и положим
gi = fi + • • • + fh> ёг = fh+i + • • • + Zm-
Для функций gi и gz формула верна, так что мы имеем
g* (jjt) = inf {ft (x*) + • •. + /Пха) I x? + . • • +xg = yt},
gt (yt) = inf {П+i (4+1) + ... + f*m (x*m) I Xt+i + ... +4k = yt},
где нижняя грань достигается для любых г/* и у%. Значит, нам
осталось показать, что
. (gi + g2)4x*) = mf{gt(yt) + g2(yt)\yt+yt==x*},
где для любого х* нижняя грань достигается при некоторых у*
и уг- Выпуклые функции gi и g2 являются собственными, а функ-
ция gi полиэдральна (теорема 19.4). Коль скоро
dom gi = dom fi f) . . . f] dom fh,
dom g2 = dom fh+i fl • • • П dom fm,
мы получаем
ri (dom gz) = ri (dom fh+l П - - - П dom fm) =
= ri (dom fk+l) f] • • • П ri (dom fm)
(теорема 6.5) и, значит,
dom gi П ri (dom gz)=£ 0.
Отсюда следует то же самое для аффинной оболочки М множества
dom g2
ri (М f) dom gi) f| ri (dom g2) ф 0.
Собственная выпуклая функция h = 6 (• | М) + gi имеет в каче-
стве своего эффективного множества М f) dom glt так что
ri (dom h) f) ri (dom gz) 0,
и формула теоремы справедлива для (h + gz)*. Далее, 7i + g2 ~
= gi + g2- Таким образом,
(gi + gz)* (x*) = (h* □ gz) (X*) =
= inf {h* (x*) + gz (y*) | z*.-j- У* = x* },
198
§ 20. НЕКОТОРЫЕ ПРИЛОЖЕНИЯ
где нижняя грань достигается для любого х*. С другой стороны,
так как 6 (- | М) и gi являются полиэдральными функциями,
то формула теоремы справедлива для функции h*:
Л* (z*) - inf {6* (zz* | М) + g? (z/T) | «Т + У*\ = z*},
и при этом нижняя грань достигается. Следовательно,
(gi + £г)* (И = inf <6* («* I М) + g? (z/T) + g2 (z/*) [ zz* +
+ У* + У* = x* },
где нижняя грань достигается для любого х*. Но поскольку отно-
сительные внутренности эффективных множеств 6 (• । М) и g2 оче-
видным образом имеют общую точку, мы можем еще раз применить
ту же самую формулу и получить
inf {б* (zz* | М) + g* (z/*) I zz* + y* = z/H =
= (6(- |M) +g2>* (Z/2) = g2 (z/2),
где нижняя грань всегда достигается. Таким образом,
(gi + gz)* СИ = inf te? (У*) +'gl (у*) I z/T + У 2 = x*},
причем для любого х* нижняя грань достигается. Это доказывает
теорему.
Следствие 20.1.1. Пусть fi, . . ., fm — замкнутые соб-
ственные выпуклые функции в Й”, причем fi, . . ., fk полиэдральны.
Допустим, что пересечение
dom /Т П • • • A dom ft Q ri (dom ft+i) Q • • • A ri (dom ftf)
является непустым. Тогда fi □ . . . □ fm есть замкнутая собствен-
ная выпуклая функция, и нижняя грань, фигурирующая в ее опре-
делении, всегда достигается.
Доказательство. Следует применить теорему к сопря-
женным функциям fi, . . ., fm-
Приводимая ниже специальная теорема отделимости для поли-
эдральных выпуклых множеств может быть полезной при анали-
зе относящихся к пересечению условий в теореме 20.1 и следст-
вии 20.1.1.
Теорема 20.2. Пусть Ci и С2 — непустые выпуклые мно-
жества в причем Ci полиэдрально. Тогда для того чтобы
нашлась гиперплоскость, собственно отделяющая Ci отС2ине 'содер-
жащая С2, необходимо и достаточно, чтобы
Ci A ri С2 = 0.
Доказательство. Если Н — гиперплоскость, собственно
отделяющая С4 от С2 и не содержащая С2, то ri С2 целиком лежит
199
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
в одном из открытых полупространств, порожденных Н, и, значит,
не имеет общих точек с Ср Этим доказана необходимость условия
теоремы.
Докажем достаточность этого условия. Допустим, что Ct Г)
f| ri С2 = 0, и пусть D = Ci fl aff С2. Если D = 0 , то мы можем
строго отделить полиэдральное выпуклое множество Ct и множе-
ство aff С2 по следствию 19.3.3. Но любая гиперплоскость, которая
строго отделяет Ci от С2, отделяет Ci от С2 собственно и при этом
не содержит С2. Нам остается допустить, что D =£ 0. Так как
ri D П ri Cz = 0, то по теореме 11.3 найдется гиперплоскость Я,
которая собственно отделяет D от С2. Эта гиперплоскость не может
содержать С2, ибо отсюда следовало бы, что
Н зэ aff С2 зэ С2 U D
вопреки определению собственного отделения. Пусть С2 — пересе-
чение aff С2 с замкнутым полупространством, содержащим С2 и имею-
щим своей границей гиперплоскость И. Тогда С2 есть замкнутая
половина aff С2 и при этом CS з> С2 и ri С2 зэ ri С2. Далее С2 — по-
лиэдральное множество и
Ct П ri С2 = D fl ri С; = 0.
Если Ci Q С'2 = 0, то мы можем строго отделить С4 от С2 (след-
ствие 19.3.3), и строго отделяющая гиперплоскость будет, в част-
ности, отделять Ci от С2, как это и требуется в теореме. Значит,
нам остается рассмотреть случай, когда Ci |"| С2 0. В этом
случае Ct П М =/= 0, где М — аффинное множество, являющееся
относительной границей множества С2, т. е. М = Н |"| aff С2.
Используя сдвиг, мы можем добиться того, чтобы начало коор-
динат принадлежало Ci |"| М. Тогда М будет подпространством,
а С'2 — конусом. Выпуклый конус К, порожденный Cit является
по следствию 19.7.1 полиэдральным, и К fl ri С2 = 0. Пусть
С\ = К + М. Тогда С[ есть полиэдральный выпуклый конус (след-
ствие 19.3.2), С[ zd Ct и С[ П С2 = М. Представим С[ как пере-
сечение конечного числа замкнутых полупространств Hi, . . , Нр,
для каждого из которых начало координат является граничной точ-
кой. Каждое Ht дрлжно содержать М. Если данное полупростран-
ство Hi содержит хотя бы одну точку из ri С2, то оно обязано содер-
жать С2 целиком, ибо С2 — конус, являющийся замкнутой поло-
виной аффинного множества. Так как ri С2 не содержится в С,',
отсюда следует, что одно из полупространств Hi не должно содер-
жать точек из ri С2. Граничная гиперплоскость этого полупрост-
ранства Hi собственно разделяет С( и С2 и не имеет общих точек
с ri С2. Поскольку Ct czCj и ri С2 <=riC2, эта гиперплоскость
собственно разделяет Ci и С2 и не содержит С2.
Условие отделимости из теоремы 20.2 можно перевести на язык
опорных функций:
200
§ 20. НЕКОТОРЫЕ ПРИЛОЖЕНИЯ
С л е д с т в и е 20.2.1. Пусть Ci и С2— непустые выпуклые
множества в Нп, причем-Ci полиэдрально. Для того чтобы пере-
сечение Ct л ri С2 было непусто, необходимо и достаточно, чтобы
для любого вектора х*, для которого выполняется соотношение
б* (%• | Ci) С —6* (—х* | С2), т
выполнялось и соотношение
6* (х* | Ci) = 6* (х* | С2).
Доказательство. Допустим, что х* =# 0. По определе-
нию 6* (х* | Ci) есть верхняя грань линейной функции (•, х*>
на Ci, в то время как —6* (—х* | С2) есть нижняя грань функции
х*) на С2. Таким образом, числам а, расположенным между
6* (х* | Ci) и —6* (—х* | С2), соответствуют гиперплоскости
{х | <х, х*) = а}, которые разделяют Ci и С2. Каждая такая
гиперплоскость содержит все множество С2, если и только если
а = 6* (х* | С2). Таким образом, из условий следствия вытекает,
что нет такой гиперплоскости, которая собственно отделяла бы Ct
от С2 и не содержала бы С2. По теореме это равносильно тому, что
Ci Q ri С2^= 0.
Дадим еще одно условие замкнутости, в котором используется
понятие полиэдральной выпуклости.
Теорема 20.3. Пусть Ci и С2 — непустые выпуклые мно-
жества в причем Ci полиэдрально, а С2 замкнуто. Допустим*
что всякое рецессивное направление для Ci, противоположное рецес-
сивному направлению для С2, есть направление, по которому С2
линейно. Тогда С± + С2 замкнуто.
Доказательство. Основная идея доказательства — при-
менить следствие 20.1.1 к функциям Д = б (• | СД и /2 = 6 (• | С2).
Если dom ft Л ri (dom /*) непусто, то, как показывает след-
ствие 20.1.1, fi □ f2 — замкнутая функция, а это равносильна
замкнутости Ci + С2. Далее, множества Ki = dom ft и К2 =
= dom f* суть барьерные конусы для Ci и С2, причем Ki полиэдра-
лен, так как f* — полиэдральная функция (теорема 19.2). В силу
следствия 20.1.1 пересечение Ki П ri Кг непусто, если всякий век-
тор х*, удовлетворяющий неравенству
6* (х* I Ki) -6* (—х* | Кг).
Удовлетворяет и неравенству
б* (х* | Ki) = 6* (х* | Кг)-
Опорные функции барьерных конусов Ki и Кг — это просто инди-
каторные функции поляр этих конусов, являющихся рецессивными
конусами 0+Ci и 0+С2 (следствие 14.2.1). Таким образом, условие-
на опорную функцию есть как раз условие того, что если вектор х*
201
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
принадлежит O+Ci П (—0+С2), то он принадлежит 0+С2 и, значит,
-линейному подмножеству 0+С2 П (—0+С2) множества С2. Но это
то же самое, что условие на направления, сформулированное
.в теореме.
С л е д с т в и е 20.3.1. Пусть Ci и С2— непустые выпуклые
-множества в Rn, причем Ci полиэдрально, С2 замкнуто и Ci f| С2 =
= 0. Допустим, что Ci и С2 не имеют общих рецессивных направ-
лений, за исключением тех, по которым С2 линейно. Тогда суще-
ствует гиперплоскость, строго отделяющая Ci от С2.
Доказательство. В силу теоремы 11.4 строгая отде-
лимость возможна, если 0 (£ cl (Ci — С2). В силу того, что Ci и С2
не пересекаются, мы имеем 0 f Ci — С2. Из условия теоремы
относительно направлений вытекает, что Ci + (—С2) — замкнутое
множество и, значит, Ci — С2 = cl (Ci — С2).
Весьма полезным обстоятельством, связанным с полиэдральной
выпуклостью, является то, что всякое замкнутое ограниченное мно-
жество можно сколь угодно хорошо аппроксимировать полиэдраль-
ным выпуклым множеством:
Т е о р е м а 20.4. Пусть С — непустое замкнутое ограниченное
•выпуклое множество, и пусть D — произвольное выпуклое множе-
ство, такое, что С <= int D. Тогда существует полиэдральное выпук-
лое множество Р, такое, что Р <= int D и С <= int Р.
Доказательство. Для любого х g С мы можем выбрать
•симплекс Sx, такой, что х 6 int Sx и Sx с int £>. В силу того что
множество С является замкнутым и ограниченным, мы получаем '
С <= U {int | х € Со}, \
где Со — некоторое конечное подмножество в С. Положим j
Р = conv U {5Ж | х 6 Со}. i
Тогда int D го Р и int Р => С. При этом Р есть выпуклый много- j
гранник и, значит, полиэдральное множество в силу тео- 1
ремы 19.1. J
Следующий результат мы уже упоминали в связи с доказатель- 1
ством теоремы 10.2. 1
Теорема 20.5. Каждое полиэдральное выпуклое множество ’
является локально симплициальным. В частности, каждый выпуклый |
многогранник локально симплициален. |
Доказательство. Пусть С — полиэдральное выпуклое ’
множество и х G С. Пусть U — симплекс, имеющий х своей внут-
ренней точкой. Тогда U П С есть ограниченный выпуклый много-
202
§ 21. ТЕОРЕМА ХЕЛЛИ И СИСТЕМЫ НЕРАВЕНСТВ
гранник и, значит, выпуклая оболочка конечного числа точек
(теорема 19.1). По теореме Каратеодори 17.1 имеем
U П С = St U • • • U sm,
где Si, . . Sm — некоторые симплексы. Но это по определению
и означает, что С — локально симплициальное множество.
§ 21. Теорема Хелли и системы неравенств
Под системой выпуклых неравенств в Нп мы подразумеваем
систему, которую можно записать в виде
ft (х) < аг, V i € Zi,
ft (х) < at, V i 6 /2»
где I = Ii U 72 — то произвольное множество индексов, каждая
функция ft выпукла в Я" и —оо а, +оо. Множество реше-
ний х такой системы есть, конечно, выпуклое множество в
ибо оно есть пересечение множеств уровня
{х | ft (х) at}, i 6 Ц,
{х I ft (x) < aj, i e 12.
Если каждая функция ft замкнута и множество /2 пусто, т. е.
имеются только нестрогие неравенства, то множество реше-
ний будет замкнутым. Система называется несовместной, если
множество решений является пустым, в противоположном случае
система называется совместной.
Если числа аг конечны и g — выпуклая функция, равная ft — at,
то неравенство ft (х) а, равносильно неравенству gt (х) О
и неравенство ft (х) < at равносильно неравенству gt (х) < 0.
По этой причине в большинстве случаев мы пишем системы нера-
венств, где в правой части стоит нуль.
Линейное уравнение можно всегда заменить системой из двух
неравенств. Условимся вместо уравнения (х, b) = 0 писать нера-
венства (х, b) Р и <х, —b) —р.
В теоремах, которые мы доказываем ниже, в большинстве слу-
чаев утверждается существование решения некоторой конечной или
бесконечной системы неравенств. В общем случае эти системы
нелинейны. Тот случай, когда неравенства линейны и когда можно
получить более тонкие теоремы существования, мы разбираем
в следующем параграфе.
Первый результат, который мы докажем, — это основная теорема
существования, представленная в форме альтернативы.
Теорема 21.1. Пусть С — выпуклое множество и fi, . . .
* • •. fm —собственные выпуклые функции, такие,, что dom ft =>
203
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
гэ ri С. Тогда возможен один и только один из следующих двух слу-
чаев:
(а) существует, такой элемент х £ С, что
А(х) <0.......Ап(х)<0;
(Ь) найдутся неотрицательные числа М . . Лт, не все равные
нулю, такие, что
МА (х) + . . . + Цт (х) > 0, V х е С.
Доказательство. Допустим, что выполнено (а). Взяв
любой элемент х, удовлетворяющий неравенствам из (а)-, и любые
числа ;> 0......М 0, мы получим, что выражение
Л1А (х) + . • • 4" (х)
не может быть положительным; более того, оно должно быть отри-
цательным, если хотя бы одно из чисел Лг > 0. Следовательно,
случай (Ь) не может иметь места.
Допустим теперь, что (а) не имеет места. Покажем, что тогда
выполняется (Ь). Естественно допустить, что С непусто, иначе
(Ь) выполнено тривиально. Пусть
Ci= {z = .......u) е I э х е с, ft (х) <
< Si, i — 1....т}.
Легко понять, что Ct есть непустое выпуклое множество в Я”*.
В силу того что (а) не выполняется, Ci не может содержать ни
одного вектора z, для которого £г 0, i = 1, . . ., т. Мы полу-
чаем, что неположительный ортант
С2 = {z = (Ci....Cm) ICi<0, i= 1, . . ., т},
являющийся выпуклым множеством, не пересекается с множе-
ством Ср Поэтому в силу теоремы 11.3 их можно собственно отде-
лить друг от друга гиперплоскостью. Таким образом, существуют
ненулевой вектор z* = (М, . . ., Лт) и вещественное число а,
такие, что
а (z*, z) = Mi + . . . + MU, V z 6 С,, z
а > (z*, z) = Mi + . . . + MCm, V z 6 C2.
Поскольку C2 есть неположительный ортант, второе из этих двух
условий влечет за собой, что а>0 и >0, i = 1, . . ., т, ибо
если, скажем, М отрицательно, то неравенство а (z*, z) можно
нарушить, взяв вектор z вида z = (Сь 0, . . ., 0), где Ci — доста-
точно большое по модулю отрицательное число. Из первого условия
мы тогда получаем, что
о. Ml 4“ • • • 4“ MCm
всякий раз, когда найдется х £ С, для которого М > А (х)»
1 = 1....т. , - •
204
§ 21. ТЕОРЕМА ХЕЛЛИ И СИСТЕМЫ НЕРАВЕНСТВ
Таким образом, для любого х из множества
D = С П dom ft. f| • • • П dom fm
мы имеем
0 Xj [fi (x) + e] + . . . + Xm [fm (x) + e]
для некоторого e > 0. Отсюда следует, что
0 5^ %1/1 (х) + . . • + Unfm (х).
Мы получили, что выпуклая функция f = Uh + . . . + Xmfm
является неотрицательной и конечной на D. Значит, она будет
неотрицательной на cl D (следствие 7.3.3). Но в силу наших допу-
щений ri С ей, откуда
С се cl (ri С) се с! £);
следовательно, f (х) >• 0 для любого х 6 С. Таким образом, имеет
место случай (Ь).И
Какое-то условие типа условия ri С erdomf, из теоремы 21.1
является обязательным, как это видно из следующего примера.
Пусть ft — выпуклая функция на 1R, определенная так:
( +°°> х<0.
Далее, пусть f2 (х) = х и С = R. Тогда нет таких х G С, для кото-
рых fi (х) < 0 и f2 (х) < 0, т. е. (а) не имеет места, и в то же время
нет таких неотрицательных множителей Xi и Х2, X* + Xj =# 0, что
Х1А (х) + X2f2 (х) 0 для любого х £ С, т. е. (Ь) также не имеет
места. Причина — нарушение условия ri С со dom Д.
Следующий результат представляет собой модификацию преды-
дущего результата, когда часть функций аффинна. (Отметим, что
теорема 21.1 является частным случаем этой следующей теоремы,
когда k = т.)
Теорема 21.2. Пусть С — выпуклое множество и fi, ...
• • •, fk — собственные выпуклые функции, такие, что dom ft со ri С.
Пусть, далее, fh+i, . . ., fm—аффинные функции, такие, что система
неравенств
fk+l (х) 0, . . ., fm (х)< 0 .
имеет по крайней мере одно решение х g ri С. Тогда возможен один
и только один из следующих двух случаев'.
(а) существует такой элемент х g С, что
fi (х) < 0, . . ., fh (х) < 0, fh+i (х) < 0.fm (х) < 0;
(Ь) существуют неотрицательные вещественные числа Хь . . .
• • • , Хте, такие, что хотя бы одно из них отлично от нуля и
Uh (х) + . .. + Xmfm (х) > 0, V х 6 С.
205
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Доказательство. Доказательство проводится по той же
схеме, что и в случае теоремы 21.1, за исключением того, что здесь
требуются более тонкие рассуждения, связанные с отделимостью.
Тот факт, что если выполнено (а), то (Ь) не может иметь места,
доказывается точно так же, как и раньше. Допустим теперь, что
(а) не выполнено. Покажем, что тогда имеет место (Ь).
Пусть Ct — множество векторов z = (Ci.....Cm) в Rm, для
которых существует вектор х £ С, удовлетворяющий неравенствам
ft W < Сй, i=l, ...» k,
и равенствам
ft (х) = Ci, i = k + 1, . . ., т.
Без ограничения общности можно считать, что Ct^= 0. Пусть,
далее, С2 — неположительный ортант
Cz ~ {2 = (Cl, ,. . ., Cm) I Сг 0> t = 1, • • •> fft}-
Очевидно, что Ci и C2 — выпуклые множества, причем С2 — поли-
эдральное множество. Поскольку (а) не имеет места, пересечение
Ci f] С2 пусто. В силу специальной теоремы отделимости (теоре-
ремы 20.2), доказанной для полиэдральных множеств, существует
гиперплоскость, которая отделяет Ci от С2 и не содержит Таким
образом, существуют вещественное число а и вектор z* =
= (%i, . . ., Хт), такие, что
а + • • • + XmCm, V(C1, • • -, Cm) € Q,
« MC1 + . . . + XmCm> V(C1, • • •> Cm) € C2.
При этом первое из написанных неравенств по крайней мере для
одного элемента из Ct является строгим. Из второго неравенства
следует, что
а 0, М 0, ...» Хт 0.
Из первого неравенства получается тогда, что
МС1 + • • • + XfeCfe + ^k+lfk+l + • • • + Knfrn (х) а,
если только х € С и С» > ft (х) Для i = 1, Отсюда видно, что
МД (х) + . . . + Хй/й (х) + ‘kk+ifk+i (*) + ••• + Knfm (х) а
для любого х, принадлежащего выпуклому множеству
D = С П dom А Л • • • П dom fk.
Но так как выпуклая функция f = МД + . . . 4- ^mfm удовлет-
воряет неравенству f (х) а для любого х £ D, она также удовлет-
воряет неравенству f (х) а для любого х 6 cl D (следствие 7.3.3)..
По предположению, ri С сП, поэтому для любого х 6 С мы полу-
чаем f (х) а и, значит,
МД (х) + . . . + Mnfm (х) 0,
что нам и нужно. , .
206
§ 21. ТЕОРЕМА ХЕЛЛИ И СИСТЕМЫ НЕРАВЕНСТВ
Для того чтобы завершить доказательство, нам надо только
показать, что множители Xj, . . ., не все нули. Допустим, что,
наоборот, Xi = . . . = = 0, и придем к противоречию. Мы имеем
f == kb+ifk+t + . . . + Knfm, так что f — аффинная функция. В силу
допущений теоремы найдется такой элемент х € ri С, что ft (х) О
для i = k + 1, . . ., т. Для такого х будет / (х) 0. Но f (х)
а 0 для любого х Е С, откуда видно, что а = 0 и что нижняя
грань функции f на С достигается в ri С. Поэтому f, будучи аффин-
ной функцией, постоянна на множестве С, т. е. f (х) = 0 для любого
х ЕС. Но, с другой стороны, в силу выбора гиперплоскости, отде-
ляющей Ci от С2, должна найтись такая точка (£i, . . ., t,m), что
® + . . . + Kntm-
Значит, найдется такой вектор х ЕС, что
а < ^h+ifk+i + • • • + ^mfm (х) = f (х)-
Для этого х мы получаем f (х) #= 0, что противоречит постоян-
ству f.
Наша главная теорема существования решения систем неравенств
такова.
Теорема 21.3. Пусть {ft | i 6 1} — семейство замкнутых
собственных выпуклых множеств Rn (где I — произвольное множе-
ство индексов). Пусть, далее, С—любое непустое замкнутое выпук-
лое множество в Нп. Допустим, что функции ft не имеют ни одного!
общего рецессивного направления, которое было бы также рецес-
сивным для множества С. Тогда возможен один и только один из сле-
дующих случаев'.
(а) существует вектор хЕС, такой, что
ft (х) < 0, Vi 6 I',
(b) существуют такие неотрицательные вещественные числа
из которых лишь конечное число отлично от нуля, что для некоторого
8 > 0 выполнено неравенство
SMiWX Vx£C.
Если имеет место случай (Ь), то число множителей, отличных
от нуля, можно выбрать не превосходящим п + 1.
Доказательство. Присоединив индикаторную функцию
С к заданной совокупности функций, мы сведем задачу к тому
случаю, когда С = Rn. Очевидно, что (а) и (Ь) не могут выполняться
одновременно. Допустим, что (а) не имеет места, и покажем, что-
тогда имеет место случай (Ь). Тем самым теорема будет доказана.
Пусть k — положительно однородная выпуклая функция, порож-
денная функцией
h = conv {f* | i E I}-
207
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Функция, сопряженная к функции k, есть индикаторная функция
выпуклого множества (х | h* (х) 0} (теорема 13.5). Поскольку
по предположению каждая функция замкнута, мы получаем
в силу теоремы 16.5
/г* = sup {/Т 11 е /} = sup | i б I}.
Таким образом, k* есть индикаторная функция множества
D = {х | fi (х) < 0, Vi е I}.
Но D пусто, так как по допущению (а) не имеет места. Значит,
функция k* тождественно равна +<эо и cl k = k** есть функция,
тождественно равная —оо. В частности, (cl k) (0) = —оо.
Оставшаяся часть доказательства теоремы распадается на две
части: сначала мы покажем, что случай (Ь) имеет место, если k (0) =
= (cl А) (0), а затем, что соотношение k (0) = (cl k) (0) выполнено
при наших допущениях относительно рецессивных направлений.
Допустим, что k (0) = —оо. Тогда h (0) < 0. Применив теорему
Каратеодори в форме следствия 17.1.3, мы получим, что существуют
векторы х* и неотрицательные числа Хг, из которых не более п + 1
отличны от нуля, такие, что
2м=о, Sw?ut)<o.
Для упрощения записи будем считать, что первые т п + 1 чисел
отличны от нуля. Положим у* = Хгх*. Тогда
У*+ ••+Ут = о,
(Ш(!/П+--- + (/ит)(^)<0.
Следовательно,
(Л^-1 □ • • • □ (0) < 0. -
Последнее неравенство влечет за собой некоторое свойство функции
f = Xi/i + . . . + Knfm- А именно, мы имеем
Г = cl ((У*) □ . . . □ (Ш*) =
= cl (ffri □. . . □ fUm)
(в силу теорем 16.4 и 16.1) и, значит, f* (0) < 0. Но по'определению
/* (0) = sup {(х, 0) — f (х)} = — inf f (х).
X , X
Следовательно, inf f(x) > 0, т. е. существует такое 8 >> 0, что
X
У1 (х) + . . . + Knfm (х) > 0, Vx 6
Таким образом, условие (Ь) выполняется.
Осталось показать, что k (0) = (cl k) (0). Эффективное множество
функции k есть выпуклый конус, порожденный объединением
множеств dom f*, i 6 7- Если относительная внутренность этого
множества содержит 0, то, разумеется, k (0) = (cl k) (0), как нам
208
§ 21. ТЕОРЕМА ХЕЛЛИ И СИСТЕМЫ НЕРАВЕНСТВ
и нужно. Если же 0 ri (dom k), то мы можем отделить 0 от dom k
(теорема 11.3). В этом случае найдется, значит, ненулевой вектор у,
такой, что (у, х*) С 0 для любого х* £ dom k. Мы получаем
<*/,**)< О, Vx* (Е dom ft, V/ E /;
таким образом, направление вектора у есть рецессивное направление
функции ft для любого i £ / (теорема 13.3). Однако существование
такого направления исключается допущениями теоремы. Следова-
тельно, случай 0 ri (dom f) невозможен, чем и завершается дока-
зательство.
Теорема 21.3 применима как к конечным, так и к бесконечным
системам. Одно из главных следствий этой теоремы состоит в том,
что вопрос о совместности бесконечной системы неравенств реду-
цируется к вопросу о совместности конечного числа их.
Следствие 21.3.1. Пусть {ft | i £ /} — семейство замкну-
тых собственных выпуклых функций в Rn, где I — произвольное
множество индексов, и С — непустое замкнутое выпуклое множе-
ство в Rn. Допустим, что функции fi не имеют ни одного общего
направления рецессии, которое было бы также направлением рецес-
сии для множества С. Допустим также, что для любого г > О
и любого множества т индексов ii9 . . ., im, ij € I, m n + 1
система неравенств
fi! (X) <8, .... fim (x) < 8
выполнена no крайней мере для одной точки х 6 С. Тогда существует
х G С, такое, что
fiM^O, Vi£L
Доказательство. Достаточно показать, что случай (Ь)
теоремы невозможен при наших допущениях о существовании реше-
ний системы неравенств. Если бы имело место (Ь), то нашлось бы
и непустое подмножество Г множества I, содержащее не более
п + 1 индексов, такое, что для некоторых положительных чисел
(i 6 I') и некоторого S > 0 выполнено неравенство
vxec.
Положим 8 = 6/%, где %= 3 Тогда
3 (%Л)Л(х)>8, VX6C,
ig/'
и, следовательно,
3 (Ш)(/Дх)-8)>0, VxeC.
ier
Но это невозможно, ибо в силу наших предположений существует
х € С, такое, что ft (х) < 8 для любого i 6 /'.
Н Р. Рокафеллар 209
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Следствие 21.3.1 содержит в качестве частного случая важный
классический результат, известный как теорема Хелли.
Следствие 21.3.2 (теорема Хелли). Пусть {Сг I i 6 /} —
семейство непустых замкнутых выпуклых множеств в Rn, где
I —произвольное множество индексов. Допустим, что Ct не имеют
общих направлений рецессии. Если любое подсемейство нашего семей-
ства, состоящее из п + 1 или меньшего числа множеств, имеет
непустое пересечение, то и вся совокупность множеств имеет
непустое пересечение.
Доказательство. Надо применить последнее следствие
к функциям ft = S (• | Сг) и множеству С =Rn.
Допущение теоремы Хелли относительно направлений рецессии
заведомо выполнено, если одно или несколько множеств Ci ограни-
чены. В действительности оно выполняется тогда и только тогда,
когда некоторая конечная совокупность Ct имеет ограниченное
пересечение, в предположении, что любое конечное пересечение
непусто. Доказательство этого мы предоставляем читателю.
Приведем контрпример, показывающий, что условие теоремы
21.3 относительно направлений рецессии является существенным.
Возьмем С = BV, I = {1, 2} и
A (х) = (£ + D1/a -12,
А (%) = (й + D1/2 - Si
для любого х — (51, 5г)- «Гиперболические» выпуклые множества
{X I fi (х)<0} = {(Вь в2) I Ь>(I? + 1)1/2},
{X 1А (X) 0} = {(Вь В2) | В, >'(|2 + 1)*/»}
суть множества без общих точек, так что случай (а) не имеет места.
Но второй случай — (Ь)—также не имеет места, ибо при любом
выборе коэффициентов 0, Х2 0 нижняя грань функции
Wi (х) + ^zfz (х)
на луче, проходящем через начало координат и точку (1,1), равна
нулю. Направление этого луча как раз и будет общим направлением
рецессии для А и f2.
Аналогичный пример показывает, что допущение относительно
направлений рецессии является существенным и для теоремы Хелли.
Взяв fi и А, как и выше, рассмотрим семейство множеств в И2
Cks = {х I fk (х) < в}, е > 0, k = 1, 2.
Очевидно, что эти множества непусты и выпуклы. Очевидно также,
что любое подсемейство нашего семейства, состоящее из трех (3 ==
210
§ 21. ТЕОРЕМА ХЕЛЛИ И СИСТЕМЫ НЕРАВЕНСТВ
— п + 1) или меньшего числа множеств, имеет непустое пересе-
чение, ибо множество Che содержит луч
{Ml, 1) |^>(1 — 82)/2е}.
Но при этом пересечение всех множеств является пустым.
Указанные контрпримеры основаны на том, что фигурирующие
в них выпуклые множества имеют нетривиальные асимптоты. Можно
надеяться поэтому получить более сильные результаты, если, ска-
жем, предполагать наличие аффинности или полиэдральной выпук-
лости, что исключит нежелательные асимптотические эффекты.
К такого рода результатам относятся следующие две теоремы.
Теорема21.4. Допущение относительно направлений рецес-
сии в теореме 21.3 и следствии 21.3.1 можно в случае С = Нп заме-
нить следующим ослабленным условием: существует такое конечное
подмножество 10 множества индексов I, что суть аффинные функ-
ции при i 6 /0» причем каждое направление, являющее рецес-
сивным для всех функций fi, i G I, есть направление, по которому
постоянны все функции ft с i £ I\I0-
Доказательство. Покажем, как следует видоизменить
доказательство теоремы 21.3 с учетом наших ослабленных предполо-
жений.
Пусть Ц = /\ 10. Покажем — и этого достаточно будет для
достижения нашей цели,— что в случае, когда (а) не имеет места,
выполнено равенство (cl k) (0) = k (0).
Разумеется, можно считать, что и множество /0> и множество Ц
непусты, так как ничего не изменится, если к соответствующему
подсемейству функций добавить функции, тождественно равные
нулю. Пусть для / = 0, 1 функции kj суть положительно одно-
родные функции, порожденные функциями
hj = conv {ft | i 6 Ij},
ak — та же функция, что и в доказательстве теоремы 21.3. Ясно, что
k — conv {k0, ki}.
Ввиду того что надграфики функций k0 и ki — выпуклые конусы,
содержащие начало координат, выпуклая оболочка двух таких
конусов есть то же самое, что и их сумма (теорема 3.8). Мы получаем
k (х*) = inf {р| (х*. р) 6 Д},
где Д — epi k0 + epi kt. Таким образом,
k (х*) = inf {k0 (xj) + kt (x*) | x* + хг = x*, x* € dom kj}.
В частности, положив x* = 0, мы получим
k (0) = inf {k0 (—z) + ki (z) | z G (--dom k0) П (dom ki)}.
211
14*
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
На минуту прервем ход рассуждений и посмотрим внимательнее
на строение k0 и dom k0.
Для любого i £ /о функция ft является по предположению
аффинной, т. е.
fi (х) = (ait х) — аг. ,
Сопряженная функция имеет вид
___ /* (X*) = 6 (х* | at) + аь
т. е. epi f*j есть вертикальный луч в Rn+1, идущий вверх из точки
(at, аг). Таким образом, epi k0 есть выпуклый конус в Rn+1, порож-
денный точками (а{, аг) и (0, 1). Коль скоро
k0 (х*) = inf {р | (х*, р) G epi &0}*
отсюда следует, что
ко (х*) == inf[2 I >0, 2 ^iaie >
так что к0 является конечнопорожденной выпуклой функцией.
Мы получаем, что к0 и dom kQ полиэдральны (следствие 19.1.2).
В качестве следующего шага покажем, что
(— dom ko) П ri (dom &i) #= 0.
Мы докажем это, исходя из наших допущений относительно
рецессивных направлений и привлекая соображения отделимости.
Допустим, что полиэдральное выпуклое множество — dom ko
не имеет общих точек с ri (dom kt). По теореме 20.2 существует
гиперплоскость, которая собственно отделяет — dom ko от dom kt
и при этом не содержит dom kt. Эта гиперплоскость проходит через
начало координат, поскольку нуль принадлежит и dom k0, !
и dom kt. Поэтому найдется вектор у =/= 0, такой, что
(у, х*) 0, Vx* Е (— dom k0),
(у, х*)^0, Vx* G dom kt,
где (у, х*) < 0 по крайней мере для одного вектора х* С dom kt.
Тогда
(у, х* X 0, Vx* € dom ft Vi 6 /•
Таким образом, направление у есть направление рецессии функций ft
для любого i 6 I (теорема 13.3). По предположению это направление
есть направление, вдоль которого функция ft постоянна для любого S
i £ Л- Таким образом, функция ft для любого i 6 It имеет также
и направление — у в качестве направления рецессии, так что
(—у, х* X 0, V х* 6 dom ft, V i 6 It.
Ho dom kt есть выпуклый конус, порожденный множествами dom ft,
i 6 It- Поэтому
(—у, х*) ^ 0, V х* g dom kt.
212
5 21. ТЕОРЕМА ХЕЛЛИ И СИСТЕМЫ НЕРАВЕНСТВ
Это противоречит тому факту, что для некоторого х* £ dom ki
выполнено строгое неравенство {у, х* ) < 0. Полученное противо-
речие показывает, что пересечение — dom k0 и ri (dom ki) является
непустым, как мы и утверждали.
Если функция k0 — несобственная, то она должна быть тож-
дественно равной —оо на dom k0 (в силу того что она — полиэд-
ральная выпуклая функция). Если функция ki — несобственная,
то она должна быть тождественно равна —оо на множестве
ri (dom kt). В каждом из этих случаев для
z G (—dom k0) П г* (dom ki)
имеем
k0 (—z) + ki (z) = —oo,
и, значит, в силу формулы для k, которую мы установили в начале
доказательства, k (0) = —оо. Итак, в этом случае k (0) = (cl k) (0),
и все доказано. #
Допустим теперь, что и k0, и ki являются собственными функ-
циями. Пусть g — полиэдральная выпуклая функция, определен-
ная равенством g (z) = k0 (—z), так что dom g = — dom й0. Имеем
k (0) = inf {g (z) + ki (z)} =
= — sup {(0z) — (g + ki) (z)} = — (g + ki)* (0).
Z 1
Функция, сопряженная к (g + ki)*, дается теоремой 20.1, ибо
g является полиэдральной функцией и множества dom g
и ri (dom ki) имеют непустое пересечение. Таким образом,
-k (0) = (g* □ kt) (0).
Теперь с помощью тех же соображений, какие приводились в начале
доказательства теоремы 21.3 применительно к функции k, мы полу-
чаем, что kt есть индикаторная функция выпуклого множества
С}= {x|A(x)C0, 1-
Следовательно, g* является индикаторной функцией множества
—Со и g* □ kt является индикаторной функцией множества —Со +
4- Ci. Множество
D = Со A Ci
пусто в силу нашего предположения о том, что случай (а) не имеет
места. Отсюда следует, что начало координат не принадлежит
множеству —Со + С1г и мы видим, что
—k (0) = 6 (0 | — Со + Ci) = +<эо.
Отсюда снова получается, что (cl k) (0) = k (0) = —оо, чем’и завер-
шается доказательство теоремы.
Теорема 21.5. Допущения теоремы Хелли {следствия 21.3.2)
относительно направлений рецессии можно ослабить следующим
213
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
образом: существует такое конечное подмножество 10 множества
индексов I, что множества С{ полиэдральны для каждого i Е /0,
и всякое направление, являющееся направлением рецессии множе-
ства Ct для любого i £ /, есть направление, по которому Ct является
линейным для любого i Е / \ 10.
Доказательство. Пусть {Ct | i € /} — семейство мно-
жеств, удовлетворяющих этим модифицированным допущениям тео-
ремы Хелли. Рассмотрим сначала тот случай, когда для всех i £ 10
множества Ci являются замкнутыми полупространствами. Для каж-
дого i Е /0 пусть fi — аффинная функция, такая, что
ct= {х|Л(х)<о>.
Для каждого i G / \ /0 пусть ft будет индикаторной функцией
множества Сг. Мы можем теперь применить следствие 21.3.1
к С = и семейству {ft | i Е 1} при ослабленных допущениях,
которые были сформулированы в теореме 21.4. Мы заключаем, что
пересечение {Сг 11 € /} является непустым. Остается рассмотреть
общий полиэдральный случай. Каждое множество Ct, i Е /о можно
представить как конечное пересечение замкнутых полупространств.
Обозначим совокупность этих полупространств через {C'i | i Е Гй}.
Для i 6 / \ /о положим Ci = С и рассмотрим семейство
{с* । i e /'}> i' = U\ z0) и
Это семейство обладает тем же свойством, относящимся к пересе-
чению п + 1 множеств, что и семейство {Cj, i Е /}• Любое направ-
ление, рецессивное для каждого Ci, i Е Г, является направлением
рецессии для любого Ci, i Е I, и, значит, направлением, по которому
линейно любое Ci, i Е Г \ Ц. Таким образом, полученное семей-
ство {Ci | i Е /'} удовлетворяет модифицированным условиям тео-
ремы Хелли, причем для i Е Ц множества C’i суть замкнутые полу-
пространства. Но для этого последнего случая теорема уже нами
доказана, следовательно, пересечение множеств семейства {Ci | i Е
Е Г}, или, что то же самое, пересечение множеств семейства
{Сг | i Е 1} непусто.
Для конечных совокупностей выпуклых множеств теорема Хелли
оказывается верной и без допущений относительно направлений
рецессии, как мы сейчас это покажем.
Теорема 21.6. Пусть {Сг | i Е 1} — конечная совокупность
выпуклых {не обязательно замкнутых) множеств в Ип. Если любое
подсемейство этого семейства, состоящее из п + 1 или меньшего
числа множеств, имеет непустое пересечение, то и вся совокупность
в целом имеет непустое пересечение.
Доказательство. Для каждого подсемейства, содержа-
щего п + 1 или меньшее число множеств, выберем вектор, лежащий
214
§22. ЛИНЕЙНЫЕ НЕРАВЕНСТВА
в их пересечении. Совокупность выбранных векторов образует неко-
торое конечное подмножество S в пространстве И”. Для любого
i g I пусть Ct — выпуклая оболочка непустого конечного множе-
ства S П Ci- Каждое множество C'i является замкнутым ограни-
ченным выпуклым множеством, содержащимся в Ct. Если J — про-
извольное подмножество множества /, состоящее из п + 1 или
меньшего числа элементов, то пересечение множеств Ct, i 6 J, содер-
жит один из векторов множества S и этот вектор будет, очевидно,
принадлежать пересечению множеств C'i, i 6 J- Семейство {C'i | i £
£ / } удовлетворяет, таким образом, допущениям следствия 21.3.2
и, значит, имеет непустое пересечение. Это пересечение, разумеется,
содержится в пересечении первоначальной совокупности множеств,
а следовательно, последнее также непусто.
Этот вариант теоремы Хелли можно применить к конечным
системам выпуклых неравенств:
Следствие 21.6.1. Пусть дана конечная система нера-
венств вида
fi (х) <0, . . ., fh {х) < 0, Д+1 (х) <0, . . ., fm (х) < 0,
где fi...fm — выпуклые функции в Rn. (В частности, нера-
венства могут быть все строгими или все нестрогими.') Если всякая
подсистема, содержащая п + 1 или меньшее число неравенств, имеет
решение в заданном выпуклом множестве С, то и вся эта система
имеет решение в С.
Доказательство. Следует взять
Со = С,
Ci = {х | ft (х) < 0}, i б 1, • . •, k,
Ct = {х | ft (х) 0}, i = k + 1, . . ., т
и применить теорему к семейству {Ci | i = 0.т}.
Следствие 21.6.2. Если в условиях теорем 21.1 или 21.2
имеет место случай (Ь), то числа Хг можно на самом деле выбрать
так, чтобы не более чем п + 1 из них были отличны от нуля.
Доказательство. Если в теоремах 21.1 или 21.2 слу-
чай (а) не имеет места, то он не имеет места и для некоторой под-
системы, состоящей из п + 1 или меньшего числа множеств (след-
ствие 21.6.1). А тогда для этой системы выполнено (Ь).
§ 22. Линейные неравенства
В этом параграфе мы рассмотрим теорию конечных систем линей-
ных (строгих или нестрогих) неравенств. Сначала мы получим
различные теоремы существования для таких систем как следствия
215
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
общих сравнительно трудных теорем, установленных нами в пре-
дыдущем параграфе. Затем мы применим иные — элементарные
и прямые — методы, дающие возможность получать те же резуль-
таты без привлечения общей теории выпуклости.
Теорема 22.1. Пусть at £ Rn и at 6 R для i = 1, 2, . . .
. . ., т. Тогда имеет место один и только один из следующих случаев:
(а) существует вектор х 6 Rn, такой, что
{at, х) аг, i = 1.....т;
(Ь) существуют неотрицательные числа^, . . ., Хт, такие, что
2 = 0 и 2 ^iai < О-
г=1 i=l
Доказательство. Пусть (х) = (at, х) — аг для
i = l, . . ., т. Тогда выполнены предположения теоремы 21.4 для
70 = / = {1..т}. Поэтому для С = R” имеет место один
и только один из случаев теоремы 2L3. Случай (а) там — это
то же самое, что и наш случай (а). В случае (Ь) теоремы 21.3 для
некоторых неотрицательных чисел функция
т т т
f{x)= 2 W/(x)=\3 Мь *>—2 м
i=l i=l i=l
имеет положительную нижнюю грань на Rre, а поскольку f — аффин-
ная функция, она тождественно равна некоторой положительной
константе. Но это и означает, что имеет место случай (Ь) нашей
теоремы.
Отметим следующий результат, касающийся случая, когда допу-
скаются строгие неравенства.
Теорема 22.2. Пусть at С R", а( 6 R, i = 1, . . ., т
и k — целое число, 1 k т. Д опустим, что система
{ai, x)^.ait i = k + 1, . . ., m,
является совместной. Тогда имеет место один и только один из
следующих случаев:
(а) существует вектор х, такой, что
{at, х)< аг для 1=1, . . ., k,
(at, х) аг для i = k + 1, . . ., m;
(b) существуют такие неотрицательные числа . . ., Хт>
не все равные нулю, что
2М/ = 0 и 2М/<0.
г=1 г=1
216
§ 22. ЛИНЕЙНЫЕ НЕРАВЕНСТВА
Доказательство. Положим ft (х) = (at, х) — i =
= 1; . . ., т. Тогда выполняются допущения теоремы 21.2 при
С = Я”. Случаи (а) и (Ь) теоремы 21.2 соответствуют нашим слу-
чаям (а) и (Ь), как и в предыдущем доказательстве.
Разумеется, к системе из теоремы 22.2 применима и теорема
22.1. Мы получаем, что рассматриваемая система несовместна
тогда, когда существуют неотрицательные вещественные числа
Xft+1, . . ., Хто, такие, что
2 Uat = 0 и 2 Мс/ < 0.
1=1 1=м-1
В итоге мы получаем необходимое и достаточное условие существо-
вания решений любой конечной системы (строгих или нестрогих}
неравенств.
Мы скажем, что неравенство {at, х)^ а0 является следст-
вием системы
(а,, х> < аг, t=l, . . ., т,
если ему удовлетворяет любое х, удовлетворяющее системе. Напри-
мер, неравенство ti + ?2 0 является следствием системы
£i>0, g2>0.
Здесь х = (|ь £2), Щ = (—1, —1). at = (—1, 0), а2 = (0, —1),
OCq == ®*1 == 012 == 0.
Теорема 22.3. Допустим, что система
{а,, х)^ а{, » = 1, ...» т,
совместна. Неравенство {а0, х)^ а0 является следствием этой
системы тогда и только тогда, когда найдутся неотрицательные
вещественные числа Х1; . . ., Хт, такие, что
т т
] Х/Д/ Oq и У1 X^oif <а0.
1=1 1=1
Доказательство. Неравенство (а0,х) < ад является
следствием нашей системы тогда и только тогда, когда неравен-
ства
(—ао, х)< —а0, {at, х)^ аг, i = 1, . . ., т,
несовместны. В силу теоремы 22.2 эта несовместность равносильна
тому, что найдутся неотрицательные числа . . ., Кт, такие, '
что X' 0 и
X# (—Йо) 4" 4“ • • • 4" Х^гОщ — 0,
Хд (—а0) + х;«! + . . . + Х^ат 0.
Но это условие равносильно условию теоремы, если положить
Хг = Х/7Х', i = 1, . . ., т.
217
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Следствие 22.3.1 (лемма Фаркаша). Неравенство (а0, х)
0 является следствием системы
(at, х)^. О, ., т,
тогда и только тогда, когда найдутся неотрицательные веществен-
ные числа . . ., %т, такие, что
т
2 = Oq*
i=l
Доказательство. Предположения теоремы выполне-
ны, ибо нулевой вектор удовлетворяет неравенствам (ait х}^. О,
i = 1, . . ., т.
Лемма Фаркаша имеет простое геометрическое истолкование
в терминах поляр выпуклых конусов. Множество всех неотрица-
тельных линейных комбинаций векторов . . ., ат является
выпуклым конусом К, порожденным векторами ai,*. . ., ат, а реше-
ния х системы {at, х}^. О, i = 1.....т, образуют конус №,
полярный к К- Неравенство {а0, х)^0 является следствием
системы тогда и только тогда, когда (а0, х}^. 0 для любого х 6
С №, иными словами, когда а0 6 К°°- Лемма Фаркаша утверждает,
что К°° = К- Этот результат можно получить также и другим
путем. Для любого выпуклого конуса /С мы имеем К°° = с1К,
как это было показано нами в § 14. Здесь конус является конечно-
порожденным, а значит, и замкнутым (теорема 19.1), так что К°° =
= К.
Теорема 22.3 и лемма Фаркаша верны также и для некоторых
бесконечных систем
{aif х)< ott, i € I,
в соответствии с теоремой 17.3. А именно, для справедливости
их надо предполагать, что множество решений рассматриваемой
системы имеет непустую внутренность и что множество точек
{(«ь а«) I i € /}
является замкнутым и ограниченным в Rn+1.
Если одно из неравенств в случае (а) теоремы 22.1 заменить
на равенство, то альтернатива по-прежнему будет иметь место,
только в (Ь) знак соответствующего множителя не будет уже опре-
деленным. Читатель легко докажет это, применив теорему 22.1
к модифицированной системе, в которой каждое равенство пред-
ставлено в виде пары неравенств.
Теорема 22.3 может быть без труда обобщена на смешанный
случай, когда встречаются и строгие и нестрогие неравенства,
но при этом ее формулировка становится несколько громоздкой.
218
§22. ЛИНЕЙНЫЕ НЕРАВЕНСТВА
Часто бывает полезно системы неравенств записывать в матрич-
ной форме. Скажем, в случае теоремы 22.1 пусть А — матрица
размера т X п, строки которой суть .............ат, и а =
= («!.....ат). Тогда случай (а) запишется так:
Ах а.
Напомним, что неравенство векторов — это то же самое, что сово-
купность соответствующих неравенств между их компонентами.
Положив w = (Хь . . ., Хт), мы можем записать случай (Ь) в виде
ау 0, A*w = 0, (w, а) < О,
где А* —транспонированная матрица. При этом становится более
ясным то обстоятельство, что условие (Ь), равно как и условие (а),
означает просто существование решения некоторой системы нера-
венств. Систему (Ь) естественно называть альтернативной систе-
мой неравенств по отношению к системе (а). Эти две системы являют-
ся двойственными друг другу в том смысле, что какие бы коэффи-
циенты мы ни выбирали, одна система имеет решение, а другая —
нет.
Можно построить и другие пары двойственных друг другу
систем неравенств. Например, для системы
х > 0, Ах = а
альтернативная система может быть найдена с помощью леммы
Фаркаша. Пусть а1г . . ., ап — столбцы матрицы А. Данная систе-
ма означает, что для вещественных неотрицательных чисел
£1, • • •, L — компонент вектора х — выполнено равенство
£i<Zi + . . . + £nan = а- По лемме Фаркаша таких чисел не суще-
ствует тогда и только тогда, когда существует вектор w g Rm,
такой, что (aj, w) 0 для / = 1.......ми (a, w) > 0. Таким
образом, система
A*w 0, {a, w} > 0
является двойственной к данной системе.
В порядке упражнения читатель может проверить, что системы
х 0, Ах а
и
te>^0, A*w^0, {а,
также являются двойственными друг другу.
Можно написать множество двойственных пар систем неравенств,
составляя различные смеси уравнений и строгих и нестрогих нера-
венств, и тщетно было бы стараться перечислить их все. Тем не
менее мы можем указать один хороший общий прием, как строить
систему, двойственную данной.
219
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Мы хотим отыскать двойственную систему для системы такого
вида:
6 I) для j = 1.......N,
[Cn+i = .2 ^" = 1, • • •> ЯЦ
i=l
где N = т + ti, А = (atj) —заданная вещественная матрица
и Ij — некоторый интервал расширенной прямой (под таким
интервалом мы подразумеваем любое выпуклое подмножество
в R; оно может быть открытым или нет, может состоять лишь из
одной точки). Система Ах^а отвечает случаю /у = (—оо, 4-оо)
для j = 1, . . ., n, In+i = (—оо, а{] —для i = 1......т. Систе-
ме х 0, Ах = а сотъ&ст&уюг Ij = [0, оо) для / = 1............п,
In+i = {аг} для г = 1......т.
Альтернативная система в каждом из этих случаев уже была
нами построена. Для системы Ах а альтернативную систему
можно записать так:
7=1,
г=1
£* = 0, 7=1, п,
i= 1, т,
Sn4-lal 4“ • •• 4“ < 0.
Заметим теперь, что первые три условия равносильны тому, что
ZKi + • • • + < О
для любого набора чисел таких, что t>n+i af для
i = 1...... /и, иными словами, для любого набора ti> • • •> Zn,
где t>j 6 Ij для j = 1, . . ., N. Это можно символически записать
так:
+ • • • + Sy/л- < О-
(Здесь «< 0» означает «с=(—оо, 0)».) Аналогичным образом систе-
ма, альтернативная к системе х 0, Ах = а, а именно система
^>0, /=1, п,
10&1 4“ • • • 4“ ^п+т&т > 0»
== 3 £n4-i0&ij, /== 1> • • •?
г=^1
также представима в виде
= 3 Zn+iOLij,
г=1
1э*11 + • • • + ZnIn > 0.
220
$ 22. ЛИНЕЙНЫЕ НЕРАВЕНСТВА
Можно предположить, что и в самом общем случае, когда интервалы
/......IN произвольны, альтернативная система имеет вид
i + • • • + БхДу > О,
тп
/-1,...» п.
1=1
{Заметим, что, рассматривая лишь случай О 0», мы ничего не
теряем в общности, ибо решение написанной системы существует
тогда и только тогда, когда существует решение той же системы
с противоположным знаком неравенства.)
Векторы z = (£1, . . ., Бет) в R”, удовлетворяющие системе
п
tn+i— 3 ®1УЬУ> t == 1, • . ., tn,
i=i
образуют некоторое n-мерное подпространство L в Илг. Как мы
объясняли в конце § 1, ортогональное дополнение 1Д к L состоит
из векторов г* = (Бь . . ., Бет)> таких, что
m
/=1, ..., п.
1=1
Любое подпространство L и его ортогональное дополнение L-1-
можно представить так, как мы это сделали в данном случае. Для
этого следует взять таккеровское представление, о котором гово-
рилось в § 1. Таким образом, мы можем далее говорить просто
о некоторых подпространствах, отвлекаясь от их конкретного
представления с помощью коэффициентов матрицы А. Задача
становится такой. Пусть у нас имеется подпространство L cRn
и N интервалов Д, . . ., IN. Вопрос состоит в том, существует ли
вектор (Ci, . . ., Бет) € L такой, что Бу € Д Для j = 1, . . ., N.
Ответ на этот вопрос оказывается следующим: либо такой вектор
существует, либо существует вектор (Б*, . . ., Бет) € •£--*- такой,
N
что 2 Б*Д > 0, причем оба случая не могут иметь места одновре-
j=l
N
менно. Заметим, что множество 2 Б?Д есть вещественный интервал,
5=1
ибо линейная комбинация выпуклых множеств выпукла.
Высказанное нами утверждение представляет собой разновид-
ность теоремы отделимости: либо существуют общие точки у под-
пространства L и «параллелепипеда»
С = {(Б1.....tN) | Бу € Д, / = 1, • • N},
либо найдется гиперплоскость {z | {z, z*) = 0}, содержащая L
и не пересекающая С. Можно было бы дать геометрическое доказа-
тельство нашего утверждения, но мы пойдем по другому пути.
221
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
Мы приведем совершенно независимое доказательство комбина-
торного характера, не требующее привлечения общих теорем тео-
рии выпуклости. Этот путь дает возможность совершенно элемен-
тарно получать результаты типа леммы Фаркаша.
Основным при этом будет понятие «элементарного вектора»
подпространства L в RA Вектор z=(Ci........можно рассмат-
ривать как вещественную функцию на множестве {1, . . .,
(Су есть значение этой функции в точке /). Носителем z будет тогда
множество индексов /, для которых t,] ¥= 0- Каждому вектору
из L сопоставляется таким образом некоторое подмножество множе-
ства {1, . . ., N}, а именно его носитель. Элементарным вектором
из L называется такой вектор z из L, носитель которого минимален
по сравнению с другими векторами из L, точнее говоря, такой век-
тор, носитель которого не содержит строго носитель никакого дру-
гого вектора из L. Если z — элементарный вектор из L, то очевид-
но, что и — элементарный вектор из L при любом X =/= 0.
Понятие элементарного вектора пришло из теории графов,
и мы кратко коснемся этого вопроса.
Линейный граф G можно формально определить так. Это тройка
{£, V, С}, где Е — {ei......eN} — абстрактное множество эле-
ментов, называемых ребрами (иначе еще их называют дугами, вет-
вями и т. п.), V = {оъ . . им} — абстрактное множество эле-
ментов, называемых вершинами (иначе гнездами, точками и т. п.)
и С = (ctj) — матрица размера М X N, называемая матрицей инци-
дентности, все элементы которой равны +1, —1 или 0, причем
в каждом столбце стоит в точности одно число +1 и одно число —1.
Матрицу (с1}) можно толковать так: ci} = +1, если vt есть «нача-
ло» ребра ej, и Си = —1, если —«конец» ребра ej.
Если нам задан линейный граф G, то мы можем рассмотреть
подпространство L с RjV, состоящее из всех векторов z =
= (£1> • • •, Cw), таких, -что
н
3 = 0, 1=1, * * •, Af.
j=l
Если мыслить граф G как сеть трубок, то t,j можно истолковать
как расход воды, проходящей через ej (положительным Су соответ-
ствует движение от начальной вершины ребра е3 к конечной, а отри-
цательным Су — движение в противоположном направлении). Тогда
данный вектор из L можно интерпретировать как циркуляционный
поток в G, т. е. такой поток, при котором сколько воды втекает
в каждую вершину, столько вытекает из нее. Носитель вектора z —
это множество ребер ву, поток через которые отличен от нуля.
Элементарный вектор z 6 L соответствует, таким образом, ненуле-
вому току G, обладающему ненулевым течением в наименьшем
множестве ребер. Не входя в подробности, можно сказать, что это
минимальное множество ребер в G образует элементарный цикл
222
§ 22. ЛИНЕЙНЫЕ НЕРАВЕНСТВА
в G (т. е. замкнутый путь без самопересечений). При этом любой
элементарный вектор из L имеет вид
z = X (ej.....gjv), X Ф О,
где (е1; . . ., eN)—вектор инцидентности этого элементарного
цикла (е7- = +1, если ребро е^ проходится от начала к концу,
в; = —1, если ребро проходится в противоположном направле-
нии, и ej = 0, если ej вообще не входит в элементарный цикл).
Следующий важный пример элементарных векторов можно полу-
чить, рассмотрев ортогональное дополнение 1Л «токового» простран-
ства L. Ясно, что L-L есть подпространство IFlN, порожденное стро-
ками матрицы инцидентности С, иными словами, U- состоит из тех
векторов z* = (£*, . . ., gft), для которых найдется вектор р =
= (л1( . . ., лм), такой, что
IM
£*=-2 л^-, /=1, ..„АГ.
1=1
Если лг толковать как «потенциал» в вершине vit то эта формула
показывает, что £* есть просто разность потенциалов в начальной
и конечной вершинах ребра е}. Таким образом, вектор г* из 1Л-
интерпретируется как напряжение в G, причем £; есть напряжение
на ребре Носитель такого вектора — это множество ребер, кото-
рые находятся под ненулевым напряжением. Элементарный вектор
из L-J- соответствует напряжению, отличному от нуля в минималь-
ном множестве ребер. Можно показать, что такое множество ребер
образует так называемый элементарный коцикл в G и что элемен-
тарные векторы из L1- имеют вид
z* = X (е4, . . ., ejy), X =/= О,
где (е1( . . ., eN) есть вектор инцидентности некоторого элемен-
тарного коцикла.
(Элементарные коциклы в G — минимальные «вырезки» из
графа G — можно определить следующим образом, если для простоты
считать G связным графом. Возьмем некоторое подмножество W
множества вершин V, такое, что если исключить из G все ребра,
имеющие одну вершину в множестве W, а другую — вне множества
W, то получится граф, имеющий ровно две компоненты связности.
Тогда элементарный коцикл, порожденный W, состоит из только
что описанных ребер с ej = +1, если е} имеет в W начальную точ-
ку, gj = —1, если е} имеет в W конечную точку, и е3 = 0, если
ребро ej не имеет с W ни одной общей вершины или если обе вер-
шины принадлежат IT.)
В случае общего подпространства в RA, не являющегося ни про-
странством всех циркуляционных потоков, ни пространством
напряжений никакого линейного графа, уже, вообще говоря,
223
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
неверно, что каждый элементарный вектор лишь множителем отли-
чается от вектора, компоненты которого суть +1, —1 или 0. Тем
не менее элементарные векторы обладают рядом специальных
свойств, описываемых следующими леммами, которые понадобятся
нам при доказательстве основного результата — теоремы 22.6.
Лемма 22.4. Пусть L — подпространство в Если z и г' —
элементарные векторы, имеющие один и тот же носитель, то z
и z' пропорциональны', z' = kz, где X =/= 0.
Доказательство. Пусть / — любой индекс из общего
носителя z и z', и пусть % = Zj/tj (где £, и суть /-е компоненты
z и / соответственно). Вектор у = z' — kz принадлежит L. Носи-
тель его содержится в носителе вектора z, более того, он является
собственным подмножеством этого носителя. В силу того что z — эле-
ментарный вектор, мы получаем, что у = 0, т. е. z' — kz.
Следствие 22.4.1. Всякое подпространство L в № имеет
с точностью до скалярных множителей лишь конечное число эле-
ментарных векторов.
Доказательство. Имеется лишь конечное множество
подмножеств множества {1, . .4 N}, которые могут быть носи-
телями элементарных векторов, и соответствие между элементар-
ными векторами и их носителями является по лемме взаимно одно-
значным, с точностью до умножения векторов на числа.
Лемма 22.5. Любой вектор из заданного подпространства L
можно представить как линейную комбинацию элементарных век-
торов из L.
Доказательство. Пусть z — ненулевой вектор из L.
Тогда должен найтись элементарный вектор zt из L, носитель кото-
рого содержится в носителе вектора Z. Пусть j — один из индек-
сов носителя вектора zP Вектор г' = г — к^, где
принадлежит L и имеет носитель, строго содержащийся в носителе
вектора z. Если z' — элементарный вектор или если z' =/= 0, то все
доказано. В противном случае мы можем тем же путем, что и рань-
ше, подобрать z2 и z" так, чтобы
z = (z* + ^2z2) -|- kfZi,
где z2 — элементарный вектор, а носитель вектора z" строго содер-
жится в носителе вектора z'. (Носитель вектора z" содержит, таким
образом, по крайней мере на два индекса меньше, чем носитель
вектора г.) Через конечное число таких шагов мы придем к требуе-
мому результату.
Для доказательства нашей основной теоремы нам понадобится
еще такой интуитивно очевидный факт: если .. ., Jm — веще-
ственные интервалы, любые два из которых пересекаются, то и все
224
§ 22. ЛИНЕЙНЫЕ НЕРАВЕНСТВА
т интервалов имеют общую точку. Это, конечно, частный случай
теоремы Хелли (теоремы 21.6 для п = 1), но он настолько эле-
ментарен, что мы хотим дать независимое его доказательство.
Образуем симметричную матрицу А размера т X п, выбрав по
элементу ао- из каждого пересечения П Jj- Положим
0i — max (min аг,),
i i
02 = min (max аг;) = min (max ao).
i i t i
Тогда 0i 02- Пусть 0 — любое число между 0i и 02. Для i =
= 1.....т имеем
min atj 0 max
i i
так что 0 лежит между двумя точками из Jt, т. е. 0 6 Jt, i =
= 1, . . ., т.
Теорема 22.6. Пусть L — подпространство в № и
Ц, . . ., In — вещественные интервалы. Тогда имеет место один
и только один из следующих случаев'.
(а) существует вектор г = (£i, . . ., 6 L, такой, что
Si € Л> • • •, K,n € In\
(b) существует вектор г* = (£*, . . ., £&) Е Ь-Ч такой, что
W1 + . • • +&Лг>0.
Если имеет место случай (Ь), то в качестве г* можно выбрать
элементарный вектор из ZA.
Доказательство. Ясно, что случаи (а) и (Ь) одновре-
менно иметь места не могут, ибо два вектора z и г* не могут и быть
ортогональными, и удовлетворять неравенству (z*, z) > 0. Допу-
стим, что (Ь) в усиленной форме, включающей в себя утверждение
относительно элементарных векторов, не имеет места. Иными сло-
вами, допустим, что
о 6 (£,Л + • • • + £Ия)
для любого элементарного вектора из М. Покажем, что тогда имеет
место (а). Пусть р — число нетривиальных интервалов среди
Ц.....IN, т. е. интервалов, которые содержат более чем одну
точку и не совпадают со всей прямой R. Проведем индукцию по р.
В случае р = 0 допустим (для упрощения записи), что !} для
j = 1, . . ., k, состоит лишь из числа и Ij = (—оо, +оо) для
/ = k + 1, . . ., N. Обозначим через Lo подпространство в RA,
состоящее из векторов z' = (£'р . . ., £дг), для которых существует
вектор z g L, такой, что С/ = tj для j = 1, . . ., k.
Подпространство L^- состоит тогда из векторов z* 6 L^-, таких,
что £♦• = 0 для j = k + 1, . . ., N. Элементарные векторы из Lj- —
15 Р. Рокафеллар
225
,ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
это в точности те элементарные векторы из ZA, которые принадле-
жат Lo. Но по допущению
OGK?O4+...+ghift + &+i(-<x>, + <»)+••• + &(-оо, +оо)1
для любого элементарного вектора z*gL^-; значит,
О = + ... + & + $+10 + . • • + &0
для любого элементарного вектора г* из L^-. Вектор (aj...ak,
О, . . 0) оказывается, таким образом, ортогональным ко всем
элементарным векторам из L/. Но коль скоро Lj- алгебраически
порождается в силу леммы 22.5 своими элементарными векторами,
мы получаем, что
(ai, . . ., 0, . . ., 0) 6 Z^--L — Lo.
Это означает, что существует вектор z 6 L, для которого Cj —
= а,}, j = I, . . ., k, т. e. z удовлетворяет (а).
Рассмотрим теперь случай, когда по меньшей мере один из интер-
валов, скажем Ц, является нетривиальным. Допустим, что случай
(а) имеет место во всех случаях, когда число нетривиальных интер-
валов меньше, чем в рассматриваемом случае. Покажем, что суще-
ствует такое число at 6 Ц, что
О 6 (£<*1 + • • • +
для любого элементарного вектора z* 6 ZA. Это будет означать,
что Zi можно заменить на тривиальный интервал, а тогда по пред-
положению индукции имеет место случай (а). То число £ Ц,
которое нам нужно, должно лишь удовлетворять следующему
условию:
ai € + • • • + £лг7nJ
для любого элементарного вектора z* из ZA с £* = —1. По лемме
22.4 имеется лишь конечное число таких векторов. Обозначим их
совокупность через Е и для каждого z* £ Е обозначим через Jz>
интервал ££72 + . . . + %n!n- Для того чтобы доказать существо-
вание нужного нам числа аь мы должны показать, что конечное
семейство интервалов, состоящее из Ц и Jz*, z* g Е, имеет непустое
пересечение. Для этого достаточно показать, что любые два интер-
вала из этого семейства пересекаются. Для г* 6 Д имеем 7i П
fl Jz* ф 0, ибо
о е К-1)71 + &Z2 + • • • + J - -71 + Jz*
п
в силу допущения, что 0 £ 2 для любого элементарного век-
тора г* 6 1Д. Заметим, что последнее соотношение все еще оста-
нется верным, если Ii заменить на всю прямую (—оо, +оо). Эта
замена приводит к ситуации с меньшим числом нетривиальных
226
§ 22. ЛИНЕЙНЫЕ НЕРАВЕНСТВА
интервалов, чем в рассматриваемом нами случае, поэтому слу-
чай (а) имеет место по предположению индукции. Таким образом,
найдется вектор z € L, такой, что € 1г, • • •> € In- Для любо-
го z* € Е этот элемент z удовлетворяет равенствам
О = (z*. z) (-1) & + + . . . + &&N-
Итак, Zi 6 Jz* для любого z* С Е и всякие два интервала Л»
пересекаются. Теорема полностью доказана.
В том случае теоремы 22.6, когда L есть пространство всех цир-
куляционных потоков некоторого линейного графа G (см. ранее),
(а) означает существование потока z, такого, что для каждого /
его компонента — «расход воды» в ребре ej — лежит в определен-
ном предписанном интервале /?. С другой стороны, (Ь) выражает
некоторое соотношение, связывающее элементарные векторы из /Д.
Действительно, вспоминая связь между элементарными векторами
из /Д и элементарными коциклами в G, можно интерпретировать
(Ь) таким образом: существует элементарный коцикл в G, такой,
что его вектор инцидентности (ci, . . ., eN) обладает следующим
свойством:
61/1 + . . . + в^/jv > 0.
Аналогично в том случае теоремы 22.6, когда L есть пространство
всех напряжений некоторого линейного графа G, так что /Д есть
пространство всех циркуляционных потоков в G, (а) утверждает
существование вектора напряжений, компоненты которого лежат
в предписанных интервалах, тогда как (Ь) утверждает существова-
ние элементарного цикла в G, вектор инцидентности которого
(si, . . ., &n) обладает тем свойством, что
81/1 + . . . + 8/Д n > 0.
В качестве приложения теоремы 22.6 докажем следующее утверж-
дение.
Теорема 22.7 (теорема Таккера о дополнительности). Для
всякого подпространства L в найдутся неотрицательный
вектор z = (Ci . . ., £n) 6 L и неотрицательный вектор z* =
= (£?> • . -, Саг) 6 L-L, такие, что носители векторов z и z* служат
дополнениями друг друга (т. е. для любого индекса i либо Ci > 0
и = 0, либо, наоборот, Zi = 0 и £* > 0). При этом носители
векторов z и z* (но не сами эти векторы) однозначно определяются
по L.
Доказательство. Заметим прежде всего, что для любого
индекса k возможна одна и только одна из следующих двух ситуа-
ций:
(а) существует неотрицательный вектор z € L, такой, что
ъа 0;
227
15*
ГЛ. IV. ПРЕДСТАВЛЕНИЯ И НЕРАВЕНСТВА
(Ь) найдется неотрицательный вектор z* 6 ZA, такой, что £1 > 0.
Это сразу видно, если применить теорему 22.6 к случаю, когда
Ц = [0, со) для i Ф k и Ik = (0, со). Далее, обозначим через
S множество индексов k, таких, что имеет место (а), и пусть zk
для любого k g 5 означает один из неотрицательных векторов из
L, k-я компонента которых положительна. Пусть S* — множество
индексов k, для которых имеет место (Ь), и для любого k 6 S* пусть
zl — какой-нибудь вектор из 1Д, k-я компонента которого поло-
жительна. Тогда S и S* являются взаимно дополнительными под-
множествами множества {1, . . ., N} и неотрицательные векторы
z* = s zl^L1-
k£S h£S*
имеют <$ и S* своими носителями.
ГЛАВА V
Дифференцирование
§ 23. Производные по направлениям и субградиенты
Выпуклые функции обладают многими полезными дифферен-
циальными свойствами; одно из них — то, что всегда существуют
односторонние производные по направлениям. Подобно тому как
обычные двусторонние производные дифференцируемой функции
по направлениям можно описать в терминах вектора градиента,
соответствующего гиперплоскости, касательной к графику функции,
односторонние производные по направлениям можно определять
с помощью векторов «субградиентов», которые соответствуют гипер-
плоскостям, опорным к надграфику выпуклой функции.
Пусть f — некоторая функция на со значениями в [—оо, оо],
конечная в точке х. Односторонней производной функции f в точке х
по направлению у называется предел
£,, . .. f —Цх)
мо л
если он существует (при этом допускаются и бесконечные значения
у этого предела). Заметим, что
-f'{x\ — у) = lim
Xto л
так что односторонняя производная f' (х; у) оказывается двусто-
ронней тогда и только тогда, когда /' (х; —у) существует и
Г (х; —у) = —f (х; у).
Конечно, если f дифференцируема в точке х, все производные
по направлениям существуют, являются двусторонними и
Г (*; У) = <V f W> уУ> V у,
гДе V/ (х) — градиент функции f в точке х (см. § 25).
229
гл. V. ДИФФЕРЕНЦИРОВАНИЕ |
%
Теорема 23.1. Пусть f — выпуклая функция, конечная в точ-
ке х. Тогда для всякого у разностное отношение в определении
f (х\ у) не убывает поХ> 0, так что f' (х; у) существует и \
f(x;g) = inl W. ’
Х>0 Л
Более того, f' (х; у) — положительно однородная выпуклая функция
от у, f' (х; 0) = 0 и
—f (х; —у) < f (х; z/), V у.
Доказательство. Положим h (у) = f (х + у) — f (х).
Тогда при Х>0 разностное отношение в определении f' (х;, у)
равно X-1/i (Ху). Выпуклое множество epi h получается сдвигом
epi f, при котором точка (х, f (х)) переходит в (0, 0). С другой
стороны, X'Hi (Ху) = (/Л-1) (у), где по определению /гХ-1 — выпук-
лая функция, надграфик которой есть X-1 epi h. Поскольку epi h
содержит начало координат, последние множества возрастают
с увеличением X-1. Другими словами, разностное отношение
(/iX-1) (у) не возрастает с уменьшением X. Отсюда следует, что
inf (ЛХ-1) (у) = f' (х; у), V у.
А>0
Таким образом, производная по направлениям /' (х; •) определена
для всех у и (как функция от у) является положительно однородной
выпуклой функцией, порожденной h. Равенство f (х; 0) = 0 выпол-
няется по определению. Наконец, для всяких щ > f' (х; —у),
р2 > f (х; у) из-за выпуклости /' по у
(1/2)И1 + (1/2)р2 > Г (х; (1/2) (—у) + (1/2)у) = 0.
Поэтому — f' (х; —у) f (х; у) для всякого у.
Отметим, что эффективное множество f' (х; у) как функции от у
есть выпуклый конус, порожденный множеством (dom f) — х
(последнее, очевидно, содержит нуль).
В случае когда / — выпуклая функция на действительной
прямой R., для полного описания производной по направлениям
функции f в точке х достаточно задать правую производную
П (X) = г (х; 1)
и левую производную
f!Ax)=-f (х; -1).
В силу теоремы 23.1 Д и f'_ определены на dom f, если f — собст- i
венная функция, и fL (х) f'+ (х). Этот одномерный случай будет
более детально рассмотрен в § 24.
Вектор х* называется субградиентом выпуклой функции f j
в точке х, если
f (z)^f (х) + (х*, 2 — х>, V 2.
230
I
§ 23. ПРОИЗВОДНЫЕ ПО НАПРАВЛЕНИЯМ И СУБГРАДИЕНТЫ
Эго условие, которое мы будем называть субградиентным неравен-
ством, имеет простой геометрический смысл, если f конечна в точ-
ке х: оно означает, что график аффинной функции h(z) = f (х) +
4- {х*, z — х) есть невертикальная гиперплоскость, опорная
к выпуклому множеству epi f в точке (х, f (х)).
Множество всех субградиентов функции f в точке х называется
субдифференциалом функцииf в точке х и обозначается df (х). Много-
значное отображение df: х df (х) называется cy6dux№epemiU£UU)M
или cyбduффepeнцuaльным отображением функции f. Очевидно,
df (х) — выпуклое замкнутое множество, так как по определению
х* € df (х) тогда и только тогда, когда х* удовлетворяет определен-
ной бесконечной системе слабых линейных неравенств. Вообще
говоря, df (х) может быть пустым или содержать ровно один эле-
мент. Если df (х) не пусто, то говорят, что f cyddmjxpepemfUpyeMa
в точке х.
Например, евклидова норма f (х) = | х | субдифференцируема
во всякой точке х € Нп, хотя она дифференцируема только при
х4=0. Множество df (0) состоит из всех векторов х*, таких, что
| z | > (х*. z>, V z;
другими словами, df (0) есть единичный евклидов шар. Если же
х#=0, то df (х) содержит единственный вектор |Х |-1х. В случае
когда f есть чебышевская норма, т. е.
f(x) = шах {| ^ | | / = 1...п}, х = (gi...У,
нетрудно видеть, что
3/(0) = conv {±et....±еп}
(где ej есть /-я строка единичной матрицы размера п X п), а при
х 0
df (х) = conv {(sign gj) е} | j £ Jх},
где
/х={/| 1^1 =/(*)}.
Нетрудно привести пример выпуклой функции, субдифферен-
цируемой не при всех х:
гf — (1-И)1/2> если |х|<1,
' ( Ьо в остальных случаях.
В этом примере f субдифференцируема (и даже дифференцируема),
когда | х | < 1, но df (х) = 0 при | х | 1, хотя если | х | = 1,
то х g dom f.
Один из самых важных в теории субградиентов частных случаев
возникает, когда f — индикаторная функция непустого выпуклого
множества С. По определению х* С дб (х | С) тогда и только тогда,
когда
6 (z |С)>б(х |С) + (х*. z — х), Vz.
231
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Это условие означает, что xf С и 0> (х*, z — х} для всех z g С,
т. е. что х* есть нормальный вектор к С в точке х. Таким образом,
68 (х | С) есть нормальный конус к С в точке х (пустой, если х £ С).
Случай, когда С есть неотрицательный ортант в Нп, будет рассмот-
рен в конце параграфа.
Ниже, в теореме 25.1, мы покажем, что df (х) содержит единст-
венный вектор х* в том и только том случае, когда выпуклая функ-
ция f конечна в окрестности точки х, дифференцируема (в обычном
смысле) в точке х и х* — градиент функции f в этой точке. В этом
случае df (х), конечно, вполне определяет производные функции f
по направлениям в точке х. Однако и в случае, когда df (х) содер-
жит более одного вектора, существует тесная связь между df (х)
и производными функции f по направлениям. Следующие три
теоремы содержат полное описание взаимоотношений субдифферен-
циалов и производных по направлениям.
Теорема 23.2. Пусть f — выпуклая функция, конечная в
точке х. Тогба х* есть субградиент функции f в точке х в том
и только том случае, если
Г (*; У) > &*, у}, У у.
Более того, замыкание произвобной f'(x; у) как выпуклой функции
от у совпадает с опорной функцией множества df (х).
Доказательство. Полагая z = х + Ку, мы можем пре-
образовать субградиентное неравенство так:
If (х + Ку) — f (х)]/Х > (х*, у).
Последнее неравенство должно, очевидно, выполняться для всех
у £ R.”, К > 0. Поскольку разностное отношение, убывая, сходится
к f (х; у), при К | 0 полученное неравенство эквивалентно тому,
которое указано в формулировке теоремы. Для завершения дока-
зательства достаточно применить следствие 13.2.1 к положительно
однородной выпуклой функции f' (х; •)•
В одномерном случае, как показывает теорема 23.2, субградиен-
ты суть наклоны невертикальных прямых в R2, проходящих через
(х, f (х)) и не пересекающих ri (epi f). Они образуют замкнутый
интервал, ограниченный /1 (х) и f+ (х).
Теорема 23.2 влечет за собой много следствий. В качестве пер-
вого из них мы получим основную теорему о существовании суб-
градиентов.
Т е о р е м а 23.3. Пусть f—выпуклая функция, конечная
в точке х. Если f суббифференцируема в точке х, то функция f —
собственная. Если f не субдифференцируема в х, то существует
232
§ 23. ПРОИЗВОДНЫЕ ПО НАПРАВЛЕНИЯМ И СУБГРАДИЕНТЫ
хотя бы одна бесконечная двусторонняя производная по направлению
в точке х, т. е. для некоторого у
f' (х; у) = —f' (х; —у) = —оо;
последнее соотношение в действительности выполняется для вся-
кого у вида г — х, где z £ ri (dom f).
Доказательство. Если f субдифференцируема в точ-
ке х, то она мажорирует некоторую аффинную функцию и поэтому
является собственной. Множество df (х) будет пусто тогда и только*
тогда, когда его опорная функция тождественно равна —оо. Но,
согласно предыдущей теореме, опорная функция множества df (х)
есть cl (/' (х; •)), а замыкание выпуклой функции в том и только*
том случае может тождественно равняться —оо, когда сама эта
функция где-то обращается в —оо. Поэтому, если df (х) = 0, то
существует хотя бы один вектор у, такой, что f' (х; у) = —оо (из-
теоремы 23.1 следует в этом случае, что —f' (х;, —у) ——оо).
В этих условиях, однако, f' (х; •) должна равняться —оо во всех
точках относительной внутренности своего эффективного множе-
ства D (теорема 7.2). Но D совпадает с объединением по всем X > О
выпуклых множеств КС, где С = dom f — х; поскольку О Е С,
отсюда следует, что
С <=D caff С.
Таким образом, ri С с ri D, причем оба множества открыты отно-
сительно одного и того же аффинного множества и, значит, f' (х; •)
должна равняться —оо во всех точках множества (dom f) — xf
чем и завершается доказательство теоремы.
Теорема 23.4. Пусть f — собственная выпуклая функция.
Тогда если х £ dom f, то df (х) =0, если же х 6 ri (dom f), то
df 0, f (x; •) —замкнутая собственная функция и
f (х; у) = sup {(х*, у} | х* 6 df (х)} = б* (у | df (х)).
Наконец, df (х) есть непустое ограниченное множество в том и толь-
ко том случае, когда х Е int (dom /); в последнем случае f' (х; у)
конечна для всех у.
Доказательство. Подставив в субградиентное нера-
венство z Е dom f, мы увидим, что это неравенство не может быть
справедливо, если f (х) = оо. Если х 6 ri (dom f), то эффективное
множество функции f' (х; •) — аффинное множество, именно*
подпространство, параллельное аффинной оболочке множества
пот f. Поскольку f' (х; •) исчезает в нуле, она не может тожде-
ственно равняться —оо на этом подпространстве. Поэтому
Г (х; .) — собственная (теорема 7.2) и замкнутая (следствие 7.4.2)
Функция. Но в этом случае по теореме 23.2 f (х •) есть опорная
233
I
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
функция множества df (х); отсюда следуют непустота df (х) и ука-
занная в формулировке теоремы формула. Если же ri (dom f) =
= int (dom f), то эффективное множество f' (x; •) совпадает co
всем пространством, так что опорная функция 6* (• | df (х)) всюду
конечна. С другой стороны, поскольку 6* (• | df (х)) совпадает
с замыканием функции f (х; •), последняя функция тоже всюду
конечна, если конечна первая. Поэтому (следствие 6.4.1) х £
f int (dom /). Последнее утверждение теоремы следует теперь
из того факта, что непустое выпуклое множество ограничено тогда
и только тогда, когда его опорная функция всюду кднечна (след-
ствие 13.2.2).
Можно привести и более геометричное доказательство субдиф-
ференцируемости собственной выпуклой функции f на ri (dom f).
Если х g ri (dom f), f (x) < p, < oo, то (лемма 7.3) (x, p) £ ri (epi f),
в то время как (x, f (x)) есть относительно граничная точка epi f.
По теореме 11.6 существует нетривиальная опорная к epi f гипер-
плоскость, содержащая (х, f (х)). Эта гиперплоскость не может
быть вертикальной, поэтому она есть график аффинной функции,
соответствующей субградиенту х* функции f в точке х.
Следует отметить важный случай, когда f — всюду конечная вы-
пуклая функция на Rn. Тогда в каждой точке х субдифференциал
df (х) — непустое замкнутое ограниченное выпуклое множество,
/' (х; •) — конечная положительно однородная выпуклая функция
и для каждого вектора у производная /' (х; у) по направлению у есть
максимум всевозможных скалярных произведений (х*, у), когда
х* пробегает df (х).
Утверждение теоремы 23.4 о том, что субдифференциал df (х)
ограничен, можно обобщить следующим образом: для всякого
х 6 dom f, такого, что df (х) =£= 0, рецессивный конус множества
df (х) совпадает с нормальным конусом к dom f в точке х. Доказа-
тельство этого утверждения можно предложить читателю в каче-
стве упражнения; мы убедимся в его справедливости позже, при
доказательстве теоремы 25.6, в которой объясняется, каким образом
можно получить df (х) при помощи пределов последовательностей
обычных градиентов в случае, когда int (dom f) не пусто.
Как следует из теоремы 23.4, множество тех точек, при которых
собственная выпуклая функция субдифференцируема, заключено
между dom f и ri (dom /); однако оно может и не быть выпуклым.
Рассмотрим, например, на Н2 функцию
fth, g2) = max fedO, | U |},
где g (?) = 1 — V?ь если ?i > 0, и g(£i) = оо, если < 0. Эффек-
тивное множество f — замкнутая правая полуплоскость, и f суб-
дифференцируема всюду в этой полуплоскости, исключая относи-
тельную внутренность линейного сегмента, соединяющего (0, 1)
и (0, -1).
234
§ 23. ПРОИЗВОДНЫЕ ПО НАПРАВЛЕНИЯМ И СУБГРАДИЕНТЫ
Первостепенную роль в теории субградиентов играют понятия,
связанные с двойственностью.
Теорема 23.5. Пусть f — собственная выпуклая функция.
Тогда следующие четыре условия эквивалентны:
(а) х* 6 df w;
(b) (z, x* > — f (z) достигает максимума no z в точке z = x;
(c) f (x) + f* (x*) < (x, x*);
(d) f (x) + f* (x*) = (x, x*).
Если же (cl f) (x) = f (x), то приведенный список эквивалентных
условий можно дополнить еще тремя:
(а*) х € df* (х*);
(b*) (х, г*}— f* (z*) достигает максимума по г* в точке
г* = х*;
(а**) х* £ д (cl f) (х).
Доказательство. Субградиентное неравенство, опреде-
ляющее условие (а), можно переписать так:
<х, х* > — f (х) >- (z, х*) — f (z), Vz.
Последнее есть не что иное, как (Ь). Так как верхняя грань в (Ь)
есть по определению f* (х*), (Ь) тождественно (с) и (d). Применяя
те же рассуждения к f*, получим эквивалентность (а*), (Ь*) и (а**)
равенству
f** (х) + f* (х*) = (х, х*),
и это равенство совпадает с (d), когда f (х) = (cl /) (х) = f** (х).
Следствие 23.5.1. Пусть f — замкнутая собственная вы-
пуклая функция. Тогда многозначное отображение х* -> df* (х*)
является обратным к отображению х -> df (х), т. е. х 6 df* (х*)
moeda и только тогда, когда х* С df (х).
Следствие 23.5.2. Пусть f — собственная выпуклая функ-
ция, субдифференцируемая в точке х. Тогда (cl f) (х) = f (х) и
д (cl f) (х) = df (х).
Доказательство. Имеем
f W (cl f) (х) = f** (х) (х, х* > — f* (х*).
Если f субдифференцируема в точке х, то хотя бы для одного х*
выполняется условие (d), откуда следует равенство f (х) = (cl f) (х).
Но тогда д (cl f) = df (х) в силу эквивалентности условий (а)
и (а**) теоремы.
Следствие 23.5.3. Пусть С — непустое замкнутое выпук-
лое множество. Тогда, каков бы ни был вектор х*, множество
об* (х* | с) состоит из тех точек х £ С, в которых линейная функ-
ция х* > достигает максимума на С.
235
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Доказательство. Положим f = 6 (• | С), тогда f* есть
опорная функция множества С и эквивалентность условий (Ь)
и (а*) влечет требуемый результат.
Следствие 23.5.4. Пусть К — непустой замкнутый вы-
пуклый конус. Тогда х* ед& (х \ К) в том и только том случае,,
если х ед б(х* | №). Это условие эквивалентно следующему:
хЕК, х* 6 К°, (х, х* > = 0.
Доказательство. Положим f = б (• | К), f* =
= б (-| №) и используем эквивалентность условий (а), (а*) и (d).B
Мы показали, что опорную функцию б* (• | df (х)) можно полу-
чить, замыкая производную по направлениям /' (х; •). Однако-
значения этих функций в отдельных относительно граничных точках
их эффективных множеств могут отличаться. Эти различия можно
описать в двойственных терминах при помощи так называемых
аппроксимативных субградиентов.
Пусть f — выпуклая функция, конечная в точке х. Вектор х*
называется г-субградиентом функции f в точке х (е >• 0), если
/ (z) > f (х) — е + (х*, z — х), Vz.
Множество 8-субградиентов обозначается def (х).
Для того чтобы лучше понять природу 8-субградиентов, рас-
смотрим функцию
h (у) = f (х + у) — f (х);
ее сопряженная есть
h* (х*) = f* (х*) + / (х) — (х, х*).
Заметим теперь, что h* — неотрицательная замкнутая выпуклая
функция на Ж", и множество точек, в которых h* равна нулю,
есть df (х) (теорема 23.5). Далее по определению х* £ dzf (х) тогда
и только тогда, когда .
8> <х*, у) — h(y), Уу.
Верхняя грань (х*, у} —h (у) равна h* (х*), поэтому
def W = {х* I h* (х*) е}.
Отсюда следует, в частности, что dzf (х) — замкнутое выпуклое
множество. При уменьшении 8 множества dzf (х) не возрастают
и их пересечение есть df (х).
Хотя dj (х) и убывают к df (х) при 8 | 0, верхние грани
б* («/1 dsf (х)) линейной функции (•, у) на dzf (х) не обязательно
сходятся к ее верхней грани 6* (у | df (х)) на df (х).
Теорема 23.6. Пусть f — замкнутая собственная выпуклая
функция, конечная в точке х. Тогда
f (х; у) = lim б* (у | dzf (х)).
ejO
236
§ 23. ПРОИЗВОДНЫЕ ПО НАПРАВЛЕНИЯМ И СУБГРАДИЕНТЫ
Доказательство. Полагая, как и выше, h (у) =
f (х + у) — f (х), мы можем представить def (х) как множества
( уровня {х* | h* (х*) — е 0}. Так как h* — е сопряжена
' < h + е, из теоремы 13.5 следует, что б* (• | dj (х)) есть замыкание
положительно однородной выпуклой функции, порожденной
й е. Так как h + 8 конечна и положительна в нуле, положитель-
но однородная функция, порожденная h + 8, замкнута в силу
теоремы 9.7 и ее значение в точке у равно нижней грани функции
((Л + в) X) (у) = X If (х + Х-1у) - f (х) + 8]
по всем X > 0. Заменяя X на X-1, получаем формулу
б*(у| dtf (х)) = inf Hx+Xy)-f(x)+8_
К>0 А
При 8 | 0 нижняя грань справа сходится к
inf / (х+Ху) —/ (х)
х>о
т. е., согласно теореме 23.1, к f (х; у).
Чтобы проиллюстрировать теорему 23.6, рассмотрим на 7?2
функцию
f = conv {ft, f2},
где для всякого х = (g1; £2)
0, если ^+£а-1)2<1,
оо, если |2 + (£2—1)2> 1,
1, если li = 1, |2 = 0,
оо, если li^I или |2^=0.
Легко видеть, что для г/=(т]1» т]2)
0, если г|2 > 0 или т]1 = 0=-т]2,
Г (0; !/)=<
т]1, если г)., > 0
, оо, если т]2<0
И t]2 = 0,
или т)1<0
и т]2==0.
С другой стороны, замыкание функции f' (0; •) равно нулю при
"Пг 0 и оо при т]2 < 0- Для того чтобы выявить различия между
F (0; •) и ее замыканием, используя данное выше двойственное
описание f' (0; •), следует рассмотреть множества
def (0) = {х* | f (0) + (х*) — (0, х* ) С s} = {х* | /*(х*) Се},
где е>>0. По теореме 16.5 f* есть поточечный максимум функ-
ций fl и fl. Непосредственным вычислением получаем
ft(x*) = (ir + |2*2)1/2 + ^,
f2*(x‘) = ^-l,
237
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
и, следовательно, dtf (0) содержит все векторы х* = (|*,
которые удовлетворяют неравенству
max {(Й2 + й2)1'2 + Й, Й - 1} < 8.
Другими словами, для всякого е >• 0 множество def (0) совпадает
с пересечением «параболического» выпуклого множества
{х* | й (в/2) - (g?2/2e)}
и замкнутой полуплоскости
{х* I £ С 1 + 8},
в то время как
df (0) = dof (0) = {х* | Й - 0, й < 0}.
Если yi = (1, 0), то верхняя грань (•, yi) по dj (0) равна 1 при
всех е > 0, а верхняя грань по df (0) в точности равна нулю. Эго
и будут значения функции /' (0; •) и ее замыкания в точке yt. Точ-
но так же при у2 = (—1, 0) верхняя грань (•, у2} на dj (0) равна
оо при в > 0, а на df (0) она равна нулю,— это значения в точке у2
функции f' (0; •) и ее замыкания соответственно.
Как известно, в классическом анализе градиент дифференци-
руемой функции f в точке х ортогонален поверхности уровня
{z | f (z) = f (x)} в точке x. Аналогичный результат для субгра-
диентов можно сформулировать с помощью нормалей к выпуклым
множествам.
Теорема 23.7. Пусть f — собственная выпуклая функция,
cyбduффepeнцupyeмaя в точке х, но не достигающая в х своей ниж-
ней грани. Тогда нормальный конус к множеству С = {z | f(z)^f(x)}
в точке х совпадает с замыканием конуса, порожденного субдиффе-
ренциалом df (х).
Доказательство. По теореме 7.6 множество
{z | f (z) < f (x)} имеет то же замыкание, что и С, поскольку
f (х) > inf f по предположению. Поэтому для того чтобы вектор
х* был нормален к С в точке х, необходимо и достаточно, чтобы
(z — х, х*) ^ 0, если только f (z) < f (х). Далее, векторы вида
у = % (z — х), где А, > 0 и f (z) (х), суть в точности те, при
которых f (х; у) <0 (теорема 23.1). Нормальный конус Ко к мно-
жеству С в точке х является, таким образом, полярой (непустого)
выпуклого конуса
К = {У I Г (х; У) < 0).
Имеем (по теореме 7.6 и теореме 23.2)
cl К = {у I с1у Г (х-, у) 0} = {у | 6* (у | df (х)) С 0} =
= {у I <у, х*) ^ о, vx* еdf (х)} = к;,
238
§ 23. ПРОИЗВОДНЫЕ ПО НАПРАВЛЕНИЯМ И СУБГРАДИЕНТЫ
где Kt — выпуклый конус, порожденный df (х) (т. е. содержащий
все векторы, гомотетичные векторам из df (х)). Таким образом,
Ко = К° = (cl КУ = КГ = cl Ki,
что мы и хотели доказать.
Следствие 23.7.1. Пусть f — собственная выпуклая функ-
ция и х—внутренняя точка dom/, в которой f не бостигает своей
нижней грани. Тогба вектор х* нормален к множеству С =
= {z | f (z) f W} в точке х тогда и только тогба, когба сущест-
вует % 0, такое, что
х* £ Kdf (х).
Доказательство. Из условий в силу теоремы 23.4
следует, что df (х) непустое замкнутое ограниченное выпуклое
множество, не содержащее начала координат. В этом случае замы-
кание выпуклого конуса, порожденного df (х), попросту совпадает
с объединением множеств вида Kdf(x) по всем %>0 (следствие 9.6.1).
Из определения субградиента немедленно следует, что
d (If) (х) =. bdf (х), Vx, VX > 0.
Поскольку df (х) =£ 0, эта формула, очевидно, остается справед-
ливой при X = 0.
Более интересен тот факт, что формула
д (fi + ... + fm) (х) = dfi (х) + . . . + dfm (х), Va$
оказывается верной, если fi, . . ., fm — выпуклые собственные
функции и пересечение их эффективных множеств достаточно
богато.
Теорема 23.8. Пусть fi, . . ., fm — собственные выпуклые
функции на Нп. Положим f = fi + . . . -j- fm. Toeda
df (x) => dfi (x) + . . . + dfm (x), Vx.
Если же выпуклые множества ri (dom /г), i = 1...m, имеют
общую точку, то на самом беле
df (х) = dfi (х) + . . . + dfm (х), Vx.
Послебнее равенство остается справебливым, если некоторые из
функций, скажем fi, . . ., fh, полиэбральны и множества dom ft,
i = l, . . ., k, и ri (dom ft), i = k + 1, . . ., m, имеют общую
точку.
Доказательство. Если х* = х| + . . . + Хт, где
х* € dfi (х), то для всякого z
Hz) = fi (z) + . . . + fm (z) > fi (x) + (z — x, x!) + . . . +
+ fm (x) + (z — X, Xm) = f (x) + (z — X, X* ),
239
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
и, следовательно, х* g df (х). Этим доказывается общее включение.
Если множества ri (dom ft) имеют общую точку, то мы можем вычис-
лить /* при помощи последней формулы из теоремы 16.4. В этом
случае по теореме 23.5 х* £ df (х) тогда и только тогда, когда
<Х, X* > = fi (х) + . . . 4- fm (х) +
+ inf {ff (xf) + . . . + fm «) | X? + . . . Х^ = X*},
где для всякого х* нижняя грань достигается при некоторых
X*, . . ., Хт- Таким образом, df (х) состоит из векторов вида
X* + . . . 4- Хт, таких, что
(х, xt> + . . . + (х, Хт> = fi (х) + . •+ frn (х) + (4) + •••
... + fm (4,).
Но неравенство (х, х*) ft (х) + ft (xf) выполняется всегда
и становится равенством тогда и только тогда, когда xf G dfi (х).
Поэтому df (х) в точности равно dfi (х) + . . . + dfm (х). В случае
когда некоторые из функций ft полиэдральны, мы получим требуе-
мый результат, используя вместо теоремы 16.4 теорему 20.1.
Следствие 23.8.1. Пусть Clt . . Ст — выпуклые множе-
ства в R.” и относительные внутренности Ci пересекаются. Тогда
нормальный конус к пересечению Ci f| С2 П • • • fl Ст в любой
заданной точке х равен сумме Ki+ • • + Кт, где Ki — нормаль-
ный конус к Ci в точке х. В случае когда некоторые из множеств,
например Ci, . . ., Ck, полиэдральны, утверждение остается в силе,
если множества Ci, . . ., Ck, ri Ck+i, . . ., ri Cm имеют общую
точку.
Доказательство. Применим теорему к индикаторным
функциям б (• | Ct).
Теорема 23.8 играет исключительно важную роль в различных
приложениях выпуклого анализа. Поэтому целесообразно привести
еще одно ее доказательство, которое хотя и не охватывает послед-
него случая (связанного с полиэдральной выпуклостью), но зато
использует только теоремы отделимости, а не теоремы 16.4
или 20.1.
Другое доказательство. Нам надлежит прове-
рить, что
д (fl + • • + frn) (х) czdfi(x) + . . . + dfm (х),
поскольку обратное включение было уже установлено. Мы рас-
смотрим здесь только случай т = 2, так как общий случай легко
получается по индукции (если применить теорему 6.5 к множест-
вам dom ff). Итак, пусть заданы векторы х, х*; такие, что
х* € д (fi + f2) (х).
240
§ 23. ПРОИЗВОДНЫЕ ПО НАПРАВЛЕНИЯМ И СУБГРАДИЕНТЫ
Мы должны проверить, что
х* с dfi (х) + df2 (х).
Заменяя, если необходимо, fi и f2 собственными выпуклыми функ-
ДНЯМИ
gi (у) = fi(x + y) — fi (х) — {у, X* ),
ёг (у) = 1г(х + у) — fz (х),
мы можем свести все к случаю, когда
х = 0, х* = 0, fi (0) = fz (0) = 0,
и, следовательно (поскольку х* £ д (Д + Д) (х) по предполо-
жению),
min (fi + fz) (z) = (fi + fz) (0) = 0.
z
Рассмотрим теперь выпуклые множества
Ci = {(z, p) 6Rn+1 |p>A(z)},
Cz = {(Z, p) 6 Rn+1 I И < -Д (z)}.
В силу леммы 7.3
ri Ci = {(z, p) | z 6 ri (dom Д), p > Д (z)},
ri Cz = {(z, p) | z e ri (dom f2), p < —fz (z)},
откуда, поскольку минимум функции Д + Д равен нулю, следует,
что
ri Ci f| ri С2 = 0.
Поэтому Ci и Cz можно собственно разделить гиперплоскостью
в Rn+1 (теорема 11.3). Разделяющая гиперплоскость не может
быть вертикальной, ибо в этом случае ее образ при проектировании
(г, р) -> z был бы гиперплоскостью в R", собственно разделяющей
dom Д и dom Д, а это невозможно, поскольку
ri (dom fi) f| ri (dom Д) =/= 0
(теорема 1.3). Поэтому разделяющая гиперплоскость есть график
аффинной, а точнее говоря, даже линейной функции (последнее —
так как Ci и С2 содержат начало). Таким образом, существует
z* g R,n, такой, что
р > (z, z*), V (z, р) € Ci, р С <z, z*), V (z, р) G С2.
Эти условия (вспомним определение Ci и С2) можно преобразовать
так:
fi (z) > Д (0) + (z - 0, z* ), Vz 6 !КП,
Д (z) > fz (0) + <z - 0, —z*), Vz € BV1,
или, другими словами,
z* € dfi (0), -z* 6 dfz (0).
16
Рокафеллар
241
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Отсюда следует включение
о е dfi (0) + df2 (0),
завершающее доказательство теоремы.
Следующий результат тоже часто оказывается полезным при
вычислении субградиентов.
Теорема 23.9. Пусть f (х) = h (Ах), где h — собственная
выпуклая функция на а А — линейный оператор из Rn в R.m.
Тогда
df (х) => A*dh (Ах), Ух.
Если же образ оператора А содержит точку из ri (dom h) или же
f полиэдральна и образ оператора А пересекается с dom h, то
df (х) = A*dh (Ах), Ух.
Доказательство. Если х* 6 A*dh (Ах), то х* = А*у*
для некоторого у* € dh (Ах). Имеем для всякого z £ Нп
f (z) = h (Az) h (Ax) + (y*, Az — Ax) = f (x) + (x*, z — x),
а значит, x* £ df (x). Предположим теперь, что образ оператора А
содержит некоторую точку из ri (dom h). Тогда f — собственная
функция и
/* (х*) = inf {h* (у*) | Ay* - х* }
по теореме 16.3, причем для всякого х*, такого, что f* (х*) Ф оо, .
нижняя грань достигается в некоторой точке у*. Пусть х* 6 df (х).
Имеем
f (х) + f* (х*) = (х, х*)
(в силу теоремы 23.5), и, следовательно, существует вектор у*, -
такой, что А*у* = х* и
f (х) + h* (у*) = (Ах, у*).
Это условие означает, что
h (Ах) + h* (у*) = (Ах, у*)
или, другими словами, что у* 6 dh (Ах) по теореме 23.5. Таким
образом, х* £ A*dh (Дх). Приведенное доказательство остается «
справедливым и в случае, когда h полиэдральна и Ах 6 dom h для ’
некоторого х, поскольку формула, выражающая f* через h*, может
быть по-прежнему получена из теоремы 16.3 при помощи следст-
вия 19.3.1. в
Вообще для полиэдральных выпуклых функций теория, свя- ®
занная с производными по направлениям и субдифференциалами, т
значительно упрощается благодаря следующему факту.
242
i. t
§ 24. НЕПРЕРЫВНОСТЬ СУБДИФФЕРЕНЦИАЛОВ
Теорема 23.10. Пусть f — полиэдральная выпуклая функ-
ция, конечная в точке х. Тогда f субдифференцируема в точке х
и df (х) — полиэдральное выпуклое множество. Кроме того, произ-
водная по направлениям f (х; •) также есть собственная полиэд-
ральная выпуклая функция, равная опорной функции субдифферен-
циала df (х).
Доказательство. Полиэдральное выпуклое множество
(epi f) — (х, f (х))
содержит начало; поэтому порожденный им выпуклый конус поли-
эдрален и, следовательно, замкнут (следствие 19.7.1). Этот конус
совпадает с надграфиком функции f' (х; •), так что f (х; •) —
полиэдральная выпуклая функция. Так как f (х; 0) = 0,
f (х; •) — собственная функция. (Полиэдральная выпуклая функ-
ция, равная в некоторой точке —оо, не может принимать конечных
значений.) Отсюда следует, в частности, что f' (х; •) совпадает
с опорной функцией множества df (х) (теорема 23.2), что в свою
очередь означает, что df (х) — непустое полиэдральное выпуклое
множество (следствие 19.2.1).И
Примером полиэдральной выпуклой функций, чей субдиффе-
ренциал часто приходится вычислять в экстремальных задачах,
является индикаторная функция неотрицательного ортанта в Нп:
( 0, если £i>0, ..., |п>0>
f(x) = d(x|x>0) = {
' ' ' 1 ’ ( оо, если нет,
где х = (gi, . . ., 5п). Субградиенты функции f в точке х образуют
нормальный конус к неотрицательному ортанту, т. е.
ЭД(х) = {х* = (5?, . . ., К) I х* С 0, (х, х*) = 0}.
Другими словами, для этой функции соотношение х* 6 df (х) экви-
валентно п, так называемым условиям «дополняющей нежесткости»
1>>о, ВДГ = О, / =
§ 24. Непрерывность и монотонность субдифференциалов'
Пусть f — замкнутая собственная выпуклая функция в
В предыдущем параграфе мы определили субдифференциал df
функции f как многозначное отображение, ставящее в соответствие
каждому х € замкнутое выпуклое множество df (х) с Rn.
Эффективное множество df, т. е. множество
dom df = {х | df (х) 0 },
не обязательно выпукло, но отличается «очень мало» от выпуклого
в том смысле, что
ri (dom f) cz dom df cz dom f
243
16*
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
(теорема 23.4). Множество
range df = U {df (x) | x g
называется образом df. Согласно следствию 23.5.1, образ субдиф-
ференциала df совпадает с эффективным множеством df*, поэтому
ri (dom /*) с range df cz dom f*.
В этом параграфе мы будем заниматься изучением некоторых
свойств отображения df и множества
graph df = {(х, х*) £ ^2П I х* g df (х)},
которые естественно характеризовать как непрерывность и моно-
тонность, поскольку они соответствуют аналогичным свойствам
производной функции f по направлениям. Кроме того, мы укажем
здесь те характерные признаки, которые выделяют субдифферен-
циалы замкнутых собственных выпуклых функций среди всех
многозначных отображений.
Сначала будет рассмотрен одномерный случай, наиболее про-
стой, но вместе с тем отражающий многие существенные черты,
присущие общей n-мерной ситуации.
Теорема 24.1. Пусть f — замкнутая собственная выпуклая
функция на Н. Для убобства боопределим правую и левую произвоб-
ные f'+ и f'_ вне интервала dom f, полагая их равными + оо справа
от dom f и —оо слева от dom f. Тогба f+ и f_ — неубывающие функ-
ции, конечные во внутренности интервала dom f, и f'+ (zi)
f- (х) Д (х) < f'_(z2) при Zi < х < z2. Более того, для всякого х
lim f'+ (z) = f+ (x), lim f'+ (z) = f(x),
z|x zfx
lim f'_ (z) = f'+ (x), lim f_ (z) = (x).
Доказательство. Имеем по определению для всякого
х g dom f
f'+ (х) = lim = lim = f'(x;l),
2lX Z~X МО Л
f'_ (x) = lim f(z)2Z(x)' = lim v “ f <x’> ~ 0 •
zfx z x МО Л
В силу теоремы 23.1 эти пределы существуют и Д (х) Д (х).
(Последнее неравенство по определению верно и для х (£ dom f.)
Из монотонности разностных отношений, очевидно, следует, что
/+ (х) < +сю в том и только том случае, когда х лежит левее край-
ней правой точки множества cl (dom /), и f'_ (х) > —оо тогда и толь-
ко тогда, когда х лежит правее крайней левой точки множества
cl (dom /). Таким образом, множество точек, в которых и f'+, и fL
244
§ 24. НЕПРЕРЫВНОСТЬ СУБ ДИФФЕРЕНЦИАЛОВ
конечны, совпадает с int (dom f). Если у и z принадлежат dom f
и w < z, то
Если у и z не принадлежат domf и г/<г, то /' (у) < f'_(z) по
определению. Отсюда следуют все три неравенства, указанные в
формулировке теоремы. Эти неравенства означают в частности, что
/' и f'_ не убывают. Кроме того, из них следует, что
f+ (х) < lim f'_ (z) < lim f'+ (z).
z|x z|x
Чтобы убедиться в том, что последние неравенства на самом деле
являются равенствами, достаточно показать, что второй предел
не больше /' (х) в случае, когда dom f содержит интервал (х, х + е)
для некоторого е > 0. (При других х равенство следует просто
из определения и f'_ вне dom /.) В этом случае предел функции
f (z) при z| х равен f (х) в силу следствия 7.5.1, так что для х <
< у < х + е
= lim -^~^г^>Нт f'+ (z).
У~х Цх У~г Z[X '
Поэтому
lim f+ (z)< lim = f+(x).
zjx y|x У л
Две другие предельные формулы, указанные в формулировке
теоремы, доказываются аналогично.
В условиях теоремы 24.1
df (х) = {х* € R | f'_ (х) < х* < Д (х)}
для всякого х. Этот факт уже отмечался после теоремы 23.2/Пусть,
например,
. ( |х| — 2)^1—х, если —3<^х^1,
' ' I Ч-оо в других точках.
Эта функция—замкнутая собственная и выпуклая.' Имеем
Г+ (х)=<
Г- W = *
+ оо, если
1+(1 — х)-1/2, если
—1 + (1—х)'1/2, если
— оо, если
-|-оо, если
1 4-(1 — х)"1/2, если
— 1 4-(1—если
— оо, если
х:>- 1,
0<х< 1,
-3<х<0,
х< —3,
х> 1,
0<х< 1,
-3<х<0;
—з,
245
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
так что
0,
{1+(1-х)~1/2},
[О, 2],
{_1 + (1_х)-‘/2}>
(-оо, —1/2],
0,
если х> 1,
если 0<х<1,
если х = 0,
если —3<х<0
если х= —3,
если х < — 3.
Заметим, что; график df (нарисуйте!) есть непрерывная бесконеч-
ная кривая. Мы увидим в теореме 24.3, что график субдифферен-
циала замкнутой собственной функции на R, может быть в действи-
тельности охарактеризован как «полная неубывающая кривая»
в Я®.
Нетрудно проверить, что предельные равенства в теореме 24.1
могут не выполняться, если f не замкнута. Рассмотрим, например,
функцию
{О, если х>0,
1, если х = 0,
+ оо, если х<0.
В этом случае
{О, если х>0,
— оо, если х<0,
и, следовательно, f'+ не является непрерывной справа в точке
х = 0.
Когда f — замкнутая и собственная, функции /' и /1 определяют
друг друга с помощью предельных соотношений из теоремы 24.1.
Действительно, пусть <р — некоторая функция на R. со значениями
в [—оо, -j-оо], такая, что
f- (х) <р (х) (х), Vx G
и пусть
Ф+ (х) = lim ф (z), ф_ (х) = lim ф (z).
z|x zfoc
Тогда ф не убывает по теореме 24.1 и Д = ф+, fL = ф_. Поэтому ф
вполне определяет df. Следующая теорема показывает, что ф опре-
деляет самое f с точностью до аддитивной константы. (Заметим,
что ф конечна на непустом интервале / = dom df. Вне / функция
Ф обязательно бесконечна.)
Теорема 24.2. Пусть а Е и ф — неубывающая функция
на со значениями в [—оо, +оо], конечная в точке а. Пусть ф+
и ф_ — правый и левый npedeAU функции ф, опребеленные выше.
246
§ 24. НЕПРЕРЫВНОСТЬ СУБДИФФЕРЕНЦИАЛОВ
Тогда функция f, заданная формулой
f W = j Ф (0 dt,
а
__замкнутая собственная выпуклая и
д = ф_ < ф < ф+ = д.
Более того, если g — другая замкнутая собственная выпуклая
функция на R, такая, что gL g'+, то g = f + а для некото-
рого а £ R.
Доказательство. Пусть J — интервал, в котором ф
конечна. Так как ф не убывает, то f (х) определена и конечна при
х € J (как интеграл Римана от монотонной функции). В крайних
точках множества cl J функция f определена как предел рима-
новых интегралов, в то время как при х 4 cl J, конечно, f равна
T-оо. Мы покажем сейчас, что f выпукла на J. Отсюда в силу непре-
рывности интеграла на cl J следует, что f — замкнутая собствен-
ная выпуклая функция на R. Пусть х и у принадлежат J, x<Z у
и z = (1—А) х 4- 0<А<1. Тогда А = (z— х)/(у — х)
и (1 — А) = (у — г)/(у — х). Имеем
f(z) — f(x)= j ф(О^<(г—х)ф(г),
X
У
f.(y)~f(,z)~ J 4>(1)д1^.(у—г)<р(г).
z
Поэтому
(1 - A) [f (z) - f (x)] + A [f (z) - f (y)] <
< [(1 - A) (z - x) - A (y - z)J ф (z) = 0,
и, следовательно,
f(z)<(l-A)f (x)4-Af(y).
Выпуклость f, таким образом, доказана. Для всякого х С J
Г <f>(t)dt>V(x), VZ>X,
А» -Л J '
X
так что Д (х) ф (х). Точно так же ф (х) Д (х) при х 4 J. Эти
Два неравенства, очевидно, выполняются, когда х 4 J> т. е. мы
получаемД = ф+, f'_ = ф_, принимая во внимание данные перед тео-
ремой объяснения. Если теперь g — другая замкнутая собствен-
ная выпуклая функция на R., такая, что g’_ ф g'+> мы также
получаем g'+ = ф+, g’_ ~ ф_, т. е. g’+ = Д, g'_ = f'_. Тогда
ri (dom g) = ri (dom f) = ri J
247
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
в силу свойств левой и правой производных, указанных в теоре-
ме 24.1, и поскольку
J cz dom f cz cl J.
Так как f и g замкнуты, они вполне определены на всей прямой
своими значениями на ri J. Таким образом, нам достаточно про-
верить равенство g = f + const на ri J. Это тривиально в случае,
когда J содержит единственную точку, поэтому предположим, что
ri J = int J Ф 0. На int J левые и правые производные функ-
ций fug конечны, функция h = f — g на int J существует и
Л; (х) = f'+ (х) — g'+ (х) = 0, h'_ (х) = f’_ (х) — g'_ (х) = 0.
Таким образом, h дифференцируема на int J и ее производная тож-
дественно равна нулю. Поэтому f — g = const на int J.
Следствие 24.2.1. Пусть f — конечная выпуклая функция
на непустом открытом интервале I. Тогда
v у
f(y) — f (х)= J j f'_(f)dt
X X
для всех х, у из I.
Доказательство. Продолжим f до замкнутой выпуклой
функции на Н и применим теорему с ф = /' или ф = f'_.
Полной неубывающей кривой называется подмножество R2 вида
Г = { (х, х*) € R2 | ф_ (х) х* <р+ (х)},
где <р (х) — неубывающая функция на R., принимающая значения
из [—оо, -f-сю] и не являющаяся всюду бесконечной. Такое множе-
ство наиоминает график непрерывной неубывающей функции,
однако оно может содержать и вертикальные отрезки. Нетрудно
показать, что для всякой полной неубывающей кривой Г отображе-
ние (х, х*) -> х + х* гомеоморфно отображает Г на R. Таким
образом, Г в действительности есть кривая, «не ограниченная
в обоих направлениях».
Полные неубывающие кривые можно охарактеризовать как
максимальные линейно упорядоченные подмножества R.2 по отноше-
нию к обычному покоординатному частичному упорядочению в R2.
(При таком упорядочении множество Г cz R2 линейно упорядочено
в том и только том случае, когда для любой пары точек (х0, xj),
(xi, х*) из R2 либо х0 Xi, х* х*, либо х0 Xi, х* х*. Линей-
но упорядоченное множество максимально, если оно не является
частью другого более широкого линейно упорядоченного множества.}
Предыдущие результаты позволяют дать простую характериза-
цию субдифференциалов как многозначных отображений из R. в Н.
Теорема 24.3. Графики субдифференциалов df замкнутых
собственных функций на R. суть в точности полные неубывающие
248
§ 24. НЕПРЕРЫВНОСТЬ СУБДИФФЕРЕНЦИАЛОВ
кривые Г в R2. Функция f определяется по Г с точностью до адди-
тивной константы.
Доказательство сразу следует из теорем 24.1 и 24.2.
Если Г — полная неубывающая кривая, то такова и
Г* = {(**, х) | (х, х*) е Г}.
Действительно, если f — замкнутая собственная выпуклая функ-
ция на R и Г = graph df, то Г* = graph df* по теореме 23.5. По
этой же теореме Г состоит из точек, в которых неотрицательная
полунепрерывная снизу функция
h (х, х*) = f (х) + f* (х*) — хх*
на Н2 обращается в нуль.
В общем n-мерном случае устройство субдифференциалов как
многозначных отображений не столь просто. Прежде чем перехо-
дить к абстрактному описанию такого рода отображений, мы дока-
жем несколько фундаментальных теорем об их непрерывности.
Теорема 24.4. Пусть f — замкнутая собственная функция
на Rn. Если последовательности хь х2, . . . и х*, х%, . . . таковы,
что х* £ df (хг), Xi сходятся к х, a х* сходятся к х*, то х* 6 df (х).
Другими словами, график субдифференциала df — замкнутое мно-
жество в Нп х Rn.
Доказательство. По теореме 23.5
(хг, хТ)>/(хг) +f* (хГ), Vi.
Переходя к нижнему пределу при i -> оо и используя тот факт,
что f и f* замкнуты, получим
(х, х*> f (х) + f* (х*),
и, следовательно, х* 6 df (х).
Теорема 24.5. Пусть f — выпуклая функция на конеч-
ная во всех точках открытого выпуклого множества С. Пусть
fi, fz, • . . — последовательность выпуклых функций, конечных на С
и сходящихся в каждой точке из С к f (х). Пусть х С С и хь х2, . . .—
последовательность точек из С, сходящаяся к х. Тогда для всякого
У € R-n и всякой последовательности у1г у2, . . . , сходящейся к у,
lim sup fi (хг; уг) f' (х; у).
г->оо
Более того, для всякого г > 0 существует индекс i0, такой, что
dfi (хг) cz df (х) + еВ, Vi > i0,
где В — единичный евклидов шар в R.".
249
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Доказательство. Выберем некоторое р > (х; у).
Тогда существует X > 0, такое, что х 4- Ку £ С и
[f (х + Ку) — f (х) ]/Х < р.
По теореме 10.8 ft (xt + Kyt) стремится к f (х + Ку) и ft (xt) сходит-
ся к f (х). Поэтому для всех достаточно больших индексов i
If г (xt + Kyi) — fi (Xt)]IK< p.
Поскольку
fi {Xi, yt) sg (xt + Kyi) — fi (Xi)]/K,
из предыдущего неравенства следует, что
lim sup f[ (хг; yt) < p.
i—>oo
Последнее соотношение верно для всякого р > f' (х; у); отсюда
следует справедливость первого утверждения теоремы. В частности,
полагая yi = у для каждого i, заключаем, что
lim sup fi (хг; у) < f (х; у), Vy G
г—>оо
Выпуклые функции f (xf, •) и f (х; •) суть опорные функции
непустых замкнутых ограниченных выпуклых множеств df (хг)
и df (х) соответственно (теорема 23.4); поэтому они всюду койечны,
и^для всякого е>0 существует, согласно следствию 10.8.1,
индекс i0, такой, что
fi (хе, у) < f (х; у) 4-е, Уу € В, Vi t0.
Используя положительную однородность, получаем
fi (хе, у) f (х; у) + е | у |, У у 6 Hn, Vt>i0,
или, другими словами,
«* (У I df (Xi)) < 6* (у | df (х)) + 86* (у | В) =
= S* (у I df (х) + еВ), У у € Я", Vi > i0.
Отсюда следует, что
df (х^ ci df (x) 4- eB, Vi > i0
(следствие 13.1.1).
Следствие 24.5.1. Если f — собственная выпуклая функция
на 4”, то f (х; у) полунепрерывна сверху на int (dom f) X Rn.
Более того, Эля всяких х (Е int (dom f) и е > 0 существует 6 > 0,
такое, что
df (г) с df (х) + еВ, Vz Е (х + 6В),
где В — eduHU4HbiU eewudoe шар в
Доказательство. Возьмем С = int (dom f) и fi = f для
всех i.
250
-§ 24. НЕПРЕРЫВНОСТЬ СУБДИФФЕРЕНЦИАЛОВ
Тот факт, что в первом утверждении теоремы неравенство нельзя
заменить равенством, можно проиллюстрировать даже в R< Возь-
мем, например, С = R, f (х) = | х | и
ft (х) = | х |Ч pt >1, 1.
Правые производные fl (0; 1) равны нулю, a f' (0; 1) = 1. Из этого
примера следует также, что в утверждении следствия-24.5.1 полу-
непрерывность сверху нельзя заменить непрерывностью (хотя
f' (х; у) непрерывны по у для каждого фиксированного х С
€ int (dom f) как конечные выпуклые функции на 7?п). Ниже,
в теореме 25.4, мы увидим, что вопрос о непрерывности f (х; у)
по х тесно связан с существованием двусторонних производных
по направлениям.
Пусть f — собственная выпуклая функция и х £ int (dom f).
Пусть последовательность векторов х1( х2, ... сходится к х
и х* С df (хг) при каждом i. В силу следствия 24.5.1 последова-
тельность х*, х*, . . . «приближается» к (непустому замкнутому
ограниченному) множеству df (х), но, вообще говоря, может и не
сходиться, если df (х) содержит более одной точки. Более содержа-
тельное утверждение может быть сделано, если последователь-
ность Xi, х2, ... при стремлении к х асимптотически приближает-
ся к некоторой полупрямой, исходящей из х в направлении некото-
рого фиксированного вектора у. В этом случае доказываемая ниже
теорема позволяет утверждать, что х*, х*, ... стремятся к той
части границы множества df (х), в точках которой у есть нормаль
к df (х). Если существует только одна такая точка х*, а это, как
мы увидим в следующем параграфе, верно для почти всех векто-
ров у, то х*, х*, ... необходимо сходятся к х*.
Пусть х 6 dom f и f' (х; у) — конечное число. Производную
по направлениям функции f' (х; •) в точке у обозначим через
f' (х; у, •). Таким образом,
f' (х, у, z) = lim [f' (х; у + Az) — f (х\ у)]/к.
МО
Заметим, что из-за положительной однородности f' (х; •)
f (х; у + Az) f' (х; у) + Af (х; z),
и", следовательно,
f' (х; у, z)< f' (х; z), Vz.
Теорема 24.6. Пусть f — замкнутая собственная выпуклая
Функция и х £ dom f. Пусть хь х2, ... —сходящаяся к х после-
довательность точек из dom f, отличных от х. Предположим, что
lim | xt — х I-1 (хг — х) = у.
г->оо
251
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
причем f (х; у) > —оо и полупрямая {х + Ку | К 0} пересекает-
ся с int (dom f). Тогда
lim sup f (хг; z) < f (x; y, z), Vz.
i->oo
Более того, для всякого е > 0 существует индекс i0, такой, что
df (хг) <= df (х)у + вВ, Vi > io,
где В — единичный евклидов шар, a df (х)у содержит те точки
х* £ df (х), в которых у нормален к df (х).
Доказательство. Пусть а > 0 таково, что х + ау £
б int (dom f). Мы можем построить симплекс S таким образом,
что у g int S и х + aS cz int (dom f). Пусть P — выпуклая обо-
лочка объединения x и x + aS. Тогда P есть многогранник
в dom f. Зафиксируем любой вектор z и выберем К > 0 столь малым,
что у + Kz £ int S. Положим ег = | X/ — х |, yt = | хг — х |-1 X
X (хг — х) и ut = yi + Кг. По предположению ег сходятся к нулю,
а yi—к у. Можно выбрать индекс ц столь большим, что для каждого
i ii справедливы соотношения yt 6 int S, ut € int S, ег < a.
Тогда для всякого i it векторы xt = x + &tyt и xt + еДг =
= x + ещ принадлежат P и
0 = er1 [f {x + e,tyi) — f (x)] + e?1 [f (x + егиг) — f (x + ег«/г)1 +
• + 8?1 I/ (x) — f (x + егиг)] >
> /' yt) + f (x + &tyi, ut — yt) + f' (x + 8гщ, — uf).
Поскольку Ut — yt = Кг, из теоремы 23.1 следует, что
f' (х-, yf) + Kf' (хг; z) — f' (x + егиг; — ыг) <
(x + ztUt; Ut)^.[f (x + eiUt + fiUi) — f (х4-8г«г)]/₽,
где p — произвольная точка открытого интервала (0, а). Перейдем
к верхнему переделу при i -> оо в обеих частях этого неравенства.
Так как щ -*• у + Кг и е( | 0, для достаточно больших индексов i
х + 8гЫг + Р«г и х, + 8гЫг содержатся в Р. Поскольку Р локально
симплициально (теорема 20.5), f непрерывна относительно Р (тео-
рема 10.2). Таким образом,
lim f (х + 8г«г) = fix),
г—>оо
lim f (х + 8г«г + ₽«г) = f (х + ₽ (у + Кг)).
W>oo
Вектор х + ау принадлежит внутренности dom f, поэтому у содер-
жится во внутренности dom f (х; •). Отсюда следует, что /' (х; •)
непрерывна в точке у (теорема 10.1) и
lim f' (х; yt) - f' (х; у).
г->оо
252
§ 24. НЕПРЕРЫВНОСТЬ СУБДИФФЕРЕНЦИАЛОВ
Поэтому
f {х; у) + X lim sup f' (хр, z) < [f (x + 0 (у + Xz)) — f (*)!/₽
2—>0O
для 0 < 0 < а. Переходя к пределу при 0 | О, получим
/' (х-, У) + X lim sup f (xt; z) f' (x; у + Xz)-
i—>oo
По условию f' (x; y) > —оо, откуда
lim sup f' (хг; z) [f' (x; у + Xz) — f (x; i/)]/X.
г-н»
Это неравенство выполняется для всех достаточно малых X > 0;
предел разностного отношения при X | 0 равен /' (х; у, z) по опре-
делению. Этим доказывается первое утверждение теоремы. Второе
утверждение может быть доказано при помощи точно тех же рас-
суждений, что и при доказательстве теоремы 24.5, если только
/' (х; •) заменить на /' (х; у; •). По теореме 23.4 последняя функ-
ция всюду конечна (так как у принадлежит внутренности эффектив-
ного множества выпуклой функции f'(x; •) и эта функция конечна в у)
и совпадает с опорной функцией замкнутого выпуклого множества
df (х)у, определенного в формулировке теоремы (следствие 23.5.3).
В следующей теореме устанавливается связь между ограничен-
ностью df и липшицевским свойством f, о котором мы говорили в § 10.
Теорема 24.7. Пусть f — замкнутая собственная выпуклая
t функция и S — непустое замкнутое ограниченное подмножество
множества int (dom f). Тогда множество
df (S) = и {df (х) i х е s}
не пусто, замкнуто и ограниченно. Действительное число
a = sup {| х* 11 x* £ df (S)} < oo
обладает тем свойством, что
f' (х; z)< а | z I, Vx £ S, Vz,
\f(y) ~f(x) |< a\y — x I, Vx6S, Vz/€S.
Д о к а з а т е л ь с т в о. Покажем сначала, что df (S) огра-
ничено. Для всякого х € S множество df (х) не пусто и ограничено,
и его опорная функция равна f (х; •) (теорема 23.4). Поэтому
a= sup sup (х*, z)= sup sup sup (x*, z)= sup supf'(x; Z).
**edf (S) |z|^i izi=i xes x*edf(x) iz|=i xes
Так как S замкнуто и ограничено и f (х; z) полунепрерывна сверху
по х на S (следствие 24.5.1), верхняя грань
g(z) == sup {f' (х; z) | x 6 S}
253
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
конечна для всякого г. Функция g есть поточечная верхняя грань
некоторого семейства выпуклых функций, т. е. g — конечная
выпуклая функция и, таким образом, непрерывная (теорема 10.1).
Отсюда следует, что
оо > sup {g (z) | | z | = 1} = a,
и, значит, df (S') ограничено.
Чтобы убедиться в замкнутости df (S), рассмотрим последова-
тельность х*, х2, ... точек из df (S), сходящуюся к некоторой
точке х*. Выберем xt £ S так, что xf g df {xf). Поскольку S огра-
ничено и замкнуто, мы можем (выбирая, если нужно, подходящую
подпоследовательность) считать, что последовательность Xi, х2, ...
сходится к некоторой точке х £ S. Тогда по теореме 24.4 х* £ df (х),
т. е. х* g df (S), и, значит, df (S) замкнуто. Для всякой пары х, у
различных точек из 5
f (У) — f W > f' (х; у — х) > —f' {х; х — у)
(теорема 23.1), и, следовательно,
f (х) — f (у) с f' (х, X — t/X I X — у I f' (х; z),
где z = | х — у |-1 (х — у), т. е. | z | = 1. Отсюда следует, что
f (х; z) а, и, таким образом,
f (х) — f (у) а | х — у |
для всяких х и у из S. Теорема доказана.
Теперь мы можем дать полное описание субдифференциалов как.
специального подкласса «монотонных» отображений. Говорят, что
многозначное отображение р, действующее] из Нп в IFt", цикличе-
ски монотонно, если
<Xi — х0, х*) + (х2 — хь xj) + . . . + (х0 — хт, х£ X 0
для всякого конечного набора пар (хг, х*), i = 0, 1, . . ., т {т
произвольно), такого, что xf С р (х). Циклически монотонное ото-
бражение называется максимальным, если его график не является
собственным подмножеством графика некоторого другого цикли-
чески монотонного отображения.
Если f — собственная выпуклая функция, то отображение
df циклически монотонно. Действительно, если х* G df {xf), i —
= 0, . . ., т, то
(Xj-f-i Xj, Xi ) 5^ f (Xj+i) f {xf), i 0, • ., Ш, Xm+i = Xq
для каждого скалярного произведения в выражении, определяющем
циклическую монотонность. Поэтому эта сумма мажорируется
числом
If {Xf) - f (XO)J + [f (X2) - f (Xi)l + ...-+(/ (xo) - f (xm)l = 0.
234
§ 24. НЕПРЕРЫВНОСТЬ СУБДИФФЕРЕНЦИАЛОВ
Теорема 24.8. Пусть р — многозначное отображение из R.**
в Rn. Тогда для существования выпуклой собственной функции f,
такой, что р (х) cz df (х) для всех х, необходимо и достаточно?
чтобы р было циклически монотонно.
Доказательство. Необходимость очевидна, поскольку
субдифференциал сам есть циклически монотонное отображение.
Наоборот, предположим, что р циклически монотонно. Зафикси-
руем некоторую пару (х0, х*) из графика отображения р (который
естественно предполагать непустым) и определим функцию f фор-
мулой
f (х) = sup {(х — хт, х£) + . • • + Ui — х0, х*)},
где верхняя грань берется по всевозможным конечным наборам
пар (хг, х*), i=l, . . ., т, принадлежащих графику отображе-
ния р. Коль скоро f есть верхняя грань некоторого семейства аффин-
ных функций, f — замкнутая выпуклая функция. Из циклической
монотонности р следует, что f (х0) = 0, т. е. f — собственная функ-
ция. Пусть теперь векторы х и х* таковы, что х* g р (х). Мы пока-
жем сейчас, что х* £ df (х). Достаточно проверить, что неравенство
f (у) > а + (у — х, х* )
выполняется для всяких а < f (х), у 6 Действительно, если
а</(х), то из определения f следует существование некоторого-
набора пар (хг, xt), i = 1.т, таких, что х* С Р Сч) и
а < (х — хт, xt) 4- • • • + (xt —х0, х*).
Полагая xm+j = x, Xm+i=x*, получим
1(У)^(У—%т+1> Л-m+l) 4" (-^m+l Хт)4~ • • • 4~
4-(х1 —х0, х*)>(у—X, х*)4-а
в силу определения f. Отсюда следует, что р czdf.
Т е о р е м а 24.9. Субдифференциалы замкнутых собственных
выпуклых функций на IRn суть в точности максимальные циклически
монотонные отображения изКп в Нп. Функция f определяется своим
субдифференциалом с точностью до аддитивной константы.
Доказательство. Если р — максимальное циклически
монотонное отображение из в Rn, то по теореме 24.8 существует
замкнутая собственная выпуклая функция f, такая, что р czdf.
Пусть, с другой стороны, замкнутая собственная выпуклая функ-
ция f и циклически монотонное отображение р таковы, что df cz р.
По теореме 24.8 найдется другая замкнутая собственная выпуклая
функция g, такая, что р cz dg. Тогда df (х) cz dg (х) для всякого
х g Rn. Для доказательства теоремы теперь достаточно проверить,
что последнее соотношение влечет равенство g = f + const. Имеем
ri (dom f) cz dom df cz dom dg cz dom g
255
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
(теорема 23.4). Для всяких х 6 ri (dom /) и i/ € 7?п
f'(x-,y) = sup <x*,t/><. sup (x*, y)-^g'(x; y)
x*ed/(x) x*£dg(x)
(теоремы 23.4 и 23.2). Отсюда следует, что для всяких xt и х2 из
ri (dom f) выпуклые функции h и k, определенные формулами
h (А) = f ((1 — A) Xi + Ах2), k (А) = g ((1 — A) Xi + Ахг),
обладают следующим свойством:
k'_ (А) ftl (А) ft; (А) < k'l (А), 0< А< 1.
В силу теоремы 6.4 интервал / = int (dom ft) не пуст и
{О, 1] <=. I — {А | (1 — A) Xi + Ах2 € ri (dom f)} с
с {А | (1 — A) Xi + Ах2 £ dom g} = dom ft.
Отсюда, используя следствие 24.2.1, получаем
1
f(x2)-f(x1) = ft(l)-ft(0)= f ft;’(A)dA =
О
= ft(l)-ft(0) = gr(x2)-^(x1)t
Таким образом, существует действительное число а, такое, что
g (х) = f (х) + а для всякого х 6 ri (dom /). Коль скоро fug замкну-
ты, следствие 7.5.1 позволяет распространить это равенство на все
х б cl (dom f). Если же х $ cl (dom f), то, очевидно, g (х)< f (х) +
4- а. Нам осталось, таким образом, доказать в этом случае проти-
воположное неравенство. Для этого воспользуемся соображениями,
основанными на двойственности. Имеем для сопряженных функций
f* и g*
df* (х*) = (df)”1 (х*) cz (dg)"1 (х*) = dg* (х*).
Поэтому существует число а*, такое, что g* f* + а* для всех х*,
причем при х* 6 cl (dom /*) это неравенство выполняется как
равенство. Если х* £ df (х), то х* £ dg (х), и, Следовательно, для
любого х
f (х) + /* (х*) = (х, х*) = g (х) 4- g* (х*).
Более того, так как х 6 dom f, х* 6 dom f*, отсюда следует, что
а* = —а. Таким образом, g* f* — а = (/ 4- «)*• Поскольку
при сопряжении порядок изменяется, последняя формула влечет
за собой неравенство g f 4- а. Но мы уже доказали, что g^ f + а.
Итак, g = f 4- а-
Многозначное отображение р из Rn в R" называется монотон-
ным, если
(Xi — х0, х* — х%) > О
256
§ 25. ДИФФЕРЕНЦИРУЕМОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
для всяких (х0, xj) и (хь х*), принадлежащих графику отображе-
ния р- Очевидно, всякое циклически монотонное отображение
будет, в частности, монотонным.
При п = 1 монотонные отображения — это в точности такие
многозначные отображения, графики которых линейно упорядоче-
ны по отношению к покоординатному упорядочению в И2; в част-
ности, максимальным монотонным отображениям соответствуют
полные неубывающие кривые. Из теорем 24.3 и 24.9 следует, что
при п = 1 монотонные и циклически монотонные отображения
неразличимы. Однако при п > 1 существуют монотонные отобра-
жения, не являющиеся циклически монотонными. Например, если
р есть (однозначный) линейный оператор, действующий из Йд в
и соответствующий некоторой матрице Q, то р циклически моно-
тонно в том и только том случае, когда матрица Q симметрична
и положительно полу определена (это легко извлечь из теоремы 24.9).
Однако для монотонности р достаточно, чтобы
(х, Qx)>0, Vx.
В § 31 (следствие 31.5.2) мы докажем, что субдифференциал
замкнутой собственной выпуклой функции является также и мак-
симальным монотонным отображением (заметим, что это утвержде-
ние не следует из теоремы 24.9 и из того факта, что всякое цикличе-
ски монотонное отображение монотонно). Другие применения
максимальных монотонных отображений будут рассматриваться
в § 37 при изучении субдифференциала седловых функций.
§ 25. Дифференцируемость выпуклых функций
Пусть f — функция на со значениями в [—оо, оо], конечная
в точке х. В соответствии с общим определением f дифференцируема
в точке х тогда и только тогда, когда существует вектор х* (необ-
ходимо единственный), такой, что
—' f (z) = f (х) + (х*, z — х) + О (I Z — X I),
или, другими словами, когда
lim г-х> = Q
|г-х|
Если такой вектор х* существует, то он называется градиентом f
в точке х и обозначается V/ (х).
Предположим, что f дифференцируема в точке х. Тогда по опре-
делению для всякого у О
О '= limf (x+Xy)~Z ^~<7Z (x)’ M = [f' (x; y)-(Vf(x), y)]/|z/|.
A I у I
p, Рокафеллар 257
1
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Поэтому /' (х; у) существует и является линейной функцией:
Г (х; у) = <Vf (х), у), Vy.
В частности, для / = 1, . . ., п
t(x + ke ) — f (х) af
<Vf (х), e,) = lim-(x),
Лф V
где ej— вектор, образующий /-ю строку единичной матрицы разме-
ра п х п, а — /-я компонента вектора х. Отсюда следует, что
ww*(4w...4w).
так что для всякого у = (тц, . . ., т]п)
f (х; у) = (х) Th + ... + (х) Пп •
При изучении выпуклых функций естественно возникает вопрос
о том, как связаны понятия градиента и субградиента. Эта связь
оказывается очень простой.
Теорема 25.1. Пусть f — выпуклая функция, конечная
в точке х. Если f дифференцируема в точке х, то Vf (х) есть един-
ственный субградиент функции f в этой точке, т. е., в частности,
f (z) f (х) + (V/ (х), z — х), Vz.
Наоборот, если f имеет единственный субградиент в точке х, ?
то f дифференцируема в этой точке.
Доказательство. Предположим сначала, что f диффе-
ренцируема в точке х. Тогда /' (х; •) — линейная функция, равная
(V/ (х), •). По теореме 23.2 субградиенты f в точке х — это такие
векторы х*, которые удовлетворяют неравенству
<Vf (х), г/) > <х*, z/>, Vt/,
а это неравенство может выполняться, лишь если х* = V/(х). -
Поэтому V/ (х) — единственный субградиент функции f в точке' х. ?
Допустим теперь, что f имеет единственный субградиент х* в точ-
ке х. Тогда выпуклая функция |
g (у) = f (х + у) — f (х) — (х*, у)
имеет единственный субградиент в начале. Нам нужно проверить,
что в этом случае
lim (g (г/)/| у |) = 0. *
"° ’ I
Замыкание функции §•'((); •)—это опорная функция dg (0), которая .
в данном случае постоянна и тождественно равна нулю (теоре-
258
§ 25. ДИФФЕРЕНЦИРУЕМОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
ма 23.2). Поэтому g' (0; •) тоже есть тождественный нуль, так
как g' (О', •) может отличаться от своего замыкания лишь в гра-
ничных точках своего эффективного множества. Имеем
0 = g' (0; и) = lim [g (Xu) — g (0)]/Х, Vu.
МО
Здесь g (0) = 0, и разностное отношение не возрастает с умень-
шением X. Поэтому выпуклые функции
hi, (и) = g ('Kuj/h, X > 0,
не возрастая сходятся к нулю при X | 0 в каждой точке. Пусть
В — единичный евклидов шар и {ui, .'. ., аго} — конечный набор
точек, выпуклая оболочка которых содержит В. Всякое и В
может быть представлено как выпуклая комбинация
и = + . . . + Xmam,
т. е.
(«)<. 3 Х|/1х(агХтах{/1х(аг)1г' = 1>
г—1
Поскольку hi, (at) сходятся к нулю при X | 0, h% (и) сходятся к нулю
равномерно на В. Поэтому для всякого 8>0найдется такое
6 > 0, что
g (Xu)/X< е, VX е (0, 61, Vu 6 В.
Так как каждый вектор у #= 0 с । у X 6 можно представить в виде
Хи, где X = | у |, и 6 В, неравенство g (у)/1 у |< 8 выполняется,
как только | у X 6. Отсюда следует, что предел выражения
g (у)/1 У I при у -> 0 равен нулю, что и требовалось.
Следствие 25.1.1. Пусть f — выпуклая функция. Если f
конечна и дифференцируема в точке х, то f — собственная функция
и х £ int (dom /).
Доказательство. Установленное в теореме неравенство
влечет за собой f (z) > —оо для всякого z, и, значит, f — собствен-
ная функция. Кроме того, из определения следует, что функция,
дифференцируемая в точке х, должна быть конечной в некоторой
окрестности этой точки.
Из последнего утверждения, в частности, вытекает, что отобра-
жения V/ и V(cl [) тождественны, поскольку f и cl f совпадают
на int (dom f).
Следствие 25.1.2. Пусть f — собственная выпуклая функ-
ция на 01п. Тогда выступающие точки выпуклого множества epi f* с
сДп+i Суть точки euQa (я*, f* (х*)), где х* = Vf (х) для неко-
торого х.
__ Доказательство. Коль скоро (cl /)* = f* и V (cl f) =
~~ V/ (как мы только что отметили), можем считать, что f замкнута.-
259
17*
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
По определению точка (х*, |ы*) есть выступающая точка множе-
ства epi f* в том и только том случае, когда существует гиперпло-
скость Н, опорная к epi и пересекающая epi /* только в точке
(х*, р,*). Такая гиперплоскость не может быть вертикальной, поэто-
му И* = /* (**)• Далее, Н есть график аффинной функции (х, • > —
— р,, такой, что х £ д/* (х*) и х $ df* (z*) для всякого г* #= х*.
В силу теоремы 23.5 это условие означает, что х* есть единствен-
ный элемент множества df (х). Все следует теперь из теоремы.
Следствие 25.1.3. Пусть С — непустое замкнутое выпук-
лое множество и g — такая положительно odHopodncm собственная
выпуклая функция, что
С — {z\ {у, z}^. g(y), Чу}
(в частности, g может быть оИорной функцией множества С).
Тогда точка z в том и только том случае будет выступающей точ-
кой множества С, если z = Vg (у} для некоторого у.
Доказательство. Индикаторная функция множества С
равна g* в силу следствия 13.2.1. Остается применить предыдущее
следствие к g.
Теорема 25.2. Пусть f — выпуклая функция на Rn, конеч-
ная в точке х. Тогда f дифференцируема в точке х в том и только
том случае, когда производная по направлениям f' (х; •) — линейная
функция. Последнее условие заведомо выполнено, если все частные
производные df {х)!д^ существуют и конечны.
Доказательство. В случае когда f (х; •) — линейная
функция, она выпукла и замкнута и, значит, в точности равна опор-
ной функции df (х) (теорема 23.2). Тогда df (х) содержит единствен-
ную точку, что в силу теоремы 25.1 влечет за собой дифференцируе-
мость f в точке х. Для завершения доказательства нам осталось про-
верить, что существование конечных частных производных при-
водит к линейности f' (х; •). Пусть ej — вектор, образующий j-ю
строку единичной матрицы размера п х п. Имеем
f'U; е,) = -^-(х)=-f (х; — е.), j = 1, ..., п.
Отсюда следует, что эффективное множество f (х\ •) содержит 2п
векторов ±6; и (в силу положительной однородности /) все векторы,
им гомотетичные. Поэтому (из-за выпуклости) эффективное мно-
жество f' (х; •) совпадает со всем пространством Rn. Отсюда сле-
дует, что /' (х; •) — собственная функция, иначе она была бы тож-
дественно равной —оо (теорема 7.2). Линейность f' (х; •) вытекает
теперь из теоремы 4.8.
260
§ 25. ДИФФЕРЕНЦИРУЕМОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
Используя результаты предыдущего параграфа, можно полу-
чить некоторые теоремы существования двусторонних производ-
ных по направлениям и градиентов.
Теорема 25.3. Пусть f — конечная выпуклая функция на
открытом интервале I действительной оси. Пусть D — подмно-
жество множества I, в точках которого существуют (обычные
двусторонние) производные f'. Тогда дополнение D содержит не более
счетного множества точек и f' не убывает на D и непрерывна отно-
сительно D.
Доказательство. Продолжим f до замкнутой выпук-
лой функции на R. По теореме 24.1 Д (х) = f'_ (х) тогда и только
тогда, когда Д непрерывна в точке х. Поэтому D содержит в точ-
ности те точки из /, в которых Д непрерывна. В точках из /, не при-
надлежащих D, f'+ терпит разрыв; множество таких точек не более
чем счетно, поскольку f'+ не убывает. Так как Д совпадает с
на D, то она не убывает и непрерывна относительно D.
Теорема 25.4. Пусть f — собственная выпуклая функция
на № и у у= 0. Обозначим через D множество таких точек х £
6 int (dom /), в которых f' (х; у) = —f' (х; —у), т. е. в которых
существует двусторонняя производная
Тогда D содержит в точности те точки из int (dom Д, в которых
Г (*; У) непрерывна как функция от х. Множество D плотно
в int (dom /),’ а его дополнение до int (dom f) имеет меру нуль
и может быть представлено как объединение счетного семейства
множеств Sk, замкнутых относительно int (dom f) и таких, что
любой ограниченный отрезок прямой, имеющий направление у,
пересекается с каждым Sk не более чем в конечном числе точек.
Доказательство. Следствие 24.5.1 позволяет утвер-
ждать, что /' (х; у) непрерывна по х в тех и только тех точках из
int (dom f), в которых она полунепрерывна снизу по х. Мы покажем
сейчас, что
lim inf f' (z; у) = —f' (x; ' —у), Vx g int (dom /).
z->x
(Отсюда следует справедливость первого утверждения теоремы.)
С одной стороны,
lim inf Д (z; у) —f' (х; —у),
потому что f' (z; у) —f (г-, —у) для всякого z 6 dom f (теоре-
ма 23.1) и f' (z; —у) полунепрерывна сверху по z на int (dom/).
С другой стороны, противоположное неравенство должно выпол-
261
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
няться, поскольку для одномерной выпуклой функции g(X)==
= f (X + Xz/)
lim f' (x + Xz/; y) = lim g'+ (X) = g'_ (0) = — f' (x; —y)
И0 Xfo
(теорема 24.1). Таким образом, написанное выше равенство дей-
ствительно верно. Приступим к доказательству второй части тео-
ремы. Дополнение множества D до int (dom f) содержит по доказан-
ному те и только те точки х £ int (dom f), в которых
0 < Л (%; у) + f' (х; —у) = h (х).
Поэтому оно есть объединение возрастающей последовательности
множеств
Sk = {х 6 int (dom f) | h (х) l/k},' k = 1, 2, ... .
Функция h, будучи суммой двух полунепрерывных сверху функ-
ций, сама полунепрерывна сверху на int (dom f). Поэтому каждое.
замкнуто относительно int (dom f) и, значит, измеримо. Пусть
х 6 и Lx — прямая, проходящая через х в направлении у. Допу-
стим, что Lx и Sk пересекаются. Ограничение функции f на Lx есть
одномерная выпуклая функция g (X) = f (х + Xz/), и точки, при-
надлежащие Lx П Sft, соответствуют тем значениям X, при которых
g. 11k.
Из теоремы 24.1 следует, что это неравенство не может выполняться
более чем в конечном числе точек на всяком ограниченном интер-
вале. Отсюда, в частности, вытекает, что мера Sh равна нулю. (Меру
Sh можно вычислить, интегрируя меру Lx (] Sk по множеству SL
равному проекции на подпространство, ортогональное у.)
Поскольку дополнение множества D до int (dom f) есть объедине-
ние множеств Sk, оно само имеет меру нуль. В частности, оно
не может иметь внутренних точек, так что D плотно в int (dom f).
В следующей теореме устанавливаются - основные свойства
отображений вида x->-v/(x), где f — выпуклая функция. Такие
отображения будут в дальнейшем для краткости называться гра-
диентными.
Теорема 25.5. Пусть f — собственная выпуклая функция
на Кге, дифференцируемая в точках множества D. Тогда D есть
плотное подмножество в int (dom f), его дополнение до int (dom f) Z
имеет меру нуль и градиентное отображение Vf: x->Vf (х) непре- '
рывно на D.
Доказательство. Пусть е1..............еп — строки единич- *
ной матрицы размера п х п. Применяя теорему 24.5 к у = в},
мы видим, что дополнение множества Dj с: int (dom f), во всех -
точках которого dfld^} существует, имеет меру нуль. Объединение '
262
§ 25. ДИФФЕРЕНЦИРУЕМОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
дополнений множеств Di, . . .,Dn также имеет меру нуль. В свою
очередь это объединение совпадает с дополнением множества
Pi П . . • П Dn, а последнее есть не что иное, как D в силу теоре-
мы 25.2. В частности, дополнение множества D до int (dom f)
не содержит внутренних точек, т. е. D плотно в int (dom /). По тео-
реме 25.4 частные производные dfld%,} существуют и непрерывны
на Dj. Поскольку V/ (х) — вектор частных производных, мы полу-
чаем отсюда, что градиентное отображение непрерывно на D.
Следствие 25.5.1. Пусть f — конечная выпуклая функция
на открытом множестве С. Если f дифференцируема в каждой точ-
ке С, то f непрерывно дифференцируема на С.
Множество D в теореме 25.5 есть множество типа G6, т. е. пере-
сечение счетного семейства открытых множеств. Действительно,
из доказательства теоремы следует, что D равно пересечению мно-
жеств Di, . . ., Dn, каждое из которых есть множество типа G6
в силу теоремы 25.4.
Мы покажем сейчас, как с помощью градиентного отображения
V/ выпуклой замкнутой функции f можно построить ее субдиффе-
ренциал df.
Теорема 25.6. Пусть f — замкнутая собственная выпуклая
функция, эффективное множество которой имеет непустую внут-
ренность. Тогда
df (х) = cl (conv S (х)) + К (х), Vx,
где /С (х) — нормальный конус к dom f в точке х (пустой, если
х $ dom f), a S (х) — множество предельных точек последовательно-
стей вида Vf (xi), V/(х2), . . ., таких, что f дифференцируема
в точках xt и последовательность х4, х2, ... сходится к х.
Доказательство. Поскольку график множества df
замкнут (теорема 24.4), S (х) czdf(x; для всякого х. Так как
df (х) — замкнутое выпуклое множество, отсюда следует, что
cl (conv S (х)) cz df (х). Заметим еще, что если df (х) Ф 0 (т. е.,
в частности, х g dom f), то К (х) есть рецессивный конус множе-
ства df (X). Действительно, пусть х* £ df (х). Тогда рецессивный ко-
нус множества df (х) состоит из всех векторов у*, таких, что
х* + by* е df (х), VX > О
(теорема 8.3), т. е. таких, что
f (?) >- f (х) + (х* + ty*, z — х), Vz, VX > 0.
Это условие выполняется тогда и только тогда, когда
{у*, z — х) 0, Vz € dom f,
263
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
откуда по определению у* 6 К (х). Отсюда следует соотношение
cl (conv S (х)) + /С (х) cz df (х) + К (х) = df (х).
Осталось доказать противоположное включение. Коль скоро
int (dom f) =/= 0, К (х) не содержит прямых; поэтому и df (х)
не содержит прямых. Поэтому df (х) есть выпуклая оболочка своих
крайних точек и направлений (теорема 18.5). По теореме 18.6
каждая крайняя точка множества df (х) есть предел некоторой
последовательности выступающих точек множества df (х). С другой
стороны, каждый вектор у*, направление которого является край-
ним для df (х), принадлежит рецессивному конусу в df (х) (в силу
теоремы 8.3, поскольку df (х)—замкнутое множество), т. е. выпу-
клому конусу К (х). Таким образом,
df (х) cz conv (cl Е) + К. (х),
где Е — множество выступающих точек множества df (х). Конечно,
conv (cl Е) cz cl (conv E),
поскольку cl (conv E) — выпуклое множество, содержащее cl E.
Поэтому для доказательства включения
df (х) cz cl (conv S (x)) + К (x)
достаточно проверить, что E c: S (x), т. e. что каждая выступающая
точка множества df (х) может быть представлена как предел после-
довательности градиентов V/ (хг), где хг сходятся к х.
Итак, пусть х* — выступающая точка множества df (х). Тогда
существует гиперплоскость, опорная к df (х) и пересекающаяся
с df (х) только в точке х*. Поэтому найдется вектор у, | у | = 1,
нормальный к df (х) в точке х*, но не являющийся нормальным
к df (х) в любой другой точке, т. е.
{у, х*) > (у, z*), Vz* 6 df (х), z* #= х*.
Поскольку К (х) — рецессивный конус множества df (х), последнее
условие означает, в частности, что
{у, У*)<о, Vy* 6К(Х), «/*=/= 0.
Поэтому (так как К (х) — нормальный конус к dom f в точке х)
не существует вектора у* Ф 0, такого, что
<z, у*) С U. У* > (х + ау, у* )
для всякого z 6 dom f и всякого а >> 0. Другими словами, полу-
прямая {х + ау | а 0} не может быть отделена от dom f. Из тео-
ремы 11.3 следует теперь, что эта полупрямая должна пересекать
внутренность dom f. Таким образом (в силу теоремы 6.1 и тогофакта,
что х g dom f), существует а > 0, такое, что х + ьу £ int (dom f)
при 0 <z 8 а. Выберем сходящуюся к нулю последовательность
264
§ 25. ДИФФЕРЕНЦИРУЕМОСТЬ ВЫПУКЛЫХ ФУНКЦИЙ
чисел 81, е2, . . . таким образом, что 0 < ег а для всех г. Коль
скоро по теореме 25.5 / дифференцируема на плотном подмноже-
стве из int (dom /), для каждого номера i найдется точка хг х,
такая, что f дифференцируема в хг и
I Xt — (х + 8гг/) I < е?.
Имеем
lim xt — х,
г->оо
lim | xt — х I-1 (xt — x) — у,
i->oo
откуда в силу теоремы 24.6 следует, что для всякого 8 > О
df (х;) с df (х)у + еВ
при достаточно больших i (где В — единичный евклидов шар,
df (х)у — подмножество из df (х), в точках которого вектор у нор-
мален к df (х)). Здесь df (хг) совпадает с {V/(хг)} (теорема 25.1),
a д/(х)^ содержит единственную точку х*. Таким образом, задав-
шись 8 > 0, получаем
Ivf (х{) — х* | < 8
для всех достаточно больших номеров i. Отсюда следует, что
lim vf (xf) = х*.
i->oo
чем и завершается доказательство теоремы, поскольку х* — про-
извольная выступающая точка из df (х).
Вообще говоря, если Д, /2> • • • — последовательность функций,
Дифференцируемых на открытом множестве С и сходящихся в каж-
дой точке из С к дифференцируемой функции f, то последователь-
ность производных может и не сходиться к yf. Замечательное
свойство выпуклых функций состоит в том, что в описанной выше
ситуации можно утверждать не только поточечную, но и равно-
мерную на каждом замкнутом ограниченном подмножестве С схо-
димость vfj к vf.
Теорема 25.7. Пусть С — открытое выпуклое множество
и f — выпуклая конечная и dtupcffepeHyupyeMan функция на С. Пped-
положим, что nocAedoeatneAbHoctnb flt f2, ... также выпуклых конеч-
ных и duффepeнцupyeмыx на С функций cxodumcn к f в кaжdoй
точке С. Toeda
lim vfi (х) = \f (х), Vx £ С,
W-oo
и на каждом замкнутом ограниченном подмножестве из С эта
сходимость равномерна.
Доказательство. Пусть S — замкнутое ограниченное
подмножество из С. Для доказательства теоремы достаточно про-
265
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
верить, что частные производные функций fi сходятся на S равно
мерно к соответствующим частным производным функции Д Другими
словами, мы должны показать, что для всяких вектора у и 8 > О
существует номер i0, такой, что
I Ш (Д У^ — (х)> Ю, Vi> /о» Vx € S.
Это неравенство можно заменить двумя другими:
<vA (х), уХ <vf W, у'/ + 8,
<Nft (x), —УХ <vf W> —y> + 8.
-Мы докажем сейчас существование номера ii, такого, что первое
неравенство выполняется для всех i it и всех х £ S. Подобным
образом можно найти номер i2 для второго неравенства, тогда
максимальное из чисел i*i и i2 и будет искомым номером i0. Пред-
положим, что номера ч с указанными свойствами не существует.
Тогда найдется бесконечное множество номеров i, для каждого
из которых можно указать такую точку xt С 5, что
<VA (Xi)> У^> W (Xi)» У> + 8.
Выбирая, если нужно, подходящую подпоследовательность,
мы можем считать, что последнее неравенство справедливо для
всякого номера i и что последовательность хь x2i ... сходится
к точке х £ S. Для всех достаточно малых X > О, таких, что х + Ку G
£ С, включение xt + Ку £ С имеет место, если i достаточно велико, и
<v/i (xi). УХ Ifi (Xi + ty) —f (xf)]/X.
•Функции fi равномерно сходятся к f на замкнутых ограниченных
подмножествах множества С (теорема 10.8). Отсюда, поскольку f
непрерывна на С, следует, что ft (xf) сходятся к f (х), а Д (хг + ку)
сходятся к / (х + Xz/). Коль скоро \f (х) непрерывно зависит от х
-(теорема 25.5), yzf (хг) сходятся к yf (х). Поэтому
(*)» У> + 8 = lim <vf (Xf), у) + e <
г—>oo
< lim sup {\ft (x,), yX lim [Д (хг + ty) — ft (х,)]/Х =
i—>oo i—>oo
= [/(% + - f (x)]A.
Это соотношение по предположению выполнено для достаточно
малых X > 0. Однако
(Д У^ ~ f' (*', У) = lim \f (х + Ку) — f (х)]Д,
М о
и мы приходим к противоречию.
Полезно иметь в виду, что в теореме 25.7 достаточно требовать,
чтобы fi сходились к f во всех точках некоторого множества С',
266
§ 26. ПРЕОБРАЗОВАНИЕ ЛЕЖАНДРА
плотного в С. Тогда из теоремы 10.8 и из непрерывности конечной
выпуклой функции на открытом множестве следует, что Д сходятся
к f во всех точках множества С.
§ 26. Преобразование Лежандра
С операцией сопряжения тесно связано классическое преобразова-
ние Лежандра для дифференцируемых функций. В этом параграфе
мы рассматриваем преобразование Лежандра с точки зрения общей
теории выпуклых функций. Мы покажем, что оно определено
и инволютивно тогда и только тогда, когда субдифференциальное
отображение взаимно однозначно.
Разумеется, многозначное отображение р, ставящее в соот-
ветствие каждому х С 0V1 множество р (%) cz Rn, называется одно-
значным, если каждое р (х) содержит не более одного элемента.
(В этом случае р сводится к отображению в 1КП, определенному
на множестве dom р = {х | р (х) #= 0 }.) Многозначное отображе-
ние р называется взаимно однозначным, если р и р-1 — однозначные
отображения в указанном выше смысле. При этом отображение р-1,
обратное многозначному отображению р, определяется так:
р“г (х*) = {х | х* (Е р (х)}.
Итак, р взаимно однозначно тогда и только тогда, когда множество
graph р = {(х, х*) £ Н2п । х* (z р (х)}
не содержит двух различных пар (х, х*) с одной и той же первой
или с одной и той же второй компонентой.
Функция /, принимающая значения из расширенной веществен-
ной прямой, называется гладкой, если она всюду конечна и диффе-
ренцируема в каждой точке Мы будем называть собственную
выпуклую функцию f существенно гладкой, если она удовлетво-
ряет следующим трем условиям:
(а) множество С = inf (dom f) не пусто;
(b) функция f дифференцируема в каждой точке из С;
(с) если хь х2, ... — последовательность элементов из С, схо-
дящаяся к точке х $ С, то lim | у/ (xf) । = +оо. Заметим, что
всякая гладкая выпуклая функция на будет и существенно
гладкой, поскольку множество последовательностей, удовлетво-
ряющих условию (с), в этом случае пусто.
Т е о р е м а 26.1. Пусть f — замкнутая собственная выпуклая
Функция. Тогда ее субдифференциалъное отображение df однозначно
е том и только том случае, когда f существенно гладкая. В этом
случае df сводится к градиентному отображению \/f, т. е. df (х)
содержит единственный вектор \f (х), если х 6 int (dom f), и df (х) =
= 0, если х $ int (dom f).
267
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Доказательство. Из теоремы 25.1 следует, что отобра-
жение df однозначно в том и только том случае, когда df(х) =
= {v/ (*) )• Эт° равенство выполняется тогда и только тогда, когда
df(x). = 0, если f не дифференцируема в точке х. Коль скоро
df (х) Ф 0 при х 6 ri (dom /) (теорема 23.4), f дифференцируема
в точках ri (dom f). Однако всякая точка дифференцируемости f
лежит в int (dom f). Таким образом, df однозначно в том и только
том случае, когда выполняются условия (а) и (Ь) и df (х) = 0 при
х $ С. Для доказательства теоремы достаточно теперь проверить
(предполагая условия (а) и (Ь) выполненными), что условие (с)
не выполняется для некоторой точки х, принадлежащей границе
множества С, в том и только том случае, когда df (х) #= 0. В самом
деле, пусть последовательность Xi, х2, ... сходится к х и после-
довательность градиентов yf (xt), у/ (х2), . . . ограничена. Выде-
ляя, если нужно, сходящуюся подпоследовательность, мы можем
считать, что у/ (хг) сходятся к вектору х*. Тогда х* £ df (х) (тео-
рема 24.4), так что df (х) 0. Наоборот, предположим, что df (х) =/=
=£ 0. Тогда по теореме 25.6 df (х) содержит предел некоторой
сходящейся последовательности у/ (xi), у/ (х2), . . ., и, таким обра-
зом, условие (с) не выполняется.
Условие (с) в определении существенной гладкости можно сфор-
мулировать, пользуясь производными по направлениям, а не моду-
лями градиентов.
Лемма 26.2. Пусть выполнены условия (а) и (б), указанные
в onpedeeenuu существенной гладкости. Toeda условие (с) эквивалентно
ceedywwfiMy.
(с') f' (х + X (а — х); а — х) | —оо при А | 0 den всякой гра-
ничной точки х множества С и всякой точки а £ С.
Доказательство. Условия (с) и (с') характеризуют пове-
дение функции f во внутренности ее эффективного множества.
Поэтому без ограничения общности можно считать, что функция f
замкнута. Пусть х — граничная точка С и а £ С. Как было пока-
зано при доказательстве теоремы 26.1, условие (с) не выполняется
тогда и только тогда, когда df (х) =И= 0. С другой стороны, согласно
теореме 23.3, df (х) =/= 0 в том и только том случае, если f (х) < оо
и /' (х; у) > —оо для всякого у. Последнее условие следует из нера-
венства /\(х; а — х) > —оо, так как f' (х; •)—выпуклая функция
и точка а — х лежит сторого внутри ее эффективного множества
(теорема 7.2). Такйм образом, условие (с) нарушается тогда и только
тогда, когда f (х) < +оо и /' (х; а — х) > —оо. Мы покажем
сейчас, что последние соотношения могут выполняться тогда
и только тогда, когда нарушается условие (с'). Положим g(A) =
= f (х + А (а — х)). Это собственная выпуклая функция на R.
268
§ 26. ПРЕОБРАЗОВАНИЕ ЛЕЖАНДРА
По теореме 24.1
lim f' (х + X (а — х); а — х) = lim g\ (X) — g'+ (0),
цо л.4.0
где (если определить g'+, как в теореме 24.1)
{f (х, а—х), если Ogdomg, т. е xgdomf,
— оо, если 0 $ dom g, т. е х $ dom f.
Поэтому предел в (с') отличен от —оо тогда и только тогда, когда
х Е dom f и f (х; а — х) > —оо.
При помощи сопряженных функций можно доказать утверж-
дение, двойственное теореме 26.1.
Пусть f — действительная функция на выпуклом множестве С.
Говорят, что f строго выпукла на С, если
f ((1 - %) xt + Хх2) < (1 - X) f (xt) + Kf (x2), 0 < X < 1,
для всякой пары различных точек хь х2 из С. Собственную выпук-
лую функцию f на Нп будем называть существенно строго выпуклой,
если f строго выпукла на каждом выпуклом подмножестве множе-
ства
{х | df (х) =?£= 0 } = dom df.
Поскольку в силу теоремы 23.4
ri (dom f) cz dom df cz dom f,
из этого определения следует, что f строго выпукла на ri (dom f)
(как показано в § 23, само множество dom df не обязательно
выпукло).
Существенно строго выпуклая замкнутая собственная функция
/ может и не быть строго выпуклой на dom f. Рассмотрим, напри-
мер, функцию
' %/(2Ы-2УЪ, если ^>0, ?2>0,
f (х) = 0, если & = £2 = 0,
оо в остальных точках
где х = (|1, |2)). Здесь dom df — открытое выпуклое множество,
именно положительный квадрант в Н2 и f строго выпукла
на dom df. Однако на полуоси {х | > 0, £2 = 0} f равна тож-
дественно нулю и, следовательно, не строго выпукла. Заметим,
кстати, что функция f в рассмотренном примере не только суще-
ственно строго выпуклая, но и существенно гладкая.
Могут встретиться функции, строго выпуклые на ri(domf),
но не являющиеся таковыми на некоторых других выпуклых под-
множествах из dom df (и, следовательно, не являющиеся суще-
269
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
ственно строго выпуклыми). Примером может служить функция
f (*) = <
если ^>0, g2>0,
0, если li = |2 = 0,
4-оо в остальных точках.
У этой функции ri (dom f) есть положительный квадрант в Л2
и f строго выпукла на нем. Однако dom df содержит полупрямую
{х| > 0, Вг = 0}, на которой f постоянна.
Теорема 26.3. Замкнутая] собственная выпуклая функция f
является существенно строго выпуклой тогда и только тогда, когда
ее сопряженная существенно гладка.
Доказательство. Пусть f — замкнутая собственная
выпуклая функция. По теореме 23.5 субдифференциал сопряженной
функции f* есть (д/)-1, а по теореме 26.1 последнее отображение
однозначно тогда и только тогда, когда f* — существенно гладкая.
Таким образом, нам достаточно показать, что f существенно строго
выпукла тогда и только тогда, когда df (xj) П df (x2) = 0 Для
всякой пары различных точек xt, х2.
Допустим сначала, что f не является существенно строго выпук-
лой. Тогда существуют две различные точки хь х2 и число 0 < X <
< 1, такие, что df (х) 0 для х = (1 — X) xt 4- Хх2 и
f (х) = (1 —X) f(x1)4-Xf (х2).
Выберем произвольный элемент х* £ df (х) и обозначим через’;//
график аффинной функции h (z) = f (х) 4- (х*, z — x). Тогда H —
опорная гиперплоскость к epi f в точке (х, f (х)). Далее, (х, f (х)) —
относительно внутренняя точка линейного сегмента, соединяющего
(xi, f (xf)) с (х2, f (х2)) и, очевидно, лежащего в epi f. Поэтому
точки (xi, f (xf)) и (х2, f (х2)) должны принадлежать Н. Таким
образом, х* 6 df (xt), х* g df (х2) и, значит,
df (xf) f) df(x2)^= 0.
Допустим обратное, т. е. что х* б df (xj П df (х2) и Xj х2. График
функции h (z) = (х*, z) — р(где р = f* (х*)) содержит точки (xlt
f Ui)), (х2, f (х2)) и является невертикальной гиперплоскостью, опор-
ной к epi f в этих точках. Линейный сегмент, соединяющий точки
(xi, f (xf)) и (х2, f (х2)), содержится в Н, поэтому f не может быть
строго выпуклой на отрезке, соединяющем xt и х2. С другой сто-
роны, х* б df (х) для всякого х из этого отрезка. Следовательно,
f не может быть существенно строго выпуклой.
Следствие 26.3.1. Пусть f—замкнутая собственная
выпуклая функция. Тогда отображение df взаимно однозначно тогда
и только тогда, когда f — строго выпуклая на int (dom f) и суще-
ственно гладкая функция.
270
§ 26. ПРЕОБРАЗОВАНИЕ ЛЕЖАНДРА
Доказательство. Имеем (d/)-1 = df* (следствие 23.5.1).
Поэтому по теореме 26.1 df взаимно однозначно тогда и только-
тогда, когда f и /* — существенно гладкие функции. Поскольку
f сопряжена с /*, существенная гладкость f* эквивалентна суще-
ственной строгой выпуклости f. Однако, коль скоро f — суще-
ственно гладкая, существенная строгая выпуклость f попросту рав-
носильна ее строгой выпуклости на int (dom f) (теорема 26.1).
С помощью теоремы 26.1 можно доказать ряд утверждений,
содержащих условия, обеспечивающие сохранение существенной
гладкости при тех или иных преобразованиях.
Следствие 26.3.2. Пусть ft и fz — замкнутые собственные-
выпуклые функции на Rn, такие, что
ri (dom /*) П ri (dom /*) 0.
Toeda если ft — существенно гладкая функция, то и ft □ fz —
существенно гладкая.
Доказательство. По теореме 26.3 функция f* суще-
ственно строго выпукла. Кроме того,
А П/2- = (/? + £)*
в силу теоремы 16.4 и
д (ft + ft) (х*) = dft(x*) + df*(x*), Vx*
в силу теоремы 23.8. Из последнего равенства следует, в частности,
что
dom d (ft + f*2) <= dom dft,
что вместе с существенной строгой выпуклостью /* влечет за собой
существенную строгую выпуклость/* + ft- Поэтому (/* + /*)* суще-
ственно гладкая.
Следствие 26.3.3. Предположим, что замкнутая собствен-
ная выпуклая функция f существенно гладкая и А — линейное отобра-
жение Й-п на Rm. Если существует вектор у* g К<т, такой, что
А*у* £ ri (dom /*), то функция Af (на й.т) — существенно гладкая.
Доказательство. В силу теоремы 26.3 функция /* —
существенно строго выпуклая. Кроме того,
Af = (f*A*)*
по теореме 16.3 и
д (f*A*) (у*) = A df* (А*у*),
согласно теореме 23.9, так что
dom d (f*A*) = Д*-1 dom df*.
271
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Здесь Л*-1 однозначное отображение (поскольку А отображает
R” на Я™), поэтому в силу существенной строгой выпуклости
f* и f*A* существенно строго выпукла. Следовательно, по теоре-
ме 26.3 функция (/*Л*)* существенно гладкая.
Следствие 26.3.2 позволяет, например, утверждать, что, како-
во бы ни было замкнутое выпуклое множество С czRn, функция
f (х) = inf {| х — у | р | у € С}, р > 1,
выпукла и дифференцируема на R” и, значит, непрерывно диффе-
ренцируема в силу следствия 25.5.1. Действительно, / = Л □ /2»
где
h (х) = |х |р, /2 (х) = 6(х |С),
и dom /* = Нп (следствие 13.3.1).
Следствие 26.3.3 в свою очередь влечет за собой такой результат:
пусть f — (конечная) дифференцируемая выпуклая функция на
и Л — линейное отображение на 0V”, такое, что из Ах = О,
х 0, следует (/0+) (х) >• 0; тогда Af — дифференцируемая выпук-
лая функция на Нт. (При выполнении предъявленного выше
к /0+ требования образ отображения Л* пересекает ri(dom/*);
см. следствие 16.2.1.) В частности, если Л—оператор проекти-
рования вида
(^1, • • •> ^m> ^т+1> • • •> Вп) (В1> • • •> ?т)
и рецессивный конус функции f не содержит отличных от нуля
элементов вида
(О, ...» О, gm+1, . . ., £п),
то выпуклая функция g, определенная равенством
g (51> • • •’ = f (Bl> • • •> ?m+l> • • •> ?n)>
|?П+1> •••» In
непрерывно дифференцируема на Вряд ли стоит доказывать,
что при преобразованиях такого рода нельзя рассчитывать на сохра-
нение дифференцируемости, если f не выпукла.
Пусть f — дифференцируемая действительная функция на откры-
том множестве С cz Rn. Рассмотрим наряду с парой (С, /) другую
пару (D, g), где D есть образ множества С при градиентном отобра-
жении у/, a g — функция на D, определенная формулой
ё (х*) = ((у/)’1 (х*), х*) — f ((у/)’1 (х*)).
Пара (D, g) называется преобразованием Лежандра пары (С, /).
Для того чтобы функция g была однозначно определена, совсем
не обязательно требовать, чтобы градиентное отображение было
взаимно однозначным. Для этого достаточно, чтобы равенство
<xt, х*> — f (xj) = (х2, х*> — / (х2)
272
$ 26. ПРЕОБРАЗОВАНИЕ ЛЕЖАНДРА
выполнялось в тех случаях, когда у/ (*0 = V/ (хг) = х*. Для
вычисления значений g (х*) в этом случае надо в написанную выше
формулу подставить вместо (у/)-1 (х*) любой принадлежащий этому
множеству вектор.
В случае когда f и С выпуклы, мы можем продолжить f до замкну-
той выпуклой функции на Rn; С в этом случае будет внутренностью
эффективного множества f. Преобразование Лежандра пары (С, f)
оказывается при этом тесно связанным с функцией, сопряженной
с «продолженной» функцией f.
Теорема 26.4. Пусть f — замкнутая собственная выпуклая
функция, множество С = int (dom f) не пусто и f дифференцируема
на С. Тогда пара (С, f) имеет преобразование Лежандра (D, g).
При этом D — подмножество из dom f*, именно — образ градиент-
ного отображения \f, a g — ограничение функции f* на D.
Доказательство. По теореме 25.1 df на множестве С
сводится к у/. Если вектор х*, принадлежащий образу С, при
градиентном отображении у/ фиксирован, то всякий вектор х £ С,
такой, что у/ (х) = х*, есть точка, в которой функция (•, х*) — f
достигает своей верхней грани f* (х*) (теорема 23.5). Таким обра-
зом, какой бы вектор х из (у/)-1 (х*) мы не взяли, величина (х, х*) —
— f (х) будет равна f* (х*). Из формулы для g (х*) следует теперь
равенство g (х*) = f* (х*).
Следствие 26.4.1. Пусть f — существенно гладкая замкну-'
тая собственная выпуклая функция и С = int (dom f). (В част-
ности, f может быть дифференцируемой выпуклой функцией на Rn
и тогда С = Rn.) Тогда преобразование Лежандра (D, g) пары
(С, /) имеет смысл и
D = {х* I df* (х*) #= 0 },
так что D точти выпукло» в том смысле, что
ri (dom /*) с: D <= dom f*.
Наконец, g совпадает с ограничением f* на D и строго выпукла
на каждом выпуклом подмножестве из D.
Доказательство. Из условия следует, что df = V/ (тео-
рема (26.1), так что (V/)-1 = df* (теорема 23.5). Образ D отобра-
жения V/ состоит поэтому из таких точек х*, в которых df* (х*) =/=
=5^ 0. Это множество, как следует из теоремы 23.4, лежит между
ri (dom /*) и dom f*. Строгая выпуклость g вытекает теперь из тео-
ремы 26.3.
Следствие 26.4.1 утверждает, в частности, что сопряженная f*
существенно гладкой функции f может быть получена из преобра-
зования Лежандра (D, g) пары (С, f), если продолжить g до замк-
нутой выпуклой собственной функции на R.” Действительно,
Р. Рокафеллар 273
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
f* = g на D, а во всякой граничной точке х* множества D функ-
цию f* можно вычислить как предел значений g вдоль линейного
сегмента, соединяющего х* с некоторой точкой из ri D (теорема 7.5).
Наконец, вне cl D имеем /* (х*) = оо.
Хотя в условиях теоремы 26.4 преобразование Лежандра вполне
определено, обращение V/ с целью получить рабочую формулу
для вычисления g часто оказывается невозможным. Заметим, однако,
что отображение V/, непрерывное на С по теореме 25.5, задает
естественную параметризацию множества D. Применяя (нелиней-
ную) замену переменных х* = V/ (х), получим
/*(V/(x))= (х, v/(x))-/(x).
С этой точки зрения преобразование Лежандра пары (С, [) можно
интерпретировать как (вообще говоря, невыпуклую) функцию
на самом множестве С.
Если f — дифференцируемая выпуклая функция на открытом
множестве С и условие (в) в определении существенной гладкости
не выполняется, то множество D в преобразовании Лежандра
может и не быть «почти выпуклым». Пусть, например, С — откры-
тая верхняя полуплоскость в И2 и
f (1ь 1г) = »
на С. Тогда f дифференцируема и выпукла, но образ D множества С
при отображении V/ не выпуклый — это парабола
{(ВГ, il) I £ = - (ОТ-
Заметим, что условие (в) нарушается в нуле.
Вообще говоря, преобразование Лежандра дифференцируемой
выпуклой функции — не обязательно выпуклая или дифференци-
руемая функция, и мы не можем говорить о преобразовании
Лежандра преобразования Лежандра. Однако преобразование
Лежандра порождает симметричное взаимнд однозначное соответ-
ствие в классе всех пар (С, /), где С — непустое открытое выпуклое
множество, a f строго выпукла на С и удовлетворяет условиям (а),
(б) и (в) (или (в')) из определения существенной гладкости. (Точная
формулировка соответствующего утверждения содержится в дока-
зываемой ниже теореме.) Для удобства мы будем называть пары
из этого класса выпуклыми функциями типа Лежандра. Согласно
следствию 26.3.1, субдифференциальное отображение замкнутой
собственной выпуклой функции f взаимно однозначно тогда и только
тогда, когда ограничение функции f на int (dom f) есть выпуклая
функция типа Лежандра.
Теорема 26.5. Пусть f — замкнутая выпуклая функция,
С = int (dom /), С* = int (dom f*). Тогда (C, f) есть выпуклая
функция типа Лежандра в том и только том случае, когда (С*, /*)
274
§ 26. ПРЕОБРАЗОВАНИЕ ЛЕЖАНДРА
есть выпуклая функция типа Лежандра. При выполнении этих
условий (С*, /*) есть преобразование Лежандра пары (С, /), а (С, /)
в свою очередь — преобразование Лежандра пары (С*, f*). Наконец,
градиентное отображение Vf гомеоморфно отображает С на С*
и Vf* = (V/)"1.
Доказательство. Поскольку df* = (df)-1, субдиффе-
ренциал df взаимно однозначен тогда и только тогда, когда df*
взаимно однозначен. Первое утверждение теоремы вытекает, таким
образом, из следствия 26.3.1. Остальные утверждения немедленно
следуют из теоремы 26.1 и следствия 26.4.1 (за исключением непре-
рывности V/ и V/*, которая гарантируется теоремой 25.5).
Чтобы проиллюстрировать теорему 26.5, мы вернемся к рассмот-
ренному ранее примеру:
' ВЖ1)-2Ув2, если Si>0, Sa>0,
f (х) = 0, если Si = 0 = |2,
оо в остальных точках
(где х = (Si, S2)- Как мы уже отмечали, эта функция и существенно
строго выпуклая, и существенно гладкая. Поэтому (С, f) — выпук-
лая функция типа Лежандра, где
С = int (dom/) = {х = (|i, Sa) | Si > 0, S2> 0}.
Если X £ С, X* = (S*. Sa)» TO x* — Vf (x) в том и только том
случае, когда
B! = (la/Bl)-Vl/b-
Эти нелинейные уравнения легко можно разрешить относительно
и (к сожалению, в большинстве случаев этого сделать не
удается); при этом равенство х = (V/)"1 (х*) оказывается эквива-
лентным соотношениям
для х* 6 С*, где
t _________j______
1 У=2|*1У=2|*-&р ’
Е ______}____
62 (У-2S*-
с* = {х* = (st, sj) । в:< о, s2*< y-2g:}.
Имеем согласно теореме 26.5
С* = int (dom f*),
а из формулы
Г (х*) = ((V/)-1 (х*), х* > - f (Vf-1 (х*)),
верной при х* ЕС*, получаем
/*(x*) = [y^2S*-S2*]-1.
275
18*
ГЛ. V. ДИФФЕРЕНЦИРОВАНИЕ
Преобразование Лежандра пары (С, /) есть (С*, /*) и (С*, /*) —
тоже функция типа Лежандра. Предлагаем читателю проверить
в качестве упражнения, что преобразование Лежандра пары
(С*, f*) снова равно (С, [).
Значение сопряженной функции f* на всем пространстве вполне
определяется по ее значениям на ri (dom /*); в рассмотренном при-
мере, зная (С*, /*), мы можем написать формулу
fw)=J ^ли ^<0, g:<-T=2t*,
' ' ' i оо в остальных точках.
В заключение мы опишем те случаи, когда преобразование
Лежандра и операция сопряжения полностью совпадают. В соот-
ветствии с данным в § 13 определением назовем конечную выпук-
лую функцию на кофинитной, если epi f не содержит ни одной
невертикальной полупрямой. Это условие эквивалентно (след-
ствие 8.5.2) соотношению
+оо = (/0+) (у) = lim f (Ху)/К 0.
Теорема 26.6. Пусть f — (конечная) дифференцируемая
выпуклая функция на И". Для того чтобы Vf было взаимно одно-
значным отображением Нп на себя, необходимо и достаточно,
чтобы f была строго выпуклой и кофинитной. При выполнении
этих условий f* — также дифференцируемая строго выпуклая
кофинитная функция на Нп, и f* совпадает с преобразованием
Лежандра функции f (или точнее — пары (Rn, /)), т. е.
f* (х*) = ((vf)"1 №), x*>-f ((v/)-1 (х*)), Vx*,
а преобразование Лежандра функции f* совпадает с f.
Доказательство теоремы вытекает непосредственно
из следствия 26.3.1, теоремы 26.5 и того факта, что dom f* = Rn
_ тогда и только тогда, когда f кофинитна (следствие 13.3.1).
Лемма 26.7. Пусть f — дифференцируемая выпуклая функция
на R.n. Тогда f кофинитна в том и только том случае, когда
lim | v f (хг) | = +oo
2—>00
для всякой последовательности Xi, x2, .... такой, что '
lim | xi । = +oo.
i->oo
Доказательство. Поскольку dom = Hn тогда и толь-
ко тогда, когда f кофинитна, нам достаточно проверить, что
int (dom f*) =/= в том и только том случае, когда существует
неограниченная последовательность %i, х2, • • •, такая, что после-
276
5 26. ПРЕОБРАЗОВАНИЕ ЛЕЖАНДРА
довательность sjf (xt), \f (х2), . . . сходится. Допустим, что такая
последовательность действительно существует. Обозначим х* =
= yf (хг), I ==1,2,. ..., и пусть х* = lim х*. Тогда хг € df* (х*)
для всякого I. Если бы х* была внутренней точкой dom f*,
то df* (х*) было бы ограниченным множеством (теорема 23.4) и в
силу следствия 24.5.1 существовал бы индекс i0, такой, что
dfi (х*) с: df* (х*) + В, i> i0
(В — единичный шар). Последнее противоречило бы неограничен-
ности последовательности хь х2, . . поэтому мы должны сделать
вывод о том, что х* £ int (dom /*). Допустим теперь, что
int (dom /*) Нп. Пусть x* — произвольная граничная точка
dom/*. Тогда- df* (х*) либо неограничено, либо пусто. Если
df* (х*) — неограниченное множество, то оно содержит неограни-
ченную последовательность хъ х2, . . ., т. е. для всякого номера i
х* 6 df (х;) и, значит, х* = у/ (хг), так что последовательность
у/ (xi)> V? (хг), • • • сходится. Пусть теперь df* (х*) = 0. Рассмот-
рим последовательность х*, х*, ... элементов ri (dom /*), сходя-
щуюся к х*. Для каждого номера i выберем хг- Е df* (х;) (это воз-
можно, поскольку Xi £ ri (dom /*)—теорема 23.4). Тогда х* =
— V/ (х0 Для всякого I, так что у/ (хг) сходятся к х*. С другой
стороны, последовательность xt, х2, . . . должна быть неограни-
ченной, ибо в противном случае некоторая ее подпоследователь-
ность сходилась бы к точке х, и мы имели бы (в силу теоремы 24.4)
х £ df* (х*); однако ранее мы предположили, что df* (х*) = 0.
ГЛАВА VI
Экстремальные задачи
с ограничениями
§ 27. Минимумы выпуклых функций
Важность экстремальных задач и вариационных принципов в
прикладной математике побуждает предпринять общее изучение
максимумов и минимумов (или же тех или иных минимаксных
экстремумов) функций на заданных множествах. Изучение это
значительно упрощается, если удается использовать те или иные
соображения, связанные с выпуклостью. Таким образом могут
быть получены многие важные результаты, в частности, разнооб-
разные теоремы двойственности или же теоремы, содержащие ха-
рактеризацию тех точек, в которых достигается экстремум.
В этом параграфе мы рассматриваем задачу о минимуме выпук-
лой функции h на выпуклом множестве С <=Rn. Не ограничивая
общности, можно считать, что h — собственная функция на
В этом случае задача о минимуме h на С, конечно, эквивалентна
задаче о безусловном минимуме функции
{h(x), если xfC,
оо , если х $ С,
на всем 0V*. Таким образом, мы начинаем с обсуждения задачи
о минимуме функции f (принимающей, возможно, бесконечные
значения) на Rn без каких-либо дополнительных ограничений.
Затем мы рассмотрим специальный случай, когда f — h + б (• | С).
В § 28 мы детально обсудим задачу, в которой множество С задается
как множество решений некоторой системы неравенств.
В последующем изложении наше внимание будет сосредоточено
на изучении свойств параметризованного семейства множеств уровня
leva / = {х | f (х) < а}, а 6 R,
принадлежащего данной собственной выпуклой функции f. Мно-
жества leva f выпуклы, а если f замкнута (это обычно применяемое
условие регулярности), то и замкнуты. Объединение всех leva f
по a g R. равно, очевидно, dom f, и задачи о минимуме f на
и dom f конечно эквивалентны.
278
§ 27. МИНИМУМЫ ВЫПУКЛЫХ ФУНКЦИЙ
Нижнюю грань функции f на Rn обозначим через inf/. При
помощи множеств уровня inf f можно охарактеризовать следующим
образом: при а < inf f множества leva f пусты, а при а = inf f
множество leva f состоит из тех точек х, в которых достигается ниж-
няя грань. Мы будем называть его множеством минимумов функ-
ции f. Очень важно знать, является ли множество минимумов
пустым или нет, содержит ли оно одну точку или более. Оно
не может, конечно, содержать более одной точки, если функция f
строго выпукла на dom f. Во всяком- случае, множество минимумов
есть выпуклое множество, замкнутое, если f замкнута.
В случае когда нас интересует вопрос о сходимости последо-
вательности векторов Xi, х2, . . ., такой, что f (хг) | inf f, важно
знать характер убывания множеств leva f при a | inf f.
Для того чтобы точка х принадлежала множеству минимумов
функции f, необходимо и достаточно, чтобы 0 € df (х), т. е. чтобы
вектор х* = 0 был субградиентом функции f в точке х. Это утверж-
дение непосредственно следует из определения субградиентов.
Условие О Е df (х) оказывается, несмотря на свою простоту, весьма
полезным благодаря, главным образом, результатам § 23, связы-
вающим субградиенты и производные по направлениям и содержа-
щим формулы для вычисления субдифференциалов.
Согласно теореме 23.2, условие 0 £df (х) выполняется тогда
и только тогда, когда f конечна в точке х и
г (Х-, у)>0, Vу.
Разумеется, односторонние производные по направлениям
в точке х вполне определяются значениями f в произвольно малой
окрестности точки х. Отсюда следует, что если х есть точка локаль-
ного (относительного) минимума f (т. е. f (z)^f (х) для всех z,
отстоящих от х не более чем на некоторое е>0), то 0 £ д/ (х) и, зна-
чит, х есть точка глобального минимума. Это одно из самых заме-
чательных свойств выпуклости, оправдывающее все попытки исполь-
зовать выпуклость при анализе новых экстремальных задач.
В теории выпуклых экстремальных задач существенную роль
играет двойственность; об этом мы много будем говорить в следую-
щих параграфах. В значительной степени двойственность основы-
вается на соответствии, существующем между свойствами множеств
уровня leva f и поведением сопряженной функции f* в начале
координат. Это соответствие устанавливалось шаг за шагом в пре-
дыдущих параграфах; сейчас имеет смысл подвести итог.
Теорема 27.1. Пусть f — замкнутая собственная выпуклая
функция. Тогда справедливы следующие утверждения.
(а) inf f = —f* (0). Таким образом, f ограничена снизу moeda
и только moeda, когда 0 £ dom f*.
(b) Множество минимумов функции f есть df* (0). Таким обра-
зом, нижняя грань функции f достигается тогда и только тогда,
279
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
когда f* субдифференцируема в нуле. Последнее выполнено, в част-
ности, когда 0 € ri (dom /*), а это может быть в том и только
том случае, если f постоянна на каждом своем направлении рецессии.
(с) Нижняя грань функции f конечна и не достигается тогда
и только тогда, когда f* (0) — конечное число и f*' (0; у) — —оо
для некоторого у.
(d) Множество минимумов функции f не пусто и ограничено
тогда и только тогда, когда 0 £ int (dom f*). Последнее условие
выполняется в том и только том случае, когда f не имеет направле-
ний рецессии.
(е) Множество минимумов функции f содержит единственный
вектор х тогда и только тогда, когда f* дифференцируема в нуле
и х = vf* (0).
(f) Рецессивные конусы у всех непустых множеств уровня Мина-
ковы и совпадают с рецессивным конусом функции f. Последний
является полярой выпуклого конуса, порожденного множеством
dom/*.
(g) Опорная функция множества leva f (каково бы ни было a £JR)
совпадает с замыканием положительно однородной выпуклой функ-
ции, порожденной f* + а. Если f ограничена снизу, то опорная
функция множества минимумов функции f совпадает с замыканием
производной по направлениям f*' (0; •).
(h) Если inf f — конечное’ число, то
lim 6* (z/1 leva/) =/*' (0; у), Уу.
а | inf f
(i) Включение 0 6 cl (dom /*) справедливо тогда и только тогда,
когда (/0+) (у) 0 для всякого у. Таким образом, 0 $ cl (dom f*)
в том и только том случае, когда существуют вектор у #= 0 и число
е > 0,' такие, что
f (х Ху)^ f (х) — %е, VX >0, Vx g dom f.
Доказательство. Утверждение (а) следует из опреде-
ления f* (0); (b) — из теорем 23.5 и 23.4 и следствия 13.3.4; (с) —
из (а), (Ь) и теоремы 23.3; (d) — из (Ь), теоремы 23.4 и следствия
13.3.4; (е) — из (Ь) и теоремы 25.1; (f) — из теорем 8.7 и 14.2;
(g) —из теоремы 13.5, примененной к f — а, и теоремы 23.2; (h) —
из (а) и теоремы 23.6 (де f* (0) = leva f при a = inf f + e); (i) —
из следствия 13.3.4 и теоремы 8.5.
По определению, направления рецессии функции f — это направ-
ления таких векторов у, что f (х + Ху) — невозрастающая функция
от X при всяком выборе х. Если такие направления существуют,
то, очевидно, существует и неограниченная последовательность
Xi, х2, . . ., такая, что f (xi) | inf f. В этой ситуации нижняя
грань функции f может не достигаться или даже не быть конечной.
Оказывается, что и наоборот, если f замкнута, то подобная ситуа-
280
§ 27. МИНИМУМЫ ВЫПУКЛЫХ ФУНКЦИЙ
ция может иметь место лишь в том случае, когда f имеет направ-
ления рецессии.
Теорема 27.2. Пусть f — замкнутая собственная выпук-
лая функция, не имеющая направлений рецессии. Тогда нижняя
грань функции f конечна и достигается. Более того, для всякого
е > О существует такое б > 0, что каждый вектор х, удовлет-
воряющий неравенству f (х) inf f + б, не более чем на е отстоит
от множества минимумов функции f (т. е. \ г — х | е для неко-
торого г, такого, что f (z) = inf f). Таким образом, множество
минимумов функции f не пусто, замкнуто, выпукло и ограничено.
Доказательство. Тот факт, что нижняя грань функ-
ции f конечна и достигается, уже отмечался в утверждении (г)
теоремы 27.1. Далее, поскольку f не имеет направлений рецессии,
множества leva f выпуклы, замкнуты и ограничены (теорема 27.1 (е)
й теорема 8.4). Пусть М — множество минимумов f и В — единич-
ный евклидов шар. Зафиксируем е > 0. Множество М. + е (int В)
открыто как объединение сдвигов открытого множества е (int В).
Обозначим далее для всякого б > 0 через Sj пересечение допол-
нения множества М. + 8 (int В) с leva f, где a — inf / + б. Мно-
жества Se замкнуты, ограничены и убывают при б | 0. Если
бы все St, были не пусты, то обязательно нашлась бы точка х, при-
надлежащая всем S6. Однако такая точка обязана удовлетворять
двум противоречащим друг другу соотношениям: с одной стороны,
f (х) inf f + б для всякого б > 0, т. е. f (х) = inf f, а с другой,
х $ М + 8 (int В). Поэтому Se должно быть пустым для некоторого
б > 0. Соответствующее этому б множество уровня {х | f (х)
inf f + 6} целиком лежит в М + 8 (int В).
/ Следствие 27.2.1. Пусть f — замкнутая собственная
выпуклая функция, не имеющая направлений рецессии. Пусть, далее,
последовательность х1( х2, . . . такова, что
lim ,f (хг) = inf f.
i->oo
Тогда последовательность Xi, x2, ... ограничена и все ее предельные
точки принадлежат множеству минимумов функции f.
Следствие 27.2.2. Пусть f — замкнутая собственная
выпуклая функция, достигающая нижней грани в единственной
точке х. Если последовательность xlt х2, . . . такова, что
f (xi), f (х2), . . . сходится к inf f, то и сама она сходится к х.
Доказательство. Если a = inf f, то множество leva f
содержит единственную точку. Поэтому (теорема 27.1 (е)) f не имеет
направлений рецессии.
Если замкнутая выпуклая функция на действительной прямой
не является ни возрастающей, ни убывающей, то она достигает
281
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
своей нижней грани. Это одномерный вариант теоремы 27.2. Утверж-
дение теоремы в га-мер ном случае можно перефразировать так: если
ограничение функции f на любую прямую в Rn есть одномерная
функция описанного выше типа (или тождественная 4-оо), то f
достигает нижней грани. На самом деле, достаточно потребовать,
чтобы каждое ограничение, не являющееся постоянной функцией,
было одномерной функцией описанного типа.
Можно было бы предположить, что замкнутая собственная
выпуклая функция достигает нижней грани, если только она дости-
гает нижней грани на каждой прямой. Следующий пример пока-
зывает, что такое предположение ошибочно. Пусть Р — «парабо-
лическое» множество в Н2:
р= {(11, Ь)
Для всякого х £ Н2 обозначим через fo (х) квадрат расстояния
от х до Р, т. е.
fo (х) = inf { | х — у | 2 | у 6 Р} = (ft □ f2) W,
где ft (х) = | х |2 и f2 (х) = б (х | Р). Пусть
f W = f di, Ы = fo (li, 12) - 11-
Тогда f — конечная выпуклая функция на R2 (можно показать,
что f даже непрерывно дифференцируема). На всякой прямой,
не параллельной оси 5г, lim f w = +°° в обоих направлениях,
поэтому f достигает минимума на таких прямых. На всякой прямой,
параллельной оси |2, f не возрастает как функция от £2 и постоянна
при больших положительных значениях £2 и, значит, тоже достигает
минимума. Однако нижняя грань функции f на R.2 не достигается.
На параболе £2 = |2 f (£ь ?2) = —51, т. е. f даже не ограничена
снизу!
Может случиться даже, что (f0+) (у) 0 для всех у и все же
inf/ = —оо. Такая ситуация соответствует случаю, когда ОС
£ cl (dom /*), но 0 $ dom f* (см. утверждения (а) и (и) теоремы 27.1).
Мы рассмотрим теперь специальный случай, когда функция f
имеет вид h + б (• | С), т. е. когда выпуклая функция h миними-
зируется на выпуклом множестве С, не обязательно совпадающем
с dom h.
Теорема 27.3. Пусть h — замкнутая собственная выпуклая
функция и С — непустое замкнутое выпуклое множество. Если
h и С не имеют общих направлений рецессии (это заведомо так,
если либо h, либо С не имеют направлений рецессии вовсе), то h
достигает минимума на С. В случае когда С — полиэдральное мно-
жество, h достигает минимума на С, если всякое общее для h
и С направление рецессии есть направление, вдоль которого h пос-
тоянна.
282
S 27. МИНИМУМЫ ВЫПУКЛЫХ ФУНКЦИЙ
Доказательство. Пусть f (х) = h (х) + б (х | С). Ниж-
няя грань функции h и С равна нижней грани функции f на
Если f тождественно равна +оо, нижняя грань, очевидно, дости-
гается во всех точках С. Если f не равна тождественно +°о,
то f — замкнутая собственная выпуклая функция, направления
рецессии которой суть общие направления рецессии h и С. По тео-
реме 27.2 f достигает нижней грани, когда таких направлений нет.
Этим завершается доказательство «неполиэдрального» случая.
Если же С — полиэдральное множество, то доказательство нуж-
дается в иной аргументации. Положим
0 = inf {h (х) | х С С} < +оо
и рассмотрим совокупность замкнутых выпуклых множеств, состав-
ленную из множества С и всех множеств leva h, a > 0. По пред-
положению С полиэдрально и направлениями рецессии для всех
множеств совокупности могут быть лишь те, вдоль которых мно-
жества leva h линейны. Каждое конечное подсемейство совокуп-
ности имеет непустое пересечение в силу выбора 0. Поэтому мы
можем применить теорему Хелли (в форме теоремы 21.5), из
которой следует существование элемента х, принадлежащего С
и всем leva h. В этой точке, очевидно, h (х) = 0.
Следствие 27.3.1. Пусть h — замкнутая собственная
выпуклая функция, аффинная вдоль каждого своего направления
рецессии. {Эти условия заведомо выполняются, если h — аффинная
или квадратичная выпуклая функция или если dom h* — аффин-
ное множество {следствие 13.3.2).) Тогда h достигает нижней
грани на всяком полиэдральном множестве С, на котором она огра-
ничена снизу.
Доказательство. По предположению всякое направ-
ление рецессии и для h, и для С является направлением, вдоль
которого h аффинна. Если теперь у — вектор, имеющий такое
направление, то для всякого х £ С
х + Ху € С, h {х + Ху) = h (х) + vX, VX О,
где
у=.(ЙО+) {у)=-{ЫУ){-у)^0.
В случае когда h ограничена снизу на С, отсюда следует, что v = О,
так что всякое общее для h и С направление рецессии есть на самом
деле направление, вдоль которого h постоянна.
Предположения, сделанные в формулировке следствия 27.3.1
относительно h, выполняются для всякой полиномиальной выпуклой
функции, т. е. для всякой выпуклой функции h = h (£4, . . ., £п),
представимой в качестве полинома от переменных . . ., |п.
(В этом случае h (х + Ху) — полиномиальная выпуклая функция
283
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
одного переменного X, каковы бы ни были х и у, такая функция
должна быть либо аффинной, либо стремиться к оо при | X |-> оо.)
Следствие 27.3.2. Полиэдральная (или конечно порожден-
ная} выпуклая функция h достигает нижней грани на всяком выпук-
лом полиэдральном множестве С, на котором она ограничена снизу.
Доказательство. Обозначим через D пересечение epi h
с «вертикальной призмой» в Rn+1, содержащей такие точки (х, р),
что х £ С. Множество D как пересечение двух полиэдральных
выпуклых множеств само является полиэдральным. Минимизация h
на С, очевидно, эквивалентна минимизации линейной функции
(х, р) р на D. Согласно предыдущему следствию, нижняя грань
в последнем случае достигается, если она больше —оо.
Следствие 27.3.3. Пусть f0 и fi — замкнутые собственные
выпуклые функции для всякого i С I (где I — произвольное, конечное
или бесконечное, множество индексов). Предположим, что система
ограничений
fi (х) 0, Vx 6 I,
совместна. Тогда, если не существует направлений рецессии, общих
для f0 и всех ft, то нижняя грань функции f0 при этих огра-
ничениях достигается. Более того, нижняя грань достигается, если
существует конечное подмножество 10 множества /, такое, что ft
полиэдральны (например, аффинны) при i £ 10 и всякое направление
рецессии, общее для f0 и всех ft, таково, что вдоль него f0 и все
fi, i € 7 \ /о. постоянны.
Доказательство. Рассмотрим сначала «неполиэдраль-
ный» случай. Положим h = /0, и пусть С — множество векторов,
удовлетворяющих ограничениям. Тогда утверждение сразу следует
из теоремы. Для доказательства второй части положим
( fo(x), если fi(x)<0, Vi€Z\/o,
h (х) — <
' ( оо , если нет.
Пусть С — полиэдральное выпуклое множество, образованное
теми х, которые удовлетворяют неравенствам ft (х) 0 при i £ 10.
Мы можем использовать теперь второе утверждение теоремы.
Для иллюстрации следствия 27.3.3 рассмотрим задачу о мини-
муме функции fo (х) при ограничениях
h (х) < 0, . . ., fm (х) < О, х > 0,
где при 1 = 0, . . s функции имеют вид
fi (х) — 1/pt (х, Qix)pi/2 + (at, х) + ait
284
§ 27. МИНИМУМЫ выпуклых функций
pf>l, a Qi — симметричные неотрицательно определенные мат-
рицы размера п X п; при i = s + 1, . . т функции fi аффинны
ft (х) = {ai9 х) + аг*.
Условие х 0 можно, конечно, переписать в виде
Ап+1 (х) < О, . . ., fm+n (х) О,
где
fm+j (х) = Sj, X = (£1, . .
Для получения условий, гарантирующих существование решения
в этой задаче, мы применим вторую часть следствия 27.3.3, полагая
I = {1, . . т + и}, /0 = {s + 1, - • w + п}.
Направления рецессии функций ft суть по определению направле-
ния таких векторов у #= 0, для которых (у) 0. Из формулы,
доказанной в следствии 8.5.2, получаем
/гп+ч/ч ( {at, у), если Qty = O,
1 —( +оо, если Qty 5^0,
при i = 0, 1, . . ., s,
(А0+) (у) = {аь у)
при i = s + 1......т и
(Ап+,0+) (у) = — Пл У = (Ль .... Пп)-
Условие, сформулированное во второй части следствия 27.3.3,
звучит в данном случае так: система неравенств
(М>+) (у) 0. t = 1......т + п,
имеет решениями только такие у, которые удовлетворяют также
и неравенствам
(-У) < 0, i = 1, . . ., s.
Другими словами, f0 (х) достигает минимума при данных ограни-
чениях, если всякое решение у системы
у 0, (аг, у) 0, г = 0, 1, . . ., т,
Q(y = 0, i = 0, 1, . . , 8;
удовлетворяет одновременно равенствам
{at, у) = 0, i = 0, 1, . . ., s.
Точки, в которых достигается минимум при тех или иных огра-
ничениях, можно охарактеризовать с помощью субдифференциа-
лов. Предположим, например, что мы хотим минимизировать функ-
цию вида
f — W1 + • • • + Knfm
285
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
на R.”, где/i, . . fm — собственные выпуклые функции, а?4.
. . Хт — неотрицательные действительные числа. (Некоторые
из функций ft могут быть индикаторными.) Эта функция достигает
минимума в точке х тогда и только тогда, когда 0 6 df (х). При
незначительных дополнительных предположениях, указанных в тео-
реме 23.8, верна формула
df (х) = Udft (х) + . . .• + Kmdfm (х), Vx.
В этом случае необходимое и достаточное условие принимает вид.
О 6 ^dfi (х) + . . . + Xmd/m (х).
Эта формула будет в дальнейшем подвергаться последующему ана-
лизу с учетом специфики функций ft- Один из примеров такого-
рода анализа содержит следующая теорема.
Теорема 27.4. Пусть h — собственная выпуклая функция
и С — непустое выпуклое множество. Для того чтобы h достигала
минимума на С в точке х, достаточно существования вектора
х* G dh (х), такого, что — х* нормален к С в точке х. Это условие-
также и необходимо, если ri (dom h) пересекается с ri С или если
С полиэбрально и ri (dom h) пересекается с С.
Доказательство. Мы хотим минимизировать h +
+ 6 (• | С) на По теореме 23.8 условие
О € dh (х) + 56 (х | С)
всегда достаточно для того, чтобы минимум достигался в точке
х, и оно необходимо при сделанных предположениях относительно
взаимного расположения dom h и С. Но множество 56 (х | С) и есть,
нормальный конус к С в точке х.
Утверждение теоремы 27.4 можно легко доказать, пользуясь
только теоремами отделимости и не привлекая теоремы 23.8. Необ-
ходимые для этого рассуждения, по сути дела, получаются после
переформулировки данного в § 23 второго доказательства тео-
ремы 23.8 применительно к данной конкретной ситуации. Мы вкрат-
це изложим их. Пусть а — нижняя грань h на множестве С. Рас-
смотрим в Rn+1 выпуклые множества Ci = epi й и С2 = {(х> н) I х €
С С, р.^ а}. Эти множества можно разделить невертикальной
гиперплоскостью, т. е. графиком аффинной функции (•, х*) + ₽-
Если минимум функции h на С достигается в точке х, то х* при-
надлежит dh (х), а —х* принадлежит нормальному конусу к мно-
жеству С в точке х. Читатель может в качестве упражнения восста-
новить детали этого доказательства.
Если в условиях теоремы 27.4 h дифференцируема в точке х,
то dh (х) содержит единственный вектор уй (х) (теорема 25.1). Тогда
условие минимальности означает, что — уй (х) есть нормаль к С
286
$ 27. МИНИМУМЫ ВЫПУКЛЫХ ФУНКЦИЙ
в точке х. Если же, скажем, С = L — подпространство, то мы полу-
чаем yh (х) J_ L.
Для иллюстрации теоремы 27.4 рассмотрим, например, задачу
об отыскании точки выпуклого множества С, ближайшей к данной
точке а. Для этого нужно найти минимум дифференцируемой выпук-
лой функции
h (х) = (1/2) | х — а |2
на множестве С. Все условия теоремы 27.4 здесь, очевидно, выпол-
няются, так что если х — искомая точка, то вектор
— \h (х) = а — х
должен быть нормален к множеству С в точке х.
Приведем еще один пример, иллюстрирующий теорему 27.4.
Рассмотрим задачу о минимуме функции h вида
h (х) = A (gt) + . . . + fn (gn), х = ..gn),
на подпространстве L с Rn, где fj — замкнутые собственные
выпуклые функции на R. Здесь
a/i(x) = {x*=(g:, /=!,..., п} =
/=i,«},
и для всех х Edom/г, z — (gi, ..., gn)
Их; z) = №; £t) + • • • +/HU С») =
= sup{gigt+... » = 1, •••, п},
где (так как каждое множество dfj (g7) есть замкнутый интервал)
последняя верхняя грань обязательно достигается, если она отлична
от оо. В частности, для всяких х 6 dom h, z £ Hn
h' (x; z) = sup {(z, x* > | x* 6 dh (x)}.
Предположим, что L содержит хотя бы одну точку из ri (dom h),
т. е. такой вектор х, что
Е ri (dom А), / = 1, . . ., п.
Тогда по теореме 27.4 минимум h на L достигается в точке х в том
и только том случае, когда существует х* Е 7Д, удовлетворяющий
системе неравенств
“j С !/*<₽/,
где ctj = А- (£/)> Р/ = fj+ (В>)-
Заметим кстати, что если такого вектора х* не существует,
то по теореме 22.6 найдется элементарный вектор z = (£ь . . ., gn)
подпространства L, такой, что
Ш (gi) + . . . + tndfn (gn) < 0
287
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
или, другими словами (имея в виду написанную выше формулу
для h' (х; z)), I
h' (х-, z) < 0. I
Таким образом, для всякого х 6 L [~] dom h либо нижняя грань I
Л на L достигается в точке х, либо, двигаясь из х в направлении
некоторого элементарного вектора z подпространства L (таких ।
векторов может быть лишь конечное число), можно попасть в точку j
х' 6 L П dom h, в которой h (х') <.h(x). Если элементарные век- |
торы L вычисляются просто (например, когда L — пространство |
всех циркуляций или всех напряжений в некотором направленном |
графе; см. § 22), то таким образом получается эффективный алго-
ритм минимизации й на L (по крайней мере когда функции fj кусочно
линейные).
Мы вернемся еще к этому примеру в § 31 (см. следствие 31.4.3).
§ 28. Обыкновенные выпуклые программы
и множители Лагранжа
Теория множителей Лагранжа позволяет преобразовывать экст-
ремальные задачи с ограничениями в задачи, имеющие меньше
ограничений, но больше переменных. Мы изложим здесь фраг-
мент этой теории, связанный с задачами о минимуме выпуклой
функции при «выпуклых» ограничениях.
Обыкновенной выпуклой программой (Р) (в противоположность
«обобщенной» выпуклой программе, определяемой в § 29) мы назы-
ваем задачу следующего вида: минимизировать f0 (х) на множестве
всех х 6 С, удовлетворяющих дополнительным ограничениям
А (х) < 0, . . А (х) 0, fr+1 (х) = 0......fm (х) = 0,
где С — непустое выпуклое множество в Нп, А — конечные выпук-
лые функции на С при i = 0, 1, . . ., г и аффинные функции на С
при i = г + 1, . . ., пг. Эта схема включает специальные случаи,
когда г = т (отсутствие ограничений в форме равенств) или когда
г = 0 (отсутствие ограничений в форме неравенств).
Конечно, определение (Р) как «задачи» нельзя признать доста-
точно удовлетворительным. Строго говоря, то, что мы на самом
деле понимаем под выпуклой программой (Р), следует определить
как упорядоченный набор (С, f0> . . ., fm, г) из т + 3 элементов,
удовлетворяющих указанным выше условиям. Таким образом,
понятие «программа» шире понятия «задача», и с технической точки
зрения все относящиеся собственно к задаче понятия и факты
должны быть выведены (и выводятся на самом деле) из тех понятий,
которые мы определяем в терминах программы (Р), и из тех свя-
занных с ними теорем, которые мы доказываем.
В определении (Р) участвуют в действительности только зна-
чения функций ft на С. Однако мы будем предполагать для удобства,
288
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
что каждая ft определена на всем Rn таким образом, что (a) f0 —
собственная выпуклая функция и dom f0 = С, (б) Д, . . ., fr — соб-
ственные выпуклые функции с
ri (dom Д) zo ri С, dom ft о С,
(в) ft аффинны на для всякого i =# 0, такого, что ft — аффин-
ная на С. Эти предположения нисколько не уменьшают общности.
(Всегда можно сделать так, чтобы (а) и (б) удовлетворялись. Для
этого достаточно положить Д (х) = +оо при х $ С. Что касается
(в), то достаточно вспомнить, что график каждой аффинной на С
функции содержится по крайней мере в одной невертикальной
гиперплоскости, и эта гиперплоскость в свою очередь есть график
аффинного продолжения функции Д на Яп.)
Вектор х называется допустимым для (Р), если х € С и х удов-
летворяет всем т ограничениям в (Р). Другими словами, множе-
ство допустимых векторов для программы (Р) есть (возможно,
пустое) выпуклое множество
Со = С f| Ci f| . . . f| Cm,
где |
Ci = {x | ft (x) C 0}, i = 1» • • •» r,
Ct = {x | fi (x) = 0}, i = r + 1, . . ., m.
Выпуклую функцию Д определенную формулой
„ ( fo(x)> если xfC0,
-j— оо, если X
мы будем называть целевой функцией программы (Р). Заметим, что
эффективное множество f есть Со и / замкнута, если f0, . . ., fr,
С замкнуты. Минимизируя f на R", мы получим тот же результат,
что и минимизируя f0 на множестве допустимых векторов. Нижнюю
грань функции Д которая может равняться и ±оо, назовем опти-
мальном значением программы (Р), а точки, где нижняя грань
достигается,— решениями программы (Р). Множество всех решений,
очевидно, есть (возможно, пустое) выпуклое подмножество множе-
ства всех допустимых векторов.
Используя результаты § 27, особенно следствие 27.3.3, можно
доказать ряд теорем существования решений. Вряд ли следует
обсуждать такого рода результаты далее. Основное внимание здесь
мы уделяем отысканию различных условий, характеризующих реше-
ния выпуклых программ.
Важно подчеркнуть, что принятые определения допускают суще-
ствование двух различных выпуклых программ, имеющих одина-
ковую целевую функцию (и, значит, одинаковые множества допу-
стимых векторов, одинаковые значения и одинаковые решения)
и тем не менее существенно различных. Дело в том, что целевая
19 Р. Рокафеллар 289
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
функция отнюдь не отражает всех особенностей выпуклой про-
граммы. В частности, знание конкретного вида функций ft необ-
ходимо всюду, где возникают множители Лагранжа.
Назовем вектор (Хъ . . ., Xm) £ R™ вектором коэффициентов
Куна — Таккера программы (Р) или просто — вектором Куна —
Таккера программы (Р), если Xf О при 1 = 1, . . ., г и нижняя
грань собственной выпуклой функции
/о + W1 + • . . + Knfm
(ее эффективное множество есть С) конечна и равна оптимальному
значению программы (Р). (Эта терминология обсуждается на
стр. 438.)
Если коэффициенты Куна — Таккера известны, то может ока-
заться возможным «переставить операции» в (Р). Именно, мы можем
не вычислять сначала допустимые векторы (Р), а наоборот, сначала
минимизировать f0 + Xj/i + . . . 4- hmfm на Нп, а затем исключить
из получившегося множества минимумов точки, не удовлетворяющие
ограничениям.
Теорема 28.1. Пусть (Р) — обыкновенная выпуклая про-
грамма, (Xt, . . Xm) — ее вектор Куна—Таккера и
h = fo + Wi + . . . + Xmfm.
Обозначим через D множество тех точек, в которых h достигает
минимума на R”, а через I — множество тех индексов i, 1 i г,
при которых = 0, и пусть J — дополнение I до {1, . . ., т}.
Пусть, наконец, Do — совокупность таких точек х £ D, что
ft (х) = О, Vi е J,
Vi£Z.
Тогда Do — множество всех решений программы (Р).
Доказательство. Пусть f — целевая функция программы
(Р). По определению вектора Куна — Таккера inf h = inf f
и inf f — конечное число. Если х — допустимый вектор про-
граммы (Р), то
О, 1=1, . . ., т,
так что
/о (х) + Х1/1 (х) + . . . + Knfm (х) fo (х).
Таким образом, h (х) f (х) для всякого х, причем равенство выпол-
няется тогда и только тогда, когда х — допустимый вектор и
^ifi (х) = 0, 1 = 1, ...» /И.
Отсюда следует, что множество минимумов функции f содержится
в множестве минимумов функции h и в точности равно Do. Но мно-
жество минимумов f совпадает с множеством решений програм-
мы (Р).
290
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
Множество Do в теореме 28.1 может быть собственным подмно-
жеством множества минимумов D. В этом проще всего убедиться,
когда С = R-n и все ft аффинны. В этом случае h как аффинная
функция, ограниченная снизу на R.n, обязана быть константой.
Поэтому D = Rn, в то время как Do cz Со- Можно, однако, указать
важный специальный случай, когда Do совпадает с D. В такой
ситуации после определения точки минимума h уже не нужно-
делать каких-либо дополнительных проверок.
Следствие 28.1.1. Пусть (Р) — обыкновенная выпуклая про-
грамма и (А1( . . ., Хщ) — ее вектор Куна — Таккера. Предположим,
что функции fi замкнуты. Тогда если нижняя грань функции
h = fo + Wi + • • • + Knfm
достигается в единственной точке х, то х — единственное реше-
ние программы (Р). ~
Доказательство. Из условий следует, что h и целевая
функция f замкнуты. Предположим, что h достигает минимума
в единственной точке х. Наше утверждение будет вытекать из тео-
ремы, если мы покажем, что (Р) имеет хотя бы одно решение, т. е. что
нцжняя грань f достигается. Поскольку множество минимумов функ-
ции h содержит единственную точку, h не имеет направлений^рецес-
сии, т. е. замкнутое выпуклое множество epi h не содержит гори-
зонтальных полупрямых. Из доказательства теоремы следует, что
f^-h, поэтому f тоже не содержит таких полупрямых. Поэтому
f не имеет направлений рецессии, и, следовательно, по теореме 27.2
множество минимумов f не пусто.
В связи с доказанным утверждением полезно заметить, что
если fo строго выпукла на С, то h строго выпукла на С и нижняя
грань функции h может достигаться не более чем в одной точке.
Коэффициенты Куна — Таккера можно эвристически интерпре-
тировать как «равновесные цены». (Заметим, что это исключительно
важная и. далеко идущая интерпретация.) Для всякого и =
~ («1, . . ., vm) 6 HV”1) обозначим через р (и) = р (аэь . . , vm)
нижнюю грань f0 на С при дополнительных ограничениях
ft UX vit i = l,. . ., г,
fi (х) = vh i = г + 1, :. т.
Будем считать р (и) = -f-оо, если эти ограничения противоречивы.
Конечно, р (0) —оптимальное значение программы (Р), а вообще,
Р (и) есть оптимальное значение выпуклой программы (Ри), получаю-
щейся после замены fi на Д — vt для i = 1, . . ., т. Мы займемся
сейчас изучением поведения функции р (и) в окрестности точки
Греческую букву о (ипсилон) не следует путать с латинской буквой v.
291 19*-
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
и ~ 0. Функцию р (м) мы будем при этом называть функцией воз-
мущений программы (Р), поскольку векторы и естественно трак-
товать как ее «возмущения».
Мы можем интерпретировать f0 (х) как стоимость вектора х,
а экстремальную задачу, связанную с программой (Р),— как задачу
о минимуме стоимости при некоторых ограничениях. Может, однако,
оказаться выгодным несколько изменить ограничения, добавив
к ним некоторое возмущение и (т. е. заменить программу (Р) про-
граммой (Ри)), но при этом мы обязаны «заплатить» за изменение
программы по цене и* за единицу i-й компоненты возмущения цг.
Тогда стоимость возмущения и плюс минимальная стоимость век-
тора х, которую мы в состоянии обеспечить в программе (Ри), есть
р (Vi, •. . ., ито) + + . . . + = P (и) + {и*, и}.
«Покупка» возмущения и целесообразна в том и только том случае,
когда эта сумма меньше оптимального значения нёвозмущенной
программы (Р), равного р (0, . . ., 0).
Именно в этом месте и появляются коэффициенты Куна — Так-
кера. Мы утверждаем, что, когда оптимальное значение программы
(Р) конечно, вектор (%ь . . ., Хт) есть вектор Куна — Таккера
программы (Р) в том и только том случае, если при ценах v* =
= Xf, i = l, . . ., т покупка каких-либо возмущений нецелесо-
образна. Действительно, нижняя грань по и стоимости р (и) +
+ {и*, и) равна нижней грани функции
/о (х) + + . . . +
по всем мих, которые удовлетворяют условиям vt ft (х) при
1 = 1, . . ., г, = ft (х) при i = г + 1, . . ., т. Эта нижняя
грань равна
inf {/0 (х) + v*ft (х) + ...+< fm (х)},
X
если v* 0 при i = 1........г и —оо при остальных и*. Таким
образом, если р (0) — конечное число и v* = Л/, неравенство
Р (V1.....Vm) + XjVi + . . . + Xmvm > p (0, . . ., 0)
выполняется для всякого и — (vi, . . ., vm) тогда и только тогда,
когда Kt 0 при 1= 1, .... г и
inf {/о (х) + Wi (х) + . . . + Цт (х)} = р (0...0).
X
Это условие означает, что (М, . . ., Xm) — вектор Куна — Таккера
программы (Р).
Как показывает следующая теорема, существование коэффици-
ентов Куна — Таккера — явление весьма типичное.
Теорема 28.2. Пусть (Р) — обыкновенная выпуклая про-
грамма и I — множество тех индексов i 0, при которых ft
292
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
не являются аффинными функциями. Предположим, что опти-
мальное значение программы (Р) не равно —оо и (Р) обладает хотя бы
одним допустимым вектором х £ ri’C, таким, что в точке х все огра-
ничения с номерами i 6 / выполняются как строгие неравенства.
Тогда для (Р) существует (не обязательно единственный) вектор
Куна — Таккера.
Доказательство. Рассмотрим сначала случай, когда
ограничения типа равенства отсутствуют, т. е. когда г — т. Примем
для удобства I = {1.....k} и обозначим через а оптимальное
значение программы (Р). По условию система
fi (х) <0, . . ., fk (х) < 0, fk+1 (х) <0, . . ., fm (х) < 0
имеет хотя бы одно решение, принадлежащее ri С. Однако из опре-
деления а следует, что система
/о (х) — а < 0, Л (х) < 0, . . ., fh (х) < 0,
fk+i (*) < 0, . . ., fm (х) < 0
не имеет вовсе решений в С. Вторая система удовлетворяет усло-
виям теоремы 21.2; поэтому существуют неотрицательные действи-
тельные числа Хо, Хь . . ., Хт, не равные одновременно нулю
и такие, что
Ао (fo (х) — а) + Wt (х) + ... + (х) > 0, Vx С С.
Число Хо должно быть положительным, ибо если Хо = 0, то
^ifi + • • • + ^mfm > 0 на С и хотя бы один из коэффициентов
Хь . . ., Лт положителен; однако в этом случае первая система нера-
венств не может иметь решений, что противоречит нашим предпо-
ложениям. Поделив, если необходимо, все Хг на Хо, мы можем
считать, что Хо = 1. Функция h = fQ + Х^ + . . . + Xm/m удов-
летворяет тогда неравенству h (х) а. С другой стороны, для
всякого допустимого вектора х справедливо неравенство h (х)
fo (х) (поскольку Хг 0, a fi (х) 0), и, следовательно, inf h
не может быть больше, чем нижняя грань функции f0 на множе-
стве допустимых векторов, равная а. Таким образом, inf h = a
и (Xj....Xm) — вектор Куна — Таккера программы (Р). Итак,
теорема доказана, когда в программе (Р) нет ограничений в форме
равенства.
Если же такие ограничения есть, т. е. г < т, то соответствую-
щие функции fr+i, . . ., fm — аффинные, согласно определению
программы (Р). Каждое ограничение (х) = 0 можно заменить
двумя ограничениями вида
ft (х) < 0, (-fi) (х)< 0
и получить эквивалентную обыкновенную выпуклую программу (Р')
с ограничениями только в форме неравенств. Доказанная часть теоре-
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
мы может быть применена к (Р'). Коэффициенты Куна—Таккера про-
граммы (Р') суть такие неотрицательные действительные числа
.......А.г, Хн-ь . . . , Кп, что нижняя грань функции
г т т
г=1 г=г-|-1 г=г+1
конечна и равна оптимальному значению программы (Р'), кото-
рое в свою очередь равно оптимальному значению программы (Р).
Полагая Аг = Ц — Ki при i = г + 1, . . ., т, мы получаем век-
тор Куна — Таккера (А*, . . ., Am) для программы (Р).
Следствие 28.2.1. Пусть (Р) — обыкновенная выпуклая
программа, не имеющая ограничений в форме равенств, т. е. г = т.
Предположим, что оптимальное значение программы (Р) отлично
от —оо и существует по крайней мере один вектор х £С, такой,
что
fi (х) <0, . . ., fm (х) < 0.
Тогда программа (Р) имеет вектор Куна — Таккера.
Доказательство. Если х 6 С удовлетворяет неравен-
ствам ft (х) < 0 при i = 1, . . ., т, а у — произвольная точка
из ri С (и, следовательно, из ri (dom ff) в силу предположения (б),
сделанного в начале параграфа), товектор
z = (1 — А) х + Аг/,
где А >• 0 достаточно мало, удовлетворяет неравенствам Д (z) < 0
при 1 = 1, . . ., т и z € ri С (теоремы 7.5 и 6.1). Таким образом,
все условия теоремы оказываются выполненными.
Следствие 28.2.1 можно получить прямо из теории отделимости
(§ 11), не пользуясь теоремой 21.2 и какими-либо фактами, свя-
занными с полиэдральной выпуклостью. Для этого необходимы
почти те же рассуждения, что и при доказательстве первой части
теоремы 28.2, разве что вместо теоремы 21.2 можно применить j
более элементарную теорему 21.1. Совсем нетрудно восстановить I
детали этого доказательства.
Ниже рассматривается другой важный специальный случай
теоремы 28.2, в отличие от предыдущего тесно связанный с поли-
эдральной выпуклостью.
С л е д с т в и е 28.2.2. Пусть (Р) — обыкновенная выпуклая про-
грамма без ограничений в форме неравенств, т. ё.
ft U) = («ь х) — аг, i=l......т.
Если оптимальное значение программы (Р) больше —оо и (Р) обладает
допустимыми векторами из ri С, то существует вектор Куна —
Таккера для программы (Р).
294
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
Приведем пример обыкновенной выпуклой программы, не имею-
щей векторов Куна — Таккера. Пусть С = Л2, f0 (h, g2) = Вь
/1 (Вь Bz) = Вг, A (Вь Вг) = В? — Вг, г = 2. Единственный вектор
х = (Вь Вг), удовлетворяющий ограничениям
A (Вь Вг) о, A (М, Вг) О,
есть х = (0, 0). Следовательно, (0, 0) — единственное решение про-
граммы, и ее оптимальное значение равно нулю. Однако если бы
(М, М) был вектором Куна — Таккера, то мы имели бы М О,
Х2>0 и
0< А (Вь Вг) + МА (Вь Вг) + Мг (Вь Вг) =
= В1 + (М'-МОВг + МВ?, УВьВг,
что невозможно. Предположения теоремы 28.2 здесь не выпол-
няются, поскольку не существует вектора (g1( Вг), такого, что
А (Вь Вг) < 0, А (Вь Вг) < 0.
Этот пример можно несколько видоизменить, чтобы убедиться
в необходимости учитывать и в теореме 28.2, и в следствии 28.2.2
какие-то условия, связанные с относительной внутренностью, даже
когда А линейна на С и все ограничения суть линейные равенства.
Положим
с ={(Вь Вг) е R2 I В! - Вг^ 0},
А (Вь Вг) = Вь А (Вь Вг) = Вг, г = 0. В этом случае х = (0, 0) —
снова единственное решение, а нуль — оптимальное значение про-
граммы. Вектор Куна — Таккера должен быть здесь таким числом
М 0, что
ОСА (Вь Вг) + МА (Вь Вг) = Bi + МВг, V (Вь Вг) € С;
но такого М не существует.
Векторы Куна — Таккера можно описать и с помощью производ-
ных по направлениям функции возмущений р (м) в точке и = О
программы (Р). Мы сделаем это в § 29 даже в более общей ситуации.
Из этого описания будет видно, что векторы Куна — Таккера суще-
ствуют всегда, за исключением определенных ситуаций, в которых
с точки зрения эвристических «равновесных цен» их существование
было бы в высшей степени неестественным.
А сейчас мы покажем, как можно характеризовать коэффициен-
ты Куна — Таккера и решения обыкновенной выпуклой програм-
мы в терминах седловых точек определенных выпукло-вогнутых
функций на OV” X
Лагранжианом, или функцией Лагранжа программы (Р), назы-
вается функция L на X Rn, определенная равенством
L (и*, х) = <
A (*) + «ТА (*)+••• + если и* £ Ег,
— оо,
+ оо,
если и*$Ег,
если х $ С,
х^С,
хЕС,
295
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
где
Er = {u* = (v*, O6'R-’"|vr>0, i = l, г}.
Переменную и* называют множителем Лагранжа, связанным
с i-м ограничением в (Р).
Функция L имеет очень естественную интерпретацию, если
трактовать и* как цену единицы t-й компоненты возмущения и.
Имеем для всяких и* £ Hm, х £ R”:
L (и*, х) = inf {/о (х) + V*!?! + . . . + V^vm I и 6 их},
где Ux — множество таких возмущений и = (t>i........vm), что
«г ft (х) ПРИ i = l.....г и Vf = fi (х) при i = г + 1, . . ., т.
(Другими словами, Ux состоит из тех возмущений и, при которых
данный вектор х удовлетворяет всем ограничениям в возмущенной
программе (Ри).) Таким образом, L (и*, х) —это минимально воз-
можная стоимость вектора х при условии, что цена за возмущения
равна и*.
Заметим, что L вогнута по и* при каждом х и' выпукла по х
при каждом и*. Кроме того, можно утверждать, что L полностью
определяет программу (Р), поскольку набор (С, /0, fi, • • •» fm> г)
может быть восстановлен по L. (Действительно, Сиг вполне
определяются по L, так как множество точек, в которых L конечна,
есть Er X С. Значения на С функций f0, ft....т можно найти,
пользуясь формулами
/о (х) = L (0, х), х € С,
fi (х) = L (et, х) — L (0, х), i = 1, . . ., т, х С С,
где Ci, как всегда, — i-я строка единичной матрицы размера т х т.)
Таким образом, существует взаимно однозначное соответствие
между обыкновенными выпуклыми программами и их функциями
Лагранжа._
Пара (и*, х*) называется седловой точкой функции L (по отно-
шению к максимизации по и* и минимизации по х), если
L(u*, x)<^L(«*, х)<Д(ы*, х), Vu*, х.
Теорема 28.3. Пусть (Р) — обыкновенная выпуклая про-
грамма, и* и х — векторы из R.m и Ж" соответственно. Для того
чтобы и* был вектором Куна — Таккера программы (Р), ах —
решением программы (Р), необходимо и достаточно, чтобы пара
(и*, х) была седловой точкой функции Лагранжа L программы
Последнее условие выполняется тогда и только тогда, когда вектор х
икомпоненты^вектораи* удовлетворяютследующимсоотношениями
(а) Лг>0, Л(х)<0, Wi(x) = 0, i = l, ..., г,
(b) Л(х) = 0, г = г+1, ..., от;
(с) 0 £ dfo (х) + Xj dfi (х) + ... + dfm (х).
296
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
inf L {и*, х) =
X
Доказательство. По определению (и*, х) является сед-
ловой точкой функции L тогда и только тогда, когда
sup L (и*, x) = L (и*, х) — inf L (и*, х).
и* х
Однако неравенство
supL(w*, x)^-L(u*, х)> inf £.(«*, х)
U* X
выполняется всегда. Таким образом, (и*, х)— седловая точка
тогда и только тогда, когда
supL («*, х) = infЦи*, х).
U* X
Имеем независимо от выбора х
sup L (и*, х) = sup {fo (х) + V*fi (х) + ... + vVm fy | (У*, ..., Urn) E £r} =
u*
— fo (X) + 6 (X | Co) > — oo,
где Co — множество всех допустимых векторов программы (Р).
С другой стороны,
inf h, если и*£Ег,
— оо, если и*$Ег,
где h = f0 + Wi + . . . +^mfm- Итак, («*, x) — седловая точка
функции L тогда и только тогда, когда выполнено условие
(d) и* £ Ет, х Е Со, inf h = f0 (х).
Условие (d) выполняется, когда и* — вектор Куна — Таккера,
ах — решение программы (Р), так как при этом inf h = а и f0 (х)=
= а, где а — конечное оптимальное значение программы (Р).
С-другой стороны, если условие (d) выполнено, то для всякого
х Е Со
^tfi (*) <0, i = 1, . . ., m,
и, следовательно, h (х) fo (х). Поэтому
inf h inf h (х) sSC inf f0 (х) = а f0 (х),
х£Со x£Cq
откуда следует, что
inf h = а = fo (х).
Итак, из условия (d) следует, что й* — вектор Куна — Таккера,
ах — решение программы (Р).
Из доказанного следует, в частности, что
inf h h (х) fo (х),
297
ГЛ. VI» ЭКСТРЕМАЛЬНЫЙ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
когда и* £ Ег и х £ Со> причем второе неравенство строгое, если
только не выполняются равенства
МА (*) = 0, i = 1, . . г.
Таким образом, условие (d) влечет за собой (а), (Ь) и условие
(с') h (х) = inf h
Наоборот, из (а), (Ь) и (с') следует (d), поскольку h (х) = f0 (х),
если выполнены (а) и (Ь). Для завершения доказательства нам
осталось только проверить, что условия (с) и (с') эквивалентны,
если и* Е Ег. По определению h достигает минимума в точке х
тогда и только тогда, когда 0 6 д/г (х); Поскольку
П ri (dom = ri С =£ 0
г=0
(в силу предположений о функциях ft, сделанных в начале пара-
графа),
dh (х) = dfa (х) + д (МА) (х) + . • . + д &mfm) (х) =
= df0 (х) + М<?А (х) + . . . (х)
для всякого х (теорема 23.8). Поэтому условие О С dh (х) эквива-
лентно (с).
Условия (а), (Ь) и (с) известны как условия Куна — Таккера.
Когда функции А дифференцируемы в точке х, условие (с) прини-
мает вид _ _ _
vfo (х) + М vfl (*) + •• +4vAn (*) = О’
Из теоремы 28.3 следует, что в случаях, когда мы можем быть уве-
ренными в существовании коэффициентов Куна — Таккера, вме-
сто решения экстремальной задачи с ограничениями, связанной
с программой (Р), можно решать другую задачу — об отыскании
седловой точки лагранжиана L, ограничения в которой уже суще-
ственно проще.
Следствие 28.3.1 (теорема Куна — Таккера). Пусть (Р)—
обыкновенная выпуклая программа, удовлетворяющая условиям тео-
ремы 28.2. Для того чтобы данный вектор х был решением програм-
мы (Р), необходимо и достаточно, чтобы существовал такой вектор
и*, чтобы пара (и*, х*) была седловой точкой лагранжиана L про-
граммы (Р). Другими словами, х есть решение программы (Р) тогда
и только тогда, когда найдутся множители Лагранжа М, • • •> Мп>
удовлетворяющие вместе с х условиям Куна — Таккера.
Небезынтересен и другой, в достаточной степени поучительный
способ получения условий Куна — Таккера прямо из теории суб-
298
$ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
дифференциала. Для упрощения выкладок предположим, что С =
= г = т и система
А(х)<0, . fm(x)<0
имеет хотя бы одно решение. (Однако все дальнейшие рассуждения
можно применить и в более общей ситуации.) Полагая, как и раньше,
Ci = {х | ft (х) 0}, I — 1, .... т,
мы можем представить целевую функцию программы (Р) в виде
f (х) = /0 (х) + 6 (х | СО + . . . + б (х | Ст).
Решениями программы (Р) будут такие векторы х, что 0 £ д/ (х).
Из наших предположений о системе Д < 0, i = 1, . . ., tn, следует
(в силу непрерывности конечных выпуклых функций на Rn), что
int Ci f| ... fj int Cm 0.
Так как, очевидно, Ci = dom 6 (• | Сг) и = dom f0, из теоре-
мы 23.8 следует равенство
df W = df0 (x) + <36 (x | CO + . . . + d6 (x | Cro).
Далее, <36 (x | Ct) — нормальный конус к множеству Ct в точке х,
а следствие 23.7.1 влечет за собой равенство
' U{tadf*W|^i>0}, если fi(x) = O,
дб (х ] Ct) = < {0}, если f i^x) < 0,
. 0, если f,-(x)>0.
Отсюда следует, что множество df (х) не пусто тогда и только тогда,
когда fi (х)ЙС 0 при 1 = 1, . . ., т, а при выполнении последних
условий df (х) совпадает с объединением множеств
О/о (х) + %i dfi (х) + ... + Kmdfm (х),
взятым по всем коэффициентам Хг 0, таким, что
Lift (х) = 0, i=l,. ., т.
Итак, 0 6 df (х) в том и только том случае, когда существуют коэф-
фициенты %i, . . ., %т» удовлетворяющие вместе с х условиям
Куна — Таккера.
Теорема 28.3 показывает, каким образом решения и коэффи-
циенты Куна — Таккера программы (Р) могут быть охарактеризо-
ваны при помощи лагранжиана L. Из следующей теоремы станет
ясным, как с помощью функции Лагранжа вычисляется оптималь-
ное значение программы (Р).
Т е о р е м а 28.4. Пусть (Р) — обыкновенная выпуклая програм-
ма и L — ее функция Лагранжа. Если и* — вектор Куна — Так-
299
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
кера, ах — решение программы (Р), то оптимальное значение
программы (Р) равно L (и*, х). Более того, «* будет вектором
Куна — Таккера тогда и только тогда, когда
—оо < inf L (й*, х) = sup inf L (и*, х) = inf sup L (и*, x),
X U* X хи*
и в этом случае общее значение экстремумов в правом равенстве
равно оптимальному значению программы (Р).
Доказательство. Если й* — вектор Куна — Таккера,
а х — решение программы (Р), то
L (и*, х) = fo (х) + МА (*) + ••• + Wm W = A W
в силу условий Куна — Таккера из теоремы 28.3 и, значит,
L (и*, х) — оптимальное значение программы (Р). Далее, как
было показано при доказательстве теоремы 28.3,
sup L (и*, х) = f0 (х) + 6 (х | Со) = f (х), Чх,
и*
где f — целевая функция программы (Р). Таким образом,
inf sup L (и*, х) = а,
X и*
где через а обозначено оптимальное значение программы (Р). Для
всякого й* = (Хь . . Хт)
. sup L (и*, х)^ L (и*, х)9 Чх9
и*
так что
а inf L (й*, х).
X
Наконец, из доказательства теоремы 28.3 можно извлечь равен-
ство
inf (АН- МА И- • • • 4“ ‘hmfm)) если и*£ЕТ,
— оо, если и*$Ег.
Поэтому й* может быть вектором Куна — Таккера тогда и только
тогда, когда верхняя грань функции
g = inf L (•, х)
X
на равна а > —оо и достигается в точке и*. Это доказывает
теорему.
Следствие 28.4.1. Пусть (Р) — обыкновенная выпуклая
программа, обладающая хотя бы одним вектором Куна — Таккера
(например удовлетворяющая условиям теоремы 28.2). Пусть g —
вогнутая функция, определенная равенством
g (и*) = inf L (и*, х),
X
inf L (и*, х) —
X
300
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
где L — функция Лагранжа программы (Р). Тогда векторы Куна —
Таккера программы (Р) суть в точности те векторы й*, в которых
функция g достигает верхней грани на
Вогнутость g, конечно, следует из того, что эта функция есть
поточечная нижняя грань вогнутых функций Р(-, х). Заметим
по ходу дела, что g есть поточечная нижняя грань аффинных функ-
ций
и* =-- («*, ..., l4)-> /о (X) + V*fi (х) + ... + V%Jm (х) + + ... +
где х £ С, а > 0 при i = 1, .... г.
Следствие 28.4.1 показывает, что проблема отыскания векторов
Куна — Таккера данной программы (Р) сводится к задаче макси-
мизации определенной вогнутой функции g на R™. В некоторых
случаях последняя задача легче с вычислительной точки зрения,
даже если не известно никакой «аналитической» формулы для g.
Интересно отметить, что
g (и*) = —р* (—и*),
где р — функция возмущений программы (Р). (С привлечением
сопряженных вогнутых функций, которые мы введем в начале § 30,
g = (—р)*. В теореме 29.1 мы покажем, что р — выпуклая функ-
ция.)
Из теории множителей Лагранжа для обыкновенных выпуклых
программ можно вывести весьма важный принцип декомпозиции.
Предположим, что функцию ft можно представить в виде
ft (х) = fit (xi) + • • • +fts (xs), i = 0, 1, . . ., m,
где каждая fih — выпуклая собственная функция на (аффин-
ная для i > г) и
X = (Xi.....xs), xh 6 UV\ + . . . + ns = n.
Пусть
Cft = dom fOh, k = 1, . . ., s,
так что (полагая для удобства, что dom fQ = С)
С = {х — (xi......х») | xk £ Ck, k = 1.....$}.
Тогда (Р) можно описать как задачу о минимуме функции
/ci (xi) + • • • + fos (х8)
на совокупности тех х, которые удовлетворяют ограничениям
xk б Ск, k = 1, . . ., s,
fit (X1) + . . . + fts (Xs) 0, i= 1, . . ., r,
fit (Xi) + . . . + fis (xs) = 0, i = r + 1..m.
301
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Мы можем представить себе, что такая задача получилась, когда
s различных задач вида:
минимизировать fok на С\ k = 1, . . ., s,
были «смешаны» в результате введения нескольких связующих
ограничений. Принцип декомпозиции позволяет, используя век-
торы Куна — Таккера, снова разбить эту задачу на s независимых
задач, если подходящим образом модифицировать функции fOfe-
Действительно, если заданы коэффициенты то,тем же. спосо-
бом, что и в теореме 28.1 (или в следствии 28.1.1), мы можем свести
(Р) к задаче о минимуме h на С, где
h = fo + + • • • + Ъ-nfm*
Используя специальный вид функций fh можно написать
h (х) = hi (Xi) + . . . + h8 (xs), xk E
где
= fok + Wife + • • • + hnfmki k = 1. . . S,
так что задача о минимуме функции h на С эквивалентна s неза-
висимым задачам:
минимизировать hk на Ck, k = 1, . . s.
Заметим, что последние задачи ставятся в пространствах Нпь,
в то время как задача определения вектора Куна — Таккера ста-
вится в пространстве^. Таким образом, используя принцип деком-
позиции, мы свели экстремальную задачу размерности п к s + 1
экстремальным задачам (возможно, гораздо меньших) размерно-
стей П1, . . ., ns и т. Во многих случаях такая редукция делает
возможным численное решение задач, кажущихся безнадежно
«большими».
Принцип декомпозиции хорошо иллюстрируется следующей
задачей:
минимизировать q (х) = qt (^) + . . . + qn (U
при условиях
х = (£ь ...» U > 0, ^ + ... + |п=1,
где qk — собственные выпуклые функции на R, такие, что'
[О, 1] с: dom qk.5 '
Чтобы представить эту задачу в форме, удобной для применения
принципа декомпозиции, положим
г ,s f если
I +oo , если Вь<0,
при k = 1, . . п и
k=!......................................
fin (Bn) == Bn ~ !•
302
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
С помощью этих функций наша задача сводится к минимизации
функции
fo (х) = Zoi (11) + . • • + /on (U
при линейных ограничениях
A W = /н (^ + ... + An (U = о.
Мы получаем, таким образом, обыкновенную выпуклую програм-
му, к которой принцип декомпозиции уже применим; именно, про-
грамму (Р), заданную четверкой (С, f0, fi, 0), где
С = dom А = {х I Ik € dom Аь» k = 1, .... п}.
Оптимальное значение этой программы конечно (так как функции
qk, будучи конечными и выпуклыми, ограничены на [0, 1]), и внут-
ренность множества С содержит точку х, в которой А (х) = 0.
Поэтому в силу следствия 28.2.2 программа имеет хотя бы один
вектор Куна — Таккера, состоящий в данном случае из одного
коэффициента Куна — Таккера М. Если такое М может быть вычис-
лено, то мы можем заменить исходную задачу п одномерными зада-
чами:
минимизировать fOk (gft) + МАй (lk) no gh.
Определив для каждого k = 1, . . п интервал Ik, состоящий
из тех точек в которых достигается последний минимум, мы можем
получить все решения исходной задачи, перебирая все векторы
х = (£1.....L), такие, что 6 A. k = 1, .,. ., п и + . . . +
+ = 1 (теорема 28.1).
Применяя следствие 28.4.1, мы получим способ вычисления
коэффициента Куна — Таккера Xt. Действительно, функция Лаг-
ранжа программы (Р) имеет вид
L (у*, х) - - < + J [Аь (Ы + ад,
k=l
где u* g R — множитель Лагранжа, связанный с ограничением
fi (х) = 0; поэтому функция g из следствия 28.4.1 есть
g «) = - ад 3 inf {Afe (ы+v*ik | и e R}=
k=l
= -адЗ m(-vt*).
k=l
Таким образом, будет коэффициентом Куна — Таккера про-
граммы (Р) тогда и только тогда, когда при = v* функция
— gf(v*) = D* + f* ( —v*)+ ... +f*n(_v*)
Достигает минимума. Отыскание минимума функции —g представляет
собой относительно простую задачу, коль скоро это функция одного
303
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
переменного и сопряженные функции f*k можно вычислить доста-
точно просто. Итак, в рассмотренном примере принцип декомпози-
ции позволяет заменить существенно (п — 1)-мерную задачу (огра-
ничение + . . . + Вп = 1 позволяет исключить одно из исходных
переменных |г) набором из п + 1 одномерных задач.
Можно привести более общий пример применения принципа
декомпозиции. Предположим, что для всякого k = 1, . . ., s зада-
ны собственная выпуклая функция fQh на Rnk и действительная
матрица Ak размера (т х пк). Рассмотрим задачу о минимуме
функции 1
/о1 (*i) + • • • + fos (xs), Xk £ Rnk,
при условии
4iXi Asxs — о,
где а — фиксированный элемент из] Нт. Сами fOh могут здесь быть
целевыми функциями некоторых обыкновенных выпуклых про-
грамм (Pft); в частности, эффективные множества Ск функций
могут задаваться при помощи дополнительных ограничений. Однако
в данный момент мы будем рассматривать только те ограничения,
которые определяют взаимосвязь xt.........,xs, предполагая эти
ограничения линейными.
Обозначим через aik (i = 1, . . ., т, k = 1, . . ., s) вектор,
стоящий в i-й строке матрицы Ak, а через а( — i-ю компоненту
вектора а. Положим
fih <xh) = {aih, xk), k = 1, . . ., s — 1,
fis (xs) = (ats, xs> — a,-,
и пусть
fi (x) = fa (X1) + . . . + fis (x8),
где
X = (Xi, . . ., Xs), Xk G
Рассмотрим теперь программу (P), заданную набором (С, f0, . ..
• • •> fm, 0), где
С = dom f0 = {х | xh €Ск, k = 1, . . ., s}.
Если оптимальное значение программы конечно и существуют век-
торы Xk € ri Ск, такие, что
.41X1 Л8х8 = и,
то, согласно следствию 28.2.2, программа (Р) обладает вектором
Куна—Таккера _
, U* = (%1.......^т)-
Зафиксировав такой вектор й*, мы можем рассмотреть вместо
(Р) $ независимых задач, в каждой из которых требуется миними-
304
§ 28. ОБЫКНОВЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
зировать функцию hk на Rnft, где
== fob + Wife + • • • + ^m/mft==
_f/oft + (-MM), £=1, ...» s-1,
“ I А>. + <-, Л*«*)-(а, «*), k = s
(At — транспонированная матрица). Множество решений програм-
мы (Р) должно тогда состоять из векторов х = (xi( . . х8), таких,
8
что xk € Dh и 2 АкХь = а, где Dk — множество минимумов функ-
Й.=: 1
ции hk (теорема 28.1).
Функция Лагранжа в этом примере имеет вид
L (и*, х) = — (а, и*) + 2 I/ой. (хь) + (xh, Atu*)],
fe=l
и, используя следствие 28.4.1, получаем
s
g(u*) = — {а, и*}— 2 sup{(Xfe, — Aku*) — fob (xk)} =
k=i хк
s
= -(a, u*)-^ fa (-Atu*).
Поэтому векторы Куна — Таккера программы (Р) можно найти,
минимизируя на функцию
w (и*) = (а, и*) + /* (- Л*и*) +.,. + /*(- л:«*).
Задача об отыскании минимума функции w может оказаться доста-
точно трудной, однако следует заметить, что во многих случаях
(иногда даже, когда fa нельзя явно выписать) эта задача оказывает-
ся доступной для дальнейшего анализа и решения. Предположим
для простоты, что каждая из функций /оь кофинитна (это верно,
в частности, когда /Оь замкнуты, а Ск ограничены), так что
конечны на Rm. Тогда функция w конечна и ее субградиенты вычис-
ляются по формуле (теоремы 23.8 и 23.9)
dw (и*) = a — Ai (— А, и*) — ... — As dfa (— Л*«*).
С другой стороны, по теореме 23.5
хь € dfa (—Atu*)
в том и только том случае, когда xh есть точка минимума функции
/ой + <•. Atu*),
минимальное значение которой равно fa (—Atu*). Таким образом,
задавшись некоторым и* 6 OV", мы можем вычислить w (и*) и
20 Р. Рокафеллар 305
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
dw (и*), если решим s задач:
минимизировать fok (xk) + (хк, Аки*} по xh.
Если эти задачи решаются просто, в частности, когда foh суть функ-
ции вида
. . . I gk{x), если xft>0, Bhxh = bh,
ftok (Xk) — \
I + ОО в остальных точках,
где gb — конечные дифференцируемые выпуклые функции на Нпа,
то функцию w можно минимизировать, используя любой метод,
который требует только умения вычислять w (и*) и dw (и*) для
всякого заданного и*. Заметим, в частности, что, когда каждая
fob строго выпукла на Ск, то /оа дифференцируемы (теорема 26.3)
и можно применить градиентный метод.
§ 29. Бифункции и обобщенные выпуклые программы
Мы всегда связываем обыкновенную выпуклую программу (Р)
с задачей о минимуме на Нп определенной выпуклой функции,
именно,— целевой функции программы (Р), эффективное множе-
ство которой совпадает с множеством всех допустимых векторов
программы (Р). Однако программа (Р) не сводится только к такой
задаче. Ту же целевую функцию, что и (Р), может иметь и другая
обыкновенная выпуклая программа, но их функции Лагранжа
и коэффициенты Куна — Таккера могут при этом существенно
отличаться. Это обстоятельство должно приниматься во внимание
при всякой попытке обобщить понятие «выпуклой программы».
Векторы Куна — Таккера обыкновенной выпуклой програм-
мы можно описать с помощью некоторого класса возмущений ее целе-
вой функции (как мы показали в § 28). Эта ключевая идея лежит
в основе всех обобщений этого параграфа. Выпуклая программа
будет определена здесь как выпуклая «целевая функция» вместе
с некоторым классом возмущений этой целевой функции. Для таких
обобщенных программ также можно применить теорию множителей
Лагранжа, в которой, как ив §28, векторы Куна — Таккера
могут интерпретироваться как «равновесные цены» для возмущений.
Для того чтобы отразить зависимость целевой функции от
возмущения, определяемого вектором и, нам кажется удобным
ввести понятие «бифункции» как обобщение понятия многозначного
отображения. Впрочем, это не столько новое понятие, сколько
иной способ использования старых понятий, позволяющий отра-
зить различия между «переменными» и «параметрами». На самом
деле, ничто не вынуждает нас вводить терминологию, связанную
с бифункциями уже в этом параграфе. Мы могли бы формулировать *
все результаты в более привычных терминах. Однако понятие
бифункции будет все более и более полезным в дальнейшем, так
что мы вполне можем начать применять его сейчас.
306
§ 29. БИФУНКЦИИ И ОБОБЩЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
Бифункцией, действующей из 1Кт в Ип, мы называем отобра-
жение F, ставящее в соответствие каждому вектору и g функ-
цию Fu наОГ1, принимающую значения в [—оо, 4-оо]. Значение
функции Fu в точке х £ R” мы обозначаем символом (Fu) (х).
Функцию
(и, х) -> (Fu) (х), (и, х) 6 х Hn = Hm+n,
мы будем называть график-функцией бифункции F. (Понятие
бифункции можно определить и более общим способом, однако
данное здесь определение вполне достаточно для наших целей.)
Ясно, что каждая функция f на R,m+n со значениями из расши-
ренной вещественной прямой является график-функцией ровно
одной бифункции, действующей из в именно,— бифункции,
определяемой равенством
Fu — f(u, •),
Таким образом, бифункция — это как бы первая половина
функции, «разбитой на две части»:
F: и-+ Fu: х -> (Fu) (х)
Взаимно однозначное соответствие между бифункциями, дей-
ствующими из 0V" в Rn, и функциями на R,m+n со значениями, из
расширенной вещественной прямой подобно соответствию между
многозначными отображениями из Л” в R" и подмножествами
из Rn+m (графиками этих отображений). Терминология, использую-
щая бифункции, полезна в тех же случаях, что и терминология,
использующая многозначные отображения,— когда мы хотим под-
черкнуть аналогии с понятиями, свойственными однозначным
отображениям из в DV*.
Иногда полезно представлять бифункции как обобщение много-
значных отображений. Пусть F — некоторая бифункция, дейст-
вующая из Н’п в Rn, такая, что (Fu) (х) всюду больше —оо. Для
всякого и С обозначим через Su множество тех х g Rn, при
которых (Fu) (x)<Z +оо. Чтобы полностью описать F, достаточно
для каждого и £ задать множество Su и действительную функ-
цию на Su (ограничение бифункции Ги); по этой информации F
может быть восстановлена, если положить (Fu) (х) = +оо при
х $ Su. Таким образом, F можно эвристически определить как
соответствие, относящее каждому и £ множества Su. cz BV*
с заданными на них различными действительными функциями
(дающими, скажем, оценки «стоимости» элементов х 6 Su). Это
соответствие сводится к многозначному отображению S: и -> Su,
если функции на Su тождественно равны нулю для всякого и,
т. е. если F есть + ео-индикаторная бифункция отображения S:
{О, если x£Sw,
оо, если x$Su.
307
20*
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ G ОГРАНИЧЕНИЯМИ
(Здесь мы упомянули только продолжения с помощью +оо, а про-
должения с помощью —оо исключили. Однако в следующем пара-
графе, где вогнутые функции появляются наравне с выпуклыми,
противоположная ситуация, в которой +оо и —оо меняются ролями,
также будет иметься в виду. В частности, мы иногда будем пользо-
ваться —oo-индикаторной бифункцией.)
Бифункция F, действующая из Н"1 в будет называться
выпуклой, если ее график-функция выпукла на Rm+n. Отсюда сле-
дует, в частности, что Fu — выпуклые функции на 0V* при каждом
и 6 R™. Выпуклая бифункция будет называться замкнутой или
собственной, если ее график-функция соответственно замкнутая
или собственная.
График-множеством выпуклой бифункции F называется эффек-
тивное множество ее график-функции (т. е. некоторое множество
в UUn+m). Эффективное множество бифункции F, обозначаемое
dom F,— это множество тех векторов и £ для которых функ-
ция Fu не равна тождественно -|-оо. Таким образом, dom F совпа-
дает с проекцией график-множества бифункции F на и, следо-
вательно, является выпуклым множеством. Если F — собствен-
ная бифункция, то dom F состоит в точности из тех векторов и 6
6 Rm, при которых функции Fu — собственные.
Простейший пример выпуклой функции, теоретически очень
важный (хотя и не в связи с обобщенными выпуклыми програм-
мами), доставляет +оо-индикаторная бифункция линейного опера-
тора А, действующего из в Нп. Эта функция определяется
формулой
г,„ , , «, , . , f 0, если х — Аи,
-j-” оо , если jc »/ - /*и •
Бифункция выпукла, поскольку ее график-функция есть индикатор-
ная функция графика выпуклого множества А, представляющего
собой подпространство в R,m+n. Наконец, бифункция F замкнута
и dom F = Rm. Как мы увидим впоследствии, этот пример переки-
дывает мост между линейной алгеброй и теорией выпуклых би-
функций.
Основным примером бифункции, пригодной для наших ближай-
ших целей, будет следующий. Пусть (Р) — обыкновенная выпук-
лая программа. Если и =(vt,..., vm) gR”*, то через Su мы обозначим
подмножество из Rn, образованное такими векторами х, что
ft (х) «1, . . fr (х) < Vr, fr+i (х) = vr+1, .. ., fm (х) = vm.
Определим бифункцию F, действующую из в R”, формулой
Fu = f0 + 6 (• | Su), У и.
Мы будем называть F выпуклой бифункцией, связанной с обыкновен-
ной выпуклой программой (Р). Выпуклость F следует из того, что
308
§ 29. БИФУНКЦИИ И ОБОБЩЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
ее график-функция может быть представлена как сумма функций
gt на Rm+n, каждая из которых, очевидно, выпукла:
(Гм) (х) = g0 (и, х) + gt (и, х) + ... + gm (и, х),
где
' fo(x) при
gi(u,x)—< б(м, х|А (x)Oi) при
, б {и, X I f I (х) = Vi) при
1=6,
1=1, ..., г,
i = г + 1, ..., т.
(Смысл этих обозначений следующий: если i = 1...........г, то
gi (м, х) = 0, когда t-я компонента vt вектора и удовлетворяет
неравенству vt ^>fi (х), и gi (и, х) = -j-oo, когда это неравенство
нарушается; другими словами, gt, по существу, есть индикаторная
функция множества epi ft. Аналогичный смысл имеют функции
gi при i — г + 1.....tn.) Имеем
dom F = {и € 0V* | Su П С 0 },
где С = dom f0. Выпуклое множество dom F не пусто, ибо оно
содержит вектор
(/1 (X), . . ., fm (X)),
каков бы ни был х С С. Поскольку dom F =/= 0 и (Гм) (х) нигде
не равно —оо, Г — собственная бифункция. Если же выпуклые
функции f0, fi....fr замкнуты, то и Г замкнута. (Напомним, что
функции fr+i......fm предполагались в § 28 аффинными и, сле-
довательно, замкнутыми.)
Важно понимать, что обыкновенная выпуклая программа (Г)
полностью определяется связанной с ней бифункцией Г. Задающий
программу (Г) набор (С, fo, . . ., fm, г) из т + 3 элементов вос-
станавливается с помощью бифункции Г следующим образом.
Во-первых,
С = {х 6 I 3 и € Rm, (Гн) (х) < оо}.
Далее, для всякого х 6 С и всякого м, такого, что (Гм) (х) < +оо,
fo (х) = (Гм) (х).
Так определяется f0. Имеем для любого х 6 С
{« е Н™ I (Гм) (X) < +оо} = (Л (X), . . ., fm (х)) + к,
где К — выпуклый конус в образованный векторами у =
= (Яь • • ., ты), такими, что 0 при i = 1, . . ., г и т], = О
при I = г + 1, . . ., т. Таким способом определяются число г
и функции fl, . . ., fm на С.
Итак, вместо того, чтобы формально определять обыкновенную
выпуклую программу при помощи набора (С, f0, . . •> fm, г),
мы можем с таким же успехом задать ее с помощью некоторой
бифункции. Именно этот подход лежит в основе дальнейших рас-
смотрений.
309
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Пусть F — выпуклая бифункция, действующая из в R.n.
Под (обобщенной) выпуклой программой, связанной с F, мы пони-
маем «задачу минимизации при наличии возмущений», в которой
FQ минимизируется на HV1, а возмущения сводятся к замене FQ
на Fu при различном выборе вектора и 6 OV". (Строгое определение
программы (Р) гласит, что (Р) есть самое F (ср. замечание в начале
§ 28). Однако введение программы (Р) и связанной с ней термино-
логии (хотя она и кажется излишней) полезно, поскольку во мно-
гих случаях мы используем понятие выпуклой бифункции, не обра-
щаясь ни к какой специальной «минимизационной задаче с воз-
мущениями».)
Выпуклую функцию F0 мы будем называть целевой функцией
программы (Р), а нижнюю грань этой функции на Rn — оптималь-
ным значением программ (Р). Элементы выпуклого множества
dom F0 = {х £ | (F0) (х) <_ Ч-оо }
будут называться допустимыми, а программа (Р) — совместной,
если хотя бы один такой вектор существует. Мы определим далее
решения программы (Р) как векторы х 6 Rn, такие, что (F0) (х)
конечно и равно оптимальному значению (Р). (Таким образом,
мы не говорим о решениях программы (Р), когда она несовместна,
хотя в этом случае (F0) (х) равно оптимальному значению +оо
для всех х.)
Множество решений программы (Р) пусто, если функция F0 —
несобственная; когда же F0 — собственная функция, это множество
(оно и в этом случае может быть пустым) есть выпуклое подмноже-
ство множества допустимых векторов.
Общие условия, гарантирующие существование решений у про-
граммы (Р), можно получить, применяя теорему 27.2 к функции F0.
Однако в дальнейшем изложении мы будем уделять основное внима-
ние не столько решениям, сколько обобщенным векторам Куна —
Таккера.
Выпуклую функцию Fu мы можем интерпретировать как целе-
вую функцию программы (Р), подвергнутой возмущению и.
Мы можем поэтому определить функцию возмущений программы
(Р). Эта функция, обозначаемая в дальнейшем inf F, задается
формулой
(inf F) (и) = inf Fu — inf (Fu) (x).
X
Заметим, что значение inf F в точке и = О равно оптимальному
значению программы (Р).
Назовем далее вектор и* £ И-”1 вектором Куна — Таккера про-
граммы (Р), если
inf {(и*, и) + inf Fu} = inf {(«*, и) + (Fu) (х)}
и и, X
§29. БИФУНКЦИИ И ОБОБЩЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
есть конечная величина, равная нижней грани функции FQ. Посколь-
ку (н*, и) + inf Fu равно inf Я) при и = 0, это условие на и*
эквивалентно требованию, чтобы inf FQ был конечен и
inf Fu + {и*, и) inf FQ, Уи.
Векторы Куна — Таккера можно поэтому интерпретировать как
векторы равновесных цен точно таким же способом, как мы это
делали в § 28.
Функция L на ft"* х Нп, определенная формулой
L (и*, х) = inf {{и*, и) + (Fu) (х)},
и
будет называться функцией Лагранжа, или лагранжианом про-
граммы (Р). Поскольку
inf {{и*, и) + (Fu) (х)} = inf L (и*, х),
и,х X
векторы Куна — Таккера можно определить при помощи функции
Лагранжа: вектор и* будет вектором Куна — Таккера программы
(Р) тогда и только тогда, когда нижняя грань функции L (и*, •)
конечна и равна оптимальному значению программы (Р). Мы пока-
жем ниже, что, как и в случае обыкновенных выпуклых программ,
решения программы и ее векторы Куна — Таккера соответствуют
седловым точкам лагранжиана L, по крайней мере когда F —
замкнутая и собственная бифункция.
Если (Р) — обыкновенная выпуклая программа, то только что
определенные понятия, разумеется, сводятся к тем, которые были
определены ранее. Функция • inf F становится при этом функцией
возмущений р, которая возникла у нас при обсуждении «равновес-
ных цен» в § 28. Формула для функции Лагранжа программы (Р)
принимает вид
L (и*, х) = inf {vtvi + . . . + + f0(x) | и 6 Ux},
где Ux — множество векторов и — (t>i, vm) C таких, что
Vj fi (х) При 1 = 1, • • •» И Vj =’/г (х) при I = г + 1.т.
Поэтому
L (и*, х) == <
fo(x) + v*h (•*)+..
— оо,
если
если
если
и*$Ег, х£С,
х^С,
+ Vmfm(x)-,
+ °°»
как и в § 28. Здесь Ег есть множество векторов и* = (и*, . . ., v™),
таких, что > О при i = 1......г. Определение векторов Куна —
Таккера посредством L (и*, •) сводится, таким образом, к опреде-
лению, данному в § 28.
Вот достаточно наглядный пример обобщенной выпуклой про-
граммы, не являющейся обыкновенной выпуклой программой.
311
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Рассмотрим бифункцию F: R.2 -> Rn, определенную формулой
(F«)(x) =
' [<х, Qx>/(1+ v2)] + (a, х), если — 1, х£ B-\-v2e,
= < 0, если ut=—1, Qx=0, x£B+v2e,
. +оо в остальных точках,
где и = (vt, и2), a Q — симметричная неотрицательно определен-
ная матрица размера п х п., В — единичный евклидов шар в Rn,
а и е — элементы из Ип, причем | е | = 1. Таким образом, F —
замкнутая собственная выпуклая бифункция; в этом нетрудно
убедиться, поскольку
(Fu) (х) = Д (1 4- «1, х) 4- f2 (v2, *),
где Д определена с помощью квадратичной выпуклой функции
формулой
q (х) = (х, Qx) 4- (а, х)
fi(Kx)=l (qO+)(x),
. 4-00,
если
если
если
%>0,
Х = 0,
%<0
( (?Ш
(см. замечание, предшествующее следствию 8.5.2), а f2 — индика-
торная функция выпуклого множества
{(v2, *) I I х — v2e К 1}.
Целевая функция выпуклой программы (Р), связанной с F, равна
F0 = g + 8(> |В).
Итак, в данном случае мы хотим минимизировать q на единичном
шаре В, совпадающем с множеством допустимых векторов. Нас
интересует также, что произойдет с этой задачей, если возмущать
ее, умножая q скалярно справа на некоторое 1 + Vi и сдвигая шар В
в направлении вектора е (или в противоположном). Для всякого
U — (Vi, Vz) С 131 > —1
Fu = q (1 + «О 4- б (• | В 4- v2e),
т. e. мы будем рассматривать inf Fu как функцию переменных
и ®2 в окрестности точки Vi = v>2 = 0. Лагранжиан L в нашей
обобщенной выпуклой программе легко находится из написанной
выше формулы: если и* = (v*, v2), то
L(u*, x) = 2J^v* (х, Qx) — v* — (x, а — Dje) — | 1 ф4 1 — |х—(х, е) |2
при и |х —(х, е)е|<;1 и
+ оо, если v*<0, |х— (х, е)е|<4,
— оо, если |х—(х, е)е\> 1.
L(u*, х) =
312
§29. БИФУНКЦИИ И ОБОБЩЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
gf(u,x) =
В § 30, 31 мы рассмотрим другие примеры обобщенных выпук-
лых программ, включающих правое скалярное умножение и сдвиги.
Полезно заметить, что в определенном смысле обобщенные
выпуклые программы ничуть не сложнее обыкновенных. Каждую
обобщенную выпуклую программу можно окольным путем преобра-
зовать в обыкновенную, у которой все ограничения имеют вид
линейных равенств. Действительно, пусть F — собственная выпук-
лая бифункция, действующая из ft”1 в ft”. Положим
D = {(и, х) | (Fm) (х) < +оо } <= Рт+”,
go (и, х) = (Fu) (х),
gt (и, х) = gt (yt..vm, х) = ог, i = 1......tn.
Рассмотрим обыкновенную выпуклую программу (Q), в которой
функция go минимизируется на множестве D при дополнительных
ограничениях
gt {и, х) = 0, i=l,.. ., т.
Целевая функция программы (Q) та же, что и у обобщенной выпук-
лой программы (Р), связанной с F:
(F0)(x), если ы = 0,
+ оо, если ы^=0,
и возмущения в (Q) прямо соответствуют возмущениям в (Р). Более
того, векторы Куна — Таккера в обеих программах можно отож-
дествить. Поэтому все утверждения относительно программы (Q)
можно (до некоторой степени) эквивалентно сформулировать в тер-
минах (Р). Такая переформулировка, однако, не слишком естествен-
на (например, когда (Р) самое есть обыкновенная выпуклая про-
грамма с ограничениями в форме неравенств). Лагранжианы про-
грамм (Q) и (Р) существенно отличаются, поскольку первый зависит
не только от ы* и х, но и от и. Последнее обстоятельство и опре-
деляет в значительной степени ограниченность теории, в которой
в качестве основной модели берутся обыкновенные выпуклые про-
граммы с ограничениями в форме линейных равенств (особенно
когда речь идет о множителях Лагранжа и двойственности). С дру-
гой стороны, в § 36 мы покажем, что всякая минимаксная выпук-
лая задача связана с функцией Лагранжа некоторой обобщенной
выпуклой программы.
Приведенная ниже теорема устанавливает важнейшее свойство
функций возмущений выпуклых программ как обыкновенных,
так и обобщенных.
Теорема 29.1. Пусть F — выпуклая бифункция, действую-
щая из ftm в ftn. Тогда функция возмущений inf F в выпуклой про-
грамме (Р), связанной с F, выпукла, и ее эффективное множество
совпадает с dom F. Если же оптимальное значение программы (Р)
313
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
конечно, то векторами Куна — Таккера программы (Р) будут те
и только те векторы и* С которые противоположны субгра-
диентам функции inf F в нуле, т. в. такие, что
—и* е д (inf F) (0).
Доказательство. Пусть f (и, х) = (Fu) (х) и А —
линейный оператор из Rm+n в DV": А: (и, х) -> и. Тогда f — выпук-
лая функция на iR,m+n и Af = inf F, т. е. inf F — выпуклая функ-
ция (теорема 5.7). Равенство
dom (inf F) = dom F
следует из того, что (inf F) (и) = +оо, только если Fu — функция,
тождественно равная +<х>. Далее, вектор и* является по определе-
нию вектором Куна — Таккера программы (Р) в том и только том
случае, когда inf F конечна в нуле и
(inf F) (и) (inf F) (0) + (—и*, и), У и.
Это равенство означает, что —и* £ д (inf F) (0).
Теорема 29.1 позволяет использовать для изучения возмущений
и векторов Куна — Таккера все, что мы знаем о непрерывности
и дифференцируемости выпуклых функций. Некоторые основные
результаты мы получим уже сейчас. /
Следствие 29.1.1. Пусть F — выпуклая бифункция, дейст-
вующая из^т в Rn. Предположим, что оптимальное значение свя-
занной с F программы (Р) конечно. Тогда односторонние производные
по направлениям
(infF)-(O; =
существуют для всякого и g и являются положительно однород-
ными функциями от и. Множество векторов Куна — Таккера
программы (Р) выпукло и замкнуто, и его опорная функция совпадает
с замыканием функции
и -> (inf F)' (0; —и).
Доказательство. Применим теоремы 23.1 и 23.2 к inf F.
С л е д с т в и е 29.1.2. Пусть F — выпуклая бифункция, дей-
ствующая из Н™ в 01п. Предположим, что оптимальное значение
связанной с F выпуклой программы (Р) конечно. Тогда программа
{Р) не имеет векторов Куна — Таккера в том и только том случае,
когда для некоторого вектора и 6 двусторонняя производная
Ит (inf F) (Xu) ~ (inf F) (°)
адо
существует и равна —оо.
314
§ 29. БИФУНКЦИИ И ОБОБЩЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
Доказательство. Применим к inf F теорему 23.3.
Следствие 29.1.1 дает возможность полностью описать векторы
Куна — Таккера, пользуясь информацией о скорости изменения
оптимального значения программы j(P) как функции возмущений
ее целевой функции. Следствие 29.1.2 с точки зрения равновесных
цен содержит окончательный результат о существовании векторов
Куна — Таккера. Именно, оно утверждает существование векторов
Куна — Таккера, если только программа не является неустойчи-
вой в некотором смысле, заведомо исключающем возможность
равновесия. Действительно, всякий вектор и, обладающий свой-
ствами, отмеченными в следствии 29.1.2, указывает направление
возмущения, вдоль которого оптимальное значение программы
уменьшается с бесконечной скоростью. Возмущение по этому
направлению, так сказать, «бесконечно благоприятно» в смысле
эвристических замечаний, сделанных в § 28. Существование век-
тора равновесных цен в этой ситуации невозможно, ибо никакие
конечные цены не в состоянии скомпенсировать бесконечного
«улучшения» минимальной стоимости.
Следующий результат позволяет ответить на вопрос о единст-
венности вектора Куна — Таккера.
Следствие 29.1.3. Пусть F — выпуклая бифункция, дей-
ствующая из в R.n. Предположим, что оптимальное значение
связанной с F программы (Р) конечно. Тогда программа (Р) имеет
единственный вектор Куна — Таккера и* = (v*, . . ., tm) в том
и только том случае, когда int F дифференцируема в нуле. В этом
случае и* определяется формулой
v*=-^(infF)l“=o-
Доказательство сразу следует из теорем 29.1 и 25.1.
Рассмотрим, например, обыкновенную выпуклую программу
с г = т (см. § 28). Предположим, что у (Р) есть ровно один вектор
Куна — Таккера. По определению (inf F) (v4, 0, . . ., 0) равен ми-
нимуму функции /о U) при ограничениях
А (х) < Vi, A W < 0, . . ., fm (х) < 0.
Согласно следствию 29.1.3, производная этой функции по v4 в точке
Vi = 0 равна —v*.
Мы уже говорили о том, что выпуклая программа (Р) называет-
ся совместной, если она имеет хотя бы один допустимый вектор,
т. е. если 0 $ dom F. Назовем программу (Р) сильно совместной, если
О 6 ri (dom F), и строго совместной, если 0 6 int (dom Р). Если
(Р) — обыкновенная выпуклая программа, то в обозначениях
§ 28 (Р) сильно совместна тогда и только тогда, когда существует
такой вектор х € ri С, что
fi (х) <0, ..., fг (х) < 0, А+1 (х) = . . . = fm (х) = 0.
315
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Читатель сам в качестве легкого упражнения может доказать это
утверждение. Очевидно далее, что при наличии в программе (Р)
только ограничений в форме неравенств, (Р) строго совместна тогда
и только тогда, когда А (х) •< О, . . ., fm (х) < 0 для некоторого
х £ С. Вообще же выпуклая программа строго совместна тогда
и только тогда, когда для всякого и Е существует X > О, такое,
что Хи 6 dom F, т. е. такое, что F (ки) не равна тождественно +<х>
(следствие 6.4.1). Допуская некоторую вольность речи, можно
сказать, что совместная программа строго совместна, ёсли не суще-
ствует направления, вдоль которого сколь угодно малые возмуще-
ния приводят к тому, что множество допустимых векторов стано-
вится пустым.
Следствие 29.1.4. Пусть F — выпуклая бифункция, дей-
ствующая из в Нп. Предположим, что программа (Р), связанная
с F, сильно (или строго) совместна и ее оптимальное значение конеч-
но. Обозначим через U* множество векторов Куна — Таккера
программы (Р). Тогда U* #= 0 и
(inf F)' (0; и) = —inf {(и*, u> | и* С U*}, Vu С НУ”.
Доказательство. Применяя к inf F теорему 23.4, полу-
чаем требуемое. (Функция inf F конечна в нуле, и нуль принадле-
жит относительной внутренности эффективного множества inf F.
По теореме 7.2 отсюда следует, что inf F — собственная функция.)
Следствие 29.1.5. Пусть F — выпуклая бифункция, дейст-
вующая из R"1 в DV*. Предположим, что программа (Р), связанная
с F, строго совместна и ее оптимальное значение конечно. Тогда
функция inf F конечна и ограничена в некоторой окрестности нуля,
а множество векторов Куна — Таккера программы (Р) не пусто,
замкнуто, выпукло и ограничено.
Доказательство. По предположению функция inf F
конечна в нуле и 0 € int (dom F), а по теореме 29.1 dom F есть
эффективное множество inf F. Поэтому inf F конечна и непрерывна
на int (dom F) (теоремы 7.2 и 10.1). Наконец, по теореме 23.4
д (inf F) (0) — непустое замкнутое ограниченное выпуклое мно-
жество.
Следствие 29.1.6. Пусть F — выпуклая бифункция, дей-
ствующая из НУ* в Rn. Если inf Fu = —оо для некоторого и 6
то inf Fu = —оо для всякого и 6 ri (dom F) (и inf Fu = +oo при
и (J dom F).
Доказательство. Применим к inf F теорему 7.2. '
Для обыкновенных выпуклых программ следствие 29.1.4 не
дает столь же универсального критерия существования векторов
Куна — Таккера, как, например, теорема 28.2, ибо в этой теореме
316
§ 29. БИФУНКЦИИ И ОБОБЩЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
учитывается тот факт, что некоторые из ограничений в форме нера-
венств могут оказаться аффинными. Однако следствие 29.1.4 и дру-
гие результаты можно до некоторой степени улучшить, если исполь-
зовать полиэдральную выпуклость.
Мы назовем выпуклую бифункцию F полиэдральной, если ее гра-
фик-функция полиэдральна. Связанные с такими бифункциями
выпуклые программы мы будем называть полиэдральными.
Наиболее важный пример полиэдральных выпуклых программ—
линейные программы. Этим термином мы называем обыкновенные
выпуклые программы, в которых (в обозначениях § 28) все функ-
ции /0> А....fm аффинны на С, а С есть множество вида
{х = «1........Вп)1^>0, /=1.....s},
где п. Функция Лагранжа линейной программы имеет вид
£(и*, х) = <
К (и*, х),
— оо,
+ ОО,
если
если
если
(gi,--. Л.)>0, «,
., х?)>0,
где К (и*, х) — биаффинная функция на fft”* х т. е. функция
вида
К (м*, х) = (и*, Ах} + {и*, а) + (а*, х) + а.
(У читателя, естественно, может возникнуть вопрос, почему
мы не определили линейную программу просто как обыкновенную
выпуклую программу, в которой все ограничения аффинны, а С =
= Rn; ведь всякое условие типа 0 можно трактовать как
линейное ограничение вида ft (х)^ 0. Дело, однако, заключается
в том, что в теории, развитой в § 28, ограничениям, связанным
с функциями ft, соотносятся множители Лагранжа, а ограничениям,
связанным с множеством С, — нет. В этой связи полезно еще раз
напомнить, что две выпуклые программы, порождающие одну
и ту же экстремальную задачу, могут все же быть различными,
если они определяются различными выпуклыми бифункциями.
В каждом случае выбор бифункции в конечном счете зависит от
того, какие возмущения и векторы Куна — Таккера нас инте-
ресуют. Различные бифункции порождают различные лагранжиа-
ны и, как мы увидим в § 30, приводят к различным двойственным
программам.)
Пример полиэдральной выпуклой программы, не являющейся
линейной, можно извлечь, например, из задачи о минимуме функции
|| х ||оо = max {| g; | | / = 1.n}, x = .....ln},
на многограннике
conv {ai, .. ., as},
где at — заданные точки из Rn. Чтобы получить из экстремальной
задачи выпуклую программу, мы должны ввести подходящий
317
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
класс возмущений; в данном случае пусть этими возмущениями
будут сдвиги векторов ак в направлениях bt, ...» Ьт. Более
точно рассмотрим бифункцию F, определенную формулой
Fu = || • ||оо + б(- I Си),
где для всякого и = (г)4..vm)
т
Си= U conv^i + vibi, as + vibi}.
i=l
Тогда F — собственная полиэдральная выпуклая >бифункция,
поскольку график-функция бифункции F есть сумма полиэдраль-
ной выпуклой функции
(и, х) -> || X Цоо
и индикаторных функций т полиэдральных выпуклых множеств
{{и, х) | х — v(bt £ conv {at.....as}}, i = 1.....m,
(см. теоремы из второй половины § 19). Выпуклая программа (Р),
связанная с F, по определению является полиэдральной, а ее
целевая функция имеет вид
РО = || • Цоо + б ( • | conv {аъ . . ,, ar}),
так что экстремальная задача в (Р) совпадает с первоначальной.
Полиэдральные выпуклые программы обладают многими инте-
ресными свойствами. Наиболее важные из них перечислены в сле-
дующей теореме.
Теорема 29.2. Пусть F — полиэдральная выпуклая бифунк-
ция, действующая из в Нп. Тогда целевая функция F0 и функ-
ция возмущений inf F выпуклой программы (Р), связанной с F,—
полиэдральные выпуклые функции. Если оптимальное значение про-
граммы (Р) конечно, то она имеет хотя бы одно решение и хотя бы
один вектор Куна — Таккера. Наконец, множества всех решений и
всех векторов Куна^-Таккера программы (Р) полиэдральны и выпуклы.
Доказательство. График-функция f {и, х) — {Fu) {х)
полиэдральна и выпукла на DVn+n, следовательно, (F0) (х) —
полиэдральная выпуклая функция на Нп. Как было показано при
доказательстве теоремы 29.1, функция inf F есть образ функции f
при некотором линейном отображении А. Поскольку линейные
операторы сохраняют полиэдральную выпуклость (следствие 19.3.1),
отсюда следует, что inf F полиэдральна. Предположим теперь, что
оптимальное значение программы (Р) конечно. Тогда F0 ограничена
снизу на и ее нижняя грань достигается (следствие 27.3.2).
Множество минимумов функции F0 полиэдрально как множество
уровня полиэдральной выпуклой функции. Таким образом, про-
грамма (Р) имеет решения и они образуют полиэдральное выпук-
318
§29. БИФУНКЦИИ И ОБОБЩЕННЫЕ ВЫПУКЛЫЕ ПРОГРАММЫ
лое множество. Так как F — полиэдральна и (inf F) (0) — конеч-
ное число, д (inf F) (0) — полиэдральное выпуклое множество (тео-
рема 23.10). Из теоремы 29.1 следует теперь, что множество,векто-
ров Куна — Таккера программы (Р) — непустое полиэдральное
и выпуклое.
Покажем теперь, как можно описать векторы Куна — Таккера
и решения с помощью функции Лагранжа.
Тео-р е м а 29.3. Пусть F — замкнутая собственная выпук-
лая бифункция, действующая из в Rn, и L — функция Лагранжа
выпуклой программы (Р), связанной с F. Пусть и* (Е ~х С HV1.
Для того чтобы вектор и* был вектором Дуна — Таккера, а век-
тор х — решением программы (Р), необходимо и достаточно,
чтобы пара («*, х) была седловой точкой функции Лагранжа L,
т. е. чтобы _ _
L(u*, x)^L(u*, x)^L(u*, х), Vm*, Vx.
Доказательство. Как было отмечено в начале доказа-
тельства теоремы 28.3, седловые точки характеризуются равенством
sup L (и*, х) = inf L (м*, х).
и* X
Мы отмечали также в связи с определением функции L, что
infL(«*, x) = inf{(M*, M> + inf Fu}<;infF0.
X и
С другой стороны, если h (и) = (Fu) (х), то
L(u*, x) = inf {(«*, и) + h(«)} = —sup {(—«*, и)— h (и)}=— h* (—и*)
и и
и, следовательно,
sup L (и*, х) = sup {(0, — u*) — h*( — и*)} = h** (0) = (cl h) (0).
u* и*
Поскольку F замкнута по условию, c\h = h и
sup L (и*, х) = (FQ) (х)>inf FQ.
u*
Далее, так как F—собственная бифункция, то
inf {<«*, и) + inf Fu} < + оо, (FQ) (х)> — оо.
и
Поэтому (и*, х) будет седловой точкой функции L в том и только
том случае, если
inf {<и*, и) + inf Fu} = inf FQ = (FQ) (x) 6 R.
u —.
Но это условие означает по определению, что и* — вектор Куна —
Таккера, ах — решение программы (Р).
Из доказанной теоремы сразу следует обобщение теоремы
Куна — Таккера.
319
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Следствие 29.3.1. Пусть F — замкнутая собственная
выпуклая бифункция, действующая из в RA Предположим, что
программа {Р), связанная с F, либо сильно {или строго) совместна,
либо полиэдральна и совместна. Тогда для того, чтобы вектор
xgR'’ был решением программы {Р), необходимей достаточно
существование такого и* Е Rm, чтобы пара {и*, х) была седловой
точкой функции Лагранжа L программы (Р).
Доказательство. Если сформулированные условия
выполнены и программа (Р) имеет решение, то она имеет и вектор
Куна — Таккера (следствие 29.1.4 и теорема 29.2).
Используя субградиенты функции Лагранжа (она в действитель-
ности вогнуто-выпукла), можно сформулировать обобщение усло-
вий Куна — Таккера. Мы отсылаем читателя к § 36, где подробно
обсуждается связанная с программой (Р) задача об отыскании
седловых точек функции Лагранжа. В частности, теорема 36.6,
которую можно назвать «обобщенной теоремой Куна — Таккера»,
содержит утверждение, близкое следствию 29.3.1, но иначе сфор-
мулированное.
Теорему 28.4 также можно распространить на обобщенные выпук-
лые программы, связанные с произвольными собственными выпук-
лыми бифункциями. Этот результат просто следует \из теории
выпуклых программ, изложенной в § 30.
В приложениях теоремы 29.3 и теории двойственности, которой
посвящен следующий параграф, иногда необходимо регуляризовать
данную выпуклую программу, «замыкая» связанную с ней бифунк-
цию. Если F — выпуклая бифункция, действующая из в Нп,
то ее замыканием называется такая бифункция cl F, график-функ-
ция которой совпадает с замыканием график-функции бифункции F.
Таким образом, cl F — замкнутая выпуклая бифункция, собствен-
ная тогда и только тогда, когда F — собственная. Следующая тео-
рема и следствие из нее выявляют связь между выпуклыми про-
граммами, связанными с F и cl F.
Теорема 29.4. Пусть F — выпуклая бифункция, действую-
щая из DV" в Rn. Тогда для всякого и С ri (dom F)
(cl F) {и) = cl {Fu),
inf (cl F) {u) = inf Fu.
Если же F — собственная, то
dom F c= dom (cl F) cz cl (dom F).
Доказательство. Положим f {и, x) = {Fu) {x). Тогда
(elf) {u, x) = ((cl F) u) (x)
по определению. Так как dom F есть проекция dom f на Rm, то и
ri (dom F) есть проекция ri (dom f) на (теорема 6.6). Поэтому
320
§ 30. еОПРЯЖЕННЫЕ БИФУНКЦИИ И ДВОЙСТВЕННЫЕ ПРОГРАММЫ
дЛя всякого и Е ri (dom F) существует х Е такой, что {и, х) £
g ri (dom f). В частности, этот х принадлежит ri (dom Fu) (теорема
6.4) и 601,111 f (и> х) > —°°> то f и СУТЬ. собственные функции
(теорема 7.2) и
((cl F) и) (у) = lim f (и, (1 — X) х + Ху) = (cl (Fu)) (у), Чу
ж
(теорема 7.5). Если f (и, х) — —оо, то, конечно,
((cl F) и) (у) = —оо = (cl (Fu)) (у), Чу.
Поэтому во всех случаях (cl F) и = cl (Fu) для всякого и Е
£ ri (dom F). Нижние грани на R” функций Fu и cl (Fu) совпадают,
поэтому при и Е ri (dom F) функция Fu имеет ту же нижнюю грань,
что и (cl F) (и). Таким образом, inf F и inf (cl F) совпадают на
ri (dom F). Если же F — собственная бифункция, то ее график-
функция тоже собственная и
dom f az dom (cl f) cz cl (dom f).
Проектируя эти множества на Н”*, мы получаем в точности те отно-
шения включения для эффективных множеств, которые указаны
в формулировке теоремы.
Следствие 29.4.1. Пусть F — выпуклая бифункция, дей-
ствующая ’ из Ят в R.n, а (Р) — связанная с ней выпуклая программа.
Обозначим через (cl Р) выпуклую программу, связанную с cl F.
Предположим, наконец, что (Р) сильно совместна. Тогда (cl Р)
тоже сильно совместна и целевая функциядля (cl Р) совпадает с замы-
канием целевой функции для (Р), так что оптимальные значения
программ (Р) и (cl Р) равны и всякое решение для (Р) есть также
и решение для (cl Р). Функции возмущений программ (Р) и (cl Р)
совпадают в некоторой окрестности нуля, и, следовательно, обе
программы имеют одинаковые векторы Куна — Таккера.
§ 30. Сопряженные бифункции и двойственные программы
Фундаментальное свойство обобщенных выпуклых программ
состоит в том, что каждая такая программа имеет двойственную
«обобщенную вогнутую программу». В большинстве случаев опти-
мальные значения двойственных программ совпадают и решения
одной из них являются векторами Куна — Таккера другой.
В основе теории двойственности выпуклых программ лежит
понятие «сопряженной бифункции». Операцию сопряжения для
бифункций можно рассматривать как обобщение операции сопря-
жения для линейных операторов; при ^том можно построить некото-
рую «выпуклую алгебру», подобную линейной алгебре. Мы сделаем
это в §§ 33, 38.
21 Р, Рокафеллар
321
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
В предыдущих параграфах мы рассматривали только задачи
на минимум; здесь же мы равное внимание будем уделять задачам
на максимум, в которых целевая функция вогнута. Изменения
в формулировках при переходе от минимизации к максимизации
и от выпуклости к вогнутости совершенно тривиальны и очевидны.
Роль символов +оо, и «inf» в этом случае играют соответственно
символы — оо, ;> и «sup». Отметим наиболее существенные изме-
нения.
Функция g, определенная на и принимающая значения
в [—оо, +оо], называется вогнутой, если —g выпукла. Для вогну-
той функции g определяются множества
epi g = {(х, р) I х Е Rn, р. 6 R, р. < g (х)},
dom g = {х | g (x) > —oo }.
Говорят, что g — собственная, если g (x) > —оо хотя бы для одного
х и g (х) <Z +°° Для всех х. Замыкание cl g вогнутой функции g
есть поточечная нижняя грань семейства аффинных функций,
мажорирующих g, оно равно —cl (—g). Если g — собственная или
х Е cl (dom g), то
(cl g) (х) = lim sup g (у).
У-*Х
Если g постоянна и равна —оо, то cl g = g, но еслиg — несобствен-
ная вогнутая функция, принимающая в некоторой точке значение
+оо, то cl g тождественно равна +<х>. Говорят, что g замкнута,
если cl g = g (т. е. если —g замкнута). Если g — собственная,
то она замкнута тогда и только тогда, когда она полунепрерывна
сверху, т. е. когда все множества
{X I g (х) > а}, а Е R.
замкнуты.
Сопряженная с вогнутой функцией g определяется формулой
g* (х*) = inf «х, х*) — g(x)}.
X
Следовательно, g** = cl g. Вообще говоря, g* =# — (—g)*, так как
если f = —g, то верно равенство
g* (х*)= — g*( —х*).
Множество dg (х) состоит по определению из таких векторов х*, что
g (z)< g (х) + (х*, z — х), Vz.
Такие векторы мы будем называть для простоты субградиентами
g в точке х, а отображение х -*• dg (х) — субдифференциалом g
(хотя, может быть, более подходящими были бы термины «су-
перградиент» и «супердифференциал»). Имеем
dg (х) = — д (—g) (х).
322
§ 30. СОПРЯЖЕННЫЕ БИФУНКЦИИ И ДВОЙСТВЕННЫЕ ПРОГРАММЫ
Если g — собственная вогнутая функция, то
g (х) + g* (х*) (х, х*}, Vx, Vx*,
и это неравенство становится равенством тогда и только тогда,
когда х* 6 dg (х). Если g замкнута, то соотношения х* 6 dg (х)
и х € dg* (х*) эквивалентны.
Бифункция, действующая из Нт в Ип, называется вогнутой,
если ее график-функция вогнута и т. д. Если G — вогнутая бифунк-
ция, то dom G — это множество тех векторов и 6 Нт, для которых
Си не равна тождественно —бо на Вогнутая программа (Q),
связанная с G, определяется как «максимизационная задача при
наличии возмущений», в которой требуется максимизировать
на UV* вогнутую функцию СО, а при данном возмущении и 6
функция СО заменяется на Gu. Функция СО называется целевой
функцией программы (Q). Векторы х, такие, что (СО) (х) > —оо
(т. е. элементы dom СО), называются допустимыми, верхняя
грань СО на Н” — оптимальным значением программы (Q),
а (в случае, когда последнее конечно) точки, в которых оно дости-
гается,— решениями программы (Q). Функция возмущений про-
граммы (С) — это функция на DV”, определенная формулой
(sup С) (и) = sup Gu = sup (Gw) (x).
Это вогнутая функция со значениями из расширенной области
вещественных чисел, а ее эффективное множество есть dom С. Век-
тор и* £ называется вектором Куна — Таккера программы
(Q), если величина
sup {{и*, и) + sup Gu} = sup {(и*, и) + (Gw) (х)}
и и,х
конечна и равна оптимальному значению программы (Q). Это усло-
вие выполняется тогда и только тогда, когда функция sup С конеч-
на в нуле и
—и* € д (sup С) (0).
Функция Лагранжа, или лагранжиан программы (Q),— это
L (и*, х) = sup {{и*, и) + (Gw) (х)}.
и
Совместность, сильная совместность и строгая совместность вогну-
тых программ эквивалентны (как и в случае выпуклых программ)
условиям 0 g dom 6, 0 £ ri (dom С) и 0 g int (dom G) соответственно.
Вот и все, что касается терминологии, связанной с вогнутыми
функциями и вогнутыми программами. Все результаты из § 29
можно без труда перевести на этот язык.
Пусть F — выпуклая бифункция, действующая из в HV1:
F: и -> Fu: х -> (Fu) (х).
323
21*
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Сопряженной с F называется бифункция
F*: х* -> F*x*: и* -> (Г*х*) («*),
действующая из R" в и определенная формулой
(F*x*) (м*) = inf {(Fm) (х) — (х, х*) + {и, и*)}.
и,х
Так же определяется сопряженная к вогнутой бифункции, с той
лишь разницей, что «inf» в этом определении заменяется на «sup».
Операция сопряжения для бифункций есть попросту модифика-
ция операции сопряжения для вогнутых и выпуклых функций.
Пусть f — график-функция бифункции F. Рассматривая
(и, —и* > + <х, х*)
как скалярное произведение векторов (м, х) и (—и*, х*) в Rm+n,
получим
(F*x*) («*) = inf {f (и, х) - (х, х*) + (м, м*)} =
U, X
— — sup {(м, —и*) + <Х, X* ) — f (и, х)} =
и,х
=—/♦ (—и*, X*),
где /* — функция, сопряженная с f. Таким образом, график-функ-
ция бифункции F* замкнута и вогнута, т. е. F* — замкнутая вогну-
тая бифункция. По определению бифункция F**, сопряженная
с F*, есть
(Г**м) (х) ^sup {(F*x*) (м*) — {и*, и} + (х*, х>} =»
х*,и*
= sup {(м, —и*} + (х, х*> — f* (—и*, X*)} =
х*,и*
= /** (м, х) = (cl f) (и, х).
Но выпуклая бифункция, график-функция которой равна cl f,
есть по определению замыкание cl F бифункции F. Мы можем поэто-
му свести основные свойства сопряженных бифункций в следую-
щей теореме.
Теорема 30.1. Пусть F — выпуклая или вогнутая бифунк-
ция, действующая мз в Rn. Тогда F* —замкнутая бифункция
противоположного типа, действующая из R" в Й.т, собственная
тогда и только тогда, когда F — собственная и
F** = cl F
В частности, если F замкнута, то F** = F. Таким образом, опера-
ция сопряжения устанавливает взаимно однозначное соответствие
между замкнутыми собственными выпуклыми (соответственно
вогнутыми) бифункциями, действующими из R.m в Rn, и замкнутыми
324
§ 30. СОПРЯЖЕННЫЕ БИФУНКЦИИ И ДВОЙСТВЕННЫЕ ПРОГРАММЫ
собственными вогнутыми (соответственно выпуклыми) бифункция-
ми, действующими из Нп в 0V”. Наконец, если F полиэдральна,
той F* полиэдральна.
Доказательство следует из теоремы 12.2 и предшест-
вующего теореме замечания. Из теоремы 19.2 следует, что опера-
ция сопряжения сохраняет полиэдральную выпуклость.
Рассмотрим пример. Пусть F — выпуклая индикаторная бифунк-
ция линейного оператора А, действующего из R” в Rn, т. е.
, f 0, если х — Аи,
(Г«)(х) = б(х|Л«)={
ОО ? CxJJlxl Л Z1W- •
Бифункцию F* можно вычислить непосредственно. Имеем
(F*x*) (и*) = inf {6 (х | Аи) — (х, х*) + (и, м*)}=
и, х
= inf { — (Аи, х*) + (и, и*)} = inf (и, и* — А*х*) =
и и
f 0, если и* = А*х*,
[ — оо, если ц*^=Д*х*.
Таким образом, F* — вогнутая индикаторная бифункция сопря-
женного оператора А* (действующего из Rn в Rm):
F*x* =- б (• 1 Л*х*), Vx* € ИГ.
Этот пример показывает, что операция сопряжения для бифункций
может рассматриваться как обобщение операции сопряжения для
линейных отображений (см. также § 33).
Вскоре мы приведем и другие замечательные примеры сопря-
женных бифункций. Однако связь график-функций бифункций F
и F*, которую мы объяснили перед теоремой 30.1, позволяет строить
примеры сопряженных друг с другом выпуклых и вогнутых бифунк-
ций, отталкиваясь непосредственно от тех примеров сопряженных
выпуклых функций, которые мы приводили в гл. III.
Конечно, явное вычисление сопряженной бифункции не всегда
возможно, однако не следует недооценивать силу общих формул
из § 16. Позже, в § 38, мы получим другие полезные формулы
для вычисления сопряженных с бифункциями, получающимися
при помощи некоторых естественных операций, аналогичных сло-
жению и умножению линейных операторов.
Пусть F — выпуклая бифункция, действующая из в ИГ,
и (Р) — связанная с ней выпуклая программа. Двойственной к (Р)
называется программа, связанная с (вогнутой) бифункцией F*.
Эту программу мы будем обозначать символом (Р*).
В программе (Р) мы минимизируем FQ по всем х £ Н" и возму-
щаем FQ, заменяя ее функцией Fu, соответствующей выбранному
325
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
и £ Нт. В двойственной программе (Р*) мы максимизируем F*0
по всем u* £ и возмущаем Р*0, заменяя ее функцией F*x*,
соответствующей выбранному х* £ Оптимальное значение про-
граммы (Р) равно inf F0, а оптимальное значение программы (Р*)—
sup F*0. Вектор Куна — Таккера и* £ программы (Р) харак-
теризуется тем, что величина
inf {{и, м*> + inf Fu} — inf {{и, и*) + (Fu) (х)}
и и,х
конечна и равна оптимальному значению программы (Р); векторы
Куна — Таккера х £ программы (Р*) — тем, что величина
sup {(х, х*} + sup F*x*} = sup {(х, х*> + (F*x*) (и*)}
а* ос*, и*
конечна и равна оптимальному значению программы (Р*).
В случае когда бифункция F — замкнутая и собственная (един-
ственный случай, представляющий интерес), F** = F по теоре-
ме 30.1, так что программа, двойственная к (Р*), снова есть (Р).
Мы займемся анализом взаимоотношений между двойственными
программами несколько позже. А сейчас мы в качестве примера
рассмотрим классическую пару двойственных программ линейного
программирования. Пусть А — линейный оператор, действующий
из Нп в Rm, и а и а* — фиксированные векторы из и R” соот-
ветственно. Линейная программа (Р), которую мы сейчас рас-
смотрим,— это обыкновенная выпуклая программа, в которой мини-
мизируется
fo (х) = (а*, х) + б (х | х > 0)
при т линейных ограничениях, заданных системой
а Ах^ 0.
Связанная с (Р) (полиэдральная собственная выпуклая) бифунк-
ция F действует из в R" и определяется формулой
(Fu) (х) = (а*, х) + б (х | х > 0, а — Ах^ и).
В этой записи мы, конечно, пользуемся соглашением о том,
что векторные неравенства z~^-z' следует понимать покомпонентно:
t,} С5 Для всякого индекса /. Смысл, вложенный в обозначение
индикаторной функции, тоже очевиден: мы пишем попросту
б (х | х > 0) вместо б (х | С), где С = {х | х > 0}, и т. д. Таким
образом, б (х | х 0) принимает значение, равное нулю, если
х 0, и равное +оо, если х 0.
326
$ 30. СОПРЯЖЕННЫЕ БИФУНКЦИИ и двойственные программы
Вычислим бифункцию F*, сопряженную с F. По определению
(F*x*) (w*)=inf {{а*, х)+б (х|х>0, а—Ах^и) — (х, х*)+(ы, «*>} =
= inf {(х, а*— х*) + (а —Лх + о, и*)} =
х^О,
— inf {(а, и*) + (о, и*) + (х, а* — х* — Л*ы*)} =
х^>0, г>^0
= (а, u*) + inf (v, «*) + inf(x, а*—х* —Л*м*) =
х^О
((а, и*), если п*>0 и а* — х*—Л*м*>0,
( — оо в остальных случаях.
Другими словами,
(Р*х*) («*) = (а, и*) — 6 (и* | м* >• О, а* — А*и* ;> х*),
и, следовательно, (Р*) — линейная программа, в которой макси-
мизируется функция
g0 (и*) = (а, и*) — 6 ( и* | и* 0)
при п линейных ограничениях, заданных системой
а* — А*и* 0.
Возмущая (Р*), мы заменяем а* на а*—х*, а возмущая (Р),
заменяем а на а — й.
В качестве следующей иллюстрации рассмотрим задачу, кото-
рой мы уже касались в конце § 28 в связи с принципом декомпози-
ции: минимизировать
fo (х) — /о1 01) + . . . + fos О)
при линейных ограничениях, заданных векторным равенством
А1X1 -j- . . . Н- Л$Хз — а,
где а — элемент из OV*, Ak— линейный оператор, действующий
из в Dlm, fQk — собственная выпуклая функция на и
х = (xi, . . ., xs), Xk € п± + . . . + th = n.
•Мы будем рассматривать здесь обыкновенную выпуклую программу
\Р), связанную с такой бифункцией F:
(Fu) (х) = f0 (х) + б (х | Ах = а + и),
где
Ах = AiXi + . . . + Л8Хз, и 6 OV”.
327
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Положим х* = (хТ, . . х*) и вычислим сопряженную бифункцию:
(F*x*) (и*) = inf {f0 (х) + б (х | Ах = а + и) — (х, х*> + {и, и*)} =
U, X
= inf { —(а, «*)+3 lU(x)—(xft, 4}+<ЛаХл, «*>} =
Xi, . . . , Xs k~i
= — (a, u*> — S SUP {(xk, 4 — Atu*) — fOb (x^} =
fe=l
= — {a, u*) — S' ftk(xt— Atu*).
k=i
Целевая функция двойственной программы (Р*) имеет поэтому вид
(Р*0) («♦) = -{а, и* ) - (—Л*ы*) - . . . - роз (—Atu*).
В (Р*) эта функция максимизируется по и*, а возмущенная задача
получается в результате сдвига каждой сопряженной функции
fob на вектор —xt € P”ft. Компоненты xh вектора Куна — Так-
кера х = (xi....xs) программы (Р*) определяют влияние этих
сдвигов на изменение оптимального значения (Р*).
Отметим, что в только что рассмотренных примерах решения
программы (Р*) оказываются векторами Куна — Таккера про-
граммы (Р). Как мы вскоре увидим, это свойство присуще любой
паре двойственных программ.
В конце параграфа мы обсудим ряд вопросов, связанных с двой-
ственностью обыкновенных выпуклых программ с ограничениями
в форме неравенств, а в § 31 рассмотрим и другие примеры двойст-
венных программ. А сейчас мы возвращаемся к общей теории двой-
ственности. В центре ее лежит следующий факт.
Теорема 30.2. Пусть F — выпуклая бифункция, действую-
щая из в R.n, и (Р) — выпуклая программа, связанная с F. Тогда
целевая функция F*Q двойственной программы (Р*) сопряжена
с вогнутой функцией —inf F, т. е.
(—inf F)* = F*0, (F*0)* = —cl (inf F).
Если же F замкнута, то целевая функция F0 программы (Р) сопря-
жена с выпуклой функцией —sup F*, т. е.
(—sup F*)* = F0, (FQ)* = —cl (sup F*).
Доказательство. По определению
(F*0) (и*) = inf {(Fu) (x) — (x, 0) + (u, u*)} —
= inf {(u, u*) + inf (Fu) (x)} =
= inf {<«, u*) — (—inf F) (u)} = (—inf F)*(u*).
и
328
§ 30. СОПРЯЖЕННЫЕ БИФУНКЦИИ И ДВОЙСТВЕННЫЕ ПРОГРАММЫ
С другой стороны, если F замкнута, то F** = F и, следовательно,
(/?0)(x) = (F**0)(x) = sup {(F*x*)(u*) —(0, «*) + (х, x*)} =
X*, u*
= sup {<x, x*) + sup (F*x*) (u*)} =
«» u* <
= sup {(x, x*) — (— sup F*) (x*)} = (— sup F*)* (x).
X*
Используя операции сопряжения, легко теперь получитьгформулы
для (F*0)* и (Г0)*.И
Из приведённого доказательства следует, в частности, что
(F*0) (u*) = inf L (и*, х), Vw*,
X
где L — функция Лагранжа программы (Р). С другой стороны,
при доказательстве теоремы 29.3 мы убедились в том, что
(F0) (х) = sup L (и*, х), Vx,
U*
если только F замкнута. Таким образом, оптимальное значение
программы (Р*) равно
sup inf L (и*, х),
U* X
а оптимальное значение программы (Р) —
inf sup L (и*, х),
х и*
если только Г.замкнута.
Роль функции Лагранжа в теории двойственности будет обсуж-
даться и далее, вплоть до § 36 (см. также следствие 30.5.1 ниже).
Формулы, установленные в теореме 30.2, влекут за собой ряд
результатов, отражающих взаимосвязь оптимальных значений
программ (Р) и (Р*), в частности содержащих условия совместно-
сти (Р) и (Р*).
Следствие 30.5.1. Пусть F — замкнутая собственная
бифункция, действующая из Ит в Нп, и (Р) — связанная с F выпук-
лая программа. Тогда двойственная программа (Р*) несовместна
в том и только том случае, если для некоторого и С R.m функция Fu
не ограничена снизу на R”. Точно так же (Р) несовместна в том
и только том случае, если для некоторого х* 6 функция F*x* не
ограничена сверху на R”1.
Доказательство. Программа (Р) несовместна тогда
и только тогда, когда функция F0 тождественно равна +оо. Это
может быть лишь в том случае, когда функция —sup F* принимает
в некоторой точке значение —оо (поскольку по теореме F0 сопря-
жена с —sup F*), т. е. когда для некоторого х* Е
-j-оо = (sup F*) (х*) = sup (F*x*).
Аналогично исследуется программа (Р*).
329
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Следствие 30.2.2. Пусть F — замкнутая выпуклая бифунк-
ция, действующая из в Нп, и (Р) — выпуклая программа, свя-
занная с F. Тогда оптимальные значения inf F0 и sup F*0 программ
(Р) и (Р*) соответственно удовлетворяют соотношениям
(cl (inf F)) (0) = (sup F*) (0) = sup F*0,
(cl (sup F*)) (0) = (inf F) (0) = inf FO. '
В частности, всегда
inf FO sup F*0.
Доказательство. По теореме 30.2
(cl (inf F)) (0) --(F*0)* (0) = —inf {(0, «*) — (F*0) («*)} =
4 u*
= sup (F*0) («*) = sup F*0.
u*
Так же проверяется и другая формула.
Следствие 30.2.3. Пусть F—замкнутая выпуклая бифунк-
ция, действующая из R.™ в и (Р) — выпуклая программа, свя-
занная с F. Тогда формулы |
lim inf (inf Fu) = sup F*0, |
u->0 J
lim sup (sup F*x*) — inf F0
x*-»0
справедливы всегда, за исключением случая, когда обе программы
несовместны.
Доказательство. Коль скоро функция inf Fu выпукла, |
формула ?
(cl (inf F)) (0) = lim inf (inf F) («) i
u->0 J
верна, если только ее левая часть не равна —оо, а правая +оо одно- *
временно. Но в силу предыдущего следствия левая часть в этой
формуле равна F*0, и она может становиться —оо, лишь если про-
грамма (Р*) несовместна. Если же правая часть равна +<ю,- то,
в частности, F0 = Н-оо, и, значит, программа (Р) несовместна.
Так доказывается первая формула. Вторая проверяется анало- J
гично.
Назовем выпуклую программу (Р) нормальной, если ее функция Ц
возмущений замкнута в нуле, т? е. если *.
(cl (inf F)) (0) = (inf F) (0).
Если программа (Р) совместна (или даже 0 g cl (dom F)) и нор- 4
мальна,то функция возмущений (inf F) (и) полунепрерывна снизу
в нуле. Условие такого рода естественно для выпуклых программ, <•
так как иначе существует вектор v € Rm, такой, что при А | 0 пре-
ззо
§ 30. СОПРЯЖЕННЫЕ БИФУНКЦИИ И ДВОЙСТВЕННЫЕ ПРОГРАММЫ
дел выпуклой функции h (X) = (inf) F (Ху) будет строго меньше,
чем h (0) = inf FQ (теорема 7.5). При этом программа оказывается
существенно неустойчивой по отношению к некоторым возмуще-
ниям. Если же 0 (J cl (dom F), то (Р), очевидно, нормальна во всех
случаях, за исключением рассмотренного в следствии 29.1.6.
Аналогично определяются нормальные вогнутые программы.
Таким образом, программа, двойственная к выпуклой, нормальна
в том и только том случае, когда
(cl (sup F*)) (0) = (sup F*) (0),
откуда следует полунепрерывность функции sup F* в точке х* = 0.
Теорема 30.3. Пусть F — замкнутая выпуклая бифункция,
действующая из К™ в Нп, и (Р) — выпуклая программа, связанная
с F. Тогда следующие условия эквивалентны:
(а) программа (Р) нормальна-,
(Ь) программа (Р*) нормальна-,
(с) inf F0 = sup F*0, т. е. оптимальные значения программ
(Р) и (Р*) равны.
Доказательство сразу следует из следствия 30.2.3.
В случаях, когда пара двойственных программ (Р) и (Р*) удов-
летворяет трем эквивалентным условиям из теоремы 30.3, мы
будем просто говорить, что эта пара программ нормальна.
Теорема 30.4. Пусть F — замкнутая выпуклая бифункция,
действующая из^тв Шп, и (Р) — выпуклая программа, связанная
с F. Тогда любое из перечисляемых ниже условий достаточно для
того, чтобы пара двойственных программ (Р), (Р*) была нормальной:
(а) программа (Р) сильно (или строго) совместна-,
(Ъ) программа (Р*) сильно (или строго) совместна-,
(с) оптимальное значение программы (Р) конечно и она имеет
вектор Куна — Таккера-,
(d) оптимальное значение программы (Р*) конечно и она имеет
вектор Куна — Таккера-,
(е) программа (Р) полиэдральна и совместна-,
(f) программа (Р*) полиэдральна и совместна-,
(g) множество {х| (F0) (х) а} не пусто и ограничено для неко-
торого а;
(h) множество {и* | (F*0) (и*) а} не пусто и ограничено для
некоторого а;
(р множество решений программы (Р) не пусто и ограничено-,
(j) множество решений программы (Р*) не пусто и ограничено.
Доказательство. При выполнении (а) нуль принад-
лежит относительной внутренности эффективного множества функ-
ции inf F (теорема 29.1), так что inf F совпадает с cl (inf F) в нуле
331
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
(теоремы 7.2 и 7.4). При выполнении (с) функция inf F субдиффе-
ренцируема в нуле (теорема 29.1), откуда тоже следует замкнутость
inf F в нуле (следствие 23.5.2). При выполнении (е) функция inf F
полиэдральна и выпукла и нуль принадлежит ее эффективному
множеству (теорема 29.2). Однако полиэдральная выпуклая функ-
ция всегда совпадает со своим замыканием в точках своего эффек-
тивного множества. Таким образом, из (а), (с) и (е) (а значит, и из
(b), (d) и (f)) следует нормальность. Условие (g) эквивалентно
в силу утверждения (d) теоремы 27.1 включению О Е int (dom (F*0)),
откуда следует, что (Р*) строго совместна. Поэтому (g) — это
специальный случай условия (Ь) и, аналогично, (h) — специальный
случай условия (а). Очевидно, наконец, что условия (i) и (j) содер-
жатся в (g) и (h).
Применим теорему 30.4 к паре двойственных программ линей-
ного программирования. Поскольку эти выпуклые программы
полиэдральны, из теоремы следует равенство их оптимальных значе-
ний, за исключением случая, когда обе они несовместны. Этот
результат известен как теорема двойственности Гейла — Куна —
Таккера. Разумеется, полиэдральная выпуклая или вогнутая про-
грамма имеет решение, если ее значение конечно (теорема 29.2).
Программы, не являющиеся нормальными, тоже существуют;
однако устроены они весьма причудливо и большого интереса
не представляют — это ясно, впрочем, из теоремы 30.4. Мы все же
рассмотрим один пример такой анормальной программы. Пусть
бифункция F, действующая из R в R, задается формулой
(Fu)(x) = i ехр( — Vux), если и^>0, х>0,
f I Н-оо в остальных точках.
Функция inf F вычисляется без труда:
' 0, если «> •0,
inf Fu = < 1, если о,
-J- оо, если и< :о.
Таким образом, оптимальное значение программы (Р) равно 1,
в то время как
(cl (inf F)) (0) = 0.
Оптимальное значение двойственной программы (Р*) в силу след-
ствия 30.2.3 должно равняться нулю. Заметим, что программа (Р)
не является сильно совместной. Читатель легко сможет построить
и сам другие примеры анормальных программ, в которых (inf F)(0)—
конечное число, a (cl (inf F)) (0) = —оо, или же (inf F) (0) = +оо,
a (cl (inf F)) (0) конечно или равно —оо.
В следующей теореме выявляется исключительно глубокая
двойственная связь между векторами Куна — Таккера и реше-
ниями.
332
§ 30. СОПРЯЖЕННЫЕ БИФУНКЦИИ и двойственные программы
Теорема 30.5. Пусть F — замкнутая выпуклая бифункция,
действующая из в Нп, и (Р) — выпуклая программа, связанная
с F. Предположим, что пара двойственных программ (Р), (Р*)
нормальна. Тогда и* будет вектором Куна — Таккера программы
(Р) тогда и только тогда, когда и* — решение программы (Р*).
Аналогично х — вектор Куна — Таккера программы (Р*) тогда
и только тогда, когда х — решение программы (Р).
Доказательство. Как мы выяснили в теореме 29.1,
и* может быть вектором Куна — Таккера программы (Р) в том
и только том случае, когда —и* 6 д (inf Р)(0). Поскольку програм-
ма (Р) нормальна, (inf Р) (0) = (cl (inf Р)) (0) и, значит, inf F
и cl (inf Р) имеют одни и те же субградиенты в нуле (теорема 23.5).
Более того, по теореме 30.2 (Р*0)* = cl (inf F). Таким образом,
и* — вектор Куна — Таккера программы (Р) тогда и только
тогда, когда
и* ед (Р*0)*(0),
т. е. (если переформулировать теорему 27.1 для вогнутого случая)
тогда и только тогда, когда верхняя грань функции Р*0 конечна
и достигается в точке и*. Поэтому векторы Куна — Таккера про-
граммы (Р) суть в точности решения программы (Р*). Так же дока-
зывается второе утверждение теоремы (коль скоро бифункция F
замкнута, F = Р**).
Следствие 30.5.1. Пусть F — замкнутая выпуклая бифунк-
ция, действующая из Ит в Rn, и (Р) — выпуклая программа, связан-
ная с F. Пусть, наконец, х £ ^п, «* 6 Тогда следующие условия
эквивалентны’.
(а) программы (Р) и (Р*) нормальны, ах и и* — их решения-,
(Ь) пара (и*, х) является седловой точкой функции Лагранжа L
программы (Р);
(с) (Р0) (х) < (Р*0) («*).
Доказательство. Поскольку (теорема 30.4) существо-
вание векторов Куна — Таккера влечет нормальность, эквива-
лентность условий (а) и (Ь) следует из теоремы 29.3. Эквивалент-
ность (а) и (Ь) вытекает из теоремы 30.3.
Можно привести пример, когда нормальная выпуклая програм-
ма имеет решение, а двойственная программа решения не имеет.
Рассмотрим бифункцию (действующую из R. в R):
если х2<Х
если х2>п.
если и 0,
если и < 0»
х,
(Fu) (х) =
Функция возмущений имеет вид
infp« = f
ззз
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Эта функция полунепрерывна снизу при и = 0, но ее производная
в этой точке равна —оо. Поэтому программа (Р) нормальна, но не
имеет ни одного вектора Куна — Таккера (следствие 29.1.2),
т. е. в двойственной программе решений быть не может. С другой
стороны, ясно, что х = 0 — решение.
Применяя к программе (Р*) различные критерии существова-
ния векторов Куна — Таккера, мы можем получать теоремы суще-
ствования решения для программы (Р).
Следствие 30.5.2. Пусть F—замкнутая выпуклая бифунк-
ция, действующая из^т в Нп, и (Р) — выпуклая программа, связан-
ная с F. Если (Р) совместна, а (Р*) сильно совместна, то для (Р)
существует решение. Точно также если (Р) сильно совместна,
а (Р*) совместна, то для (Р*) существует решение.
Доказательство. Если (Р*) сильно совместна, то обе
программы нормальны (теорема 30.4), так что их оптимальные зна-
чения равны. Они не могут равняться ни —оо, ни +оо, поскольку
в этих случаях одна из программ несовместна. Наконец, следст-
вие 29.1.4 влечет за собой существование хотя бы одного вектора
Куна — Таккера у программы (Р*), который по теореме 30.5
и будет решением программы (Р).
Используя взаимосопряженность целевой функции и функции
возмущений (теорема 30.2), можно получать и другие «двойствен-
ные» теоремы. Вообще говоря, каждое свойство функции возмуще-
ний программы (Р) двойственно некоторому свойству целевой
функции программы (Р*), а каждое свойство функции возмущений
программы (Р*) двойственно некоторому свойству целевой функ-
ции программы (Р).
Оставшаяся часть параграфа посвящена изучению обыкновен-
ных программ и двойственных к ним. Для сокращения обозначе-
ний рассмотрим лишь случай, когда все ограничения имеют форму
неравенств.
Пусть (Р) — обыкновенная выпуклая программа, в которой
минимизируется функция (х) по всем х £ С, удовлетворяющим
ограничениям
ft (х) < 0, . . ., fm (х) 0,
где f0, ft, . . ., fm — собственные выпуклые функции на Rn, такие,
что dom /о — С и
dom ft => С, ri (dom ft) => ri C, i = 1, . . ., m.
Выпуклая бифункция, связанная с (Р), определяется формулой
(Fu) (х) = f0 (х) + 6 (х | ft (х))< vt, i = 1.т),
334
§ 30. сопряженные бифункции и двойственные программы
где и = (^1......vm). Вычислим сопряженную бифункцию, пола
гая Z = (£1, • • •> £т):
(F*x*) (u*) = inf {(Fu) (х) — (х, х*) + (и, и*)} =
и, X
= inf inf {/о(х) + 6(х|/г-(х)Ог, 1=1,—
»eR.n ueRm
— (X, X*) + Uj'U* + . . . + Wm} =
m
= inf inf {f0 (x) — (x, x*) + 2 v* (fi (x) + £,•)} =
x£C z^O i—1
m
= inf {f0 (x) — (x, x*) + 2 v*fi (x)} + inf (u*, z) =
x£C i=l z^O
m
= — sup {(X, X*) — fo (%) — 2 vtfi (x)J — 6 (u* I u* > 0).
x£C i=l
При и* > 0 это выражение равно —оо, а при и* >• О оно прини-
мает вид
— sup {(X, X*) — (fo + V*fi + . . . + rtjm) (X)} =
= — fo + • • • + Vmfm)* (X*).
Используя теоремы 16.4 и 16.1, мы можем переписать правую часть
последнего равенства таким образом:
- (/о □ (VTZO* □ • . . □ ШтП (**) =
= -(/:□ /х □(х*) -
m ' т
= - inf {ft (X?) + 2 (ftv?) (X?) IS xt = x*)r
i=l i=0
причем нижняя грань достигается и
(ftv?)(x?)“
vtfi (vt Хх*),
б(х* |0),
если
если
и?> 0,
vt — 0.
Поэтому окончательно получаем
(F*^ ом _ J - □ • • • □ (X*), если и* > О,
I — оо, если u*$feO.
По определению в (обобщенной) вогнутой программе, двой-
ственной к (Р), максимизируется функция F*0, которая при воз-
мущениях заменяется функциями Р*х*, соответствующими векто-
рам х* 6 ^п- Поскольку эффективное множество функции
, ft □ ffvt □ ... □ f^vtt
(где v?>0) есть
c*+v*c:+...+<cs.,
335
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
где
C? = dom/*, i=0, 1, т, .
допустимыми векторами в программе (Р*) будут такие векторы
и* = (v*....v&), что
оесо*+^с:+,..+^с?1.
На множестве всех таких векторов мы максимизируем (конечную)
вогнутую функцию
К, .... —(/*□ /Ха ...П«)(0) =
= - inf {/: (2*) + Vtf* (2*) 4- . . . 4- &) I zt 6 Ct,
/ = 0, 1, ...» /П, Zo+<Z?+ ...+'VmZm=0}
(причем для всякого допустимого и* нижняя грань достигается
на некотором векторе (zo, . . ., z^)). Возмущение, соответствующее
данному х* С /получается, если вместо нуля поставить х* в огра-
ничениях
06 С? 4ХС:+...+<£*„
4 + + ...+v^ = 0.
Как показывают предыдущие вычисления, целевая функция
программы (Р*) может быть представлена также и в виде
,~пч, « f inf(/o + </i+ если u*>0,
(г*0) (и*) = < .
' zv [—оо, если u*$feO.
Следовательно, допустимые векторы в программе (Р*) можно оха-
рактеризовать еще как такие векторы и* 0, для которых нижняя
грань собственной выпуклой функции
/о + + • • • + vmfm
на R” не равна —оо. Если в последнем случае нижняя грань дости-
гается и все функции /г дифференцируемы на Rn, то допустимыми
являются те векторы и* 0, для каждого из которых существует j
такой вектор х g R”, что 5
V/о W + v?v/i (%)+...+ vt^fm (x) = 0. '
Для любой пары таких векторов и* и х имеем
(F*0) («*) = /о (х) + vtfi (х) + .,. + v*mfm (х).
Может показаться странным, что целевая функция программы,
двойственной к обыкновенной выпуклой программе, выражается
с помощью некоторой экстремальной задачи. В каком-то смысле
это связано с тем обстоятельством, что возмущения, естественно
возникающие в обыкновенной выпуклой программе, не могут
336
§ 30. СОПРЯЖЕННЫЕ БИФУНКЦИИ И ДВОЙСТВЕННЫЕ ПРОГРАММЫ
вполне скомпенсировать нелинейность функций, задающих ограни-
чения. Более явное представление двойственной программы можно
получить, если заменить данную обыкновенную выпуклую програм-
му (Р) обобщенной программой (Q), имеющей ту же целевую функ-
цию, что и (Р), но зато располагающей более богатым запасом
возмущений.
Именно, рассмотрим программу (Q), связанную с выпуклой
бифункцией G:
(Gw) (х) = fo(x — х0) + б (х | ft (х — xt) цг, i = 1, . . ., tn),
где
w = (и, Хо, . . ., хт) £ X ОТ* X . . . X Rn =
k = т + (т + 1) п. В программе (Q), как и в (Р), мы минимизи-
руем /о (х) при ограничениях ft (х) 0, но запас возмущений
в (Q) богаче: возмущая программу (Q), мы заменяем ограничения
ft (х) 0 на fi (х) vt-, эти же возмущения мы имеем и в (Р),
однако в этом случае мы можем возмущать каждую из функций ft,
сдвигая ее на некоторый вектор хг £ Нп. Положив
W* = (и*, Хо, . . ., Хт) €
мы можем вычислить G* и найти программу, двойственную к (Q).
Используя начальный этап тех вычислений, которые мы провели
выше, получим при и* 0
(G*x*) (u>*) = in f {(Gw) (x) - (x, X») + (и, u*) + 5 (xb xt)} =
w> x * * 2=0
= inf {f0(x — Xo) + 3 vffi (x — Xi) — (x, x*)+ 3 (xj, x*)}.
x, X} i— 1 2=0
Преобразуем это выражение, подставив уг = х — хг:
т т т
inf {f0 (Уо) + 3 v*fi (Уг) — <х, х* — 3 4) — 3 (yt, x*)} =
X, 2/. 2=1 2=0 2=0
= — sup {(X, X* — 5 Xi)} — sup {(y0, X*) — fo (Уо)} —
X 2=0 Уо
m
— 2 sup {{yt, X?) — (vtfi) (yt)} =
2=1 - Vi
m m
= - [6 (x* - s x* । o)+n (x*0)+s mr (xm=
2=0 2=1
m m
= - [6 (3 X? | X*) + ft (xt) + 3 (ftvt) (Xf)].
2=0 2=1
22 p, Рокафеллар
337
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
При и* 0 (как и при вычислении F*) положим (G*x*) (ау*) =
= —оо. Поэтому
-ft (4) - (/X) (4) - • • • - («) (4),
если U*>0, Х* + . . . +Xm = X*t
(б*х*) (о»*) = <
— оо в остальных точках.
Таким образом, в двойственной программе (Q*) допустимы такие
векторы w* = (и*, Xq, . . х™), что
и* О, X* + х* 4-. . . -J- Хт = О,
4€<4, хГ64<4, • • •, 4» 6ъ*тс*т,
где, как и раньше, С* = dom ft. На множестве таких векторов
мы максимизируем функцию
- 1ft (4) + (М (4) 4- • •• 4- (МО (401 •
В программе (Q*) при возмущении, соответствующем данному
х* С Ч^п» ограничение х* 4- • • • 4- 4» = О заменяется ограниче-
нием Хо 4- • • • 4- Хт = х*.
Конечно, х* связаны с переменными z*, входящими в определе-
ние (Р*), очевидными формулами
x* = z*, х* = 44, 1=1,
В соответствии с общей теорией двойственности компоненты х*
решения w* программы (Q*) определяют скорость изменения ниж-
ней грани
inf {/о (х) | ft (х) < 0, i = 1, ..т}
при сдвиге функции ft.
Если функции ft аффинны по некоторым направлениям, то раз-
мерность соответствующих выпуклых множеств С* = dom ft мень-
ше п (теорема 13.4). В этом случае двойственная программа (Q*)
вырождается в том смысле, что в существует собственное под-
пространство, содержащее dom G*x* для всякого х*. В такой ситуа-
ции при переходе от (Р) к (Q) мы как бы «перекомпенсируем» нели-
нейность функций ft и вводим лишние возмущения, так как сдвиг
функции ft в направлении, вдоль которого она аффинна, изменяет
fi на константу и, следовательно, производит такой же эффект, что
и соответствующая переменная пг.
В таких случаях иногда желательно рассматривать программы
«промежуточные» между (Р) и (Q), выбирая возмущения более
аккуратно. Предположим, что каждая fi имеет вид
ft (х) = ht (AiX 4- at) 4- (4, х> + at,
где hi — замкнутая собственная функция на Н”г, At— линейный
оператор, действующий из R” в Rn', at и at — векторы из R"»
338
§ 30. сопряженные бифункции и двойственные программы
(Hw) (х) = <
и Rn соответственно. (Векторы, принадлежащие ядру оператора
определяют направления, вдоль которых /г аффинна.) Пусть (7?) —
выпуклая программа, связанная с бифункцией Н:
' ho (^4оХ + cio — Ро) + (а* > х} 4-а0,
если hi (Aix + ai — р;)+ (а*, х) + аг<гзг,
i=l, ..., т,
+ оо в остальных точках,
из IRd в Л”, где d = т + п0 + . . .
= (м, Ро......рт), и 6 Rm, Pi 6 Rnf.
действующей
W
'т И
Целевая функция в программе (7?) та же, что и в (Р), т. е. в (7?)
максимизируется функция f0 (х) по х £ С, удовлетворяющим’огра-
ничениям ft (х) 0 при i = 1, . . ., т. Вычисляя бифункцию,
сопряженную с Н, находим
(Н*х*) (ш*) =
«о-Н«о, Р*)-Л*(Ро) +
m
+ 2 [аги? + (агр?) — (ЛМ)(Р*)],
г=1
если и*>0, а*+ 2 гз*а* + 2 А*р* = х*,;
г^=1
— оо в остальных точках,
где
ау* = (и*, р*, ..., р*т), и* 6.К™, Pi Е Н"г.
Таким образом, в двойственной программе мы максимизируем
функцию
<*о + (аО> Р*> — ^0 (Ро) + Д + Pi)~ (W)(p*)l
при условиях
и v?>0,
т т
«: + Е + 3 А*р* = 0,
1=1 1=0
где Df = dom h* при i = 0, . . т. Если не существует направ-
лений, вдоль которых hi аффинна, то размерность выпуклого
множества D* равна т. е. Di имеет непустую внутренность
в Нпг. (Легко видеть, что, когда размерность С равна п, функции fi
всегда могут быть выражены таким способом; при этом — rank
если только f\ не является аффинной функцией. В последнем случае
Аь аь pi и р* могут быть просто опущены во всех формулах.)
339
22*
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ G ОГРАНИЧЕНИЯМИ
Функцию Лагранжа L программы (7?) можно вычислить из
определяющего ее соотношения
L (w*, х) = inf {(w, w*) + (Hw) (x)},
w
откуда
L (ay*, x) = a0 + (a0, p*) —A* (p*) +
+ 3 [aiVi+<ai, p*> —(AM) (?*)] +
1=1
+ (&* "T S 4“ 3
1=1 1=0
если и* 0, и L (w*, x) = —oo, если и* 0.
Для иллюстрации рассмотрим следующий важный пример:
fi (X) = In (2 exp (a’o + 2 afj |,)))
Г=1 3=1
при i = 1, . . ., т. Здесь ft — конечные выпуклые функции на Rn
(аффинные, если пг — 1; см. пример, предшествующий теореме 16.5).
Заметим, что после подстановки ту = каждый член
п
ехр (а»0 + 2 aiilj)
j=l
принимает вид
Ро^ф . . . т₽П>
где Ро > 0- Задача о минимуме функции f0 (х) при условиях /, (х)
<0 соответствует программе типа (/?), где
ni
h( (п,ц, . . ., л inf) = In 2 enf,
r=l
A{ — линейный оператор, определяемый матрицей размера пг X п,
элементы которой суть <4j, ai — вектор из R 1 с компонентами aj.o,
с% = 0, аг = 0. Из вычислений, проделанных нами перед теоре-
мой 16.5, следует, что
' ni ni
2 л*г1пл*г, если л*г>0, 2 л?г= 1,
Г=1 Г=1
+ оо в остальных точках.
Поэтому в (7?*) максимизируется вогнутая функция
т тп '
2 (аь А*)-А? (р^- 2 W) (А*) =
1=0 i=l
= 22 (лг* ЯгО — Л*г In Тф) +2 V* In vf
1=0 r=l 1=1
/г?(л?1, ...,nt*nf)=<
340
§ 31. ТЕОРЕМА ДВОЙСТВЕННОСТИ ФЕНХЕЛЯ
при линейных ограничениях
л*г>0, i = 0, ...,/и, r=l,
no ni
2 л*г= 1, n*r = v*, i=l, ..т,
Г=1 Т=1
т ni
/^i TtifOLfj == 0, j == 1, . . .,
i=0 г=1
где
Pl = (ли, ..., ninp, / = 0, 1, ..., т.
Согласно общей теории двойственности, компоненты решения х
программы (/?) определяют скорость изменения верхней грани
в (/?♦) по отношению к возмущению, которое сводится к замене
последнего ограничения следующим:
т пг
ЗоЗ/?Ч-=£*, /=!,•••.«-
в то'время как компоненты »* и л*г решения программы (/?*) опре-
деляют скорость изменения нижней грани в (/?) по отношению
к возмущениям функций ft, при которых из ft вычитается констан-
та т>г или же ft подвергается некоторому сдвигу. Решения про-
грамм (7?) и (/?*) соответствуют седловым точкам функций
Лагранжа
2 3 (^irCCrO — Л*г In Л&) +2 V* In и* +
г=0 г=1 г=1
L (w*, х) =
п т ni
+ 233 л*га‘Л., если w* 6 D*,
j=0 r=l J J
— оо, если w*$D*,
где D* —множество таких векторов a>* = (u*, p*, ..., pm), что
л*г>0, i = 0, r=l,...,tit,
no ni
2<=1, 3JT*r = v*, i=l,...,m.
r=l r=l
§ 31. Теорема двойственности Фенхеля
Теорема двойственности Фенхеля связана с задачей о минимуме
разности f (х) — g (х) собственных выпуклой функции f и вогнутой
функции g на Ж". Специальным случаем этой задачи будет, напри-
мер, задача о минимуме f на выпуклом множестве С (достаточно
взять g — —6 (• |С)). Вообще, f —g самое есть выпуклая функ-
341
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
ция на 01п. Задачи о минимуме f — g и максимуме g* — f* (где
f* — (выпуклая) сопряженная к f, a g* — (вогнутая) сопряжен-
ная к g) связаны соотношениями двойственности. Как мы увидим,
эта двойственность следует из общих построений предыдущего пара-
графа, однако ее можно изучать и независимо, используя простей-
шие рассуждения, опирающиеся на теоремы отделимости.
Теорема 31.1 (теорема двойственности Фенхеля). Пусть f —
собственная выпуклая функция на^1 и g — собственная вогнутая
функция на Нп. Тогда равенство
inf {f (х) — g(x)} = sup {g (x*) — f (x*)}
X X*
гарантируется любым из следующих двух условий:
(a) ri (dom /) П гi (dom g) 0;
(b) fug замкнуты и ri (dom /*) fl ri (dom g*) 0. При выпол-
нении (а) (соответственно (b)) верхняя (соответственно нижняя)
грань достигается. Таким образом, если оба условия выполнены,
то верхняя и нижняя грани достигаются и конечны.
Если g полиэдральна, то в (а) и (b) ri (dom g) и ri (dom g*)
можно заменить на doing и dom g* соответственно (при этом
требование замкнутости g в условии (Ь) становится излишним).
Подобным же образом ослабляются условия теоремы и в случае,
когда f полиэдральна. (Таким образом, если и f, и g полиэдральны,
ri можно опустить во всех случаях.)
Доказательство. Для всяких х и х* из Rn
f U) + f* (**) >U> x*) > g (x) + g* (x*)
в силу неравенства Фенхеля. Поэтому
f (х) — g (х) > g* (х*) — f* (х*)
и, следовательно,
inf (f — g)> sup (g* — f*).
Если нижняя грань равна —оо, то и верхняя грань равна —оо
и достигается в любой точке из Rn. Предположим теперь, что
выполнено (а) и а = inf (f — g)> —оо. Тогда.а конечно и равно
наибольшему из тех чисел р, при которых f^-g+ р. Чтобы убе-
диться в том, что верхняя грань достигается и равна а, достаточно
доказать существование такого вектора х*, что g* (х*) — f* (х*)
а. Рассмотрим надграфики
С = {(х, р) | х 6 и € IR-, р f (х)},
D = {(х, р) | х б IKn, р € R, р g (х) + а}.
Это выпуклые множества в Rn+1. Согласно лемме 7.3
ri С = {(х, р) | х 6 ri (dom f), f (x) < p < oo}.
342
§ 31. ТЕОРЕМА ДВОЙСТВЕННОСТИ ФЕНХЕЛЯ
Поскольку f g + а, множества ri С и D не пересекаются. Поэто-
му в Н”+1 существует гиперплоскость Н, собственно разделяющая
С и D (теорема 11.3). Если бы Н была вертикальной, то ее проек-
ция на Яп собственно разделяла бы проекции на 0V* множеств С
и D, равные, очевидно, dom f и dom g. Эти множества в силу теоре-
мы П-3, однако, нельзя собственно разделить из-за условия (а).
Поэтому Н невертикальна, т. е. Н есть график аффинной функции
h (х) — (х, х*) — а*.
Так как Н разделяет С и D,
f (х) {х, х*) —‘а* > g (х (+ а.
Из левого неравенства следует, что
а* sup {(х, х*) — f (х)} = f* (х*),
X
а из правого —
а* + а inf {(х, х* ) — g (х)} = g* (х*).
X
Отсюда a^g*(x*)—f* (х*), что и требовалось.
Когда g полиэдральна, т. е. когда D — полиэдральное выпуклое
множество, мы можем, используя теорему 20.2 вместо теоремы 11.3,
выбрать Н таким образом, чтобы Н не содержала С. Если бы Н была
вертикальной, то ее проекция на HV* разделяла бы dom f и dom g
и не содержала бы dom f целиком. Когда ri (dom /) и dom g (поли-
эдральное по условию) имеют общую точку, такая ситуация в силу
теоремы 20.2 невозможна, так что Н должна быть невертикальной.
Дальнейшие рассуждения те же, что и выше. Случай, когда f поли-
эдральна, ничем, конечно, не отличается от рассмотренного.
Когда обе функции fug полиэдральны и а = inf (f — g) конеч-
но, для доказательства существования х*, такого, что g* (х*) —
— f* (х*) а, можно использовать иную аргументацию, никак
не связанную со свойствами относительной внутренности. В этом
случае (по определению а) замыкание множества С — D содержит
начало координат в Rn+1, а С — D не может содержать точек (0, р)
с р < 0. Так как С и D полиэдральны (поскольку fug полиэдраль-
ны), то и С — D полиэдрально в силу следствия 19.3.2 и, следова-
тельно, замкнуто. Представим С — D как пересечение конечного
числа замкнутых полупространств в R.n+1. Каждое из этих полу-
пространств содержит начало координат, но по крайней мере одно
из них должно быть отделено от полупрямой {(0, р) | р < 0),
так как иначе эта полупрямая пересекала бы С — D, что, как мы
уже показали, невозможно. Таким образом, хотя бы одно из полу-
пространств должно быть надграфиком линейной функции (•, х*>
на
Имеем для данного х*
P-i — Р-2 > (-Ч — х2, х* ),
343
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
каковы бы ни были (xi, pi) 6 С, (х2, р2) С D, или, другими словами,
<х2, х*) — g (х2) — а ><х1( х*) — f (xi), Vxb Vx2.
Отсюда следует искомое неравенство
g* — а f* (%*).
Подобным же способом доказывается та часть теоремы, в которой
участвует условие (Ь), поскольку из-за замкнутости f и g справед-
ливы равенства f = /*’♦ и g = g**. Конечно (теорема 19.2), если
f и g полиэдральны, то и их сопряженные полиэдральны.
Следующая теорема показывает, каким образом экстремальные
задачи в теореме двойственности Фенхеля могут быть интерпрети-
рованы как пара двойственных (в смысле § 30) программ. К этим
программам можно применить результаты § 29 и 30 и с их помощью
усилить утверждение теоремы двойственности Фенхеля.
Теорема 31.2. Пусть f — собственная выпуклая функция
на Hn, g — собственная вогнутая функция на Ж”1, а А — линейный
оператор из Rn в Rm. Положим
(Fu) (х) = f (х) — g (Ах + и), Vx е IKn, Vh 6
Тогда F — собственная выпуклая бифункция, действующая из 0V”
в Rn, замкнутая, если fug замкнуты. Оптимальное значение выпук-
лой программы (Р), порожденной бифункцией F, равно
inf (f (х) — g (Ах)} = inf F0,
X
причем (Р) сильно совместна в том и только том случае, когда
существует вектор х 6 ri (dom /), такой, что Ах 6 ri (dom g).
Бифункция, сопряженная к F, определяется формулой
(F*x*) (u*) = g* (и*) — /* (Л*и* + х*), Vu* 6 КД Vx* е
Оптимальное значение двойственной вогнутой программы (Р*)
равно
sup {g* (и*) — f (А*и*)} = sup F*0,
и*
и (Р*) сильно совместна тогда и только тогда, когда существует
вектор и* 6 ri (domg*), такой, что А*и* 6 ri (dom/*).
Доказательство. Функция / (х) — g (Ах + и) (от пары
аргументов (х, и)), очевидно, собственная и замкнутая, если fug
замкнуты. Поэтому все утверждения теоремы, относящиеся к F,
верны. Оптимальное значение программы (Р) по определению
равно нижней грани F0. Функция Fu тождественно равна -j-oo,
если не существует точки х, в которой и / (х) и g (Ах + и) конечны,
т. е. такого х g dom /,. что Ах + и g dom g. Таким образом,
dom F - dom g — A dom /
344
§ 31. ТЕОРЕМА ДВОЙСТВЕННОСТИ ФЕНХЕЛЯ
и (теорема 6.6 и следствие 6.6.2)
ri (dom F) = ri (dom g) — A (ri (dom /)).
Отсюда следует, что (P) сильно совместна тогда и только тогда,
когда
О £ [ri (dom g) — A (ri (dom f)l,
т. e. когда ri (dom g) и A (ri (dom f)) имеют общую точку. Формула
для F* получается непосредственно с помощью подстановки у =
= Ах -|- и'-
(Р*х*) (и*) = inf {(Fu) (х) — (х, х*) + (и, и*)} =
= inf {/ (х) — g (Ах + и) — (х, х*) + (и, и*)} -
= mf {/ (х) —g (у) — (х, х*) + (у, и*) — (Ах, и*)} =
= inf {f (х) — (х, А*и* + х*)} + inf {(у, и*) — g (у)} =
= — f * (А*и* + х*) + g* (и*).
Все утверждения, касающиеся (Р*), проверяются так же, как
соответствующие утверждения о (Р).
Если пг = п и А — тождественный оператор в R.n, то выпуклая
и вогнутая программы в теореме 31.2 сводятся к экстремальным
задачам из теоремы двойственности Фенхеля. Поэтому, чтобы
вывести ее из теоремы 31.2, мы должны подвергнуть экстремальную
задачу о минимуме f — g возмущениям, заменяющим g ее сдви-
гами gu:
gu. (х) = g (х + и).
Функция возмущений р в программе (Р) выпукла и определяется
формулой
р (и) = inf (f — gu).
Характер двойственных связей между задачами о минимуме функ-
ции f — g и максимуме функции g* — f* определяется поведением
р (и) в окрестности нуля. Действительно, g* — f* есть целевая
функция двойственной программы (Р*) (в которой возмущения
задаются сдвигами функции /*), так что g* — f* есть вогнутая
сопряженная функции —р (теорема 30.2). Если предположить, что
dom f П dom g 0 или что dom f* |"| dom g* =# 0 (допуская для
удобства использования результатов § 30, что f и g, а значит,
и F замкнуты,— это предположение в действительности не является
необходимым в силу следствия 29.4.1), то
sup (g* — f*) = lim inf p (u) < p (0) = inf (f — g)
u->0
345
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
(следствие 30.2.3). Условие (а) теоремы 31.1 (эквивалентное сильной
совместности программы (Р) в силу теоремы 31.2) достаточно,
как мы видели, для существования по крайней мере одного век-
тора х*, такого, что
g* (х*) — f* (х*) = sup (g* — /*) = inf (/ — g).
Когда inf (f — g) конечен, этот вектор есть не что иное, как вектор
Куна — Таккера программы (Р) (теорема 30.5), а необходимое
и достаточное условие существования таких векторов состоит
в том, что
р' (0, у) > —оо, Vy
(следствие 29.1.2). Для существования ровно одного такого вектора
необходимо и достаточно, чтобы функция р (и) была конечной
и дифференцируемой в точке и = 0; в этом случае х* = —vp (0)
(следствие 29.1.3).
Разумеется, результаты § 29 и 30 таким же образом приме-
нимы к анализу более общих программ из теоремы 31.2 для описа-
ния условий, при которых
inf {f (х) — g (Ах)} — sup {g* (и*) — /* (А* и*)},
X и*
и т. д. Из теоремы 30.4 и следствия 30.5.2 следует, в частности,
обобщение теоремы двойственности Фенхеля для таких программ.
Следствие 31.2.1. Пусть f — замкнутая собственная
выпуклая функция на IR.n, g — замкнутая собственная вогнутая
функция на R™ и А — линейный оператор, действующий из R”
в Rm. Тогда
inf {/ (х) —g (Ах)} = sup {g* (и*) — f* (А*и*)},
X и*
если выполняется хотя бы одно из следующих условий'.
(а) существует х С ri (dom f), такой, что Ах 6 ri (dom g)\
(b) существует и* G ri (domg*), такой, что A*u* £ ri (dom f*).
При выполнении условия (а) (соответственно (b)) верхняя (соот-
ветственно нижняя} грань достигается.
В этом следствии, как и в теореме 31.1, можно опустить «ri»,
если соответствующие функции полиэдральны. Доказательство
этого утверждения не содержит новых элементов, и мы его опустим.
Существует несколько интересных специальных случаев выпук-
лой программы, рассмотренной в теореме 31.2. Если
f (х) = (а*, х) + б (х | х 0),
g (и) = —б (и | и^- а)
для данных векторов а и а* из R.”1 и IRn соответственно, то (Р) —
линейная программа (см. стр. 326) и ее оптимальное значение равно
inf {(а*, х) | х 0, Ах^> а}.
346
§ 31. ТЕОРЕМА ДВОЙСТВЕННОСТИ ФЕНХЕЛЯ
Сопряженные функции в данном случае задаются формулами
f* (х*) = б (х* | х* а*),
g* («*) = (и*, а) — б (и* | и* 0),
так что двойственная программа (Р*) линейна и ее оптимальное
значение равно
sup {(и*, а) | и* 0, А*и* а*}.
Другой заслуживающий упоминания частный случай возникает,
когда собственно выпуклая функция f положительно однородна
и замкнута (например, норма), a g (и) = —6 (и | D), где D —
непустое замкнутое выпуклое множество в Rm. По теореме 13.2
f есть опорная функция некоторого непустого замкнутого выпуклого
множества С а и f* (х*) = б (х* | С). Функция, сопряженная
к g, равна
g* (и*) — inf {{и, и*} | и £ D} = —б* (—и* | D),
т. е. это положительно однородная собственная замкнутая вогну-
тая функция. В программе (Р) в этом случае требуется минимизи-
ровать f (х) при условии Ах £ D, а в (Р*) — максимизировать
g* («*) при условии А* и* £ С.
Для отыскания условий, гарантирующих существование экстре-
мума в задаче, рассмотренной в теореме 31.2, можно применить
теорию субградиентов. Необходимое и достаточное условие для
того, чтобы нижняя грань функции f — gA достигалась, состоит,
очевидно, в том, что
0£5(/-£Д)(х).
Вообще в силу теорем 23.8 и 23.9
д (f — gA) (х) о df (х) — А * dg (Ах).
Это условие становится равенством, если образ множества ri (dom f)
при отображении А пересекается с ri (dom g) (теорема 6.7). Условие
О fzdf (х) — A* dg (Ах)
всегда достаточно и зачастую необходимо для того, чтобы нижняя
грань функции f — gA достигалась в точке х. Точно так же условие
0 6 dg* (и*) — A df* (А*и*)
всегда достаточно и зачастую необходимо, чтобы верхняя грань
Функции g* —f*A достигалась в точке и*. Когда f и g замкнуты
(и df* = (df)-1, dg* = (5g)-1 по теореме 23.5), эти соотношения
оказываются двойственными. Это можно извлечь из субдифференци-
альных соотношений
А*и* € df (х), Ах g dg* (и*},
347
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
которые мы называем условиями Куна — Таккера для программ,
рассмотренных в теореме 31.2. Вектор х удовлетворяет соотно-
шению
Oe^W— A* dg (Ах)
тогда и только тогда, когда он вместе с некоторым и* удовлетворяет
условиям Куна — Таккера. С другой стороны, для и* условие
О С dg* (и*) — A df* (А*и*)
выполняется тогда и только тогда, когда и* удовлетворяет усло-
виям Куна — Таккера вместе с некоторым х. Таким образом,
условие, которое мы обсуждаем, выполняется для программы (Р)
в том и только том случае, когда соответствующее условие выпол-
няется для (Р*).
Значение условия Куна — Таккера для программ, подобным
тем, которые были рассмотрены в теореме 31.2, может быть выяв-
лено и непосредственно,
Теорема 31.3. Пусть f — замкнутая собственная выпуклая
функция на Rw, g — замкнутая собственная вогнутая функция
на^т и А — линейный оператор, действующий из в Тогда
равенства
f(x)—g (Ах) = inf (f — gA) =
= sup (g* — f*A*) = g* («*) — f* (A*u*)
выполняются в том и только том случае, когда векторы х и и*
удовлетворяют условиям Куна — Таккера.
Доказательство. Условия Куна — Таккера эквивалент-
ны следующим:
f W + f* (Д*«*) = (х, А*и*), g (Ах) + g* (и*) = (Ах, и*),
а последние в силу очевидного неравенства
f (х) + /* (А*и*) ~^(х, А*и*) = (Ах, и*)> g (Ах) + g* (и*)
эквивалентны равенству
/ (х) — g (Ах) = g* (и*) — f* (А*и*).
Из написанного выше неравенства следует, что
inf (f — gA) sup (g* — f*A*),
чем и завершается доказательство теоремы.
Следствие 31.3.1. Пусть выполнены условия теоремы.
Предположим, кроме того, что образ множества ri (dom f) при
отображении А пересекаются с ri (dom g). Тогда для того, чтобы
нижняя грань f — gA достигалась в точке х, необходимо и достаточ-
на
§ 31. ТЕОРЕМА ДВОЙСТВЕННОСТИ ФЕНХЕЛЯ
но, чтобы существовал и*, удовлетворяющий вместе с х условиям
Куна — Таккера.
Доказательство. Применим следствие 31.2.1.
В рассмотренном выше примере линейной программы
/ (х) = {а*, х) + 6 (х | х > 0),
g* (и*) = (и*, а} — 6 (и* | и* 0).
Используя теорему 23.8, получим
( a* + {x*<;01 (х*, х) = 0}, если х>0,
^(х) = а*+5б(х|х>0)= { ' еслих^О
, (а + {и>0 I (и*, и) = 0}, если и*>0,
dg*(u*) = a — д8{и *и*>0) =
s ' ' 1 0, если «*$fe0.
Поэтому условия Куна — Таккера в данном случае выглядят так:
х 0, А*и* — a* 0, (х, А*и* — а*) =0,
Ах — а 0, и* 0, {Ах — а, и*) = 0.
В примере, содержащем «однородную» программу, который при-
веден после следствия 31.2.1,
f (х) = 5* (х | С), g* («*) = —S* (—и* | О),
где С и D — замкнутые выпуклые множества. Условия Куна —
Таккера означают здесь, что х — нормальный вектор к множеству С
в точке А* и*, а и* — нормальный вектор к множеству D в точ-
ке Ах (следствие 23.5.3).
В случае когда в теореме двойственности Фенхеля оператор А
тождественный, условия Куна — Таккера сводятся к соотноше-
ниям
х* С df (х), х dg* (х*).
Докажем теперь несколько важных следствий теоремы двой-
ственности Фенхеля.
Теорема 31.4. Пусть f — замкнутая собственная выпуклая
функция на^п и К — непустой замкнутый выпуклый конус в Ш”.
Положим К* = —К°, где К° — полярный конус к К, т. е.
К* = {х* | (х*. х) >0, Vx 6 К}.
Т огда равенство
inf {f (х) | х е К} = —inf {/* (х*) | х* 6 К*}
выполняется, если справедливо одно из следующих условий:
(a) ri (dom f) П ri К ф 0;
(b) ri (dom f*) f| ri K* ¥= 0-
349
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
При выполнении (а) /* достигает нижней грани на К*, а при выпол-
нении (b) f достигает нижней грани на К-
Если конус К полиэдрален, то в условиях (а) и (Ь) можно вместо
ri К и ri К* писать К и К*.
В общем случае векторы х и х* удовлетворяют равенствам
f (х) = inf f = —inf f* = —f* (x*)
к к*
тогда и только тогда, когда
х* С df (х), х £ К, х* € К*, (х, х*) = 0.
Доказательство. Применим теорему 31.1 с g (х) =
= —8 (х | Д'). Сопряженная к 6 (• | К) есть 6 (• | №) (теоре-
ма' 14.1), так что
' g* (х*) = —6 (—х* | К°) = —б (х* | К*).
Условия Куна — Таккера из теоремы 31.3 здесь эквивалентны соот-
ношениям х* g df (х), х 6 dg* (х*). Но х Е dg* (х*) тогда и только
тогда, когда
(х, х*) = g (х) + g* (х*) = — 6 (х | К) — 6 (х* | /С*)
(теорема 23.5), а это означает, что х G К., х* 6 /С* и (х, х*) = 0.
Следствие 31.4.1. Пусть f — замкнутая собственная
выпуклая функция на R”. Тогда равенство
inf {/ (х) | х 0} = —inf {/* (х*) | х* >• 0}
справедливо при выполнении одного из следующих условий:
(а) существует вектор х 6 ri (dom f), такой, что х 0;
(Ъ) существует вектор х* 6 ri (dom f*), такой, что х* 0.
При выполнении (а) достигается вторая нижняя грань, а при
выполнении (Ь) — первая. Вообще, для того чтобы обе нижние
грани достигались в точках х = (|ь . . ., Ц их* = (?*, . . ., £*)
и были равны по абсолютной величине, необходимо и достаточно,
чтобы х* G df (х) и
^>0, |;>0, U* = 0» / = 1...........«•
Доказательство. Возьмем в качестве /С неотрицатель-
ный ортант в КА
Следствие 31.4.2. Пусть f — замкнутая собственная
выпуклая функция в R” и L — подпространство в Rn. Тогда
inf {/ (х) | х Е L} = —inf {f* (х*) | х* Е М}
при выполнении одного из следующих условий:
(a) L f| ri (dom /) ¥= 0;
(b) Л-L П ri (dom f*) #= 0-
350
§ 31. ТЕОРЕМА ДВОЙСТВЕННОСТИ ФЕНХЕЛЯ
При выполнении (a) f* достигает нижней грани на L1-, а при выпол-
нении (b) f достигает нижней грани на L. Вообще, равенства
f (х) = inf f = —inf f* = —f* (x*)
могут выполняться тогда и только тогда, когда х 6 L, х* g ZA
их* £df (х).
Доказательство. Положим К = В.
Если f (х) = h (z + х) —(г*, х), где гиг* фиксированы, a h —
замкнутая собственная выпуклая функция, то по теореме 12.3
f* (х*) = h* (z* + х*) — (z, х*) —(z, г* ).
Применяя теорему 31.4 и ее следствия к f и рассматривая гиг*
как параметры, мы приходим к любопытной двойственности между
h и h*. Для простоты ограничимся случаем, когда h и h* всюду
конечны.
Следствие 31.4.3. Пусть выпуклая функция h всюду конечна
на R” и кофинитна. Если К — замкнутый выпуклый конус в
и К* = —К°, то для всяких z, z* из
inf {h (z + х) —(z*, х)} + inf {h* (z* + x*) — (z, x*)} = <z, z*>,
хек «*ек*
причем обе нижние грани конечны и достигаются.
Доказательство. Поскольку h кофинитна, h* всюду
конечна (следствие 13.3.1). Поэтому эффективные множества выпук-
лой функции
f (х) = h (z + х) —(г*, х)
и ее сопряженной f* совпадают с Rn. Применяя теорему 31.4 к f,
получаем требуемый результат.
Если f — частично аффинная функция, то из следствия 31.4.1
можно извлечь теорему двойственности Гейла — Куна — Таккера
Для линейных программ, используя произвольное таккеровское
представление для f и соответствующее таккеровское представле-
ние для /*. Подобным же образом, взяв в качестве f частично квадра-
тичную функцию, можно из следствия 31.4.1 получить теоремы
Двойственности для «квадратичных» программ.
В условиях следствия 31.4.2 можно рассматривать различные
таккеровские представления подпространств L и U (мы говорили
°б этом в § 1). С этой точки зрения следствие 31.4.2 можно интер-
претировать как теорему об экстремальных свойствах «двойствен-
ных линейных систем переменных». В частности, L можно пред-
ставить как пространство токов в некотором направленном графе G.
В этом случае L-L есть пространство всех напряжений в G (см. § 22),
а Двойственные задачи состоят, с одной стороны, в отыскании тока х,
351
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
минимизирующего f (х), а с другой — в отыскании напряжения х*, 1
минимизирующего f* (х*). j
Следствие 31.4.2 особенно важно в случае, когда f сепарабель- •
на, т. е.
f (х) = f U = А (ВО + • • + fn (U, J
где /1, . . ., fn — замкнутые собственные выпуклые функции на Л. |
Тогда f* — тоже сепарабельна; легко видеть, что II
г (х*) = (^*) + (&), И
где ft сопряжена с Экстремальные задачи, рассмотренные ||
в следствии 31.4.2, принимают в данном случае такой вид: *1
(I) минимизировать ft (Ю + . . + fn (|п) при условии (gi, . . . I
• • •> U € JI
(II) минимизировать /* (£*) + ...+/„(£п) при условии Л
dr......К) е м. I
Условия Куна — Таккера, указанные в конце следствия 31.4.2, J
здесь таковы: I
(in) di.....и €£,(£?,..., .mwEr,,/=i....................п, j
где Гг- — график субдифференциала dfj. j|
(Тот факт, что в сепарабельном случае ||
х* € df (х) тогда и только тогда, когда & б dfj (£>), и
легко вывести прямо из определения субградиента.) я
Множества Г; суть в точности полные неубывающие кривые Ц
в R.2. Таким образом, если заданы й полных неубывающих кривых Я
Г;, j = 1, . . ., п в (К2 и подпространство L cRn, то след- я
ствие 31.4.2 дает экстремальную характеризацию всех решений ||
системы (III) в терминах задач (I) и (II), где через fj обозначены И
замкнутые собственные выпуклые функции на R, определенные ?|
по Г/ с точностью до аддитивной константы. (В случае когда Ln 1Л ||
суть пространства токов и напряжений в некотором направленном j|
графе (см. § 22), кривая Г; определяет «сопротивление» ветви ej, fl
ток в которой равен а разность потенциалов на концах —&). ||
Для анализа задач (I) и (II) удобно использовать теорему 22.6, ||
поскольку множества, связанные с функциями fJt такие, как dom fj, S|
dom dfj, dfj (Ij), суть интервалы на действительной оси. I
Теорема 31.5 (Моро). Пусть f — замкнутая собственная ||
выпуклая функция на R.n и w (г) — (1/2) | z |2. Toeda ||
(/ □ w) + (f* □ w) = w, ~ -I
tn. e. для всякого z f Rn ||
inf {/ (x) + w (z — x)} + inf {f* (x*) + w (z — x*)} = w (z), t|
X X*
352 It
i|
§ 31. ТЕОРЕМА ДВОЙСТВЕННОСТИ ФЕНХЕЛЯ
причем обе нижние грани конечны и достигаются. Точки х и х*,
в которых достигаются соответствующие нижние грани при дан-
ном z, однозначно определены условиями
z — х + х*, х* £df (х)
или эквивалентными условиями
Z = V (f* □ w) (z), X* = V (f □ О') (г).
Доказательство. Зафиксируем z и положим
g (х) = —w (z — х).
Тогда g — конечная вогнутая функция на и
g* (х*) = inf {{х, х* ) + w (z — х)} = —w (z — х*) + w (z).
X
По теореме двойственности Фенхеля
inf (f — g) + inf (f* — g*) = 0,
причем обе нижние грани конечны и достигаются. Первое утверж-
дение теоремы доказано. Векторы х и х*, в которых соответствую-
щие нижние грани достигаются, определены однозначно в силу
строгой выпуклости функции w и полностью характеризуются
условиями Куна — Таккера
х* G df (х), х = yg* (х*) = z — х*.
Поскольку df* = (df)-1 (следствие 23.5.1), из единственности х и х*
следует, что они удовлетворяют этим условиям тогда и только
тогда, когда
z — х £ df (х), z — х* С df* (х*).
Последнее условие можно переписать так:
z 6 df (х) + (х) = d (f + w) (х),
z g df* (x*) + \/w (x*) — d (f* + ®) (x*)
(теорема 23.8), а следовательно, и так:
x € d (f + w)* (z), x* 6 d (f* + w)* (z).
Поскольку такая пара (x, x*) единственна, d можно заменить на у/
(теорема 25.1). По теореме 16.4
(/ + w)* = f* □ w*, (f* + w)* = f □ w*,
а равенство w* = w проверяется прямым вычислением.
Теорема 31.5 утверждает, что, коль скоро задана замкнутая
собственная выпуклая функция f, каждый вектор z 6 можно
единственным образом разложить в сумму
Z = X + X*,
Р. Рока'еллар 353
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
где (х, х*) принадлежит графику субдифференциала df. Компо-
нентой х в этом разложении служит тот вектор х, при котором
достигается
inf {f (х) + (1/2) | г — х |2}.
Такой вектор необходимо единствен. Он обозначается prox (z | f),
а отображение
z -> prox (z | f)
называется проксимационным отображением, соответствующим
функции f. Проксимационное отображение, соответствующее /*,
очевидно, определяется формулой
prox (z | /*) = z — prox (z | f), Vz.
Если f — индикаторная функция непустого замкнутого выпук-
лого множества С, то prox (z | f) есть ближайшая к z точка из С.
Если f = 6 (• | 70, где К — непустой замкнутый выпуклый конус,
то /* = S (• | /С°) и из теоремы 31.5 следует, что всякий вектор z
единственным образом разлагается в сумму z = х + х* так, что
х^К, х* £ К°, <х,х*> = 0.
Если К = L — подпространства, отсюда следует обычное орто-
гональное разложение z в сумму векторов из ортогональных под-
пространств L и М.
Теорема 31.5 утверждает далее, что ргох (• | f) совпадает с гра-
диентным отображением некоторой выпуклой функции на R.n,
именно, с /* □ w. Отсюда и из следствия 25.5.1 заключаем, что
ргох (• | /) непрерывно отображает Rn в себя. Образ отображения
ргох (• I /) совпадает, конечно, с dom df, т. е. с образом графика df
при отображении (х, х*) -> х.
Непрерывность отображения prox (-If) следует также и из
того, что оно является нераетягивающим, т. е.
| prox (zj | f) — ргох (z2 I f) К I Zi — z2 I, Vzt, z2.
Для доказательства последнего неравенства заметим, что для
Xi = ргох (г/ | f), i = 1, 2,
x*i = prox (Zj | f*), 1 = 1,2,
справедливы равенства zt = xt + x*, i = 1, 2, и, следовательно,
I Zi — Z2 |2 = | Xi — x2 |a + 2<Xj — x2, x* — x2) + | x? — Хг |2.
Далее, поскольку x* C df (x,), i = 1,2, и отображение df монотонно
(см. § 24),
(xi — х2, х* — XD > о.
Поэтому
I Zi — Z2 I2 > I Xi — X2 I2
354
§ 32. МАКСИМУМЫ ВЫПУКЛЫХ ФУНКЦИЙ
И I Xi — Х2 IС I Zi — z2 I, как мы и утверждали.
Проксимационные отображения позволяют обнаружить ряд
важных свойств графиков субдифференциальных отображений.
Следствие 31.5.1. Пусть f — замкнутая собственная
выпуклая функция на Rn. Тогда отображение
(х, х*) -> х + х*
гомеоморфно (т. е. взаимно однозначно и непрерывно в обе стороны)
отображает график df на R”.
Следствие 31.5.2. Пусть f — замкнутая собственная
выпуклая функция на Rn. Тогда ,df — максимальное монотонное
отображение (Кп в себя.
Доказательство. Мы знаем уже (см. § 24), что ото-
бражение x-^df(x) монотонно. Чтобы доказать, что оно макси-
мально, нам нужно для всякой пары (у, у*), не принадлежащей
графику субдифференциала df, указать такую пару (х, х*) из гра-
фика субдифференциала df, что
{у — х, у* — х*) < 0.
Сделать это нетрудно: по теореме 31.5 существует пара (х, х*), при-
надлежащая графику df, такая, что
У + у* = х + х*.
Но в этом случае
{у — х, у* — х*) = — | у — х |2 = — | у* — х* |2.
§ 32. Максимумы выпуклых функций
Задача максимизации выпуклой функции на выпуклом множе-
стве существенно отлична от задачи минимизации. Дело в том, что
выпуклая функция, вообще говоря, может иметь кроме глобального
еще много локальных максимумов на данном выпуклом множе-
стве. Это явление крайне неприятно с вычислительной точки
зрения, поскольку, даже зная некоторый локальный максимум,
мы не располагаем никакой локальной информацией, позволяющей
перейти в локальный максимум более высокого уровня. В частности,
не существует никаких локальных критериев, содержащих ответ
на вопрос, является ли данный локальный максимум глобальным
или нет.
Есть, однако, и утешительное обстоятельство. Мы докажем
® этом параграфе, что выпуклая функция f может достигать мак-
имума на выпуклом множестве С не в произвольных, а только
крайних точках этого множества.
355
23*
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Различия между максимизацией и минимизацией выпуклых
функций хорошо видны, например, в случае, когда множество С
есть треугольник в R2, a f (х) — функция вида | х — а |2, где
а 6 R.2. Минимизировать f на С — значит найти ближайшую к а точ-
ку из С. Такая точка для всякого а единственна, и в зависимости
от а она может совпасть с любой точкой из С. Максимизировать
/ на С — значит найти наиболее удаленную от а точку из С. Такой
точкой может быть лишь одна из вершин треугольника С, но локаль-
ные максимумы могут достигаться и в других вершинах. |
Мы докажем сначала принцип максимума для выпуклых функ- |
ций, схожий с одноименным принципом для аналитических функций. (
Теорема 32.1. Пусть f — выпуклая функция на Нп и С — ;
выпуклое множество, лежащее в dom/. Если f достигает верхней |
грани на С в точке, принадлежащей ri С, то f постоянна на С. t
Доказательство. Пусть верхняя грань достигается
в точке z 6 ri С и х — другая точка из С, отличная от z. Мы покажем, ;
что f (х) = f (z). Так как z 6 ri С, то существует число р>1, .
такое, что точка г/ = (1 — р.) х + pz принадлежит С. Если поло-
жить X = р-1, то .
z = (1 — X) х + Ку, о < х < 1,
и из-за выпуклости f {
/(z)<(l-X)/(x)+Xf(z/). ?
В то же время f (х) f (z) и f (у) f (z) по определению точки z.
Если f (х) f (г), то (х) и ।
f (z) <(1 -X) f (z) + Xf (z) = f (z). !
Поэтому /(z)--f(x). |
Следствие 32.1.1. Пусть f — выпуклая функция и С—
выпуклое множество, лежащее в dom f. Обозначим через W множе- |
ство тех точек из С, в которых f достигает максимума на С. Тогда, |
если W не пусто, то оно совпадает с объединением некоторого набора 1
фасадов множества С. s
Доказательство. Пусть х 6 W. Тогда существует един- ;
ственный фасад С' а: С, такой, что х £ ri С' (теорема 18.2). Верхняя '
грань f на С' достигается в точке х. Поэтому по теореме f постоянна ‘
на С'. Таким образом, С' cz W. Отсюда следует, что W есть объеди- |
нение фасадов. j
Из теоремы 32.1 следует, что выпуклая функция f, достигающая
верхней грани на аффинном множестве М, принадлежащем dom f, |
должна быть постоянна на этом множестве. Этот вывод, однако,
справедлив и в том случае, когда верхняя грань / на М попросту
конечна, что уже отмечалось в следствии 8.6.2.
356
§ 32. МАКСИМУМЫ ВЫПУКЛЫХ ФУНКЦИЙ
Теорема 32.2. Пусть f — выпуклая функция, S <=НП про-
извольно и С = conv S. Тогда
sup {/ (х) | х е С} = sup {f (х) | х е S},
и верхняя грань слева достигается, только если достигается верхняя
грань справа.
Доказательство, очевидно, следует из того факта, что
множество уровня {х | f (х) а}, будучи выпуклым, содержит
С тогда и только тогда, когда оно содержит S.
Следствие 32.2.1. Пусть f — выпуклая функция и С —
замкнутое выпуклое множество, не являющееся аффинным или поло-
виной некоторого аффинного множества. Тогда верхняя грань функ-
ции f на С равна верхней грани функции f на относительной границе
множества С, и первая достигается только в том случае, когда
достигается вторая.
Доказательство. По теореме 18.4 С совпадает с выпук-
лой оболочкой своей относительной границы.
Теорема 32.2 применима и к выпуклому замкнутому множе-
ству С, если представить его как выпуклую оболрчку своих крайних
точек и направлений.
Теорема 32.3. Пусть f — выпуклая функция и С — замкну-
тое выпуклое множество, лежащее в dom f. Предположим, что С не
содержит ни одной полупрямой, на которой f не ограничена сверху.. Л
Тогда
sup {f (х) I X 6 С} = sup {f (х) I X 6 Е},
где через Е обозначено подмножество в С, состоящее из крайних
точек пересечения С П 1Л, a L в свою очередь линейное подмножество
в С. При этом f достигает верхней грани на С лишь в том случае,
когда она достигает верхней грани на Е.
Доказательство. Из условий следует, что f постоянна
вдоль каждой прямой в С (следствие 8.6.2). Множество D = С П
замкнуто, выпукло, не содержит прямых и С = D + L. Для всякого
х Е С аффинное множество х + L содержится в С и пересекает D,
причем f постоянна на каждом таком аффинном множестве. Поэтому
верхняя грань функции f на С та же, что и на D. Далее, D совпадает
с выпуклой оболочкой своих крайних точек и направлений (теоре-
ма 18.5), поэтому
D = К + conv Е
Для некоторого выпуклого конуса К- Каждая точка множества D,
нс принадлежащая conv Е, обязана содержаться в некоторой полу-
прямой вида
{х + Ку | X 0}, х £ conv Е, у 6 К-
357
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ G ОГРАНИЧЕНИЯМИ
Вдоль такой полупрямой f (х + Ку) ограничена сверху как функ-
ция от К. Поэтому (теорема 8.6) f (х + Ку) не возрастает с увеличе-
нием К, и, следовательно, верхняя грань функции f на рассматри-
ваемой полупрямой достигается в точке х. Отсюда следует, что верх-
няя грань функции f на множестве D та же, что и на множестве
conv Е. Все следует теперь из теоремы 32.2.
Следствие 32.3.1. Пусть f — выпуклая функция и С —
замкнутое выпуклое множество, лежащее в dom f. Если С не содержит
прямых и верхняя грань функции f на С достигается, то она дости-
гается в некоторой крайней точке из С.
Доказательство. Если С не содержит прямых, то L =
= {0} и С П L-L = С.
Следствие 32.3.2. Пусть f — выпуклая функция и С —
непустое замкнутое ограниченное выпуклое множество, лежащее
в ri (dom f). Тогда верхняя грань функции f на С конечна и дости-
гается в некоторой крайней точке множества С.
Доказательство. Коль скоро С с:ri (domf), f непре-
рывна относительно С (теорема 10.1). Поэтому верхняя грань
функции f на С конечна и достигается (так как С замкнуто и огра-
ничено). Осталось применить предыдущее следствие.
Следствие 32.3.3. Пусть f — выпуклая функция и С —
непустое выпуклое полиэдральное множество, лежащее в dom f.
Предположим, что f ограничена сверху на всякой полупрямой,
содержащейся в С. Тогда f достигает верхней грани на С.
Доказательство. В рассматриваемом случае множе-
ство С П L1 полиэдрально, так что Е — конечное множество (след-
ствие 19.1.1).
Следствие 32.3.4. Пусть f — выпуклая функция и С —
непустое полиэдральное выпуклое множество, лежащее в dom f.
Предположим, что С не содержит прямых и f ограничена на С.
Тогда верхняя грань f на С достигается в одной из (конечного числа)
крайних точек множества С. .
Доказательство. Все вытекает из следствий 32.3.1
и 32.3.3.
Следствие 32.3.4 применимо, в частности, к задаче о максимуме
аффинной функции на множестве решений конечной системы слабых
линейных неравенств. Этот факт имеет решающее значение для
вычислительной практики линейного программирования.
Условие С <=ri(dom/) в следствии 32.3.2 нельзя ослабить
до С cz dom f, ибо в последнем случае верхняя грань может не
достигаться, либо вообще не быть конечной. Возможность таких
ситуаций иллюстрируется следующими примерами.
358
§ 32. МАКСИМУМЫ ВЫПУКЛЫХ ФУНКЦИЙ
Пусть f — замкнутая собственная выпуклая функция на R2,
заданная формулой
(£?/&) — 1г, если £2>0>
f (&,&)=<
О,
если £i = £2 = 0,
в остальных точках.
(Можно проверить, что f есть опорная функция параболического
множества, состоящего из таких точек (£t, t2), что
+ 4£2 + 4<0,
откуда, в частности, следует выпуклость и замкнутость /.) Пусть,
далее, С — непустое замкнутое ограниченное подмножество в dom f:
{(&,. ?2) О-
Очевидно, f (£i, |2) < 1 во всех точках из С. Если (&, |2) стре-
мятся к (0, 0) вдоль границы множества С, то f (gt, |2) 1. Поэтому
верхняя грань функции f на С равна единице и не достигается.
Другой пример мы получим, если, взяв ту же самую f, заменим С
(непустым замкнутым ограниченным выпуклым) множеством
Р = 1}.
На ограничивающей его кривой = |2 функция f (|i, g2) равна
£i2 — Iz и, следовательно, стремится к +<ю при приближении
(£i, В2) к началу координат. Поэтому f не ограничена сверху на D.
Точки, в которых выпуклая функция достигает своей верхней
грани, можно до некоторой степени охарактеризовать с помощью
субградиентов.
Теорема 32.4. Пусть f — выпуклая функция, конечная, но
не равная тождественно константе на выпуклом множестве С.
Предположим, что верхняя грань функции f на С достигается
в некоторой точке х С ri (dom f). Тогда всякий х* Е df (х) отличен
от нуля и нормален к множеству С в точке х.
Доказательство. Функция f, будучи конечной в точках
из ri (dom f),— собственная по теореме 7.2. Обозначим ее верхнюю
грань на С через а и положим
D = {z | f (?)< а}.
По условию С и х 6 С, такая, что f (х) = а. Так как f не
постоянна на С, то inf f (х) и, следовательно, 0 $ df (х). Множе-
ство df (х) не пусто, поскольку х 6 ri (dom f) (теорема 23.4) и каж-
дый вектор х* С df (х) нормален к D в точке х (теорема 23.7), а сле-
довательно, и к С (так как х£С <=D).
Следствие 32.4.1. Пусть f — собственная выпуклая функ-
ция, не равная тождественно постоянной на непустом множестве S.
359
ГЛ. VI. ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
Предположим, что верхняя грань функции f на S достигается
в некоторой точке х £ ri (dom f). Тогда, если х* 6 df (х), то х* -
и линейный функционал (-,х*) достигает верхней грани на S
в точке х.
Доказательство. Пусть С = conv S. По теореме 32.2
верхняя грань функции f на С совпадает с верхней гранью функ-
ции f на S. Обе верхние грани конечны и равны f (х), поскольку
х £ ri (dom f). Применяя теорему к С, получаем, что всякий вектор
х* С df (х) отличен от нуля и нормален к С в точке х. Последнее
означает, что линейный функционал (•, х*) достигает верхней грани
на С в точке х. Но х С S и S с С.
Если в условиях теоремы 32.4 С — единичный евклидов шар,
то всякий вектор, нормальный к С в граничной точке х, равен Хх,
где X > 0. Поэтому задача максимизации f на С приводит к усло-
вию, напоминающему определения собственных чисел и векторов:
Хх £ df (х), | х | = 1.
ГЛАВА VII
Седловые функции
и минимакс
§ 33. Седловые функции
Пусть С и D суть подмножества в F и соответственно и /С —
функция на С X D со значениями в [—оо, оо]. Говорят, что
К вогнуто-выпукла, если К («, v) — вогнутая функция переменной
и Е С при каждом v Е D и выпуклая функция переменной v Е D
при каждом и Е С. Подобным же образом определяются и выпукло-
вогнутые функции. Мы называем функции обоих типов седловыми
функциями.
В теории седловых функций (как и в теории выпуклых или
вогнутых функций) удобно рассматривать функции, всюду опреде-
ленные, но принимающие, возможно, бесконечные значения. Однако
в данном случае, по крайней мере с первого взгляда, ситуация не
столь простая и ясная.
Пусть К — вогнуто-выпуклая функция на С X D. Продолжая
К (и, v) с множества D как выпуклую функцию от v при всяком
и Е С, мы можем положить К (и, v) = С другой стороны,
продолжая /С (и, v) как вогнутую функцию от и при всяком v Е D>
мы полагаем К (и, v) = —оо. Таким образом, мы однозначно про-
должаем на совокупность тех (и, и), у которых либо и Е С, либо
v Е D. Однако отсюда нельзя извлечь никакого определенного пра-
вила для продолжения К на такие (и, v), у которых ни и Е D, ни
v Е С. Оказывается, что существуют не одно, а два и даже больше
естественных продолжений функции /G Простейшими примерами
вогнуто-выпуклых функций на X совпадающих с К на
С х D, служат функции Ki и /С2, определенные равенствами
Ki (и, v) = <
К (и, о), если и£С, v^D,
+ оо , если и£С,
ч — оо , если и $ С;
К2 v) = <
' К (и, о), если и^С, v£D,
— оо , если и^С, v£D,
* 4- оо , если v$D.~
361
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Мы будем называть Ki нижним простым продолжением функции Д’,
а К2 — верхним простым продолжением функции К- Каждая из них
вполне адекватна самой функции К. Поэтому мы будем излагать
большую часть теории в терминах седловых функций на Н"1 х R«
отмечая время от времени, как выглядят соответствующие резуль-
таты применительно к седловым функциям, заданным на меньших
множествах.
К данной вогнуто-выпуклой функции К мы можем применить
оператор выпуклого или вогнутого замыкания. Функция, полу-
чающаяся после замыкания К как выпуклой функции переменного v
при фиксированных и, называется выпуклым замыканием К и обо-
значается clB К или с12 К- Точно так же функция, получающаяся
после замыкания К как вогнутой функции переменной и при фикси-
рованном v, называется вогнутым замыканием функции К и обозна-
чается clu К или ch К. Мы увидим чуть позже, что обе операции
замыкания сохраняют вогнуто-выпуклость. Если К совпадает со
своим выпуклым замыканием, мы называем ее выпукло-замкнутой.
Теория седловых функций основывается на удивительной связи,
существующей^между седловыми функциями и выпуклыми бифунк-
циями. Природа этой связи по существу та же, что и у соответствия
между линейными операторами и билинейными формами.
Пусть А — линейный оператор, действующий из Rm в Нп.
Тогда функция К, определенная формулой
К (и, х*) = (Аи, х*),
билинейна на Rm X Rn. Конечно, и наоборот, всякая билинейная
функция К на х R” может быть представлена таким образом
с помощью единственного оператора А, действующего из Rm в Rn.
Аналогичное соответствие между седловыми функциями на Rm X Rn
и бифункциями, действующими из 0V" в R”, взаимно однозначно
по модулю оператора замыкания; однако получается оно не с по-
мощью обычного скалярного произведения, а с помощью операции
сопряжения.
Для того чтобы подчеркнуть аналогии с линейной алгеброй,
удобно ввести понятие скалярного произведения для выпуклых
или вогнутых функций:
{/, х*) — (х*, f) = f* (х*).
(Более общее «скалярное» произведение (/, g), где f — выпукла,
a g вогнута, будет определено в § 38.) Заметим, что {f, х*) =
= {х, х*), когда f — индикаторная функция точки х, т. е. когда
( 0 , если г — х,
/(?) = < ,
' I +оо, если г^= х.
Для всякой выпуклой или вогнутой бифункции, действующей
из Rm в R”,
{Fu, х*) = {х*, Fu) = (Fu)* (х*) —
362
§ 33. СЕДЛОВЫЕ ФУНКЦИИ
есть функция переменных (и, х*) из OV” X Нп. Таким образом,
по определению
{Fu, х*) = sup {{х, х*) — {Fu) (х)
X
если F выпукла, и
{Fu, х*) — inf {{х, х*) — {Fu) {х)},
если F вогнута.
Если F — выпуклая индикаторная бифункция линейного опе-
ратора А, действующего из R”1 в R.n, т. е.
{Fu) (х) = 6 {х | Аи),
то
{Fu, х*) = {Аи, х*).
(Если график-функция бифункции F аффинна, то F может рассма-
триваться и как выпуклая, и как вогнутая бифункция, так что
имеется некоторая неопределенность в определении {Fu, х*). Это
обстоятельство, однако, не приводит ни к каким техническим труд-
ностям, поскольку из контекста всегда ясно, как следует рассма-
тривать данную бифункцию F. Эту неопределенность можно исклю-
чить и вполне строгим образом, если ввести понятие «ориентирован-
ной бифункции», имея под этим в виду пару, образованную бифунк-
цией и символом «sup» или «inf». Для sup-ориентированной бифунк-
ции следует определять {Fu, х*) с помощью «sup», а для inf-ориен-
тированной бифункции — с помощью «inf». Мы используем такой
подход в § 39.)
Теорема 33.1. Если F — выпуклая бифункция, действующая
из Ж”1 в R”, то {Fu, х*) — вогнуто-выпуклая выпукло-замкнутая
функция и
(cl {Fu)) {х) = sup {{х, х*) — {Fu, х*)}.
х*
С другой стороны, для всякой вогнуто-выпуклой функции К на
Н™ х Нп бифункция F, определенная формулой
{Fu) {х) = sup {{х, х*) — К {и, х*)},
X*
выпукла, функции Fu замкнуты при всех и 6 К™ и
{Fu, х*) == (cl2 К) {и, х*).
{Аналогичные утверждения справедливы для вогнутой бифункции F
и выпукло-вогнутой функции /С.)
Доказательство. Поскольку {Fu, •} по определению
совпадает с {Fu)*, это замкнутая выпуклая функция переменной х*
и ее сопряженная есть cl {Fu) (теорема 12.2). Этим доказывается
363
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
первая часть теоремы, за исключением вогнутости {Fu, х*) по и.
Чтобы доказать последнее, зафиксируем х*. Тогда
— {Fu, х*} = inf h {и, х), Vu £ OV",
X
где h — выпуклая функция на R.m+n, определенная формулой
h {и, х) = {Fu) {х) —{х, х*).
Таким образом, —{Fu, х*} как функция от и совпадает с Ah, где
А есть проекция (и, х) -> и. Отсюда следует, что —{Fu, х*) выпук-
ла по и (теорема 5.7) и, следовательно, {Fu, х*) вогнута по и.
Рассмотрим теперь бифункцию F, определенную в теореме по
данной функции К- Для всякого х* функция
kx* ={х, х*) — К {и, х*)
выпукла по совокупности переменных (и, х) на R,m+n. Поэтому
и график-функция бифункции F как поточечная верхняя грань
таких функций выпукла на R,m+n. Следовательно, F — выпуклая
бифункция. Из формулы для Fu следует, разумеется, что Fu сопря-
жена к выпуклой функции К {и, •) при всяком и 6 К-”1, так что
Fu замкнута и {Fu)* = {Fu, •) есть замыкание функции К {и, •).
Но последняя функция совпадает с (с12 К) {и, •) по определению.
Следствие 33.1.1. Пусть К — вогнуто-выпуклая функция
на Ж™ X Rn. Тогда и функции с1± К и с12 К вогнуто-выпуклы,
причем ch К вогнуто-замкнута, а с12 К выпукло-замкнута. Анало-
гичное утверждение справедливо для выпукло-вогнутых функций.
Доказательство. По теореме (с12 К) (и, х*) есть функ-
ция вида {Fu, х*) (где F — некоторая выпуклая бифункция)
и {Fu, х*) вогнута по и и выпукла и замкнута по х*. Так же дока-
зываются и остальные утверждения.
Каждой выпуклой бифункции F, действующей из IR.”1 в 1КП,
соответствует в точности одна выпуклая функция f {и, х) на R,m+n —
ее график-функция. Чтобы перейти от f к {Fu, х*), следует для
каждого и взять сопряженную к f (и, х) как функции от х: Эту
процедуру можно трактовать как операцию частичного сопряжения
в противоположность обычной операции сопряжения, при которой
вычисляется
f* {и*, х*) = sup {{и, и*) + {х, х*) — f {и, х)}.
и,х
С этой точки зрения смысл теоремы 33.1 заключается в том, что
всякая выпукло-замкнутая седловая функция есть частично сопря-
женная к некоторой выпуклой функции.
Скажем, что выпуклая или вогнутая бифункция F замкнута
в образах, если функции Fu замкнуты для всякого и. (В частности,
364
§ 33. СЕДЛОВЫЕ ФУНКЦИИ
р замкнута в образах, если она замкнута.) Для таких бифункций
справедливо следующее утверждение, вытекающее из теоремы 33.1.
Следствие 33.1.2. Соотношения
К (и, х*) = (Fu, х*), Fu — К (и, •)*
определяют взаимно однозначное соответствие между выпукло-
замкнутыми вогнуто-выпуклыми функциями К на X iR.”
и замкнутыми в образах выпуклыми бифункциями F, действующими
из iR,m в Нп. {Аналогичное утверждение верно для вогнуто-замкнутых
седловых функций и замкнутых в образах вогнутых бифункций.)
В случае полиэдральной выпуклости связь между седловыми
функциями и бифункциями становится несколько проще.
Следствие 33.1.3. Пусть F — полиэдральная выпуклая
бифункция, действующая из R”1 в Rn. Тогда (Fu, х*) при фиксиро-
ванном и есть полиэдральная выпуклая функция переменного х*,
а при фиксированном х* — полиэдральная вогнутая функция пере-
менного и. Более того, если бифункция F собственная, то она выра-
жается через (Fu, х*) с помощью формулы
(Fu) (х) = sup {<х, х*) —(Fu, х*)}.
х*
Доказательство. Для всякого и функция Fu поли-
эдральна и выпукла. Если F собственная, то Fu нигде не прини-
мает значения —оо; поскольку надграфик функции Fu замкнут,
отсюда следует, что cl (Fu) = Fu. По теореме 19.2 сопряженная
(Fu, ) к Fu — полиэдральная выпуклая функция. Далее, в дока-
зательстве теоремы 33.1 было показано, что функция и -* — (Fu, х*)
является образом некоторой выпуклой функции h при линейном -
отображении А. Если F полиэдральна,’ то и h полиэдральна, так что
ее образ Ah —.не только выпуклая, но и полиэдральная функция
(следствие 19.3.1). Поэтому (Fu, х*) полиэдральна и вогнута по и.
В силу следствия 33.1.2 соотношения
L (и, х*) = (и, Gx*), Gx* = L (-, х*)*,
определяют взаимно однозначное соответствие между вогнуто-
замкнутыми вогнуто-выпуклыми функциями L на R"1 х
и замкнутыми в образах вогнутыми бифункциями G, действующими
из^п в R.m. Если F — выпуклая бифункция, действующая из
F: и->- Fu: х->- (Fu) (х),
то ее сопряженная — замкнутая вогнутая бифункция, действующая
ИЗ Rn в R.m:
F*: х* -> F*x*: м*(F*x*) («*).
Отсюда заключаем, что функция (и, F*x*) вогнуто-выпукла
и вогнуто-замкнута.
365
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Следующая теорема и следствия из нее объясняют взаимосвязь
функций (Fu, х*} и (u, F*x*).
Теорема 33.2. Для всякой выпуклой или вогнутой бифунк-
ции F, действующей из в R-”, справедливы соотношения
{и, F*x*) = clu(Fu, х*},
clx-(u, F*x*) = ((clF) и, x*).
Доказательство. Предположим, что F выпукла. По опре-
делению
(F*x*) (и*) — inf {(Fu) (х) — (х, х*) + (и, и*)} —
— inf {(и, и*) — sup {(х, х*) — (Fu) (х)}} =
= inf {(и, и*) —(Fu, х*)}.
и
Таким образом, если К (и, х*) = (Fu, х*) — вогнуто-выпуклая
функция, то F* есть бифункция, действующая из в Rm и полу-
чающаяся после применения к К (и, х*) операции вогнутого сопря-
жения по и при каждом х*. Эта ситуация была рассмотрена в тео-
реме 33.1, в силу которой имеем
(и, F*x*) = (cli К) (и, х*) = cltt (Fu, х*).
Поменяв местами «inf» и «sup», мы получим такую же формулу для
случая, когда F вогнута. Применяя ее к функции F* (вместо F),
получаем
(F**u, х*) = claj*(и, F*x*).
По теореме 30.1 F** = cl F.
Следствие 33.2.1. Пусть F — выпуклая или вогнутая
бифункция, действующая из R."1 в RA Если и €'ri (dom F), то
(Fu, х*) =(и, F*x*)~
для всякого х* 6 RA С другой стороны, если F замкнута и х* £
£ ri (dom F*), то равенство справедливо для всех и 6
Доказательство. Пусть F выпукла. Если и $ dom F,
то Fu тождественно равна -|-оо и (Fu, х*) = —оо для всякого х*.
Если и G dom F, то Fu не равна тождественно +оо, и (Fu, х*) >
> —оо для всех х*. Таким образом, для всякого х* эффективное
множество вогнутой функции и -> (Fu, х*} совпадает с dom F.
Вогнутая функция совпадает со своим замыканием в относительной
внутренности своего эффективного множества, .и в нашем случае
по теореме 33.2 замыкание есть (•, F*x*). Таким образом, (Fu, х* >
и (и, F*x*) совпадают на ri (dom F). Такие же рассуждения годят-
ся и в случае, когда F вогнута. Применяя их к Г*, приходим к дока-
зательству последнего утверждения.
366
§ 33 СЕДЛОВЫЕ ФУНКЦИИ
Следствие 33.2.2. Пусть F — собственная полиэдральная
выпуклая или вогнутая бифункция. Тогда равенство
{Fu, х*) = {и, F*x*)
выполняется всегда, за исключением случая, когда одновременна
и (j dom F и х* $ dom F*. (В этом исключительном случае одна
из частей в равенстве равна -f-оо, а другая —оо.)
Доказательство. Так как F полиэдральна, то cl F = F.
По теореме 33.1 функция u->{Fu, х*} полиэдральна и, следова-
тельно, совпадает со своим замыканием на эффективном множестве
(а не только на его относительной внутренности). Соответствующим
образом может быть усилено и доказательство следствия 33.2.1.
Предыдущие результаты показывают, что для выпуклой или
вогнутой бифункции F скалярное равенство
{Fu, х*) = {и, F*x*)
выполняется для «почти» всех и и х*. Это обстоятельство в значи-
тельной степени оправдывает термин «сопряженная бифункция»,
который мы ввели для определения F*. Несмотря на то что {Fu, х* >
и {и, F*x*) могут различаться в отдельных точках, по теореме 33.2
функции {Fu, х*) и {и, F*u*) вполне определяют друг друга,
равно как и F и F*, если только cl F = F.
Если F — выпуклая индикаторная бифункция линейного опе-
ратора А, то F* — вогнутая индикаторная бифункция сопряжен-
ного оператора А*, и скалярное равенство для F и F* сводится
к классическому соотношению
{Аи, х*) = {и, А*х*}.
Скалярное равенство для выпуклой бифункции F и ее сопряженной
F* утверждает (по определению), что
sup {(х, х*) — {Fu) (х)} = inf {{и, и*) — {F*x*) {и*)}.
X и*
Другими словами, из него следует определенная связь задачи
максимизации вогнутой функции по х и задачи минимизации выпук-
лой функции по и*, имеющая непосредственное отношение к теории
двойственности выпуклых программ.
При анализе обобщенной выпуклой программы {Р), связанной
с бифункцией F (см. § 29), существенную роль играет исследова-
ние поведения функции inf F в окрестности точки и = 0. По опре-
делению
(inf F) {и) = inf Fu = —sup {(х, 0) — {Fu) (х)} = —{Fu, 0).
X
Точно так же в двойственной программе {Р*) существенным являет-
ся поведение функции sup F* в окрестности точки х*= 0, где
(sup F*) (х*) = sup F*x* = —inf{<0, и*) — (F*x*) («*)} =
= —(0, F*x*>.
367
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Условие равенства оптимальных значений программ (Р) и (Р*) j
есть
inf FQ — sup F*Q,
и оно эквивалентно соотношению
(F0, 0) =(0, F*0).
Эти утверждения можно обобщить следующим образом. Зафикси- '
руем некоторые и g UV" и х* 6 Rn и определим выпуклую бифунк-
цию Н, действующую из в Rn, формулой
(Hv) (у) = (F {и + у)) (z/) — {у, х*). у
(Вогнутая) сопряженная Н* бифункции Н задается соотношением
(Н*у*) (у*) = inf {(Hv)(y) — (y, y*) + (v, v*)} =
= inf {(F (w + y)) (y) —{y, x* + y*) + (y, y* )} = л
= inf {{Fw) (y) — {y, x* + y*) +(w — u, y*)} =
= (F* (x* + y*)) (y*) —{u, y*).
Таким образом, оптимальное значение выпуклой программы (Q),
связанной с Н, равно
inf HQ = inf {(Fiz) (у) —{у, х*)} = —(Fm, х* ),
а оптимальное значение вогнутой программы (Q*), связанной *
с Н*, есть
sup H*Q = sup {(F*x*) (у*) —(м, у*)} = —(м, F*x*).
Таким образом, для того чтобы ответить на вопрос о том, справед- <
ливо или нет равенство
(Fu, х*) = {и, F*x*), г
достаточно знать, является ли определенная пара двойственных
программ (Q) и (Q*) нормальной или нет.
Случай, когда одновременно {Fu, х*) =—оо и {и, F*u*} =
= +оо, соответствует одновременной несовместности программ (Q) .f
и (Q*). Эта крайняя ситуация возникает, когда одновременно
и $ dom F и х* $ dom F* (так как в этом случае Fu тождественно т
равна +оо, a F*x* тождественно равна —оо). Точно так же,
поскольку существуют двойственные пары (анормальных) про-
грамм, в которых оптимальные значения оба конечны, но не равны.>,
друг другу или одно конечно, а другое бесконечно, возможны ?
ситуации, когда (Fu, х*) и (и, F*x*) оба конечны, но не равны
или одно конечно, а другое бесконечно. В § 34 мы более подробно^
рассмотрим такие ситуации и приведем явные примеры.
368
§ 33. СЕДЛОВЫЕ ФУНКЦИИ
Скажем, что седловая функция К на R”* X вполне замкнута,
если она одновременно выпукло-замкнута и вогнуто-замкнута.
Например, К вполне замкнута, если она всюду конечна (поскольку
конечная выпуклая или вогнутая функция непрерывна и, следова-
тельно, замкнута). Согласно следствию 33.1.2 и теореме 33.2 вполне
замкнутые вогнуто-выпуклые функции суть в точности функции
вида К («, х*) = (Fu, х*), где F — такая выпуклая бифункция, что
(Fu, х*} = (и, F*x*\ Уи, Ух*.
В силу следствия 33.2.1 F обладает этим свойством, если dom F =
— или если F замкнута и dom F* = КЛ Если, однако, dom F =£
'ф R™ и dom F* 7^ Rn, то, как только что было показано, (Fu, х*)
и (и, F*x*) равны бесконечностям разных знаков при некотором
выборе (и, х*) и для этих (и, х*) написанное выше равенство нару-
шается. Таким образом, класс вполне замкнутых седловых функций
соответствует лишь специальному подклассу замкнутых бифунк-
ций. Поэтому во многих случаях нужно более слабое понятие
замкнутости.
Скажем, что вогнуто-выпуклая функция К замкнута снизу,
если cl2 (ch К) = К, и замкнута сверху, если ch (cl2 К) = К.
Чтобы запомнить эти определения, полезно иметь в виду, что
замкнутость снизу влечет полунепрерывность снизу по второму
аргументу, т. е. выпукло-замкнутость, а замкнутость сверху —
полунепрерывность сверху по первому аргументу, т. е. вогнуто-
замкнутость. (Если К выпукло-вогнута, мы называем ее замкнутой
снизу, если ch (с12 70 = /С, и замкнутой сверху, если с12 (ch К) =
- К.)
Седловая функция вполне замкнута тогда и только тогда, когда
она одновременно замкнута снизу и сверху.
Теорема 33.3. Соотношения
К (и, х*) = (Fu, х*), Fu = К (и, •)*
определяют взаимно однозначное соответствие между замкнутыми
снизу вогнуто-выпуклыми функциями К на х R.n и замкнутыми
выпуклыми бифункциями F, действующими из в R.n. Такая же
связь существует между замкнутыми сверху седловыми функциями
и замкнутыми вогнутыми бифункциями.
Доказательство. По теореме 33.2 выпуклая бифункция
с‘ F удовлетворяет равенствам
<(cl F) и, х*) = с1ж* (и, F*x*> — clx» clu (Fu, х*).
Поэтому седловая функция К (и, х*) = (Fu, х*) замкнута снизу
в том и только том случае, когда
<(cl F) и, х*) = (Fu, х*), Vm, Vx*.
Р" Рокафеллар _ 369
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Для выпуклой бифункции F, замкнутой в образах, последнее соот-
ношение эквивалентно равенству cl F = F. Утверждение теоремы
вытекает теперь из следствия 33.1.2.
Следствие 33.3.1. Пусть К и К—вогнуто-выпуклые функции
на И”1 х 0V*. Для существования такой (необходимо единственно^
замкнутой выпуклой бифункции F, что
К (и, х*) = (Fu, х*), Д (и, х*) = (и, F*x*),
необходимо и достаточно, чтобы К и К были связаны соотноше-
ниями _ _
ch К = Д, с\2Д = К.
Из этих соотношений следует, что К замкнута снизу, К замкнута
сверху и К.
Доказательство. Необходимость следует из теоре-
мы 33.2. Для доказательства достаточности заметим, что вторые
соотношения в условии теоремы влекут за собой равенства
cl2 (cl* Ю = с12 К = К,
так что К замкнута снизу и равенство Д (и, х*) = (Fu, х*) выпол-
няется для единственной выпуклой бифункции F. Поэтому по тео-
реме 33.2
К (и, х*) = (ch 7Q (и, х*) = clu (Fu, х*> = (и, F*x*},
что доказывает утверждение.
Следствие 33.3.2. Соотношения
К = ch К, К = с12 К
определяют взаимно однозначное соответствие между замкнутыми
снизу вогнуто-выпуклыми функциями К и замкнутыми сверху
вогнуто-выпуклыми функциями К на Ж”1 X Rn.
Доказательство сразу следует из теорем 33.3 и 33.2
и из того факта, что соответствие между замкнутыми выпуклыми
и вогнутыми бифункциями, осуществляемое преобразованием
сопряжения, взаимно однозначно. i
Следствие 33.3.3. Пусть С и D — непустые замкнутые
выпуклые множества в и Нп соответственно и К — конечная
непрерывная вогнуто-выпуклая функция на CxD. Обозначим через |
К и К нижнее и верхнее простые продолжения К на X Rn.
Тогда К замкнута снизу, К замкнута сверху и существует един- “
370
§ 34. ЗАМЫКАНИЯ И ЭКВИВАЛЕНТНЫЕ КЛАССЫ
ственная замкнутая выпуклая бифункция F, действующая из
e'Rn, такая, что
К {и, х*) = (Fu, х*), К (и, х*) = (и, F*x* >.
Бифункции F и F* выражаются через К по формулам
f sup {(х, х*)—К (и, х*) | х* € D}t если и£С,
(Fu) (х) = < , л _
' I +°о, если и$С,
(Р* »>>_! inf^M’ “*>~ #(«»**) l“€Q. если x*£D,
Х )(и I —оо, если
В частности, dom F — С, dom F* = D.
Доказательство. Из непрерывности К и замкнутости С
и D следует, что ch/С = /( и с12 /< = /С. Все вытекает теперь из
следствия 33.3.1 и определений.
§ 34. Замыкания и эквивалентные классы
В § 33 мы установили попарное соответствие между замкнутыми
снизу седловыми функциями К и замкнутыми сверху седловыми
функциями К, так что каждая пара однозначно определяет замкну-
тую выпуклую бифункцию F и ее (замкнутую вогнутую) сопряжен-
ную F*. Это соответствие будет сейчас продолжено до отношения
эквивалентности среди замкнутых седловых функций, причем
«замкнутость» будет пониматься в несколько более слабом смысле,
чем «замкнутость снизу» и «замкнутость сверху». Затем мы детально
исследуем структуру замкнутых седловых функций. Мы покажем,
что каждый «собственный» класс эквивалентных замкнутых седло-
вых функций вполне определяется своим «ядром», т. е. некоторой
седловой функцией, определенной и конечной на произведении
относительно открытых выпуклых множеств.
Пусть^К — седловая функция на х Rn. Образуя последо-
вательно функции ch К и с12 К, мы можем прийти к функциям
cl2 ch и ch с12 К- Если К вогнуто-выпукла, то cl2 ch К назы-
вается ее нижним замыканием, a ch cl2 /С — верхним замыканием.
Если /С выпукло-вогнута, эти термины меняются местами. По
определению К, замкнута снизу тогда и только тогда, когда она
совпадает со своим нижним замыканием, и замкнута сверху тогда
и только тогда, когда она совпадает с верхним замыканием. Совсем
не очевидно, что операции нижнего и верхнего замыкания приводят
к функциям, замкнутым снизу и сверху соответственно, т. е. что
cl2 ch cl2 ch К = cl2 ch /С, V/G
ch cl2 ch cl2 К = ch cl2 К, УК.
Тем не менее эти равенства справедливы, что мы сейчас и докажем.
371
24*
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Теорема 34.1. Если К — седловая функция на IR.m х 0V»,
то ее нижнее замыкание есть замкнутая снизу седловая функция,
а верхнее замыкание — замкнутая сверху седловая функция.
Доказательство. Предположим для определенности,
что К вогнуто-выпукла. Пусть F — бифункция, действующая
из в Rn, определяемая формулой Fu — К. (и, •)*. По теоре-
ме 33.1 F выпукла и
{Fu, х*) — (cl2 К) (и, х*).
Применяя к обеим частям этого равенства операцию замыкания
по и, получим в силу теоремы 33.2
{и, F*x*} — (ch cl2 К) (и, х*).
Так как бифункция F* замкнута и вогнута (теорема 30.1), мы
можем, используя теорему 33.3, прийти к выводу, что вогнуто-
выпуклая функция ch cl2 К замкнута сверху. Аналогично доказы-
вается и первая часть теоремы.
По причинам, о которых мы говорили перед теоремой 33.3,
из произвольной седловой функции /С, вообще говоря, нельзя
построить седловую функцию, одновременно замкнутую и снизу
и сверху, используя операции ch и с12. В общем случае операции
нижнего и верхнего замыкания приводят к различным резуль-
татам:
ch с12 К #= cl2 ch К.
Это несовпадение играет определяющую роль в теории седловых
•функций. Наиболее типичные случаи мы проиллюстрируем при-
мерами.
В первом примере рассмотрим вогнуто-выпуклую функцию на
плоскости R X R. Пусть множества С и D совпадают с открытым
интервалом (0, 1). На открытом квадрате С X D определим функцию
К {и, v) = uv, 0< и< 1, 0< v<Z 1.
(Заметим, что эта функция вогнута по и и выпукла по v.) Доопре-
делим К. на R X R, используя либо ее нижнее простое продолже-
ние, либо ее верхнее простое продолжение (неважно какое). Чита-
тель может самостоятельно проверить (в качестве очень хорошего
упражнения для понимания природы оператора замыкания седло-
вых функций), что
(ch cl2 К) {и, v) =
и”, если u£[0, 1], oG[0, 1], {u,v)=/=(0, 0),
1 , если (и, о) = (0, 0),
+ оо, если и 6 [0, 1], 1],
— <», если и$ [0, 1], у€[0, 1],
4-оо, если ы$[0, 1], у(£[0, 1],
372
§ 34. ЗАМЫКАНИЯ И ЭКВИВАЛЕНТНЫЕ КЛАССЫ
(cl2chK)(«, о) =
ы” , если и с [0, 1], og[0, 1], (и, о)=И=(0, 0),
О , если (и, о) = (0, 0),
4-со, если и € [0, 1], og[0, 1],
— оо, если и g [0, 1], v g [О, 1],
— оо, если «4 [0, 1], v g [О, 1].
Таким образом, ch cl2 К и cl2 ch К отличаются в двух местах.
Менее существенное различие возникает, когда при и g [О, 1]
и о g [О, 1] одна из функций принимает значение +оо, а другая
равна —оо. До некоторой степени это различие определяется
нашими соглашениями об использовании символов ±оо, хотя,
как мы позже убедимся, оно имеет естественный смысл в теории
минимакса. Действительный интерес представляет несовпадение
обеих функций в начале координат, где одна из функций равна
единице, а другая — нулю. Оно связано с внутренними свойствами
функции и” на единичном квадрате: ее невозможно доопределить
в начале*координат так, чтобы она оказалась одновременно полу-
непрерывной снизу по v и полунепрерывной сверху|по и. Можно
приписать неопределенности 0° любое из значений между нулем
и единицей, так что функция и” останется вогнуто-выпуклой,
но ни одно из них не является более естественным, чем остальные.
Рассмотрим другой пример. Пусть К будет нижним или верхним
простым продолжением функции ulv, заданной на положительном
квадранте в R х Тогда
u/v , если м^-0, t»>0,
(cli cl2K) (u, 1>)= <
— оо, если и < О,
+ оо, если
v> О,
u/v , если ы^-0, о>0,
(cl2 ch К) (и, v)=<
О , если
4- оо, если
— оо, если
(и, о) = (0, 0),
«>0, (м, о)=Н=(0, 0),
u<Z 0.
Таким образом, ch cl2 К и cl2 cli /С не совпадают, когда и < О
ио^О (в этих точках ch cl2 /С равна 4-оо, a cl2 ch К равна —оо)
и когда (и, и) = (0, 0) ((ch cl2 К) (0, 0) = 4-оо, a (cl2 cli К) (0, 0) =
= 0). Существенной особенностью этого примера является то
обстоятельство, что множество точек, где функция cl2 ch К. конеч-
на, не совпадает с множеством точек, в которых конечна функ-
ция ch cl2 К.
В исключительных случаях функции ch cl2 К и cl2 ch /С могут
различаться столь сильно, что может показаться, что они и вовсе
373
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
не связаны друг с другом. Рассмотрим, например, такую вогнуто-
выпуклую функцию К на R. X R:
Тогда
К (и, v) — <
+ оо, если
О , если
—оо, если
(с11С12/О =
(clad, К) =
О , если
— оо, если
О , если
-f-оо, если
О,
uv = O,
uv<0.
и — О,
«¥= О,
о = 0,
Заметим, что множество точек, в которых функция К (и, v) конечна,
сильно отличается от произведения выпуклых множеств.
В первом примере, очевидно,
cl2 (ch с12 К) = cl2 ch К,
ch (cl2 ch К) = ch cl2 К.
Последующее применение операций ch и с12 будет по очереди при-
водить к нижнему и верхнему замыканиям и не добавит ничего
нового. Действительно, вогнуто-выпуклые функции К = cl2 ch К
и К = ch cl2 К удовлетворяют соотношениям
ch К = К, с12 К = К,
и, согласно следствию 33.3.1 существует единственная замкнутая
выпуклая бифункция F, действующая из R в R. и такая, что
(cl2 ch К) (и, v) = {Fu, v),
(ch cl2 К) {и, v) = {и, F*v).
В первом примере дело обстоит именно так. Наоборот, в послед-
нем функции cli с12 К и cl2 ch К вполне замкнуты, но различны,
и, как бы мы ни применяли операции ch и с12, мы не сможем пре-
образовать одну из них в другую.
Для описания общей структуры нижнего и верхнего замыканий
полезно ввести понятие эффективного множества седловой функции.
Пусй> К — вогнуто-выпуклая функция на х Rw. Положим
donit К = {и \ К. {и, v) > —оо, V»},
dom2 К. = (и | К. («, w) < +оо, Vu}.
Заметим, что dom2 К есть пересечение эффективных множеств
выпуклых функций К {и, •), взятое по всем и 6 Я”*. Точно так же
domi К есть пересечение эффективных множеств вогнутых функ-
ций К (•, t>), взятое по всем v 6 Ип. В частности, donif К и dom2 К —
выпуклые множества. Их произведение
dom К = domi К X dom2 К
374
§ 34. ЗАМЫКАНИЯ и ЭКВИВАЛЕНТНЫЕ КЛАССЫ
мы называем эффективным множеством функции К. Так как
—оо <z К (и, v) < —poo
при и 6 domi К, v € dom2 /С, функция К конечна на dom К.. Вместе
с тем могут существовать и не принадлежащие dom К точки, в кото-
рых К конечна. С такой ситуацией мы встречались в первом из
рассмотренных выше примеров. Если dom К ф 0, то функция К
называется собственной.
Если К — нижнее простое продолжение седловой функции,
заданной на непустом выпуклом множестве С X D, то domi К — С
и dom2 К = D, так что
dom К = С X D,
и, значит, К — собственная. Такое же заключение верно и для
верхнего простого продолжения.
Вогнуто-выпуклые функции К и L, определенные на R."1 X Нп,
называются эквивалентными, если с14 /С = cli L и с12 К, = cl2 L.
Например, нижнее и верхнее простые продолжения конечной
седловой функции, определенной на непустом выпуклом множе-
стве С X D, эквивалентны. Из свойств оператора замыкания для
выпуклых и вогнутых функций с очевидностью следует, что экви-
валентные седловые функции должны «почти» совпадать.
Если cli К и с12 К обе эквивалентны К, то функция К назы-
вается замкнутой. Поскольку
ch ch К = ch К, cl2 с12 К = с12 К,
условия
ch cl2 К = ch К, cl2 ch К — с12 К
необходимы и достаточны для замкнутости /С. Ясно, что седловая
функция, эквивалентная замкнутой, сама замкнута.
Теорема 34.2. Рассмотрим замкнутую выпуклую бифунк-
цию F, действующую из R™ в Нп. Положим
К {и, х*) = {Fu, х*), К {и, х*) = {и, F*x*)
« обозначим через й (F) совокупность всех вогнуто-выпуклых функций
К. на х Нп, таких, что К К. Тогда й (F) есть содержа-
щий К, и К класс эквивалентных функций и все функции из й (Г)
замкнуты. Наоборот, каждый класс эквивалентных функций совпа-
дает с некоторым множеством Й (F), причем бифункция F опреде-
лена однозначно.
375
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Для всякой функции Д из Q (F) справедливы соотношения
ch К = К, с12К = К,
dom К = dom F х dom F*,
(Fu) (х) = sup {(х, х*) — К (и, х*)},
X*
(F*x*) (и*) = inf {{и, и*) — К (и, х*)}.
и
Более того, если и С ri (dom F) или х* 6 ri (dom F*), то
К (и, х*) = (Fu, х*) = (и, F*x*).
Доказательство. Сначала мы покажем, что каждый
класс эквивалентных замкнутых седловых функций содержится
в единственном множестве Q (F). Затем мы докажем, что все функ-
ции из Й (F) эквивалентны и обладают объявленными свойствами,
чем доказательство теоремы и будет завершено.
Пусть К — произвольная замкнутая вогнуто-выпуклая функ-
ция на X Нп. Тогда
ch cl2 К = с1± К, cl2 cli К = с12 К,
и в силу следствия 33.3.1 существует единственная замкнутая
выпуклая бифункция F, такая, что
(с12 К) (и, х*) = (Fu, х*), (cli /0 (и, х*) = (и, F*x*).
Поскольку
с12К< ch К, '
К обязана принадлежать множеству й (F). Далее если L — вогну-
то-выпуклая функция, эквивалентная К, то
с12 К = cl2 L L < ch L = ch К
и, следовательно, L тоже принадлежит Й (F).
Пусть теперь К — произвольный элемент из й (F). По теоре-
ме 33.2 _
ch Д = ch ch К = ch К = К,
с12К = с12с12К = с12Т< = /<,
Так как отсюда следует, что
cl^ = tf, с13К = /С
и, значит,
ch с12 К — ch К, cl2 ch К = с12 К.
Таким образом, К замкнута и эквивалентна К и К. Поскольку
замыкание выпуклой функции К (и, •) есть К (и, •),
/< (и, •)* = К (и, •)* = Fu, Vu.
376
§ 34. ЗАМЫКАНИЯ И ЭКВИВАЛЕНТНЫЕ КЛАССЫ
В частности, отсюда следует, что и $ domi К в том и только том
случае, когда Fu постоянна и равна -f-oo, т. е. когда и $ dom F.
Точно так же
К(-, х*)* =/((•, х*)* = F*x*, Vx*
и х* (£ dom2 К в том и только том случае, когда F*x* постоянна
и равна —оо, т. е. когда х* £ dom F*. Поэтому
domi К X dom2 /С = dom F X dom F*
и формулы, выражающие F и F* через /С, верны. Последнее утверж-
дение теоремы вытекает из следствия 33.2.1.
Следствие 34.2.1. Пусть К — замкнутая седловая функ-
ция на X Rn и L — седловая функция, эквивалентная К. Тогда
dom L = dom К. и L {и, v) = К (и, о), если и 6 ri (domi К) или
v € ri (dom2 К)-
Следствие 34.2.2. Седловая функция, замкнутая снизу или
сверху {или вполне замкнута^), замкнута. Каждый класс эквива-
лентных замкнутых седловых (функций содержит ровно одну функ-
цию, замкнутую снизу {наименьшую функцию в классе) и ровно одну
функцию, замкнутую сверху {наибольшую функцию в классе).
Доказательство следует из теоремы 33.3.
По теореме 34.2 класс эквивалентности й {F), определенный
замкнутой выпуклой бифункцией F, состоит - из всех вогнуто-
выпуклых функций, эквивалентных функции
{и, х*) -> {Fu, х*).
Мы определим по заданной замкнутой вогнутой бифункции G
множество й (G) как класс всех вогнуто-выпуклых функций, экви-
валентных функции
(х*, и) —>(х*, Си)
(так что символом Й мы всегда обозначаем множества вогнуто-
выпуклых, а не выпукло-вогнутых функций). Таким образом,,
если F* — вогнутая сопряженная замкнутой выпуклой бифунк-
ции F, то Й (F*) содержит все вогнуто-выпуклые функции, экви-
валентные функции
{и, х*) ->{и, F*x*).
По теореме 34.2 это в точности те функции К, которые удовлетво-
ряют неравенствам
{Fu, х*) К {и, х*) {и, F*x*), Vu, Vx*,
и, следовательно,
Й {F*) = Й (F).
377
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Последняя формула может рассматриваться как точный аналог
формулы
{Аи, х*) = {и, А*х*),
определяющей сопряженный линейный оператор.
Если бифункция F собственная, то и F* — собственная по
теореме 30.1, так что dom F Ф 0 и dom F* =£ 0. В этом случае
всякая функция К из й (F) собственная, поскольку dom К =й= 0
в силу теоремы 34.2. С другой стороны, если замкнутая выпуклая
бифункция F не является собственной, то ее график-функция
должна тождественно равняться -|-оо или —оо. В первом случае
{Fu, х*) = {и, F*x*) = —оо, Vm, Vx*,
а во втором
{Fu, х*) ={и, F*x*) = +оо, Vи, Ух*.
Мы приходим к следующему выводу.
Следствие 34.2.3. Не существует на х Rn несоб-
ственных замкнутых седловых функций, отличных от функций,
тождественных +оо « —оо, причем последние не эквивалентны
друг другу.
Очень просто можно описать структуру некоторых классов
эквивалентных седловых функций.
Следствие 34.2.4. Пусть С и D — непустые замкнутые
выпуклые множества в DV” и JV* соответственно и К — конечная
непрерывная вогнуто-выпуклая функция на С X D. Обозначим через
й совокупность всех вогнуто-выпуклых продолжений функции К
на R”1 X R”, удовлетворяющих условию
+ оо, если и£С, v$D,
— оо, если и^С, v£D.
{Нижнее простое продолжение и верхнее простое продолжение
функции К суть наименьший и наибольший элементы в этой сово-
купности.) Тогда й есть класс эквивалентных собственных замкну-
тых седловых функций. *
Доказательство сразу следует из теоремы 34.2 и след-
ствия 33.3.3. .*
На самом деле всякий класс эквивалентных седловых функций
устроен лишь немногим более сложно.
Теорема 34.3. Пусть К — собственная вогнуто-выпуклая '
функция на Н”1 х R". Положим С = domi К, D = dom2 К- Тогда*-
К. замкнута в том и только том случае, если она обладает следую-
щими свойствами:
(а) если и 6 ri С, то К {и, •) — замкнутая собственная выпук- .
лая функция, эффективное множество которой есть D;
К {и, v) =
378
§ 34. ЗАМЫКАНИЯ И ЭКВИВАЛЕНТНЫЕ КЛАССЫ
(Ь) если и £ С \ ri С, то К {и, •) — собственная выпуклая функ-
ция, эффективное множество которой заключено между D и cl D;
(с) если и (J С, то К (и, •) — несобственная выпуклая функция,
равная —оо в точках ri D (и во всех точках из D, если и ф cl С);
(d) если v € ri D, то К {•, о) — замкнутая собственная вогнутая
функция, эффективное множество которой есть С;
(е) если v С D \ ri D, то К (•, v) — собственная вогнутая функ-
ция, эффективное множество которой заключено между С и cl С;
(f) если С, то К (•, v) — несобственная вогнутая функция,
равная +оо в точках ri С (и во всех точках С, если v £ cl D).
Доказательство. Предположим, что К. замкнута. Пусть
К £ й (F), где F — однозначно определенная по теореме 34.2
замкнутая собственная выпуклая бифункция. Тогда С = dom F
и D — dom F*. Положим К {и, v) = {Fu, v} и К {и, v) = {и, F*v).
Имеем
К {и, v) > —00, Vo, если и ЕС,
К {и, v) = —оо, Vo, если и$С,
К {и, 0)< +оо, Vu, если v£D,
К {и, V) = +оо, Vu, если v$D.
Для всякого фиксированного и выпуклая функция К {и, •) заклю-
чена между К {и, •) и замыканием функции К {и, •), причем все
три функции совпадают, если и £ ri С (теорема 34.2). Написанные
выше соотношения показывают, что для всякого и QC функция
К. {и, •) — собственная и эффективное множество функции К {и, •)
совпадает с D. Отсюда и из основных свойств операции замыкания
для выпуклых функций сразу следуют условия (а) и (Ь). Доказа-
тельство (d) и (е) совершенно аналогично. Наконец, свойства (с)
и (f) тривиально следуют из (a), (b), (d) и (е).
Предположим, наоборот, что функция К обладает всеми свой-
ствами от (а) до (f). В силу (а)
(с12 Л) {и, о) = К {и, v), Vo,
когда и £ ri С. С другой стороны, в силу (Ь)
(с12 К) (и, v) = —оо, Vo,
когда и$С. Итак, для всякого v $ D вогнутые функции (с12 К) (•, о)
и. _гС(-, о) обе несобственные и принимают значение + оо на
Г1 С. Для всякого v£D функции (с12 /()(•, v) и К{-, v) соб-
ственные, относительные внутренности их эффективных множеств
совпадают с ri С, и обе функции равны на ri С. Отсюда следует, что
огнутые функции (с12 /С) (•, о) и К (•, о) имеют одно и то же вогну-
е замыкание, т. е. cli cl2 К = ch /С Так же доказывается, что
2 cli /< = с12 К, т. е. функция К замкнута.
379
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Ограничение седловой функции К на ее эффективное множество
есть некоторая седловая функция на произведении выпуклых
множеств. Ограничение функции К на
ri (dom К) = ri (domi К) X ri (dom2 К)
мы будем называть ядром функции К.
Теорема 34.4. Две замкнутые собственные вогнуто-выпуклые
функции на X К" эквивалентны тогда и только тогда, когда
они имеют одно и то же ядро.
Доказательство. Пусть К и L — замкнутые собствен-
ные вогнуто-выпуклые функции на X Нп. Если К и L экви-
валентны, то L -имеет то же ядро, что и К в силу следствия 34.2.1.
Наоборот, предположим, что ядра функций £ и /С совпадают.
Тогда, в частности, эффективные множества £ и К имеют одинако-
вые относительные внутренности. Положим
С' = ri (domi К) = ri (domi £),
D' = ri (dom2 K) = ri (dom2 £).
В силу свойства (а) из теоремы 34.3 для всякого и £С' выпуклая
функция К (и, •) замкнута и относительная внутренность ее эффек-
тивного множества совпадает с D' аналогично для функции £ (и, •)•
Более того, К {и, •) и £ (и, •) равны на D' при и Е С', поскольку
они имеют одинаковые ядра. Так как замкнутая выпуклая функция
однозначно определяется своими значениями на относительной
внутренности своего эффективного множества, отсюда следует, что
К (и, •) и £ (w, •) равны на если только и g С'. В частности,
dom2 Д и dom2 £ равны одному и тому же выпуклому множеству D
(в силу условия (а) из теоремы 34.3). Совпадение Д (и, •) и £ (и, •)
при и(:С можно выразить и иначе: вогнутые функции
и £ (•, v) принимают одни и те же значения на С' при всех и € RA
В силу свойств (d), (е) и (f) из теоремы 34.3 функции К (•, о)
и £(•, и)—собственные, причем относительные внутренности их
эффективных множеств равны С', если v CD, и несобственные,
равные Н-оо на С', если v $ £>. Таким образом, /<(•, v) и £ (•, о)
должны иметь одно и то же (вогнутое) замыкание при всех v £ R.n,
т. е. cli К = ch £. Так же доказывается, что с12 К = с12 £. Поэтому
функции К и £ эквивалентны.
В соответствии с теоремой 34.4 все функции, принадлежащие
одному классу эквивалентности, имеют одно и то же ядро, и соот-
ветствие между классами эквивалентности и ядрами взаимно одно-
значно. Каждое ядро представляет собой конечную седловую функ-
цию на произведении непустых относительно открытых выпуклых
множеств. Является ли каждая такая функция ядром некоторого
класса эквивалентных замкнутых собственных седловых функций?
Ответ на этот вопрос положителен. Доказательство этого факта
380
§ 34. ЗАМЫКАНИЯ и ЭКВИВАЛЕНТНЫЕ КЛАССЫ
мы получим после более внимательного изучения операций нижнего
и верхнего замыканий.
Назовем вогнуто-выпуклую функцию /( на 3." х № простой,
если для всякого и 6 ri (domi К) эффективное множество выпуклой
функции К (и, •) содержится в cl (dom2 К), а для всякого v С
g ri (dom2 К) эффективное множество вогнутой функции К (•, о)
содержится в cl (domi К).
Простые нижнее и верхнее продолжения седловых конечных
функций, определенных на множествах типа С X D, представляют
собой наиболее важный для наших целей пример простых седловых
функций. По теореме 34.3 всякая замкнутая собственная седловая
функция проста. Читатель может проверить, что и всякая седловая
функция вида
К (и, х*) = {Fu, х*}
(F — выпуклая или вогнутая бифункция, действующая из Я™
в Яп) тоже проста. Можно показать, наконец, что всякая седловая
функция, эффективное множество которой имеет непустую вну-
тренность, проста. Пример вогнуто-выпуклой функции на R X R,
не являющейся простой, мы уже рассматривали:
' + <», если •0,
К (и, о)== < 0, если uv — о,
ь — оо, если uv< :о.
Теорема 34.5. Пусть К — собственная вогнуто-выпуклая
функция на Нт х Rn. Предположим, что К проста. Тогда нижнее
замыкание cl2 clt К и верхнее замыкание cli с12 К функции К экви-
валентны и
cl2 ch К ch с12 К.
Вогнуто-выпуклые функции, заключенные между cl2 cli Д и cL cl2 К,
образуют класс эквивалентных замкнутых вогнуто-выпуклых функ-
ций, имеющих то же ядро, что и К.
Доказательство. Мы докажем сначала, что функция
с12 К — простая и имеет то же ядро, что и К- По определению
множеств domi К, и dom2 К выпуклая функция К {и, •) равна
в некоторой точке —оо, если и $ domi К', если же и 6 domi Д,
то эффектйвное множество функции К (и, •) содержит непустое
множество dom2 К и функция К {а, •) — собственная. Таким обра-
зом, (с12 К) (и, •) тождественно равна —оо, если и $ domi К,
и является собственной выпуклой функцией, эффективное множе-
ство которой содержит dom2 Д, если и € domi Д. Отсюда следует,
что
domi (cl2 Д) = domi Д,
dom2 (cl2 Д) о dom2 Д
381
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
и, более того, что domi /( совпадает с эффективным множеством
каждой вогнутой функции (с12 К) (•, о). Поскольку К — простая
функция, выпуклая функция (с12 К) (и, •) совпадает с /С (ц, .)
на ri (dom2 /0 при и 6 ri (domi /0 и ее эффективное множества
содержится в cl (dom2 /0. Поэтому
dom2 (cl2 К) cz cl (dom2 /0
и множество dom2 (cl2 /0 имеет те же относительную внутренность
и замыкание, что и dom2 К- Отсюда следует, что функция с12
тоже простая, и относительная внутренность ее эффективного
множества совпадает с ri (dom /0. Ядра функций с12 К и /< тоже
совпадают, поскольку с12 Д' и /С принимают одни и те же значения
на ri (dom К). Таким образом, операция с12 сохраняет ядро соб-
ственной вогнуто-выпуклой функции и ее свойство быть простой.
То же самое можно, очевидно, сказать и про операцию ch. Поэтому
cl2 cli К и cli с12 К должны быть простыми собственными вогнуто-
выпуклыми функциями с тем же ядром, что и /С. Поскольку cl2 ch Д’
замкнута снизу, a ch cl2 К замкнута сверху (теорема 34.1), обе эти
функции, в частности, замкнуты (следствие 34.2.2) и по теоре-
ме 34.4 должны быть эквивалентны. Всякая седловая функция»
эквивалентная cl2 ch К и ch cl2 /С, имеет по теореме 34.4 то же
ядро, что и К. Наконец, всякий класс эквивалентности содержит
единственную замкнутую сверху функцию К. и единственную замк-
нутую снизу функцию К и состоит из всех функций, заключенных
между К и /0 Поэтому функции /С и /С должны совпадать с cig ch К
и ch cl2 К соответственно.
Следствие 34.5.1. Пусть С и D—непустые выпуклые
множества в ft™ и ft” соответственно и К — конечная вогнуто-
выпуклая функция на С X D. Тогда существует один и только
один класс эквивалентных замкнутых собственных вогнуто-выпуклых
функций на ft™ X ft”, ядра которых совпадают с ограничением К
на относительную внутренность множества С X D.
Доказательство. Чтобы убедиться в существовании^
класса эквивалентных функций с таким ядром, достаточно приме-
нить теорему к нижнему (или верхнему) простому продолжению
функции К на ft™ X ft”. Единственность следует из теоремы 34.4. в*
§ 35. Непрерывность и дифференцируемость седловых функций.
Цель настоящего параграфа состоит в том, чтобы показать, каИ^
основные результаты, касающиеся непрерывности и дифференци*
руемости выпуклых функций, могут быть распространены на седло*|
вые функции. Сначала мы рассмотрим теоремы о непрерывности
и сходимости, подобные теоремам из § 10.
382 '
J 35. НЕПРЕРЫВНОСТЬ И ДИФФЕРЕНЦИРУЕМОСТЬ
Теорема 35.1. Пусть С и D — относительно открытые
выпуклые множества в К"1 « R® соответственно и К — конечная
вогнуто-выпуклая функция на С X D. Тогда К непрерывна относи-
тельно С X D. Более того, К удовлетворяет условию Липшица
на каждом замкнутом ограниченном подмножестве в С X D.
Доказательство. Достаточно проверить, что /С удо-
влетворяет условию Липшица на каждом множестве вида S х Г,
где S — замкнутое ограниченное подмножество в С, а Т — замкну-
тое ограниченное подмножество в D. По теореме 10.1 функция
/С (u, v), во всяком случае, непрерывна по v £ D при всяком и £С
и непрерывна по и 6 С при всяком v £ D. Множество вогнутых
функций К (•, v), v QT, в этом случае поточечно ограничено на С
и, значит, в силу теоремы 10.6 равномерно липшицево на S. Поэтому
существует неотрицательное действительное число alt такое, что
| К (и', и) — К (и, о) | cq | и' — и |, Vu',u € S, Vo € Т.
В то же время множество выпуклых функций К (и, •), и £ S,
поточечно ограничено на Т и, следовательно, существует неотрица-
тельное действительное число а2, такое, что
| К (и, v') — К (и, о) | «г I v' — v |, Vo',о £Т, Vu 6 S.
Положим а = 2 («j + а2). Тогда если (и, v) и (и', v') — произ-
вольные точки из 5 X Т, то
\К(и', о’) —К (и, и) К | К {и', о') —К (и, v') | +
v') — K,(u, о)Ка1|м' — u| + a2|u' — o|<
<a (| и' — и | +1 v' — v |)/2<a и' — и |2 +1 v' — v |2 =
= a|(«, v) — («', v')|,
т. e. К действительно удовлетворяет условию Липшица на S х Т.
Теорема 35.2. Пусть С и D — относительно открытые
множества в и Rn соответственно и | i 6 /} — произвольная
совокупность конечных вогнуто-выпуклых функций на С X D. Пред-
положим, что существуют такие множества С' <=С и D' cD,
что
conv (cl (С' X D')) =) С X D
“ совокупность | i £ /} поточечно ограничена на С' х D'.
1огда семейство {Ki | i g /} равномерно ограничено и равномерно
JcmeUU,Q6() р1 всяком замкнУтом ограниченном подмножестве множе-
Доказательство. Достаточно рассмотреть замкнутые
раниченные подмножества произведения С X D вида S х Т.
аля всякого и g С' семейство выпуклых функций {Kt (и, •) | i С /}
383
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
поточечно ограничено на D' и, следовательно, равномерно ограни-
чено на Т в силу теоремы 10.6. Семейство вогнутых функций
{/<*(•>») \i С I, vET}
поэтому поточечно ограничено на С', и по теореме 10.6 существует
неотрицательное действительное число а1; такое, что
| Ki (и', ») — Kt {и, v) | cq | и' — и |, Vu', и С S, Vv £ Т, Vi g I,
Таким же способом убеждаемся в существовании такого а2 0, что
| Kt (и, v!) — Ki (и, v) К а2 | V’ — v |, Vv', v Е Т.
Тогда для всяких (и, v) и (и', v') из S X Т
| Kt (и', v') — Ki (и, и) К а | (и', v') — (и, v) |, Vi 6 Л
где а = 2 (at + а2) (в силу той же самой выкладки, которая была
сделана при доказательстве предыдущей теоремы).
Теорема 35.3. Пусть С и D — относительно открытые
выпуклые подмножества в И"1 и соответственно и Т — локально
компактное топологическое пространство. Пусть К — действи-
тельная функция на С X D х Т, вогнутая по и для всяких out,
выпуклая по v для всяких и и t и непрерывная по t для всяких и и V.
Тогда К непрерывна на С X D X Т по совокупности переменных.
Это утверждение остается в силе, если предположение о непре-
рывности К по t заменить несколько более слабым’, существуют
плотные подмножества С' ас С и D' czD, такие, что К (и, о, •)
непрерывна на Т при всяких фиксированных (и, v) € С' X D'.
Доказательство теоремы дословно повторяет доказа-
тельство теоремы 10.7 с той лишь разницей, что вместо теоремы 10.6
нужно использовать теорему 35.2.
Теорема 35.4. Пусть С и D — относительно открытые
множества в R.™ и соответственно и Ki, Кг, — последова-
тельность конечных вогнуто-выпуклых функций на С X D. Пред-
положим, что для всех (и, о) из некоторого множества С' X D' cz
сС X D, плотного в С X D, предел lim Ki (и, v) существует.
г—>оо
и конечен. Тогда этот предел существует и конечен для всех (и, v) 6
€ С X D и функция
К (и, о) = lim Kt (u, v)
конечна и вогнуто-выпукла на С X D. Более того, последователь-
ность Ki, /С2, • • • сходится к К равномерно на каждом замкнутом
ограниченном подмножестве в С X D.
Доказательство теоремы повторяет доказательство тео-
ремы 10.8 с той лишь опять разницей, что вместо теоремы 10.6 сле-
дует использовать теорему 35.2.
384
§ 35. НЕПРЕРЫВНОСТЬ И ДИФФЕРЕНЦИРУЕМОСТЬ
Теорема 35.5. Пусть С и D — относительно открытые
выпуклые множества в Н™ и соответственно и Kt, К2, • • •—
последовательность конечных вогнуто-выпуклых функций на С X D.
Предположим, что в каждой точке (и, v) из некоторого множества
С' XD' сС XD, плотного в С X D, последовательность
Kt (и, о), Къ («, ^), • • • ограничена. Тогда из последовательности
Ki, Кг, • • • можно выбрать подпоследовательность, равномерно
сходящуюся на замкнутых ограниченных подмножествах множе-
ства С X D к некоторой конечной вогнуто-выпуклой функции на
С X D.
Доказательство получается из доказательства теоре-
мы 10.9, если в последнем вместо теоремы 10.8 использовать тео-
рему 35.4.
Обратимся теперь к изучению производных по направлениям
и субградиентов седловых функций.
Пусть К — седловая функция на X Rn, конечная в точке
(и, v). По определению (односторонняя) производная функции К
по направлению (и', v') в точке {и, о) есть предел
К' (и, и, и', v') = lim [К (и + ku', v + Ху') — К (и, у)]/Х,
ыо
если этот предел существует. В силу теоремы 23.1 всегда суще-
ствуют производные по направлениям вида
К' (и, у; и', 0) = lim [К (ц + Хи', у) — К (и, у)]/Х,
U0
К' (и, у; 0, у') = lim [К (и, v + Ху') — К (и, у)]/Х,
МО
однако существование производной по любому направлению остает-
ся проблематичным. Для простоты мы в дальнейшем ограничимся
изучением производных по направлениям во внутренних точках
множества dom К.
Теорема 35.6. Пусть К — вогнуто-выпуклая функция на
х Нп, конечная во всех точках открытого выпуклого множества
С х D. Тогда для всяких (и, у) £ С х D производная К' (и, у; и', у')
по всем направлениям существует и представляет собой конечную
положительно однородную вогнуто-выпуклую функцию на X Нп,
вычисляемую по формуле
К' {и, v, и', у') = К' (и, v, и', 0) + К' (и, v, 0, у').
Доказательство. Из результатов § 23 следует, что
при всяких и 6 С, v £ D функция К' (и, у; 0, у') конечна, положи-
тельно однородна и выпукла по у', а функция К' (и, у; и', 0) конеч-
на, положительно однородна и вогнута по и'. Таким образом, все
утверждения теоремы следуют из объявленного в ее формулировке
25 р. Рокафеллар
385
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
равенства. Мы покажем, что
lim sup [К (и + у + Ар') — К (и, о)]/А
мо
К' (и, v, и', 0) + К' (и, V, 0, v');
из доказательства этого неравенства можно, используя двойствен-
ную аргументацию, получить, что
lim inf [Д' (м + /ш', v + Ао') — К (и, о)]/А
мо.
К' {и, и, и', 0) + К' (и, v, 0, »')•
Разностное отношение
[К (и + %«', v + W) — К {и, и)]/к
может быть записано в виде
[К (и + W, v) — K (и, о)]/А +
+ [К (и + Au', v + W) — К. (и + ки', v)l/A,
где первый член стремится к К' (и, и; и', 0) при % | 0. Мы должны
показать, что
lim sup [К (и + At/, v + Atf) — К (и + ки', р)]/А^ К' {и, о; 0, и'),
мо
Для всякого р > К' (и, v, 0, о') существует а > 0, такое, что
р > [/С (и, v + av') — К (и, и)]/а.
Поскольку по теореме 35.1 функция К. непрерывна на С X D, для
всех достаточно малых %, 0<А<а, справедливо неравенство
р > [/С (и + Au', v + av') — /С (и + At/, v)]/a >•
(и + ки', v + Ар') — /С (« + Aw', р)]/А.
Верхний предел последнего разностного отношения не может,
таким образом, превышать р, откуда все и следует.
Для седловых функций, как и для выпуклых и вогнутых, тоже
можно ввести понятие «субградиента». Пусть /С — вогнуто-выпук-
лая функция на X R" и
dtK (и, v) = диК (и, v)
есть множество субградиентов вогнутой функции /С (•> v) веточке и,
т. е. множество таких векторов и* £ Й-”1, что
К, (и', р) /С (и, v) + {и*, и' — и), Vw' € R™.
Точно так же определим множество
д2К (и, v) = д„К (и, v)
386
§ 35. НЕПРЕРЫВНОСТЬ И ДИФФЕРЕНЦИРУЕМОСТЬ
как совокупность всех субградиентов выпуклой функции К (и, •)
в точке v, т. е. как множество таких векторов и*, что
К (и, v') К (и, v) + <v*> v' — v), Vv' 6 IRA
Пары (м*, v*), принадлежащие множеству
дК (м, v) = diK (и, v) X д2К {и, v),
мы будем называть субградиентами функции /С в точке (ы, о),
а многозначное отображение
дК: (и, v) -> дК (и, о)
— субдифференциалом функции К-
Заметим, что дК (и, v) есть (возможно, пустое) замкнутое выпук-
лое множество в Rm X R" при любом (и, и) g X R.n. По теоре-
ме 23.2 если функция К конечна в точке (и, »), то замыкание выпук-
лой функции
и' -> —К' (и, v; —и', 0)
есть опорная функция множества diK (и, v). Если функция К —
собственная и точка (и, v) принадлежи^ внутренности ее эффектив-
ного множества, то v есть внутренняя точка множества dom К (и, •),
а и — внутренняя точка множества dom К (•, ф, так что по теоре-
ме 23.4 diK (и, о) и д2/< (и, v) суть непустые замкнутые ограничен-
ные выпуклые множества и
К' {и, v, и', 0) = inf {{и*, и'} | и* g diK (и, v)},
К' (и, v; 0, v') = sup {(u*, v') | v* (E d2K (u, u)}.
Отсюда следует, что в условиях теоремы 35.6 К’ (.и, р; и', о') есть
«минимакс» функции
(и*, «*)->(«*, и'>+(»*, р'),
взятый по множеству дК (и, v).
В последующих теоремах рассматриваются вопросы, связанные
с непрерывностью и однозначностью отображения d/С Некоторые
другие результаты будут получены в § 37.
Теорема 35.7. Пусть К — вогнуто-выпуклая функция на
х R.”, конечная на открытом множестве С X D. Пусть
Ki, Кг, •—последовательность вогнуто-выпуклых функций, конеч-
ных на С X D и сходящихся в каждой точке из С X D к функции К-
Пусть, наконец, (и, v) £ С X D и последовательность (щ, pJ,
(«2, v2), . . . точек из С х D сходится к {и, о). Тогда
lim inf К\ (щ, vp, и', 0)>K' (и, v, и', 0), Vu' £R.TO,
?—>oo
lim sup KJ (tit, at; 0, v')^K' (u, v; 0, v'), Vv' £lRn.
i->oo
387
25*
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Более того, для всякого е > 0 существует индекс 10, такой, что
dKi (ut, Vt) сдК (и, v) + еВ, Vi i0,
где В — единичный евклидов шар пространства х = IRm+n.
Доказательство. Все утверждения теоремы немедленно
следуют из теоремы 24.5 и из непрерывности функции К (и, v).
Следствие 35.7.1. Пусть К — вогнуто-выпуклая функция
на X R”, конечная в точках открытого множества С х D.
Тогда для всякого и' функция К' (и, v; и', 0) полунепрерывна снизу
по (и, v), а для всякого v' функция К' {и, v, 0, v') полунепрерывна
сверху по (и, о) на С X D. Более того, для всяких (и, v) из С X D
и 8 > 0 существует такое 6 > 0, что
дК (х, у) с дК (и, v) + гВ, V (х, у) g (и, v) + 8В
(где В — единичный евклидов шар).
Доказательство. Положим K.i = К для всех I.
Теорема 35.8. Пусть К. — вогнуто-выпуклая функция на
Ят х Rn, конечная в точке (и, v). Если К дифференцируема в этой
точке, то у К (и, v) есть единственный субградиент функции К
в точке (и, v). Наоборот, если К имеет единственный субградиент
в точке {и, v), то она дифференцируема в этой точке.
Доказательство. По определению К имеет единствен-
ный субградиент в точке (и, v) тогда и только тогда, когда выпуклая
функция К (и, •) имеет единственный субградиент в точке v, а вогну-
тая функция К (•, v) имеет единственный субградиент в точке и.
В силу теоремы 25.1 это эквивалентно дифференцируемости функ-
ции К по каждому аргументу в отдельности. Осталось выяснить,
влечет ли раздельная дифференцируемость дифференцируемость по
совокупности переменных, т. е. верно ли соотношение
цт К(и + и', v + v') — K (и, у) —{и*, и’)—(у*, у') q
(и', ®')->0 У|И'|2 + Р'12
когда и* = Vi/C (и, v) и V* = (и, v). Этот факт может быть
доказан с помощью следующих рассуждений. Для всякого 1 > 0
обозначим через вогнуто-выпуклую функцию на х R”, опре-
деленную формулой
йх (х, у) = 1К (и + Кх, v + Ку) — К (и, v) — К{и*, х) —
— K{v*,y)\!K.
Если К дифференцируема раздельно по каждой из переменных,
то, в частности,
lim/г», (х, у) = 0, Vx, Vy.
МО
388
§ 35. НЕПРЕРЫВНОСТЬ И ДИФФЕРЕНЦИРУЕМОСТЬ
С помощью теоремы 35.4 отсюда можно извлечь, что при X | О
функции ftx должны сходиться к нулю равномерно на всяком огра-
ниченном множестве. Таким образом, для всякого е >• 0 найдется
такое 6 > 0, что при 0 < X 6 справедливо | h\ (х, у) | е для
всех (х, у) с | х |2 + | у |2=С 1. Тогда
АДиЧ-и', РЧ-Р') —К (и, V) —(u*, и') —(в*, V'} <zg
VI и' 12+1 у' I2
для всех таких (и', v'), что
o<V|«T+lyT<s-
В этом легко убедиться, взяв X = VI и' I2 + I I2 и (х, у) =
= X-1 (и', v'). Поскольку такое 6 > 0 существует для всякого
е > 0, функция К дифференцируема по совокупности переменных,
что и требовалось.
Следствие 35.8.1. Пусть К — вогнуто-выпуклая функция
на R.m X Нп, конечная в точке (и, и). Для того чтобы К была диффе-
ренцируемой в точке (и, о), необходимо и достаточно, чтобы К была
конечной в окрестности точки (и, и) и чтобы производная по направ-
лениям К' (и, v; -,-) в точке (и, и) была линейной функцией. Это
условие выполняется, если все т + п двусторонние частные производ-
ные функции К в точке (и, v) существуют и конечны.
Доказательство следует из теоремы 25.1.
Теорема 35.9. Пусть К — вогнуто-выпуклая функция на
Кт х конечная в точках открытого множества С X D. Обо-
значим через Е совокупность тех точек из С х D, в которых Д диф-
ференцируема. Тогда Е плотно в С х D. Более того, дополнение
множества Е до С X D есть множество меры нуль. Наконец, гра-
диентное отображение у К непрерывно на Е.
Доказательство. Обозначим через Ер множество тех
точек из С X D, в которых существует двусторонняя частная про-
изводная по р-му (из т + п) аргументу. Из-за предыдущего след-
ствия Е — Ei f| . . . f)'£m+n. Поэтому нам достаточно проверить,
что дополнение множества Ер до С X D имеет меру нуль и что
p-я частная производная непрерывна на Ер. Для простоты огра-
ничимся случаем, когда р = т + п. Положим е — (0, 0, ...
• . ., О, 1) 6 R'm+n. Множество Ет+п состоит из тех точек (и, v) 6
€ С X D, в которых
—К' (и, v; 0, —е) = К' (и, v; 0, е).
Поскольку и К' («, v; 0, е), и К' (и, v; 0, —е) полунепрерывны
сверху (следствие 35.7.1), (т + п)-я частная производная одновре-
менно полунепрерывна и сверху и снизу на Ет+п, т. е. непрерывна.
389
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Для всякого натурального k = 1, 2, . . . положим
= {(и, о) е С X D | К' {и, v, 0, е) + К' (и, о; 0, — е) > 11k}.
Так как всегда
—К’ (и, V, 0, —е) К' {и, v, 0, в),
дополнение множества Ет+п до С X D совпадает с объединением
множеств S2, . . ., каждое из которых замкнуто из-за полу-
непрерывности сверху функции К'- Таким образом, множество
Ет+п измеримо. Зафиксируем точку (и, v). Тогда множество тех X,
при которых (и, v + Хе) 6 Sk, содержит в точности те значения X,
в которых правая производная выпуклой действительной функции
h (X) = К (и, v + Хе) претерпевает разрыв, не меньший 1/k. Посколь-
ку правая производная выпуклой функции не убывает, она не
может иметь бесконечного множества таких разрывов на всяком
ограниченном интервале. Таким образом, для заданного k каждая
прямая, параллельная (т + п)-й координатной оси, содержит
в каждой своей ограниченной части не более конечного числа
точек из множества Sk и, следовательно, пересекает Sh по множе-
ству меры нуль. Отсюда следует, что само Sk имеет меру нуль,
и, значит, дополнение множества Ет+п д.оС X D имеет меру нуль.
Теорема 35.10. Пусть К — вогнуто-выпуклая функция на
х Rn, конечная и дифференцируемая во всех точках открытого
множества С X D. Пусть К1у Кг> •— последовательность конеч-
ных дифференцируемых вогнуто-выпуклых на С X D функций,
такая, что lim Ki {и, v) — К {и, о) для всех (и, v) £С X D. Тогда
i~>oo
lim у/Сг (и, v) — у К (и, v), V (и, v) 6 С X D.
i->oo
Более того, отображения vKi сходятся к vК равномерно на каждом
замкнутом ограниченном подмножестве множества С X D.
Доказательство. Нам достаточно доказать сходимость
каждой из т + п частных производных, а это можно сделать
в точности так же, как при доказательстве теоремы 25.7, с той лишь
разницей, что вместо теорем 10.8 и 25.5 следует использовать теоре-
мы 35.4 и 35.9.
Теорема 35.10 остается на самом деле верной, если предположить,
что Kt (и, о) сходятся к К (и, v) лишь для всех точек из некоторого
плотного подмножества множества С X D. В силу теоремы 35.4
отсюда следует сходимость Ki (ц, и) во всех точках множества
С х £>.
390
$ 36. ЗАДАЧИ НА МИНИМАКС
§ 36. Задачи на минимакс
Пусть С и D — произвольные непустые множества и К — функ-
ция на С X D, принимающая значения в [—оо, Н-оо]. Вычислив
при каждом и 6 С нижнюю грань функции К (и, о) по о £D, а затем
взяв верхнюю грань построенной таким образом функции пере-
менного и, получим
sup inf К (и, и).
и£С v£D
Если же мы сначала вычислим верхнюю грань функции К (и, о)
по и 6 С, а затем перейдем к нижней грани по v £ D, то получим
число
inf sup К (и, v).
v£D и£С
В случае когда оба эти числа равны, мы называем их минимаксом,
или седловым значением функции К (относительно минимизации
на D и максимизации на С).
Одна из задач теории минимакса состоит в том, чтобы выявить
условия, при которых седловое значение существует и в том или
ином смысле достигается; В общем случае «inf sup» и «sup inf»,
конечно, могут отличаться друг от друга, однако они всегда связаны
определенным неравенством.
Лемма 36.1. Пусть К — произвольная функция, определенная
на непустом произведении С X D и принимающая значения
в [—оо, -f-оо]. Тогда
sup inf К (и, v)^ inf sup К (и, v).
и£С v£D ®£D ugC
Доказательство. Положим f (и) = inf {К (и, и) | v 6 D} и
а = sup inf К (м, о).
u£C v£D
При каждом v 6 D неравенство К (и, v) f (м) выполняется при
всех и С С и, следовательно,
sup К (и, v) sup f (и) = а.
и£С и£С
Поскольку это соотношение остается верным при всяком v £ D, то
inf sup К (и, v) а,
v£D иЕС
что и доказывает лемму.
С первого взгляда неясно, какой смысл следует вкладывать
в выражение «седловое значение достигается». Оно разъясняется
с помощью понятия седловой точки. По определению точка (и, v)
называется седловой точкой функции /С по отношению к максимиза-
ции по и £ С и минимизации по v С D, если (и, v)^C xD и
K(w, u), Vug С, VugD.
391
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Это значит, что функция К (и, •) достигает минимума на D в точ-
ке v, а функция /С (•, v) достигает максимума на С в точке и. Сле-
дующая лемма показывает, как связаны седловая точка и седловое
значение.
Лемма 36.2. Пусть функция К определена на непустом множе-
стве С X D и принимает значения в [—оо, .4-00]. Точка (и, v)
является седловой точкой функции К. (по отношению к максимизации
на С и минимизации на D) тогда и только тогда, когда верхняя
грань функции
и—* inf К (и, v)
v£D
достигается в точке й, а нижняя грань функции
v -> sup К (и, и)
и£С
достигается в точке v и оба экстремума равны. Если точка (и, v)
седловая, то седловое значение функции К. равно К (и, v).
Доказательство. Если (и, v) — седловая точка, то
К (и, v) = inf /С (и, y)<sup inf К (и, у),
v£D u^Cv^D
К. (и, у) = sup К (u, у)> inf sup/C(«, v).
u£C v£D u£C
В силу леммы 36.1 правые части в обоих неравенствах должны быть
равны, так что все три утверждения леммы выполняются. Наоборот,
при выполнении первых двух из них седловое значение а функции К
существует и
sup К. (и, у) = а = inf (и, v),
иСС v£D _ _
причем верхняя грань слева не может быть меньше /С (и, у), а ниж-
няя грань справа не может быть больше, чем /С (и, у). Поэтому
а = К (и, у) и (и, у) — седловая точка.
Полезно иметь в виду следующую эвристическую интерпрета-
цию седловых точек и седловых значений. С функцией К мы можем
связать некоторую игру двух игроков — I и II. В каждом туре
этой игры I выбирает точку и £ С, а II выбирает точку v £D. Оба
игрока одновременно сообщают свой выбор друг другу; при этом
II обязан заплатить игроку I К (и, у) единиц денег. (Отрицатель-
ные значения К (и, у) соответствуют передаче | К. (и, у) | единиц
денег первым игроком второму.) При всяком и € С число
inf {/С (и, у) | у g D} определяет тот выигрыш, который I может
гарантировать себе, выбирая данное и. Наибольший гарантиро-
ванный выигрыш первого игрока равен
sup inf К (и, у).
u£C v£D
392
§ 36. ЗАДАЧИ НА МИНИМАКС
Точка и, в которой эта верхняя грань достигается, есть оптималь-
ная стратегия игрока I (в соответствии с принципом минимакса
фон Неймана). Рассмотрим, с другой стороны, эту игру с точки,
зрения игрока II. Если II выбирает v g D, то максимум того, что
он может потерять, есть sup {К (и, v) | и 6 С}. Поэтому
inf sup К (и, о)
есть наименьший проигрыш второго игрока, если первый действует
наивыгоднейшим для себя образом. Точка и, в которой эта нижняя
грань достигается, есть оптимальная стратегия игрока II.
В случае когда оба числа совпадают, они определяют седловое
значение функции К- Седловая точка характеризует «равновесный»
выбор стратегий обоими игроками в том смысле, что ни один из них
не может достичь большего, односторонне изменяя свой выбор.
Как мы уже неоднократно отмечали, задачу о минимуме функ-
ции f на множестве S сН" удобно заменять задачей о минимуме
на всем Rn функции, равной f на S и +оо вне S. Подобная редук-
ция полезна и при изучении минимаксных задач.
Пусть С и D — непустые подмножества R.m и Яп соответственно
и К — действительная функция на С X D. Продолжим К на все
С X D, полагая
оо,
К (и, и) = <
оо
ч любое число из [ —оо, + оо],
если
если
если
и 6 С, v^D,
и^С, v£D,
и$С, v^D.
Тогда, очевидно,
inf К (и, v)— infK(w, и)< оо, Vu^BV",
где нижние грани равны — оо при и С, и, значит,
sup inf К («, v) = sup inf К (и, v).
ueHm »e!R,n «ес
Точно так же
sup К (и, v) = sup К (и, v), Vt>£R.n,
ueRm «ее
где верхняя грань равна + оо при v^D, и, значит,
inf sup К. (и, и) = inf sup К (u, v).
®e!R,n ueR’n ' u$c
В частности, если либо седловое значение функции К по отношению
к х Rn, либо седловое значение функции К по отношению
к С X D существует, то оба существуют и равны друг другу. Более
того, седловые точки функции К по отношению к х R” совпа-
дают с седловыми точками функции К по отношению к С X D
393
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
(если таковые имеются). Действительно, в соответствии с тем,
что мы только что установили, точка (и, v) удовлетворяет соотно-
шениям _ ___
sup Д' (и, v) = K (и, v) = inf /((и, v)
ибН™ v^n
в том и только том случае, когда справедливы равенства
sup К (и, v) — K (и, v) = inf /С (u, u),
u£C v£D
и в этом случае необходимо (и, v) 6 С X D. (Если и $ С, то нижняя
грань должна равняться —оо и, следовательно, не может равняться
верхней. Точно так же, если v $ D, то верхняя грань должна рав-
няться +оо и не может совпадать с нижней.)
В дальнейшем мы изучаем только седловые значения и седловые
точки вогнуто-выпуклых (или выпукло-вогнутых) функций на про-
изведении выпуклых множеств. Важно иметь в виду, что функция
всегда минимизируется по выпуклому аргументу, а максимизирует-
ся по вогнутому. Предыдущие рассмотрения позволяют нам свести
почти все к случаю вогнуто-выпуклой функции, определенной на
всем HV” X И”. Требование замкнутости такой функции выступает
как естественное условие регулярности.
Наоборот, задача о минимаксе замкнутой собственной седловой
функции на Нт х Нп соответствует некоторой задаче о минимаксе
конечной седловой функции на произведении выпуклых множеств.
Теорема 36.3. Пусть К — замкнутая собственная вогнуто-
выпуклая функция на OV” х Rn. Положим С = domi К, D =
= dom2 К- Тогда
sup inf К (и, v) = sup inf К (и, v),
inf sup К (ц, v) = inf sup /С (и, v).
isR"ueKm vecueD
Седловые значения и седловые точки функций К относительно
X Rn ж же> цто и относительно С X D.
Доказательство. Для всякой выпуклой функции f на
IRn равенство
inf {f (v) | v e BV*} = inf {/ (u) | v 6 D}
выполняется для всякого множества D, содержащего ri (dom f)
(следствие 7.3.1). Таким же свойством обладают и вогнутые функ-
ции. Из теоремы 34.3 следует поэтому, что
inf К (и, 0 = inf/С (и, и)<оо,
sup К (и, u) = sup К {и, v) >— оо,
394
§ 36. ЗАДАЧИ НА МИНИМАКС
где нижние грани равны —оо, если и $ С, а верхние грани равны
+оо, если и 4 D. Утверждение теоремы следует из этих соотноше-
ний так же, как и в рассуждениях, предшествующих теореме.
Следствие 36.3.1. Пусть К — замкнутая собственная
седловая функция на X Н”. Если К имеет седловую точку, то она
содержится в dom К и седловое значение функции К конечно.
Доказательство. Пусть (и, v) — седловая точка функ-
ции К (относительно х Нп). По теореме (и, и) является и седло-
вой точкой относительно dom К, т. е. (м, о) £ dom К- Седловое
значение функции К равно К (и, v) в силу леммы 36.2; оно конечно,
поскольку К конечна на dom К.
Из теоремы следует, в частности, что минимаксная теория
замкнутых собственных седловых функций на Rm X Rn содержит
в качестве специального случая минимаксную теорию непрерывных
конечных седловых функций, определенных на произведениях
С х D, где С — непустое замкнутое выпуклое подмножество в R”1,
a D — непустое замкнутое выпуклое подмножество в (см. след-
ствие 34.2.4).
Минимаксные задачи для седловых функций на К."* X R” в дей-
ствительности связаны не столько с конкретными функциями,
сколько с классами эквивалентных седловых функций.
Теорема 36.4. Эквивалентные седловые функции на X Rn
имеют одни и те же седловые значения и седловые точки (если таковые
существуют).
Доказательство. Пусть К к К.' — эквивалентные седло-
вые функции на X По определению эквивалентности
ch К = ch К.’ и с12 К = с12 К.'. Две выпуклые функции, имеющие
совпадающие замыкания, имеют и одинаковые нижние грани,
и две вогнутые функции с совпадающими замыканиями имеют
одинаковые верхние грани. Таким образом,
inf /С (и, v) = inf К' (и, v), Vw,
V V
sup К (и, и) = sup К' (и, v), Vv.
и и
Но седловые значения и седловые точки функций К и К' полностью
определяются написанными выше функциями.
Таким образом, естественным объектом минимаксной теории
вогнуто-выпуклых функций являются классы эквивалентных вогну-
то-выпуклых функций на X и каждому классу соответствует
единственная «регуляризованная» задача о седловой точке. Мы пока-
жем сейчас, что каждой обобщенной выпуклой программе соответ-
ствует одна и только одна такая задача о седловой точке, именно
задача о седловой точке функции Лагранжа этой программы.
395
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Пусть F — бифункция, действующая из в Rn. Обратной
к F называется бифункция
F*. х-+ F*x: и -> (F*x) (и),
действующая из в R,m и определенная равенством
(F*x) (и) = — (Fu) (х), Vx 6 ^n, 6
Заметим, что если F выпукла, то F* вогнута, и наоборот. Понятие
«обратной бифункции» является обобщением аналогичного понятия
для однозначных или многозначных отображений. Именно если
F есть +оо-индикаторная бифункция отображения Д, действую-
щего из в DV1, то F* есть —oo-индикаторная бифункция ото-
бражения Д-1.
Ясно, что операция обращения F-+-F* сохраняет замкнутость
выпуклых и вогнутых бифункций, оставляя их собственными
и является инволютивной, т. е.
U7*)* = F.
Более того, операция обращения коммутирует с операцией сопря-
жения:
(FJ* = (F*)*.
Чтобы убедиться в этом, предположим, что F выпукла и, значит,
F* вогнута. Тогда
((F*)* «♦) (х*) = sup {(F*x) (и) — {и, м*) + (х, х*)} =
U, X
= sup { — (Fu) (х) — (и, и*) + (х, х*)} =
U, X
— — inf {(Fm) (х) — (х, х*> + (м, и*)} =
— — (F*x*) (м*) = ((F*)* и*) (х*).
(В случае когда F вогнута, выкладка остается той же, но «inf»
и «sup» меняются местами.)
Соотношение (FJ* = (F*)e можно рассматривать как обобще-
ние известного равенства
(Л-1)* = (Л*)"1
для линейных операторов.
Таким образом, вместо (FJ* или (F*)* можно просто писать F*.
Конечно, если F — выпуклая бифункция, то и F* выпукла и
та = F** = cl F.
По определению функцией Лагранжа выпуклой программы (Р),
связанной с выпуклой бифункцией F, действующей из R™ в Кп,
называется следующая функция L на X Rn:
L (и*, х) = inf {(м*, и) + (Fm) (х) }.
и
396
3
§ 36. ЗАДАЧИ НА МИНИМАКС
С помощью F* формулу для L можно переписать так:
L (и*, х) = inf {{и*, и} — (F*x) (и)} — {и*, F^x).
и
Таким образом, L — вогнуто-выпуклая функция на R.m X Нп,
и, используя теорему 33.1, мы получаем следующий результат.
Теорема 36.5. Для того чтобы функция L была функцией
Лагранжа выпуклой программы (Р), связанной с некоторой замкну-
той выпуклой бифункцией F, действующей из R.m в Rn, необходимо
и достаточно, чтобы L была замкнутой сверху вогнуто-выпуклой
функцией на ОТ.’" х ИЛ
Доказательство немедленно следует из теоремы 33.3.
- Если задана замкнутая сверху вогнуто-выпуклая функция L
на X Ип, то единственная «замкнутая» выпуклая програм-
ма (Р), для которой L является функцией Лагранжа, легко опре-
деляется из соотношений, установленных в § 33. Действительно,
(Р) есть выпуклая программа, связанная с замкнутой выпуклой
бифункцией F, такой, что F*x есть (вогнутая) сопряженная
к Л(-,х) при всяком х, т. е.
(Fu) (х) = —inf {’(«*, и) — L (и*, х)} =
и*
= sup {L (и*, х) —{и*, и)}.
и*
Целевой функцией программы (Р), таким образом, является выпук-
лая функция
sup L (и*, •),
U*
а ее оптимальное значение равно
inf sup L (и*, x).
X u*
В то же время бифункция, сопряженная к F, определяется фор-
мулой
(F*x*) (и*) = inf inf {(Fu) (х) —(х*, х) +<«*, и)} =
и X
= inf {L (и*, х) —(х*, х)},
X
так что целевая функция вогнутой программы (Р*), двойственной
с (Р), есть вогнутая функция
inf L (•, х),
X
а оптимальное значение программы (Р*) равно
sup inf L (и*, х).
U* X
397
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Седловые точки функции L соответствуют решениям и векторам
Куна — Таккера программ (Р) и (Р*). Это следует из теорем 29.3
и 30.5.
Каждый класс эквивалентных замкнутых собственных вогнуто-
выпуклых функций содержит единственную функцию, замкнутую
сверху (следствие 34.2.2). Таким образом, общая «регуляризован-
ная» задача о седловой точке, к которой мы естественно пришли
в минимаксной теории, оказывается задачей о седловой точке
функции Лагранжа некоторой (обобщенной) «замкнутой и соб-
ственной» выпуклой программы.
Отсюда следует, что все основные результаты о существовании
седловых точек и седловых значений должны вытекать из теорем,
доказанных в § 29 и 30. Мы приведем их в § 37, используя терми-
нологию сопряженных седловых функций.
Так как функция Лагранжа выпуклой программы (Р) вогнуто-
выпукла, для характеризации ее седловых точек можно воспользо-
ваться понятием субградиента. Условие
L («*, х) L (и*, х) L (и*, х), Чи*, Чх,
выполняется тогда и только тогда, когда выпуклая функция L (и*, •)
достигает минимума в точке х, т. е.
0 € d2L (и*, х),
а вогнутая функция L (-, х) достигает максимума в точке и*, т. е.
0 С d±L (и*, х).
Но в силу определения, данного в § 35,
дЬ (и*, х) = diL («*, х) X дгЬ (и*, х).
Таким образом, (и*, х) есть седловая точка функции L в том и толь-
ко том случае, когда _ _
(0, 0) 6 dL (и*, х).
Последнее соотношение мы будем называть условием Куна —
Таккера для программы (Р). В случае когда (Р) — обыкновенная
выпуклая программа, оно сводится к условию Куна — Таккера,
полученному в теореме 28.3. С другой стороны, если (Р) — програм-
ма того типа, который был рассмотрен в теореме 31.2, то написан-
ное только что условие Куна — Таккера сводится к одноименному
условию из теоремы 31.3, поскольку в этом случае функция Лагран-
жа программы (Р) имеет вид
L (и*, х) = inf {(«*, и} -I- f (х) — g (Ах + и)} =
( f (х) + 8* (и*)— («*, Ах), если x^domf,
+оо, если x^domf.
398
§ 37. СОПРЯЖЕННЫЕ СЕДЛОВЫЕ ФУНКЦИИ
Общее условие Куна — Таккера для выпуклых программ (след-
ствие 29.3.1) может быть сформулировано теперь следующим
образом.
Теорема 36.6. Пусть (Р) — выпуклая программа, связанная
с замкнутой собственной выпуклой бифункцией F, действующей
из в Нп. П редположим, что либо (Р) сильно (или строго) совме-
стна, либо (Р) полиэдральна и совместна. Тогда вектор х £ Rn
будет решением программы (Р) в том и только том случае, когда
существует такой вектор и* £ OV", что
(О, 0) £ дЬ (й*, х),
где L — функция Лагранжа программы (Р). Векторы и*, удовле-
творяющие этому условию при данном х, суть в точности векторы
Куна — Таккера программы (Р).
§ 37. Сопряженные седловые функции и теоремы о^минимаксе
Как мы показали в предыдущем параграфе, проблемы, связанные
с седловыми значениями и седловыми точками, сводятся по суще-
ству к соответствующим проблемам для (обобщенных) выпуклых
программ и их функций Лагранжа. В этом параграфе мы, исполь-
зуя преобразование сопряжения для седловых функций, докажем
основные теоремы существования, подобно тому как в § 27 мы
с помощью сопряженных выпуклых функций доказали основные
теоремы для задачи о минимуме выпуклой функции.
Понятие сопряженной седловой функции выводится из свойств
операции обращения для выпуклых бифункций, рассмотренной
в предыдущем параграфе. Таким образом, операция обращения
оказывается естественной основой для теории минимакса в такой же
степени, как операция сопряжения выпуклых бифункций была
естественно основой для теории двойственности выпуклых про-
грамм.
Если F — выпуклая бифункция, действующая из Н™ в Я",
то ее обратная F* является вогнутой бифункцией, действующей
из Нп в R”1, и, следовательно, {и*, F*x) есть вогнуто-выпуклая
функция переменных (и*, х) наНт X (теорема 33.1). Посмотрим,
как связаны вогнуто-выпуклые функции (и*, F*x) и (Fu, х*>.
По определению
<«*, F*x) = (F*x)* (и*) — inf {{и, и*Ул— (F*x) (и)} =
= inf {(и, и*) + (Fu) (х)}.
и
Если F замкнута (или просто замкнута в образах), то
(Fu) (х) = sup {(х, х*) —(Fu, х*)}
X*
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
(следствие 33.1.2), и, следовательно,
{и*, F*x) = inf sup {{и, и*) + (х, х*) —(Fu, х*)}.
и х*
Применяя эти же формулы к F* и F*, приходим к следующему
основному результату.
Теорема 37.1. Пусть F — замкнутая выпуклая бифункция,
действующая из в Ип, а функция К принадлежит соответствую-
щему бифункции F классу й {F) эквивалентных замкнутых вогнуто-
выпуклых функций на X Rn, т. е.
{Fu, х*)^ К (и, х*)^ (и, F*x*}, Vu. Vx*.
Тогда для всяких и* £ 03т, х 6 R-n,
inf sup {{и, и*) + <х, х*) — К {и, х*)} — {и*, F*x},
и X*
sup inf {{и, и*) + (х, х*) — К {и, х*)} = {F*u*, х*).
X* и
Пусть, с другой стороны, замкнутая вогнуто-выпуклая функция Д* .
принадлежит классу эквивалентности Й (ДД, соответствующему
бифункции F*, т. е.
{F*u*, х) К* («*, х) {и*, F*x), У и*, Ух.
Тогда для всяких и £ Rm, х* g !ftn
inf sup {{и, и*) + <х, х* ) — К* (и*, х)} = {и, F*x*),
и* X
sup inf {(и, и*) + (х, х*) — К* {и*, х)} = {Fu, х*).
X и*
Доказательство немедленно следует из свойств опе-
рации обращения и из теоремы 34.2.
Соответствие между седловыми функциями, установленное в тео-
реме 37.1, можно рассматривать как обобщение операции сопряже-
ния для выпуклых или вогнутых функций. Пусть К — вогнуто-
выпуклая функция на R,m X R,n. Для всяких и* £ OV", v* 6
выражение
{и, и*) +{v, v*} — К {и, v)
определяет выпукло-вогнутую функцию переменных {и, о). Нижней
сопряженной К* функции К мы называем функцию
К* (и*, и*) = sup inf {{и, и*) +{v,v*) — К {и, и)},
V и
а верхней сопряженной К* — функцию
К* (и*, v*) = inf sup {{и, и*) -\-{v,v*) — К {и, у)}.
и V
В силу леммы 36.1, разумеется,
400
§37. СОПРЯЖЕННЫЕ СЕДЛОВЫЕ ФУНКЦИИ
Следствие 37.1.1. Пусть К — замкнутая вогнуто-выпук-
лая функция на X Rn. Тогда ее нижняя сопряженная К* есть
замкнутая снизу вогнуто-выпуклая функция на DVn X Rn, а верхняя
сопряженная К* — замкнутая сверху вогнуто-выпуклая функция
на П"1 X Нп. Функции К* и К* эквивалентны и определяются
только классом эквивалентных седловых функций, содержащим К.
Если замкнутая вогнуто-выпуклая функция К* эквивалентна К*
и К*, то ее нижняя и верхняя сопряженные в свою очередь эквива-
лентны К-
Доказательство. То, что К* замкнута снизу, а К*—
сверху, можно доказать, применяя теорему 33.3 к бифункциям F*
и F*, поскольку при К £ Q (F)
К* (и*, о*) =<FX, о*),
К* (и*, ц*) = (и*,
в силу теоремы 37.1. Остальные утверждения следуют из теоре-
мы 34.2.
Всякую седловую функцию /С*, эквивалентную нижней и верх-
ней сопряженным данной седловой функции К, мы будем просто
называть сопряженной с К- Таким образом, следствие 37.1.1
содержит описание преобразования сопряжения для седловых
функций, симметричное и взаимно однозначное с точностью до
эквивалентности. Постоянные седловые функции +<ю и —оо
замкнуты и сопряжены друг с другом. Поскольку не существует
отличных от них замкнутых несобственных седловых функций,
седловая функция, сопряженная с замкнутой собственной седловой
функцией, обязана быть собственной. Вообще, класс эквивалент-
ности, сопряженный с классом Q (F), где F — замкнутая выпуклая
или вогнутая бифункция, совпадает в силу теоремы 37.1 с клас-
сом Q (FJ.
Значение следствия 37.1.1 для теории минимакса состоит в том,
что оно позволяет низвести возможное несовпадение значений
«sup inf» и «inf sup» до различия между вогнуто-выпуклыми функ-
циями внутри одного класса эквивалентности. Таким образом, явле-
ния, состоящие в том, что иногда
sup inf =# inf sup
и, как правило,
cl2 cli #= cli cl2,
находятся в точной двойственной связи, а специфическая неедин-
ственность замыканий и бесконечнозначных продолжений седловых
Функций имеет естественное двойственное истолкование.
Следствие 37.1.2. Нижняя и верхняя сопряженные К* и К.*
Замкнутой собственной седловой функции К обладают всеми струк-
Р. Рокафеллар 401
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
турными свойствами, отмеченными в теореме 34.3, и удовлетво-
ряют равенствам
clt/(* = /<*, с1а/ё = К*.
В частности если и* g ri С* или v* g ri D* (где С* х D* — эффектив-
ное множество К* и К*), то
К* (и*, и*) = К* (и*, v*).
Доказательство следует из теорем 34.2 и 34.3.
По определению
/С* (0, 0) = —inf sup К (м, у),
V и
К* (0, 0) = — sup inf /С (и, и),
и V
Таким образом, существование седлового значения у функции Д'
определяется взаимным положением точки (0, 0) и множества
С* х D* = dom Д'* — dom К*-
В частности, справедливо
^Следствие 37.1.3. Пусть К — замкнутая собственная
вогнуто-выпуклая функция на^т X Ип и С* X D* — общее эффек-
тивное множество вогнуто-выпуклых функций, сопряженных с К.
Если ri С* содержит начало координат пространства 0V", либо
ri £>* содержит начало координат пространства Яп, то
inf sup К (и, и) — sup inf К (и, о).
V и и V
При выполнении обоих условий седловое значение функции К конечно.
Чтобы с максимальной отдачей использовать следствие 37.1.3,
нужно иметь способ прямого описания множеств С* и D* через
функцию К- Этот способ дает следующая теорема.
Теорема 37.2. Пусть К — замкнутая собственная вогнуто-
выпуклая функция на X Rn; С X D — ее эффективное множе-
ство и С* X D* — общее эффективное множество вогнуто-выпуклых
функций, сопряженных с К. Тогда опорные функции множеств С*
и D* определяются формулами
6*(ау|£)*)= sup sup{/<(«, у + ®) — К(и, о)},
u£ ri С v£D
— 6*( —z|C*) = inf inf {К(иЦ-г, v) — K(u, о)}.
ri D u£C
Доказательство. Пусть F — единственная замкнутая
собственная выпуклая бифункция из Нт в Rn, такая, что
(с12 К) (м, о) = <Fm, v), Vm, Vu
402
§ 37. СОПРЯЖЕННЫЕ СЕДЛОВЫЕ ФУНКЦИИ
(см. теорему 34.2). Тогда С — dom F. Поскольку класс эквива-
лентных седловых функций, сопряженных с К, соответствует
бифункции F*, справедливо равенство D* = dom F*. Обозначим
через G эффективное множество график-функции бифункции F, т. е.
G = {(и, х) | (Fu) (х) <с Н-оо}.
Имеем
D* = {х | Зи, (и, х) б G} = U {dom Fu | и С С).
На самом деле, по теореме 6.8
ri D* = {х | Зи, (и, х) 6 ri G} = U {ri (dom Fu) | и 6 ri С).
Поэтому
6* (да | D*) = sup {(х, w) | х С ri D* } =
= sup {(х, w) | х С ri (dom Fu), и £ ri C} =
= sup {б* (и» | dom Fu) | и 6 ri C}.
С другой стороны, для всякого и € ri С собственная функция
К (и, •) замкнута, выпукла и ее эффективное множество есть D
(теорема 34.3), т. е. она совпадает с функцией (с12 К) (и, •), кото-
рая в свою очередь сопряжена с замкнутой собственной выпуклой
функцией Fu. Опорная функция множества dom Fu совпадает
с рецессивной функцией функции, сопряженной с Fu (теорема 13.3).
Таким образом, для всякого и £ ri С функция 6* (• | dom Fu)
есть рецессивная функция функции К (и, •) и, значит,
6* (да | dom Fu) = sup {/С (и, v + да) — К (и, v) I и 6 D}
в силу первой формулы для рецессивных функций из теоремы 8.5.
Доказательство формулы для 6* (• | С*) совершенно аналогично.
Следствие 37.2.1. В условиях теоремы включение 0 £ int D*
имеет место в том и только том случае, когда выпуклые функции
К (и, •), соответствующие и С ri С, не имеют общих направлений
рецессии. Точно так же О 6 int С* в том и только том случае,
когда выпуклые функции —K(-,v), соответствующие v 6 ri D,
не имеют общих направлений рецессии.
Доказательство. Соотношение 0 $ int D* справедливо
в том и только том случае, когда существует такой вектор да #= О,
что 6* (ю | D*)^ 0, т. е. (согласно предыдущему доказательству)
К (и, v + да) — К. (и, v) 0, Vt» € D, V« 6 ri С.
Поскольку при всяком и g ri С эффективное множество функции
л (и, •) совпадает с D, последнее условие означает, что да при-
надлежит рецессивному конусу функции К (и, •) при всяком
и 6 ri С. Доказательство оставшейся части следствия аналогич-
но.
403
26*
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Теорема 37.3. Пусть К — замкнутая собственная вогнуто-
выпуклая функция на R"1 X R” и С X D — ее эффективное множе-
ство. Тогда каждое из формулируемых условий обеспечивает суще-
ствование седлового значения у функции К-
(а) выпуклые функции К (и, •), соответствующие и € ri С, не
имеют общих направлений рецессии-,
(Ъ) выпуклые функции —K(-,v), соответствующие v 6 ri D,
не имеют общих направлений рецессии.
Если оба условия выполняются, то седловое значение функции К
конечно.
Доказательство. Это утверждение есть простая комби-
нация следствий 37.31. и 37.2.1.
Следствие 37.3.1. Пусть К — замкнутая собственная
вогнуто-выпуклая функция на^т х Rn и С X D — ее эффективное
множество. Если либо С, либо D ограничено, то функция К имеет
седловое значение.
Доказательство. По теореме 34.3 для всякого и £ ri С
эффективное множество функции /С (и, •) совпадает с D. Поэтому
если D ограничено, то выполняется условие (а). Точно так же,
если С ограничено, выполняется условие (Ь).
Как мы уже объясняли в § 36, седловое значение функции К
относительно X R" совпадает с ее седловым значением отно-
сительно С X D. Чтобы усилить это утверждение, мы докажем
в качестве специального случая
Следствие 37.3.2. Пусть С и D — непустые замкнутые
выпуклые множества в HV" и R” соответственно и К — конечная
непрерывная вогнуто-выпуклая функция на С X D. Если либо С,
либо D ограничено, то
inf sup К (и, о) = sup inf К (и, v).
vED UEC ugC VED
Доказательство. Применим предыдущее следствие
к нижнему или верхнему простому продолжению функции Д’ на
R.™ х Яп. (В силу следствия 34.2.4 в обоих случаях мы получаем
замкнутую вогнуто-выпуклую функцию с эффективным множеством,
равным С X D.)
Мы увидим позже, что при выполнении условий теоремы 37.3
седловые точки также существуют. Этот результат будет получен
после изучения свойств субдифференциального отображения дК, *
определенного в § 35, где дК {и, v) —замкнутое выпуклое множе-'*
ство, равное при всяких и, v произведению
diK (и, v) X д2К (и, v)
и
dom дК — {(и, v) | дК (и, ») #= 0 }.
404
§37. СОПРЯЖЕННЫЕ СЕДЛОВЫЕ ФУНКЦИИ
Теорема 37.4. Пусть К — вогнуто-выпуклая функция на
х Нп. При каждом (и, v) множество дК («, о) состоит из тех
пар (и*, v*), при которых (и, v) является седловой точкой вогнуто-
выпуклой функции К—{•, и*)—(•, v*). Если К— замкнутая
и собственная функция, то
ri (dom К) gz dom дК gz dom К-
Доказательство. Множества (и, v) и д2К (и, v)
замкнуты и выпуклы в R” и Л" соответственно, поэтому и дК (и, v)
замкнуто и выпукло. По определению вектор (и*, и*) принадлежит
дК («, о) в том и только том случае, когда
К (и', V) —(и', и*)^ к (и, v) —(и, и*), Чи',
К (и, v') — (v', К (ц, о) —(v, v*), Vo'.
Полагая Ко = К — (•, и*) —(•, о*), мы можем представить эти
неравенства в виде следующих соотношений:
Ко (и', v) Ко {и, v) Ко (и, v'), Mu', W',
которые и означают, что (u, v) — седловая точка функции К-
Предположим теперь, что функция К — замкнутая и собственная.
Тогда и Ко — замкнутая собственная функция и dom Ко = dom К-
В силу следствия 36.3.1 все седловые точки функции Ко принадлежат
dom Ко- Поэтому из условия (и*, v*) 6 дК (м, о) следует включение
(и, и) 6 dom К- Иначе говоря, множество dom дК лежит в dom К-
Предположим, с другой стороны, что
(и, о) 6 ri (dom К) = ri (domi К) X ri (dom2 К)-
Тогда v принадлежит относительной внутренности эффективного
множества выпуклой функции К (и, •) (теорема 34.3), и, следова-
тельно, функция К (и, •) имеет хотя бы один субградиент в точке v
(теорема 23.4). Итак, д2К (и, v) 0. Так же доказывается, что
и diK (и, v) 0, т. е. дК («, ») ¥= 0, что и требовалось.
Следствие 37.4.1. Если К и L — эквивалентные седловые
функции на R"1 X Нп, то дК — дЕ и функции К и L принимают
одинаковые значения на множестве dom дК = dom dL.
Доказательство. Для всяких (и*, v*) седловые функции
Ко («. v) = К (и, о) —{и, и*) —(v, о*>,
Lo (и, v) = L (и, v) — (и, и* ) — (о, v* >
эквивалентны, поскольку К и L эквивалентны. По теореме («*, о*)
принадлежит дК (и, о) тогда и только тогда, когда (и, о) — седло-
вая точка функции Ко- В этом случае седловое значение функции Ко
равно, конечно, Ко (и, v). Поскольку эквивалентные седловые
Функции имеют одно и то же седловое значение и одни и те же
седловые точки (теорема 36.4), включение (м*, о*) £ дК (и, v) имеет
405
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
место лишь одновременно с включением (и*, о*) 6 dL (и, и).
Но в этом случае К (и, v) = L (ы, о).
Согласно следствию 37.4.1, субдифференциал седловой функции
полностью определяется только классом эквивалентности, содержа-
щим эту функцию. Поэтому мы можем говорить о субдифференциале
класса эквивалентных функций.
Как мы уже отмечали (теорема 34.2), классы эквивалентных
замкнутых собственных вогнуто-выпуклых функций на х Rn
находятся во взаимно однозначном соответствии с замкнутыми
собственными выпуклыми бифункциями, действующими из Нт
в R.n, а последние в свою очередь — во взаимно однозначном соот-
ветствии с замкнутыми собственными выпуклыми функциями на
Ит+П. Следующая теорема показывает, как эти соответствия отра-
жаются на субдифференциалах. Она утверждает, в частности, что
для классов взаимно сопряженных седловых функций соответ-
ствующие субдифференциалы оказываются обратными друг другу
как многозначные отображения, т. е. в данном случае ситуация
в точности такая же, как и в случае выпуклых функций.
Теорема 37.5. Пусть К — замкнутая собственная вогнуто-
выпуклая функция на F х V и К* принадлежит классу эквива-
лентных седловых функций, сопряженных с К- Обозначим через F
ту {единственную) замкнутую собственную выпуклую бифункцию,
действующую из в Йп, при которой выполняется равенство
(с12 К) (и, v) = {Fu, v), и пусть f — график-функция бифункции F,
т. е.
f {и, v*) = sup {{v, v*) — К {и, v)}.
V
Тогда следующие условия эквивалентны'.
(а) {и*, v*) Е дК {и, о);
(Ь) {и, и) £ дК* {и*, о*);
(с) (—и*, v) = df {и, о*);
(d) {Fu) (и*) —{v, v*) = {F*v) {и*) —{и, и*).
Доказательство. Покажем сначала, что из (а) сле-
дует (d). По определению v* £ д2К {и, v) в том и только том случае,
когда верхняя грань функции {•, v*) — К {и, •) на R” достигается
в точке v. Эта верхняя грань равна {Fu) {и*), так как выпуклая
функция Fu сопряжена с замыканием выпуклой функции /С (и, •).
Поэтому V* € д2К {и, v) тогда и только тогда, когда
{и, о*> — К {и, v) = {Fu) {v*).
Точно так же и* € diA" {и, v) тогда и только тогда, когда
{и, и*} — К {и, v) = {F*v) {и*).
406
г
§37. СОПРЯЖЕННЫЕ СЕДЛОВЫЕ ФУНКЦИИ
Таким образом, («*, v*) g дК (и, v) тогда и только тогда, когда
(v, v*) — (Fu) (v*) = К (и, v) = (и, и*} — (F*v) (и*).
Из этого условия следует (d); обратная импликация также верна
в силу общего неравенства
(о, v*) — (Fu) (v*) (Fu, v) К (и, v)
(и, F*v) (и, и*) — (F*v) (и*).
Таким образом, (а) эквивалентно (d). Поскольку функция /С*
связана с обратными бифункциями F* и F* так же, как /С связана
с F и F* (т. е. как в теореме 37.1), отсюда следует, что условие (Ь)
эквивалентно равенству
(F$u*) (v) —(v, и*) = (F*v*) (и) —(и, и*),
в свою очередь эквивалентному (d), так как
(F*v*) (и) = - (Fu) (о*),
(F:«*) (v) = - (F*v) («*).
Имеем по определению
(F*v) (и*) = inf {(Fu) (v*) —(v, v*) +(ц, и*)} —
= —sup {(и, —и*) +<о, v*) — f (и, и*)} = —/* (—и*, v),
u,v*
т. е. (d) можно представить и так:
f (и, V*) + f* (—^и*, v) = (и, —и*) + (v, v*).
Последнее условие в силу теоремы 23.5 эквивалентно (с).
Эквивалентность условий (а)„и (с) означает, согласно теоре-
ме 37.4, что вектор (и, v) в том и только в том случае будет седловой
точкой вогнуто-выпуклой функции К—(•, и*)—(•, v*), когда
(и*, v*) есть седловая точка вогнуто-выпуклой функции /С* —
— (и, ) — (v, •). Эквивалентность условий (а) и (с) означает, что
многозначные отображения, являющиеся субдифференциалами
замкнутых собственных седловых функций /С, можно получить
просто «частичным обращением» субдифференциалов замкнутых
собственных выпуклых функций f. Поэтому обнаруженные ранее
геометрические свойства отображений df порождают соответствую-
щие свойства отображений дК.
Следствие 37.5.1. Если К—замкнутая собственная
вогнуто-выпуклая функция на X Rn, то график отображения дК
замкнут и формула
(и, v, и*, v*) -> (и — и*, v + и*)
определяет гомеоморфное отображение графика дК на X Нп.
407
ГЛ. VII. СЕДЛОВЫЕ ФУНКЦИИ И МИНИМАКС
Доказательство немедленно следует из теоремы 24.4
и следствия 31.5.1.
Следствие 37.5.2. Если К — замкнутая собственная
вогнуто-выпуклая функция, то
р: (и, v) -> {(—и*, v*) | (и*, и*) 6 дК (ц, ц)}
есть максимальное монотонное отображение пространства Rm X Яп
в себя. В частности если К всюду конечна и дифференцируема, то
(и, v) -> (—ViK (и, v), {и, о))
есть максимальное монотонное отображение.
Доказательство. По теореме
(ц*, V*) 6 р (и, о)
тогда и только тогда, когда
(«*, V) £ df (и, V*),
где f — определенная замкнутая собственная выпуклая функция.
Максимальная монотонность отображения р следует из максималь-
ной монотонности отображения df (следствие 31.5.2).
Следующий результат важен для получения условий, обеспечи-
вающих существование седловых точек.
Следствие 37.5.3. Пусть К — замкнутая собственная сед-
ловая функция на Н™ X Нп и К* принадлежит классу эквивалент-
ных седловых функций, сопряженных с К- Тогда множество седловых
точек функции К равно дК* (0, 0) и седловые точки функции К
образуют замкнутое выпуклое множество, непустое тогда и только
тогда, когда •
(0, 0) 6 dom дК*.
В частности, К имеет седловую точку, если
(0, 0) € ri (dom К*).
Доказательство. В силу эквивалентности условий (а)
и (Ь) теоремы {и, о) 6 дК* (0, 0) тогда и только тогда, когда (0, 0) €
€ дК (и, v), т. е. тогда и только тогда, когда (и, v) есть седловая
точка функции К- Осталось применить теорему 37.4 к функции К*.
Чтобы получить теорему существования седловой точки, нужно
только заменить условие (0, 0) 6 ri (dom К*) подходящим усло-
вием, в котором участвует сама функция К- Это нетрудно сделать,
используя доказанные в теореме 37.2 формулы, выражающие опор-
ные функции множеств domi К* и dom2 К* через К- Ограничимся
для простоты только тем случаем, который соответствует условию
(О, 0) € int (dom К*) = int (domi К*) X int (dom2 К*).
408
§37. СОПРЯЖЕННЫЕ седловые функции
Теорема 37.6. Пусть К — замкнутая собственная вогнуто-
выпуклая функция на HP” X DV* и С X D — ее эффективное множе-
ство. Если одновременно выполняются условия (а) и (Ь) теоремы 37.3.
то функция К имеет седловую точку (обязательно лежащую в CxD).
Доказательство. В силу следствия 37.2.1 из условия
теоремы следует, что 0 £ int (domi К*) и О G int (dom2 №*). Но в этом
случае следствие 37.5.3 позволяет утверждать существование седло-
вой точки у функции К-
Следствие 37.6.1. Пусть К — замкнутая собственная
вогнуто-выпуклая функция и С X D — ее эффективное множество.
Если множества Cut) ограничены, то К имеет седловую точку
и конечное седловое значение.
Доказательство такое же, как и у следствия 37.3.1.
Следствие 37.6.2. Пусть С и D — непустые замкнутые
ограниченные выпуклые множества в и соответственно и
К — конечная непрерывная вогнуто-выпуклая функция на С X D.
Тогда К имеет седловую точку относительно С X D, т. е. суще-
ствуют и £ С и v fzD, такие, что
К (и, (м, V)(и, и), Vu е с, VoеD.
Доказательство такое же, как и у следствия 37.3.2.
Можно доказать и более общее утверждение. Пусть Д' — конеч-
ная седловая функция на произведении Со X Do непустых отно-
сительно открытых множеств Со и Do- Ее можно продолжить
до замкнутой собственной седловой функции на HV” X Нп,
такой, что
Со X Do cz dom /С с: cl (Со X Do)
(следствие 34.5.1). Если множество Со X Do ограничено, то про-
долженная функция К имеет седловую точку относительно С X D =
= dom К. (следствие 37.6.1 и теорема 36.3).
ГЛАВА VIII
Выпуклая алгебра
§ 38. Алгебра бифункций
Как уже отмечалось, операции сопряжения и обращения для
выпуклых и вогнутых бифункций можно рассматривать как обобще-
ние соответствующих операций для линейных операторов. Именно,
пусть А —линейный оператор, действующий из в Rn, и F —
выпуклая индикаторная бифункция оператора А, т. е. замкнутая
собственная выпуклая бифункция, действующая из HV" в № и опре-
деленная формулой
( 0, если х = Аи,
(F«)(x) = 6(x|Au)= ( А
Сопряженная бифункция F* является тогда вогнутой индикатор-
ной бифункцией сопряженного линейного оператора А*:
( 0, если ы* = А*х*,
«И=-в(«'|Л1=
ОО у С^</111 U j лл. Л
и
(Fu, х*) = (Аи, х*) = (и, А*х*) = (и, F*x*).
Если оператор А обратим, то обратная бифункция F* есть вогнутая
индикаторная бифункция оператора A-1, a F* — выпуклая инди-
каторная бифункция оператора (А*)~х = (Л"1)*.
В этом параграфе мы хотим показать, как другие известные
операции линейной алгебры, такие, как сложение и умножение
линейных операторов, могут быть распространены на бифункции,
и объяснить связь этих обобщенных операций с операцией сопря-
жения.
Пусть Fi и F2 — собственные выпуклые бифункции, действую-
щие из в №. Положим
(Fu) (х) = (FiU □ F2u) (х) = inf {(Ftu) (х — у) + (Г2«) (У) }•
У
Тогда бифункция F тоже действует из в №. Обозначим ее
символом Fi □ F2. Эта операция может рассматриваться как
410
§ 38. АЛГЕБРА БИФУНКЦИЙ
обобщение сложения линейных операторов в том смысле, что если
Fi и F2 — выпуклые индикаторные бифункции линейных операто-
ров Ai и Л2 соответственно, то Fi □ Fz — выпуклая индикаторная
бифункция оператора Ai + Л2. Для вогнутых бифункций опера-
ция □ определяется аналогично, с той лишь разницей, что вместо
нижней грани в ее определении должна участвовать верхняя грань.
Теорема 38.1. Пусть Fi и Fz— собственные выпуклые
бифункции, действующие из в Йп. Тогда Fi □ Fz есть выпуклая
бифункция, действующая из в и
dom (Ft □ F2) = dom Fi dom Fz.
Кроме того, если принять следующее соглашение о сложении беско-
нечностей: 4-оо — оо = —оо 4- оо = —оо, то
((Et □ Fz) и, х*) = {Рщ, х*} 4- (F2u, х*), Уи, х*.
(Такой же результат верен для вогнутых бифункций, если согла-
ситься считать, что 4-оо — оо = —оо 4- оо = 4-оо.)
Доказательство. График-функции бифункций Fi
и F2 — собственные и выпуклые, а график-функция бифункции
Fi □ Fz получается из них при помощи частичной инфимальной
конволюции и, значит, тоже выпукла. Поэтому Fi □ Fz — выпук-
лая бифункция. Если и С dom Fi f| dom Fz, то Рщ и Fzu будут
собственными выпуклыми функциями на Rn. В этом случае
(Fi □ Ег) («) не может тождественно равняться 4-°°, т. е. и £
6 dom (Fi □ Fz), и по теореме 16.4
((Ft □ Ег) «)* = (FiU □ Е2и)* = (Е^)* 4- (Ег«)*.
С помощью скалярного произведения функций и вектора, введен-
ного в § 33, это соотношение можно переписать в виде
((Fi □ Ег) и, •) = (Рщ, ) + (F2u, • >.
Если и не принадлежит множеству dom Ft ("| dom Fz, то одна
из функций Рщ и F2u должна тождественно равняться 4~°°-
Но в этом случае (Et □ Е2) (и) тоже тождественно равна -|-оо
и, значит, и $ dom (Et □ Е2). Функция ((Fi □ Е2) и, •) при этом
тождественно равна —оо вместе с одной из функций (FiU, •) или
(Fzu, •), т. е. равенство скалярных произведений, указанное в фор-
мулировке теоремы, и в этом случае выполняется, если положить
4-00 — оо = —оо.
Поскольку инфимальная конволюция выпуклых функций комму-
тативна и ассоциативна, этими же свойствами обладает и опера-
ция □ (разумеется, там, где она определена). Вообще говоря,
операцию □ можно распространить на несобственные бифункции,
используя «геометрическое» определение инфимальной конволю-
411
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
ции, данное в § 5. При этом класс всех выпуклых бифункций стано-
вится коммутативной полугруппой относительно операции □ и роль
единичного элемента в полугруппе играет индикаторная бифунк-
ция нулевого линейного оператора.
Следующая теорема обобщает на бифункции известную формулу
Hi + Лг)* = л; + л:,
справедливую для произвольных линейных операторов.
Теорема 38.2. Пусть Fi и F2 — собственные выпуклые
бифункции, действующие из R.m в ftn. Если множества ri (dom F^
и ri (dom Г2) имеют общую точку, то
(Fi □ F2)* = F* □ Л-
Доказательство. Для всякого х* функция (Fi □ F^*x*
сопряжена с вогнутой функцией (•, (Fi □ Л)* х*), поскольку
(Л □ Л)*> будучи сопряжена с выпуклой бифункцией Fi □ F2,
замкнута и, в частности, замкнута в образах. С другой стороны,
функция (•, (Fi □ Л)* х*) совпадает с замыканием вогнутой
функции
и -> {(Fi □ F^) и, х*)
(теорема 33.2). Отсюда, используя формулы из теоремы 38.1, можно
извлечь, что, если
g (и) = {Рщ, х*) + (F2u, х*),
то (Fi □ Л)* х* сопряжена с g (при условии, что +оо — оо =
= —оо). Принимая во внимание теорему 33.1 и тот факт, что
сопряженная с Ftu принимает значение —оо в точке х* тогда
и только тогда, когда Ftu тождественнд равна 4-оо, т. е. когда
и (£ dom Ft, получим, что эффективные множества вогнутых
функций
gi (и) = (Рщ, х*>, g2 (и) = (F2u, х*)
равны соответственно dom Fi и dom F2. Если
х* £ dom (Fi □ Л) = dom F* П dom Л»
to gi и g2 нигде не принимают значения -|-оо и, поскольку по пред-
положению ri (dom Fi) f| ri (dom F2) =£ 0, то в силу теоремы 16 Л
(переформулированной подходящим образом для вогнутых функций)
g* = (gi + gd* = gi □ g2-
Так как gi — F*x* и gz = F*x*, это равенство означает, что
(Fi □ Л)* x* = (Л □ Л) х*.
Если х* не принадлежит dom (F* □ Л), то (F* □ Л) х* и одна
из вогнутых функций Fix* или F2x* должны тождественно рав-
412
§ 38. АЛГЕБРА БИФУНКЦИИ
няться —оо. Одна из функций gi или g2 в этом случае должна где-то
принимать значение +оо. Но вогнутая функция, равная в неко-
торой точке +оо, должна обращаться в +оо во всех точках относи-
тельной внутренности своего эффективного множества (теоре-
ма 7.2), поэтому в данном случае и g где-то обращается в +оо.
Но тогда (Ft □ F2)* х* — g* тождественно равна —оо и снова
совпадает с (FI □ F*) х*.
Следствие 38.2.1. Пусть Ft и F2 — замкнутые собственные
выпуклые бифункции, действующие из в 0V. Если множества
ri (dom Ft) и ri (dom F2) имеют общую точку, то бифункция
Ft □ F2 замкнута и
(Л □ Г2)*==с1 (Ft □ Ft).
Доказательство. Поскольку относительные внутренности
множеств dom Ft и domFf пересекаются,
(FJ □ Ft)* = Ft*Q Ft*.
Но F** — Ft и Fl* — F2, поскольку Ft и F2 замкнуты. Сопряженная
с вогнутой или выпуклой бифункцией замкнута. Поэтому Ft □ F2
замкнута и по теореме 30.1
(Fi П Fs)» = (Fl □ Fl)** = cl (FJ □ Fl).
В общем случае, конечно, Ft □ F2 может и не быть замкнутой.
Однако по теореме 29.4
(cl (Ft □ F2)) и — cl (Рщ □ F2m)
для всякого и из относительной внутренности множества
dom (Fi □ F2) и, значит, в частности, для всякого
и 6 ri (dom Fi) f| ri (dom F2).
Для всякого X > 0 скалярное умножение Fk определяется форму-
лой (FX) (и) = (Fu) К т. е.
((FX) и) (х) = К (Fu) (Аг1*).
Эта операция соответствует умножению линейного оператора на
действительное число: если F — выпуклая индикаторная бифунк-
Ция линейного оператора А, то FX есть выпуклая индикаторная
бифункция оператора М.
Теорема 38.3. Пусть F — выпуклая бифункция, действую-
щая из в R” и % >• 0. Тогда FX есть выпуклая бифункция, замкну-
тая, если F замкнута, и собственная, если F — собственная, и
((FX) и, х*) = X (Fu, х*), Vu, Vx*.
Наконец, (FK)* = F*k
413
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
Доказательство. Обозначим через f график-функцию
бифункции F, т. е. / (и, х) = (Fu) (х). Надграфик график-функции
бифункции FK представляет собой образ множества epi f при
взаимно однозначном линейном отображении
(и, х, р) -> (и, кх, Хр.)
пространства Rm+n+1 в себя, так что график-функция бифункции FX
выпукла и т. д. Указанная в формулировке теоремы формула для
скалярных произведений выводится из соотношения
((Fu) X)* = X (Fuy, Vm
(теорема 16.1). Бифункции (FX)* и F*X замкнуты по теореме 30.1,
и из только что доказанной формулы следует:
(и, (FX)* х*) = cla ((FX) и, х*) =
= X clu (Fu, х*) = Х(п, F*x*) = (и, (F*X) х*)
(теорема 33.2). Поэтому в силу теоремы 33.3 (FX)* = F*X.
Пусть F — собственная выпуклая бифункция, действующая
из R.m в Нп. Всякой выпуклой функции f на R”1, нигде не обращаю-
щейся в —оо, мы можем поставить в соответствие функцию Ff —
образ f при бифункции F, определенную формулой
(Ff) (х) = inf {f (и) + (Fu) (х)} = inf {f - F*x}.
u
(Аналогично, когда F и f вогнуты.) Если F — индикаторная бифунк-
ция линейного оператора А, то Ff = Af.
Теорема 38.4. Пусть F — собственная выпуклая бифунк-
ция, действующая изКт в Кп, и f — собственная выпуклая функция
на R"1. Тогда Ff — выпуклая функция на Rn. Если множества
ri (dom F) и ri (dom f) имеют общую точку, то
(Ff)* = F*J*
и нижняя грань в определении (Г*/*) (х*) достигается при каж-
дом х*.
Доказательство. Положим h (и, х) = f (и) + (Fu) (х).
Тогда h — выпуклая функция на Rm+n и Ff — образ h при проекти-
ровании (и, х) -> х. Поэтому Ff выпукла (теорема 5.7). Для вся-
кого х* 6
' (Ff)* (х*) = sup {(х, х*) — inf {/ (и) + (Fu) (х)}} =
= sup {(х, х*) — (Fu) (х) — f (и)}.
и,х
Эффективное множество вогнутой функции
g (и) = (Fu, х*) = sup {(х, х* ) — (Fu) (х)}
X
414
§ 38. АЛГЕБРА БИФУНКЦИЙ
совпадает с dom F, а ее сопряженная равна F*x*. Предположим,
что ri (dom f) пересекается с ri (dom g) = ri (dom F). Если x* 6
£ dom F*, to g — собственная функция и по теореме двойственности
Фенхеля (или, более точно, в силу того, что можно получить из
теоремы двойственности Фенхеля, если обе части в равенстве в тео-
реме 31.1 умножить на —1)
(Г/)* (х*) = sup {g («) —/(«)} = inf {f* (и*) —g* (w*)} =
и и*
= inf {f* («*) + (f;«*) (X*)} = (F:r) (x*),
u*
причем нижняя грань достигается. С другой стороны, если х* $
(J dom F*, то вогнутая функция g — несобственная, и, значит, она
тождественно равна 4~оо на относительной внутренности своего
эффективного множества. В этом случае (Ff)* (х*) должна равнять-
ся +оо. В то же время F*x* постоянна и тождественно равна —оо,
так что нижняя грань, определяющая (F*f*)-(x*), равна 4~оо и, оче-
видно, достигается.
Следствие 38.4.1. Пусть F — замкнутая собственная
выпуклая бифункция, действующая из R"1 в и f — замкнутая
собственная выпуклая функция на Если множества ri (dom f)
и ri (dom F*) пересекаются, mo Ff замкнута и нижняя грань в опре-
делении (Ff) (х) достигается при всяком х. Более того, в этом слу-
чае (Ff)* = cl (F*J*).
Доказательство. По условию (F*)* = F и /** = /.
Осталось применить теорему к F* и f*.
С помощью введенной операции можно естественно определить
произведение двух бифункций. Пусть F — собственная выпуклая
бифункция, действующая из R™ в R.n, и G — собственная выпуклая
бифункция, действующая из в Нр. Определим бифункцию GF,
действующую из в Rp, следующим образом:
(GF) и = G (Fu),
или, другими словами,
((GF) и) (у) = inf {(Fu) (х) + (Gx) (у)} = inf {Fu - G*y}.
X
Когда бифункции F и G вогнуты, следует вместо нижней грани
брать верхнюю. Очевидно,
(GF)* = F*G«.
Заметим, что если F и G — выпуклые индикаторные бифункции
линейных операторов А и В соответственно, то FG — выпуклая
индикаторная бифункция их произведения АВ.
Теорема 38.5. Пусть F — собственная выпуклая бифунк-
Ция, действующая из в !КП, и G — собственная выпуклая бифунк-
415
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
ция, действующая из Н" в RA Тогда GF—выпуклая бифункция,
действующая из в Rp. Если, кроме того, множества ri (dom F*)
и ri (dom G) имеют общую точку, то
(GF)* = F*G*,
и верхняя грань в определении ((F*G*) у*) (и*) достигается при
всяких и* € HV", у* Е R₽.
Доказательство. Положим
h (и, х, у) = (Fu) (х) 4- (Gx) (у).
Тогда h — выпуклая функция на jvn+n+p. График-функция бифунк-
ции GF представляет собой образ функции h при линейном отобра-
жении (и, х, у) -> (и, у) и поэтому она выпукла (теорема 7.5).
Для всяких ы* £ R.m и у* € 1ИР
{(GF)* у*) (и*) == inf inf {(Fu) (х) + (Gx) (у) — (у,у*)+(и,и*)} =
= inf {(и, и*) — (F*x) (и) —(у, у*) + (Gx) (у)}.
х,и,у
Эффективное множество вогнутой функции
g (х) = (Gx, у* > = sup {(у, у*) — (Gx) {у)}
v
совпадает с dom G, а ее сопряженная равна G*y*. Эффективное
множество выпуклой функции
f (х) — (и*, F*x) = inf {(и, и*) — (F*x) (и)}
и
совпадает с dom F*, а ее сопряженная равна F*u*. Предположим,
что относительные внутренности множеств dom G и dom F* имеют
общую точку. Если у* С dom G* и и* 6 dom F*, то g и f — соб-
ственные функции и, используя теорему двойственности Фенхеля,
получаем
((GF)* у*) (и*) = inf {f (х) —g(x)} = sup {g* (x*) — f* (x*)} =
= sup{(G*#*) (x*) + (F*x*) (u*)} = ((F*G*) y*) (u*),
X*
причем верхняя грань достигается.
Если у* 4 dom <?*, то g — несобственная функция, равная -f-oo
на относительной внутренности своего эффективного множества.
Тогда для всякого х, принадлежащего пересечению ri (dom FJ П
f] ri (dom G), и всякого и, такого, что (F*x) (и) > —оо, справедливо
равенство
inf {(и, и* > — (F*x) (и) —{у, у*) + (Gx) (у)} = —оо,
и
416
§ 38. АЛГЕБРА БИФУНКЦИЙ
и, значит, ((GF)* у*) (м*) = —оо. В то же время из у* $ dom G*
следует, что G*y* тождественно равна —оо, так что верхняя грань,
определяющая ((F*G*) у*) (и*), равна —оо и, очевидно, дости-
гается. Таким образом,
((GF)* //*) (и*) = ((F*G*) у*) («*),
если у* £ dom G*. Аналогично рассматривается случай и* $
tfdomF*
Следствие 38.5.1. Пусть F — замкнутая собственная
выпуклая бифункция, действующая из Rm в R”, и G — замкнутая
собственная выпуклая бифункция, действующая из Rn в RA Если
множества ri (dom F*) и ri (dom G*) имеют общую точку, то
бифункция GF замкнута и нижняя грань в определении ((GF) и) (у)
всегда достигается. Более того, в этом случае (GF)* — cl (F*G*).
Доказательство. Применим теорему к F* и G*. Так как
бифункции F и G замкнуты, то F = F** и G = G** и, следова-
тельно, (F*G*)* — GF, т. е. GF, будучи сопряженной бифункцией,
замкнута.
Выпуклое множество dom F* в теореме 38.5 представляет
собой, конечно, образ эффективного множества график-функции
f (и, х) = (Fu) (х) при проектировании (и, х) -> х (a dom F —
при проектировании (и, х) -* и). Таким образом, dom F, есть
объединение всех множеств dom Fu. Далее, ri (dom FJ есть образ
множества ri (dom f) при проектировании (и, х) -► х "(теорема 6.6),
так что
ri (dom F#) = (J {ri (dom Fu) | и g ri (dom F)}
в силу теоремы 6.8. Поэтому входящее в формулировку теоремы 38.5
предположение о существовании общей точки у множеств
ri (dom F#) и ri (dom G) можно заменить эквивалентным пред-
положением о том, что для некоторого и £ ri (dom F) множества
ri (dom Fu) и ri (dom G) пересекаются. Нетрудно показать, что
множество ri (dom GF) состоит в точности из таких векторов (если
они существуют). В общем случае, конечно, множество dom GF
содержит те и только те векторы ц 6 dom F, при которых множе-
ства dom Fu и dom G пересекаются.
Умножение выпуклых бифункций (там, где эта операция опре-
делена) ^ассоциативно, т. е.
Н (GF) = (HG) F,
когда F, G, Н, GF и HG — собственные бифункции. Ассоциатив-
ный закон сохраняется и для несобственных выпуклых бифункций,
если распространить на них операцию умножения, полагая, если
необходимо, -|-оо — оо = 4-оо. При таком расширенном толкова-
нии умножения класс всех выпуклых бифункций, действующих
27
Р. Рокафеллар
417
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
из в себя, представляет собой (некоммутативную) полугруппу,
роль единицы в которой играет индикаторная функция тождествен-
ного оператора.
Для описания свойств выражений типа ((GF) и, у*) полезно
более общее понятие скалярного произведения; Пусть f — соб-
ственная выпуклая функция на a g — собственная вогнутая
функция на Нп. Положим С = dom f и D = dom g. Если
sup inf «X, у} — f (x) — g (y)} = sup {g* (x) — f (x)}
y£D x
И
inf sup {(x, y} — f (x) — g (y)} = inf {/* (y) — g («/)}
y^D x£C у
равны, то общую величину этих экстремумов мы будем называть
скалярным произведением функций f и g и обозначать символом
(Д g}. (В случае отсутствия равенства скалярное произведение
не определено.) В силу теоремы двойственности Фенхеля скалярное
произведение определено, в частности, когда либо g замкнута
и множества ri (dom f) и ri (dom g*) пересекаются, либо f замкнута
и множества ri (dom f*) и ri (dom g) пересекаются. Одно из этих
условий заведомо выполняется, если fug — замкнутые функции
и эффективное множество одной из них ограничено. (Если ограни-
чено С, то dom /* = Rn в силу следствия 13.3.1. Аналогично, если
ограничено D, то dom g* = IKn.)
В случае когда f и g являются индикаторными функциями
точек а и b соответственно, т. е. f (х) = б (х | а) и g (у) = —б (у | Ь),
скалярное произведение (Д g) совпадает с обычным скалярным
произведением векторов а и Ь.
Новое определение согласуется с введенным в § 33 обозначе-
нием (Д х*) для f* (х*) в том смысле, что <Д g) = (f, х*) при
g (У) = — 6 (у I х*).
Экстремумы в определении скалярного произведения допускают
следующую эквивалентную запись:
sup (g* (х) — f (х) | х 6 (dom g* f| dom /)},
inf {/* (y) — g (y) | у e (dom f* f| dom g)}.
Эти выражения имеют смысл и в том случае, когда f или g — несоб-
ственные функции. С их помощью можно распространить определе-
ние скалярного произведения (Д g) на несобственные выпуклые
и вогнутые функции. Нетрудно проверить, что отмеченно_е выше
условие пересечения относительных внутренностей достаточно для
существования {f, g) и в случае несобственных функций.
Лемма 38.6. Пусть f — выпуклая функция на Rn и g —
вогнутая функция на &п. Если (f, g) определено, то и {f*,g*)
имеет смысл и
tf*, g*) =— <Д g>.
418
§ 38. АЛГЕБРА БИФУНКЦИЙ
Более того, при сделанных предположениях и (cl f, cl g) суще-
ствует и равно (f,g).
Доказательство. Если векторы х и у таковы, что
/**(*)< 4-00, g* (х) > — ОО, g** (у) > —оо, /*(«/)< 4-00, то
в силу неравенства Фенхеля
4-ос > /** (х) 4- f* (у) ^>(х, y)^g* (х) 4- g** (у) > —оо
и, следовательно,
f** (х) — g* (х) > я** (У) — /* (У)-
Поскольку f и g** g,
inf {f (х) — g* (х) | х g (dom f П dom g*)} >
inf {/** (x) — g* (x) | x 6 (dom f** (] dom g*} >-
> sup {g** (y) — f* (у) I у e (dom g** n dom f*} >
> sup {g (g) — f*(y) I у € (dom g П dom /*)}.
Если два средних экстремума равны, то они дают (/*, g*). Однако,
если скалярное произведение (f, g) имеет смысл, то первый
и последний экстремумы равны —(/, g), так что все четыре экстре-
мума совпадают. Существование </*, g*} влечет в свою очередь
существование скалярного произведения функций /** = cl f и g** =
= cl g и равенство (cl f, cl g) = (f, g).
Теорема 38.7. Пусть F — собственная выпуклая бифунк-
ция, действующая цз Rm в Hn, f — собственная выпуклая функция
на R”1 и g — собственная вогнутая функция на R.n. Предположим,
что существует хотя бы один такой вектор и 6 ri (dom f) П
П ri (dom F), что множества ri (dom Fu) и ri (dom g) пересекаются.
Тогда выполняются следующие равенства:
(Ff, g) = (f, F*g*) = - (/*, F*g> = -(FJ/*, g)
(и, в частности, все четыре скалярных произведения имеют смысл).
Доказательство. Рассмотрим выпуклые множества
С и D:
С = {(и, х) | м £ R.m, х G ^n, (Fu) (х) < 4-оо },
D = {(и, х) | и £ R.m, х € Rn, f (и) < 4-оо }.
Образ пересечения С f] D при линейном отображении (и, х)-> х
совпадает с dom Ff, и, следовательно, образ множества ri (С П D)
совпадает с ri (dom Ff) (теорема 6.6). Имеем в силу теоремы 6.8
ri С = {(и, х) | и б ri (dom F), х £ ri (domF«)}.
По предположению ri (dom f) П ri (dom F) #= 0. Поэтому и ri C ("|
П ri D 0, так что
ri (C f) D) = ri С П ri D
419
27*
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
(теорема 6.5). Таким образом, множество ri (dom Ff) есть образ
множества ri С f) ri D при отображении (и, х) х и
ri (dom Ff) = U {ri (dom Fu) | и 6 ri (dom f) f| ri (dom F)}.
Последнее множество по условию пересекается с ri(domg). По- ।
этому ri (dom Ff) пересекается с ri(domg**) и (Ff, g*) имеет
смысл. Точно также ri (dom (Ff)**) пересекается с ri (doing) и I
((Ff)*, g) имеет смысл. По теореме 38.4 справедливо равенство I
(Ff)* = F*f*. Следовательно, (F*f*, g) имеет смысл и по лемме 38.6
W, g> =((Ff)*, g) = -(d(Ff),g*) = —(Ff,g*).
Рассмотрим теперь бифункцию F*. Формула
ri С = {(и, х) | х С ri (dom F#), и £ ri (dom 7\,х)}
верна в силу теоремы 6.8. Наши предположения, касающиеся отно-
сительных внутренностей, можно теперь выразить следующим
эквивалентным способом: существует хотя бы один вектор х £
6 ri (dom g) П ri (dom F*), такой, что множества ri (dom/)
и ri (dom Р^х) пересекаются. Разумеется, (F*)* = F*. Поэтому
те же рассуждения, что и выше, приводят нас к доказательству
существования </*, F*g), (f, F*g*) и равенству
(/, F*g*) = -(f*, F,g).
По определению
(f, F*g*) = inf {/* (и*)—(F*g*) (и*) | и* C dom f* f] dom (F*g*)} =
= inf {f* (u*) —g* (x*) — (F*x*) (u*)}.
u*,x*
С другой стороны,
(F$f*, g) = sup {g* (x*) — (F*f*) (x*) | x* € dom g* f| dom F*f* } =
— sup {g* (x*) — f* (u*) — (F*u*) (x*)}.
Поэтому
(F*f*,g) = -</, F*g*),
чем и завершается доказательство теоремы.
Следствие 38.7.1. Пусть F — собственная выпуклая би-
функция, действующая из в Нп. Пусть f — собственная выпуклая
функция на 8im, такая, что множества ri (dom f) и ri (dom F)
пересекаются. Тогда скалярное произведение (f, F*x*) существует
для всякого х* 6 R.” и
(Ff, х*) = (/, F*х*).
Доказательство. Зафиксируем х* и применим теорему
с g= (-, x*).U
Следствие 38.7.2. Пусть F — собственная выпуклая
бифункция, действующая из в HV1, и G — собственная выпуклая
420
§ 38. АЛГЕБРА БИФУНКЦИЙ
бифункция, действующая из Rn в RA Предположим, что множе-
ства ri (dom F*) и ri (dom G) имеют общую точку. Тогда, каково
бы ни было и G ri (dom GF), скалярное произведение функций Fu
и G*y* существует при всяком у* £ Rp и
(GFu, у*} = (Fu, G*y*) = (и, F*G*y*).
Доказательство. Равенство первого и последнего ска-
лярных произведений вытекает просто из следствия 33.2.1, посколь-
ку F*G* = (GF)* из-за теоремы 38.5. С другой стороны, если
множества ri (dom Fu) и ri (dom G) пересекаются, то первое равен-
ство гарантируется предыдущим следствием. Таким образом, доста-
точно проверить, что
ri (dom GF) — {и € ri (dom F) | ri (dom Fu) f| ri (dom G) =/= 0},
если только
ri (dom F*) П ri (dom G) #= 0.
Мы оставляем доказательство этого факта читателю в качестве
полезного упражнения на вычисление относительных внутренно-
стей (см. замечания после следствия 38.5.1).
Предыдущие результаты приобретают особенно изящную форму,
если бифункция F кофинитна в том смысле, что при всяком и £
функции Fu кофинитны. Из этого условия следует, что dom F =
= и что бифункция F — замкнутая и собственная (теоре-
ма 29.4).
Поскольку кофинитные выпуклые (или вогнутые) функции суть
в точности сопряженные с конечными выпуклыми (или вогнутыми)
функциями (следствие 13.3.1), бифункция F кофинитна в том
и только том случае, когда функция (Fu, х*) крнечна для всех и
и х*. Таким образом, кофинитные выпуклые (или вогнутые) бифунк-
ции, действующие из R.m в Rn, находятся во взаимно однозначном
соответствии с конечными седловыми функциями на Ят х
(следствие 33.1.2). Отсюда следует, что сопряженная F* кофинит-
ной бифункции F сама кофинитна и
(Fu, х*) — (и, F*x*), У и, Ух*,
(следствие 33.2.1). Отсюда следует, далее, что замкнутая выпуклая
бифункция F, действующая из в Rn, кофинитна в том и только
том случае, когда dom F — и dom F* = Нп (теорема 34.2).
Простейший пример кофинитной бифункции — индикаторная
бифункция линейного оператора. Соответствующая ей седловая
Функция билинейна.
Если бифункции fi и F2 кофинитны, то и бифункция Fi □ F2
кофинитна и
(Fi □ F2)* = F* □ F2*.
421
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
Этот факт сразу следует из формулы для скалярных произведена
в теореме 38.1 и из следствия 38.2.1. Операция F -> ГА (А > 0)
тоже сохраняет кофинитность.
Если F — кофинитная выпуклая бифункция, действующая из
ВЦ” в Ип, a G — кофинитная выпуклая бифункция, действующая
из R.n в Rp, то и бифункция GF, действующая из в Rp, кофи-
нитна и
(GF)* = F*G*
(теорема 38.5 и следствие 38.5.1). Таким образом, кофинитные
выпуклые бифункции, действующие из R” в себя, образуют неком-
мутативную полугруппу относительно умножения.
Наконец, равенство скалярных произведений
{Ff, g*} =(f, F*g*)
всегда справедливо, если F, f и g* кофинитны (теорема 38.7).
Большинство результатов этого параграфа можно усилить в спе-
циальном случае полиэдральных бифункций. Мы предоставим сде-
лать это читателю.
§ 39. Выпуклые процессы
Выпуклые процессы занимают промежуточное положение между
линейными операторами и бифункциями. Они образуют алгебру
многозначных отображений, обладающую многими интересными
свойствами, связанными с двойственностью.
Выпуклым процессом, действующим из в 01”, называется
многозначное отображение А: и-^-Аи, такое, что
(а) А (и± -J- и2) Auf -|- Аи2, Vut, ^и2,
(Ь) А (Аи) = АДи, VA > 0, Vh,
(с) 0 6 АО.
Условие (с) означает, что множество
graph А = {{и, х) | и Е AV”, х Е R.n, х Е Аи}
содержит начало координат пространства Rm+n. Условие (а) рас-
шифровывается следующим образом:
(иь xt) + (и2, х2) 6 graph А,
V (иь Xt) Е graph А, V (и2, х2) Е graph А,
а условие (Ь):
А (и, х) Е graph А, V (и, х) Е graph A, > 0.
Таким образом, многозначное отображение А пространства Н”1
в Rn является выпуклым процессом тогда и только тогда, когда
422
' § 39. ВЫПУКЛЫЕ ПРОЦЕССЫ
его график есть множество, замкнутое относительно сложения
и умножения на неотрицательные скаляры, т. е.— выпуклый конус
в Rm+n, содержащий начало координат.
Из определения сразу следуют различные элементарные свой-
ства выпуклых процессов. Если А — выпуклый процесс, действую-
щий из в Rn, то множества Аи выпуклы. Множество АО пред-
ставляет собой выпуклый конус, содержащий начало координат
и состоящий в точности из тех векторов у, которые удовлетворяют
условию
Аи + у с Аи, Vu.
Эффективное множество процесса А, определяемое равенством
dom А = {и | Аи #= 0 },
тоже есть выпуклый конус в ЯГ", содержащий начало координат,
а множество значений процесса А
range А = U {Аи | и £ HV"}
— выпуклый конус в Din, содержащий начало координат.
Выпуклый процесс, определенный равенством
А~гх = {и | х С Аи}, Ух,
называется обратным к А. Очевидно,
dom Л-1 = range А,
range Л-1 = dom Л.
Выпуклый конус Л-10 состоит из векторов и, обладающих тем
свойством, что
Л (м + у) => Аи, У и.
Если Л — однозначное отображение и dom Л = OV", то усло-
вие (а) сводится к равенству
Л (uj -|- и%) = Aui Аи2-
Таким образом, линейные операторы являются специальным клас-
сом выпуклых процессов. Как показывает следующая теорема,
среди выпуклых процессов только линейные операторы обладают
тем свойством, что множества Аи непусты и ограничены для вся-
кого и.
Теорема 39.1. Если А — выпуклый процесс, действующий
из R.m в R.n, dom Л = Rn и ЛО — ограниченное множество, то А —
линейный оператор.
Доказательство. Так как ЛО — выпуклый конус,
содержащий начало координат, из условия ограниченности ЛО сле-
дует, что ЛО не содержит иных точек, кроме нуля. Отношение
Аи + Л (—и) с: ЛО
423
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
показывает, что всякое множество А и содержит единственный век-
тор (также обозначаемый далее А и) и А (—и) = —Аи. Но в этом
случае, как было только что показано, A (щ + и2) = Ащ + Аи2
для всяких щ, и2, а равенство А (ки) = КАи следует из условия (Ь)
в определении выпуклого процесса.
Приведем пример выпуклого процесса, не являющегося линейным
оператором:
({х | х Ви}, если и О,
А и — л
I 0, если и > О,
где В — линейный оператор, действующий из в Заметим, что
Л-1х — {и | и 0, Ви~^> х}, Vx.
Таким образом, выпуклый процесс Л-1 определяет зависимость
от х множества решений определенной системы линейных нера-
венств, в которой х играет роль «вектора констант».
Назовем выпуклый процесс полиэдральным, если его график —
полиэдральный выпуклый конус. Выпуклые процессы Л и Л-1,
рассмотренные в предыдущем примере, полиэдральны, как, очевид-
но, и все линейные операторы.
Формулировки всех последующих результатов сильно упро-
щаются в полиэдральном случае, но мы не будем на этом останав-
ливаться.
Пусть Л — выпуклый процесс, действующий из Я”* в Нп. Замы-
кание графика Л есть выпуклый конус в R,m+n, содержащий начало
координат, поэтому это график некоторого выпуклого процесса.
Мы будем называть полученный таким образом, процесс замыканием
А и обозначать cl Л. Очевидно, х £ (cl Л) (и) в том и только том
случае, когда существуют последовательности Mi, w2, • • и xlt
х2.....такие, что щ сходятся к и, xt £ Aut и xt сходятся к х.
Скажем, что процесс Л замкнут, если cl Л = Л. Ясно, что замыка-
ние Л замкнуто и
cl (Л-1) = (cl Л)-1.
Если Л — замкнутый выпуклый процесс, то при всех и 6 dom Л
множества Аи замкнуты и имеют один и тот же рецессивный конус,
именно — ЛО. (Последнее следует из того факта, что множества Аи
соответствуют «параллельным» сечениям
Lu П graph Л, и С Нт,
где через обозначено аффинное подмножество Rm+n, состоящее
из всех пар (и, х), х £ Ип. Рецессивный конус пересечения Lu П
П graph Л совпадает с рецессивным конусом пересечения Lo П
П graph Л при всяком и (следствие 8.3.3), а последний, очевидно,
равен ЛО.)
Для всякого X. > 0 формулой
(ХЛ) (м) = ХЛи
424
§ 39. ВЫПУКЛЫЕ ПРОЦЕССЫ
определяется произведение выпуклого процесса А на скаляр X.
В результате, очевидно, снова получается выпуклый процесс.
Пусть Л и В — выпуклые процессы, действующие из Нт в R.n.
Формула
(Л + В) и = Аи + Ви
определяет сумму выпуклых процессов Л и В, являющуюся,
очевидно, тоже выпуклым процессом, действующим из в Rn.
Операция сложения выпуклых процессов коммутативна и ассоциа-
тивна и совокупность всех выпуклых процессов относительно этой
операции становится полугруппой, роль единичного элемента
в которой играет нулевой линейный оператор.
Если С — выпуклое множество в К"1 и Л — выпуклый процесс,
действующий из в R”, то множество
АС = U {Ли | и 6 С}
называется образом множества С при процессе Л. Это выпуклое
множество, поскольку при 0 < X < 1
(1 — X) АС + ХЛС = Л ((1 — X) С) + Л (ХС) с
<= Л ((1 — X) С + ХС) <= АС.
Если f — выпуклая функция на DV”, то формула
(Л/) (х) = inf {/ (и) | и € А-'х}
определяет образ функции f при выпуклом процессе Л, действую-
щем из в Ип. Нетрудно проверить, что Af — выпуклая функ-
ция на R".
Произведение В А выпуклого процесса Л, действующего из JV"
в 01п, и выпуклого процесса В, действующего из Rn в SV, опреде-
ляется следующим образом:
(ВЛ) и = В (Ли) = U {Вх I х 6 Ли}.
Имеем
ВЛ (hi + и2) В (ЛИ1 + Лн2) => ВЛи1 + ВЛи2,
В А (Хи) = В (ХЛи) = ХВЛи, VX > О,
О € В (ЛО) = (ВЛ) (0),
т. е. В А — выпуклый процесс, действующий из R"1 в R₽. Очевидно,
(ВЛ)"1 = л^в-1.
Заметим, что многозначное отображение Л-1 Л не является, вообще
говоря, тождественным преобразованием. Операция умножения
выпуклых процессов ассоциативна и совокупность всех выпуклых
процессов, действующих из в себя, представляет собой (неком-
мутативную) полугруппу, роль единичного элемента в которой
играет тождественное преобразование пространства Жп.
425
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
Сложение и умножение выпуклых процессов, вообще говоря,
не связаны дистрибутивным законом. Вместо него справедливы
следующие дистрибутивные неравенства:
A (Ai + Az) AAi 4~ ААг,
(Л1 + Аг) A cz А1А + АгА.
Включение в этих соотношениях понимается в том смысле, что
А аВ тогда и только тогда, когда Аи с= Ви при всех и.
Разумеется, совокупность всех выпуклых процессов, действую-
щих из 0V" в R.n, представляет собой полную решетку относительно
частичного упорядочения, определяемого включением (так как
множество всех выпуклых конусов в HVn+n, содержащих начало
координат, упорядоченное по включению, есть полная решетка).
Для того чтобы построить содержательную теорию двойственно-
сти для выпуклых процессов, нам нужно ввести понятие ориента-
ции, отражающее различия между выпуклостью и вогнутостью
в теории бифункций. Мы можем рассматривать, выпуклое множе-
ство С как вариант выпуклой функции, отождествляя его со своей
выпуклой индикаторной функцией б(- | С), или как вариант
вогнутой функции, отождествляя его со своей вогнутой индикатор-
ной функцией —6 (• | С). В первом случае мы говорим, что С имеет
супремальную ориентацию, и полагаем
(С, х*) = (х*, С) = sup {(х, х*) | х 6 С}, Vx*.
Во втором случае мы говорим, что С имеет инфимальную ориента-
цию, и полагаем
(С, х*> = (х*, С) = inf {(х, х*) | х 6 С}, Vx*.
(Строго говоря, ориентированное выпуклое множество следует
определить как пару, состоящую из выпуклого множества и одного
из символов «sup» или «inf». Этот символ определяет «ориентацию»
выпуклого множества и показывает, как следует обращаться с ним
в последующих формулах.) Для супремально ориентированных
выпуклых множеств при помощи только что введенного символа
(С, •) обозначается опорная функция множества С, т. е. выпуклая,
сопряженная с его индикаторной функцией б (• | С). Для инфи-
мально ориентированных множеств
(С, х*) = —Л* (—х* | С),
т. е. (С, •), есть вогнуто-сопряженная с —б (• | С).
Выпуклый процесс А называется супремально ориентированным,
если множества Аи супремально ориентированы при всяком и.
Так же определяются и инфимально ориентированные выпуклые
процессы. При обращении выпуклого процесса ориентация меняет-
ся. Сумма, произведение и т. д. выпуклых процессов с одинаковой
ориентацией имеют ту же ориентацию. В дальнейшем мы будем
426
§ 39. ВЫПУКЛЫЕ ПРОЦЕССЫ
складывать и умножать только процессы, имеющие одинаковую
ориентацию.
Индикаторная бифункция выпуклого супремально ориентиро-
ванного выпуклого процесса определяется следующим образом:
(Fu) (х) = 6 (х | Аи).
Ясно, что F — выпуклая собственная бифункция, действующая
из в (График-функция бифункции F есть выпуклый конус
в Rm+n, именно график процесса Я.) Если процесс А замкнут,
то и бифункция F замкнута. Очевидно, наконец, что
dom А = dom F.
Алгебраические операции с выпуклыми процессами соответ-
ствуют введенным в предыдущем параграфе операциям с бифунк-
циями. Например, если At и А2 — супремально ориентированные
выпуклые процессы, действующие из R”1 в Rn, и Fi и F2 — их
индикаторные бифункции, то бифункция Fi □ F2 равна индика-
торной бифункции процесса Ai + А2. Если А — супремально ориен-
тированный выпуклый процесс, действующий из в Rn, В —
супремально ориентированный выпуклый процесс, действующий
из R” в Rp, F — индикаторная бифункция процесса A, G — инди-
каторная бифункция процесса В, то GF — индикаторная бифунк-
ция процесса В А.
Пользуясь ориентацией, мы можем определить понятие сопря-
женного выпуклого процесса. Пусть А — супремально ориентиро-
ванный выпуклый процесс, действующий из в Rn. Сопряжен-
ным с А мы назовем инфимально ориентированный выпуклый про-
цесс, определенный следующим образом:
А*х* = {и* | {и, и*) ~^>{х, х*), Ух 6 Аи, У и} =
= {и* |(м, и*} ~^>{Аи, х*), У и}.
(Чуть ниже мы увидим, что таким образом действительно опре-
деляется выпуклый процесс.) Чтобы получить определение сопря-
женного с инфимально ориентированным выпуклым процессом
достаточно в данном определении изменить знаки неравенств.
Очевидно,
(А*)-1 = (А-1)*.
Заметим, что в случае когда А — линейный оператор, то сопря-
женный с А как с выпуклым процессом (неважно какой ориентации)
есть сопряженный линейный оператор. Действительно, из условия
{и, и*) ~^>{Аи, х*), У и,
следует, что
{и, и*) = {Аи, х*), У и,
т. е. и* есть образ вектора х* при линейном сопряженном ото-
бражении.
427
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
Теорема 39.2. Пусть А — ориентированный выпуклый про-
цесс, действующий из R.m в Тогда А* —замкнутый выпуклый
процесс, действующий из Rn в Rm, имеющий противоположную
ориентацию, и А** = cl А. При этом сопряженная с индикаторной
бифункцией процесса А оказывается индикаторной бифункцией
процесса А*.
Доказательство. Предположим, что А супремально
ориентирован. Пусть К — graph А и f — график-функция инди-
каторной бифункции процесса А, т. е. f — 6 (• | /С). Сопряженная
с f равна 6(- | №), где № — полярный конус (см. § 14), а
, (F*x*) (и*) = —f* (—и*, х*)
по определению. График процесса А* состоит из тех векторов
z* = (и*, х*) из 0Vn+n, которое при всех z из графика процесса А
удовлетворяют неравенству {z, г*) 0 (здесь z* — (—и*, х*)).
Таким образом,
graph А* = {(«*, х*) | (—и*, х*) С К°}.
Отсюда следует, что график процесса А* представляет собой замк-
нутый выпуклый конус в Rm+n, содержащий начало координат,
и, следовательно, А*—замкнутый выпуклый процесс. Далее,
(Г*х*) (и*) = —6 (м* | А*х*),
т. е. F*—индикаторная бифункция ^процесса А*.
Равенство Л** = cl А следует из равенства F** = cl F (теоре-
ма 30.1) или из эквивалентного равенства Д'00 = с! К- Инфимально
ориентированные процессы исследуются таким же образом.
Пусть А — ориентированный выпуклый процесс и F — его
индикаторная бифункция. Тогда по определению
(Ди, х* > = {Fu, к* )•, Vu, Vx*.
Мы можем конкретизировать для выпуклых процессов общие теоре-
мы о свойствах скалярных произведений, содержащих выпуклые
или вогнутые бифункции.
Теорема 39.3. '‘Пусть А — супремально ориентированный
выпуклый процесс, действующий из в Нп. Тогда {Аи, х*)—
положительно однородная замкнутая выпуклая функция переменной
х* и положительно однородная вогнутая функция переменной и.
Точно так же если А — инфимально ориентированный выпуклый
процесс, действующий из R."1 в Нп, то {Аи, х*) положительно
однородная замкнутая вогнутая функция переменной х* и положи-
тельно однородная выпуклая функция переменной и. В обоих случаях
{и, Д*х*> = с1ц {Аи, х*).
428
§ 39. ВЫПУКЛЫЕ ПРОЦЕССЫ
Если же А — замкнутый процесс, то
{Аи, х*> = с1я*(и, А*х*)
и
{Аи, х*) — {и, А*х*)
при и ri (dom Л) или х 6 ri (dom Л*).
Доказательство. Положительная однородность по х*
следует из того, что {Аи,•) есть опорная функция множества Аи,
а положительная однородность по и — из условия (Ь) в определе-
нии выпуклого процесса. Все остальные утверждения следуют
из теорем 33.1, 33.2 и следствия 33.2.1.И
Теорема 39.4. Соотношения
К {и, х*) — {Аи, х*),
Аи = {х |<х, х*)^ К {и, х*), Vx*}
определяют взаимно ознозначное соответствие между замкнутыми
снизу вогнуто-выпуклыми функциями К на х Я”, такими, что
К (0, 0) = 0 и
К (Хи, х*) = Х/С (и, х*) = К (и, Хх*), VX > 0, Vu, Vx*,
и супремально ориентированными замкнутыми выпуклыми процес-
сами, действующими из в Нп. {Аналогичная связь существует
между выпукло-вогнутыми функциями и инфимально ориентирован-
ными выпуклыми процессами.)
Доказательство. Эта теорема есть специальный случай
теоремы 33.3. Нетрудно показать, что бифункция F в том и только
том случае будет индикаторной бифункцией выпуклого процесса,
когда /С обладает указанными в формулировке теоремы свойства-
ми.
Нам хотелось бы подчеркнуть, что равенство
{Аи, х*) —{и, Л*х*)
(которое в силу последнего утверждения теоремы 39.3 «обычно»
оказывается верным) отражает двойственную связь двух экстре-
мальных задач. Это обстоятельство уже отмечалось в более общей
ситуации после следствия 33.2.2. Если А — супремально ориенти-
рованный выпуклый процесс, то А* — инфимально ориентирован-
ный выпуклый процесс и для всяких фиксированных и и х*
{Аи, х*) = sup {(х, х*) | х £ Аи},
{и, Д*х*) = inf {{и, и*) | и* £ Л*х*}.
Таким образом, {Аи, х*) получается при максимизации линейной
функции (•, х*> на выпуклом множестве Аи, а {и, А*х*) полу-
429
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
чается при минимизации линейной функции {и, •) на выпуклом
множестве А*х*. Если процесс А полиэдрален, то и А* полиэдрален
в силу теорем 39.2 и 30.1. Легко видеть, что в этом случае множе-
ства Аи и А*х* тоже полиэдральны, так что обе экстремальные
задачи можно выразить с помощью линейных программ.
Для иллюстрации рассмотрим уже упоминавшийся в этом
параграфе пример
i{x\x^Bu}, если м>0,
~ ( 0, если и qk 0,
А~*х = {и | и 0, Ви^> х},
где В — линейный оператор, действующий из R.”1 в ЙА Предпо-
ложим, что А супремально ориентирован, так что А-1 инфимально
ориентирован. Имеем
' {Ви, х*),
{Аи, х*)=< +<ю,
если ы^-0, х*:>0,
если «>-0, х* > 0,
если и 0.
. —оо, 4
По теореме 39.3 замыкание {Аи, х*) как вогнутой функции ,пере-
мённой и дает {и, А*х*}. Таким образом,
{и, Л*х*) =
{и, В*х*),
— 0°,
+ 0°,
если
м^-0, х*>0,
если и 0, х*>0,
если х* 0.
Отсюда следует, что
( {w*l«*>B*x*},
А*х* = \
I 0,
если х* > О,
если х* О,
(Л-1)* «* = А* 1ы* = {х* | х*:>0, В*х*~^и*},
где Л* — инфимально ориентированный процесс, а (Л’1)* = Л*-1 —
супремально ориентированный. Для всяких фиксированных х и и*
{и*, Л-1х) = inf {{и, и*) | и 0, Ви х},
{{А~*)*и*, х) = sup {(х, х*) | х* > О, В*х* и*}.
Мы уже сталкивались с тем, что оба эти экстремума обычно совпа-
дают. Точная формулировка соответствующего утверждения, при-
веденная после доказательства теоремы 30.4, составляет содержание
теоремы двойственности Гейла — Куна — Таккера для линейных
программ.
Из общих результатов предыдущего параграфа можно легко
извлечь основные свойства сумм и произведений выпуклых про-
цессов.
430
§ 39. ВЫПУКЛЫЕ ПРОЦЕССЫ
Теорема 39.5. Пусть At и Az — выпуклые процессы, дей-
ствующие из К"1 в Rn и имеющие одинаковую ориентацию. Если
множества ri (dom ЛО и ri (dom Л2) имеют общую точку, то
(Ai 4- Л2)* = Л* + А*.
Если Л1 и Л2 — замкнутые процессы и множества гi (dom Л*)
и ri (dom Л*) пересекаются, то At + Л2 тоже замкнут и (Л1 + Л2)*
совпадает с замыканием процесса А* + Л*.
Доказательство. Это утверждение является специаль-,
ным случаем теоремы 38.2 и следствия 38.2.1.
Теорема 39.6. Если А — ориентированный выпуклый про-
цесс, то (ХЛ)* = ХЛ* при всяком X > 0.
Доказательство. Это специальный случай теоре-
мы 38.3.
Теорема 39.7. Пусть А — супремально ориентированный
выпуклый процесс, действующий из и Нп, и f — собственная
выпуклая функция на 1Кт. Если множества ri (dom f) и ri (dom Л)
пересекаются, то
(Л/)*=Л*“7*
нижняя грань в определении (A*~1f*) (х*) достигается при вся-
ком х*.
Если А и f замкнуты и множества ri (dom f*) и ri (dom Л*-1)
пересекаются, то Af — замкнутая функция и нижняя грань в опре-
делении (Af) (х) достигается при всяком х. Более того, в этом слу-
чае (Af)* совпадает с замыканием функции A*~.f*.
Доказательство. Это специальный случай теоремы 38.4
и следствия 38.4.1.И
Следствие 39.7.1. Пусть А — замкнутый выпуклый про-
цесс, действующий из IKm в Rn, и С — непустое выпуклое подмноже-
ство в R"1. Если рецессивный конус множества С не содержит нену-
левых векторов из Л-10 (это заведомо выполнено, если С ограничено),
то множество АС замкнуто в Rn.
Доказательство. Наделим Л супремальной ориентацией
и применим теорему с f = б (• | С). Множество К — dom f* есть
барьерный конус множества С, а его поляра — рецессивный конус
множества С (следствие 14.2.1). Если выпуклый конус К и множе-
ство
dom Л*-1 = range Л*
имеют общую относительно внутреннюю точку, то по теореме Af
замкнута и, следовательно, АС замкнуто. С другой стороны, если
эти множества не имеют общих относительно внутренних точек,
431
ГЛ. VIII. ВЫПУКЛАЯ АЛГЕБРА
то их можно собственно разделить некоторой гиперплоскостью.
Другими словами, существует ненулевой вектор у Е К.”*, такой,
что (у, м*) О для всякого и* £ К и (у, и*) 0 для всякого и*,
принадлежащего множеству значений процесса А*. Тогда у 6 №
и (поскольку А** = А) у Е Д-10. Но этот случай по условию
невозможен.
Теорема 39.8. Пусть А и В — выпуклые процессы, дей-
ствующие из R’" в и из в !КР соответственно и имеющие
одинаковую ориентацию. Если множества ri (range Л) и ri (dom В)
пересекаются, то
{.ВАУ = Л*В*.
Если А и В замкнуты и Множества ri (range В*) и ri (dom Л*)
пересекаются, то ВА —замкнутый процесс и (ВА)* совпадает
с замыканием процесса А*В*.
Доказательство. Это специальный случай теоремы 38.5
и следствия 38.5.1.
Пусть С и D — непустые выпуклые подмножества в Rn, причем
С супремально ориентировано, a D инфимально ориентировано.
Если
sup inf (х, у} = sup (х, D)
х£С VZD х£С
и
inf sup (х, у} = inf (С, у)
y£Dx£C y£D
имеют одинаковое значение, то их общая величина называется
скалярным произведением множеств С и D и обозначается (С, D)
или (D, С). Это определение согласуется с данным в § 38 определе-
нием скалярного произведения выпуклой и вогнутой функции в том
смысле, что если f — б( • | С) и g — —6 (• | D), то (f, g) = (С, D).
Заметим, что скалярное произведение (С, D) всегда существует,
когда множества С и D замкнуты и хотя бы одно из них ограничено
(следствие 37.3.2).
Если h — собственная вогнутая функция на Rn, мы можем
определить скалярное произведение С и h, полагая (С, Л) = (/, h),
где f = 6 (• | С). Таким образом,
(С, /г) = sup {h* (х) | х Е С) = inf {(-С, у) — h (у)},
У
если оба экстремума равны; в противном случае (С, h) не определе-
но. Точно так же, если h — собственная выпуклая функция на 1R",
мы можем определить ее скалярное, произведение с инфимально
ориентированным множеством D, полагая
(h, D) = inf {h* (у) \у Е } = sup {(х, D) — h (х)},
X
если экстремумы равны, в противном случае скалярное произведение
{h, D) не имеет смысла.
432
§ 39. ВЫПУКЛЫЕ ПРОЦЕССЫ
Пусть С и С' — супремально ориентированные выпуклые множе-
ства в R", a D и D' — инфимально ориентированные выпуклые
множества в Rn. Тогда справедливы следующие соотношения
(разумеется, если все скалярные произведения имеют смысл и нигде
не встречаются неопределенности типа оо — оо):
(ХС, D) = Х(С, D) = (С, XD), VX>0,
{С + С, D)^ (С, D} + {С', D),
<С + С', у) = (С,у) +<С’,у), Уу£&п,
(С, D +D'}^{C,D) + (C,D'),
{х, D + D') ={x,D} + (x,D'), VxeRn-
Все они просто следуют из определений.
Используя такое расширенное понятие скалярного произведе-
ния, мы можем очевидным образом конкретизировать теорему 38.7
и следствия из нее применительно к ориентированным выпуклым
процессам и ориентированным выпуклым множествам.
Совокупность- всех выпуклых процессов, действующих из R”
в себя, представляет собой некоммутативную полугруппу относи-
тельно операции умножения, включающую полугруппу линейных
преобразований пространства R”. Структура отдельного выпуклого
процесса А может быть исследована с помощью его степеней или
более общим способом — с помощью процессов вида А — X/ или
I оцД -|- ссгЛ2 • 4- akAk.
При этом можно ввести понятие собстеенногЪ множества процес-
са А, т. е. такого выпуклого множества С, что
АС = ХС
для некоторого X > 0.
28 Р, Рокафеллар
КОММЕНТАРИИ
Глава I. Основные понятия
Основания общей теории выпуклых множеств и функций были
заложены в начале века главным образом Минковским [1, 2]. Моно-
графия Боннезена и Фенхеля [1] подводит итог развитию теории
вплоть до 1933 г. (по крайней мере в той ее части, которая имеет
отношение к геометрии). По поводу роли выпуклых функций в раз-
витии теории линейных неравенств до 1948 г. см. работу Беккен-
баха [1].
Современное изложение конечномерной теории было дано Фенхе-
лем [2], Эгглстоном [1], Бержем [1], Валентайном [1] и другими.
В книге Валентайна рассмотрены и некоторые бесконечномерные
обобщения. Материал, связанный с бесконечномерной выпукло-
стью, можно найти практически в любом руководстве по функцио-
нальному анализу, например, в трактате Бурбаки [1]. Курс лекций
Моро (17], прочитанный в 1966 г., содержит прекрасное введение
в теорию выпуклых функций в топологических векторных про-
странствах произвольной размерности; в этих лекциях читатель
сможет найти бесконечномерные обобщения многих результатов
о сопряженных выпуклых функциях, рассмотренных в нашей
книге только в конечномерных пространствах.
Матричное представление аффинных множеств, названное здесь
таккеровским, было применено Таккером (4—6] в теории линейных
программ.
* В своем изложении теории выпуклых функций в § 4—5 мы
следуем в основном Фенхелю [2], с той лишь разницей, что Фенхель
рассматривает не бесконечнозначные функции, а пары (С, f). Идея
о возможности отождествления выпуклого множества с некоторой
«вырожденной» функцией (индикаторной функцией этого множе-
ства) принадлежит Фенхелю, также как и операция инфимальной
конволюции. Описание арифметических операций с ±оо и инфи-
мальной конволюции относительно выпуклых конусов содержится
в работах Моро [3—8].
Глава II. Топологические свойства
Почти все результаты, связанные с относительной внутренно-
стью выпуклого множества, являются классическими: см. статью
Штейница (1]. Операция замыкания выпуклых функций, введенная
в § 7, была изучена Фенхелем [1,2].
434
КОММЕНТАРИИ
Неограниченные выпуклые множества впервые систематически
были исследованы Штейницем [1], доказавшим большинство основ-
ных теорем о рецессивных конусах, таких, как теорема 8.3. Фен-
хель [2], а позднее Шоке [1] и Рокафеллар [1, 6J использовали
рецессивные конусы для доказательства теорем замкнутости, подоб-
ных теоремам из § 9. Теоремы о замкнутости сумм и проекций
выпуклых множеств были также доказаны Кли [10] и Гейлом
и Кли [1].
Теоремы 10.2 и 10.3 были доказаны в работе Гейла, Кли и Рока-
феллара [1], однако все остальные результаты из § 10, связанные
с непрерывностью и сходимостью, следует рассматривать как
классические, хотя некоторые из них до сих пор нигде явно и не
упоминались. Подобные теоремы, сформулированные на геометри-
ческом языке, возникают в теории выпуклых поверхностей;
см. Боннезен и Фенхель [1], Александров [2], и Буземанн [1].
В недавних работах Вийсмана [1, 2] и Волкупа и Ветса [1] иссле-
довалась непрерывность различных операцийпо отношению к сходи-
мости выпуклых множеств и функций.
Глава III. Двойственность
Теоремы отделимости были впервые получены Минковским.
Традиционное их доказательство в основано на том, что задача
о минимуме расстояния от точки до замкнутого множества всегда
разрешима; см., например, статью Боттса [1]. Метод, использован-
ный в § 11, типичен для функционального анализа; теорема 11.2
есть не что иное, как теорема Хана — Банаха. Теорема 11.3 была
во всей общности доказана Фенхелем [2]. По поводу других резуль-
татов, связанных с отделимостью в конечномерных и бесконечно-
мерных пространствах, см. основополагающие работы Кли
[1—5, 15].
Операция сопряжения выпуклых функций была предложена
Фенхелем [1], хотя сопряженные с функциями одного переменного
рассматривались ранее Мандельбройтом [1]. Операция монотонного
сопряжения имеет давнюю историю, начинающуюся работами
Янга [1] и Бирнбаума и Орлича [1]; см. также книгу Красносель-
ского и Рутицкого [1]. Монотонные сопряженные с «-мерными
неубывающими вогнутыми функциями рассматривались Веллма-
ном и Карушем [3]. Моро [2, 4] и Брондстед [1] распространили
операцию сопряжения на функции в бесконечномерных простран-
ствах.
Опорные функции, введенные Минковским для ограниченных
выпуклых множеств, были изучены для произвольных выпуклых
множеств Фенхелем [1, 2] и в бесконечномерном случае — Хёрман-
дером [1]. Теоремы 13.3 и 13.5 были доказаны Рокафелларом [1, 6];
однако ранее Кли [7] показал, что f* всюду конечна, если dom f
ограничено. Теорема 13.4 была доказана Брондстедом [11.
435
28*
КОММЕНТАРИИ
Полярные конусы были введены Штейницем [1], но еще рань-
ше Минковский рассматривал поляры ограниченных выпуклых
множеств и связь между калибровочными и опорными функциями,
описанную в § 15 (по крайней мере для случая двойственных норм).
Теоремы, устанавливающие связь между полярами и сопряженными
функциями, были доказаны Рокафелларом [6]. Теорема 14.7 была
анонсирована Моро [9, 11], однако ее варианты были известны
и ранее в теории пространств Орлича, см. книгу Красносельского
и Рутицкого [1]. Теорема 15.3 в полной общности была доказана
Агжери и Лескарре [1], но следствие 15.3.2 с помощью преобразова-
ния Лежандра было ранее получено Лорхом [1]. Полярность неотри-
цательных выпуклых функций, обращающихся в нуль в начале
координат, рассматривается впервые в этой книге.
Результаты § 16 по существу содержатся в лекциях Фенхеля [2].
Двойственность инфимальной конволюции и сложения использо-
валась Веллманом и Карушем [1—5] для решения некоторых
рекуррентных функциональных соотношений.
Глава IV. Представления и неравенства
По поводу теоремы Каратеодори и некоторых ее обобщений
см. монографию Рея [1].
Данное нами в § 18 изложение теории крайних структур выпук-
лых множеств следует в основном Кли [2—8]. Тот факт, что ком-
пактное выпуклое множество совпадает с выпуклой оболочкой
своих крайних точек (следствие 18.5.1), был впервые доказан
Минковским. Более известно, однако, его бесконечномерное обоб-
щение, данное Крейном и Мильманом [1]: компактное выпуклое
множество в локально выпуклом хаусдорфовом линейном простран-
стве совпадает с выпуклым замыканием своих крайних точек. Близ-
кие результаты для выпуклых функций были сформулированы
Агжери [1] и Бронстедом [2]. Теоремы 18.6 и 18.7 для ограниченных
выпуклых множеств были доказаны Страшевичем [1].
Теорема 19.1 содержит знаменитый результат, приписываемый,
в основном, Минковскому [1] и Г. Вейлю [11. Ранняя история поли-
эдральной выпуклости освещена в книге Моцкина [1]. Много даль-
нейшей информации о полиэдральной выпуклости можно найти
в прекрасных работах Грюнбаума [1], Кли [8, 13] и в сборнике
статей под редакцией Куна и Таккера [2]. Теорема 20.1 — новая;
теоремы 20.2 и 20.3, по-видимому, публикуются впервые, однако
более общие результаты, из которых можно вывести теорему 20.2,
были получены Кли [15, теорема 4(i)]. Наконец, теоремы 20.4
и 20.5 — классические.
Теорема 21.1 и ее доказательство восходят к Фану, Гликсбергу
и Гоффману [1]. Другое доказательство теоремы 21.2 в случае
С = Rn можно найти в книге Бержа и Гуйла-Ури [1]. Обобщение
436
КОММЕНТАРИИ
теоремы Хелли с участием рецессивных конусов (следствие 21.3.3),
как, впрочем, и сама теорема 21.3 в специальном случае, когда
С и эффективные множества функций /г не содержат общих направ-
лений рецессии, принадлежит Фенхелю [2]. Более ранние доказа-
тельства теоремы 21.3 в случае, когда множество С компактно,
можно найти в статье Боненбласта, Карлина и Шепли [1].Теоре-
мы 21.4 и 21.5 были доказаны Рокафелларом [4]. Теорема 21.6
содержит одну из форм теоремы Хелли, полученную самим Хел-
ли [11. Обстоятельный обзор литературы, посвященной теореме
Хелли, охватывающий период до 1963 г., можно найти в книге
Данцера, Грюнбаума и Кли [1]. Статьи Фана [3, 41 содержат неко-
торые дальнейшие результаты о бесконечных системах неравенств.
Читателю, желающему познакомиться с другими изложениями
классических результатов из § 22, мы можем рекомендовать работы
Таккера [2] и Куна [1], содержащие подробный исторический ком-
ментарий. Теорема 22.6 возникла совсем недавно в связи с иссле-
дованиями по теории графов и должна быть приписана Камиону [1],
хотя доказательство ее основано на более ранних идеях Гуйла-Ури.
Другое доказательство теоремы 22.6 и объяснение ее связи с пред-
шествующими результатами Минти [1] о потоках в сетях можно
найти в работе Рокафеллара [13].
Глава V. Дифференцирование
Существование односторонних производных у выпуклых функ-
ций отмечалось еще в 1893 г. Штольцем [1]. Эти производные интен-
сивно изучались в первые десятилетия нашего века в связи с иссле-
дованиями выпуклых тел и выпуклых поверхностей: см. Боннезен
и Фенхель [1], Александров [2] и Буземанн [1]. Большинство
результатов из § 24 и 25 следует датировать этим временем,
хотя явные ссылки сделать довольно трудно: все статьи, за исключе-
нием работы Фенхеля 1951 года, посвящены не столько анализу,
сколько геометрии. Теория субдифференциальных многозначных
отображений была в явном виде построена сравнительно недавно.
Подробный обзор литературы читатель сможет найти в работах
Моро [16, 17]. .
Теоремы 23.1—23.5 по существу содержатся в лекциях Фенхе-
ля [2] (и до некоторой степени в книге Боннезена и Фенхеля [1]).
Теоремы 23.6, 23.8, 23.9, 24.8 и 24.9 принадлежат Рокафеллару
[1, 7], а теоремы 24.6 и 25.6 впервые публикуются в этой книге.
Полные неубывающие кривые в R2 в полной общности были изуче-
ны Минти [1].
В работе Андерсона и Кли [1] гораздо более подробно, чем
в теореме 25.5, изучена структура множества точек, в которых
выпуклая функция не дифференцируема. Также много известно
о вторых производных выпуклых функций: см. Александров [1],
Буземанн и Феллер [1], Буземанн [11.
437
КОММЕНТАРИИ
Связь преобразования Лежандра с сопряженными функциями
была замечена Фенхелем [1]. Некоторые классические приложения
преобразования Лежандра были описаны в книге Куранта и Гиль-
берта [1].
Глава VI. Экстремальные задачи с ограничениями
Задаче о минимуме выпуклой функции при наличии ограниче-
ний уделялось много внимания, начиная, примерно, с 1950 г.
По поводу некоторых ее вычислительных аспектов см. Данциг [1],
Голдстейн [1] и Вулф [2, 3]; о приложениях к математической
экономике см. Карлин [1].
Теория обыкновенных выпуклых программ выросла из работы
Куна и Таккера [1], хотя правило множителей Лагранжа для
общих задач с (дифференцируемыми) ограничениями типа нера-
венства, тесно связанное с условием Куна — Таккера, было полу-
чено ранее Джоном [1]. Однако именно Кун и Таккер обнаружили
связь между множителями Лагранжа и седловыми точками и при-
влекли внимание к роли выпуклости. Вот почему мы называем
те множители Лагранжа, которые соответствуют седловым точкам
функции Лагранжа, коэффициентами Куна — Таккера. (Во многих
случаях множителями Лагранжа называются не только переменные
Хг как таковые, но и их специальные" значения, удовлетворяющие
условиям типа условий Куна — Таккера. Такая неопределенность
может иногда приводить к недоразумениям. В невыпуклом про-
граммировании множители Лагранжа, удовлетворяющие спе-
циальным условиям, не обязательно соответствуют седловым точкам
функции Лагранжа. С другой стороны, коэффициенты Куна —
Таккера имеют смысл и в тех программах, в которых решения отсут-
ствуют и, следовательно, условия Куна — Таккера не могут
выполняться.)
Первоначальное доказательство теоремы Куна — Таккера осно-
вывалось на дифференциальном исчислении. Тем не менее авторы
предвидели, что в выпуклом случае градиентные условия можно
заменить чем-то не связанным с дифференцируемостью, что и было
вскоре сделано. По-видимому, Слейтер [1] первым заменил условия,
использованные в работе Куна и .Таккера [1], предположением
о существовании допустимого вектора, удовлетворяющего всем
„ ограничениям типа неравенства как строгим неравенствам. Теоре-
ма 28.2 (и, следовательно, теорема Куна — Таккера) была впервые
доказана Фаном, Гликсбергом и Гоффманом [1] в случае ограниче-
ний только типа неравенства, а затем Удзавой (см. Эрроу, Гурвиц,
Удзава [1, стр. 62]) в случае, когда существуют линейные ограниче-
ния типа равенства, С — неотрицательный ортант в 51" и функции ft
конечны на Rn.
Принцип декомпозиции был предложен Данцигом и Вулфом для
438
КОММЕНТАРИИ
линейных программ; подробное изложение имеется в работе Данци-
га [1]. Наше более общее изложение базируется до некоторой степе-
ни на исследованиях Фалька [1].
Теория обобщенных выпуклых программ из § 29 впервые изла-
гается в этой книге. Однако своим возникновением она в значитель-
ной степени обязана работе Гейла [1], в которой рассматриваются
экономические интерпретации обобщенных выпуклых программ
и доказываются теорема 29.1 и следствия из нее (хотя и без упо-
требления терминов «возмущение» и «бифункция»). Теория множи-
телей Лагранжа и более общая теория двойственности из § 30
являются новыми. Однако теория двойственности применялась
много раньше для изучения обыкновенных выпуклых программ
и программ специального типа, подобных рассмотренным в § 31.
Основная теорема двойственности, послужившая моделью для
последующих исследований, содержится в доказанной в 1948 г.
теореме Гейла — Куна — Таккера [1] для линейных программ.
Теорема двойственности Фенхеля [2] относится к 1951 году. Про-
грамма, двойственная к обыкновенной выпуклой программе, в диф-
ференцируемом случае была определена Дорном [21 (для линейных
ограничений), Деннисом [1] (для линейных ограничений) и Вул-
фом [1]. Двойственная задача Вулфа, появление которой во многом
стимулировалось работами Харда [1, 2] и Мангасаряна [1], в наших
обозначениях записывается следующим образом: максимизировать
/о W + (х) + . . . + vVm W
на совокупности тех х и и*, которые удовлетворяют равенству
vZo (х) + v*vA (х) + . . . + (х) = 0.
Связь этой задачи с двойственной программой (Р*) из § 30 была
объяснена после следствия 30.5.1. Аналогичное обобщение двой-
ственной задачи Вулфа было дано Фальком [1]. Программа (7?),
рассмотренная в «логарифмическом» примере в самом конце § 30,
эквивалентна стандартной «геометрической программе» Даффина —
Питерсона [1], а двойственная с ней программа при n0 = 1 есть
так называемая общая задача химического равновесия (см. Даффин,
Питерсон, Зенер [1, приложение В] и приведеннйе там ссылки).
Общая теория двойственности, в основе которой лежит мини-
максная задача для функции Лагранжа, развивалась Данцигом,
Эйзенбергом и Коттлом [1], Штоером [1, 2] и Мангасаряном и Пон-
стейном [1]. Можно показать, что пары взаимно двойственных задач,
рассмотренных этими авторами, можно записать в виде
(I) минимизировать <р (х) = sup {L (и*, х) | и* £ А} по х £ Во,
(II) максимизировать ф (u*) = inf {L (и*, х)| х 6 В} по и* £ Ао,
где А и В — заданные непустые замкнутые выпуклые под-
множества и Rn соответственно, L — заданная непрерывная
439
КОММЕНТАРИИ
вогнуто-выпуклая функция на Л X В, удовлетворяющая некоторым
условиям регулярности, а Ао и Во — определенные подмножества
в Л и В (именно, множества тех точек, для которых верхняя грань
в (I) и нижняя грань в (II) достигаются). Наши обсуждения, следую-
щие за теоремой 36.5, показывают, что пары таких задач можно
рассматривать как частные случаи задач, приведенных в § 30.
Первоначальный вариант теоремы двойственности Фенхеля не
содержит последнего утверждения теоремы 31.1, связанного с поли-
эдральной выпуклостью. Распространение теоремы на этот случай
и включение линейного оператора Л в теорему 31.2 было осуще-
ствлено в работах Рокафеллара [1, 2, 9]. В частных случаях это
делали также Берж и Гейла-Ури [1] и Эйзенберг [1].
Как мы уже отмечали, теорема Гейла — Куна — Таккера выте-
кает из следствия 31.4.1, если в качестве f взять частично аффинную
функцию и придать ей некоторое таккеровское представление.
Различные возможные таккеровские представления соответствуют
различным таблицам, возникающим при решении данной линейной
программы при помощи общеизвестного симплекс-метода Данцига.
Подобным образом, взяв в качестве f частную квадратичную функ-
цию, можно из следствия 31.4.1 получить теорему двойственности
Коттла [1] для квадратичных программ (см. Рокафеллар [12]).
В работах Денниса [1] и Даффина [2] можно найти некоторые другие
теоремы двойственности, которые можно рассматривать как частные
случаи следствия 31.4.1, хотя в цитированных работах они полу-
чаются с помощью преобразования Лежандра и без привлечения
аппарата сопряженных функций. Во многих приложениях, например
в задачах, связанных с потоками и потенциалами в сетях, важен
случай сепарабельной функции f. В этом случае следствие 31.4.2
может быть усилено (см. Минти [1], Камион [2], Рокафеллар [10]).
Вся теория, связанная с проксимационным отображением, вклю-
чая теорему 31.5 и следствия из нее, принадлежит Моро [13].
Теорему 32.3 можно найти у Хирша и Гоффмана [1]; см. также
статью Бауэра [1].
Глава VII. Седловые функции и минимакс
Доказательства большинства результатов из § 33 и 34 содер-
жатся в различных работах Рокафеллара [3, 12], однако там они
не используют понятия бифункции. Результаты, приведенные
в § 35, как и теоремы 36.5, 36.6, 37.2 и следствия 37.5.1, 37.5.2,
являются новыми.
Минимаксные теоремы.изучались многими авторами, начиная
с фон Неймана; в частности, следствие 37.6.2 было впервые дока-
зано Какутани [1]. Прекрасный обзор литературы до 1958 г.
содержится в работе Сиона [2]. В наиболее сильных теоремах,
приведенных в этой статье, обычно требуется несколько меньше,
440
КОММЕНТАРИИ
чем вогнуто-выпуклость функции К («> у)> однако при этом пред-
полагается компактность множеств С или D. Наоборот, теоремы 37.3
и 37.6 (см. Рокафеллар [3] и Моро [12]) предполагают вогнуто-
выпуклость функции К (и, v), но позволяют ослабить требования
компактности.
Преобразование сопряжения для вогнуто-выпуклых функций
впервые было описано Рокафелларом [3, 12].
Глава VIII. Выпуклая алгебра
В § 38 и 39 излагается новая теория. Отметим, что в работе
Рокафеллар [ 14] можно найти обобщение некоторых фактов из тео-
рии неотрицательных матриц, включающее специальный класс
выпуклых процессов, возникающих в математической экономике.
КОММЕНТАРИИ К ДОПОЛНИТЕЛЬНОМУ СПИСКУ ЛИТЕРАТУРЫ,
ВКЛЮЧЕННОМУ В РУССКОЕ ИЗДАНИЕ
Эта книга была написана в 1967 г., но вышла из печати лишь
в начале 1970 г. За это время появилось много новых работ, посвя-
щенных изучению выпуклости и ее роли в теории экстремальных
задач. В дополнительном списке литературыХ) я попытался
•собрать по возможности все основные работы, имеющие прямое
отношение к сопряженным выпуклым функциям, субградиентам,
двойственным выпуклым программам, возмущениям экстремальных
задач с ограничениями, множителям Лагранжа, седловым функ-
циям, выпуклым процессам и т. д. Включено и несколько более
старых работ, изданных главным образом на русском языке и ранее
ускользнувших от моего внимания. Я привел также несколько
работ, посвященных приложениям теории сопряженных функций
к таким областям, как теория приближений, экономика, теория
статистических решений и теория оптимального управления, однако
этот список ни в коей мере нельзя считать исчерпывающим. Неко-
торые важные и развивающиеся разделы выпуклого анализа, такие,
как, например, теория крайних точек и представлений, не нашли
отражения в новой библиографии.
За это время появилось несколько обзорных работ общего
характера: книга Штоера и Витцгалла [11, посвященная теории
линейных неравенств, выпуклых множеств, сопряженных выпуклых
функций и выпуклых программ в конечномерных пространствах;
статья Иоффе и Тихомирова [2], разъясняющая различные аспекты
бесконечномерной теории сопряженных выпуклых функций; две
монографии Гольштейна [6, 7], в которых строится теория двой-
ственности бесконечномерных выпуклых программ, основанная
на классической минимаксной теории, а не на теории сопряженных
функций, и лекции Рубинштейна [6], также посвященные при-
ложениям выпуклости к оптимизации и не содержащие обсуждения
теории сопряженных функций.
В статье Кли [16] содержатся усиленные варианты известных
теорем отделимости для выпуклых множеств. Ряд других работ
х> Для удобства читателя дополнительный список литературы, датиро-
ванный январем 1972 г., включен в основной; в объединенном списке работы
из этого дополнительного списка помечены звездочкой.— Прим, перев.
442
КОММЕНТАРИИ к ДОПОЛНИТЕЛЬНОМУ СПИСКУ.ЛИТЕРАТУРЫ
тоже посвящен главным образом отделимости: Кли и Олех [1],
Мори [1], Рубинштейн 12, 5] и Витцгалл [1].
Дальнейшие результаты о непрерывности выпуклых функций
были получены Асплундом и Рокафелларом [11, Кастеном [2],
Крускалом [1] и Лекарре [2]. В статье Асплунда и Рокафеллара
рассматривается также преобразование Лежандра в бесконечно-
мерных пространствах. В работе Асплунда [2] дифференцируемость
почти всюду выпуклых функций в Нп обобщается в некотором
смысле на банаховы пространства (по поводу гипотезы Асплунда
см. также работу Троянского [1]). Решетняк [1] получил новые
результаты о двукратной дифференцируемости в Rn, используя
теорию обобщенных функций. Проксимационные отображения рас-
сматривались Ари [11, Кастеном [3], Крускалом [11, Лекарре [1, 21,
Моро [18, 19] и Царатонелло [1].
Связь между субдифференциальными отображениями и теорией
нелинейных монотонных операторов и вариационных неравенств
обсуждается в обзорной статье Рокафеллара [201, см. также [22,
23, 25]. Приложения к теории операторов в частных производных
рассмотрены в работе Брезиса [1]. Много усилий было затрачено
на отыскание формул для вычисления субдифференциалов и про-
изводных по направлениям различных классов выпуклых функций:
см. Брондстед [3], Дубовицкий и Милютин [1, 2], Гольштейн [4, 7],
Хоган [11, Иоффе [1], Иоффе и Левин [1], Иоффе и Тихомиров [2],
Левин [2, 4, 5], Моро [20], Пшеничный [3], Рокафеллар [34]
и Валадье [2, 3].
Интенсивному исследованию были подвергнуты интегральные
выпуклые функционалы, часто встречающиеся в бесконечномерных
экстремальных задачах, в частности, в стохастических. Сейчас
можно говорить уже об обширной теории этих функционалов.
Некоторые ее центральные результаты собраны в обзорной статье
Рокафеллара [33]. Подробности, а также тесно связанные с интег-
ральными функционалами результаты об измеримых выпуклых
многозначных отображениях можно найти в статьях Кастена [1—4],
Кастена и Валадье [1], Гудмана и Гоффмана-Йоргенсена [1], Хуку-
хары [1], Иоффе [2], Олеха [1], Рокафеллара [21, 32, 34], Валадье
[1—6], Ван Катсема [1]. В работе Валадье [6] собраны известные
результаты об измеримости в бесконечномерных пространствах.
С помощью интегральных функционалов были определены непре-
рывные аналоги операций сложения и инфимальной конволюции:
см. статьи Иоффе и Тихомирова [1, 2] и Валадье [5]. Другие резуль-
таты об инфимальной конволюции были получены Мори [1]
и Моро [19].
Жоли и Лоран [1] и Рокафеллар [19] (см. также [29]) построили
бесконечномерное обобщение теории двойственности выпуклых
программ, изложенной в этой книге. Дальнейшие результаты
о двойственности в выпуклом программировании можно найти
443
КОММЕНТАРИИ к ДОПОЛНИТЕЛЬНОМУ СПИСКУ ЛИТЕРАТУРЫ
в работах Астафьева [1], Ауслендера fl], Бранса и Класена [1],
Брекнера и Колумбана [11, Жоффриона [11. Гольштейна [2, 3—7],
Каплана и Рубинштейна [1], Карамардиана [1], Моро [21], Ной-
штадта [3], Пшеничного [3, 4], Раффена [1, 2], Риттера [1], Рока-
феллара [31], Рубинштейна [1—6], Штоера и Витцгалла [1], Волку-
па и Ветса [2], Уинстона [2], Ямасаки [1]. Линейные программы
в бесконечномерных пространствах рассматривали также Каллина
и Вилльямс [1], Крабе [1, 2], Гринольд [1] (в последней работе
содержится особенно интересный класс примеров). Специальные
случаи, такие, как «геометрическое» (экспоненциальное) програм-
мирование, исследовали Даффин [4], Хамала [1], Питерсон [1],
Питерсон и Эккер [1, 2] и Рокафеллар [26]. Фиакко и Мак-Кормик
[1] построили двойственную интерпретацию вычислительного метода
штрафных функций, а Эверетт [1], Фальк [2] и Гулд [1] изучали
обыкновенные двойственные программы в невыпуклом случае.
Сопряженные невыпуклые функции были введены Моро [19]
и Вейссом [1].
Двойственные пары минимаксных задач изучались Лебедевым
и Тынянским [1], Мак-Линденом [1] и Рокафелларом [18]. В диссер-
тации Мак-Линдена впервые для седловых функций строится теория
двойственности таких операций, как сложение, экстремальная
конволюция и взятие образа при линейном отображении. Теория
сопряженных эквивалентных классов замкнутых седловых функций
была распространена Рокафелларом [29] на бесконечномерный
случай, а в работах Госсеса [1] и Рокафеллара [24] рассматривались
субдифференциалы таких функций. Приложения к гамильтоновым
системам можно найти у Дора [1] и Рокафеллара [28, 36].
Непрерывность решений и оптимальных значений выпуклых
программ в зависимости от тех или иных возмущений изучалась
Данцигом, Фолкманом и Шапиро [1], Эвансом и Гулдом [1], Голь-
штейном и Мовшовичем [1] (см. также Гольштейн [6, 7]) и Крабсом
[3], а в более общей ситуации, в топологиях пространств, чьими
элементами являются выпуклые множества и функции, Жоли [1]
и Моско [1, 2]. В теореме Вилльямса [1] о маргинальных значениях
содержится описание производных по направлениям оптимального
значения линейной программы как функции «гладких» возмуще-
ний. Эта теорема была обобщена Гольштейном [6, 7] применительно
не только к обыкновенным выпуклым программам, но и к более
широкому классу задач, решения которых можно описать с помощью
седловых точек. Другие неклассические результаты об односто-
ронних производных можно найти у Данскина [1], Демьянова [1],
Хогана [1], Пшеничного [1], Сотскова [1] и Цветанова [1]. Такие
результаты тесно связаны с необходимыми условиями экстремума
в невыпуклых задачах. С их помощью теория множителей Лагранжа
может быть, в частности, применена к теории оптимального управ-
ления. Этому вопросу посвящена обширная литература. Мы отме-
444
КОММЕНТАРИИ К ДОПОЛНИТЕЛЬНОМУ СПИСКУ ЛИТЕРАТУРЫ
тим лишь несколько работ (помимо тех, что уже упоминались
в связи с производными по направлениям и субградиентами),
которые содержат большинство известных результатов общего
характера и в которых можно найти дальнейшую библиографию:
Кэнон, Каллум и Полак [1], Дубовицкий и Милютин [1, 2], Гамкре-
лидзе [1], Гамкрелидзе и Харатишвили [1], Гулд и Толль [1],
Гинар [2], Халкин [1], Халкин и Нойштадт [1], Хестенс [1], Манга-
сарян [3], Нагахиса и Сакава [1], Нойштадт [1—3], Пшеничный
[1, 4], Риттер [1] и Варайя [1]. По поводу условий второго порядка
в Яп см. Фиакко [1] и Мак-Кормик [1].
Непосредственное применение теории сопряженных выпуклых
функций к теории оптимального управления и вариационному
исчислению, включая вывод необходимых и достаточных условий
для задач «выпуклого» типа, можно найти в недавних работах
Биттнера [1], Хейнса и Миттера [1], Иоффе [2], Иоффе и Тихоми-
рова [1, 2], Рокафеллара [27, 28, 30, 35, 361, Темама [1—3] и Цве-
танова [1]. В близких работах Макарова и Рубинова [1] и Руби-
кова [2], вызванных к жизни задачами математической экономики,
изучаются экстремальные задачи, включающие выпуклые про-
цессы.
Много новых работ посвящено приложениям выпуклого анализа
к задачам теории приближений. Отметим, в частности, работы
Даффина и Карловица [1], Гаркави [1], Гольштейна [4, 7], Иоффе
и Тихомирова [2], Жоли и Лорана [1], Лорана и Фам Дин Тьена [1],
Левина [3] и Пшеничного [4]. В работе Левина основной упор делает-
ся на теорему Хелли о пересечениях выпуклых множеств, но в ней
обсуждаются и другие вопросы.
Теория сопряженных функций нашла неожиданное применение
в статистике в работе Барндорфа-Нильсена [1]. Теория двойствен-
ности в стохастическом программировании рассматривалась Вет-
сом [1]. По поводу двойственных задач, связанных с леммой Ней-
мана— Пирсона, см. статью Фрэнсиса и Райта [1].
Некоторые примеры конкретных двойственных программ были
описаны Даффином [3]. Ямасаки [1] привел пример из теории
потенциала. Интересные примеры из теории аналитических функ-
ций можно найти у Хавинсона [1] и Лакса [1].
Роль выпуклости в вычислительной практике для решения
экстремальных задач обсуждается в недавней работе Вулфа [4].
Близкий материал можно найти в работах Ауслендера [1], Сеа [11,
Шеррюо и Лоридана [1], Кручану [1], Даниеля [1], Демьянова
й Рубинова [1, 2], Фиакко и Мак-Кормика [1], Фолкмана и Шапи-
ро [1], Жоффриона [11, Лэсдона [11 и Полака [1]. Экстремальным
задачам в сетях посвящены недавние работы Франка и Фриша [1],
Ху [1] и Ири [1].
СПИСОК ЛИТЕРАТУРЫ 1
Агжери (Aggeri J.-C.)
[1] Les fonctions convexes continue et le theoreme de Krein-Milman,
C.R. Acad. Sci. Paris, 262 (1966), 229—232.
Агжери и Лекарре (Aggeri J.-C. and Lescarret C.)
[1] Fonctions convexes duales associees a une couple d’ensembles mutuelle-
ment polaires, C.R. Acad. Sci. Paris, 260 (1965), 6011—6014.
[2] Sur une application de la theorie de la sous-differentiabilite a des fon-
ctions convexes duales associees a un couple d’ensembles mutuellement
polaires, Seminaire de Mathematiques, Faculte des Sciences, Universite
de Montpellier, 1965.
Александров А. Д.
[1] Существование почти .везде второго дифференциала выпуклой функ-
ции и некоторые связанные с ним свойства выпуклых поверхностей,
Уч. записки ЛГУ, сер. мат. (1936), вып. 6, 3—35.
[2] Внутренняя геометрия выпуклых поверхностей, Гостехиздат, 1948.
Андерсон и Кли (Anderson R. D. and Klee V. L.)
[1] Convex functions and upper semi-continous collections, Duke Math-
J., 19 (1952), 349—357.
Ари (Aris H.)
[1*] Condition suffisante de derivabilite de 1’application prox, Travaux du
Seminaire d’Analyse Unilaterale, Vol. II, 1969, Universite de Montpel-
lier.
Асплунд (Asplund E.)
[1] Positivity of duality mappings, Bull. Amer. Math. Soc., 73 (1967),
200—203.
[2*] Frechet differentiability of convex functions, Acta Math., 121 (1968),
31—48.
Асплунд и Рокафеллар (Asplund E. and Rockafellar R. T.)
[1*] Gradients of convex functions, Trans. Amer. Math. Soc., 139 (1969),
443—467.
Астафьев H. H.
[1*] О прямой и обратной теоремах двойственности в выпуклом програм-
мировании, Оптимальное планирование, 14 (1969), 137—149.
Ауслендер (Auslender А.)
[1*] Methodes et theoremes de dualite, C.R. Acad. Sci. Paris, 267 (1968),
1—4.
Балинский и Баумоль (Balinski M. L. and Baumol J.)
[1*] The dual in nonlinear programming and its economic interpretation,
Revue Econ. Studies, 35 (1968), 237—256.
Барндорф-Нильсен (Barndorff-Nielsen G.)
[1*] Exponential Families: Exact Theory, Various Publication, Series
N. 19, Matematisk Institut, Aarhus, Denmark, 1970.
n Напоминаем, что звездочкой помечены работы, добавленные автором
специально для русского издания.— Прим, перев.
446
СПИСОК ЛИТЕРАТУРЫ
Бауэр (Bauer Н.)
[1] Minimalstellen von Funktionen und Extremalpunkte., Arch. Math., $
(1958), 389—393.
[2] Minimalstellen von Funktionen und Extremalpunkte. II, Arch. Math.*
11 (1960), 200—205.
Беккенбах (Beckenbach E. F.)
[1] Convex functions, Bull. Amer. Math. Soc., 54 (1948), 439—460.
Беккенбах и Беллман (Beckenbach E. F. and Bellman R.)
[1] Inequalities, Springer, Berlin, 1961. (Русский перевод: Беккенбах Э»
и Беллман Р., Неравенства, М., «Мир», 1965.)
Беллман и Каруш (Bellman R. and Karush W.)
[1] On a new functional transform in analysis: the maximum transform,
Bull. Amer. Math. Soc., 67 (1961), 501—503.
[2] On the maximum transform and semigroups of transformations, Bull.
Amer. Math. Soc., 68 (1962), 516—518.
[3] Mathematical programming and the maximum transform, J. Soc.
Indust. Appl. Math., 1 (1962), 550—567.
[4] On the maximum transform, J. Math. Anal. Appl., 6 (1963), 67—74*
[5] Functional equations in the theory of dynamic programming XII: and
application of the maximum transform, J. Math. Anal. Appl., 6 (1963),.
155—157.
Бен-Израэль (Ben-Israel A.)
[1] Notes on linear inequalities, I: the intersection of the non-negative
orthant with complementary orthogonal subspaces, J. Math. AnaL
Appl., 10 (1964), 303—314.
Берж (Berge C.)
[1] Espaces Topologiques, Paris, 1959.
[2] Sur une propriete combinatoire des ensembles convexes, C.R. Acad*
Sci. Paris, 248 (1959), 2698.
Берж и Гуйла-Ури (Berge C. and Ghouila-Houri A.)
[1] Programmes, Jeux et Reseaux de Transport, Dunod, Paris, 1962.
Бирнбаум и Орлич (Birnbaum Z. and Orlicz W.)
[1] Ober die Verallgemmeinerung des Begriffes der zueinander konjugierten
Potenzen, Studia Math., 3 (1931), 1—67.
Биттнер (Bittner L.)
[1*] Abschatzungen bei Variationsmethoden mit Hilfe von Dualitatssatzen,
I, Numer. Math., 11 (1968), 129—143.
Боненбласт, Карлин и Шепли (Bohnenblust Н. F., Karlin S. and Shapley L. S.)
[1] Games with continuous pay-off, in Annals of Mathematics Studies, No.
24, 1950, 181 — 192. (Русский перевод: Боненбласт Г., Карлин С.
и Шепли Л., Игры с непрерывной выпуклой функцией выигрыша,
в сб. «Бесконечные антагонистические игры, М., «Физматгиз, 1963*
337—352.)
Боннезен и Фенхель (Bonnesen Т. and Fenchel W.)
[1] Theorie der konvexen Korper, Springer, Berlin, 1934.
Боттс (Botts T.)
[1] Convex sets, Amer. Math. Soc. Monthly, 49 (1942), 527—535.
Бранс и Класен (Brans J. P., Claesen G.)
[1*] Minimax and duality for convex-concave functions, Cahiers du Centre
d*Etudes Rech. Op., 12 (1970), 149—164.
Браудер (Browder F. E.)
[1] On a theorem of Beurling and Livingston, Canad. J. Math., 17 (1965),
367—372.
[2] Multivalued monotone non-linear mappings in Banach spaces, Trans.
Amer. Math. Soc., 118 (1965), 338—351.
Брезис (Brezis H.)
[1*] Monotonicity methods in Hilbert spaces and some applications to non-
linear partial differential equations, in Contributions to Nonlinear
447
СПИСОК ЛИТЕРАТУРЫ
Functional Analysis, Е. Zarantonello (ed.), Academic Press, 1971
101—156.
Брекнер и Колумбан (Breckner W. W. and Kolumban I.)
[1*] Konvexe Optimierungsaufgaben in topologischen Vektorraumea, Math.
Scand., 25 (1969), 227—247.
Брондстед (Brondsted A.)
[1] Conjugate convex functions in topological vector spaces, Mat. Fys
Medd. Dansk. Vid. Selsk., 34 (1964), No. 2, 1—26.
[2] Milman’s theorem for convex functions, Math. Scand., 19 (1966),
5—10.
[3*] On the subdifferential of the supremum of two convex functions, Math.
Scand., to appear.
Брондстед и Рокафеллар (Brondsted A. and Rockafellar R. T.)
[1] On the subdifferentiability of convex functions, Proc. Amer. Math.
Soc., 16 (1965), 605—611.
Буземанн (Busemann H.)
[1] Convex Surfaces, Interscience, New York, 1958. (Русский перевод:
Буземанн Г., Выпуклые поверхности, М., «Наука», 1964.)
Буземанн и Феллер (Busemann Н. and Feller W.)
[1] Kriimmungseigenschaften konvexer Flachen, Acta Math., 66 (1935),
1—47.
Бурбаки (Bourbaki N.)
[1] Espaces Vectoriels Topologiques I, II, Hermann, Paris, 1953, 1955.
(Русский перевод: Бурбаки H., Топологические векторные простран-
ства, М., ИЛ, 1959.)
Валадье (Valadier М.)
[1*] Sur I’integration d’ensembles convexes compacts en dimension infinie,
C.R. Acad. Sci. Paris, 266 (1968), 14—16.
[2*] Sous-differentiels d’une borne superieure et d’une somme continue de
fonctions convexes, C.R. Acad. Sci. Paris, 268 (1969), 39—42.
[3*] Contribution a 1’analyse convexe, Thesis, Paris, 1970.
[4*] Integration de convexes fermes, notamment d’epigraphes; inf-convolu-
tion, Rev. F. Info, Rech. Op., 4 (1970), 57—73.
[5*] Un theoreme d’inf-compacite, Seminaire d’Analyse Convexe, Univer-
site de Montpellier, 1970.
[6*] Multi-applications mesurables a valeurs convexes compactes, J. Math,
pures et appl., 50 (1971), 265—297.
Валентайн (Valentine F. A.)
[1] Convex Sets, McGraw-Hill, New York, 1964.
[2] The dual cone and Helly type theorems, in Convexity, V. L. Klee (ed.),
Proceedings of Symposia in Pure Mathematics, Vol. VII, American Mat-
hematical Society, 1963, 473—494.
Ван Катсем (Van Cutsem B.)
[1* ] Elements aleatoires a valeurs convexes compacts, Thesis, Grenoble,
1971.
Ван Слайк и Вете (Van Slyke R. M. and Wets R. J.—B.)
[1* ] A duality theory for abstract mathematical programs with applications
to optimal control theory, J. Math. Anal. Appl., 22 (1968), 679—
706.
Варайя (Varaiya P. P.)
[1* ] Nonlinear programming in a Banach space, SIAM J. Appl. Math.,
15 (1967), 284—293.
Вейль (Weyl H.)
[1] Elementare Theorie der konvexen Polyeder, Commentarii Math. Hel-
vetia, 7 (1935), 290—306.
Вейсс (Weiss E. A.)
[1*] Konjugierte Funktionen, Arch. Math., XX (1969), 538—545.
Вете (Wets R. J. B.)
448
СПИС ок ЛИТЕРАТУРЫ
[1*] Problemes duaux en programmation stochastique, C.R. Acad. Sci.
Paris, 270 (1970), 47—50.
[2*] Characterization theorems for stochastic programs, Math. Programming,
1972.
Вийсман (Wijsman R. A.)
[1] Convergence of sequences of convex sets, cones and functions, Bull. 'Amer.
Math. Soc., 70 (1964), 186—188.
[2] Convergence of sequences of convex sets, cones and functions, II, Trans.
Amer. Math. Soc., 123 (1966), 32—45.
Вилльямс (Williams A. C.)
[1*] Marginal values in linear programming, SIAM J. Appl. Math., 11
(1963), 82—94.
[2*] Nonlinear activity analysis, Management Sci., 17 (1970), 127—139.
Витцгалл (Witzgall C.)
[1*] On complementary polar canonical sets, J. Research National Bureau of
Standards, 74B (1970), 99—113.
Волкуп и Вете (Walkup D.W. and Wets R. JL-B.)
[1*] Contimuity of some convex-cone-valued mappings, Proc. Amer. Math.
Soc., 18 (1967), 229—235.
[2*] Some practical regularity conditions for nonlinear programs, SIAM J.
Control, 7 (1969), 430—436.
Вулф (Wolfe P.)
[1] A duality theorem for nonlinear programming, Quart. Appl. Math.,
19 (1961), 239—241.
[2] Methods of nonlinear programming, Chap. 10 of Recent Advances in
Mathematical Programming, R. L. Graves and P. Wolfe (eds.), McGraw-
Hill, 1963.
[3] Methods of nonlinear programming, Chap. 6 of Nonlinear Programming,
J. Abadie (ed.), North-Holland, Amsterdam, 1967.
[4*] Convergence theory in nonlinear programming, in Integer and Nonlinear
Programming, J. Abadie (ed.), North-Holland, 1970, 1—36.
Гамкрелидзе P. B.
[1*] Extremal problems in’finite-dimensional spaces, J. Opt. Theory Appl.,
1 (1967), 173—193.
Гамкрелидзе P. В. и Харатишвили Г. Л.
[1*] Extremal problems in linear topological spaces, I, Math. Systems
Theory, 1 (1967), 229—256.
Гейл (Gale D.)
[1] A geometric duality theorem with economic application, Rev. Econ.
Studies, 34 (1967), 19—24.
[2*] Nonlinear duality and qualitative properties of optimal growth, in
Integer and Nonlinear Programming, J. Abadie (ed.), North-Holland,
1О7П ЧПО________41 Q
Гейл и Кли (Gale D. and Klee V. L.)
[1] Continuous convex sets, Math. Scand., 7 (1959), 379—391.
Гейл, Кли и Рокафеллар (Gale D., Klee V. L. and Rockafellar R. T.)
[1] Convex functions on convex polytopes, Proc. Amer. Math. Soc., 19
(1968), 867—873.
Гейл, Кун и Таккер (Gale D., Kuhn H. W. and Tucker A. W.)
[1] Linear programming and the theory of games, in Activity Analysis of
Production and Allocation, T.C. Koopmans (ed.), Wiley, New York, 1951.
Герстенхабер (Gerstenhaber M.)
[1] Theory of convex polyhedral cones, in Activity, Analysis of Production
and Allication, T. C. Koopmans (ed.), Wiley, New York, 1951, 298—
316.
Гинар (Guignard M.)
[1] Conditions d’optimalite et dualite en programmation mathematique,
these, Univ, de Lille, 1967.
*/2 29 p. Рокафеллар 449
СПИСОК ЛИТЕРАТУРЫ
[2*] Generalized Kuhn—Tucker conditions for mathematical programming
. in a Banach space, SIAM J. Control, 1 (1969) 232—241.
Голдман и Таккер (Goldman A. J. and Tucker A. W.)
[1] Theory of linear programming in, Annals of Mathematics Studies,
No. 38, 1956, 53—98.
Голдстейн (Goldstein A. A.)
[1] Constructive Real Analysis, Harper and Row, New York, 1967.
Гольштейн E. Г.
[1*] Об одном бесконечном аналоге задачи линейного программирования
и его приложениях к некоторым вопросам теории приближений,
ДАН СССР, 140 (1961), 23—26.
[2*] Двойственные задачи выпуклого программирования, Экономика и ма-
тем. методы, 1, № 3 (1965), 317—322.
[3*] Двойственные задачи выпуклого и дробно-выпуклого программиро-
вания в функциональных пространствах, ДАН СССР, 172 (1967),
1007—1010.
[4*] Задачи наилучшего приближения элементами выпуклых множеств
и некоторые свойства опорных функционалов, ДАН СССР, 173
(1967), 995—998.
[5*] Обобщенные соотношения двойственности в экстремальных задачах,
Экономика и матем. методы, 4, № 6 (1968), 597—610.
[6*] Выпуклое программирование. Элементы теории, М., «Наука», 1970.
[7*] Теория двойственности в математическом программировании и ее
приложения, М., «Наука», 1971.
Гольштейн Е. Г. и Мовшович С. М.
[1*] Непрерывная зависимость от параметра множества решений мини-
максной задачи, Экономика и матем. методы, 4 (1968), 920—930.
Госсес (Gossez J. Р.)
[1*] On the subdifferential of a saddle-function, Proc. Amer. Math. Soc.*
to appear.
Гринольд (Grinold R. C.)
[1*] Continuous programming, part one: linear objectives, J. Math. Anal.
Appl., 28 (1969), 32—51; Continuous programming, part two: nonlinear
objectives, J. Math. Anal. Appl., 27 (1969), 639—655.
Грюнбаум (Grunbaum B.)
[1] Convex Polytopes, Wiley, New York, 1967.
Гудман и Гоффман-Йоргенсен (Goodman G. S. and Hoffmann-Jorgensen J.)
[1*] Support functions and the integration of convex sets in infinite-dimen-
sional spaces, Colloque sur la Theorie Mathematique du Controle Opti-
mal, Vander, Louvain-Belgique, 1970, 83—98.
Гуйла-Ури (Ghouila-Houri A.)
[1] Sur I’etude combinatoire des families de convexes, C.R. Acad. Sci.
Paris, 252 (1961), 494.
Гулд (Gould F.)
[1*] Extensions of Lagrange multipliers in nonlinear programming, SIAM
J. Appl. Math., 17 (1969).
Гулд и Толль (Gould F. J. and Tolle J. W.)
[1*] A necessary and sufficient qualification for constrained optimization,
SIAM J. Appl. Math., 20 (1971), 164—171.
Дайне (Dines L. L.)
[1] On convexity, Amer. Math. Monthly, 45 (1938), 199—209.
Даниель (Daniel J. W.)
[1*] The approximate minimization of functionals, Prentice-Hall, 1971.
Данскин (Danskin J. M.)
[1*] Theory of Мах-min, Springer, 1967. (Русский перевод: Данскин Дж.,
Теория максимина, М., «Сов. Радио», 1971.)
Данцер, Грюнбаум и Кли (Danzer L., Grunbaum В. and Klee V. L.)
[1] Helly’s theorem and its relatives, in Convexity, V. L. Klee (ed.), Pro-
450
СПИСОК ЛИТЕРАТУРЫ
ceedings of Symposia in Pure Mathematics, Vol. VII, American Mathe-
matical Society, 1963, 101-180. (Русский перевод: Даицер Л" Гпюн-
баум В., Кли В., Теорема Хелли, М., «Мир», 1968.)
Данциг (Dantzig G. В.)
[1] Linear Programming and Extensions, Princeton University Press, 1963.
(Русский перевод: Данциг Дж. Б., Линейное программирование, его
приложения и обобщения, М., «Прогресс», 1966.)
Данциг, Фолкман и Шапиро (Dantzig G. В., Folkman J. and Shapiro N.)
Il] On the continuity of the minimum set of a continuous function,
J. Math, Anal. Appl., 17 (1967), 519—548.
Данциг, Эйзенберг и Коттл (Dantzig G., Eisenberg E. and Cottle R. W.)
[1] Symmetric dual nonlinear programs, Pacific J. Math., 15 (1965), 809—
812.
Даффин (Duffin R. J.)
[1] Infinite programs, in Annals of Mathematics Studies, No. 38, 1956,
157—170.
[2] Dual programs and minimum cost, J. Soc. Indust. Appl. Math., 10
(1962), 119—124.
[3*] Duality inequalities of mathematics and science, in Nonlinear Program-
ming, J. B. Rosen et al. (eds.), Academic Press, 1970, 401—424.
[4*] Linearizing geometric programs, SIAM Review, 12 (1970), 211—227.
Даффин и Карловиц (Duffin R. J. and Karlovitz L. A.)
[1*] Formulation of linear programs in analysis , I: Approximation theory,
SIAM J. Appl. Math., 16 (1968), 662 —675.
Даффин и Питерсон (Duffin R. J. and Peterson E. L.)
[1] Duality theory for geometric programming, SIAM J. Appl. Math., 14
(1966), 1307—1349.
Даффин, Питерсон и Зенер (Duffin R. J., Peterson E. L. and Zener C.)
[1] Geometric Programming-Theory and Application, Wiley, New York,
1967. (Русский перевод: Даффин P., Питерсон Э., Зенер К.» Геомет-
рическое программирование, М., «Мир», 1972.)
Демьянов В. Ф.
[1*] Дифференцирование функции максимина I и II, Ж- выч. мапгем.
и матем. физики., 8 (1968), 1186—1195; 9 (1969), 55—67.
Демьянов В. Ф. и Рубинов А. М.
[1*] Minimization of functionals in normed linear spaces, SIAM J. Control,
6 (1968), 73—88.
[2*] Приближенные методы решения экстремальных задач, изд-во ЛГУ, 1968.
Деннис (Dennis J. В.)
[1] Mathematical Programming and Electrical Networks, Technology Press,
Cambridge, Mass., 1959. (Русский перевод: Деннис Дж., Математиче-
ское программирование и электрические цепи, М., ИЛ, 1961.)
Джон (John F.)
[1] Extremum problems with inequalities as subsidiary conditions, in
Studies and Essays, Courant Anniversary Volume, Interscience, New
York, 1948, 187—204.
Джонс (Jones W. L.)
[1] On conjugate functionals, dissertation, Columbia University, 1960.
Дитер (Dieter U.)
[1] Dual extremum problems in locally convex linear spaces, in Proceedings
of the Colloquium on Convexity, Copenhagen, 1965, W. Fenchel (ed.),
Copenhagen, Matematisk Institut, 1967, 185—201.
12] Dualitat bei konvexen Optimierungs-(Programmierungs-)Aufgaben,
Unternehmensforschung, 9 (1965), 91—111.
£3] Optimierungsaufgaben in topologischen Vektorraumen I: Dualitats-
theorie, Z. Wahrscheinlichkeitstheorie verw. Geb., 5 (1966), 89—117.
[4*] Dual extremal problems in linear spaces with examples and applications
in game theory and statistics, in Theory and Applications fo Monotone
451
29*
СПИСОК ЛИТЕРАТУРЫ
Operators, A. Ghizzetti (ed.), Tipografia Oderisi Editrice, Gubbio,
, Italy, 1969, 303—312.
Дор (Daures J. P.)
[1*] Equations differentielles multivoques et equations de Hamilton gene-
ralisees, Publication No. 78, Secretariat de Mathematiques, Universite
de Montpellier, 1970.
Дорн (Dorn W. S.)
[1] Duality in quadratic programming, Quart. Appl. Math., 18 (1960),
155—162.
[2] A duality theorem for convex programs, IBM J. Res. Develop., 4 (1960),
407—413. .
[3] Self-dual quadratic programs, J. Soc. Indust. Appl. Math., 9 (1961),
51—54.
[5] On Lagrange multipliers and inequalities, Operations Res., 9 (1961),
95—104.
Дубовицкий А. fl. и Милютин A. A.
[1*] Задачи на экстремум при наличии ограничений, ДАН СССР, 149
(1963), 759—762.
[2*] Задачи на экстремум при наличии ограничений, Ж. выч. машем,
и машем, физики, 5 (1965), 395—453.
Дэвис (Davis С.)
[1] All convex invariant functions fo hermitian matrices, Arch. Math., 8
(1957), 276—278.
Доли (Joly J. L.)
(1*1 Une famille de topologies et de convergences sur I’ensemble des fonctio-
nelles convexes, Thesis, Grenoble, 1970.
Жоли и Лоран (Joly J. L., Laurent P. J.)
[1*] Stability and duality in convex minimization problems, Rev. F. Inf.
Rech. Op., R-2 (1971),/3—42.
Жоффрион (Geoffrion A. M.)
[1*] Elements of large-scale mathematical programming, Management Sci.,
16 (1970), 375—403.
[2*] Duality in nonlinear programming: a simplified applications-oriented
approach, SIAM Review, 13 (1971), 1—37.
Зинден (Sinden F. W.)
[1] Duality in convex programming and in projective space, J. Soc. Indust.
Appl. Math., 11 (1963), 535—552.
Йенсен (Jensen J.L.W.V.)
[1] Om konvexe Funktioner of Uligheder mellem Middelvaerdier, Nyt
Tidsskr. Math., 16B (1905), 49—69.
[2] Sur les fonctions convexes et les inegalites entre les valeurs moyennes,
Acta Math., 30 (1906), 175—193.
Иоффе А. Д.
[1*] Субдифференциалы ограничений выпуклых функций, УМН, 25,
№ 4 (1970), 181—182.
[2*] Банаховы пространства, порождаемые выпуклыми интегрантами
и многомерные вариационные задачи, ДАН СССР, 195 (1970), 1018—
1021.
Иоффе А. Д. и Левин В. Л.
[1*] Субдифференциалы выпуклых функций, Тр. Московского машем,
об-ва, 26 (1972), 3—74.
Иоффе А. Д. и Тихомиров В. М.
[ 1 *] Двойственность в задачах вариационного исчисления, ДАН СССР,
180 (1968), 789—792.
[2*] Двойственность выпуклых функций и экстремальные задачи, УМН,
23, № 6 (1968), 51—116.
[3*] О минимизации интегральных функционалов, Функц. анализ и его
приложения, 3, № 3 (1969), 61—71.
452
СПИСОК ЛИТЕРАТУРЫ
Кли (Klee V. L.)
[1 ~
2
3
[4
Ири (Iri M.)
[1*] Network Flow, Transportation and Scheduling: Theory and Algorithms,
Academic Press, 1969.
Какутани (Kakutani S.)
[1] A generalization of Brouwer’s fixed point theorem, Duke Math. J.,
8 (1941), 457—459.
Каллина и Вилльямс (Kallina C. and Williams A. C.)
[1*] Generalized linear programming, SIAM Review, 13 (1971), 350—376.
Камион (Camion P.)
[1] Modules unimodularies, J. Comb. Theory, 4 (1968), 301—362.
[2] Application d’une generalisation du lemme de Minty a une probleme d’in-
fimum de fonction convexe, Cahiers Centre Res. Op., 7 (1965), 230—247.
Каплан А. А. и Рубинштейн Г. Ш.
[1*] К теореме Куна — Таккера, ДАН СССР, 188 (1969), 993—996.
Карамардиан (Karamardian S.)
[1*] Duality in mathematical programming, J. Math. Anal. Appl., 20
(1967), 344—358.
Каратеодори (Caratheodory C.)
[1] Ober den Variabilitatsbereich der Fourier’schen Konstanten von positi-
ven harmonischen Funktionen, Rend. Circ. Mat. Palermo, 32 (1911),
193—217.
Карлин (Karlin S.)
[1] Mathematical methods and theory in games, programming and econo-
mics, Vol. I, McGraw-Hill, New York, 1960. (Русский перевод: Кар-
лин С. Математические методы в теории игр, программировании
и экономике, М., «Мир», 1964.)
Кастен (Castaing С.)
[1*] Un theoreme de compacite faible dans LlE, etc., Publication No. 44,
Secretariat des Mathematiques, Universite de Montpellier, 1969.
[2*] Quelques applications du Theoreme de Banach—Dieudonne a I’integra-
tion, Publication No. 67, Secretariat des Mathematiques, Universite
de Montpellier, 1970.
[3*] Proximite et mesurabilite. Un theoreme de compacite faible, Colloque
sur la Theorie Mathematique du Contrdle Optimal, Vander, Louvain-
Belgique, 1970, 25—34.
[4*] Quelques resultats de compacite liees a I’integration, C.R. Acad. Sci.
Paris, 270 (1970), 1732—1735.
Кастен и Валадье (Castaing C. and Valadier M.) ,
[1*] Equations differentielles multivoques dans les espaces vectoriels loca-
lement convexes, Rev. F. Info. Rech. Op., 16 (1969), 3—16.
Качуровский P. И.
[1] О монотонных операторах и выпуклых функционалах, УМН, 15
№ 0 (1960), 213—215.
Convex sets in linear spaces, Duke Math. J., 18 (1951), 443—466.
Convex sets in linear spaces, II, Duke Math. J., 18 (1951), 875—883.
Convex sets in linear spaces, III, Duke Math. J., 20 (1953), 105—112.
Separation properties for convex cones, Proc. Amer. Math. Soc., 6
(1955), 313—318.
Strict separationof convex sets, Proc. Amer. Math. Soc., 7 (1956), 735—737.
Extremal structure of convex sets, Arch. Math, 8 (1957), 234—240.
Extremal structure of convex sets, II, Math. Z., 69 (1958), 90—104.
Some characterizations of convex polyhedra, Acta Math., 102 (1959),
79—107.
Polyhedral sections of convex bodies, Acta Math., 103 (1960), 243—267.
[5]
[6.
[7]
[8]
[9] г*,.................. *
[10] Asymptotes and projections of convex sets,’ Math. Scand., 8 (1960),
356—362.
453
СПИСОК ЛИТЕРАТУРЫ
[11] (ed.), Convexity, Proceedings of Symposia in Pure Mathematics, Vol.
VII, American Mathematical Society, 1963.
[12] Infinite-dimensional intersection theorems, in Convexity, V. L. Klee
(ed.), Proceedings of Symposia in Pure Math., Vol. VII, American Mathe-
matical Society, 1963, 349—360.
[13] Convex polytopes and linear programming, in Proceedings of the IBM
Scientific Computing Symposium on Combinatorial Problems, Yorktown
Heights, 1964.
[14] Asymptotes of convex bodies, Math. Scand., 20 (1967), 89—90.
[15] Maximal separation theorems for convex sets, Trans. Amer. Math. Soc.9
134 (1968), 133—148.
[16*]Separation and support properties of convex sets—a survey, in Control
theory and the Calculus of Variations, A. V. Balakrishnan (ed.), Acade-
mic Press, 1969, 235—305.
Кли и Олех (Klee V. and Olech C.)
[1*] Characterization of a class of convex sets, Math. Scand., 20 (1967).
Кнезер (Kneser H.)
[1] Sur une theoreme fondamentale de la theorie des jeux, C.R. Acad. Sci.
Paris, 234 (1952), 2418—2420.
Коттл (Cottle R. W.)
[1] Symmetric dual quadratic programs, Quart. Appl. Math., 21 (1963), 237
Крабе (Krabs W.)
[1*] Lineare Optimierung in halbgeordneten Vektorraumen, Numer. Math.,
11 (1968), 220—231.
[2*] Zur Dualitatstheorie bei linearen Optimierungsproblemen in halbgeord-
neten Vektorraumen, Math. Z., 121 (1971), 320—328.
[3*] Zur stetigen Abhangigkeit des Extremalwertes eines konvexen Optimi-
erungsproblems von einer stetigen Anderung des Problems, Zeit. Ang.
Math. Meeh. И972).
Красносельский M. А. и Рутицкий Я. Б.
[1] Выпуклые функции и пространства Орлича, М., Физматгиз, 1958.
Крафт (Krafft О.)
[1*] Programming methods in statistics and probability theory, in Nonlinear
Programming, J. B. Rosen et al. (eds.), Academic Press, 1970, 425—446.
Крейн M. Г. и Мильман Д. П.
[1] On the extreme points of regularly convex sets, Studia Math., 9 (1940),
133—138.
Кретчмер (Kretchmer K. S.)
[1] Programmes in paired spaces, Canad. J. Math., 13 (1961), 221—238.
Крускал (Kruskal J. B.)
[1*] Two convex counterexamples: a discontinuous envelope function and
a nondifferentiable nearest-point mapping, Proc. Amer. Math. Soc.,
23 (1969), 697—703.
Кручану (Cruceanu S.)
LI*] Sur la minimisation des fonctionelles convexes, C.R. Acad. Sci. Paris,
273 (1971), 763—765.
Кун (Kuhn H. W.)
[1] Solvability and consistency for linear equations and inequalities,
Amer. Math. Monthly, 63 (1956), 217—232.
Кун и Таккер (Kuhn H. W., Tucker A. W.)
[1] Nonlinear programming, in Proceedings of the Second Berkeley Symposi-
um on Mathematical Statistics and Probability, Univ, of California
Press, Berkeley, 1951, 481—492.
[2] (eds.), Linear Inequalities and Related Systems, Annals of Mathematics
Studies, No. 38, 1956. (Русский перевод: Линейные пространства
и смежные вопросы, М., ИЛ, 1959.)
Курант и Гильберт (Courant R. and Hilbert D.)
Il] Methods of Mathematical Physics, vol. I, Berlin, 1937. (Русский перевод:
454
СПИСОК ЛИТЕРАТУРЫ
Курант Р. и Гильберт Д., Методы математической физики,гМ.,Тостех-
издат, ,1951); vol. II, New York, 1962. (Русский перевод: Курант Р.,
Уравнения с частными производными, М., «Мир», 1964.)
Кэнон, Каллум и Полак (Canon М., Cullum С., Polak Е.)
[1*] Constrained minimization problems in finite-dimensional spaces,
SIAM J. Control, 4 (1966).
Лакс (Lax P. D,)
[1*] Reciprocal extremal problems in function theory, Comm. Pure Appl.
Math., 8 (1955), 437—453.
Лебедев В. H. и Тынянский H. T.
[1*] Теория двойственности для выпукло-вогнутых игр, ДАН СССР,
174 (1967), 1264—1267.
Левин В. Л.
[1*] Бесконечномерный аналог задачи линейного программирования и тео-
рема о седловой точке, У МН, 23, № 3 (1968), 183—184.
[2*] О некоторых свойствах опорных функционалов, Мат. заметки, 4
(1968), 685—696.
[3*] Применение теоремы Хелли в выпуклом программировании, задачах
наилучшего приближения и смежных вопросах, Мат. сборник, 79
(1969), 250—263.
[4*] О субдифференциалах выпуклых функционалов, У МН, 25, № 4
(1970), 183—184.
[5*] О субдифференциале составного функционала, ДАН СССР, 194
(1970), 268—269.
Лекарре (Lescarret С.)
[1] Sur la sous-differentiabilite d’une somme de fonctionnelles convexes
semi-continues inferieurement, C.R. Acad. Sci. Paris, 262 (1966),
443—446.
[2*] Applications «ргох» dans une espace de Banach, C.R. Acad. Sci. Paris,
265 (1967), 676—678.
[3*] Continuite faible sur les boules du dual d’un espace norme, Travaux
du Seminaire d’Analyse Unilaterale, Vol. II, 1969, Universite de Mont-
pellier.
[4*] Semi-continuite superieure de la multi-application prox, Travaux du
Seminaire d’Analyse Unilaterale, Vol. II, 1969, Universite de Montpel-
lier.
Лоран и Фам Дин Тьен (Laurent Р. J. and Pham-Dinh-Tuan)
[1*] Global approximation of a compact set by elements of a convex set
in a normed linear space, Numer. Math., 15 (1970), 137—150.
Лорх (Lorch E. R.)
[1] Differentiable inequalities and the theory of convex bodies, Trans.
Amer. Math. Soc., 71 (1951), 243—266.
Лэннер (Lanner F.)
[1] On convex bodies with at least one point in common, Medd. Lunds
Univ. Mat. Sem., 5 (1943), 1—10.
Лэсдон (Lasdon L. S.)
[1*] Optimization theory for large Systems, MacMillan, 1970.
Люенбергер (Luenberger D. G.)
[1*] Quasi-convex programming, SIAM J. Appl. Math., 16 (1968), 1090—
1095.
Макаров В. Л. и Рубинов А. М.
[1*] Суперлинейные точечно-множественные отображения и модели эко-
номической динамики, УМН, 25, № 5 (1970), 125—169.
Мак-Кормик (McCormick G. Р.)
[1*] Second-order cont it ions for constrained extrema, SIAM J. Appl. Math..
15 (1967), 641—652.
455
СПИСОК ЛИТЕРАТУРЫ
Мак-Линден (McLinden L.)
[1*] Minimax problems, saddle-funtions and duality, Thesis, University of
Washington, Seattle, 1971.
Мангасарян (Mangasarian 0. L.)
[1] Duality in nonlinear programming, Quart, Appl, Math,, 20 (1962),
300—302.
[2] Pseudo-convex functions, SIAM J. Control, 3 (1965), 281—290.
[3*] Nonlinear Programming, McGraw-Hill, 1969.
Мангасарян и Понстейн (Mangasarian О. L. and Ponstein J.)
[1] Minimax and duality in nonlinear programming, J. Math. Anal. Appl.,
11 (1965), 504—518. *
Мандельбройт (Mandelbrojt S.)
[1] Sur les fonctions convexes, C. R. Acad, Sci. Paris, 209 (1939), 977—978.
Минковский (Minkowski H.)
[1] Geometrie der Zahlen, Teubner, Leipzig, 1910.
[2] Theorie der Konvexen Korper, Insbesondere Begriindung ihres Oberfla-
chenbegriffs, Gesammelte Abhandlungen, II, Leipzig, 1911.
Минти (Minty G. J.)
[1] Monotone networks, Proc. Roy. Soc. London (Ser. A), 257 (1960), 194—
212.
[2] On the monotonicity of the gradient of a convex function, Pacific J.
Math., 14 (1964), 243—247.
Мори (Maury S.)
[1*] Inf-convolution de formes quadratiques positives, Travaux du Seminaire
d’Analyse Unilaterale, Vol. II, 1969, Universite de Montpellier.
[2*] Un substitut du theoreme de Hahn—Banach, Travaux du Seminaire
d’Analyse Unilaterale, Vol. II, 1969, Universite de Montpellier.
.Mopo (Moreau J.-J.)
[1] Decomposition orthogonale d’un espace hilbertien selon deux cones
mutuellement polaires, C. R. Acad. Sci. Paris, 255 (1962), 238—
240.
(2] Fonctions convexes en dualite multigraph, Seminaires de Mathematiques,
Faculte des Sciences, Universite de Montpellier, 1962.
(3] Inf-convolution, multigraph, Seminaires de Mathematiques, Faculte
des Sciences, Universite de Montpellier, 1962.
(4] Fonctions duales et points proximaux dans un espace hilbertien, C. R.
Acad. Sci. Paris, 255 (1962), 2897—2899.
15] Proprietes des applications prox, C. R. Acad. Sci. Paris, 256 (1963),
1069—1071.
[6] Inf-convolution des fonctions numeriques sur un espace vectoriel,
C. R. Acad. Sci. Paris, 256 (1963), 5047—5049.
[7] Fonctions a valeurs dans [— oo, +oo]; notions algebraiques, Seminaires
de Mathematiques, Faculte des Sciences, Universite de Montpellier,.
1963.
[8] Remarques sur les fonctions a valeurs dans [— oo, +oo] definies sur on
demi-groupe, C. R. Acad. Sci. Paris, 257 (1963), 3107—3109.
[9] Etude locale d’une fonctionelle convexe, multigraph, Seminaires de
Mathematiques, Faculte des Sciences, Universite de Montpellier,
1963.
[10] Fonctionelles sous-differentiables, C. R. Acad. Sci. Paris, 257 (1963),
4117—4119.
[11] Sur la fonction polaire d’une fonction semi-continue superieurment,
C. R. Acad. Sci. Paris, 258 (1964), 1128—1131.
[12] Theorems «inf-sup», C. R. Acad. Sci. Paris, 258 (1964), 2720—2722.
(13] Proximite et dualite dans un espace hilbertein, Bull. Soc. Math. France,
93 (1965), 273—299.
[14] Semi-continuite de sous-gradient d’une fonctionelle, C, R. Acad. Sci.
Paris, 260 (1965), 1067—1070.
456
СПИСОК ЛИТЕРАТУРЫ
[15] Convexity and duality, in Functional Analysis and Optimization,
E. R. Caiancello (ed.), Academic Press, New York, 1966, 145—169.
[16] Sous-differentiabilite, in Proceedings of the Colloquium on Convexity,
Copenhagen, 1965, W. Fenchel, (ed.), Copenhagen, Matematisk Insti-
tut, 1967, 185—201.
[17] Fonctionelles Convexes, lecture notes, Seminaire «Equations aux deri-
vees partielles», College de France, 1966.
[18*1 Distance a un convexe d’un espace norme et caracterisation des points
proximaux, Travaux du Seminaire d’Analyse Unilaterale, Vol. II,
1969, Universite de Montpellier.
[19*] Inf-convolution, sous-additivite, convexite des fonctions numeriques,
J. Maht. Pares et Appl., 49 (1970), 109—154.
[20*] Un cas d’addition des sous-differentielles, Travaui du Seminaire d’Ana-
lyse Unilaterale, Vol. II, 1969, Universite de Montpellier.
[21*] Weak and strong solutions of dual problems, in Contributions to Non-
linear Functional Analysis, E. Zarantonello (ed.), Academic Press,
1971, 181—214.
Моско (Mosco U.)
[1*] Approximation of the solutions of some variational inequalities, Лпп.
Scuola Normale Pisa, XXI (1967), 373—394, 765.
[2*] Convergence of convex sets and solutions of variational inequalities,
Advances in Math., vol. 3, 1969, 510—585.
Моцкин (Motzkin T.)
[1] Beitrage zur Theorie der linearen Ungleichungen, Azriel, Jerusalem,
1936.
Нагахиса и Сакава (Nagahisa Y. and Sakawa Y.)
[1*] Nonlinear programming in Banach spaces, J. Opt. Th. Appl., 4 (1969),
182—190.
Нейман (von Neumann J.)
[1] Zur Theorie der Gesellschaftsspiele, Math. Ann., 100 (1928), 295—
320.
Никайдо (Nikaido H.)
[1] On von Neumann’s minimax theorem, Pacific J. Math., 4 (1954).
Нойштадт (Neustadt L. W.)
[1*] An abstract variational theory with applications to a broad class of op-
timization problems, I, II, SIAM J. Control, 4 (1966), 505—527;
5 (1967), 90—137. (Русский перевод: Нойштадт Л., Абстрактная вари-
_ ационная задача с приложениями к широкому классу задач оптималь-
ного управления. Общая теория, I, Кибернетика, № 1 (1967), 77—91.
[2*] A general theory of extremals, J.Comput. System Sci., 3 (1969), 57—
92.
[3*] Sufficiency conditions and a duality theory for mathematical program-
ming problems in arbitrary linear spaces, in Nonlinear Programming,
J. B. Rosen et al. (eds.), Academic Press, 1970, 323—348.
Олех (Olech C.)
[1*] Integrals of set-valued functions and linear optimal control problems,
Colloque sur la Theorie Mathematique du Controle Optimal, Vander,
Louvain-Belgique, 1970, 109—125.
Питерсон (Peterson E. L.)
[1*] Symmetric duality for generalized unconstrained geometric programming,
SIAM J. Appl. Math., 19 (1970), 487—526.
Питерсон и Эккер (Peterson E. L. and Ecker J. G.)
[1*1 A unified duality theory for quadratically constrained quadrated pro-
grams and Jn-constrained / -approximation problems, Bull. Amer.
Math. Soc., 74 (1968), 316—321.
[2*] Geometric programming: duality in quadratic programming and Zp-
approximation I, II, III, J. Math. Anal. Appl., 29 (1970), 365—
383.
30 P. Рокафеллар 457
СПИСОК ЛИТЕРАТУРЫ
Полак (Polak Е.)
[1*] Computational Methods in Optimization: A Unified Approach, Acade-
mic Press, 1971.
Поповицин (Popovicin T.)
[1] Les Fonctions Convexes, Hermann, Paris, 1945.
Пшеничный Б. H.
[1*] Выпуклое программирование в нормированных пространствах,
Кибернетика, 5 (1965), 46—54.
[2*] Двойственный метод в экстремальных задачах, Кибернетика, 3
(1965), 89—95.
[3*] Принцип двойственности в задачах выпуклого программирования, Д'.
выч. матем. и матем. физики, 5 (1965), 98—106.
[4]* Необходимые условия экстремума, М., «Наука», 1969.
Раффен (Raffin С.)
[1*] Programmes lineaires d’appui d’un programme convexe, applications
aux conditions d’optimalite et a la dualite, Rev. F. Info, Rech. Op., 13
(1968), 27—60.
[2*] Sur les programmes convexes definis dans des espaces vectoriels topolo-
giques, C. R. Acad. Sci., 268 (1969), 738—741.
Рей (Reay J. R.)
[1] Generalizations of a Theorem of Caratheodory,Amer. Math. Soc. Memoir,
No. 54, 1965.
Решетняк Ю. Г.
[1*] Обобщенные производные и дифференцируемость почти всюду,
Матем. сб., 75 (1968), 323—334.
Риттер (Ritter К.)
[1*] Duality for nonlinear programming in a Banach space, SIAM. J. Appl.
Math., 15 (1967), 294—302.
[2*] Optimization theory in linear spaces, I, II, III, Math. Ann., 182
(1969), 189—206; 183 (1969), 169—180; 184 (1969), 133—154.
Робинсон (Robinson S. M.)
[1*] Normed convex processes, Trans. Amer-. Math. Soc., to appear.
Рокафеллар (Rockafellar R. T.) y
[1] Convex functions and dual extremum problems, thesis, Harvard, 1963.
[2] Duality theorems for convex functions, Bull. Amer. Math. Soc., 70
(1964), 189—192.
[3] Minimax theorems and conjugate saddle-functions, Math. Scand., 14
(1964), 151—173.
[4] Helly’s theorem and minima of convex functions, Duke Math. J., 32
(1965), 381—398.
[5] An extension of Fenchel’s duality theorem for convex functions, Duke
Math. J., 33 (1966), 81—90.
[6] Level sets and continuity of conjugate convex functions, Trans. Amer.
Math. Soc., 123 (1966), 46—63.
[7] Characterization of the subdifferentials of convex functions, Pacific J.
Math., 17 (1966), 497—510. (Поправку к доказательству максимально-
сти, приведенному в этой статье, см. в [17].)
[8] Conjugates and Legendre transforms of convex functions, Canad. J.
Math., 19 (1967), 200—205.
[9] Duality and stability in extremum problems involving convex functions,
Pacific J. Math., 21 (1967), 167—187.
[10] Convex programming and systems of elementary monotonic relations,
J. Math. Anal. Appl., 19 (1967), 543—564.
[11] Integrals which are convex functions, Pacific J. Math., 24 (1968),
867—873.
458
СПИСОК ЛИТЕРАТУРЫ
[12] A general correspondence between dual minimax problems and convex
programs, Pacific J. Math., 25 (1968), 597—611.
[13] The elementary vectors of subspace of in Combinatorial Mathe-
matics and Its Applications, R. C. Bose and T. A. Dowling (eds.),
University of North Carolina Press, 1969, 104—127.
[14] Monotone processes of convex and Concave type, Amer. Math. Soc,
Memoir No. 77, 1967.
[15] Duality in nonlinear programming, in Mathematics of the Decision Sci-
ences, Part 1, Lectures in Applied Mathematics, Vol. 11, American
Mathematical Society, 1968, 401—422.
[16] Monotone operators associated with saddle-functions and minimax pro-
blems, in Nonlinear Functional Analysis, Proceedings of Symposia
in Pure Mathematics, American Mathematical Society, 1969.
[17] On the maximal monotonicity of subdifferential mappings, Pacific J.
Math., to appear.
[18* ] A general correspondence between dual mini max problems and convex
programs, Pacific J. Math., 25 (1968), 597—611.
[19*] Convex functions and duality in optimization problems and dynamics,
in Mathematical Systems Theory and Economics, H. W. Kuhn and
G. P. Szego (eds.), Springer, 1969, 117—141.
[20*] Convex functions, monotone operators and variational inequalities,
in Theory and Applications of Monotone Operators, A. Ghizzetti (ed.),
Tipografia Oderisi Editrice, Gubbio, Italy, 1969, 35—65.
[21*] Measurable dependence of convex sets and functions on parameters,
J. Math. Anal. Appl., 28 (1969), 4—25.
[22*] Local boundedness of nonlinear monotone operators, Michigan Math.
J., 16 (1969), 397—407.
[23*] On the virtual convexity of the domain and range of a nonlinear maximal
monotone operator, Math. Annalen, 185 (1970), 81—90.
[24*] Monotone operators associated with saddle-functions and minimax pro-
blems, in Nonlinear Functional Analysis, Part 1, F. E. Browder (edi),
Proceedings of Symposia in Pure Math., 18, Amer. Math. Soc., 1970,
241—250.
[25*] On the maximally of subdifferential mappings, Pacific J. Math.,
33 (1970), 209—216.
[26*] Some convex programs whose duals are linearly constrained, in Non-
linear Programming, J. B. Rosen et al. (eds.) Academic Press, 1970,
294—322.
[27*] Conjugate convex functions in optimal control and the calculus of va-
riations, J. Math. Anal. Appl., 32 (1970), 174—222.
[28*] Generalized Hamiltonian equations for convex problems of Lagrange,
Pacific J. Math., 33 (1970), 411—428.
[29*] Saddle-points and convex analysis, in Differential Games and Rela-
ted Topics, H. W. Kuhn and G. P. Szego (eds.), North-Holland, 1971,
109—128.
[30*] Existence and duality theorems for convex problems of Bolza, Trans.
Amer. Math. Soc., 159 (1971), 1—40.
[31*] Ordinary convex programs without a duality gap, J. Opt. Theory Appl.,
7 (1971), 143—148.
[32*] Weak compactness of level sets of integral functionals, Troisieme Collo-
que d’Analyse Fonctionelle (CBRM), Vander, Louvain-Belgique, 1971.
[33*] Convex integral functionals and duality, in Contributions to Nonlinear
Functional Analysis, E. Zarantonello (ed.) Academic Press, 1971,
215—236. '
[34*] Integrals which are convex functionals, I and II, Pacific J. Math., 24
(1968), 597—611 Pacific J. Math., 39, 3 (1971).
[35*] State constraints in convex problems of Bolza, SIAM J. Control, to
appear.
459
30*
СПИСОК ЛИТЕРАТУРЫ
[36*] Saddle points in Hamiltonian of dynamical systems, J. Opt. Theory Appl.,
to appear.
Рубинов A. M.
[1*] Двойственные модели производства, ДАН СССР, 180 (1968), 795—
798.
[2*] Эффективные траектории динамических моделей производства, ДАН
СССР, 184 (1969), 1294—1297.
[3*] Точечно-множественные отображения, определенные на конусе,
Оптимальное планирование, 14 (1969), 96—114.
[4*] Сублинейные функционалы, определенные на конусе, Сиб. мат.
журнал, И (1970), 429—441.
Рубинштейн Г. Ш.
[1*] Двойственные экстремальные задачи, ДАН СССР, 152 (1963) 228—
291.
[2*] Теоремы отделимости выпуклых множеств, Сиб. мат. журнал, 5
(1964), 1098—1124.
[3*] Об одной экстремальной задаче в нормированном пространстве, Сиб.
мат. журнал, 6 (1965), 711—714.
[4*] Некоторые примеры двойственных экстремальных задач, в сб. Мате-
матическое программирование, М., «Наука», 1969, 9—39.
[5*] Двойственность в математическом программировании и некоторые
вопросы выпуклого анализа, УМН, 25, № 5 (1970), 171—201.
[6*] Конечномерные модели оптимизации, Новосибирск, 1970.
Сандгрен (Sandgren L.)
[1] On convex cones, Math. Scand., 2 (1954), 19—28.
Cea (Cea J.)
[1*] Optimisation: Theorie et Algorithmes, Dunod, 1971. (Русский перевод:
Cea Ж-, Оптимизация. Теория и алгоритмы, М., «Мир», 1973.)
Сион (Sion М.)
[1] Existence de cols pour les fonctions quasi-convexes et semicontinues,
C. R. Acad. Sci. Paris, 244 (1957), 2120—2123.
[2] On general mini max theorems, Pacific J. Math., 8 (1958), 171—176.
(Русский перевод: Сион M., Некоторые общие теоремы о минимак-
сах, в сб. «Бесконечные антагонистические игры», М., Физматгиз,
1963, 40—46.)
Слейтер (Slater М.)
[ 1] Lagrange multipliers revisited: a contribution to nonlinear programming,
Cowles Commission Discussion Paper, Math. 403 (1950).
Сотсков А. И.
[1*] Необходимые условия минимума для одного класса негладких задач,
ДАН СССР, 189 (1969), № 2, 261-264.
Стокер (Stoker J. J.)
[1] Unbounded convex sets, Amer. J. Math., 62 (1940), 165—179.
Стоун (Stone M. H.)
[1] Convexity, mimeographed lecture notes, U. of Chicago, 1946.
Страшевич (Straszewicz S.)
[1] Ober exponierte Punkte abgeschlossener Punktmengen, Fund. Math.,
24 (1935), 139—143.
Таккер (Tucker A. W.)
[1] Extensions of theorems of Farkas and Steimke, Bull. Amer. Math. Soc.,
56 (1950), 57.
[2] Dual systems of homogeneous linear relations, in Annals, of Mathematics
Studies, No. 38, 1956, 53—97.
[3] Linear and nonlinear programming, Operations Res., 5 (1957), 244—257.
[4] A combinatorial equivalence of matrices, in Combinatorial Analysis,
R. Bellman and M. Hall (eds.), Proceedings of Symposia in Applied
Mathematics, Vol. X, American Mathematical Society, 1960, 129—134.
460
СПИСОК ЛИТЕРАТУРЫ
[5] Combinatorial theory underlying linear programs, in Recent Advances
in Mathematical Programming, L. Graves and P. Wolfe (eds.), McGraw-
Hill, New York, 1963.
[6] Pivotal Algebra, mimeographed lecture notes compiled by T. D. Parsons,
Princeton University, 1965.
Темам (Temam R.)
[1*] Remarques sur la dualite en calcul des variations et applications,
C. R. Acad. Sci. Paris, 270 (1970), 754—757.
[2*] Solutions generalisees d’equations nonlineares nonuniformement ellipti-
ques, Publications Mathematiques d’Orsay, 1970.
[3*] Solutions generalisees de certains problemes de calcul de variations,
C. R. Acad. Sci. Paris, 271 (1970), 1116—1119. *
Троянский (Trojanski S. L.)
[1*] On locally uniformly convex and differentiable norms in certain unsepa-
rable Banach spaces, Stadia Math., 37 (1971), 173—180.
Уинстон (Whinston A.)
[1] Some applications of the conjugate functions theory to duality, in
Nonlinear Programming, J. Abadie (ed.), North-Holland, Amsterdam,
1967, 75—96.
[2*] Conjugate convex functions and dual programs, Naval Research Log.
Quart., 12 (1965), 315—322.
Фальк (Falk J. E.)
[1] Lagrange multipliers and nonlinear programming, J. Math. Anal. Appl.,
19 (1967), 141—159.
[2*] Lagrange multipliers and nonconvex programs, SIAM J. Control, 7
(1969), 534—545.
Фан (Fan Ky)
[1] Fixed-point and minimax theorems in locally convex topological linear
spaces, Proc. Nat. Acad. Sci. USA, 38 (1952), 121—126.
[2] Minimax theorems, Proc. Nat. Acad. Sci. USA, 39 (1953), 42—47.
(Русский перевод: Фан Цзи, Теоремы о минимаксе, в сб. «Бесконечные
антагонистические игры», М., Физматгиз, 1963, 31—39.)
[3] On systems of linear inequalities, in Annals of Mathematical, Studies,
No. 38, 1956, 99—156.
[4] Existence theorems and extreme solutions for inequalities concerning
convex functions or linear transformations, Math. Z., 68 (1957), 205—
216.
[5] On the equilibrium value of a system of convex and concave functions,
Math. Z., 70 (1958), 271—280.
[6] On the Krein—Milman theorem, in Convexity, V. L. Klee (ed.), Procee-
dings of Symposia in Pure Mathematics, Vol. VII, American Mathema-
tical Society, 1963, 211—219.
[7] Sur une theoreme minimax, C. R. Acad. Sci. Paris, 259 (1964), 3925—
3928.
[8] A generalization of the Alaoglu—Bourbaki theorem and its applications,
Math. Z., 88 (1965), 48—60.
[9] Sets’with convex sections, Proceedings of the Coloquium on Convexity,
Copenhagen, 1965, W. Fenchel (ed.), Copenhagen, Matematisk Institut,
1967, 72—77.
Фан, Гликсберг и Гоффман (Fan Ку, Glicksberg I., Hoffman A. J.)
[1] Systems of inequalites involving convex functions, Proc. Amer. Math.
Soc., 8 (1957), 617—622.
Фаркаш (Farkas J.) .
Il] Ober die Theorie der einfachen Ungleichungen, J. Math., 124 (1902),
1—24.
Фенхель (Fenchel W.)
[1] On conjugate convex functions, Canad. J. Math., 1 (1949), 73—
461
СПИСОК ЛИТЕРАТУРЫ
[2] Convex Cones, Sets and Functions, mimeographed lecture notes, Prin-
ceton University, 1951.
[3] A remark on convex sets and plarity, Medd. Lunds Univ. Mat. Sem.,
Supplementband, 1952, 82—89.
[4] Ober konvexe Funktionen mit vorgeschriebenen Lieveaumannigfaltig-
keiten, Math. Z., 63 (1956), 496—506.
[5] (ed.), Proceedings of the Colloquium on Convexity, Copenhagen, 1965,
Copenhagen, Matematisk Institut, 1967.
Фиакко (Fiacco A. V.)
[1* ] Second order sufficient conditions for weak and strict constrained extre-
ma, SIAM J. Appl. Math.- 16 (1968), 105—108.
Фиакко и Мак-Кормик (Fiacco A. V. and McCormick G. P.)
[1* ] Nonlinear Programming: Sequential Unconstrained Minimization Tech-
niques, Wiley, 1968. (Русский перевод: Фиакко А., Мак-Кормик Дж.,
Нелинейное программирование; методы последовательной безуслов-
ной минимизации, М., «Мир», 1972.)
Фолкман и Шапиро (Folkman J. and Shapiro N.)
[1* ] Approximating one convex function by another, SIAM J. Appl. Math.,
16 (1968), 993-997.
Франк и Вулф (Frank M. and Wolfe P.)
[1] An algorithm for quadratic programming, Naval Res. Legist. Quart., 3
(1956), 95—110.
Франк и Фриш (Frank H. and Frisch I. T.)
[1*] Communication, Transmission, and Transportation Networks, Addison-
Wesley, 197 k.
Фрэнсис и Райт (Francis R. L. and Wright G. P.)
[1*] Some duality relationships for the generalized Neyman-Person problem,
J. Opt. Theory Appl., 4 (1969), 394—412.
Хавинсон С. Я.
[1*] Теория экстремальных задач для ограниченных аналитических функ-
ций, удовлетворяющих дополнительным условиям внутри области,
УМН, 18, № 2 (1963), 25—98.
Халкин (Halkin Н.)
[1*] A satisfactory treatment of equality and operator constraints in the
Dubovitskii-Milyutin optimization formalism, J. Opt. Theory Appl.,
6 (1970), 138—149.
Халкин и Нойштадт (Halkin H. and Neustadt L. W.)
[1*] General necessary conditions for optimization problems, Proc. Nat.
Acad. Sci. USA, 56 (1966), 1066—1071.
Хамала (Hamala M.)
[1*] Geometric programming in terms of conjugate functions, discussion
paper no. 6811, Center for Operations Research and Econometrics, Lou-
vain-Belgique), 1968.
Хард (Huard P.)
[1] Dual programs, IBM J. Res. Develop., 6 (1962), 137—139.
[2] Dual programs, in Recent Advances in Math. Programming, R. L. Gra-
ves and P. Wolfe (eds.), McGraw-Hill, New York, 1963, 55—62.
Хейнс и Миттер (Heins W. and Mitter S. K.)
[1*] Conjugate convex functions, duality and optimal control problems I:
systems governed by ordinary differential equations, Info. Sciences, 2
(1970), 211—243.
Хелли (Helly E.)
[1] Ober Systeme linearer Gleichungen mit unendlich vielen Unbekannten,
Monatschr. Math. Phys., 31 (1921), 60—91.
Хёрмандер (Hormander L.)
[1] Sur la fonction d’appui des ensembles convexes dans une espace locale
ment convexe, Arkiv for Mat., 3 (1954), 181—186.
462
СПИСОК ЛИТЕРАТУРЫ
Хестенс (Hestenes М.)
[1]* Calculus of Variations and Optimal Control Theory, Wiley,
1966.
Хирш и Гоффман (Hirsch W. M. and Hoffman A. J.)
[1] Extreme varieties, concave functions, and the fixed charge problem,
Comm. Pure Appl. Math., XIV (1961), 355—369.
Хоган (Hogan W. W., Jr;)
[1*] Optimization and convergence for extremal value functions arising
from structured nonlinear programs, Thesis, Western Management Sci-
ence Institute, University of California, Los Angeles, 1971.
Xy (Hu T. C.)
[1*] Integer Programming and Network Flows, Addison-Wesley, 1969.
(Русский перевод: Ху T., Целочисленное программирование и потоки
в сетях, М., «Мир», в печати.)
Хукухара (Hukuhara М.)
[1*] Sur 1’application semicontinue dont la valeur est un convexe compact,
Funkcialoj Ekvacioj, 10 (1967), 43—66.
Хэнсон (Hanson M. A.)
[1] A duality theorem in nonlinear programming with nonlinear constraints,
Austral. J. Statist., 3 (1961), 64—72.
Царантоннелло (Zarantonello E.H.)
[1*] Projections on convex sets in Hilbert space and spectral theory, in Con-
tributions to Nonlinear Functional Analysis, E. H. Zarantonello (ed),
Academic Press, 1971, 237—424.
Цветанов В. И.
[1*] Двойственность в экстремальных задачах, Укр, матем. ж., 23
(1972), № 2.
Шеррюо и Лоридан (Cherruault Y. and Loridan Р.)
[1*1 Methodes pour la recherche de points de selle, C. R. Acad. Sci., 273
(1971), 171 — 174.
Шоке (Choquet G.)
[1] Ensembles et cones convexes faiblement complets, C. R. Acad. Sci.
Paris, 254 (1962), 1908—1910.
Шоке, Корсон и Кли (Choquet G., Corson H. and Klee V. L.)
[1] Exposed points of convex sets, Pacific J. Math., 16 (1966), 33—43.
Штейниц (Steinitz E.)
[1] Bedingt konvergente Reihen und konvexe Systeme, I, II, III, J.
Math., 143 (1913), 128—175; 144 (1914), 1—40; 146 (1916), 1—52.
Штоер (Stoer J.)
[1] Duality in nonlinear programming and the minimax theorem, Numer.
Math., 5 (1963), 371—379.
[2] Ober einen Dualitatsatz der nichtlinearen Programmierung, Numer.
Math., 6 (1964), 55—58.
Штоер и Витцгалл (Stoer J. and Witzgall C.)
[1*] Convexity and optimization in finite dimensions I, Springer, 1970.
Штольц (Stolz O.)
[1] Grundzuge der Differential- und Integralrechnung, Vol. I, Teubner,
Leipzig, 1893.
Эванс и Гулд (Evans J. and Gould F.)
[1*] Stability in nonlinear programming, Operations Research, 18 (1970),
107—119.
Эверетт (Everett H., Ill)
[1 *] Generalized Lagrange multiplier method for solving problems of opti-
mum allocation of resources, Operations Research, 10 (1963), 399—417.
Эгглстон (Eggleston H. G.)
[1] Convexity, Cambridge Univ., 1958.
463
Эйзенберг (Eisenberg Е.)
[1] Duality in homogeneous programming, Proc. Amer. Math. Soc.,
12 (1961), 783—787.
[2] Supports of a convex function, Bull. Amer. Math. Soc., 68 (1962),
192—195.
Эрроу и Гурвиц (Arrow К. J. and Hurwicz L.)
[1] Reduction of constrained maxima to saddle-point problems, in Proceed-
ings of the Third Berkeley Symposium on Mathematical Statistics and
Probability, J. Neyman (ed.), Univ, of California Press, 1956, Vol. V,
1—20.
Эрроу, Гурвиц, Удзава (Arrow К. J., Hurwicz L. and Uzawa H.)
[1] Studies in Linear and Nonlinear Programming, Stanford University
Press, 1958. (Русский перевод: Эрроу К. Дж., Гурвиц Л., Удзава
X., Исследования по линейному и нелинейному программированию»
М., ИЛ, 1962.)
[2] Constraint qualifications in’ maximization problems, Naval Res. Legist.
Quart., 8 (1961), 175—191.
Ямасаки (Yamasaki M.)
[1*] Duality theorems in mathematical programming and their applications,
J. Sci. Hiroshima Univ., Ser. A—1,32 (1968), 351—356.
Янг (Young W. H.)
[1] On classes of summable functions and their Fourier series, Proc. Royal
Soc., (A) 87 (1912), 225—229.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
альтернативная система неравенств
219
аффинная оболочка 23
— функция 24
аффинное множество 19
— отображение 24
барицентр 29
барицентрические координаты 24
барьерный конус 32
бифункция 306
— вогнутая 323
— выпуклая 307
— замкнутая 307
— индикаторная 306
— кофинитная 421
— обратная 396
— полиэдральная 317
— собственная 307
— сопряженная 324
вектор Куна — Таккера 290, 310
верхнее замыкание седловой функ-
ции 371
верхняя сопряженная седловой
функции 400
внутренность выпуклого множества
вогнутая бифункция 323
— программа 323
— функция 39
вогнуто-выпуклая функция 361
— — вогнуто-замкнутая 362
--- вполне замкнутая 369
— — выпукло-замкнутая 362
— — замкнутая 375
-------- сверху 369
---— снизу 369
---простая 381
---собственная 375
--- эквивалентная 375
вогнутое замыкание седловой функ-
ции 363
выпуклая бифункция 307
— комбинация 28
--- точек и направлений 176
— программа 323
— — нормальная 330
---обобщенная 310
---обыкновенная 288
--- полиэдральная 317
---сильно совместная 315
— — совместная 310
--- строго совместная 315
— функция 39
выпуклое замыкание седловой функ-
ции 362
— множество 27
выпуклый конус 30
---— порожденный множеством 32
— процесс 422
выступающая точка 179
выступающее направление 179
выступающий луч 179
— фасад 178
гиперплоскость 21
— разделяющая НО
— сильно разделяющая ПО
— собственно разделяющая ПО
— строго разделяющая ПО
градиентное отображение 262
график-множество бифункции 367
график-функция бифункции 366
двойственная программа 324
— система линейных неравенств 219
допустимый вектор выпуклой про-
граммы 289, 310
замкнутая бифункция 307
— функция 68
замыкание выпуклого множества 59
— выпуклой бифункции 320
--- функции 67
465
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
замыкание седловой функции 371
—-------верхнее 371
— — — вогнутое 362
— .— — выпуклое 362
— — — нижнее 371
— функции 67
индикаторная функция 45
инфимальная конволюция 50
— ориентация 426
калибр 145
калибровочная функция 45
калиброподобная функция 150
касательная гиперплоскость 186
касательное полупространство 186
конечнопорожденная выпуклая
функция 188
конечнопорожденное выпуклое мно-
жество 190
константное подпространство 86
конус 30
— барьерный 32
— выпуклый 30
— нормальный 32
— рецессивный 77
кофинитная бифункция 421
— функция 133
крайнее направление 178
крайний луч 177
крайняя точка 177
лагранжиан 295
линейная программа 317
— размерность 82
линейное подмножество множества 81
— — функции 87
локально симплициальное множе-
ство 101
максимальное монотонное отображе-
ние 355
— циклически монотонное отобра-
жение 254
метрика Минковского 150
множество аффинное 19
— выпуклое 27
— локально симплициальное 101
— минимумов функции 279
— полиэдральное 187
— — выпуклое 190
монотонно сопряженная функция 127
монотонное отображение 256
надграфик 39
направление выступающее 179
— по которому выпуклое множество
линейно 81
— рецессии 77
неравенство Фенхеля 121
нижнее замыкание седловой функ-
ции 371
нижняя сопряженная седловой функ-
ции 400
норма 148
нормальная выпуклая программа 330
нормальный вектор 32
— — к гиперплоскости 22
образ субдифференциала 244
— функции при бифункции 414
-------линейном отображении 55
образующая конуса 188
обратная бифункция 414
обратный процесс 423
опорная гиперплоскость 115
— функция 45
опорное полупространство 115
оптимальное значение выпуклой про-
граммы 289, 310
ортант 90
ортогональное дополнение 21
относительная внутренность выпук-
лого множества 59
отображение градиентное 262
— максимальное монотонное 355
— — циклически монотонное 254
— монотонное 256
— проксимационное 354
— субдифференциальное 121, 231
— циклически монотонное 254
политоп 29
полиэдр 28
полиэдральная бифункция 317
— функция 190
— программа 317
полиэдральное выпуклое множество
190
— множество 187
полная неубывающая кривая 248
полная тень множества 39
положительно однородная функция
47
полунепрерывная снизу оболочка 67
полупространство 27 ;
полутень множества 39
г поляра калибра 146
— конуса 138
466
Im -
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
поляра множества 142
принцип декомпозиции 301
производная левая 230
— по направлению 229
— правая 230
прообраз функции 55
размерность аффинного множества 21
— выпуклого множества 29
ранг множества 82
— функции 87
рецессивная функция 82
рецессивное направление 77
---функции 86
рецессивный конус 77
--- функции 86
решение выпуклой программы 289,
седловая точка 297, 391
— функция 361
седловое значение 391
симплекс 29
скалярное произведение множеств
432
— — функций 418
скалярное равенство 367
собственная бифункция 307
— функция 41
сопряженная бифункция 324
— седловая функция 401
— функция 120
субградиент 230
е-субградиент 236
субградиентное неравенство 231
субдифференциал 231
таккеровское представление аффин-
ного множества 26
точка выступающая 179
— крайняя 177
— относительно внутренняя 59
— седловая 297, 391
условие Куна — Таккера 298, 348,
398
фасад множества 178
функция аффинная 24
— биаффинная 317
— вогнутая 39
— вогнуто-выпуклая 361
— вогнуто-замкнутая 362
— возмущений выпуклой програм-
мы 292, 310
— выпуклая 39
— выпукло-вогнутая 361
— выпукло-замкнутая 362
— гладкая 267
— замкнутая 68
— — в образах 364
— индикаторная 45
— калибровочная 150
— кофинитная 133, 276
— Лагранжа 295
— монотонно сопряженная 127
— опорная 45
— полиэдральная 190
— положительно однородная 47
— рецессивная 82
— седловая 361
— сепарабельная 352
— сопряженная 120
— строго выпуклая 269
— существенно гладкая 267
— — строго выпуклая 269
— типа Лежандра 274
— целевая 289, 310
— частная аффинная 88, 123
— — квадратичная 125
целевая функция выпуклой програм-
мы 289, 310
эквивалентные седловые функции 375
эквилипшицевость 105
элементарный вектор 222
эффективное множество бифункции
---выпуклого процесса 423
---субдифференциала 243
--- функции 40
ядро седловой функции 380
ОГЛАВЛЕНИЕ
Предисловие переводчиков ......................................................................... 5
Из предисловия автора........................................... 7
Вводные замечания (советы читателю) .............................................................. 9
Глава 1. Основные понятия....................................... 19
§ 1. Аффинные множества.................................................... 19
§ 2. Выпуклые множества и конусы................................... 27
§ 3. Алгебра выпуклых множеств....................................... 33
§ 4. Выпуклые функции................................. 39
§ 5. Операции над функциями................................... 48
Глава II. Топологические свойства. 58
§ 6. Относительная внутренность выпуклых множеств. 58
§ 7. Замыкания выпуклых функций. 66
§ 8. Рецессивные конусы и неограниченность............... 76
§ 9. Некоторые критерии замкнутости............................. 88
§ 10. Непрерывность выпуклых функций............................ 98
Глава III. Двойственность.................................. ПО
§ 11. Теоремы отделимости............................... ПО
§ 12. Сопряженные выпуклые функции .................... 117
§ 13. Опорные функции.................................. 128
§ 14. Поляры выпуклых множеств......................... 138
§ 15. Поляры выпуклых функций ......................... 145
§ 16. Двойственные операции............................ 157
Глава IV. Представления и неравенства...................... 169 .
§ 17. Теорема Каратеодори.................................... 169
§ 18. Крайние точки и фасады выпуклых множеств............... 178
§ 19. Полиэдральные выпуклые множества и функции ..... 187
§ 20. Некоторые приложения теории полиэдральной выпуклости 197
§ 21. Теорема Хелли и системы неравенств..................... 203
§ 22. Линейные неравенства................................... 215
Глава V. Дифференцирование .......................... 229
§ 23. Производные по направлениям и субградиенты............ 229
§ 24. Непрерывность и монотонность субдифференциалов .... 243
§ 25. Дифференцируемость выпуклых функций................... 257
§ 26. Преобразование Лежандра............................... 267
468
ОГЛАВЛЕНИЕ
Глава VI. Экстремальные задачи с ограничениями .... 278
§ 27. Минимумы выпуклых функций......................... 278
§ 28. Обыкновенные выпуклые программы и множители Лагранжа 288
§ 29. Бифункции и обобщенные выпуклые программы......... 306
§ 30. Сопряженные бифункции и двойственные программы ... 321
§ 31. Теорема двойственности Фенхеля.................... 341
§ 32. Максимумы выпуклых функций........................ 355
Глава VII. Седловые функции и минимакс..................... 361
§ 33. Седловые функции •................................ 361
§ 34. Замыкания и эквивалентные классы.................. 371
§ 35. Непрерывность и дифференцируемость седловых функций 382
§ 36. Задачи на минимакс................................ 391
§ 37. Сопряженные седловые функции и теоремы о минимаксе 399
Глава VIII. Выпуклая алгебра............................... 410
§ 38. Алгебра бифункций................................. 410
§ 39. Выпуклые процессы................................. 422
Комментарии................................................ 434
Комментарии к дополнительному списку литературы, включенному
в русское издание....................................... 442
Список литературы.......................................... 449
Предметный указатель....................................... 465
УВАЖАЕМЫЙ ЧИТАТЕЛЬ!
Ваши замечания о содержании книги, ее оформлении»
качестве перевода и другие просим присылать по адресу:
129820, Москва, И-110, ГСП, 1-й Рижский пер., д. 2,
издательство «Мир».
Р. Рокафеллар
ВЫПУКЛЫЙ АНАЛИЗ
Редакторы
И. А. Маховая, В. И. Авербух
Художник В. И, Шаповалов
Художественный редактор
Н. А. Фильчагина
Технический редактор Ф. X. Третьякова
Сдано в набор 29/VIII 1972 г.
Подписано к печати 14/11 1973 г.
Бум. № 2 60x901/16=14,75 бум. л.
29,50 печ. л.
Уч.-изд. л. 29,15. Изд. № 1/6783
Цена 2 р. 22 к. Зак. 0685
ИЗДАТЕЛЬСТВО «МИР»
Москва, 1-й Рижский пер., 2
Ордена Трудового Красного знамени
Московская типография № 7
«Искра революции»
Союзполиграфпрома при
Государственном комитете Совета
Министров СССР по делам издательств,
полиграфии и книжной торговли.
Москва, К-1, Трехпрудный пер., 9