/
Текст
Д.И.Бвтищев
ПОИСКОВЫЕ МЕТОДЫ
ОПТИМАЛЬНОГО
ПРОЕКТИРОВАНИЯ
Д.И.Батищев
ПОИСКОВЫЕ МЕТОДЫ
ОПТИМАЛЬНОГО
ПРОЕКТИРОВАНИЯ
Москва «Советское радио» 1975
6Ф7
Б 61
УДК 62—50
1“
Батищев Д. И.
Б 61 Поисковые методы оптимального проектирова-
ния. М., «Сов. радио», 1975
216 с. с ил.
В книге задача оптимального проектирования формулируется как
детерминированная задача нелинейной оптимизации. Обсуждаются
приемы сведения задач векторной оптимизации и стохастического про-
граммирования к классу детерминированных экстремальных задач,
Приводятся алгоритмы решения задач выпуклого и невыпуклого про-
граммирования.
(Книга рассчитана на инженеров, аспирантов и студентов, специа-
лизирующихся в области применения ЦВМ в задачах проектирования,
30501-080
046(01)-75
6Ф7
Редакция кибернетической литературы
ДМИТРИЙ ИВАНОВИЧ БАТИЩЕВ
Поисковые методы оптимального
проектирования
Редактор М. С. Гордон
Художественный редактор 3. Е. Вендрова
Обложка художника О. В. Камаева
Технический редактор Г. А. Мешкова
Корректор Л. А. Максимова
Сдано в набор 28/11-1975 г.
Подписано в печать 24/IX-1975 г. Т-12567
Формат 84х108/зя Бумага машиномелованная
Объем 11,34 усл.-п. л., 11,013 уч.-изд л.
Тираж 10200 экз. Зак. 242. Цена 74 к.
Издательство «Советское радио», Москва, Главпочтамт,
а/я 693
Московская типография № 10 Союзполиграфпрома
при Государственном комитете Совета Министров СССР
по делам издательств, полиграфии и книжной торговли.
Москва, М-114, Шлюзовая наб., 10.
© Издательство «Советское радио», 1975 г,
Предисловий
При машинном проектировании радиотехнических
устройств приходится сталкиваться с необходимостью
выбора оптимального (в том или ином смысле) вариан-
та из множества допустимых. Математически эта проб-
лема может быть сформулирована как задача нелиней-
ной оптимизации. Поэтому настоящая книга посвящена
изложению алгоритмов, реализующих численные мето-
ды решения данного класса задач с помощью ЭВМ.
В связи с тем, что существует большое число чис-
ленных методов решения экстремальных задач,
а при сравнительно небольшом объеме книги нельзя
претендовать на полноту изложения, рассматриваются
только те методы, которые, по мнению автора, либо
наиболее интересны, либо использовались им при реше-
нии прикладных задач. Естественно, что при этом отбор
материала в ряде случаев носит субъективный харак-
тер, так как он отражает опыт автора и его взгляды на
применение поисковых методов минимизации в задачах
оптимального проектирования. С другой стороны многие
методы оптимального проектирования (например, ли-
нейное программирование, случайный поиск и др.), до-
статочно подробно изложенные в многочисленных моно-
графиях, также здесь не рассматриваются.
Книга рассчитана на широкий круг инженеров и
научных работников, занимающихся вопросами машин-
ного проектирования радиоэлектронных схем, а также
на аспирантов и студентов вузов соответствующих спе-
циальностей.
Настоящая книга написана по материалам лекций,
читавшихся автором в течение ряда лет на радиофизи-
ческом факультете Горьковского университета.
В заключение автор выражает искреннюю призна-
тельность профессорам Л. А. Растригину и В. П. Сигор-
скому, которые прочли рукопись и высказали много по-
лезных замечаний и предложений.
Д. Батищев
Введение
Под оптимальным проектированием будем пони-
мать процесс принятия наилучших (оптимальных) в не-
котором смысле решений с помощью ЭВМ. Эта пробле-
ма, связанная с получением оптимального решения из
множества допустимых, является общей для всех этапов
проектирования и во многом определяет технико-эконо-
мическую эффективность и технологичность проектируе-
мых устройств. С развитием микроэлектроники значение
выбора оптимального решения на стадии проектирова-
ния еще более возрастает, так как практически исклю-
чается возможность экспериментальной оптимизации
готовой схемы.
Общим для задач принятия оптимальных решений,
которые возникают на разных этапах проектирования,
является то, что они математически могут быть сформу-
лированы как задача нелинейной оптимизации. При
этом предполагается, что имеется математическая мо-
дель рассматриваемого объекта оптимизации и требует-
ся для заданной модели найти такие параметры, кото-
рые обеспечивают экстремальное значение одной из
наиболее важных характеристик при условии, что
другие удовлетворяют заданной системе ограничений.
К такой постановке можно свести широкий класс
экстремальных задач, в том числе задачи многокрите-
риальной оптимизации, стохастического и параметриче-
ского программирования.
Применение ЭВМ позволяет задавать условия зада-
чи не только в аналитическом, формульном виде, но и
с помощью таблиц, программ моделирования, алгорит-
мов решения дифференциальных и нелинейных уравне-
ний и т. д. В связи с этим функции, описывающие
проектируемое устройство, могут иметь сложный нели-
нейный характер, что не позволяет получить оптималь-
ное решение в аналитической форме с помощью
классических методов дифференциального и вариацион-
ного исчисления. Поэтому в последние годы стали
интенсивно развиваться поисковые методы оптимального
проектирования, обеспечивающие численное решение
задачи при помощи ЭВМ. К сожалению, даже среди
4
войсковых методов йе существует универсального (йа-
пример, такого как симплекс-метод в линейном програм-
мировании), который позволял бы получать оптималь-
ное решение для любой задачи нелинейной оптимизации.
В настоящее время при решении каждой задачи опти-
мального проектирования, сформулированной как зада-
ча нелинейной оптимизации, может потребоваться при-
менение нескольких методов поиска, но даже в этом
случае успех во многом будет определяться знанием
физической сущности рассматриваемой проблемы.
Поэтому для решения экстремальных задач одного и
того же класса разработано большое число методов
поиска. В связи с этим возникают вопросы: какие же
методы использовать для решения конкретных задач
оптимизации, как выбирать при этом наилучшие пара-
метры в методах поиска и т. д. В настоящее время су-
ществует несколько способов получения ответа на по-
ставленные вопросы.
Один из способов связан с экспериментальным тес-
тированием методов поисковой оптимизации. При этом
предполагается, что введены некоторые оценки эффек-
тивности процесса поиска, которые характеризуют, как
затраты на поиск в целом, так и вероятность локализа-
ции оптимального решения. Тогда с помощью
тестовых задач, в которых известны оптимальные реше-
ния, можно указать те методы, которые являются наи-
лучшими для данного класса экстремальных задач.
Другой способ эффективного решения задач нелиней-
ной оптимизации состоит в разработке автоматизиро-
ванных систем принятия оптимальных решений, которые
позволяют решать задачи данного класса в интерактив-
ном режиме*). В результате диалога «человек — машина»
исследователь может менять как число, так и тип варьи-
руемых переменных, выбирать наилучший (в смысле за-
трат машинного времени) метод поиска, подстраивать
численные параметры метода к конкретным особенно-
стям минимизируемой функции и т. д. Такой подход
к решению экстремальных задач позволяет осущест-
влять адаптацию методов поиска к особенностям и
трудностям конкретной задачи. Для того чтобы пол-
ностью использовать возможности интерактивного режи-
*} Интерактивный режим предполагает возможность оперативно-
го взаимодействия исследователя с ЭВМ на любом этапе решении
задачи.
5
ма при решении задачи нелинейной оптимизации, необ-
ходимо выполнение двух условий. Во-первых, библиоте-
ка стандартных программ, входящих в систему, должна
включать широкий класс алгоритмов поисковой оптими-
зации и, во-вторых, необходимо знать особенности и
возможности поисковых методов оптимального проекти-
рования, хотя бы на основании информации, полученной
путем экспериментального тестирования.
Таким образом, очевидно, что эффективное решение
задачи оптимального проектирования сильно зависит от
набора алгоритмов поисковой оптимизации, с кото-
рыми знаком исследователь. Поэтому целью настоящей
книги является систематизация, обобщение и развитие
поисковых методов оптимального проектирования.
По содержанию книгу удобно разделить на три ча-
сти.
Первая часть (гл. 1—2) посвящена вопросам мате-
матической формулировки задачи оптимального проек-
тирования как задачи нелинейной оптимизации и фор-
мализации ряда понятий, связанных с наилучшими алго-
ритмами поисковой оптимизации. Здесь показано, как
к сформулированной задаче могут быть сведены задачи
оптимизации характеристик радиотехнических цепей,
зависящих от непрерывно изменяющегося параметра,
задачи многокритериальной (векторной) оптимизации и
задачи стохастического программирования. При опреде-
лении наилучшего алгоритма поиска дается методика
экспериментального тестирования и приводятся тесто-
вые классы экстремальных задач, на которых целесооб-
разно сравнивать и исследовать алгоритмы поисковой
оптимизации.
Во второй части (гл. 3—7) дается подробное изложе-
ние алгоритмов поисковой оптимизации, доведенных либо
до блок-схем, либо до процедур, описывающих последо-
вательность действий при оптимизации. Эта часть книги
построена таким образом, что алгоритмы излагаются
в последовательном возрастании трудности решения
задач оптимизации: от одномерных к многопараметри-
ческим, ют унимодальных к многоэкстремальным, от
задач без ограничений к задачам с ограничениями, от
выпуклого программирования к задачам невыпуклого
программирования. Такое построение кажется автору це-
лесообразным с двух точек зрения. Во-первых, это по-
зволяет излагать материал, наращивая его сложность.
6
4,
Во-вторых, при таком изложении обеспечивается преем-
ственность рассматриваемых алгоритмов. Так, напри-
мер, алгоритмы одномерного унимодального поиска
используются в методах глобальной минимизации про-
извольных кривых, которые являются одной из процедур
при поиске локального минимума многопараметрических
функций, алгоритмы решения последних, в свою оче-
редь, используются в качестве процедуры в задачах вы-
пуклого программирования и т. д.
В третьей части (гл. 8) рассматриваются вопросы
приложения методов поисковой оптимизации к расчету
оптимальных параметров конкретных классов схем
(пассивных электрических цепей, кварцевых фильтров,
логических транзисторных элементов и т. д.).
В заключение необходимо отметить, что радиотехни-
ческая направленность книги связана только с иллюст-
ративным материалом, так как излагаемые в книге по-
исковые методы оптимального проектирования могут
быть использованы для решения широкого круга при-
кладных задач.
Глава первая
МАТЕМАТИЧЕСКАЯ ФОРМУЛИРОВКА ЗАДАЧ
ОПТИМАЛЬНОГО ПРОЕКТИРОВАНИЯ
1.1. Математические модели
проектируемых устройств
Для решения на ЭВМ задач оптимального проек-
тирования конкретных радиотехнических устройств и
схем необходимо иметь их математические модели
[1,2]. Несмотря на всю сложность и разнообразие ра-
диотехнических цепей (пассивные и активные фильтры,
усилительные каскады, переключающие элементы,
импульсные схемы и т. п.) процесс построения матема-
тической модели физического устройства содержит сле-
дующие общие этапы [3]:
— формализация задачи проектирования;
— анализ и выделение существенных свойств устрой-
ства;
— построение математического описания, отражаю-
щего взаимосвязь существенных свойств устройства
между собой.
Исходной информацией при этом являются данные
о назначении, условиях применения и режимах работы
проектируемого устройства. Эти данные позволяют опре-
делить основную цель (задачу) проектирования и фор-
мализовать требования, предъявляемые к проектируемо-
му устройству.
Предположим, что каждое конкретное физическое
устройство характеризуется некоторым набором свойств,
которые соответствуют целям его применения и могут
быть измерены или вычислены. Здесь под свойствами
будем понимать величины, отражающие поведение
реального устройства и учитывающие как технико-эко-
номические показатели, так и условия функционирова-
ния. При выделении существенных свойств необходимо
пренебрегать теми, которые не влияют на решение по-
ставленной задачи проектирования. Например, при рас-
чете транзисторных схем по постоянному току стоимость
транзистора и его шумовые характеристики являются
свойствами, которые не имеют существенного значения
8
для решения Поставленной задачи й Могут не рассма-
триваться.
Пусть п свойств являются независимыми друг от
друга и могут варьироваться в некоторых пределах.
Обозначим их вектором х= (Xi, Х2.......хп) и назовем
управляемыми переменными (или параметрами). Дру-
гие пг свойств являются зависимыми от параметров и
называются характеристиками. Обозначим их вектором
<p= (epi, ф2, ..., фт). Параметры и характеристики опре-
деляют объект проектирования (или просто объект).
Кроме управляемых переменных характеристики могут'
зависеть от оставшихся I свойств, которые являются:
случайными величинами. Назовем их внешними факто-
рами и обозначим вектором у={уи у2, ..., yi). Внешние:
факторы образуют среду, в которой рассматривается:
объект проектирования.
В зависимости от характера решаемой задачи свой-
ства реального устройства могут быть отнесены либо’
к свойствам объекта, либо к свойствам среды, т. ё. раз-
деление на свойства объекта и свойства среды относи-
тельно и определяется целью проектирования. Так, при
расчете электронной схемы в дискретном исполнении
параметрами х обычно являются электрические компо-
ненты схемы (сопротивления, емкости и индуктивности),
а характеристиками могут быть временные или частот-
ные зависимости. В то же время при проектировании
электронной схемы в интегральном исполнении в каче- .
стве параметров х могут быть выбраны геометрические
размеры компонентов и удельное сопротивление мате-
риала, из которых они изготовлены. В этом случае ха-
рактеристиками объекта, кроме временных и частотных
зависимостей, будут и параметры электрических компо-
нентов схемы.
Управляемые переменные и внешние факторы игра-
ют роль независимых переменных, а характеристики
являются зависимыми от этих величин. Соотношения,
выражающие эти зависимости, будем называть матема-
тическим описанием объекта:
Ti = ?>(x„ ..., хп; ylt yt. yi),
............................... (1.1)
?m = ?m(XI, Хг, ..., Хп', ylt уг, .... yt)
или в векторной форме
ф = ф(х, у). (1.2)
9
Зависимости ф(х, у) в общем Случае представляют Со-
бой отображение между двумя множествами свойств
проектируемого устройства ср и (х, у). Они могут быть
заданы различными способами: с помощью формул, гра-
фиков, таблиц, алгоритмов вычисления характеристик
или решения систем дифференциальных и трансцендент-
ных уравнений.
Таким образом, под математической моделью реаль-
ного устройства будем понимать конечное множество
переменных {х, у} вместе с математическими связями
(1.2) между ними и характеристиками ф. Если матема-
тическое описание объекта не содержит элементов слу-
чайности (в этом случае внешние факторы отсутствуют),
модель называется детерминированной в том смысле, что
характеристики ф однозначно определяются параме-
трами х:
<р = <р(х). (1.3)
Модели, в которых приходится учитывать случайные
факторы у, называются вероятностными или стохасти-
ческими [4]. В таких моделях характеристики <р явля-
ются случайными величинами, распределение которых
при постоянных значениях параметров х определяется
факторами у. В дальнейшем для описания детерминиро-
ванных моделей будем пользоваться соотношениями
(1.3), а для описания стохастических моделей—(1.2).
Для каждого исследуемого объекта проектирования
можно построить несколько математических моделей.
В- зависимости от постановки задачи разрабатывается
та или иная модель, которая отражает локальные свой-
ства рассматриваемого устройства и полностью опреде-
ляется знаниями и опытом разработчиков — специали-
стов в данном вопросе. Однако общее требование к лю-
бой модели состоит в том, что она должна быть
адекватна реальному устройству, т. е. ее математическое
описание должно с заданной точностью отражать суще-
ственные свойства, присущие конкретному объекту.
Из-за большого числа взаимосвязей свойств объекта как
между собой, так и со средой построение полностью
адекватной модели практически невозможно. Поэтому
при построении' математической модели необходимо
добиваться компромисса между ожидаемой точностью
результатов и сложностью модели. Точность модели
полностью определяет достоверность тех результатов,
которые получаются в процессе оптимизации. (Примеры
10
построения математических моделей для конкретных за-
дач расчета радиотехнических цепей будут приведены1
в гл. 8.)
1.2. Формулировка ограничений,
налагаемых на параметры и характеристики
математической модели
Любая характеристика <р« (х) объекта, заданного
детерминированной математической моделью (1.3), пол-
ностью определяется вектором управляемых перемен-
ных х. В процессе проектирования стремятся выбрать
численные значения составляющих этого вектора таким
образом, чтобы удовлетворить требованиям, предъяв-
ляемым к проектируемому объекту. Эти требования
весьма разнообразны и определяются многими факто-
рами, наиболее важными из которых являются:
— условия физической и схемной реализуемости;
— условия эксплуатации, гарантирующие надежную
и экономичную работу объекта;
— технические задания на характеристики и параме-
тры объекта и т. д.
При математической формулировке задач оптималь-
ного проектирования удовлетворение этих требований
сводится к выполнению системы ограничений, которые
накладываются как на управляемые переменные х, так
и на характеристики <р. Несмотря на разный физический
смысл требований, предъявляемых к объектам проекти-
рования, ограничения на параметры и характеристики
можно записать в виде системы неравенств:
Xj~^Xj^Xj+, j = }, 2, ..., п, (1.4)
<p-<?I(x)<<p(+, i=l, 2 m, (1.5)
где Xj~, Xj+ — значения j-й управляемой переменной,
характеризующие область ее возможных изменений
исходя из условий эксплуатации объекта, технологии его
изготовления, физических и конструктивных соображе-
ний; <рс, — предельные значения требований, нало-
женных на 1-ю характеристику.
Ограничения (1.5) эквивалентны следующей системе
неравенств, записанной в векторной форме:
g(x)>=0, (1.6)
11
£<(*) =
где
g(x) = (^>(x), £s(x)............ gM);
'Pi(x) — <p~, если ?/(x)>?~,
<f>+ — <pz (x), если <?/ (x) < <p* .
Очевидно, что к ограничениям (1.6) могут быть све-
дены ограничения типа равенств g(x)=0 путем замены
их парой неравенств:
g(x)>0, — g(x)>0.
Одной из особенностей проектирования радиотехни-
ческих объектов является то, что в систему ограничений
(1.6) могут входить характеристики, которые зависят от
некоторого параметра v, заданного на интервале [v~,
v+]. Таким параметром может быть время, частота, тем-
пература и т. п. В этом случае ограничение на Л-ю ха-
рактеристику объекта связано с выполнением условия:
gk(x, v)>0, vG[v*,V]. (1.7)
Переход от ограничений типа (1.7) к системе нера-
венств (1.6) можно осуществить, используя либо сеточ-
ный метод [5], либо принцип гарантированного резуль-
тата [6].
Идея сеточного метода основана на дискретизации
исходного интервала [v_,.v+] равномерной e-сетью и
рассмотрении функции gk(x, v) на дискретной совокуп-
ности точек (vi, V2, ..., -vm). При этом выполнение огра-
ничения (1.7) сводится к требованию выполнения систе-
мы из М неравенств:
gfe(x,Vi)>0, i=l, 2; ..., М. (1.8)
Согласно е-теореме [5] для любой непрерывной
функции всегда можно выбрать такое-число точек М>
>Мо, что выполнение системы неравенств (1.8) будет
обеспечивать выполнение ограничения (1.7) с любой
заданной точностью е. Однако на практике вопрос выбо-
ра конкретного числа Мо остается неясным и приходится
задавать число точек дискретизации М на основании
опыта и физической сущности задачи. Другим недостат-
ком сеточного метода является то, что вместо одного
неравенства (1.7) приходится рассматривать систему из
М неравенств.
В связи с вышесказанным для проверки ограничения
(1.7) целесообразно использовать принцип гарантиро-
ванного результата, основная идея которого заключает-
12
11032—2э
ся в том, что ограничение (1.7) проверяется для наибо-
лее неблагоприятного (критического в смысле выполне-
ния неравенства (1.7)) значения параметра v+J:
gk(x, v*)>0, (1.9)
где
gk(x, v*) = min^(x, v).
Необходимо заметить, что критическое значение па-
раметра -v зависит от управляемых переменных х и
является некоторой неизвестной функцией от них, т. е.
v*=v*(x). Для отыскания критического значения v*
можно применять методы поисковой оптимизации, рас-
смотренные в гл. 4, которые основаны только на вычис-
лении значений функции £ь(х, -v) в фиксированных точ-
ках Vi, i=l, 2, ..., N. Получаемое при этом расположе-
ние точек Vi будет неравномерным. Оно не задается зара-
нее, а выбирается автоматически в процессе поиска
в зависимости от вида функции gk(x, v). Для резко из-
меняющихся функций значение N получается больше,
чем для плавных кривых. Причем точки Vi располага-
ются наиболее плотно в тех подынтервалах, для которых
неравенство (1.7) наиболее критично относительно па-
раметра V.
В дальнейшем будем считать, что ограничения, за-
данные на интервале [v~, v+], с помощью принципа га-
рантированного результата сведены к системе нера-
венств (1.6). Тогда условия (1.6) будут определять не-
которое множество изменения управляемых перемен-
ных х:
Dg={x|g(x)>0). (1.10)
Это выражение означает, что множество Dg состоит из
всех тех векторов x=(xi, х2, ..., хп), для которых вы-
полняется система неравенств gi(x)^Q, i=l, 2, ..., т.
Ограничения (1.4) образуют множество допустимых
значений вектора х, удовлетворяющих системе линей-
ных неравенств
Dx={x\Xj-^Xj^Xj+, j=\, 2, ..., п}. (1.11)
Эти неравенства могут быть исключены из дальнейшего
рассмотрения при помощи введения новых переменных
z, связанных с х, например, соотношениями следующего
вида:
Х;=х/-4- (xj+—х~) sin2Zj, (1-12)
где Zj, 2, ..., n, — любое число.
!3
Некоторые типы ограничений на параметры х и пре-
образования [7—10], позволяющие исключить из зада-
чи оптимального проектирования линейные неравенства,
приведены в табл. 1.1.
Т аблица 1.1
Пара- метры Ограничения на параметры Преобразование переменных Новые пе- ременные
X/ ^Х А х х х 5 V V -*•1 А О О X ^•+ X/ = Z2/ х/ = exp (z/) Xj = X,~ + [(х,+ - — arcctg z/ xf = + Z*j 2/
X/, Х/+1 1 X ^Х V \v X X xj = x/+i sin2 z/ Xj = (x/+i arcctg z/)/n x/+1) z/
0<а<х/+1/х/< <0, х/> 0, х/+1>0 Xf = exp (zj) cos [9a + + (9p—0a) sin2 2/+d x/+i = exp (z/) sin [9a + + (0p—Usin2z/+1] 9a = arctg a 9p = arctg p °<0«<0?<’'/2 2/, z/+1
Множество D, полученное при пересечении множеств
Dx и Dg(D = Dx f] Dg), будем называть допустимой
областью изменения управляемых переменных х. Лю-
бой вектор х, принадлежащий допустимой области
Z)(xe£>), является допустимым вектором.
1.3. Постановка и классификация
детерминированных задач оптимизации
Под решением задачи оптимального проекти-
рования будем понимать процесс выбора управляемых
переменных х, принадлежащих допустимой области D и
обеспечивающих оптимальное значение некоторой ха-
рактеристики объекта Q(x). Эта характеристика, пока-
14
зываЮщая относительное «предпочтение» одного вариан-
та по отношению к другим, называется критерием опти-
мальности (функцией цели, критерием эффективности,
функцией полезности и т. п.). Экстремальное значение
критерия оптимальности Q(x) численным образом ха-
рактеризует наиболее важное свойство объекта. В зави-
симости от цели проектирования необходимо получить
либо максимум, либо минимум этой величины. Напри-
мер, для логических элементов в зависимости от цели
проектирования необходимо получить максимальное
быстродействие или минимальную потребляемую мощ-
ность, максимальную нагрузочную способность или мак-
симальную помехоустойчивость и т. д. Пусть для опре-
деленности требуется, чтобы критерий оптимальности
был минимален*)
minQ(x). (1-13)
Выражение (1.13) является сокращенной записью сле-
дующей задачи оптимизации. Найти вектор х = (xi,
х2, ..., хп), обеспечивающий минимальное значение кри-
терия оптимальности
Q=Q(xit х2, .... Хп) (1.14)
при выполнении системы неравенств
gi(xt, х2, ..хп)^0, 1=1, 2, ..., tn, (1.15)
Xj~^Xj^Xj+, ,/=1, 2.....п. (1-16)
Таким образом, решение задачи оптимального проек-
тирования сводится к решению задачи оптимизации
(1.14) — (1.16), т. е. к определению оптимального реше-
ния х*, удовлетворяющего неравенствам (1.15), (1.16)
и обеспечивающего минимальное значение критерия
оптимальности (1.14).
Задача оптимизации (1.14) — (1.16) называется зада-
чей линейного программирования, если критерий опти-
мальности и ограничения являются линейными функция-
ми параметра х:
min (1.17)
/=i
*> Это не нарушает общности рассмотрения, так как максими-
зация функции Q(x) сводится к минимизации функции — Q(x).
15
йри условии
п
2 ацх^Ы, i = l, 2,..., m*
,=х/>0, j = l, 2..... п. (1.18)
Численные методы решения задач линейного програм-
мирования хорошо разработаны [11 —13] и поэтому
рассматриваться в дальнейшем не будут.
Если критерий оптимальности Q(x)—квадратичная
функция, т. е. Q(x) =xTGx+cTx, а ограничения — линей-
ные функции, то задача (1.14) — (1.16) называется за-
дачей квадратичного программирования. Для положи-
тельно полуопределенной матрицы G, как и для задачи
линейного программирования, разработаны методы,
обеспечивающие получение оптимального решения за
конечное число шагов итерационного процесса, послед-
няя итерация которого дает точное решение задачи
линейного или квадратичного программирования [14—
16]. В тех случаях, когда критерий оптимальности или
ограничения являются нелинейными функциями, задача
(1.14) — (1.16) называется задачей нелинейной оптими-
зации.
В зависимости от числа варьируемых параметров х,
вида допустимой области D и критерия оптимальности
Q(x) задачи нелинейной оптимизации можно классифи-
цировать следующим образом.
При отсутствии нелинейных ограничений (1.15) *> за-
дача оптимизации упрощается и сводится к поиску ми-
нимума функции Q(x), определенной в n-мерном евкли-
довом пространстве Rn:
minQ(x). (1.19)
Задача (1.19) называется задачей нелинейной оптими-
зации без ограничений (или задачей поиска безусловного
минимума).
При наличии ограничений, связывающих переменные
х, задача нелинейной оптимизации называется задачей
нелинейного программирования (или задачей поиска
экстремума при наличии ограничений).
Общим для обоих типов задач оптимизации является
то, что в зависимости от числа варьируемых переменных
♦) Будем считать, что линейные ограничения (1.16) в этом слу-
чае исключены из рассмотрения при помощи преобразований, приве-
денных в § 1.2 (см. табл. 1.1).
16
они могут быть одномерными (п=1), когда осущестйля-
ется поиск минимума произвольной кривой Q(x), или
многопараметрическими (п^2), связанными с миними-
зацией некоторой «-мерной гиперповерхности Q(x). При
этом оптимальное решение х* в зависимости от вида
функции Q(x) может быть либо точкой локального,
либо точкой глобального минимума.
Вектор х* называется точкой локального (или отно-
сительного) минимума, если для всех точек х, принад-
лежащих е-окрестности d(x*, е) этой точки, значение
Q(x) не принимает меньшего значения:
Q(x*)<Q(x) для всех xg(/(x*, s). (1.20)
Точка х* является точкой глобального (или абсолют-
ного) минимума, если ни в одной другой точке допусти-
мой области D функция Q(x) не принимает меньшего
значения:
Q(x*) <Q(x) для всех xgD. (1.21)
Таким образом, глобальный минимум — это наименьший
из всех локальных. На рис. 1.1 приведены точки локаль-
Qm
п
Рис. 1.1. Произвольная кривая с двумя локальными (x*i, x*s) и’
одним глобальным (х*з) минимумами.
НЫХ (х*1, х*2) и глобального (Х*з) минимумов для про-
извольной одномерной функции.
Простейшими из нелинейных функций являются в ы-
пуклые функции. Геометрически это свойство озна-
чает, что функция Q(x) расположена ниже любой пря-
мой, соединяющей две точки на ее поверхности. Функ-
2—242 17
feta* f,‘ I
Г У , |
цйя Q(x) называется воТнутой, если эта же функция,
взятая с обратным знаком, является выпуклой.
Более общий класс нелинейных функций составляют
унимодальные функции, т. е. функции, имеющие
единственный локальный минимум в области D, кото-
рый будет в этом случае глобальным. Геометрически
условие унимодальности сводится к следующему требо-
ванию: необходимо, чтобы для любых точек х=#х* су-
ществовал строго падающий путь на поверхности Q(x),
ведущий от х к х*. На рис. 1.2 приведены некоторые
примеры унимодальных одномерных функций.
Рис. 1.2. Одномерные унимодальные функции.
Функции, имеющие несколько локальных миниму-
мов, будем называть многоэкстремальными функциями.
В задачах нелинейного программирования тип опти-
мального решения х* (будет ли х* локальным или гло-
бальным минимумом) зависит не только от вида функ-
ции Q(x), но и от того, является ли допустимая область
управляемых переменных D выпуклым множеством. Для
выпуклой функции Q(x) и выпуклого множества D ло-
кальный минимум является в то же время и глобальным
[16]. Для невыпуклой области D даже при выпуклой
функции Q(x) задача нелинейного программирования
может оказаться многоэкстремальной (рис. 1.3), т. е.
иметь несколько локальных минимумов.
Таким образом, задачи нелинейной оптимизации
можно разделить на два класса:
1) задачи поиска безусловного минимума
— одномерных унимодальных функций;
— многоэкстремальных произвольных кривых;
18
— многопараметрических унимодальных функций;
— многоэкстремальных функций нескольких пере-
менных;
2) задачи нелинейного программирования
— с ограничениями, образующими выпуклое множе-
ство допустимых решений (задачи выпуклого програм-
мирования);
— с ограничениями, образующими невыпуклое мно-
жество допустимых решений (задачи невыпуклого про-
граммирования).
Рис. 1.3. Локальные (4, В) и глобальный (С) миниму-
мы линейной функции Q(x)=X2, определенной на невы-
пуклом множестве D.
1.4. Векторные критерии оптимальности
и методы их объединения
В задачах оптимального проектирования часто воз-
никает необходимость получить наилучшие значения для
нескольких характеристик объекта оптимизации, т. е.
требуется определить такие значения управляемых пере-
менных xeD, которые обеспечивают минимум одновре-
менно по всем введенным критериям оптимальности
Qfe(x), Л=1, 2, ..., s. Обычно эти критерии противоре-
чивы и оптимизация по каждому из них приводит к раз-
ным значениям управляемых переменных х. В связи
с этим для совместного учета всей совокупности част-
ных критериев необходимо рассматривать векторный
критерий оптимальности
Q(x) = [Qi (х),.... Qs(x)],
приводящий к задаче многокритериальной оптимизации
2* w
[17], решение которой в общем случае, не являясь
оптимальным ни для одного из частных критериев
(в смысле постановки задачи (1.13)), оказывается ком-
промиссным для вектора Q(x) в целом.
Будем говорить, что решение задачи многокрите-
риальной оптимизации (компромиссное решение) x*ef>
является эффективной точкой [18], если для нее спра-
ведливо неравенство
Q(x*)<Q(x) для x£D,
т. е. любая компонента Qa(x*)<Q*(x), Л=1, 2,..., з,
но хотя бы для одного / из з найдется точка х (= D, в ко-
торой выполняется Гстрогое неравенство Q/(х*) > Q/(х).
Из определения эффективной точки следует, что она
не единственна. Множество всех эффективных точек
называется областью компромиссов или областью реше-
ний, оптимальных по Парето [19]. Оптимальность по
Парето векторного критерия Q(x) означает, что нельзя
дальше уменьшать значение одного из частных крите-
риев, не увеличивая значения хотя бы одного из осталь-
ных. Для определения минимума по Парето необходимо
перейти от задачи векторной оптимизации к задаче не-
линейной оптимизации (1.13) со специально сконструи-
рованной скалярной функцией цели:
Q(x)=®[Q1(x)/..., Qs(x)]. (1.22)
Процесс образования скалярной функции (1.22),
являющейся обобщенным критерием для задачи много-
критериальной оптимизации, называется объединением
(свертыванием) векторного критерия оптимальности.
В зависимости от информации о степени сравнимости
частных критериев оптимальности можно выделить сле-
дующие типы объединения: объединение количественно
соизмеримых критериев; объединение критериев, для
которых указано отношение предпочтения по важности:
объединение критериев, несоизмеримых между собой.
Вопросы построения обобщенных критериев опти-
мальности рассмотрены в работах [17, 20—24]. Поэтому
остановимся более подробно только на некоторых част-
ных способах объединения.
Объединение количественно соизмеримых критериев.
Критерии оптимальности Qa(x), Л=1, 2, .... з, будем
считать количественно соизмеримыми, если каждому из
них можно поставить в соответствие некоторое число
1а, k—l ... s, которое численно характеризует его важ-
20
ность по сравнению с другими критериями. Параметры
Kk называются весовыми коэффициентами (степенью
полезности Л-го критерия, весом критерия и т. д.). Раз-
мерность весовых коэффициентов Ль такова, что в чис-
лителе стоит общая размерность, а в знаменателе —
размерность соответствующего критерия Q&(x). Это по-
зволяет получить обобщенный скалярный критерий
Q (х), называемый аддитивной функцией полезности,
путем образования суммы частных критериев, умножен-
ных на свои весовые коэффициенты (метод взвешен-
ных сумм):
Q(x) = 2 lftQ*(x), (1.23)
*=i
где
и 2 = L
6=1
В некоторых случаях допускается сравнение между
собой не критериев оптимальности, а потерь по каждо-
му из них. Потери вводятся как разность между значе-
нием Qfe(x) и его оптимальной величиной
Q*a =minQft(x).
x^D
В этом случае аддитивная функция полезности име-
ет вид
S
Q(x)=2 (1-24)
Выражение (1.23) объединяет частные критерии
Qfe(x) в одной размерности, а выражение (1.24) приво-
дит эти критерии к общему началу отсчета и к одной
размерности.
Недостатком метода взвешенных сумм является то,
что компромиссное решение, полученное из решения за-
дачи (1.13) и оптимальное в смысле обобщенного кри-
терия Q(x), может оказаться неудовлетворитель-
ным по некоторым из частных критериев Qa(x), т. е.
при обеспечении минимума для Q(x) может оказаться,
что один критерий компенсируется за счет других, кото-
рые могут оказаться недопустимо большими. Для
исключения этого случая необходимо при постановке
задачи (1.13) вводить дополнительные ограничения на
21
неудовлетворительные критерии: Qfe(x)=^Qft+. Тогда
определение эффективной точки х* сводится к решению
задачи нелинейной оптимизации:
minQ(x), (1-25)
где
D=Df}D^ DQ={x|Qft(x)<QA+. 6=1,2............. р}.
При решении конкретных задач многокритериальной
оптимизации для образования аддитивной функции по-
лезности Q(x) необходимо задавать-численные значения
весовых коэффициентов А*. Кроме случая, когда коэф-
фициенты Ал могут быть выбраны, исходя из физической
сущности задачи, определение их численных значений
представляет определенные трудности.
В связи с этим рассмотрим один из подходов к вы-
бору численных значений Ад, основанный на следующей
игровой модели {25]. Пусть имеется s критериев опти-
мальности Qi, ..., Qs, для которых нельзя заранее уста-
новить количественные отношения предпочтения по важ-
ности. .Предположим, что для каждого к определено
оптимальное по скалярному критерию фл(х) значение
х*й, являющееся эффективной точкой при значениях
весовых коэффициентов Ал=1 и ^=0, i—l, 2, ..., s,
i^=k:
Q*k = Qk(**k) = min Qk (x).
Введем меру См, позволяющую определить отклоне-
ние оптимального значения одного из частных критериев
от его значения, полученного при оптимальном решении
для остальных критериев:
Сы = ][Q* (x*ft) - Qk (x*i)]/Qk (x*A)|.
Значение См характеризует влияние вектора xf на кри-
терий Qfe(x). Полученная мера позволяет построить
квадратную матрицу с коэффициентами (—См), стро-
кам которой соответствуют оптимальные решения х*,
22
й Столбцам —оптимальные значения частнЫх критериев
оптимальности Q*:
Q*. Q*2 • • w * О’
X»! 0 —С12 . . -C1S
Х*2 —С 21 0 С 2S
v 4* A s —CSi Cs2 . . 0
(1.26)
Будем рассматривать эту матрицу как матрицу пла-
тежей в матричной игре 2x2. Партию игры можно
представить следующим образом. Первый игрок выби-
рает одно из оптимальных решений хг*, а второй назна-
чает любую функцию Qk*. В связи с тем, что
первый игрок платит второму штраф См. Поэтому он
старается выбрать такое значение Xi*, чтобы минимизи-
ровать потерю, которую следует ожидать по отношению
ко всем частным критериям оптимальности. Из структу-
ры матрицы (1.26) следует, что она не обладает седло-
вой точкой. Это означает, что оптимальное решение
игры для каждого из игроков должно быть задано
в форме смешанных стратегий. Теорема о минимаксе
для матричных игр [18] говорит, что такие стратегии
существуют для обоих игроков.
Пусть одним из численных методов теории игр [26]
получены смешанные оптимальные стратегии первого и
второго игрока соответственно:
W, V, k=\, 2, ..., s.
Тогда смешанную стратегию второго игрока можно
рассматривать как совокупность весовых коэффициен-
тов, которые необходимы для построения аддитивной
функции полезности (1.23). В то время как смешанная
стратегия первого игрока I1 соответствует коэффициен-
там, которые определяют компромиссное решение х*
относительно заданных критериев оптимальности Qk*
в виде линейной комбинации эффективных точек:
Х*=2
=1
В этом случае под компромиссным решением понимает-
ся вектор х*, при котором максимальное значение См
по отношению ко всем частным критериям является
минимальным.
Объединение критериев, для которых указано отно-
шение предпочтения по важности. Пусть задано пред-
23
йойФеййе по важносФи для всех часФных крйтерйев ойй-
мальности Qfe(x). Причем это предпочтение задано усло-
вием, что критерией Qi(x) более важен, чем критерий
Qa(x), фг(х) более важен, чем Qs(x) и т. д. В этом слу-
чае объединение частных критериев может быть осуще-
ствлено посредством введения наиболее важного
(«основного») критерия Q(x)=Qi(x), который стре-
мятся уменьшить при заданных «пороговых» значениях
Qk+ остальных частных критериев:
minQi(x), (1.27)
где
D=DnPQ; DQMx|Qft(x)<Qft+, А = 2, 3,..., s}.
Другой способ учета информации о важности крите-
риев— это поэтапное решение задачи нелинейной опти-
мизации относительно каждого частного критерия опти-
мальности. После того как для наиболее важного
критерия Qi(x) получено решение хД в качестве компро-
миссного решения х* принимается вектор хД получен-
ный' из решения последовательности задач нелинейной
оптимизации:
ininQ*(x), k=2, 3,..., s, (1.28)
где
Dft=Dnr>*-i; P*-» = {x|Q/(x)=Q*/, /=1. 2......й-1}.
На практике для того чтобы получить хорошее реше-
ние по менее важным критериям, приходится делать
уступки AQ по другим наиболее важным критериям.
Этот подход реализуется в методе последовательных
уступок [27], который сводится к решению последова-
тельности задач нелинейной оптимизации:
minQfe(x), k = 2, 3,..., s, (1.29)
где
Dk = D f] Dk.x = {x | Q/ (x) <Q*/ + AQ/,
/=1, 2,..., A-l}; Q*1=minQ1(x);
Qj* — оптимальное решение задачи (1.29) для фиксиро-
ванного /; AQj — уступка по j-му критерию.
В качестве компромиссного решения х принимается
вектор хД Этот метод удобен тем, что для каждого
24
/-го критерия видно, ценой каких уступок по (/— 1)-му
критерию приобретается тот или иной выигрыш.
Другим способом упорядочения критериев по важно-
сти является введение оценок приоритетов щ,- частных
критериев [28]. Например, 10/1—подавляющая важ-
ность i-ro критерия по сравнению с j-м критерием, 5/1 —
значительно большая важность, 2/1 — большая важ-
ность и 1/1—примерно равная важность. Эта инфор-
мация о степени сравнимости (предпочтения по важно-
сти) критериев представляется в виде матрицы
sX(s+l), в каждую строку которой вносится оценка
приоритетов |л,д характеризующая важность критерия
Qt (x) по отношению к остальным критериям.
Пусть оценка |Л2з=5/1, т. е. критерий фг(х) имеет
значительно большую важность, чем критерий Qs(x).
Тогда на пересечении второй строки и третьего столб-
ца ставится цифра 5, а на пересечении третьей строки
и второго столбца—цифра 1 и т. д. В последнем (s-M)-m
столбце матрицы для каждой строки находятся суммы
оценок по столбцам лк, k=\, 2, ..., s. Относительная
важность каждого частного критерия в этом случае мо-
жет быть определена из системы уравнений:
f, Л=1, 2, s, i^\k\ Л^=Т. (1.30)
fe=i
Пусть, например, известно, что критерий Qi(x) имеет подав-
ляющую важность по сравнению с Q2(x), а критерий Q2(x) имеет
значительно большую важность, чем фз(х). Эта информация о част-
ных критериях позволяет ввести оценки приоритетов: ц12=10/1,
Н1з=Ю/1 и р-2з = 5/1. В этом случае матрица приоритетов имеет
вид:
Q, Qz Qa
Q. 0 10 10 20
Qz 1 0 5
Qa 1 1 0 ,2
Для определения весовых коэффициентов М, %2 и %3 получаем систе-
му уравнений:
Х1/%з=20/2, Л-г/'А^з = 6/2, Х14-%2”ЬАз= 1.
Откуда %!=0,72, %2=0,216 и Х3 = 0,072, т. е. аддитивная функция
полезности имеет вид:
Q (х) = 0.72Q! (х) + 0,216Q2 (х) + 0,072Q3 (х).
Объединение критериев, несоизмеримых между собой.
При отсутствии информация о важности частных крите-
25
риев можно предположить, что они равноценны. Это по-
зволяет в качестве обобщенного критерия использовать
сумму относительных отклонений частных критериев от
их оптимальных значений:
(1.31)
s
Q(x) = 2 [QHx)-Q*a]/Q^.
4=1
При решении задачи нелинейной оптимизации с функ-
цией цели, заданной выражением (1.31), обеспечивается
получение компромиссного решения, которое является
наилучшим «в среднем». Для получения решения, обес-
печивающего наилучшее приближение для критерия,
«наиболее» удаленного от своего оптимального значе-
ния, необходимо рассматривать обобщенный критерий:
Q (х) = тах>4 (х) - QM/Q4 (1.32)
Если относительно весовых коэффициентов X извест-
но только, что они принадлежат множеству
Z>x = . kjZn^O, Л=1, 2..... s; 2
4=1 J
то обобщенный критерий оптимальности можно ввести
следующим образом:
Q (х) = max man (х)|
(1.33)
или
Q(x) = max V **Qft(x)- (1-34)
*=1
Решение задачи нелинейной оптимизации с критериями
оптимальности (1.33), (1.34) позволяет получить наи-
лучшее гарантированное значение х* для наихудшего
сочетания весовых коэффициентов Хь
В заключение необходимо отметить, что при помощи
рассмотренных методов объединения частных критериев
оптимальности можно получить только количественные
данные о задаче многокритериальной оптимизации. На
основании этих данных исследователь должен из опыта
или субъективных соображений оценить, получен ли
«наилучший компромисс» между частными критериями
или надо продолжать решать задачу дальше. При этом
может возникнуть необходимость в изменении вида
обобщенного критерия или численных значений весоных
Я
коэффициентов й Т. Д. Для оперативного решения этих
вопросов целесообразно поиск компромисса между ча-
стными критериями вести на основе диалогового взаи-
модействия человека с машиной. Причем ЭВМ с по-
мощью методов поисковой оптимизации решает опреде-
ленным образом сформулированную (в зависимости от
метода объединения) задачу нелинейной оптимизации
(1.13), а исследователь оценивает, получено ли компро-
миссное значение частных критериев оптимальности.
Если значения частных критериев оказываются неудов-
летворительными по тем или иным соображениям,
исследователь при помощи диалога с ЭВМ меняет
постановку задачи оптимизации (1.13), т. е. указывает
новый обобщенный критерий оптимальности, изменяет
область допустимых решений Da, задает новые числен-
ные значения весовых коэффициентов в старом крите-
рии и т. д. В этом случае этап формального решения
задачи оптимизации чередуется с этапами диалогового
вмешательства человека в постановку задачи, изме-
нения методов поиска и оценки полученных результатов.
Такой подход к решению задач многокритериальной
оптимизации связан с разработкой человеко-машинных
процедур принятия сложных решений [28, 29] и созда-
нием систем автоматизации процесса принятия опти-
мальных решений на основе диалогового взаимодейст-
вия человека с ЭВМ [30].
1.5. Учет случайных факторов в задачах
оптимизации
При рассмотрении вероятностной математической
модели объекта оптимизации (1.2) постановка задачи
оптимального проектирования нуждается в уточнении,
так как критерий оптимальности и ограничения при
фиксированных значениях управляемых переменных х
являются случайными величинами, зависящими от век-
тора внешних факторов у:
m!nQ(x, у), (1.35)
где D = {xlgi(x, у)>0, i=l, 2... т}.
При решении задачи (1.35) возможны две ситуации:
— оптимальное решение х* требуется определить до
реализации факторов у, т. е. независимо от их конкрет-
ных значений;
• — ойтиМалЬнбе решение х* требуется определить
после того, как стали известны факторы у.
В первом случае учет случайных значений вектора у
в условиях задачи оптимизации (1.35) сводится, по су-
ществу, к введению нового критерия оптимальности и
ограничений, которые позволяют избавиться от случай-
ности или неопределенности. В зависимости от степени
информированности о законе распределения случайных
величин у можно рассматривать три случая:
— о фактах у ничего не известно, кроме того, что
они принадлежат некоторой области Dv: y^Dy;
— для факторов у задана произвольная, но извест-
ная функция распределения ^(у);
— для факторов у тип закона распределения изве-
стен с точностью до вектора параметров а, т. е. задана
функция /(у, а), для которой неизвестны параметры а,
принадлежащие области Da.
В зависимости от степени информированности о за-
коне распределения случайных факторов выбор нового
критерия оптимальности и ограничений приходится осу-
ществлять либо рассчитывая на наихудший случай
относительно значений вектора у, либо ориентируясь на
некоторые средние значения.критерия и ограничений.
В тех случаях, когда только известно, что y^.Dy,
критерий оптимальности назначается из условия обес-
печения наилучшего результата в наихудшем по неопре-
деленности у случае [17]:
Q(x) = maxQ(x, у). (1.36)
Аналогично для ограничений можно записать
g/(x)=min^(x> у). (1.37)
У&>у
Подставляя (1.36), (1.37) в (1.14), (1.15),при отсутствии
информации о факторах у (случай неопределенности)
приходим к детерминированной задаче оптимизации:
min maxQ(x, у), (1.38)
xsB y^Dy
где Z) = {x|[minf/(x, у)] >0, i — 1,.... /п}.
Появление информации о том, что у — случайные ве-
личины, позволяет выбрать критерии оптимальности бо-
лее предпочтительные, чем (1.36). Это связано с тем, что
знание законов распределения в критерии (1.36) ничего
28
нового не дает по сравнению со случаем неоИрёДеЛей-
ности. Поэтому критерий оптимальности и ограничения
необходимо изменить таким образом, чтобы полученный
по ним результат был наилучшим «в среднем» для сово-
купности ситуаций, задаваемых законом распределения
/(у). В этом случае мы отходим в сторону от «осторож-
ности», свойственной функциям (1.36), (1.37), и идем
на некоторый риск, связанный с тем, что полученное при
этом решение может и не быть оптимальным в каждой
конкретной ситуации.
При известных законах распределения в качестве
критерия оптимальности можно использовать матема-
тическое ожидание (среднее значение) случайной функ-
ции Q (х, у):
. Q(x) = M{Q (х, у)} = J Q(x, y)df(y) (1.39)
или квадрат стандартного отклонения значения функции
Q (х, у) от заданного уровня Q+:
Q (х) = М {[Q (х, у) - Q+p} = J [Q (х, у) - Q+]‘ df (у)
у&>у
(1-40)
либо вероятность того,что случайная величина Q(x, у)
превысит некоторый заданный уровень Q-:
Q.(x) ==P {Q(x,‘y)>Q~} (1.41)
и т. д.
Используя выражения типа (1.39) — (1.41) в качестве
критерия оптимальности и ограничений, для случая из-
вестных законов распределения приходим к одной из
следующих задач стохастического программирования
Усредненная задача стохастического программирова-
ния. Найти вектор управляемых переменных х, обеспе-
чивающий
min j Q(x, y)d/(y) (1.42)
Х У&у
при условии
J gi(x, y)rff(y)^o, 1=1, 2,..., т. (1.43)
yeDy
Задача стохастического программирования с вероят-
29
костными ограничениями. Найти вектор управляемых
переменных х, обеспечивающий
min С Q(x, y)df(y) (1.44)
х у&>»
при условии
P{gi(x, У)^0> i=l, 2....... т}^р, (1.45)
где 0<р^1—некоторая заданная вероятность выпол-
нения системы ограничений исходной задачи (1.35).
Вероятностная задача стохастического программиро-
вания. Найти вектор управляемых переменных х, обес-
печивающий
maxP{Q(x, y)<Q+} (1-46)
X
при условии
P{gf(x, у)>0, /=1, 2... т}>р. (1.47)
При наличии информации о законах распределения
случайных факторов, заданных с точностью до вектора
параметров а, выражения (1.39) — (1.41) становятся
функциями от этих переменных. При этом о векторе а
ничего не известно, кроме того, что он принадлежит
области Da В этом случае необходимо использовать
комбинирований критерий, сочетающий в себе выраже-
ние (1.36) и одно из выражений (1.39) — (1-41). Это по-
зволяет перейти от задачи (1.35) к одной из задач
стохастического программирования. Например, усред-
ненная задача стохастического программирования в этом
случае формулируется так. Найти вектор управляемых
переменных х, обеспечивающий:
min max f Q(x, y)df(y, a) (1-48)
X «eD“ y^Dy
при условии
min f gi (x, y) df (y, a)] > 0,
i=l, 2........ т. (1.49)
Таким образом' определение оптимального решения
х*, не зависящего от конкретной реализации у, сводит-
ся к решению задачи нелинейной оптимизации (1.13),
в которой статистическая природа исходной задачи
(1.35) проявляется только на этапе вычисления крите-
рия оптимальности и ограничений.
30
При определении оптимального решения после того,
как становятся известными значения у, задача (1.35)
аналогична обычной детерминированной задаче оптими-
зации (1.13). При этом разным реализациям случайных
факторов у, вообще говоря, соответствуют различные
оптимальные решения х* = х*(у), т. е. при изменении
условий в задаче оптимизации мы можем перестраи-
вать оптимальное решение [36, 37].
Таким образом, процесс поиска оптимального ре-
шения в задачах проектирования как при многокрите-
риальной оптимизации, так и при учете случайных фак-
торов практически сводится к численному решению де-
терминированной задачи нелинейной оптимизации,
сформулированной в § 1.3.
Глава вторая
КЛАССИФИКАЦИЯ ПОИСКОВЫХ МЕТОДОВ
ОПТИМАЛЬНОГО ПРОЕКТИРОВАНИЯ
И МЕТОДОЛОГИЯ ИХ СРАВНЕНИЯ
2.1. Классификация методов решения
детерминированных задач нелинейной
оптимизации
Особенность задачи нелинейной оптимизации
(1.14) — (1.16), к которой могут быть сведены конкрет-
ные задачи оптимального проектирования радиотехни-
ческих схем, состоит в том, что вычисление критерия и
ограничений при фиксированных значениях параметров
х может потребовать больших затрат машинного вре- ч
мени. В связи с этим возникает проблема решения зада-
чи (1.14) — (1.16) при наименьшем числе испытаний, под
которыми будем понимать операцию вычисления функ-
ций Q(x) и gi(x), i= 1, 2, ..., т (либо в особых слу-
чаях этих же функций и их первых производных) в не-
которой точке х.
В дальнейшем будем говорить, что задача (1.14) —
(1.16) решается с помощью поискового метода опти-
мального проектирования (или просто метода поисковой
оптимизации), если процедура поиска оптимального
решения связана с проведением испытаний в точках хг,
г=0, 1, 2, ..., N. При этом оптимальное решение х*
определяется с помощью системы рекуррентных соотно-
шений, которые для заданного начального приближения
х° в общем виде можно записать следующим образом:
xr = Fr[x°, Q(x°), g(x°);...; xr-1, Q(xr-1)»
g(x'-‘)J, r=l, 2,..., N. (2.1)
После проведения N испытаний (итераций, шагов
поиска), связанных с определением из (2.1) векторов
хг, приближенное значение функции критерия Q* выби-
рается из условия
Q* = Q(x*) = minQ(x'). (2.2)
Выражение (2.2) и начальное приближение х° вместе
с системой соотношений (2.1) являются математической
32
записью метода поисковой оптимизации. При отсутствии
ограничений соотношения (2.1) принимают следую-
щий вид:
x' = Fr[x% Q(x»);...; х'"‘, Q(xr-‘)J. (2.3)
Эти соотношения определяют группу методов поиска
безусловного минимума.
Если в соотношениях (2.1) или (2.3) вместо вектора
хг рассматривается скалярная величина хг, то методы
поиска называются одномерными. В противном случае
методы 'поиска называются многопараметрическими.
Методы поиска безусловного минимума (как одномер-
ные, так и многопараметрические), в свою очередь, мо-
гуть быть разделены на методы минимизации унимо-
дальных функций и методы глобальной минимизации
многоэкстремальных функций. Данная классификация
методов поиска полностью соответствует классификации
детерминированных задач нелинейной оптимизации, при-
веденной в § 1.3.
Другой подход к классификации методов поиска свя-
зан со способом задания совокупности соотношений
(2.1) и (2.3). Для определенности рассмотрим класси-
фикацию методов по этому признаку на примере мето-
дов поиска безусловного минимума.
По способу получения информации о расположении
точки испытания на каждом шаге методы поиска без-
условного минимума можно разделить на детерминиро-
ванные методы и методы случайного поиска. Детерми-
нированные методы поиска — это методы, в которых
функции Fr являются детерминированными, т. е. позво-
ляют получать на каждом шаге поиска постоянные (не-
изменные) значения точки хг. Методы случайного поиска
(или статистические методы)—это методы, использую-
щие элемент случайности в соотношениях (2.3). В свя-
зи с этим значение вектора хг зависит не только от ин-
формации о предыдущих испытаниях, но и от используе-
мых в выражениях (2.3) вероятностных характеристик.
В^зависимости от того, как определяются точки хг,
поисковые методы можно разделить на методы последо-
вательного поиска и методы пассивного поиска. Методы
последовательного поиска указывают г-ю точку, в кото-
рой вычисляется значение функции Q(x), на основании
информации, полученой в проведенных испытаниях.
Методы пассивного прцрка — это методы, указывающие
3—242 33
все точки хг, г=0, 1...N, одновременно (до первого
вычисления функции Q (х)).
В случае использования на каждом r-м шаге инфор-
мации только о предыдущих s шагах поиска будем
говорить, что методы последовательного поиска являют-
ся многошаговыми. При s = l методы поиска называют-
ся одношаговыми:
хг = Л-[хг-,> <2(хг-,)1. (2.4)
Вид функций Fr позволяет разделить как одношаго-
вые, так и многошаговые методы последовательного
поиска на итерационные и неитерационные методы.
В итерационных методах функции Fr для всех N шагов
поиска оказываются одинаковыми. Например, для одно-
шагового метода последовательного поиска в этом слу-
чае можно записать
x,=F[xr"’, Q(x'--i)] r=l, 2.... N. (2.5)
В противном случае методы поиска называются неите-
рационными.
В зависимости от соотношения между значениями
точек г-го и (г+1)-го шагов методы последовательного
поиска можно разделить на методы локального поиска
и методы нелокального поиска. Мы будем говорить, что
метод поиска является локальным, если точка xr+1 при-
надлежит е-окрестности точки хг, т. е. xr+1et/(xr, е).
В противном случае метод поиска является не-
локальным.
Способ определения начальной точки х° и конкрет-
ной совокупности функций {Fr} будем называть алгорит-
мом поисковой оптимизации. Таким образом, понятие
алгоритма является более частным по сравнению с ме-
тодом, так как один и тот же метод мож,но реализовать
различными алгоритмами, приспособленными для более
узкого класса задач оптимизации. Кроме того, алгоритм
может содержать в себе элементы разных методов, т. е.
являться, по существу, их комбинацией.
В заключение необходимо отметить, что возможны и
другие принципы классификации методов поисковой
оптимизации [38—40]. Однако мы ограничимся приве-
денной классификацией. Причем даже в рамках этой
классификации будут рассмотрены не все известные
алгоритмы, а только те, которые, по мнению автора,
являются наиболее эффективными при решении задач
оптимального проектирования радиотехнических цепей,
34
Изложению алгоритмов поисковой оптимизаций по-
священы гл. 3—7, в которых приводятся описания алго-
ритмов с точки зрения формализации последовательно-
сти действий при поиске оптимального решения. При
упоминании о соответствующих утверждениях относи-
тельно скорости сходимости и точности рассматривае-
мых процедур поиска даются ссылки на первоисточники.
2.2. Наилучшие алгоритмы поисковой
оптимизации и критерии их эффективности
Для того чтобы решить конкретную задачу опти-
мального проектирования, можно воспользоваться раз-
личными алгоритмами поисковой оптимизации. Это при-
водит к тому, что до решения задачи оптимизации
необходимо ответить на следующие вопросы. Какой алго-
ритм выбрать для решения задачи? Что считать наилуч-
шим алгоритмом поиска? В какой-то степени ответить
на эти вопросы можно, если рассматривать различные
алгоритмы поисковой оптимизации с единых позиций,
как некоторый класс игр с природой. В процессе такой
игры по некоторому алгоритму (стратегии) F=(Ft,
Fn, ..., Fn) последовательно осуществляются испытания
в точках х’’, которые продолжаются либо до обнаруже-
ния с заданной точностью е точки минимума х*, либо
до исчерпывания средств, отпущенных на поиск. Первая
попытка рассмотрения поиска экстремума как игры
с природой, по-видимому, принадлежит Д. Киферу [41.
42]. В дальнейшем этот подход к оценке наилучших
алгоритмов оптимизации нашел отражение в работах
[17,43—48].
При решении конкретной задачи оптимального проек-
тирования обычно ориентируются на некоторые матема-
тические свойства критерия оптимальности Q(x), кото-
рые характерны для рассматриваемого класса задач
оптимизации. Тем самым, выделяя некоторые особенно-
сти функции Q(x), мы формализуем (сознательно или
несознательно) класс функций Kq, обладающих одними
и теми же фиксированными свойствами. Например, та-
кими свойствами могут быть количество локальных ми-
нимумов, предельные оценки значений первых производ-
ных и т. д.
Для минимизации критерия оптимальности, принад-
лежащего некоторому классу функций K.Q, требуется
3* 35
Предложить наилучший в том или ином смысле aJifd-
ритм поисковой оптимизации из некоторого множества
алгоритмов Ар. Класс алгоритмов Ар выбирается в со-
ответствии с классом минимизируемых функций и со-
держит алгоритмы F’, i— 1, 2, в которых стратегия
(2.3) выбора точки испытания на r-м шаге определена
с точностью до вектора параметров a:Fz (a) G Ар,а Da,
Параметры а либо задаются постоянными перед на
чалом поиска, либо выбираются в Т1роцессе поиска пу-
тем уточнения их первоначальных значений по инфор-
мации о результатах проведенных испытаний.
В задаче определения наилучшего для некоторого
класса Kq алгоритма поисковой оптимизации, а также
при подборе параметров а в алгоритмах поиска, пред-
полагается возможность сравнения между собой различ-
ных алгоритмов или реализации одного и того же алго-
ритма при различных значениях параметров а, т. е.
предполагается возможность задания отношения пред-
почтения на множестве алгоритмов Ар. Естественный
способ задания такого отношения состоит в введении
некоторых численных оценок эффективности 1F(Q,
Ff(a)), которые характеризуют качество алгоритма
F»(a) на одной конкретной функции Q(x) из рассма-
триваемого класса Kq.
При оценке эффективности алгоритма поиска на
веем классе функций Kq в качестве критерия эффектив-
ности И7(р’(а)) можно рассматривать значение W (Q,
F’(a)) для одной «наихудшей» задачи этого класса:
№ (Fz (а)) = шах IF (Q, Fz(«)). (2.6)
Альтернативой к такому подходу может быть исследо-
вание средней эффективности алгоритма на всем клас-
се Kq- В этом случае предполагается задание некоторой
вероятностной меры f(Q) на классе функций Kq, отно-
сительно которой проводится усреднение:
W (Fz (a)) = J W (Q, Fl (a)) df (Q). (2.7)
KQ
Для выбора оптимальных значений параметров алго-
ритма, обладающего наилучшими оценками эффектив-
ности IF(FZ) на всем рассматриваемом классе, необхо-
димо решить следующую задачу оптимизации:
IF(Fz)=minlF(Fz(a)). (2.8)
36
Среди нескольких алгоритмов поиска с оптимальны-
ми параметрами наилучшим будем называть тот,
который обеспечивает минимальное значение критерия
эффективности Наилучший алгоритм поисковой
оптимизации Р*<=Лр находится из решения задачи:
lF(F*)=minir(F‘). (2.9)
Таким образом, выбор наилучшего для некоторого
класса Кд алгоритма поисковой оптимизации сводится
к решению задачи (2.9). Теоретическое решение сфор-
мулированной задачи, по существу, получено лишь для
алгоритмов поиска экстремума одномерных унимодаль-
ных функций [41, 42, 45—47]. В более сложных случаях
сравнение алгоритмов поисковой оптимизации и выбор
среди них наилучшего, как правило, проводится на
основе экспериментального исследования некоторого
класса тестовых задач [49—57].
2-3. Об экспериментальном тестировании
и сравнении алгоритмов поисковой
оптимизации
Пусть имеется конечный набор алгоритмов поиско-
вой оптимизации Тогда определение наилучшего
алгоритма Е*еЛк сводится к задаче упорядочения рас-
сматриваемых алгоритмов на некотором классе Кд.
В этом случае наилучший алгоритм удовлетворяет
условию
W (F*) < W (F‘) для любых F‘ G Ар. (2.10)
Из (2.10) видно, что сравнение алгоритмов между собой
имеет смысл только в том случае, если параметры каж-
дого алгоритма имеют оптимальные значения. Таким
образом, решение задачи (2.9) сводится к решению ряда
задач (2.8) и сравнению между собой алгоритмов по
полученным критериям эффективности. При этом будем
говорить, что алгоритм г» предпочтительнее алгоритма
F’+t при решении задачи из класса Кд, если выполняет-
ся условие:
r(F‘')<lF(F‘+t). (2.11)
Для определенности предположим, что критерий
эффективности IF(F’(a)) вычисляется из выражения
(2.7). В связи с тем, что эффективность алгоритма
37
поисковой оптимизации зависит от начального прибли-
жения х°е£>, усредним оценки эффективности по мно-
жеству начальных приближений, чтобы исключить влия-
ние начальной точки х° на величину критерия эффектив-
ности. Задав в D вероятностную меру fi(x°), для
«усредненного» критерия эффективности можем запи-
сать
М \W (F' (а))} = J f W (Q, Fz (а), х«) df (Q) dft (х*). (2.12)
Kq b
Согласно этому критерию оптимальные параметры алго-
ритмупоисковой оптимизации F* должны обеспечивать
наименьшее «усредненное» значение критерия эффек-
тивности
min f (1F(Q, Fz (“). x»)</f(Q)df,(x°). (2.13)
Для решения задачи (2.13) путем экспериментально-
го тестирования необходимо предварительно задать кон-
кретный вид критерия эффективности, условие оконча-
ния процесса поиска и класс тестовых функций, отобра-
жающих особенности рассматриваемого класса задач
оптимизации Kq .(55—58].
В качестве критерия эффективности можно рассма-
тривать затраты (потери) на поиск в целом, которые
складываются из затрат ча вычисление минимизируемой
функции и на получение точек хг по информации о пре-
дыдущих испытаниях. Если последние затраты много
меньше первых, то в качестве потерь на поиск можно
принять число вычислений N(Qk, F»(a), х°) функции
Qfe(x), которые необходимы для того, чтобы задача
оптимизации была решена с помощью алгоритма F*(a)
при начальном приближении х° с заданной точностью.
Точность решения задачи оптимизации определяется
условием окончания поиска. В качестве критерия окон-
чания поиска при экспериментальном тестировании для
фиксированных затрат на поиск N может быть выбрано,
например, условие
lmmQ(xr) —Q*|<e_, (2.14)
где Q* — значение исследуемой функции в точке истин-
ного минимума х*, или условие
max I xrk — x*k 1 < гх- (2.15)
38
Введенные условия окончания поиска накладывают на
класс тестовых функций дополнительное требование
априорного знания точки истинного минимума х*.
Первоначально в качестве тестовых задач выбира-
лись одна или несколько наиболее «представительных»
или наиболее «трудных» тестовых функций (см., напри-
мер, [49, 53]), отражающих некоторые особенности ре-
шения задач оптимизации (изгибающие «длины», «бана-
новидные овраги», многоэкстремальность и т. п.). Недо-
статком данного подхода является то, что на основе ре-
зультатов оптимизации такой тестовой функции из за-
данной начальной точки трудно оценить эффективность
алгоритма не только при решении других задач, но даже
при новых начальных условиях в той же задаче.
В связи с вышеизложенным представляется целесо-
образным для оценки эффективности алгоритмов по-
иска использовать средние по классу тестовых задач
показатели, полученные на основе методов математиче-
ской статистики. В нашем случае таким показателем
будет математическое ожидание числа испытаний
Л4{АГ(а)}, полученное; посредством усреднения как по
набору тестовых функций, так и по множеству началь-
ных приближений. При таком представлении критерия
эффективности предполагается, что имеется процедура,
которая позволяет случайным образом генерировать
множество функций из рассматриваемого класса тесто-
вых задач. При этом желателоно, чтобы вычисление
каждой тестовой функции было не слишком трудоемким
и таким образом было возможно провести эксперименты
на больших выборках.
Рассмотренный подход к оценке эффективности алго-
ритма поисковой оптимизации позволяет свести задачу
выбора его оптимальных параметров (2.13) к задаче
минимизации при измерениях с помехами [58]:
М {#} = min М {N (а)}. (2.16)
аела
Особенностью задачи (2.16) является то, что дисперсия
помехи, соответствующая оценке M{N(а)}, является зна-
чительной. Это приводит к тому, что помеха становится
сравнимой с колебаниями минимизируемой функции
в области определения. Кроме того, эта функция может
оказаться многоэкстремальной. В связи с этим для ре-
шения задачи (2.16) целесообразно использовать поме-
хоустойчивые алгоритмы глобального поиска [59, 60].
39
При использовании предложенной методики экспери-
ментального тестирования предполагается, что для
каждой тестовой функции и выбранного начального
приближения алгоритм сходится к точке минимума.
В некоторых случаях это условие не выполняется. На-
пример, возможна ситуация, когда некоторые реализа-
ции поиска затягиваются сверх допустимого времени,
а полученное приближение не обеспечивает требуе-
мой точности локализации экстремума, т. е. условие
(2.14) нарушается. В этом случае на основе проведения
нескольких реализаций поиска можно определить вы-
борочную вероятность локализации минимума за допу-
стимое число испытаний N+:
Р=Р{ |min Q(х*) — Q*|<«о» K<N+}. (2.17)
О Sk 'N 4
Выражение (2.17) характеризует надежность алго-
ритма поисковой оптимизации при решении тестовых за-
дач, что позволяет сравнивать алгоритмы по двум кри-
териям эффективности (средним потерям на поиск и
выборочной вероятности локализации экстремума).
В этом случае может оказаться, что из двух сравни-
ваемых алгоритмов ни один не превосходит дру-
гой’, например, если один из алгоритмов имеет меньшие
затраты на поиск и одновременно меньшую надежность.
Эти затруднения могут быть преодолены, если задачу
экспериментального тестирования рассматривать как
задачу многокритериальной оптимизации. Объединение
введенных критериев эффективности (потерь на поиск
и надежности поиска) можно осуществить одним из
способов, рассмотренных в § 1.4.
После определения обобщенного критерия эффек-
тивности задача выбора оптимальных параметров алго-
ритма, обеспечивающих компромиссные значения для
каждого из частных критериев, решается так же, как и
задача (2.16).
В заключение приведем некоторые классы тестовых
задач, на которых по данной методике возможно прове-
дение экспериментального тестирования и сравнения
алгоритмов поисковой оптимизации, рассматриваемых
в гл. 3—7.
Класс одномерных унимодальных функций. Одним из способоп
описания данного класса тестовых функций является задание его
как множества решений системы разностных уравнений со случай-
ными параметрами и начальными условиями, распределения вероят-
ностей которых известны,
40
Пусть область допустимый значений В является множесФйоМ
дискретных точек отрезка [0, 1]:
D={xi, i=0, 1, 2,..., М}. (2.18)
Значение функции Q(x) в Хг-й точке множества D обозначим Qi =
=.-Q(xt). Тогда каждая функция Q(x), принадлежащая тестовому
классу, является реализацией случайного процесса, который полу-
чается из решения системы стохастических уравнений
Qi-Qi-i = Pi, i = 2,..., М; (2.19)
Q(x0) =Qo = ₽o, (2.20)
где ро, pi — нормальные случайные величины со средними значения-
ми nij и стандартами Of:
Ог = с-7п(с>0, ^>0);
— т, i^i*
т, i > i*.
Значение i* выбирается как дискретная случайная величина по
априорному распределению f(/*) из множества индексов t=0, 1,
2....Af.
Уравнениям (2.19) при различных значениях случайных величин
«*, ро и р< соответствуют различные решения Q(x), которые полу-
(2J1)
Рис. 2.1. Пример тестовых унимодальных кривых для М—7.
чаются в виде таблицы значений {Xi, Q}, i=0, 1, ..., М. Эти ре-
шения имеют единственный минимум, который при заданном значе-
нии г* достигается в точке хг*. При экспериментальном тестировании
значение Q(x) для любого хе[0, 1] находится из таблицы {х,, Qi}
прй помощи формул кусочно-линейной интерполяции (81]. На рис. 2.1
показаны некоторые тестовые функции данного класса для М=7.
Класс многоэкстремальных кривых. В качестве класса тестовых
функций, используемых при экспериментальном исследовании мето-
дов глобальной минимизации произвольных кривых, рассмотрим
класс задач, обладающих следующими свойствами: функции Q(x)
определены и непрерывны на интервале [о, 6]; максимальное число
локальных минимумов любой из функций Q(x) не больше некото-
рого значения /.
Нетрудно видеть, что такой класс тестовых функций можно
41
йОЛуйить в йиДе тригонометрических полиномов степени $ (отрез-
ков ряда Фурье):
s
Q(x)==«i-f-2 («4cos[(£—1)я/(Ь —«)]х +
k=2
+ «*+,_ 1 sin [(Л -1) n/(b - а)] х). (2.22)
Очередная тестовая функция получается путем генерирования ко-
эффициентов flk, k=\i 2,..., 2s—1, в соответствии с заданным за-
коном их распределения на интервале [а~, а+].
Верхняя оценка J на число локальных минимумов тригономет-
рического полинома зависит от числа слагаемых гармоник, т. е.
определяется степенью полинома $. Для получения этой зависимо-
сти проведем вспомогательное построение [61].
Для полинома (2.22) справедливы следующие оценки значения
модуля, первой производной и математического ожидания
функции:
Mod [Q(x)] <| Q|, \dQ/dx\<K, 44{Q(x)}<QCp,
где
К = amaxS (s - 1) л/[К2 (b - «)]; (2.23)
f 2 /2 \.
Qcp = Отах 4- (I*1 (5 — О 4* 0,577) J»
= max (| a" |, |«+|).
На интервале (a, 6] построим кусочно-линейную функцию:
[ЗТ'/К, 5Г/К], ... ,
1 7 Ux, x S [Г/К, 377/q, [5Г/К, 7T/KJ, . .., ' • ’
где T=|Q|-|Qcp|.
Координаты /-го локального минимума построенной функции
вычисляются по формуле
х^ = Т(4/—3)/К, /= 1, 2,..Л (2.25)
Для Лго локального минимума, так как —а), имеем:
4(b-a)/x*j]=l, (2.26)
где — целая часть от числа (z+0,5).
Тогда, учитывая (2.25) и подставляя значения из (2.23), со-
гласно (2.26) получаем
;=£ Г_____________ns(s-l)_____________ _3_1
7[ 8(s—l—2(ln(s—1)4-0,577)»^ 4 ]’
Исследование формулы (2.27) показывает, что каждые пять
новых членов выражения (2.22) увеличивают максимально возмож-
ное число локальных минимумов / на два. Например, для $=5, 10,
15, 20 параметр / соответственно имеет значения 4, 6, 8 и 10.
Экспериментальная проверка формулы (2.27) для каждого $ по
1000 реализациям полинома (2.22) с коэффициентами 100,
100] показала ее справедливость вплоть до $=40. На рис. 2.2 в ка-
честве примера приведены гистограммы числа локальных миниму-
мов J для полиномов пятой и двадцатой степеней, а на рис. 2.3—
графики некоторых функций, полученных с помощью выражения
(2.22).
42
Хотя расположение глобального минимума тестовых функций
этого класса априорно неизвестно и его приходится отыскивать ме-
тодом полного перебора, они представляют определенный интерес,
поскольку встречаются во многих прикладных задачах оптимизации.
Рис. 2.2. Гистограммы числа ло-
кальных минимумов / для отрез-
ков ряда Фурье пятой и двадца-
той степеней.
Рис. 2.3. Пример тестовых многоэкстремальных кривых.
Класс многопараметрических функций «овражного» типа. Один
из классов многопараметрических тестовых функций [62] с извест-
ной точкой минимума х* и заданным числом переменных п может
быть получен при помощи общей формулы интегрирования: .
1 п
f t)(х)L*(х)dx== 2 Л/L*(х/) + О(£), (2.28)
-1 /=1
43
k
где v (x) — заданная весовая функция; Lk (х) — oix1 — алгебраи-
1=0
ческий полином степени k: Aj— постоянные коэффициенты, не зави-
сящие от вида функции L*(x); Xj— узлы интегрирования; O(L) —
остаточный член.
Если значения Л; и х, выбрать таким образом, чтобы равен-
ство (2.28) было точным, т. е. остаточный член обращался в нуль
для алгебраических полиномов достаточно высокой степени,. то
класс тестовых функций можно описать выражением
Г 1 п 12
Q(x) = | [ v (х) Lklx) dx — AjLk(xj) I . (2.29)
I -1 /=1 J
Конкретный вид функции Q(x) из (2.29) будет зависеть от исполь-
зуемой формулы интегрирования. Так, для формулы Чебышева
[63] при п=8 и п ^10 среди xj всегда существуют комплексные ве-
личины. Следовательно, тестовая функция (2.29) для п^Ю не мо-
жет быть построена. В формулу Гаусса [63] входят действительные
значения х, для любых п, но ее реализация (вычисление узлов xj
и весов Л3-) связана со значительными трудностями. Поэтому мы
используем в выражении (2.29) формулу Эрмита [63] с весовой
функцией и(х) = (1—х2)-1/2:
’«-Нйв-тгЁМ' <2з«>
1—1 /=! I
Полученная функция для всех алгебраических полиномов степени
£^(2n—1) при любых действительных коэффициентах aj имеет
единственное минимальное значение, равное нулю в точке с коор-
динатами x*j, являющимися корнями многочлена Чебышева перво-
го рода:
х*у = cos [(2/— 1) я/2л], / = 1, . . . , п. (2.31)
Нетрудно показать {52], что для заданных значений а2,..
1
У (£* (х)//п^хг) dx =л(ао — Ь,), (2.32)
где значение bi для конкретного k находится из рекуррентных со-
отношений
bk — 0; bk-1 = — ak/k\ (2-33)
bk-i = — [ak-l^ _(£-/+ 2) bk-I+AKk - / + 1),
/ = 2, 3, . . . , k.
Окончательно для тестовых функций получаем следующее выра-
жение:
Г /п \ Т2
Q (х) = к2! а0 — bi — I + a^i + • • • + я***/ J /п , ' (2.34)
где bi — постоянный коэффициент, вычисляемый по формулам
(2.33) для соответствующего значения k.
44
На рис. 2.4 приведены линии уровня функции с оврагом «бана-
новидной» формы, аналитическое выражение которой имеет вид
Q (х) = [— 21 — 32 (№j + *4 + 21 (%2j + %22) + 13 (Х1 + х2)]2/4,
Q* = 0 при х*! = /2/2, х*а = — V2/2.
Рассмотренный класс тестовых функций построен с помощью
параметрического способа синтеза тестовых задач, когда структура
минимизируемой функции остается постоянной, а определяющие ее
параметры (k, aj, /=L 2,..., k) выбираются в соответствии с аа-
Рис. 2.4. Тестовая функция с оврагом «банановидной» формы.
данным законом распределения вероятностей. В [64, 65] предлагает-
ся структурный метод синтеза тестовых функций, градиентные линии
которых случайно «разыгрываются» по известным статистическим
закономерностям.
Класс многоэкстремальных функций нескольких переменных.
Класс тестовых многоэкстремальных функций может быть введен
с помощью выражения
Q (х) = min Qj (х), (2.35)
где
п
W = 2 ak№k “х**/)2 ci' (2.36)
Здесь x*j — точка /-го локального минимума глубиной Cj.
Для получения любой тестовой функции, порождаемой выра-
жением (2.35), с помощью равномерного распределения из некоторо-
го интервала [а~, а+] задаются матрицы случайных величин и
45
x*kj и случайный вектор с. Линии уровня одно# из тестовых функ-
ций этого класса показаны на рис. 2.5.
Рис. 2.5. Линии уровня двумерной многоэкстремальной функции.
Другие способы построения многоэкстремальных тестовых
функций рассмотрены в работах [51, 66].
Класс задач выпуклого программирования. Детерминированная
задача оптимизации:
minQ(x), (2.37)
xGD
где D = {х | gi (х) > 0, /al, 2, .. . , т} (2.38)
является задачей выпуклого программирования, если Q(x)—вы-
пуклая функция, а область D образует выпуклое множество.
Класс тестовых задач выпуклого программирования будем син-
тезировать с помощью соответствующего выбора критерия опти-
мальности ограничений в задаче (2.37), (2.38). Пусть эти функции
вычисляются из выражений [67]
Q (х) = Ф (х) + стх; gi (х) = (х) + et, i = 1, 2, . . ., m, (2.39)
где Ф (х), <р< (х) — известные выпуклые функции, заданные, напри-
мер, при помощи положительно определенных квадратичных форм:
Ф (х) =z х*Ах; (х) = хтА/х, i « 1,. . ., т. (2.40)
Значения векторов с и е в формулах (2.39) подбираются таким
образом, чтобы для оптимального решения задачи (2.37)—(2.38)
х* выполнялись необходимые условия существования точки мини-
мума задачи выпуклого программирования (условия Куна — Так-
кера) [18]
u*igi(x*) = 0; gi(x*)^fy i = l, 2, . . . , m; (2.41)
x*/>0, / = 1, 2, . .., n;
m
VQ(x*) —S «*<Vg«(x*) = 0.
Z=
46
При этом КоМпойёйть! бпФимальндгд решения Могут быТь быбрййЫ
как случайные величины, равномерно распределенные в интервале
(О, х+].
Численное значение i-й компоненты вектора и* дает информа-
цию о том, обращается ли i-e ограничение в точке минимума х*
в нуль или выполняется как строгое неравенство. Поэтому априор-
ным заданием вектора и* можно менять место локализации опти-
мального решения на поверхности ограничений. Пусть для опреде-
ленности компоненты вектора и* выбираются из условия
А (0, если требуется, чтобы g/(x*)>0;
/ (2.42)
( 1, если требуется, чтобы gi (х#) = 0.
Множество индексов, для которых и*г=1, обозначим через mi,
а индексов, для которых u*i=0,— через т2, где mi (J m2=m. Тог-
да из первых трех соотношений условий Куна-• Таккера нетрудно
получить численные значения компонент вектора е:
et = — у/ (х*), если i £= тг*
ek = dk, если k е m2. (2.43)
Значение параметра dk выбирается таким образом, чтобы выполня-
лось условие фл(х*)+йь>0,
Последнее соотношение в условии К-уна — Таккера выполняется,
если вектор с определяется из выражения
т
с = — V ф (х*) + 2 u*/ v gi (х*). (2.44)
1=1
Таким образом, класс тестовых задач выпуклого программиро-
вания имеет следующий вид:
т
min {Ф (х) + (- V Ф (х*)+ 2 «*< V gi (х*)]’х} (2.45)
х Z=1
при условии
Ср/ (х) — (р/ (хф) > 0, ismi;
<рл (х) + dk^ о, &ет2; (2.46)
/«.1, 2, . .. , п.
Каждая конкретная реализация тестовой задачи из этого клас-
са получается при помощи генерирования компонент векторов х*,
и* и параметров функций Ф(х), ф(х) (например, коэффициентов
матриц A, Af) в соответствии с заданными законами их распреде-
ления.
Глава третья ’ “ > .
ОДНОМЕРНАЯ МИНИМИЗАЦИЯ
УНИМОДАЛЬНЫХ ФУНКЦИЙ
Пусть требуется найти минимум одномерной
функции
minQ(x), (3.1)
где D={x\a^x^b}>
Предположим, что функция <2(х) принадлежит клас-
су унимодальных функций [39], т. е. существует значе-
ние х*&0, такое, что Q(x) строго убывает при х^х* и
строго возрастает при х>х*. В начале поиска положе-
ние точки х* неизвестно. При помощи фиксированного
числа испытаний N, которые могут быть проведены
в любой точке интервала '[а, &], требуется локализо-
вать положение минимума х* с наибольшей точностью.
3.1. Поиск минимума унимодальных
функций путем сокращения интервала
неопределенности
Рассмотрим класс алгоритмов поисковой оптимиза-
ции Af1, который характеризуется следующим свойст-
вом. Стратегия проведения испытаний в алгоримах F?
этого класса строится таким образом, чтобы в процессе
поиска происходило исключение тех подынтервалов,
в которых в силу унимодальности функции Q(x) точка
х* отсутствует. Это позволяет после проведения N
испытаний выделить некоторый подынтервал, принадле-
жащий отрезку [а, Ь] и содержащий точку х*. Величина
полученного интервала In (в дальнейшем будем назы-
вать его интервалом неопределенности) определяется
точкой Xk^D, которая обеспечивает минимальное зна-
чение функции Q(x) среди всех проведенных N испы-
таний, т. е.
In — In (Q, F^i)—JCk+i лсл-1,
48
tue Xk-i, Xk+i блйжайшиё Испытания к точке Хь, обеспе-
чивающей
min Q\Xi) =Q(x/t).
Очевидно, что величина интервала неопределенности
зависит как от алгоритма поиска Рр'еЛр1, так и от вида
функции Q(x)^Kq, определяющей конкретный индекс
k, при котором будет получено минимальное значение.
Если для каждого W рассматривать самый большой
интервал неопределенности из всех возможных для
класса унимодальных функций, тогда его длина будет
определяться только алгоритмом поиска и не будет за-
висеть от исхода испытаний:
ZJV(F4=max lN(Q, F‘\). (3.2)
Q&q
Теперь нетрудно ввести понятие наилучшего алгорит-
ма поиска Ft*, который обеспечивает минимальную ве-
личину наихудшего интервала неопределенности:
/*„ = /„ (F*>) = min max lN(Q, F<\). (3.3)
Таким образом, из (3.3) следует, что наилучший
алгоритм поиска минимума унимодальной функции Q(x)
при заданном числе испытаний N позволяет сократить
начальный интервал [а, 6] до подынтервала /л* наи-
меньших размеров.
Для выбора наилучшего алгоритма поиска Ft* про-
ведем исследование некоторых алгоритмов из класса
Ар1 по критерию эффективности, заданному выражени-
ем (3.2). Тогда согласно (3.3) более предпочтительным
будет тот алгоритм, для которого интервал неопределен-
ности Zjv(Fi«) имеет наименьшее значение.
Наиболее простыми алгоритмами поисковой оптими-
зации из рассматриваемого класса Др1 являются алго-
ритмы, реализующие методы пассивного поиска [68]:
Fi1 — метод равномерного поиска и Ft2— метод равно-
мерного дихотомического поиска. В этих алгоритмах
расположение точек Xj выбирается заранее до проведе-
ния первого испытания. В алгоритме Fi1 испытания про-
водятся в дочках, которые определяются путем равно-
мерного деления интервала [а, &] на (М+1)-ю часть:
Xj=a+j(b--a)l(N+\), j=l, 2, ..., N. (3.4)
В полученных точках оцениваются значения функции
Q(x) и из них выбирается наименьшее. Пусть это зна-
4—242 49
чение достигается в точке Хь. Тогда в связи с унимо-
дальностью функции Q(r) подынтервал [а, хл—
— (&—a)J(N+l)] так же, как и подынтервал [хь+
+ (b—a)/(N+1), &], можно исключить из дальнейшего
рассмотрения. При этом возможно два случая: минимум
может лежать как слева от точки Хк, так и справа от
нее. Поэтому после проведения N испытаний наимень-
ший интервал неопределенности, содержащий точку х*,
имеет длину
^(F11)=2(6—a)/(N+l). (3.5)
Метод равномерного дихотомического поиска № заклю-
чается в том, что на интервале [а, Ь] в каждой точке Xj
вычисления функции Q(x) проводятся парами. Разница
б» между значениями по координате х в каждой паре
должна быть небольшой, но в то же время достаточ-
ной для того, чтобы различить, какая из точек в паре
лучше по значению функции Q(x). Эти пары распола-
гаются на интервале {а, Ь] равномерно. В дальнейшем
процедура поиска аналогична алгоритму Л1. После про-
ведения (Л//2) пар испытаний
/w(F12)=2(6-a)/(JV+2). (3.6)
Недостатком алгоритмов пассивного поиска является
то, что в них при выборе точек Xj не используется
информация, получаемая в процессе поисковой оптими-
зации. Этот недостаток устранен в методе деления по-
полам или методе последовательного дихотомического
поиска [39]. Согласно алгоритму Г^еЛу1, реализующе-
му этот метод, координаты каждой последующей пары
испытаний, разнесенные между собой на величину дх,
выбираются в средней точке текущего интервала неоп-
ределенности. Эта стратегия, определяющая располо-
жение пары испытаний на каждом шаге поиска, являет-
ся решением задачи минимизации критерия эффектив-
ности (3.2) для м=2 при условии 0<Х1<Хг<1:
min Готах [xt, (1—л,)]. (3.7)
(Х1. л,)
По значениям функции Q(x), полученным в этих
точках, одна половина исследуемого интервала в силу
унимодальности минимизируемой функции исключается
из дальнейшего рассмотрения. В середине оставшейся
части интервала неопределенности вновь делается пара
испытаний и т. д. После проведения (JV/2) пар испыта-
ний получаем
50
U(F13)=2(&-a)/2^2. (3.8)
Из выражения (3.8) видно, что алгоритм Fi3 более
эффективен при решении задача (3.1), чем алгоритмы
F? и Fi2.
Однако, как показал Кифер [41, 42], для данного
класса задач наилучшим по критерию эффективности
(3.2) является алгоритм Fi*eAp*, который реализует ме-
тод Фибоначчи. Это название возникло в связи с тем, что
стратегия поиска по алгоритму Fj4 связана с использова-
нием чисел Фибоначчи, которые задаются следующим
рекурентным уравнением [69]:
Un—un—i~}~Un—2, Л/^2, (3.9)
«o=«i=l. (3.10)
Общее выражение для N-ro числа Фибоначчи не-
трудно получить из решения уравнений (3.9), (3.10)
[69]:
ия= [ (1/т) *+*-(-?) W]/K5, (3.11)
где т = (/5—1)/2 = 0,618033988.
При больших значениях N членом (—t)n+1 в (3.11)
можно пренебречь, тогда _
uN^W*'!y5. (3.12)
Первые пятнадцать чисел Фибоначчи приведены
в табл. 3.1.
Т аблица 3.1
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
“N 1 1 2 3 5 8 13 21 34 55 89' 144 233 377 610 987
Алгоритм Fi4 является итерационной процедурой,
включающей следующие этапы.
На первом этапе, который соответствует первому
шагу поиска (г=1), симметрично от концов начального
интервала проводится пара испытаний в точках Xi* и
Хг1, определяемых А/'-м и (N—1)-м числами Фибоначчи:
Х1*=а+(Ь—o)un-2Iun и Хг1 = «+(/>—a)«w-i/Mw.
Согласно условию унимодальности функции Q(x)
перед вторым этапом происходит сокращение интервала
неопределенности по информации о численных значе-
ниях функции Q(x) в точках Xi* и Хг*. Если Q(Xi*)>
>Q(хг1), то /2=1x1*—6|, в противном случае lz=
= |а—х2*|.
4* 51
Второй этап поиска включает в себя (N—3) итера-
ционных шага. На каждом r-м шаге (г = 2, 3, ..N—2)
в интервале неопределенности 1Г, полученном на преды-
дущем шаге, рассматривается пара испытаний (х/, хгг),
расположение которой задается следующими форму-
лами:
Xtr = ar + lrUN-1—r/Ujv+1—г, (3.13)
X2r=ar+/r«w-r/«w+i-r, (3.14)
где г — номер шага поиска; lr= (Ьг—аг) — длина интер-
вала неопределенности на r-м шаге; ar, Ьг—начало и
конец r-го интервала неопределенности.
Особенностью данного алгоритма поисковой оптими-
зации является то, что из двух точек Xir+1, Хгг+1, рассма-
триваемых на (г-М)-м шаге, одна всегда будет совпа-
дать с точкой предыдущего шага xf или Хгг, в которой
уже было проведено испытание. Такая ситуация приво-
дит к тому, что для продолжения поиска на каждом
шаге второго этапа необходимо указывать только коор-
динату одного из двух испытаний.
Пусть после проведения г испытаний на интервале
неопределенности 1Г имеются две точки xf и xzr, для ко-
торых справедливо неравенство Q (xf) ^.Q (хгг). Из
условия унимодальности функции Q(x) на (г-Ы)-м
шаге будет исследоваться уже интервал lr+i<lr, внутри
которого находится точка xf. Покажем, что эта точка
будет совпадать с точкой хг2+\ т. е. Xj=x2+1.
Согласно алгоритму рассматриваемого метода рас-
положение пары испытаний на каждом шаге вычисляет-
ся по формулам (3.13), (3.14). На (г+1)-м шаге ar+i =
= аг, Ьт+1=Хгг, тогда
•^2 == &г Ч- (хгъ dr) • (3.15)
Подставим в формулу (3.15) значение координаты Х2Г
из выражения (3.14):
х2 =^r-|-/ruw_1_z./uw+]_r.
Откуда видно, что согласно формуле (3.13) справедливо
равенство X2r+i—Xir. Аналогично проводится доказатель-
ство и для случая Q(xir) >Q(x2r).
После проведения (N—1)-го испытания необходимо
решить, по какую сторону от точки xN-2, находящейся
внутри интервала In-2, лежит точка истинного миниму-
ма. Для этого последнее N-e испытание проводится
52
близко-от точки X‘v"2g/1V-2. Определением интервала
неопределенности In по значениям функции Q(xN~2) и
Q(xN~2+bx) заканчивается последний, третий этап по-
иска точки минимума.
Рассмотренная стратегия поиска после проведенияN
испытаний позволяет получить следующее значение
интервала неопределенности:
lN(^) = (b-a)luN. (3.16)
Доказательство этого факта подробно изложено в рабо-
тах [42, 70, 71], поэтому здесь этот вопрос не рассматри-
вается.
Рис. 3.1, Первые четыре шага поиска минимума унимодальной функ-
ции по методу Фибоначчи.
Пример, иллюстрирующий стратегию поиска по мето-
ду Фибоначчи для Х = 6, приведен на рис. 3.1. На пер-
вом этапе испытания проводятся в точках Xi*=5 и Хг1=
=8, что позволяет исключить из рассмотрения подын-
тервал [0,5]. На втором этапе испытания последова-
тельно делаются в точках Хг2=10, х^—7 и xi4=6. Это
позволяет сократить текущий интервал неопределенно-
сти до /5= (8—6). Окончательно на третьем этапе поис-
ка после испытания в точке х5=(7 + 6ж) получаем, что
минимум х* локализован в интервале неопределенности
53
Рис. ,3.2. Зависимость отношения
критериев эффективности метода
деления пополам и метода Фибо-
наччи от числа испытаний N,
На рис. 3.2 показана зависимость отношения крите-
риев эффективности алгоритмов Fi3 и Fj4 от числа допу-
стимых испытаний N:
,МР13)/МЛ4)=ал/2"'2.
Из приведенного графика видно, что метод Фибонач-
чи на классе унимодальных функций оказывается более
эффективным, чем метод деления пополам. Так, напри-
мер, при N= 14 интервал неопределенности, полученный
по алгоритму F^, прибли-
зительно в пять раз мень-
ше интервала неопреде-
ленности, гарантирован-
ного алгоритмом Fi3.
Недостаток метода
Фибоначчи заключается в
том, что в нем априори
надо знать число испыта-
ний N, так как на первом
этапе поиска необходимо
вычислять JV-e и (N—1)-е
числа Фибоначчи.
В связи с этим рассмо-
трим алгоритм поисковой
оптимизации реализующий метод золотого сече-
ния [39], который лишен этого недостатка и отличается от
алгоритма Fi4 только процедурой проведения первых
двух испытаний.
Пусть начальный интервал преобразован в единич-
ный отрезок. Выберем на нем точки Xi=ra и Хг=т, где
т=-(К5—1)/2, т. »е. первые два испытания проводятся
симметрично от концов начального интервала на рас-
стоянии т. Проведем в этих точках испытания и сравним
значения функций Q(xi) и Q(Xz) между собой. В зави-
симости от знака разности i[Q(Xi)—Q (х2) ] точка мини-
мума локализуется либо на интервале [0, х2], либо
на интервале [xi, 1], каждый из которых имеет длину т.
Действительно, х2—0=т и 1—Xi=l—т2—т, так как
т2+т=1.
Таким образом, интервал неопределенности после
первого шага уменьшается в т раз. Проведение нового
испытания симметрично уже имеющемуся гарантирует
уменьшение интервала неопределенности вновь в т раз.
Окончательно после проведения N испытаний для
54
интервала неопределенности можно записать следующее
выражение [39]:
/W(F’.) = (&-«) г-1. (3.17)
При больших N (на практике уже при W=4) можно
считать Un-iIu.x~x. Из чего следует, что метод Фибо-
наччи и метод золотого сечения практически начинают-
ся в одних и тех же точках. При этом алгоритм Fi5
в конечном счете позволяет сократить начальный интер-
вал только на 17% меньше, чем алгоритм Ft4. Действи-
тельно, сравнивая критерии эффективности для этих ал-
горитмов, можем записать
^(FM/MFM=«Z-1- (3.18)
Рис. 3.3. Блок-схема поиска минимума по алго-
ритмам, реализующим метод Фибоначчи и метод
золотого сечения.
55
Нодставляя в (3.18) приближенное значёнйе //-го чйсЛЙ
Фибоначчи из (3.12), получаем
иХ'1 = х'2//5^1,17. (3.19)
Блок-схема процедуры поиска при помощи алгорит-
мов F? и Fi5 минимума х* унимодальной функций Q(x),
определенной на отрезке [0,1], приведена на рис. 3.3*>.
Здесь параметр % имеет следующее значение:
/ = J un-\Iun для ^алгоритма F4,;
1 т для алгоритма Fsi.
В качестве критерия окончания поиска могут быть
использованы различные условия. Например, поиск
окончен, если выполнено заданное число испытаний N
или длина интервала неопределенности определена
с требуемой точностью и т. д.
3.2. Повышение эффективности поиска
посредством учета дополнительной
информации о свойствах унимодальных
функций
При решении задачи (3.1) относительно класса
минимизируемых функций может быть известна некото-
рая дополнительная информация. Например, введена
оценка первых разностей функции Q(x) в виде констан-
ты Липшица, задано априорное распределение вероят-
ностей расположения точки минимума на интервале
и т. п. В связи с этим рассмотрим методы поисковой
оптимизации, которые позволяют повысить эффектив-
ность поиска по сравнению с методом Фибоначчи за
счет учета дополнительной информации о свойствах
унимодальной функции.
Предположим, что класс унимодальных функций
включает функции Q(x), которые на интервале {а, Ь]
удовлетворяют условию Липшица с константой К:
|Q(xi)—Q(x2) I =СК|хг—х2| для любых
xit х2е[а, &]. (3.21)
Для этого класса функций рассмотрим алгоритм
Fi^Xf1 [46], основная идея которого заключается
в том, что на r-м шаге поиска с помощью константы
*> Если Хз=л'4) то испытание проводится в точке Х4=Хз+6*-
56
Липшица строятся ломаные, позволяющие получить
интервал неопределенности 1Г меньших размеров, чем
при помощи алгоритма Fi4.
Пусть после проведения г испытаний сложилась сле-
дующая ситуация:
Q (xft) = min Q (х,); (3.22)
1 > Q(*k-1) > Q (^fe) <Q (^fe+i) •
Проведем через точки с координатами Xh-i, Q(Xfe-i),
Xk, Q(Xk) и хл+i, Qi(xa+i) отрезки прямых с тангенсами
углов наклона к оси х равными К и (—К) (рис. 3.4).
Рис. 3.4. Построение отрезков прямых с углом наклона, равным
константе Липшица в алгоритме F6i.
Из рис. 3.4 нетрудно видеть, что точка минимума х*
может лежать только на отрезке [аг, 6г], полученном
путем пересечения построенных ломаных с прямой Q=
= Q(xa). (Для алгоритма Ft4 точка х* принадлежит от-
резку [ха-1, Xft+i]). Из условия (3.2!) следует, что гра-
фик функции Q(x) на отрезке [аг, 6Г] располагается не
ниже построенных ломаных.
Таким образом, на каждом шаге поиска для выбора
точки проведения очередного испытания необходимо
уточнять интервал неопределенности 1Г, в котором ло-
кализована точка минимума. При этом могут встретить-
ся следующие ситуации.
1. Функция Q(x) не вычислена еще ни в одной точ-
ке. Интервал неопределенности совпадает с исходным
интервалом [а, 6].
2, Среди вычисленных значений <?(х) оказалось два
67
одинаковых (рис. 3.5,а). Тогда концы интервала неопре-
деленности совпадают с точками, где получились эти
значения.
3. Функция вычислена лишь в одной точке интервала
Xk (рис. 3.5,6). Интервал неопределенности совпадает
с исходным интервалом [а, &].
4. Среди г вычисленных значений Q(x) имеется ми-
нимальное Q(Xfe), слева и справа от которого есть точки
Рис 3.5. Типовые ситуации при определении интервала неопреде лен*
носги в алгоритме F6j.
Xfe-1 и Xk+i (рис. 3.4). Этот общий случай приведен
в стандартной форме на рис. 3.5,в. Интервал неопреде-
ленности [а,-, Ьг] определяется из соотношений
Q (Xk—i)—К(аг—Хй—i),=iQ (Xh), (3.23)
Q (^fe+i) —К (xk+i—br) =;Q (xfe). (3.24)
5. Между точкой Xk и одним из концов интервала
(а, 6] нет точек, где функция Q(x) вычислялась. Пусть
для определенности это подынтервал '[а, &] (рис. 3.5,г).
Тогда точка аг находится из условия
Q (Xk-i) —К(ar—xk-i) = Q (xk); br=b.
На рис. 3.5 показаны рассмотренные типовые ситуа-
ции, которые при помощи замены переменных:
t=(x— ar)l(br—ar),
z=2(Q(x)-Q(xh))IK, (3.25)
c= (Xk—Or)/(br—ar)
приведены к стандартной форме. Эти преобразования
позволяют свести интервал неопределенности [лг, Ьг]
к единичному, а точку (хк, Q(xk)) преобразовать в точ-
ку (с, 0).
58
Обозначим через xVj (с) точку единичного интерва-
ла, в которой надо провести очередное испытание для
каждой из рассмотренных ситуаций и любого целого
числа Ni оставшихся вычислений функции Q(x). Тогда
для случаев 1 и 2, где с=0 или с=1, точка очередного
испытания совпадает с одной из точек, рекомендуемых
по методу Фибоначчи:
•^ЛГ, (0) ~ UN,—(3.26)
Для типовых ситуаций, приведенных на рис. 3.5,6—г,
поведение ломаных не играет роли при определении точ-
ки xNt (с), поэтому для этих случаев справедливо сле-
дующее выражение [46]:
[ CUNl—l/UNl’
ЛГ, = 1, 2, 3,...
Окончательно, стратегия поиска минимума по алго-
ритму Fi6 после проведения г испытаний сводится к сле-
дующей последовательности действий, выполняемых на
каждом шаге.
1. По результатам проведения г испытаний опреде-
ляем минимальное значение
Q(Xk)— min Q(xt).
l^SiSZr
2. Для одной из пяти типовых ситуаций, которая
имеет место на данном шаге, определяем интервал не-
определенности [аг, Ьг].
3. Находим точку c—(xk—ar)/(Ьг—аг) и число остав-
шихся испытаний Ni.
4. По формуле (3.27) определяем точку очередного
испытания xN (с).
5. Вычисляем значение функции Q(x) в точке хг =
=ar+xNi (с) (Ьг — аг).
Поиск заканчивается, если выполнено N вычислений
функции Q(х).
Рассмотренный алгоритм Fie является обобщением
алгоритма Fi4 и для К=оо просто совпадает с ним.
Однако для любой промежуточной ситуации учет конеч-
ной величины константы Липшица К дает выигрыш при
определении интервала неопределенности по сравнению
с методом Фибоначчи.
59
Для примера, рассмотренного на рис. 3.1, стратегия
поиска по алгоритму Fi® приведена в табл. 3.2, из кото-
Таблица 3.2
Номер итерации г Ситуация на г-й ите- рации Интервал не- определенности {аг, Ьг} с JVi XN^ хг xk
1 1 0; 13 1 6 0,615 8 4 8
2 3 0; 13 0,615 5 0,384 5 6 8
3 5 5,3; 13 0,350 4 0,610 10 8 8
4 4 5,3; 9,3 0,675 3 0,450 7,1 2,2 7,1
5 4 5,6; 7,7 0,714 2 0,357 6,35 0,8 6,35
6 4 5,9; 6,9 0,450 1 0,450 6,35 4-5 0,85 6,35
7 4 5,9; 6,35 — — — — — —
рой видно, что учет константы Липшица (здесь К=6)
позволяет уменьшить интервал неопределенности по
сравнению с методом Фибоначчи при одном и том же
числе допустимых испытаний почти в два раза.
В некоторых случаях [72—74] относительно миними-
зируемой функции можно получить статистическую
информацию о расположении ее точки минимума. Эта
информация обычно задается в виде распределения ве-
роятностей. Если о расположении минимума ничего не-
известно, то распределение равномерное. Однако если на
основании предварительных исследований можно сказать,
что минимум лежит в каком-то подынтервале с большей
вероятностью, чем в другом, тогда можно задать функ-
цию распределения вероятностей, учитывающую это
предполагаемое свойство минимизируемой функции.
Пусть требуется определить минимум унимодальной
функции Q(x) с точностью ех. Разобьем интервал [а, &]
е-сетью на М дискретных точек, в которых может нахо-
диться минимум х*. Тогда распределение вероятностей
можно задать совокупностью величин pj, j=l, 2, ...,
/ М \
М I 2 Pi == 1 ) являющихся вероятностями того, что
U—1 /
х* находится в /-й точке.
При рассмотрении в качестве критерия эффективно-
сти выражения (3.2) наличие статистической информа-
ции о расположении минимума унимодальной функции
не улучшает стратегии поиска. Это связано с тем, что
оптимальное расположение испытаний в методе Фибо-
60
наччй минимизирует найхудший возможный результат
для данного класса функций. В связи с этим для задан-
ного распределения вероятностей p=(pi, .... рм) вве-
дем шенноновскую меру неопределенности (энтропию)
расположения минимума [75]:
м
Н —^р№,Рь (3.28)
/=1
Проведение N испытаний в точках (хь ..xn) умень-
шает энтропию до величины //(p|xi, xn). При этом
получается некоторое количество информации /(р), ко-
торое зависит от априорного распределения вероятно-
стей р, числа и расположения точек испытаний:
/(р, = Н ... ,sN), (3.29)
где g=(<7i, ..<?л’) —вектор индексов, соответствующих
точкам, в которых были проведены испытания.
В этом случае наилучшим алгоритмом поиска будем
считать алгоритм, максимизирующий количество инфор-
мации при заданном числе испытаний N,
max /(р, N, q). (3.30)
Можно показать [74], что решением задачи (3.30) бу-
дет алгоритм являющийся модификацией алго-
ритма Fi4. Согласно алгоритму Fi7 выбор точек испыта-
ний осуществляется по статистической информации об
априорном распределении минимума х* на интервале
[а, &]. На первом этапе поиска точки х и х выби-
раются таким образом, чтобы вероятности того, что
x*G[a, xj и х*^^, 6]
равнялись отношению (N—1)-го и М-го чисел Фибо-
наччи:
р (•»* е [X.,, 6])=Р (X* G [a, xj) =’uN_JuN. (3.31)
На втором этапе поиска на каждом шаге происходит
сокращение интервала неопределенности 1Г за счет
исключения одного из рассматриваемых подынтервалов.
При этом в новом интервале /г-м сохраняется точка, со-
ответствующая наименьшему значению функции Q(x).
Пусть для определенности это будет точка х^. Тогда
точка х выбирается симметрично существующей точке
в смысле равенства вероятностей того, что минимум х*
61
находится на отрезках, отсекаемых этими точками от
концов интервала:
P(x*G[a,+J, ft,+,]). (3.32)
Процедура выбора точки текущего испытания из соот-
ношения (3.32) повторяется на каждом шаге поиска.
В качестве примера рассмотрим унимодальную функ-
цию, приведенную на рис. 3.1, для которой распределе-
ние вероятностей расположения точки минимума х* на
отрезке [0,13] дано в табл. 3.3.
Таблица 3.3
/ 1 2 3 4 5 6 7 8 9 10 И 12 13 14
xi 0 1 2 3 4 5 6 7 8 9 . 10 И 12 13
Pi 0,01 0,02 0,05 0,08 0,1 0,12 0,12 0,12 0,13 0,09 0,07 0,05 0,03 0,01
Согласно стратегии алгоритма F’i на первом шаге ис-
пытания проводятся в точках и xqi, которые получа-
ются из условия (3.31), где м5/«6=0,618:
к
2 Pi == 0,618 и 2 Pi 0,618.
/=1 /=«
Для данного примера xqj=x» = 7 й xqi = х,=6.
В связи с тем, что Q(xgj)<Q(xqt), из дальнейшего рас-
смотрения исключаем подынтервал [0,6]. Вероятность лока-
лизации минимума х* на интервале [7, 13] равна
14
2 pt = 0,5. Тогда точка следующего испытания xq* опре.
/=8
я»
деляется согласно соотношению (3.32) из условия 2 Pi~
i=i
= 0,5. Таким образом, xq>=xtl = 10. При этом из даль-
нейшего рассмотрения исключается подынтервал [10, 13]
и т. д.
В связи с тем, что точка истинного минимума функ-
ции Q(x) может находится в любой точке интервала
[0,13] оценим математическое ожидание числа испыта-
ний, необходимых для локализации минимума в интер-
вале неопределенности единичной длины. Для рассмо-
62
тренного примера оно равно 4,4. В то же время при при-
менении метода Фибоначчи число испытаний постоянно
и равно 6, т. е. в данном случае рассмотренный метод
эффективнее метода Фибоначчи в 1,4 раза по числу тре-
буемых испытаний.
При равномерном законе распределения алгоритмы
Fi7 и Fi4 совпадают. Однако эффективность алгоритма
Fi7 возрастает по мере отличия априорно заданного за-
кона распределения расположения точки минимума на
интервале [а, &] от равномерного.
3.3. Совмещение методов сокращения
интервала неопределенности с методами
интерполяции
Рассмотренные алгоритмы поисковой оптимизации
позволяют локализовать точку минимума х* унимодаль-
ной функции в некотором интервале неопределенно-
сти /w, величина которого зависит от числа проведенных
Рис. 3.6. Расположение точек испытаний при
поиске минимума по методу Фибоначчи или по
методу золотого сечения.
испытаний N. Для получения оптимального решения
с высокой степенью точности требуется проведение боль-
шого числа испытаний. Однако в связи с конечной раз-
рядностью ЭВМ при всех элементарных операциях
в машине происходит округление, что приводит при
больших значениях N к неустойчивости рассмо-
тренных алгоритмов поиска.
Рассмотрим этот вопрос более подробно на примере
метода Фибоначчи и метода золотого сечения. Согласно
блок-схеме, приведенной на рис. 3.3, стратегия поиска
минимума на каждом шаге сводится к сравнению меж-
ду собой на интервале [xi, Хг] двух испытаний, прове-
денных в точках Хз и Х4 (рис. 3.6). В связи с тем, что
коэффициент %>1/г, нетрудно видеть, что точка х3 всег-
63
да ближе к точке х2, чем симметрично расположенная
точка хс
^=(хз—Xi)/(X2—Xi)>V2. (3.33)
С другой стороны, Хз ближе к xit чем х2. Тогда в силу
симметрии расположения этих точек относительно кон-
цов интервала (х3—xi=x2—а) можем записать:
ii+i= (х2—хз)/(х2—xt) =
= (х2-Х1)/(Хз-Х1)-1 = (1/М-1- (3.34)
Из (3.33) и (3.34) следует, что
l/2<ti<2l3. (3.35)
Таким образом, процесс поиска должен проходить
так, чтобы на каждом шаге выполнялось условие (3.35).
В этом случае будем говорить, что поиск устойчив.
В противном случае поиск будем считать неустойчи-
в ы м.
Для точных значений коэффициента ti, i=0, 1,
2, ..., можем записать ti=x. Тогда из условия (3.34),
учитывая, что т2+т=1, получаем
1 = 1/т— 1=т=0,618 ..
Откуда следует, что для точных значений ti=x условие
(3.35) всегда выполняется и процесс поиска минимума
по алгоритмам Fi4, F15 устойчив. Однако, если началь-
ное значение коэффициента % представлено в силу ко-
нечной разрядности машинных чисел приближенно, т. е.
Х=/=т, то оказывается, что процесс поиска, начиная с не-
которого Л\ становится неустойчивым в смысле выпол-
нения условия (3.35).
Обозначим на i-м шаге исследуемые отрезки через
Pi=x3—Xi и g,=x2—Xi. Тогда на (i+l)-M шаге в силу
(3.34)
ti+i— (—Pi+gi)/pi,
г. е.
(3.36)
gi+i / \Si /
где
Нетрудно показать [76], что
дЛГ_/________________UN ~uN—\
\* . . . . Л
(3.37)
64
После N испытаний получаем
/ = А" М = r
N . . \ go J f— taN—\/uN + ^N—2Iun} . . '
При больших N имеем Un-\Jun—i; и un-^JuN!^.xz; тогда
из (3.38) следует, что
/№[х-т]/[х(т-^о)]/ (3.39)
Откуда следует, что при /о=#!т величина tN стремится
к (—1/т) =—1,618 ... и устойчивость поиска по алгорит-
мам Fi4 и Fi5 нарушается.
В качестве примера в табл. 3.4 приведены значения
Таблица 3.4
1 при % = 0,618 i tt при X =D,618033988
0 0,618000000 - 0 0,618033988 ;
5 0,616438357 5,. 0,618033951 ’
10 0,833333217 10 : 0,618038694 '
11 0,200000167 15 0,617455486 -
12 3,99999581 20 0,691455486
13 —0,749999738 21 . 0,446041107. .
14 —2„33333379 22 1,241945583
15 —1,42857134 23 —0,194811902
20 —1,61971831 24 ' —6,13315659
•< 25 —1,61802030 25- —,1,16304817
28 — 1,61803475 28 —1,65032637
30 —1,61802961 30 —1,61799921'
коэффициента it, вычисленные по формуле (3.33) на
ЭВМ БЭСМ-4 при помощи алгоритма F?, блок-схема
которого приведена на рис. 3.3 для различных значе-
ний %. . •
Из таблицы видно, что значение коэффициента %
следует брать с наибольшей допускаемой данным ти-
пом ЭВМ точностью. Но даже в этом случае, начиная
с некоторого N, поиск становится неустойчивым. Поэто-
му методы поиска типа метода Фибоначчи следует при-
менять тогда, когда допустимое число испытаний не- пре-
вышает двадцати (Л^20).
В тех случаях, когда минимум х* требуется опреде-
лить с высокой степенью точности, это затруднение мо-
жет быть преодолено при помощи использования мето-
дов полиномиальной интерполяции [7, 8].
Рассмотрим стратегию поиска минимума для дан-
5-242 65
ного класса методов на примере алгоритма квадратич-
ной интерполяции [77].
Пусть после проведения N испытаний оказалось, что
Xk-i<Xk<Xk+i и Q(Xfe-i) >Q(Xk) <Q(xft+i). Тогда мини-
мум х* принадлежит интервалу неопределенности In=
= (хд+1—Xk-i) Для имеющихся трех значений прове-
денных испытаний
{а=хь—1, Qa—Q(xk—i)}; (^=хд, Qb==,Q(Xfe)]j
Qc— Q (Xfe^-i) ]
допускается интерполяция минимизируемой функции
Q(x) на интервале In полиномом второго порядка
<$(х)=ао+а#+агх2, для которого точка минимума ха
определяется по формуле
____ 1(Ь2 — С2) Qa + (С2 — Л2) Qi + («2 — Ьг) Qf] ,п ДЛ\
d~ 2[(b-c)Qa + (c-a)Qb+(a-b)Qc] ' 1 ’
После проведения в точке х<г испытания путем сравнения
имеющихся значений функции выбираются три но-
вые точки (a, Qa', b, Qb', с, Qc), через которые снова про-
водится парабола. Повторение этой процедуры на каж-
дом шаге позволяет получить высокую точность аппрок-
симации минимизируемой кривой. Точка b^lN считается
минимумом, определенным с заданной точностью ех.
если выполняется условие
Qa>Qb<Qc при |с—а|^ех. (3.41)
В связи с вышесказанным при поиске минимума уни-
модальной функции с высокой степенью точности необ-
ходимо совмещать методы сокращения интервала неоп-
ределенности и полиномиальной интерполяции. Причем
при минимизации функции, обладающей на интервале
неопределенности большими по величине производными
высших порядков, целесообразно использовать алгорит-
мы Fi4, F? или Fie, а на интервале, где функции хорошо
аппроксимируются квадратичной параболой — алго-
ритм Fi8.
Другой подход [7<3, 79] к поиску минимума унимо-
дальных функций связан с комбинированием последова-
тельных и пассивных стратегий поиска. Применение та-
ких алгоритмов поиска оказывается полезным в зада-
чах, где возможно одновременно получить несколько
значений функции Q(x) ₽ разных точках интервала
Глава четвертая
ПОИСК ГЛОБАЛЬНОГО МИНИМУМА
ПРОИЗВОЛЬНОЙ кривой
Одной из часто встречающихся задач поисковой
оптимизации является определение глобального миниму-
ма произвольной кривой, т. е. минимального из несколь-
ких локальных минимумов многоэкстремальной одно-
мерной функции, заданной на интервале [а, Л].
Будем считать, что вид кривой неизвестен, но ее зна-
чение может быть получено в любой точке рассматри-
ваемого интервала.
4.1. Методы поиска, основанные
на построении аппроксимирующих моделей
минимизируемой функции
Рассмотрим класс методов AF2, поиск минимума
по которым сводится к следующим четырем действиям:
1) проводим испытания в точках х,, i=l, 2, N,
расположенных некоторым образом на интервале [а, &];
2) по полученным значениям х,, Q(Xi) строим мате-
матическую модель, аппроксимирующую функцию Q(x)
на интервале [а, &];
3) оцениваем адекватность полученной модели и
проводим дополнительные испытания, если она неудов-
летворительна;
4) при помощи построенной математической модели
определяем расположение глобального минимума х*
функции Q(x).
Один из алгоритмов такого типа F2!<=Af2 реализует
метод интерполирующих полиномов [80], в котором
в качестве модели минимизируемой функции Q(x)
используется интерполяционный алгебраический много-
член, проходящий через точки xit Qi(Xj), i=l, .... JV+1.
Для непрерывных функций Q(x) такой многочлен сущест-
вует и в аналитическом виде может быть представлен при
помощи интерполяционной формулы Лагранжа [81]:
^+l
^л(-^)==2 (-*)/[(-* Xl)P N+l (Xj)], (4.1)
/=1
5*
67
где
,v+1
pjv+i(*)=П (*—*<); (4.2)
/=1
P'N+i(Xi)—производная от многочлена ^+i(x), вычис-
ленная в точке
Точки xi, в которых должны быть проведены испыта-
ния, определяются из условия равномерной сходимости
-интерполирующих полиномов LN(x) к функции Q(x).
При увеличении числа испытаний выполнение этого
условия повышает вероятность совпадения глобального
-минимума. x(Ln) полинома LN(x) с глобальным мини-
мумом х* исследуемой функции Q(x). Для функций,
о которых известно только, что они непрерывны, не су-
ществует ни одной системы узлов интерполяции, гаран-
тирующей равномерную сходимость последовательности
.многочленов LN(x) к функции Q(x) [82]. Поэтому алго-
ритм F21 будем применять для более узкого класса за-
дач оптимизации, который включает непрерывные функ-
ции, удовлетворяющие условию Липшица. При этом
количественное значение константы Липшица К в выра-
жении (3.21) может быть и неизвестно.
Для данного класса функций стратегия выбора точек
испытаний может быть задана следующим выражением:
Xi=[(&—а)^+(Ь + а)]/2. ..(4.3)
Здесь — нули алгебраического полинома PN+i(x), вы-
числяемые по формуле [80]
g,=cos [(ft)—E(ix)]a, i=l, 2, ..., W+1, (4.4)
где т= (У5—1)/2; Е(-)—целая часть от числа, стоя-
щего в круглых скобках.
• Такой выбор узлов интерполяции обеспечивает вы-
полнение следующих двух условий: во-первых, увеличе-
ние количества испытаний сопровождается лишь добав-
лением новых узлов между старыми; во-вторых, полино-
>мы Ln(x), являющиеся алгебраическими многочленами
(4.1) с узлами интерполяции из (4.3), равномерно схо-
дятся--к-минимизируемой функции Q(x).
Процесс поиска глобального минимума с помощью
алгоритма F21 может быть сведен к следующей последо-
вательности действий. После проведения (М-Ы)-го
испытания (Af=l, 2, ...) из выражений (4.3), (4.4) опре-
деляем точку текущего испытания Xn+2, в которой вы-
числяем значение функции Q(x). По информации о всех
68
ЙблучейнкХ к этому йремёнй значениях (х,, Q(Xi)), 1=^
= 1, 2, ..., М+2 по формуле (4.1) находим интерполя-
ционный многочлен LN+t (х) :
W+1
LN+l(x)=^akxk. (4.5)
k=Q
Для построенного алгебраического полинома, напри-
мер, с помощью метода Мюллера [83] определяем все
локальные минимумы, среди которых выбираем точку
x(Lx+i), обеспечивающую наименьшее значение выра-
жения (4.5). При выполнении условия:
|х (L^) — x(La,)|<8 (4.6)
поиск считается законченным. В противном случае опи-
санная процедура определения точки текущего испыта-
ния повторяется.
Таким образом, рассмотренный алгоритм F21 позво-
ляет свести задачу глобальной минимизации произволь*
ной кривой Q(x) к последовательному поиску глобаль-
ного минимума алгебраических полиномов, построенных
специальным образом.
Для функции Q(x) = (x/10+cosx), 2^х^11, не-
сколько шагов поиска глобального минимума по алго-
ритму F2* приведены в табл. 4.1, а на рис. 4.1 показаны
минимизируемая функция Q(x) и аппроксимирующие ее
интерполяционные многочлены 1г(х), L3(x) и Ц,(х).
Таблица 4.1
N In XN LN (X) —х (tjv) I
1 —0,36 4,87
2 0,74 9,82 — ——
3 —0,90 2,46 (—0,089x2 + 1,09х—2,73) 2 ——
4 0,09 6,89 (—0,023x3 + 0,32x2 — — 0,88х + 0,039) 11 9
5 0,96 10,82 (0.0134Х* — 0,34х’+ + 3,04x2 — 10,2х + 10,9) 2,94 8,06
6 —0,61 3,76 (—4,52-10“4х5 + 0,029х4 — 0,55ха + 4,34x2 — — 14x4-14,9) 2,99 0,05
Рассмотренный алгоритм позволяет по результатам
проведенных испытаний не только найти точку прибли-
69
жепного глобального минимума, по и идентифицировать
аналитическое выражение для функции Q(x). Однако
при малом числе испытаний алгоритм может не обнару-
жить истинного значения глобального минимума, а при
увеличении числа испытаний возрастают затраты ма-
Рис. 4.1. Стратегия поиска глобального минимума по методу интер-
полирующих полиномов.
шинного времени на определение глобального минимума
алгебраического полинома высокой степени, аппрокси-
мирующего исследуемую функцию на всем интервале
Процедура поиска глобального минимума аппрокси-
мирующей модели более проста в алгоритме Е22еЛр2,
который реализует метод кусочно-кубической аппрокси-
мации '[54]. В этом методе в качестве модели исполь-
зуется кусочно-кубическая кривая Rn(x), проходящая
через точки х,, Q(x;), i=l, 2, ..., N, и моделирующая
поведение функции Q(x) полиномами третьей степени
на отдельных участках интервала [а, 6]. Точки текущих
70
испытаний на каждом шаге поиска равномерно распо-
лагаются на интервале [«, 6] и частично совпадают
с уже проведенными испытаниями. Общее число точек,
по которым на r-м шаге строится кусочно-кубическая
функция, оценивается по итерационной формуле
Nr=2Nr-i—1, г=2, 3, ...; М=5. (4.7)
В точках Xi, которые получены на r-м шаге и
являются новыми, проводятся дополнительные испыта-
ния. Таким образом, на первом шаге (г=1) использует-
ся информация об испытаниях в пяти точках, на втором
шаге (г=2)—в девяти точках, среди которых в пяти
уже проведены испытания, т. е. дополнительно вычисля-
ется функция только в четырех новых точках и т. д.
По полученным значениям x,, Q(x,) строится модель
функции Q(x), представляющая собой набор полиномов
третьей степени. Каждый аппроксимирующий полином
используется для описания кривой не в точках x,-i, х,-,
х/+1, х<+2, по которым он строится, а только между
двумя точками х, и x,+i, кроме концов интервала, где
аппроксимирующие полиномы характеризуют функцию
Q(x) на отрезке между тремя крайними точками испы-
таний. При этом на каждом шаге поиска коэффициенты
аппроксимирующих полиномов должны рассчитываться
заново. Пример построения кусочно-кубической модели
по девяти точкам показан на рис. 4.2. Здесь подынтер-
валы /1, /з и 15 являются областями определения первой,
второй и третьей кубических парабол, а подынтервалы
lz, U и 1в — областями, где функция Q(x) — (x/10 + cosx)
аппроксимируется каждой из этих парабол.
Построение кусочно-кубической модели считается
законченным на r-м шаге, если относительная ошибка
между значениями функции Q(x), вычисленными в точ-
ках (r+l)-ro шага, и значениями, полученными по моде-
ли RN (х) в этих же точках, меньше некоторого задан-
ного значения eq:
max |[Q(x,) — RN (xz)]/QU)|<s (4.8)
г *
После построения аппроксимирующей модели проце-
дура поиска глобального минимума кривой RNr (х) сво-
дится к вычислению минимального значения каждого
кубического полинома из решения квадратного уравне-
ния, соответствующего его первой производной. В каж-
71
дой точке, являющейся корнем квадратного уравнения
и принадлежащей интервалу (х,, x,+i) приближения
функции Q(x) рассматриваемым полиномом, делается
Рис. 4.2. Пример построения кусочно-кубической модели по девяти
точкам в методе кусочно-кубической аппроксимации.
вающая минимальное значение функции Q(x) по всем
проведенным испытаниям N:
Q(xfe)= min Q(xt).
Таким образом, алгоритм F22 позволяет получить
аппроксимирующую модель при помощи совокупности
полиномов третьей степени. Однако для запоминания
каждого полинома требуется дополнительный объем па-
мяти, который быстро растет с увеличением точности
eq совпадения аппроксимирующей модели с исследуе-
мой функцией.
В связи с этим рассмотрим алгоритм Fa’eXj-2, кото-
рый реализует метод кусочно-линейной аппроксимации
[84]. При использовании этого алгоритма не требуется
дополнительной памяти для запоминания параметров
аппроксимирующей модели- Это достигается благодаря
72
тому, что на каждом шаге но значениям Xi, Q(x<)
строится кусочно-линейная модель ГЛ^(х).
При этом точки текущих испытаний х», необходимый
для построения модели, выбираются так же, как И
в алгоритме F22. Основной характеристикой модели,
получаемой на каждом шаге, является число подынтер-
валов, «подозрительных» на существование в них
локального минимума функции Q(x). Процесс последо-
вательного построения кусочно-линейных функций за-
канчивается как только достигается соответствие между
моделью, полученной на r-м шаге, и функцией Q(x).
В качестве критерия такого соответствия принимается
значение параметра я» показывающего, сколько раз
подряд число «подозрительных» подынтервалов кусочно-
линейной модели повторилось при ее уточнении. При
повторении структуры кусочно-линейной модели т] раз
подряд считается, что функция Q(x) имеет такое же
число локальных минимумов, как и ее кусочно-линейная
модель, построенная на r-м шаге.
Определение приближенного значения глобального
минимума в этом случае сводится к минимизации одно-
мерной унимодальной функции, являющейся частью
кривой Q(x), в каждом из «подозрительных» подынтер-
валов при помощи одного из методов, рассмотренных
в гл. 3. В качестве примера на рис. 4.3 показаны две
кусочно-линейные модели функции Q(x) = (x/10+cosx)
(сплошная кривая), полученные при помощи алгоритма
Р2з. Кусочно-линейная модель Г5(х), полученная на пер-
вом шаге, обозначена пунктирной кривой, а модель
Гэ(х), полученная на втором шаге, — штрих-пунктирной.
Точками отмечены вычисления, выполненные на первом
шаге, а крестиками — на втором. При т] = 2 построение
кусочно-линейной модели заканчивается выделением
«подозрительных» подынтервалов (заштрихованные уча-
стки оси х), в которых осуществляется поиск локаль-
ного минимума.
Оценка оптимального значения параметра т] для
класса тестовых многоэкстремальных кривых, являю-
щихся отрезками ряда Фурье, согласно методике § 2.3
может быть сведена к задаче многокритериальной опти-
мизации с обобщенным критерием эффективности:
IF(Ч) = шах [Ш {N (71)} + (1 - Л) (1 - Р (т)))},
73
Где Л» — большое положительное число; М(М(ц)} —
средние затраты на поиск; Р(т])=Р{|хь—х*|^еж}— ве-
роятность локализации точки истинного глобального
минимума х*.
Решение этой задачи показало, что для данного
класса одномерных многоэкстремальных функций с чис-
Рис. 4.3. Стратегия поиска глобального минимума по методу ку-
сочно-линейной аппроксимации.
лом локальных минимумов не больше 20 оптимальное
значение г)*=3. Причем для т]>>3 вероятность обнару-
жения точки глобального минимума равна единице.
Для исследования зависимости средних затрат на
поиск M{N} от верхней оценки числа локальных мини-
мумов /, точности локализации координаты глобального
минимума еж и параметра алгоритма г] для каждой вы-
борки (J, еж, т|), где J—4, 6, 8, 10; еж=10-1, 10-2, 10~в
и т)=3, 4, 5 было решено по 100 тестовых задач. В каж-
Т аб лица 4.2
Средние затраты на поиск при ех, равном
ю-i ю-> ю-e
7=4 7=6 7=8 7=10 7=4 7=6 7=8 7=10 7=4 7=6 7=8 7=?13
3 56 116 189 258 68 161 217 291 110 230 357 466
4 92 180 271 317 98 190 295 347 123 305 424 5|8
5 101 263 311 328 112 280 330 353 154 396 460 524
74
дой тестовой задаче функция Q(x) рассматривалась на
интервале 0<х=^100, а коэффициенты отрезков ряда
Фурье выбирались по равномерному закону из интерва-
ла—ЮОг^а^ЮО. Результаты экспериментального те-
стирования на данном классе тестовых задач приведены
в табл. 4.2.
4.2. Информационно-статистические
алгоритмы поисковой оптимизации
В отличие от описанных алгоритмов поиска в этом
параграфе рассматривается класс алгоритмов поисковой
оптимизации Af3, в которых модель функции Q(x) опре-
деляется не в виде аппроксимирующего выражения,
а вероятностным образом. При этом считается, что ста-
тистические предположения о характере минимизируе-
мой функции могут быть заданы при помощи вероятно-
стных характеристик, которые позволяют рассматривать
неизвестную функцию Q(x) как реализацию некоторого
случайного процесса.
В алгоритме Гз^Лр3 >[85] в качестве модели функ-
ции Q(x) используется случайный процесс типа класси-
ческого броуновского движения. В этом случае для лю-
бых двух значений Xi, х2^[а, Ь] разность (Q(xi)—
Q(x2)j подчиняется совместному нормальному закону
распределения вероятностей f(0, ci|xi—х2|) со средним
значением, равным нулю, и дисперсией, равной
С1|%1—х2|, где постоянная Ci характеризует скорость из-
менения кривой Q(x).
В рамках введенной вероятностной модели для функ-
ции Q(x) можно вычислить значения условного матема-
тического ожидания Af{Q(x)} и условной дисперсии
O{Q (*)}, которые для двух испытаний в точках xi<x2
имеют следующий вид [86]:
Af(Q(x)}= [(х2—x)Q(xi) + (х—Xi)'Q(x2)]/(x2—xt),
(4-9)
^{Q(x)}= [С1(х—Xi) (х2—х)]/(х2—Х1). (4.10)
Из этих выражений видно, что рассматриваемая модель
обладает следующими свойствами. Во-первых, условное
математическое ожидание минимизируемой функции
является ее кусочно-линейной аппроксимацией на интер-
вале [а, &]. При этом точки излома аппроксимирую-
щей кривой совпадают с точками испытаний Xi, Q(xt).
75
Во-вторых, условная дисперсия функции Q,(x) в точках
испытаний Xi равна нулю, а в пределах интервала меж-
ду точками испытаний представляет собой квадратич-
ную функцию, которая при х>х2 изменяется по линей-
ному закону как cjx—х2|. Для случая двух испытаний
графики Af{Q(x)} и £>{Q(x)} приведены на рис. 4.4.
Рис. 4.4. Графики условного математического ожидания Af{Q(x)) (а)
и условной дисперсии D{Q(x)} (б) для двух испытаний Xi и х2.
Отмеченные свойства модели позволяют связать
стратегию выбора каждого последующего испытания
с исследованием простого выражения, являющегося
функцией от Af{Q(x)} и D{Q(x)J, построенных по ре-
зультатам уже проведенных испытаний. Это оказывает-
ся возможным в связи с тем, что при испытании в точке,
соответствующей минимуму A4{Q(x)}, получается наи-
меньшее ожидаемое значение функции Q(x), а испыта-
ние в точке с максимальным значением D{Q(x)} обеспе-
чивает получение наибольшей информации о неизвест-
ной кривой Q(х).
В связи с вышесказанным, в качестве точки очеред-
ного (r + l)-ro испытания вйбираем точку, которая
максимизирует вероятность того, что значение функции
Q(x) в этой точке меньше заданной величины (Q*—е),
т. е. решаем задачу:
max Р {Q (х) < (Q* — в)}. (4.11)
а^х^Ь
Здесь Q* — текущее минимальное значение функции
Q(x), полученное после проведения г испытаний:
Q*= min Q(Xi). (4.12)
Поскольку функция Q(x) является реализацией случай-
76
кого процесса с заданным нормальным законом распре-
деления, имеем [27]
Р {Q (х) < (Q*- »)} = Ф f[Q* - М {Q (х)} -
-s]/[D{Q(x)}]lz2. (4.13)
где Ф'(2) — функция распределения величины z. Из
условия, что выражение (4.13) является неубывающей
функцией от своего аргумента следует, что в точке
Xr+i имеет максимум также более простая функция
X=[Q*—M{Q(x)}—e]2ID{Q(x)}. (4.14)
Для оценки влияния параметра е на расположение
точки Xr+i внутри интервала [0, /], к которому можно
свести любой отрезок [Xi, Xi+i], рассмотрим случай
двух испытаний с относительными значениями функции
на концах интервала, равными соответственно Qo=O и
Qi=B. Так как Q* = 0, то, учитывая (4.9), (4.10), для
функции X из (4.14) будем иметь
у_ (хВ/1 + еУ
CiX (I — х)/Г
Экстремальное значение этой функции достигается
в точке
xr+t=eZ/(2e+B). (4.16)
Координата точки xr+i не зависит от параметра Ci, что
позволяет считать в дальнейшем Ci=l.
Из формулы (4.16) видно, что при 8—>оо точка
Xr+i стремится к х=112, т. е. к точке, в которой условная
дисперсия D(Q(x)} имеет максимальное значение. Эта
точка соответствует наименее определенному значению
функции Q(x). Поэтому в начале поиска, когда нас
интересует информация о расположении всех локальных
минимумов, значение е должно выбираться большим.
При 8—>0 из (4.16) получаем, что xr+t—>0, т. е. точка
очередного испытания стремится к точке, где ожидаемое
значение функции Q(x) будет иметь наименьшее зна-
чение. Таким образом, в конце поиска величину параме-
тра 8 следует уменьшать для того, чтобы подробно
исследовать окрестности точек локальных минимумов,
найденных на предыдущих шагах поиска.
Предположим, что проведено г испытаний в точках
а=Х1<х2< ... <хг=Ь. Тогда в силу кусочно-линейного
характера зависимости 44{Q(x)} поиск точки очередного
испытания можно свести к вычислению максимального
77
(4.17)
опре-
i
(4.18) ;
уело- »
(4.19)
значения функции Х{ на каждом из подынтервалов дли- 1
ной li— (xi+1—Xi): i
X [Q* ~ g (X<) + (* ~ Xi}/k]2
1 [(X — Xi)(Xi+i — Xi)/Xi] *
где
Q*=min Q (x/); В/ = Q (xt) — Q (xt+,).
Координата точки экстремума функции (4.17)
деляется следующим выражением:
xrt+i=xt + [(Q*—s — Q (х,)) (Q* — s —
— Q (•*<)) Н-®»]»
а точка очередного испытания xr+i выбирается из
вия
X (Xr+i) = max Х[ (х[+1).
Как и в случае двух испытаний при больших значе- (
ниях е, точка Хг+i стремится к центру одного из наибо- '
лее широких неисследованных интервалов, а при малых
значениях е — к точке, соответствующей минимальному
значению функции M{Q(x)}.
Основная трудность применения алгоритма F31 для ।
решения конкретных задач оптимизации связана с вы-
бором параметра е. В [85] численное значение параме-
тра е определяется через априорно заданные параметры I
В, 61 и 62 из условия равенства правых частей следую-
щих соотношений: Д
Xi^4e2/6r, X2<4(e+B)2/62. (4.20)
Процесс поиска для фиксированного 8 продолжается ?
в соответствии с формулами (4.17) — (4.19) до тех пор,
пока все значения Х{ не окажутся равными максималь-
ному значению, полученному из выражения (4.20) при
заданном 8.
Другим способом учета статистической информации i
о свойствах функции Q(x) является задание в качестве
ее модели некоторого функционального класса, в кото-
ром вероятностные свойства функции определяются при
помощи плотности распределения вероятностей f(Q).
Это позволяет рассматривать минимизируемую функ-
цию Q(X) как одну из реализаций случайной функции
из рассматриваемого класса. Любая дополнительная
информация Ir=((Xi, Q(Xi), i=l, 2, ..., г), которую
можно получить в процессе поиска, включается в мо-
78
дёль посредством пересчета априорного распредеЛенйя
f(Q) в. апостериорное, т. е. при помощи вычисления
условного распределения вероятностей f(Q|/r).
В большинстве практических задач плотность рас-
пределения f(Q) неизвестна. Однако относительно ми-
нимизируемой функции 'Q(x) могут быть сделаны сле-
дующие априорные статистические предположения [87]:
— функция Q(x) является равномерно непрерывной
в смысле теории вероятностей;
— распределение вероятностей для первых разно-
стей Q(x) не зависит от х, и ему соответствует (неиз-
вестное) математическое ожидание nl>0.
Пользуясь заданной точностью е, построим множест-
во равноотстоящих узлов х0=а, Xi=a+s, хм=
= (а+Ме)=Ь, где М= (Ь—а)/е. Положим Qi=Q(x<) и
рассмотрим задачу отыскания индекса а*, при котором
Q(i) имеет глобальный минимум.
Будем рассматривать минимизируемую функцию
Q(x) как реализацию случайного процесса с независи-
мыми нормальными приращениями вида [88]:
Q(i}~Q(i—l)=Pi, 'i=l, 2, ..., M, (4.21)
при начальном условии Q (0) = Ро. Здесь 0о, Р» — незави-
симые нормальные случайные величины со стандартами:
со, Oi=cni (с>0, m>0) i(4.22)
и математическими ожиданиями
т, если .. оо.
(4.23)
т, если i>a.
Дискретная величина а имеет априорное распределение
вероятностей /(а), которое отражает имеющуюся инфор-
мацию о расположении точки глобального минимума.
В предположении, что параметр с является малым,
предложенная модель (4.21) — (4.23) порождает распре-
деление вероятностей f(Q) на классе рассматриваемых
функций.
Хотя в описание модели входит несколько параме-
тров (сто, Що, т, с, f(a), а), существенным среди них яв-
ляется лишь параметр т, являющийся средним значени-
ем абсолютной величины первой разности функции Q,.
После (г+1)-го испытания в точках is, s=l, ..., г, ну-
мерация которых корректируется после каждого шага
с тем, чтобы выполнялось условие О=«о<'й< ... </г=
79
—&f значение параметра т оценивается по формуле
~ (и-Mt, если Л1, >0;
tn \
( 1, если 41, = 04
(4.24)
f (a\ Ir) = h(Ir, a)f(a.)
где
М, = max |[Q(s) — Q(s — l)]/(is — is_i)|; (4.25}
x> I. — параметр метода.
Из формулы Байеса и допущения, что в (4.21)
взаимонезависимы и подчинены нормальному закону,
следует, что при достаточно малом с>0 и любом апри-
орном распределении f(a) вероятность расположения
глобального минимума функции Q(i) в точке а после
проведения г испытаний описывается условной апосте-
риорной вероятностью f (а |/г) [89]
м
(4.26)
z=i
где для любого is-i<a<is, s=l, 2, ..., г, справедливы
следующие соотношения:
a)= exp j - j ((“ | exp {R (s)/2mba), (4.27)
a*s = (is-\-is_i)/2 — [Q(s) — Q(s— l)]/2m, (4.28)
R(s) = m(is—is_1)-|-[Q(s) — Q(s—l)]»/m(is — is_I) —
-2[Q(s) + Q(s-l)]. (4.29)
Здесь a* — ближайшее целое число к a*/,, где 1 </<r
удовлетворяет условию R (t) = max R (s). Из выражений
(4.26)., (4.27) следует, что при с—иО точка а* является
наивероятнейшёй точкой расположения глобального
минимума функции Q(i). При этом согласно (4.25)
всегда
Поскольку параметр модели т и, следовательно,
сама модель, как следует из (4.24), изменяется в про-
цессе поиска, будем рассматривать одношаговые страте-
гии выбора очередного (г+1)-го испытания. Тогда по
принципу Байеса очередное испытание на (г+1)-м шаге
.следует делать в точке, совпадающей с а* [89]. Этот
вывод справедлив и для случаев, когда в качестве функ-
, •*> Предполагается, что первые два испытания всегда осуще-
ствляются в точках г=0 и
«О
ции потерь выбирается ожидаемая шенноновская
информация о расположении экстремума [88] или сред-
нее значение предполагаемого результата испытания
[60] и т. д.
Из выражений (4.24), (4.25) и (4.28) .следует, что
при к>2 точка а* не совпадает с точками is, s = 0, 1, ...,
..., г, в которых уже осуществлялись испытания. Если
it—то принимаем a*=it. В противном случае,
если
it—(4.30)
то считаем a*=it-i. Очевидно, что условие (4.30) может
служить критерием окончания поиска.
Перейдем в выражениях (4.25)—(4.30) от индексов
is к переменным xs. Тогда алгоритм F^eAp3 [60], реа-
лизующий рассмотренную выше процедуру поиска сво-
дится к следующей последовательности действий.
Первые два испытания проводим на концах интерва-
ла в точках хо=а и Xi=b. Выбор точки текущего испы-
тания на каждом последующем шаге состоит из следую-
щих этапов.
1. Расположим результаты испытаний xt, Q(Xi) та-
ким. образом, чтобы нумерация точек испытаний удовле-
творяла условию a=Xo<Xi< ... <хг=Ь.
2. Вычислим максимальную разность и значение
параметра т:
Mt = max I
I
Q(xs) —Q(xs-i)
Xs — Xs-i
~ ( хЛ4ъ если Mt > 0
z/z <
[ 1 в противном случае.
3. Определим интервал (xt-i, Xt), в котором, величи-
на 7?(з) достигает максимума по з:
7? (/) = max 7? (з);
где
R(s)=m (xs — Xs.t) + [Q-^-s-)~Q (Xs-1)p —
m(Xs — Xs-i)
— 2(Q(xs) -)-Q (Xs_t)).
4. В качестве точки очередного испытания выберем
точку
Xr+t = (Xt + Xt _ ,)/2 — [Q (Xt) — Q (Xt _ t)]/2m.
6—242
81
Поиск заканчиваемся, если длина йнмёрвала (Xt-i, Xt}
становится меньше некоторого заданного значения еж:
Xt Xt—(4-31)
где бх — заданная точность поиска глобального мини-
мума.
В качестве приближенного значения глобального ми-
нимума принимается точка хь, для которой
Q (хк) = min Q (лг<). (4.32)
При минимизации с помощью алгоритма F32 функ-
ции Q(x), являющейся константой, точки испытаний
xt равномерно разбивают интервал [а, Ь] с шагом
e/2=Sjd^e. Действительно, пусть Q(x)=0, тогда R(s) =
=xs—xa-i, Xr+i—(xt+xt-i)/2, т. e. каждое испытание при
делается в центре самого большого интервала. Со-
гласно условию (4.31) поиск заканчивается равномер-
ным разбиением исходного интервала с точностью не
хуже ex.
Исследование алгоритма F32 показывает {88, 89], что
с ростом параметра х повышается надежность поиска,
но одновременно увеличивается и среднее число испыта-
ний. Это связано с тем, что новые испытания проводятся
и в тех интервалах, на концах которых были зафикси-
рованы наиболее высокие значения минимизируемой
функции. Таким образом, в начале поиска параметр х
необходимо выбирать большим, чтобы повысить вероят-
ность локализации глобального минимума, а в конце
поиска его значение должно быть уменьшено с целью
сокращения числа поисковых испытаний при уточнении
координаты точки минимума.
4.3. Поиск глобального минимума кривой
с помощью стохастических автоматов
Рассмотрим класс алгоритмов AFi, в котором для
локализации области глобального минимума произволь-
ной кривой используются стохастические дискретные
автоматы с переменной структурой [90].
Под автоматом будем понимать [91] некоторый
объект, который в дискретные моменты времени г=1,
2, ..., воспринимая на входе сигнал у(г), изменяет свое
внутреннее состояние 5(г). Каждое состояние автомата
определяет значение переменной на его выходе:
x(r)=<pi[S(r)]. (4.33)
82
Пусть автомат находится в некоторой среде, реаги-
рующей на его действия случайным образом, т. е. вход-
ная переменная автомата (вход) в момент г является
случайной функцией его выхода в предыдущий момент:
y(r)=y[x(r— 1)]. (4.34)
Будем считать, что переменная у (г) принимает толь-
ко два значения: у(г) = 1, соответствующее классу бла-
гоприятных реакций (выигрыш) и у(г)=О, соответствую-
щее классу неблагоприятных реакций (штраф). Далее
предположим, что число внутренних состояний автомата
конечно: Si(r), t=l, 2, ..., М, и каждому из них соот-
ветствует только один определенный из уравнения (4.33)
ВЫХОД Хг (г) .
Стохастический автомат задается уравнением (4.33)
и вектором вероятностей р, каждая /-я компонента ко-
торого характеризует вероятность pi перехода автомата
в состояние Si под воздействием входа у(г+1). Если
после перехода из состояния Sj в 5г- вероятность pi из-
меняется таким образом, что при выигрыше ее значение
увеличивается, а при штрафе уменьшается, то говорят,
что стохастический автомат имеет переменную (форми-
руемую) структуру.
Введем следующую интерпретацию характеристик
автомата и среды, соответствующую понятиям задачи
поисковой оптимизации. Разобъем интервал [а, &], на
котором определена минимизируемая функция Q(x), на
М подынтервалов Ц равной ширины w=(b—а)/М. Каж-
дому подынтервалу Ц, который характеризуется точкой
Xi=w(i— V2), (4.35)
поставим в соответствие единственное состояние авто-
мата Si9 !=1, 2, ..., М. Тогда на r-ом шаге поиска со-
стоянию S(r)=Si будет соответствовать выход автома-
та Xi(r), принадлежащий интервалу
Xi — w/2 < Xi (г) < Xi -f- w[2. (4.36)
Конкретное значение выхода Xi(r) выбирается из этого
интервала с равномерным распределением вероятно-
стей f=\/w. Каждое состояние Si на r-м шаге поиска
будем характеризовать вероятностью
м
Pi(r)(pi(r)^Q и 2 Pt (г 1),
«=1
согласно которой выбирается случайное состояние
s(r+l) на последующем шаге. В начале поиска, когда
6» 83
отсутствует априорная информация о форме кривой
Q(x), эти вероятности считаются одинаковыми. В про-
цессе поиска необходимо изменить структуру автомата
таким образом, чтобы состояние, соответствующее под-
интервалу, который содержит точку глобального ми-
нимума %*, имело максимальную вероятность:
р(х*)= max pt (г). (4.37)
Конкретный тип алгоритма поиска глобального ми-
нимума с помощью стохастических автоматов зависит
от процедуры преобразования вектора вероятностей
р(г) на каждом шаге поиска.
Рассмотрим алгоритм Р41^Лр4 [92], в котором изме-
нение вектора р(г) связано с линейной моделью Буша
и Мостеллера [91]; Пусть для каждого Xi имеется неко-
торое значение Qi*, i=l, 2, ..., М, Для формализации
понятий «штраф» и «выигрыш» результат испытания
в точке %i(г) на r-м шаге поиска будем сравнивать
с элементом
Q*min — min Q*z. (4.38)
Это позволяет определять величину входа автомата
у (г +1) следующим образом:
_ (0, если Q*min <Q [Xi (г)] (штраф), ..
' 1 в противном случае (выигрыш).
На каждом шаге поиска вектор вероятности смены
состояний автомата р(г) преобразуется по формуле:
4 м
р(г+1) = Тр(г); 3 A(r-H)= 1, (4.40)
i=l
где Т = Д1-|-(1—2)А(г)—преобоазование Буша—Мостел-
лера; I — единичная матрица; 2 —постоянная величина,
определяющая размер шага поиска; А(г) = [А(г)... А(г)]—
— (МУМ)- матрица одинаковых столбцов. А(г) — вектор
из М элементов, который определяет структуру автомата
и вычисляется на каждом шаге.
м
Для обеспечения условия нормировки S Pi (/•+!)=!
Z = 1
необходимо, чтобы Т была стохастической матрицей, т. е.
чтобы вектор А (г) ’удовлетворял условию
м
ЗА,(г)=1. (4.41)
Z=1
84
В связи с вышесказанным на каждом r-м шаге век-
тор Л (г) формируется согласно . значениям х(г) и
у(г+1) последующему правилу:
1) при у(г+1) = 1 (выигрыш) и x(r)=Xi образуем
Лг(г) = 1 и Л3(г).=0 для /= 1, 2.М,
2) при у(г+1)=0 (штраф), для любого х(г)=хг-
выбираем Аг-(г) =р,(г), г=1, 2, ..М.
В первом случае вероятности выбора состояний
i=l, 2, ..М, перераспределяются таким образом, что-
бы увеличить вероятность появления i-ro состояния,
обеспечивающего выигрыш, и уменьшить вероятности
появления остальных (N—1)-го состояний. При появле-
нии штрафа на входе автомата вероятности выбора со-
стояний автомата остаются без изменений.
Введенные характеристики стохастического автомата
позволяют свести стратегию поиска глобального мини-
мума по алгоритму F? к следующей последовательности
действий.
1. Для первого шага поиска (г=0) задаем одинако-
вые значения вероятностей pi(r) = l/Af, i=l, 2, ..., М,
и принимаем ф<*=Лоо, i=l, 2, ..., М, где ATO— большое
положительное число.
2. При помощи вектора р(г) генерируем случайное
состояние автомата, скажем 5(r)=S,, для которого из
интервала (4.36) выбираем некоторый выход х(г) =
=х{(г).
3. Вычисляем значение функции Qi = Q(x,(r)).
4. Согласно формуле (4.39) определим вход авто-
мата у(г+1).
5. В массив {Q,*} вместо значения Qi* подставляем
полученное значение Q,-.
6. В зависимости от значений выхода х(г) и входа
у(г+1) автомата изменяем вектор Л(г).
7. Вектор р(г) преобразуем по формуле (4.40) в век-
тор вероятностей р(г+1).
8. Все действия повторяем, начиная с п. 2 до тех пор,
пока с заданной точностью е не выполнится условие
оптимальности поведения автомата в случайной ста-
ционарной среде [91]:
|pi(r)—1|^е, если Qi<Q, для всех
Pi (г) для всех / = 1, 2, ..., М, (4.42)
В качестве примера на рис. 4.5 приведены гистограм-
мы вероятностей появления выходов автомата Pi(r),
85
Z=l, 2, 6, полученные после г—100 и 500 шагов
поиска минимума функции Q(x) = (x/10+cosx) (число
состояний автомата Л4=6). Из рис. 4.5 видно, что ве-
роятность pi, которая характеризует состояние Si, соот-
ветствующее точке глобального минимума, стремится
к единице, а все остальные вероятности приближаются
к нулю.
Рис. 4.5. Гистограммы вероятностей появления выходов автомата
при минимизации функции Q(x) = (х/10-hcosх) после г=0,100 и
500 шагов поиска.
Преобразование вектора вероятностей р(г) по
информации о средних значениях функции Q(x) реали-
зовано в алгоритме Е42еЛ^4 [93, 94]. При этом каждое
усреднение осуществляется по уже проведенным испы-
таниям для чего вводится функция
Zi (г + 1) = [Qz (г 4- 1 )ГТ, (4.43)
где Qi(r+1)—значение Q(x), полученное в момент
(г+1) для выхода х (г +1) = хг-; у — параметр алгоритма
поиска.
Тогда на r-м шаге поиска в зависимости от значений
выхода х(г+1) изменение структуры автомата сводится
к пересчету выборочных средних значений функции
Zfe(/'+!) для всех интервалов Ik по формулам
£(г+1) = Я*(г)-Н1-Л)Мг+1), 0<Я<1; (4.44)
86
1) = ^2,('')) ] — l,2,...,Af; (4.45}
По полученным значениям г&(г+1) определяется ве-
роятность перехода автомата в состояние <S(r+l)=Sj:
_ / м _
Л(г+1) = г/(г4-1) /2 zft(r+l). (4.46)
/ fe=i
В связи с тем, что zt-(r+l) из (4.43) обратно пропор-
ционально Qi (г+1), меньшим значениям функции соот-
ветствуют большие значения Zi(r+1). Следовательно,
согласно (4.46) интервалу /, соответствует большая ве-
роятность р,(г+1).
.Процедура поиска по алгоритму F43 сводится к сле-
дующей последовательности действий:
1. Для первого шага поиска (г=0) задаем одинако-
вые значения вероятностей pi(r) = l/M, /=1, 2, ..., М.
2. Формируем массив средних значений г», при по-
мощи вычисления функции Q(x) в точках xfe=w(&—*/2)
F* = [Q(xft)]-\ Л=1,2...М.
3. При помощи вектора р(г) генерируем случайное
состояние автомата, скажем S(r)=Si, для которого из
интервала (4.36) выбираем некоторый выход х(г) =
= Xi(r).
4. Вычисляем значение функции Qi = Q(Xj(r)).
5. Образуем по формуле (4.43) значение г, (г+1).
6. По формулам (4.44) и (4.45) пересчитываем сред-
ние значения
zHr+1), fe=l,2, и.,Л4.
7. Изменяем значение вектора вероятностей p(r +1)
по формуле (4.46).
8. Все действия повторяем, начиная с п. 3 до тех
пор, пока не выполнится условие (4.42).
Рассмотренная модель стохастического автомата
обладает оптимальным поведением, т. е. обеспечивает
выполнение условий (4.42), если в процессе поиска сред-
ние значения функции Zk(r) вычисляются для каждого
из интервалов Ik правильно. Это требование можно вы-
полнить за счет подбора параметра метода у.
Предположим, что Q(x) имеет относительно плоский
минимум Qi в области lj и глубокий минимум Q*
в интервале Ц (рис. 4.6). Эта ситуация представляет
наихудшие условия для правильной оценки средних зна-
чений, так как в этом случае для интервала /»• может
87
получиться среднее значение z< меньше, чем для интерн
вала lj. Тогда для у=1 наибольшая вероятность не бу-
дет связана с состоянием 5{, определяющим интер-
вал If. При этом желательно найти такое значение у> 1,
чтобы значение z< в Ц было максимальным относительно
Рис. 4.6. Ситуация, представляющая наихудшие условия для пра-
вильной оценки средних значений при минимизации с помощью
стохастических автоматов.
tj для всех остальных интервалов lj, j=l, М,
Это требование приводит к тому, что даже для больших
величин квантования w должно выполняться условие:
Xj+V>l2 Xi+wj2
У Q~4x)dx<, J Q-i(x)dx. (4.47)
X]—w!2 Xi—w/2
Заменим части кривой Q(x) на интервалах и lj квад-
ратичными функциями
Q(x) = &(x — + Q(x) = e(x —x.)s + Q., (4.48)
где 6>e; Qt<Qr, Q. = Q(x.) и Qt=Q(Xj).
Наихудший случай для выполнения условия (4.47)
будет, когда площадь под кривой Q(x) максимальна
в li, т. е. когда x*=xi—w/2 и Xi=Xj. Тогда, подставляя
(4.48) в (4.47), получаем следующее неравенство:
2 С \ехг -J- Qt)~T dx < С (6х2 -|- <2*)~т (4.49)
о S
88
В работе [93] из решения неравенства (4.49) получено,
что, если
W < |/(Q1 —Q*W—*/4) = ™таХ, (4.50)
то существует величина
7 = 0,5 [1 +ln(4&/e)/ln(QI/Q*)], (4.51)
такая, что если у^у, то среднее значение z, из (4.43)
будет самым большим для интервала Ц. Для оценки
значений wmax и у необходимо знать величины Ь, е, Q*
и Qi, для чего требуется располагать априорной инфор-
мацией о характере минимизируемой функции.
Рассмотренные в этом параграфе алгоритмы поиска
целесообразно применять тогда, когда вычисление зна-
чений функции Q(x) сопровождается сильными поме-
хами. В этом случае они обеспечивают более высокую
вероятность локализации точки глобального минимума
произвольной кривой по сравнению с алгоритмами, рас-
смотренными в § 4.1—4.2.
Глава пятая
ПОИСК ЛОКАЛЬНОГО МИНИМУМА
МНОГОПАРАМЕТРИЧЕСКИХ ФУНКЦИЙ
Определение минимального значения многопараме-
трической функции, заданной в n-мерном евклидовом
пространстве Rn, связано с решением задачи
minQfXi, хг,.... хп). (5.1)
xt=Rn
Обзор методов численного решения данного класса
задач приведен в [95—101], поэтому остановимся толь-
ко на тех алгоритмах, которые обладают ускоренной схо-
димостью к точке локального минимума.
5.1. Градиентные методы наискорейшего
спуска
Рассмотрим класс алгоритмов Ар5, осуществляю-
щих поиск минимума функции Q(x) из заданного на-
чального приближения х° по итерационной формуле
хг+1 — хгдг — xr _|_2rsr, г = 0,1,2,.... (5.2)
где хг — приближение к решению задачи (5.1) на г-й
итерации; Sr — направление, ведущее к уменьшению
функции Q(x); — длина шага вдоль направления Sr.
Пусть в тех случаях, где это требуется, длина шага
Хг выбирается из условия обеспечения минимума функ-
ции Q(x) вдоль направления Sr:
Q(xr4_^Sr) = minQ(xr-|-XS''). (5.3)
Х>0
Тогда, если решение задачи (5.3) на каждом шаге по-
лучается с помощью одной и той же стратегии одномер-
ного поиска (например, одним из методов, рассмотрен-
ных в гл. 3), то отличие между алгоритмами из класса
Af5 будет состоять только в определении наилучшего
направления поиска Sr. Вектор Sr называется направле-
нием наискорейшего спуска, если скорость уменьшения
функции Q(x) вдоль него наибольшая. Локальный ха-
рактер поиска минимума по формуле (5.2) связан с тем,
что выбор направления наискорейшего спуска в алго-
ритмах Р5^Д^5 основывается на аппроксимации мцнр-
90
минируемой функции в точке (г +1)-Го приближения по-
линомами первой или второй степени, которые полу-
чаются из разложения Q(x) в ряд Тейлора:
Q (Х'+«) = Q (Хг) (VQ+, Д') (5.4)
или
Q (xr+l) = Q (х') + (V QTr. А') + ’Л (Ar)T G'A', (5.5)
где ^Qr = (dQ/dXt,...,dQ/dxn) — градиент функции Q(x-
в точке xr; Gr= {d^Q/dxidx,} — (/гХ«)'матРВДа вторых про.
изводных, образующая гессиан функции Q(x) в точке хг.
В этом параграфе будем считать, что на каждом шаге
можно получить численные значения градиента, а при
необходимости и гессиана, с помощью аналитических
выражений.
При рассмотрении в качестве модели функции Q(x)
полинома первой степени из определения направления
наискорейшего спуска получаем, что вдоль вектора S’
значение производной от аппроксимирующего выраже-
ния (5.4) по X должно иметь наибольшее значение по
абсолютной величине:
max|(VQTr.S')|. (5.6)
s
При переходе от точки хг к точке х’+1 для обеспечения
сходимости поиска к точке локального минимума долж-
но выполняться условие
Q(xr+,)< Q(xr). (5.7)
Следовательно, для того чтобы функция Q(x) убывала
вдоль направления Sr, производная от нее по X вдоль
этого направления должна быть отрицательной:
(VQTr,S')<0. (5.8)
Условия (5.6) и (5.8) одновременно выполняются, если
вектор Sr совпадает с направлением антиградиента:
Sr = — V <X7II V <И- (5.9)
Здесь, как и в дальнейшем, || \7 Qr || — обычная норма в
/г-мерном евклидовом пространстве:
п
IlVQrlH^WW- (5.Ю)
(=1
Алгоритм поиска локального минимума Fs’e+j?5.
в котором вектор Sr выбирается по формуле (5.9), реа-
91
ДизуеД метод наискорейшего спуски. Этот метод являет-
ся наиболее изученным [103, 104], и для него получены
теоретические результаты как относительно сходимости,
так и точности отыскания точки локального минимума.
Однако если исследуемая функция Q(x) является плохо
обусловленной, т. е. в матрице вторых производных от-
ношение наибольшего собственного значения к наимень-
шему в некоторых точках велико, то процесс поиска по
алгоритму F54 приводит к зигзагообразному движению
в окрестности таких точек. При этом может потребо-
ваться недопустимо большое число итераций, прежде
чем будет получена требуемая точность локализации
точки минимума.
Теперь предположим, что минимизируемая функция
Q(x) в A-окрестности каждого приближения хг может
быть аппроксимирована рядом Тейлора (5.5) с точ-
ностью до производных второго порядка. Это позволяет
совместить процедуры определения шага и направ-
ления поиска Sr, формулируя задачу выбора наилучше-
го приближения Аг как задачу оптимизации:
min (V QTn А) (5.11)
А
при условии, что
АтОгЛ = К„ (5.12)
рде — постоянный коэффициент.
Образуя для задачи (5.11), (5.12) функцию Лаг-
ранжа, находим, что ее решением является вектор
А' = —GJT’VQr- (5.13)
Алгоритм F52eAf5, основанный на использовании итера-
ционной формулы i(5.2), где Аг выбирается из (5.13),
является реализацией распространенного метода Ньюто-
на [103]. Условия сходимости этого метода хорошо изве-
стны [104] и сводятся к требованию, чтобы начальное
'приближение х° лежало в достаточно малой окрестности
точки локального минимума х*. В этом случае алгоритм
F52 обладает квадратичной скоростью сходимости, т. е.
позволяет получить минимум квадратичной функции
точно за п итераций. На практике это условие часто
трудно выполнить и при неудачном начальном прибли-
жении х° использование этого метода может привести
к расходящемуся процессу.
92
Для преодоления этой трудности рассмотрим моди-
фицированный метод Ньютона [105]., в кото- .
ром выражение (5.13) модифицируется следующим
образом:
Д\= - HPG^1 V Qr, ' (5.14)
Где р=±1 — коэффициент направления; 0<ц^1—по-
стоянный множитель. Коэффициент направления р вы-
бирается из условия, чтобы первая вариация функции
Q(x) была отрицательной. Нетрудно видеть, что это бу-
дет, если
р = sign(v QTr+.G7’ v Qr). (5.15)
При определении параметра ц обычно исходят из требо-
вания выполнения условия (5.7):
. Q(x'--lipG71 VQr)<Q(xO. (5.16)
Для этого на каждой итерации начинают с ц=1 (это
«чистый» метод Ньютона, реализуемый алгоритмом F52)
и уменьшают значение ц до тех пор, пока не выполнится
неравенство (5.16).
Общим недостатком алгоритмов F52 и F53 является
то, что в процессе поиска необходимо вычислять матри-
цу вторых производных Gr и находить от нее обратную.
Кроме того, обращение матрицы Gr может оказаться
численно неустойчивым в том случае, если ее определи-
тель близок к нулю.
В связи с этим рассмотрим алгоритмы поисковой оп-
тимизации, обладающие квадратичной скоростью сходи-
мости, в которых-не требуется вычислять обратную ма-
трицу вторых производных.
Одним из таких алгоритмов является алгоритм
F54e4f5 (известный как реализация градиентного мето-
да с памятью [106, 107]), в котором при выборе направ-
ления поиска учитывается информация о предыдущем
шаге. Для этого квадрат модуля разности приращения
Лг и взвешенного приращения ₽Ar-1, полученного на
(г—1)-м шаге, приравнивается некоторой постоянной
величине Ki:
(Д' — рдг-.)т(дг_ рдг-1) (5.17)
Для обеспечения наибольшего уменьшения функции
Q(x) вдоль направления Sr необходимо обеспечить вы-
полнение условия (5.11), что позволяет сформулировать
93
задачу выбора оптимального приращения Аг следующим
образом:
min(VQTr>A) (5.18)
д
при условии, что
(А —рА'-')\(Л —рАг-') = Л\. (5.19)
Образуя для задачи (5.18), (5.19) функцию Лагранжа
Ф = (V QTr, А) + (>/Д) [(А - р Аг - «Г (А — р А''1) - К>],
находим, что ее решением является вектор
дг=—avQr+pA'-’. (5.20)
Подставляя (5.20) в (5.19), получаем следующее выра-
жение для Кй
7C.=^(VQTr,VQr). (5.21)
Следовательно, зная X, из (5.21) нетрудно определить
значение постоянного коэффициента Ki.
Значения неизвестных коэффициентов % и 0 в (5.20)
выбираются исходя из условия обеспечения минимума
функции Q(x) вдоль направления Аг:
minQ(xr — XVQr + ?Ar-‘). (5.22)
Решение задачи (5.22) может быть получено из реше-
ния системы двух уравнений:
Qx = dQ (Я, ft/dl = (V QTr+>, V Qr) = 0» (5.23)
Q? = dQ (Л, $)]д$ = (V QTr+1, А'-*) = 0.
Таким образом, на (г+1)-м шаге поиск по алгорит-
му F54 сводится к следующей последовательности дей-
ствий:
1) из системы уравнений (5.23) находим оптималь-
ные значения X, Р;
2) по формуле (5.20) вычисляем приращение Аг;
3) образуем приближение хг+, = хг-|-Дг, в котором
вычисляем градиент V Qr+1.
4) поиск повторяем с п. 1 до тех пор, пока не выпол-
нится необходимое условие существования локального
минимума
IIVQr+t||<a. (5.24)
При выборе приращения Аг на первом шаге предполага-
ется, что Аг-1 = 0, т. е. первый шаг в алгоритмах F*»
и F1» совпадает.
После каждой п- или (п+1)-й итерации процесс
94
поиска по алгоритму F54 полезно «обновлять», т. е. на-
чинать сначала, полагая Дг-1=0. Это связано с тем, что
на выбор направления Sr влияют все предыдущие значе-
ния векторов VQf, 7=1, 2, ..., г. Причем с возрастанием
числа итераций г влияние текущего значения градиента
уменьшается, что приводит к «инерционности» рассма-
триваемого алгоритма поиска.
Для численного решения системы уравнений (5.23)
воспользуемся следующим приемом [106]. Предполо-
жим, что значения коэффициентов X и р могут быть
определены по итерационным формулам
Л=Хо+ДХ; р = р0+Др, (5.25)
где Хо, Ро — начальные значения параметров %, Р; ДХ,
ДР — приращения параметров X, р соответственно.
Тогда, разлагая левые части уравнений (5.23) в ряд
Тейлора около точки (X, Р) и вводя постоянный множи-
тель 0<ц^1 и коэффициент направления р, получаем
систему линейных уравнений
Qxx^ 4- @^Д? 4~ HPQx = 0; -f- -J- HpQg = о,
(5.26)
где QX = <?Q/<?A; Q? — dQ[d$;
Qxx = d*Q/dldX; Qpp = d'Q/d^-, Q>fJ = = д^дЩ.
Производные в уравнениях (5.26) вычисляются в точке
Хо+1 = хг — А»'\70г4_?»Дг'1 по следующим формулам:
- = —(VQt(Xq+1), VQr); Q?=(VQ(x;+1), Д'-*);
Qu = VQTrG(x;+1)VQr; Q?x = Q,? =
= -VQTrG(x;+,)Ar-<; (5.27)
Qw = (A-*)TG(x;+1)A->.
Решение системы уравнений (5.26) имеет следующее
значение:
ДХ=—pp^i/Ds); Др=—цр(Д2/Рз), (5.28)
где
/Л=d* ~
— QxxQ?? Qx^‘ (5.29)
При этом коэффициент направления р определяется из
условия уменьшения функций О(х) вдоль направле-
ния S’-,
95
Для этого необходимо, чтобы вариация Q(x) по Л и р
была отрицательной. Тогда из условия (QXAA-f-Q₽Ap)<О
получаем, что
p = sign(D4/D3), (5.30)
где
D*=Q* - 2QXQ +Qe Qxx • (5.31)
Если при ц.= 1 значение функции Q(x) удовлетворяет
условию
Q(MKQ(Mo). (5-32)
то полученные значения Лир берутся как новые зна-
чения %о и ро. В противном случае ц, уменьшается до тех
пор, пока не выполнится условие (5.32). Процедура вы-
числения параметров Л, р продолжается до тех пор,
пока приращения АЛ и Ар не станут меньше заданного
значения е. На первом шаге решения системы (5.26)
можно положить Ло= ро=О.
’В градиентном методе с памятью (алгоритм Fs4) при
описанном подходе к выбору коэффициентов Л, р тре-
буется на каждом шаге вычислять матрицу вторых про-
изводных. Поэтому рассмотрим его модифицированный
вариант — алгоритм F55, в котором при поиске миниму-
ма используются только значения первых производных.
Пусть функция Q(x) аппроксимируется выражением
(5.5), тогда значение градиента на (г+1)-й итерации
имеет вид
VQTr+i = VQTr + (Ar)TOr. (5.33)
Подставляя полученное значение градиента и значение
А' из (5.20) в систему линейных уравнений (5.23), мо-
жем записать
(V QTr, V Qr)—A v QTrGr V Qr+₽ (А'"’)т Or V Qr=0, (5.34)
— А V QvGrA'-1 + p (A'"’)T GrA'-*=0.
Откуда находим, что коэффициенты Л и р связаны соот-
ношением
₽ ='А (V QTr, V Qr)/[Ar_, (VQTr-n V Qr _,)]. (5.35)
Тогда, подставляя (5.35) в (5.20), получаем
A' = AS', (5.36)
где
S'=— V Qr+[(V QTn V Qr)/(VQTr_„ VOr..)] S'-’.
(5.37)
96
В отличие от алгоритма F51, реализующего метод
наискорейшего спуска, где вектор Sr ортогонален толь-
ко вектору Sr-1, в алгоритме F55 вектор Sr является с о-
пряженным со всеми предыдущими векторами S1,
i=l, ..., г—1, для г<п. Именно свойство сопряженно-
сти векторов позволяет рассматривать алгоритм F55 как
один из алгоритмов, реализующих метод сопряженных
градиентов [108—111].
Процесс поиска локального минимума по этому ме-
тоду сводится к следующей последовательности дей-
ствий.
1. Для произвольного начального приближения х° вы-
числяем градиент VQ<- и полагаем Sr = — V On а /=0.
2. Из решения задачи (5.3) определяем длину шага
Аг, обеспечивающую минимальное значение функции Q(x)
вдоль направления Sr.
3. Образуем приближение xr+1 = хг -|- ArSr и вычисля-
ем в полученной точке градиент VQ^+i-
4. Определяем коэффициент 0 = (V QTr+i» VQ'-+i)/(VQTn
VQ0-
5. Из формулы (5.37) находим новое направление по-
иска Sr+l.
6. Полагаем j — j-f-l. Если принимаем Sr=Sr+l
и переходим к п. 2. В противном случае берем /=0, в
качестве начального приближения используем x"+l и, по-
лагая Sr = — VQn+i, переходим к п. 2. Поиск заканчи-
вается по условию || Sr ||<s или ||Ar||<e.
В работе [108] показано, что метод сопряженных
градиентов обладает квадратичной скоростью сходимо-
сти.
Другой класс алгоритмов, обладающих квадратич-
ной скоростью сходимости и не требующих вычисления
вторых производных минимизируемой функции, основан
на формировании специальным образом построенной
последовательности матриц {Нг}. Эта последовательность
обладает тем свойством, что сходится к обратной матри-
це вторых производных G-1, вычисленной в точке мини-
мума х*, и изменяется на каждой итерации (шаге)
только на основании информации о значениях первых
производных функции Q(x). Алгоритмы этого класса
относятся к алгоритмам, реализующим методы с пере-
менной метрикой '[112—116], в которых направление
наибыстрейшего спуска определяется из выражения
7—242 о?
Sr= — HrVQr, (5.38)
где Hr — симметрическая положительно определенная
матрица.
Такой выбор направления поиска Sr позволяет осу-
ществлять локальные преобразования поверхности Q(x)
с помощью изменяющейся на каждом шаге матрицы
Нг. Например, если Q(x) —квадратичная функция, то
ее гессиан является постоянной положительно опреде-
ленной матрицей Go:
Q(x) = Q. + VQt.x4- 1/2xtGoX. (5.39)
Тогда, взяв H = Go~1, получим, что направление наибы-
стрёйшего спуска Sr из (5.38) соответствует направле-
нию, определяемому по методу Ньютона (алгоритм
F52), который сходится к точке х* за один шаг:
х* = х —О71 VQo(x). (5.40)
При этом для любых двух приближений xr+1 и хг спра-
ведливо равенство, характерное для метода Ньютона:
H(VQr+t-VQr)=x'+‘-x', (5.41)
где Н = ОД1 .
В дальнейшем потребуем, чтобы для любой матрицы
из последовательности {Нг} выполнялось условие, анало-
гичное равенству (5.41),
Нг+1уг = Д', (5.42)
где yr = V Qr+i — VQrl Ar = xr+* — xr. (5.43)
Выполнение условия (5.42) позволяет называть рас-
сматриваемые ниже алгоритмы поиска также алгорит-
мами, реализующими квазиньютоновские методы мини-
мизации [102, 113—116].
Пусть на (г+1)-м шаге матрица Нг корректируется
по следующей формуле:
Нг+1=Нг + ДНг. (5.44)
В связи с тем, что выбор элементов матрицы ДНГ— не-
единствен, введем критерий оптимальности Ф(ДН), ми-
нимальное значение которого соответствует требуемому
приращению ДНГ.
98
В качестве функции Ф(ДН) рассмотрим сумму квад-
ратов диагональных элементов матрицы ДН [116]
Ф (ДНГ) = min У. Д№и = min Тг (ДН, ДНТ), (5.45)
ДН Г. ‘АН
где 7>(ДН, ДНТ) —след матрицы ДН, ДНТ. Выполнение
условия (5.45) позволяет удержать элементы матрицы
ДНГ от большого возрастания, которое может привести
к неустойчивости процесса поиска.
Гессиан минимизируемой функции является симме-
трической матрицей, поэтому матрица Нг также долж-
на быть симметрической. Для того, чтобы сохранить
это свойство у матрицы Hr+i необходимо, чтобы выпол-
нялось условие ДНГ=ДНГТ. Так как ДНГ— действитель-
ная симметрическая матрица, то существует такая дей-
ствительная невырожденная матрица А, что матрица
АТДНГА является диагональной. Тогда, приняв У=ААТ
для функции (5.45) получаем выражение:
Ф(ДН) = 77(УДН, УДНТ). (5.46)
Таким образом, задачу построения приращения ДНГ
можно сформулировать как задачу оптимизации
min Тг (УДН, УДНТ) (5.47)
дн
при условии, что
ДН — ДНТ=О; ДНуг = Ar —- Нгуг. (5.48)
Образуем для задачи (5.47), (5.48) функцию Лаг-
ранжа, из которой для оптимального решения ДНГ опу-
ская промежуточные выкладки, можно получить [116]
следующее выражение:
ДНГ = (1/[утг Пуг]) {Д'угП + Пуг (Д')т_ НгугутгП —
- ПугутгНг — (1 /[уггПуг]) [утгдг _ утгНгуг] ПугутгП}, (5.49)
где П = У-1,
В зависимости от вида матрицы V из ( 5.49) могут
быть получены различные алгоритмы квазиньютонов-
ского типа. Для У-1 = П = НГ получается алгоритм Fe5,
известный как реализация метода Давидона—Флетче-
ра—Пауэлла:
ДНГ = (1 /[уЬ-Нгут,.]) {ДгутгНг 4- Нгуг (Д')т —
“ [1 + (УТО Аг)/(УтгНгуг)] HryryTrHr}. (5.50)
Другая более известная форма запши матрицы ДНГ для
алгоритма F% имеет вид [102]:
7* 99
ДНг= {Д'- (Ar)T/(yTrAr) — 1НгУгутгНг]/[утгНгуг]. (5.51)
При у-* = П = 1 (единичная матрица) получаем алгоритм
ДНГ = [1 /(утгуг)1 {Дгутг + у г (Дг)т - Нгугутг — угутгНг —
- [11(УтгУ')] (УтгАг - УтгНгУг)УгУтг} (5.52)
И т. д.
Для любого начального приближения х° и Но=1
(единичная матрица) процесс поиска локального мини-
мума по алгоритмам F5e и F57 сводится к следующей по-
следовательности действий.
1. Полагаем г = 0, НГ=НО и вычисляем градиент
VQr.
2. Образуем вектор Sr = — Hr V Qr.
3. Из решения задачи (5.3) определяем длину шага
%г, обеспечивающую минимальное значение функции
Q(x) вдоль направления Sr, и полагаем A’'=XrSr.
4. Образуем приближение xr+1 = хг4-Аг и вычисляем
градиент VQr+i-
5. Определяем вектор yr = V Qr+i— VQr.
6. Вычисляем приращение ДНГ по одной из формул
5.50) —(5.52) и образуем матрицу Нг+1 = Нг-|-ДНГ.
7. Полагаем г = г+1 и повторяем все действия с п. 2.
Поиск оканчивается по одному из условий ||S||sCe или
11Аг1Ке.
Как и алгоритм F55, алгоритмы F56 и F57 при миними-
зации квадратичных функций позволяют получить точ-
ку локального минимума х* точно за п итераций, т. е.
обладают квадратичной скоростью сходимости [114].
В этом случае матрица Нп будет совпадать с обратной
матрицей квадратичной формы Go-1. Кроме этого, для
рассмотренных способов построения приращения АНГ
справедливо ’[102], что если в качестве матрицы Новы-
брана положительно определенная матрица, то любая
матрица Нг, получаемая в процессе поиска, тоже являет-
ся положительно определенной. Это последнее свойство
алгоритмов квазиньютоновского типа обеспечивает
устойчивость процесса поиска, под которой понимается
условие, что минимизируемая функция уменьшается на
каждой итерации:
Q(x/‘ —ЛгНг VQf)<Q(xr)- (5.53)
100
Для выполнения условия (5.53) необходимо, чтобы про-
изводная dQldK была отрицательной:
aQ/^ = -VQTrHrVQr<0. (5.54)
Из (5.54) видно, что алгоритм F57 устойчив, если матри-
ца Нг является положительно определенной. На прак-
тике условие устойчивости выполняется только в том
случае, если шаг из решения задачи (5.3) определяет-
ся точно. В противном случае процесс поиска останав-
ливается, не достигнув минимума. Поэтому, если в про-
цессе поиска будет обнаружено, что вектор Sr указывает
направление, вдоль которого минимизируемая функция
Q(x) возрастает, то необходимо «обновить» процесс
поиска. Для этого надо принять Но равной единичной
матрице I и продолжить вычисления с п. 1.
Теоретическое сравнение методов сопряженных гра-
диентов (алгоритмы F54, F55) и квазиньютоновских ме-
тодов с переменной метрикой (алгоритмы F5e, F57) пока-
зывает [117—119], что при минимизации квадратичных
функций рассматриваемые алгоритмы полностью совпа-
дают, т. е. из любого начального приближения х° они
приходят в точку локального минимума за п итераций.
При минимизации нелинейных «овражных» функций
алгоритмы типа F5e оказываются [118] предпочтитель-
нее алгоритмов типа F55, если «дно оврага» не очень из-
вилисто. Однако при реализации методов с переменной
метрикой требуется больше дополнительной памяти, чем
при реализации методов сопряженных градиентов.
5.2. Минимизация функций без вычисления
производных
При решении задачи оптимального проектирования
часто приходится иметь дело с математическими моде-
лями, в которых не имеется аналитических зависимостей
для первых производных минимизируемой функции Q(x).
Поэтому поиск локального минимума в этом случае при-
ходится вести по результатам вычислений функции Q(x).
Методы, использующие в процесе поиска только инфор-
мацию о значениях функции Q,(x), называются методами
прямого поиска или методами минимизации без вычисле-
ния производных [120—122]; они образуют класс Лр6.
101
Наиболее простым из алгоритмов, принадлежащих
классу ЛД является алгоритм Fe1, реализующий релак-
сационный метод Гаусса—Зейдаля [103], поиск локаль-
ного минимума в котором сводится к поочередному из-
менению каждой переменной:
x;+1 = 1,2,..., п, (5.55)
где 1» — /г-мерный вектор с компонентами
j___(1, если i = j;
1 (О, если t^=j, / = 1,2,..., п,
определяющий направление поиска вдоль i-n коорди-
натной оси; V — длина шага, минимизирующая функ-
цию Q(x) вдоль направления на r-й итерации; х° —
точка начального приближения.
Для определения длины шага вдоль /-й координат-
ной оси одним из методов одномерного поиска решается
задача оптимизации
Каждая последующая итерация начинается из точки,
полученной на последнем шаге предыдущей итерации.
Поиск заканчивается при выполнении условия:
|| xr+1 — хг ||<е. (5.57)
Недостатком алгоритма Fe1 является то, что при ми-
нимизации функций, имеющих овраг, который не ориен-
тирован в направлении какой-то из координатных осей,
процесс поиска сильно замедляется и может даже за-
кончиться на дне оврага далеко от точки истинного ми-
нимума.
В связи с этим рассмотрим алгоритмы, которые по-
зволяют осуществлять поиск в направлении, параллель-
ном дну оврага. Один из таких алгоритмов реализует
метод конфигураций Рв2еЛув [123].
Процесс поиска начинается из начального приближе-
ния х°, которое принимается за точку хг. В качестве па-
раметра метода задается вектор А с компонентами А»,
i=l, 2, ..., п, которые определяют первоначальные из-
менения каждой компоненты х,. Согласно формуле
(5.55) делаются «пробные движения» путем просмотра
удачных (в смысле уменьшения функции Q(x)) направ-
лений 1г- для i=l, 2, ..., п, начиная с / = 1. Однако в от-
личие от алоритма Fe1 коэффициенты %, определяются
102
не из решения задачи оптимизации (5.56), а из следую-
щего условия:
(
Z< =
&t, если Q(xr4~A«lt)< Q(xr);
— Д/, если Q(xr — Aih)<Q(xr)<
< Q (хЧ-ДЖ);
О, если min[Q(xr-|- Д(1(), Q(xr —
-Д(1г)]>С(х')-
(5.58)
Если полученное значение X, не равно нулю, то при
выполнении пробного движения по (i + l)-fl координате
в качестве Q(xr) рассматривается либо Q(xr+Д<1()
(если Хг=Дг), либо Q(xr—Дг1г) (если %i=— Д<). После
просмотра всех п координат мы получаем точку Хб, в ко-
торой значение функции Q(xe) меньше или равно зна-
чению функции в базовой точке. Если окажется, что
хг=Хб, т. е. длина принятого пробного шага Д велика,
то необходимо его уменьшить, путем деления на некото-
рую постоянную величину больше единицы, и начать
пробные движения снова. В противном случае делается
движение в удачном направлении (Хб—хг):
х'б — 2хв — хг. (5.59)
Для определения необходимости коррекции выбранного
направления около точки х'б, делаются пробные движе-
ния с шагом Д. Они позволяют получить точку х"б. Если
<2(х''б)<Ф(Хб), то производим движение в „удачном"
направлении (х"б — Хб) и находим новую базовую точку:
хг+1 = 2х"б — Хб. (5.60)
В противном случае х"б принимается за новую началь-
ную точку хг и процесс поиска повторяется, начиная
с пробных движений. Поиск считается законченным,
если длина пробного шага Д» станет меньше заданной
точности е для всех i=l, 2..п.
Применение алгоритма Fe2 оказывается эффектив-
ным при минимизацйи функций с «прямолинейными
оврагами». В [52] экспериментально показано, что чис-
ло необходимых вычислений функции Q(x) в этом слу-
чае растет прямо пропорционально числу переменных п.
Например, на тестовом классе мнсгопараметрических
функций «овражного» типа для п от 2 до 40 экспери-
ментально получено, что для точности ех=10-4 среднее
число испытаний Af{JV) = 30n-|-17, а для еж=10-в
=42ц+17,
Юз
В связи с тем, что все пробные движения осущест-
вляются только параллельно координатным осям, алго-
ритм F«2 может остановиться на дне оврага, не доходя
до точки истинного минимума. Поэтому в алгоритме
Fe3eAKe, реализующем метод вращающихся координат
[124], для устранения этого недостатка предложена сле-
дующая процедура. Вместо того, чтобы изменять каж-
дую переменную независимо, осуществляется преобразо-
вание системы координат таким образом, чтобы в новой
системе координат одна из осей совпадала с направле-
нием оврага, а остальные были ей перпендикулярны.
Этим самым устраняется зависимость между перемен-
ными и повышается эффективность поиска минимума
функций «овражного» типа.
Первая итерация в алгоритме Fe3 полностью совпа-
дает с процедурой поиска по методу Гаусса — Зейделя.
Вдоль направлений S4=li, 1=1, 2, ..., п, параллельных
осям координат, поочередно решается задача одномер-
ной оптимизации (5.56). Таким образом, после п итера-
ций вместо начального приближения х° получается но-
вая точка хп, которая характеризуется совокупностью
величин (Ai, Хг, ..., Ап). Затем система линейно незави-
симых векторов S’ заменяется новой системой ортого-
нальных единичных векторов 1= 1, 2, ..., п, в которой
вектор совпадает с направлением (хп—х°). Для полу-
чения систе'мы векторов Jjt- используется процедура орто-
гонализации Грама—Шмидта [125]
п I—1
А,- = 2 В, = А,- - 3 (A/£z) lh h =
k—i /=1
= B(-/||B,-||, 1 = 2..п. (5.61)
Полученная система векторов «=1, 2, ..., п, прини-
мается на г-й итерации за направления поиска S’, вдоль
которых поочередно решается задача одномерной мини-
мизации (5.56). Затем, приняв ^iAi/||Ail|, где Ai =
= (хг—хг-1), согласно (5.61) выбирается новая система
координат t,i и так до тех пор, пока не выполнится
условие:
|xr —хг*‘|<е. (5.62)
При использовании формул (5.61) необходимо, что-
бы ни одно из Xi, i=l, 2, ..., п, не равнялось нулю,
так как в противном случае не все значения векторов
Ю4
могут быть получены с йх помощью. Действительно,
пусть ta = 0, тогда
As = 2 *&= 2 ^S' = As+I.
i=s i=s + l
Откуда
Bi+i = As+i — 2 (A$+i> £/) I/== В$ (As, Is) £s=
= [||Bs|| — (As, Is)] §s = ||Bs+1||^+1. (5.63)
Но векторы и £s+i ортогональны, следовательно из
(5.63) получаем, что
||Bs+1 II (U4s+l) = ||Bs + 1|| = [||Bs|| - (AsSs)] (U+.) = 0.
Следовательно, вектор ^s+i=Bs+i/||B«+il| не может быть
определен при Xs=0, так как Bs+i= ||Bs+il| =0.
Для устранения этого недостатка преобразуем фор-
мулы (5.61) следующим образом. В связи с тем, что Ai
совпадает с направлением (хг—хг-1) можем записать
А,=В,=2
Тогда, так как Sft — единичные вектора, имеем:
ЦА.11-ЦВ.11
Откуда следует, что направление |i может быть опреде-
лено следующим образом:
(5.64)
Аналогично
А,=3
k=2
и в силу ортогональности векторов S*, имеем
В4=2 V A*S* /У
*=2 fa=2 fe=l / *=l
105
ЙЛЙ
В2 =
H fi
—AiS1 \2k
6=2 k=2
£=i
Норма вектора В2 равняется
||1М=^-1ЛТТ
2 F ^2
А=1
2
— Л1
k-2
n
2
Теперь выражение для вектора можно записать сле-
дующим образом:
|s=Ui2 i*S*-S*2Al
\ fe=2 fe=2
П
3 »* 2 »•» •
1
Lfe=2 J
Продолжая дальше эту процедуру, нетрудно показать
[126], что для |£=3, 4, .п формулы (5.61) могут быть
преобразованы к следующему виду:
Az = 2
k—i
п
п
2 **; (5.65)
£=Z—1
Bz = Л2*.! 2 htSk —
[_£=/ J I l_fc=l
fc-i2 **S*-S*-‘3 Хг*
li —
n
2 2 X!*
~ n
106
кгагг
Из (5.65) видно, что если Я/_1 = 0, то B/ = ||Btj| = O, но
п
gz—:—Si'',7^0 При условии, ЧТО 2 ^2 **¥=0- В противном
k=i
п
случае (при 2 Аг* = 0) будем считать, что i-e направле-
k=i
ние поиска остается без изменения:
= (5.66)
п
Вектор может быть определен из (5.64), если 2
fe=i
=/= 0. В связи с этим поиск по алгоритму F’« можно [за-
канчивать при выполнении условия:
2 ^2*^s-
k=i
Вектора |г-, *=1, 2, ..., п, образующие новую систему
координат, связаны с исходной системой координат
e,, i=l, 2....п, в которой ведется поиск по перемен-
ным Xi, Хг....хп, при помощи направляющих косинусов
Oij следующими соотношениями:
Sz = 2 «об/. (5.67)
/=»
Тогда, принимая за новые направления поиска вектора
Sz = и подставляя их значения из (5.67) в выражениь
для А, получаем п
Ai^buej, (5.68)
/=1
где &;/=2 aki^k.
k—l
Из выражения (5.68) для вектора At имеем:
Ai = Bi =2
1=1
и, следовательно,
п *
11=== S
/=1
2 b*ik, /=1,2,/7. (5.69)
k=\
170
Аналогично
В, = А,-(АЛ.Ц.
п I п \
=2 —(3 biia'ii) х
/=1 \/==1 /
п п
Х2 а'.йвй—2
6=1 /=1
Продолжая эту процедуру дальше для общего случая
1 = 2, 3.п, получаем [97]:
£/=2^/, (5-70)
/=1
где
a'ij
i—1 п
Ьц — 2 a'ri^ bika'rk
r=l 6=1
n \ 2
a'rs2 blka'rk I
6=1 /
(5.71)
i, j=l, 2,n.
Выражения (5.69) и (5.71) связывают направляющие
косинусы на (г+ 1)-й (а'ц) и r-й (а,3) итерациях.
Блок-схема алгоритма F63, реализующего метод вра-
щающихся координат, приведена на рис. 5.1.
Алгоритмы поисковой оптимизации, рассмотренные
в § 5.1, могут быть также использованы для решения за-
дачи минимизации функции Q(x) без вычисления произ-
водных, если компоненты вектора градиента VQ(x)
аппроксимировать с помощью разностной формулы
Ya,=[Q(-«1»-к»+дь—, *«) — Q(х)]/Дг (5.72
Однако выбор приращений Дг при этом должен удовле-
творять двум противоречивым требованиям. Если зна-
чение Дг велико, то формула (5.72) не обеспечивает хо-
рошего приближения для первых производных, напри-
мер в точках вблизи дна оврага. С другой стороны, для
слишком малых значений Д, ошибки округления при вы-
числении функции Q(x) могут привести к неправильным
результатам.
В связи с этим рассмотрим алгоритм Fe4eAFe [127],
который является разностным аналогом алгоритмов,
реализующих градиентные методы с переменной ме-
103
Рис. 5.1. Блок-схема алгоритма, реализующего
метод вращающихся координат.
трикой. В алгоритме Fe4 значения приращений Аг- опре-
деляются по информации, полученной в процессе
поиска, таким образом, чтобы сбалансировать ошибки
аппроксимации и округления.
Предположим, что функцию Q(x) в окрестности точ-
109
ки хг вдоль направления е,- можно представить квадра-
тичной формой:
Q (Я) = Q(xr -|- Яе») = Q (хг) -|- (’/г) (5.73)
где А— длина шага вдоль направления е,;
1i — (dQ[dxi)]^ ац = (д*<2/дх*$*г.
Тогда согласно (5.72) для производной этой функции
справедлива оценка
ц = dQ (Я)/<?х,- = AQ/A f= [Q (Дг) - Q (0)]/Дг. (5.74)
При аппроксимации действительного значения производной
Y; приближенным значением имеют место два рода
ошибок: ошибки, возникающие вследствие отбрасывания
членов разложения в разностной формуле (5.74), и
ошибки, связанные с округлением значащих цифр в раз-
ности AQ при вычислениях иа ЭВМ с малыми значе-
ниями А,. Относительную ошибку отбрасывания можно
оценить из выражения (5.73) следующим образом:
| (AQ/Ai—Yi)/V«I = Ia«Ai]/(2|Yi|)- (5.75)
Предположим, что верхняя граница ошибки, возни-
кающей при вычислении функции Q(x), известна и рав-
на е. Тогда вычисленные на ЭВМ значения Q*(A») и
Q*(0) связаны с действительными значениями Q(A,) и
Q(0) соотношениями
Q*(Ai)=Q'(Ai)(l+e1),
Q*(0)=Q(0)(l+e2), |8i|, |82|<е. (5.76)
Тогда, предположив, что Q(A»)~Q(0), получим следую-
щее выражение:
AQ* = AQ + Q(0)e3, |е3]^2е.
Откуда нетрудно получить оценку для относительной
ошибки, возникающей при вычислении разности AQ:
| [AQ*—AQ]/AQ | ^21Q (0)/AQ |е. (5.77)
После подстановки в полученное выражение значения
AQ из (5.73), приравняв правые части выражений
(5.75) и (5.77), получаем, что величина шага дифферен-
цирования (А{>0) является наименьшим положитель-
ным корнем уравнения:
an2 (Аг) 3/г + | ан | • 1 у, | (А-;)2—
-4|Q(0)|-|Y1|e=0. (5.78)
Чтобы избежать решения полученного кубического
уравнения (5.78) на практике достаточно пренебречь ку-
110
бическим йлй квадратичным членом. Это позволяет най-
ти начальное приближение АД из которого при помощи
одной итерации методом Ньютона получается необходи-
мое значение Аг.
Процедура определения шага дифференцирования
при помощи уравнения (5.78) требует на каждой итера-
ции знания численных значений Q(0), уп аи. В процессе
поиска значению Q(0) соответствует Q(xr+1), величинами
yi—i-e компоненты вектора градиента VQr, а ап—i-e диа-
гональные элементы матрицы вторых производных G,-,
полученной в точке хг. В § 5.1 отмечалось, что элементы
матрицы Нг являются приближенными значениями эле-
ментов обратной матрицы вторых производных Gr. Та-
ким образом, ац являются диагональными элементами
матрицы Hr+i-i и могут быть вычислены из следующего
выражения [127]:
Нг’4-(1/<|>Дг—Рг/ф’)УгУ^ +
+ (\7ОгУтг + уг\7Отг)/фг> (5.79)
где
Pr=VQTrSr; ^r=yTrSr. (5.80)
На первом шаге (г=1) компоненты векторов VQo и
VQi вычисляются по формуле (5.72) при некотором по-
стоянном значении приращений А,. На всех последую-
щих итерациях процесс поиска по алгоритму Fe4 анало-
гичен процедуре, рассмотренной для квазиньютоновских
алгоритмов F56, F57 с той лишь разницей, что значе-
ние градиента VQr+i вычисляется по разностной форму-
ле (5.72), шаг дифференцирования в которой опреде-
ляется с помощью уравнения (5.78).
К классу методов поисковой оптимизации Ар6 также
относятся метод параллельных касательных [128],
симплекс-метод с переменным шагом '[129, 130] и др.
5.3. Алгоритмы поисковой оптимизации,
комбинирующие локальные и нелокальные
стратегии поиска
Многие трудности решения задачи (5.1) связаны
с ситуацией, когда поверхности уровня Q(x)= const
имеют «овражную структуру» [131], характеризующую-
ся извилистыми оврагами с крутизной склонов намного
больше, чем крутизна образующей дна оврага.
111
В этом случае неудачный выбор начального прибли-
жения х° приводит к тому, что алгоритмы из класса Ар5
или Лрв либо останавливаются далеко от точки локаль-
ного минимума, либо сходятся очень медленно. Это свя-
зано с тем, что наличие нелинейных 1(извилистых) овра-
гов приводит к плохой аппроксимации исследуемой
функции Q(x) квадратичной формой. Поэтому рассмо-
трим класс алгоритмов поисковой оптимизации Ар1,
в которых в зависимости от сложившейся ситуации
используются локальные или нелокальные стратегии
поиска по итерационной схеме
ХГ+‘ _ хг 2rSr.
В локальных стратегиях поиска шаг Хг и направление
Sr на каждой итерации выбираются по информации, по-
лученной в некоторой окрестности точки хг. В области
экстремума, где минимизируемая функция близка
к квадратичной форме, эти методы обладают квадра-
тичной скоростью сходимости. Однако на функциях ов-
ражного типа локальные стратегии поиска приводят
к тому, что поисковые движения осуществляются вдоль
образующей дна оврага, что обеспечивает эффективную
минимизацию только функций с линейными оврагами.
В случае же нелинейных извилистых оврагов локальные
стратегии поиска становятся малоэффективными. В связи
с этим для этого класса функций целесообразно приме-
нять нелокальные стратегии поиска [84], состоящие из
двух этапов.
На первом этапе по информации о свойствах функции
Q(x)b окрестности точки хг определяется направление
Sr, которое близко к направлению наибыстрейшего спу-
ска и гарантирует сходимость к точке локального мини-
мума. Выбор направления поиска Sr может быть осуще-
ствлен как с помощью детерминированных процедур,
аналогичных рассмотренным в §§ 5.1 и 5.2, так и с по-
мощью процедур случайного поиска: метода наилучшей
пробы [132, 133], метода ш-градиента [134], метода
адаптивной случайной оптимизации [135] и т. п. По-
дробно эти методы изложены в '[31, 136, 137] и поэтому
здесь рассматриваться не будут.
На втором этапе нелокального поиска определяется
оптимальная длина шага Хг вдоль направления Sr. Эта
процедура сводится к одномерному поиску глобального
1-12
минимума в сечении функции ф(х), проходящем через
направление Sr.
Таким образом, при определении направления
поиска используются локальные свойства функции,
а при выборе оптимальной точки вдоль выбранного на-
правления — глобальные свойства, характеризующие
структуру функции Q(x) во всей области допустимых
значений управляемых переменных х.
Рис. 5.2. Процесс поиска локаль-
ного минимума функции, имею-
щей извилистый с крутыми скло-
нами овраг в области существен-
ных переменных хг.
На рис. 5.2 показан процесс поиска локального ми-
нимума х* функции Q(xi, Хг), имеющей извилистый
с крутыми склонами овраг в области существенных пе-
ременных*). Пунктиром изображено направление дна
оврага в области £>={0^Х!^6, 0^х2=^7}. Сплошной
линией отмечена траектория поиска из начального при-
ближения х® в точку локального минимума х7=х*.
Кружками обведены значения функции Q(x), получен-
ные в точках хг на дне оврага. Направление поиска из
точки х° обозначено вектором S®, из х3—S3 и из х®—S®.
Вдоль направления S° в сечении функции Q(x) имеются
три локальных минимума х1, х2 и х3 (рис. 5.3,а), вдоль
направления S3—четыре локальных минимума х3, х4,
х5 и х® (рис. 5.3,6) и вдоль направления S® — один ло-
кальный минимум х7 (рис. 5.3,в). Из рис. 5.2 и 5.3 вид-
но, что при*помощи исследования глобальных свойств
функции осуществляется «срезание дна оврага». Это
*’ Существенные переменные — это переменные, изменение ко-
торых приводит к относительно небольшим изменениям функции
Q(x). Число существенных переменных определяет размерность
оврага [131].
8—242 ПЗ
Дёлаёт нелокальные стратегий в данной ситуации более
эффективными, чем методы локального поиска.
Рассмотренная стратегия поиска, как нетрудно ви-
деть, близка к методу оврагов [131], в котором направ-
ление поиска определяется по двум точкам на дне овра-
га и вдоль этого направления делается овражный шаг
X постоянной длины. Величина овражного шага опреде-
Рис. 5.3. Сечения функции, приведенной на рис. 5.2, вдоль направ'
лений поиска S°, S3 и S6.
ляет качество поиска. При правильно выбранном значе-
нии X «переваливаем через небольшие хребты» и «оги-
баем высокие горы». В алгоритме, рассмотренном выше,
выбор овражного шага осуществляется автоматически
при помощи методов одномерного глобального поиска
(гл. 4). Однако в области, близкой к минимуму, эффек-
тивность нелокальной стратегии поиска значительно па-
дает из-за дополнительных затрат, связанных с приме-
нением методов одномерного глобального поиска для
определения величины шага X. Поэтому *для данного
класса функций целесообразно использовать алгоритмы
поисковой оптимизации, комбинирующие локальные и
нелокальные стратегии для определения длины шага X.
Рассмотрим в качестве примера алгоритм Р7’еДр8
[58], выбор направления поиска Sr на каждой итерации,
в котором осуществляется по схеме, аналогичной методу
114
с переменной метрикой. В начале поиска осуществляет-
ся выбор длины шага при помощи метода кусочно-ли-
нейной аппроксимации F28, а в окрестности экстремума,
где функция близка к квадратичной, выбор длины шага
производится на основе метода квадратичной аппрокси-
мации FA
Переключение с одной процедуры выбора длины
шага на другую зависит от близости к точке локального
минимума. Например, при решении системы нелинейных
уравнений путем минимизации суммы квадратов невя-
зок в качестве условия переключения можно использо-
вать неравенство
Q(x')<6Q(x«),
(5.81)
где Q (х°), Q (хг) — соответственно, значения минимизи-
руемой функции в начальной точке и в точке, получен-
ной на г-й итерации; 0^0^ 1—параметр переключения
процедуры выбора длины шага в алгоритме F71.
Очевидно, что при 0 = 1 алгоритм^1, сводится к ал-
горитму F*», рассмотренному в § 5.1, а при 0 = 0 — к ал-
горитму FS с нелокальным выбором шага.
Для оценки оптимальных значений параметра пере-
ключения 0 алгоритм F’7 экспериментально исследовал-
ся по методике, изложенной в § 2.3, на классе многомер-
ных функций типа «банан Розенброка»:
Q (хи..., х„)=100
Л—1 "12
п(п— 1)Хп/2— S kx*k
Й=1
+2(1-^)Л (5.82)
fe=i
£)={х| —2<xi<2, i = l, 2,..., п}.
Процесс поиска прекращался, когда значение мини-
мизируемой функции становилось меньше е=10-5. В ка-
честве критерия эффективности алгоритма F4 рассма-
тривалось число испытаний Л1{У(0)}, усредненное по 10
равномерно распределенным по границе области D на-
чальным приближениям х°.
В качестве примера на рис. 5.4 приведены резуль-
таты экспериментов, полученные для функции двух пе-
ременных. На рисунке изображена гистограмма числа
замеров JV(0) и значения средних затрат на поиск
M{N}, полученные в процессе решения задачи выбора
оптимального параметра 0* с помощью помехоустойчи-
8*
115
вого алгоритма глобального поиска 159]. На рис. 5.4,6
пунктиром нанесены линии средних затрат на поиск
M{N}, а сплошными линиями показана окрестность
квадрата стандартного отклонения полученной оценки.
Кроме того, штриховкой по оси 0 выделен интервал наи-
вероятнейшего расположения оптимального значения
Рис. 5.4. Гистограмма числа замеров (а) и зависимость сред-
них затрат на поиск Л4{Л0 (б) от параметра переключения 0.
Рис. 5.5. Зависимость средних затрат на поиск от числа варьируе-
мых переменных п.
параметра переключения 0*. Для п=2 с вероятностью
р = 0,81 это значение находится в интервале [0,6; 0,8].
Аналогично можно получить [58], что для п=4 с веро-
ятностью р=0,82 0*е[О,65; 0,75], а для п=6 с вероят-
ностью р=0,8 0*<= [0,1; 0,2].
Из полученных экспериментальных данных следует,
что при использовании комбинированного метода поис-
ка F1? существует диапазон значений параметра пере-
ключения 0, при которых средние затраты на поиск
значительно меньше, чем для алгоритмов с ло-
кальным (0=1) или глобальным (0 = 0) выбором шага.
Причем это различие является статистически значимым.
Зависимости затрат на поиск от числа варьируемых
переменных п для рассмотренных алгоритмов приведе-
ны на рис. 5.5. Кривая N (в*) соответствует алгоритму
F4 при оптимальных параметрах переключения (кри-
116
вые N(l) и N(0) соответствуют алгоритмам с локаль-
ным (Fes) и глобальным (F27) выбором шага). Кривые
iV(l) и .V(0) получены как средние значения по вы-
борке из 500 начальных приближений для каждого зна-
чения п. Из рис. 5.5 видно, что комбинированный алго-
ритм поиска F4 является более эффективным на данном
классе минимизируемых функций, чем алгоритмы F®5 и
F2?. Причем это преимущество сохраняется в широком
диапазоне значений параметров переключения, что об-
легчает его практическую реализацию.
Глава шестая
МНОГОМЕРНАЯ МИНИМИЗАЦИЯ
МНОГОЭКСТРЕМАЛЬНЫХ ФУНКЦИЙ
Рассмотрим некоторые подходы к решению задачи
отыскания глобального минимума функции нескольких
переменных Q(x), определенной в п-мерном прямоуголь-
ном параллелепипеде
D = {x\xJ<Xj<xj, Г=1, 2,..., ri}.
6.1. Сведение многомерных задач
минимизации к задаче одномерного поиска
Пусть минимизируемая функция зависит от неболь-
шого числа переменных. В этом случае для решения за-
дачи минимизации можно использовать алгоритм
еА8р, который сводит исходную задачу к последова-
тельности одномерных задач глобальной минимизации
minQ(Xi ...хя) = пип ...min Q(xt...xn). (6.1)
xc=D хт^х^х* x~^xn^x+
^== 1 1 n n n
Например, для функции двух переменных Q(xi, хг) со-
отношение (6.1) можно записать следующим образом:
min Q(xu Xa) = min Qi(x>), (6.2)
(x,. x,)^D xpgXfEgxjt-
где
Qi(Xi) = min Q(xlt x2);
(x,)
Oi(xi) —сечение области D вдоль постоянного значения
переменной Xi.
Тогда из (6.2) следует, что решение исходной задачи
эквивалентно решению задачи минимизации функции
одной переменной
Qi(Xi)=niin Q(x,, х2). (6.3)
х~=gx2^x+
Определение значения функции Qi(xi), в свою очередь,
при каждом фиксированном значении Xi также являет-
ся задачей одномерной глобальной минимизации исход-
ной функции Q(xi, Хг) по переменной хг.
118
Если чёрез Nk обозначить Число испытаний, необхо-
димое для отыскания минимального значения одномер-
ной функции с заданной точностью на х+д] при фи-
ксированных значениях Xi, ..x^-i, х&+1, ..., хп, то об-
щие затраты на поиск глобального минимума будут рав-
п
ны Поэтому многошаговая схема (6.1) ста-
fe=i
новится малоэффективной при большом числе перемен-
ных. Однако при надежность алгоритма F*8 доста-
точно высока, а затраты на поиск значительно меньше,
чем при реализации метода полного перебора. Напри-
мер, при минимизации функции [145]
Q (х) = — cos 18х(), п= 2, 3 (6.4)
/=1
в области D={—0,625^X1^0,125; —0,25=^х2^0,5;
—0,3^х3^0,45) для отыскания точки глобального ми-
нимума х*=(0, 0, 0) с точностью е—0,005 потребова-
лось в двумерном случае (я=2) 240 испытаний,
а в трехмерном случае (я=3)—1584 испытания.
Экспериментальное тестирование алгоритма FJ8 на
классе двумерных многоэкстремальных тестовых функ-
ций показало, что средние затраты на поиск, необходи-
мые для отыскания глобального минимума с точностью
е=0,05, равны 550 при выборочном стандарте — 229.
Решение задачи одномерной глобальной минимизации
как при решении примеров (6.4), так и при эксперимен-
тальном тестировании алгоритма F'8 проводилось с по-
мощью алгоритма F23.
Размерность задач многомерной минимизации может
быть увеличена до 5—7 переменных за счет использо-
вания алгоритма Р28еЛ8у, который основан на оптими-
зации одномерной функции, получаемой с помощью не-
прерывного отображения «-мерного гиперкуба
£>=’{х| -0,5<х, <0,5, г = 1, 2,..., п}
на единичный отрезок вещественной оси.
Приближенное построение соответствия между точ-
ками v единичного отрезка и точками x(v)eZ) может
быть осуществлено следующим образом *>.
*> Алгоритм, реализующий данное преобразование, предложен
Р. Г. Стронгиным.
119
Раздбьём гиперкуб Л с длиной ребра, равной 1, координат-
ными плоскостями на 2П гиперкубов первого разбиения с длиной
ребра, равной */2. Полученные гиперкубы пронумеруем числами от
О до (2П—1) таким образом, чтобы гиперкубы с номерами, раз-
личающимися на 1, имели общую грань. Для обозначения гипер-
кубов первого разбиения введем переменную Zi = 2fe—1, £ = 0, 1,...,
п, а соответствующий ей гиперкуб условимся обозначать D(zi). Да-
лее каждый гиперкуб первого разбиения, в свою очередь, также
разобьем плоскостями параллельными координатным осям и про-
Рис. 6.1. Гиперкубы первого {а) и второго (б) разбиений области D
и первое и второе (в) разбиение отрезка [0,1].
ходящими через его центр, на 2П гиперкубов второго разбиения
с длиной ребра, равной Нумерация полученных гиперкубов про-
водится по тому же принципу, что и нумерация гиперкубов пер-
вого разбиения с тем отличием, что нулевой гиперкуб второго раз-
биения, входящий в D(zi), должен иметь общую грань с (2П—1)-м
гиперкубом второго разбиения, входящим в D(Zi— 1). Гиперкубы
второго разбиения условимся обозначать D(zi, z2), где z2=2ft—1
являются номером гиперкуба второго разбиения, входящего в D(z$
(на рис. 6.1,а и б для двумерного случая приведены гиперкубы
первого и второго разбиений с соответствующей введенным усло-
виям нумерацией). Продолжая указанный процесс, можно получить
гиперкубы любого s-ro разбиения с длиной ребра (V2)8, которые
условимся обозначать D(Z\, z2, ..., z8). Очевидно, что
D (zO О D (zb z2) Z). . . ZD D (zlt z2, . . . , zs), (6.5)
где Zj = 2k—1, &=0, 1,..., n, j— 1, 2,..., s.
Теперь рассмотрим процесс деления отрезка [0, 1] на 2П рав-
ных частей, каждая из которых, в свою очередь, также делится на
2П равных частей и т. д. При этом элементы каждого разбиения
нумеруются слева направо числами от 0 до 2П—1. (На рис. 6.1,в
приведены первое и второе разбиения единичного отрезка.) Для
120
обозначения номера j-ro разбиения введем переменную Zj, а сам
интервал длиной, равной (1/2п)8, будем обозначать A (zb z2,. .z8).
Например, A (zi, z2) означает интервал второго разбиения с номе-
ром z2, входящий в интервал первого разбиения с номером zp За-
метим, что
A (2i) D A (zb z2) ZD . . . ZD A (zlt z2, . . . , zs), (6.6)
ГДе = 1, £=0, 1,..., n, /=1, 2,..., s.
Будем считать, что точка x(v), соответствующая точке v, содер-
жится в гиперкубе Z)(zi,z8), если veA(zi,..., z8). Построенное
таким образом соответствие является непрерывным.
Если числа zi,..., z8, определяющие интервал A (zb ..., z8),
записать в двоичном виде, то для любого числа v из этого интерва-
ла справедливо неравенство:
S
V —(1/2«)*<S (l/2»)*z*<v + (l/2«)s. (6.7)
k-\
Это соотношение позволяет представить v в виде двоичного числа
с фиксированной запятой
ор
v=2(l/2)^, (6.8)
k=0
где a.k равняется нулю или единице.
Первые ns двоичных цифр а& из (5.8) позволяют для числа
v&A (zi,..., z8) указать гиперкуб s-ro разбиения D (zi,. .., z8),
в котором находится соответствующая ему точка x(v). Точность по-
лучаемой оценки для числа x(v) по каждой координате не хуже
(]/2п)8. Нумерация гиперкуба D (zi,. . ., z8) для любых k=\, 2,...,
5 определяется по формуле
п — 1
zk= 2 (б-9)
1=0
На рис. 6.1,6 линией со стрелками для случая s=2 согласно фор-
мулам (6.8), (6.9) указано. соответствие гиперкубов второго раз-
биения £>(z>, Z2) отрезком второго разбиения A(zi, z2). Так, пер-
вому отрезку Д(0, 0) соответствует гиперкуб i£>(0, 1), отрезку
Л (0, 1)—гиперкуб D(0, 2) и т. д. Последнему отрезку Д(3, 3) со-
ответствует гиперкуб 0(0, 0).
Таким образом, алгоритм F2S позволяет перейти от
исходной задачи минимизации многомерной функции Q(x),
x^D, к задаче поиска экстремума одномерной функции
Q(x(v)), vG[0, 1], которая является непрерывной, если
непрерывна функция Q(x). Однако полученная функ-
ция является негладкой и многоэкстремальной, даже ес-
ли исходная функция Q(x) гладкая и унимодальная.
Сложность этой функции увеличивается с ростом раз-
мерности исходной задачи, а также при усложнении ви-
да исследуемой функции Q(x) (овражность, многоэкс-
121
тремальность и т. п.). Для иллюстрации на рис. 6.2 при-
ведены одномерные функции Q(x(v)), соответствующие
следующим многомерным функциям:
з
Q(xt, Хг, Хз) = 2 хг‘г --2<х( <2, i=l, 2, 3;
1=1
(6.10)
Рис. 6.2. Одномерные функции Q(x(v)), соответствующие много-
з
мерным функциям Q(xb Хг, х3)=2 (а)
/=1
2
И Q (Хь Хг) = 2 (xSt — COS 18х/) (б).
122
2
q(X1, x2)=2 (*2i —cos 18л,), —0,625 <x,< 0,125,
!-1 —0,25 <x2< 0,5.
Поскольку преобразованная одномерная функция
Q(x(v)) является многоэкстремальной, то для отыска-
ния ее глобального минимума необходимо использовать
алгоритмы, рассмотренные в гл. 4.
Например, минимизация трехмерной функции (6.4)
при помощи алгоритма F2e, использующего для одно-
мерного поиска алгоритм F23, заканчивается после 458
испытаний в точке v* = 0,905 с Q(x(v*)) =—2,949, что
дает для исходной задачи приближенное значение гло-
бального минимума x(v*) = (0,001; 0,00; —0,014).
6.2. Автоматная оптимизация
Алгоритм Fh поиска глобального минимума одно-
мерной кривой, рассмотренной в § 4.3, можно обобщить
на случай минимизации многомерной функции Q(x) сле-
дующим образом [94].
Преобразуем каждый интервал [х~;, х+Ц в интервал
[0, х+г] и разделим его на Ki равных отрезков длиной
Wi=x+i/Ki, i=l, 2.....................и. (6.11)
Таким образом, /г-мерный гиперкуб D разделится на М =
п
=П Ki подобластей объемом
1=1
Vi= f[ Wi, 1=1, 2...... М. (6.1'2)
1=1
Каждую подобласть Vi можно охарактеризовать точкой
с компонентами
Xij = Wi (] — 1/2), i = l, 2,..., п.
/=1....... Ki. (6.13)
Индекс I для вектора х;, соответствующего центру каж-
дой области, нетрудно определить из выражения:
/ = /(х1/) + з[ {/(хг/)-1}ЗКа
г=2[ а=1
(6.14)
где i(xrj) означает второй индекс компоненты xrj, г =
= 1, 2, ..., п.
Полученное разбиение области D дает возможность
поставить в соответствие каждой подобласти одинако-
123
вого объема Vi состояние автомата Sz и вероятность pi.
Это позволяет осуществлять испытания в некоторой об-
ласти Vj с вероятностью которая в процессе поиска
на каждом (г+1)-м шаге изменяется согласно следую-
щим соотношениям:
_ м _
Л(г4-1)=г/(г+1)/2 z/(r + l). 2,..., М;
/=1
Zi (г + 1) = й- (г) -|- (1 — Л.) Zi (г 4- 1), О <А<1;
(6.15)
2/(г4-1) = Гй(г), 1=1,..., М, l=£i.
Для простоты будем считать, что начальные значения
zi(G) выбираются одинаковыми и постоянными.
Испытание Qt(x) в подобласти V, осуществляется
в точке с компонентами £kj, каждая из которых выби-
рается по равномерному закону распределения из ин-
тервала:
Xki-Wkl2<xki<xkl+Wk[2, (6.16)
где Xkj — компонента центральной точки k-й подобласти.
При этом минимизируемая функция имеет значение
Qfc(r+1), которое используется в (6.15) для перераспре-
деления вероятностей pi. Нетрудно видеть, что если у —
целое четное число, то
м
pi 0 и 0 =1 •
i=i
Поиск области локализации глобального минимума
многомерной функции при помощи рассмотренного алго-
ритма заканчивается выбором той подобласти
Vi, для которой вероятность pi(r+l) приближается
к единице. В качестве примера рассмотрим задачу ми-
нимизации функции
Q fa, х2) = — (1 + 8х, - 7х!, + 7х*,/3 - х\/4) X
Х(*%ехр(-х2)), (6.17)
0<х.<4,2, 0<х2<6,4,
которая имеет локальный минимум в точке (1, 2) и гло-
бальный минимум в точке (4, 2). Примем Х=0,99, %'=!
и у = 2. Разобьем интервал по переменной xt на три ча-
124
Сти (Ki=3) и интервал по переменной х2 — на четыре
части (Лг=4). Тогда общее число подобластей одинако-
вой площади (с ребрами 1Fi = 1, 4 и U72=l, 6) равно
Л4=12. Индекс I любого вектора *i^Vi, 1=1, 2, 12,
определяется выражением:
/=/(хи)+3[/(х2з)-1]. (6.18)
Распределение поисковых испытаний, проведенных
в каждой подобласти Vi, (для случая
Fz(0) = [Q(x/)r\ 1=1.... 12)
после 90 и 200 шагов поиска показаны на рис. 6.3.
Рис. 6.3. Распределения поисковых испытаний при минимизации
функции Q(xi, х2) = —'(1+8X1—7x2i + 7Л/3—Л/4) (х22 ехр (—х2))
после 90 (а) и 200 (б) шагов поиска.
Другой подход к задаче определения глобального ми-
нимума функции многих переменных связан с использо-
ванием коллектива независимых стохастических автома-
тов с линейной тактикой F29^X9f (138—141].
Пусть автомат помещен в среду (в нашем случае это
многопараметрическая функция Q(x)). Тогда в каждый
момент времени г его действие О вызывает реакцию
среды у, которая, в свою очередь, изменяет состояние
автомата S. Таким образом, среда устанавливает связь
между действиями автомата и сигналами, поступающи-
ми на его вход,
S(r+l)=(pi[S(r), z/(r+l)L
O(r+l)=<pd[S(r+l)]. (6.19)
Будем считать, что форма поведения автомата явля-
ется простейшей в том смысле, что все значения входа
автомата у разбиваются только на две группы в зави-
симости от реакции среды, связанной со знаком прира-
125
Щёний минимизируемой функции Лф(х): r/i=0 при
AQ^O— благоприятная реакция‘среды (выигрыш или
не штраф); #2=1 при AQ>0— неблагоприятная реак-
ция среды (проигрыш или штраф).
Множество действий О автомата, определяемое его
внутренними состояниями, имеет всего два значения:
4-1 при 1 <S(r-|-1)</п0;
— 1 при m0 < S (г 4- 1) 2/По,
где S(r+1)—номер состояния автомата в (г+1)-й мо-
мент времени; т0 — глубина его памяти.
Примером такого автомата является стохастический
вариант автомата с линейной тактикой, граф внутрен-
них состояний которого изображен на рис. 6.4 [91]. При
О(г+1) =
Рис. 6.4. Граф внутренних состояний стохастического автомата
с линейной тактикой.
#1=0 (выигрыш) с вероятностью р смена состояний про-
исходит в соответствии со сплошными стрелками,
а с вероятностью q<p — в соответствии с пунктирными;
при #2=1 (штраф)—наоборот. Если р=1, и соответст-
венно #=0, стохастический автомат с линейной такти-
кой переходит в детерминированный автомат.
Описанный автомат с линейной тактикой обладает
способностью к целесообразному поведению [91] в ста-
ционарной среде, т. е. он старается увеличить число бла-
гоприятных и уменьшить число неблагоприятных реак-
ций. От того, какое автомат совершает действие, зави-
сит выиграет он на r-м шаге или проиграет.
Если бы автомат заранее знал множество действий,
которые приводят к выигрышу, то он делал бы только
эти действия. Такое поведение автомата и было бы наи-
более целесообразным. Однако автомат обычно не рас-
126
полагает априорной информацией о том, какие действия
для него наиболее выгодны и целесообразность его по-
ведения сводится к минимизации числа неблагоприят-
ных реакций среды.
Образуем систему, состоящую из коллектива стоха-
стических автоматов Aj, j=l, 2, ..., п, которые работа-
ют независимо друг от друга и изменяют каждый свою
переменную на (г-|-1)-м шаге по формуле
Xj(r+1) =Xj(r) +XjO\ (6.20)
где Aj— постоянная длина шага изменения /-й коорди-
наты; Qi — действие /-го автомата на (r+l)-M шаге.
Согласно (6.20) каждый автомат автономно в силу
своей внутренней структуры организует направленное
движение к точке минимума, положительно реагируя на
уменьшение функции Q(x) и отрицательно на ее воз-
растание. Каждый автомат не имеет информации о дей-
ствиях других автоматов и не способен непосредствен-
но изменять эти действия. Поэтому взаимодействие
автоматов ограничивается их совместным функциониро-
ванием при решении задачи минимизации функции
Q(x). Структурная схема рассматриваемой системы по-
исковой оптимизации (будем называть ее автоматным
оптимизатором) изображена на рис. 6.5, где внутреннее
состояние каждого из автоматов Sj(r-f-l) определяет
изменение переменных (jq, ..., хп):
Axj=kjOi. (6.21)
В (139] показано, что коллектив независимых детер-
минированных (Pj=l, j=l, 2, ..., п) одинаковых =
= m.Q, Aj —X, /=1, 2, ..., п) автоматов с линейной такти-
кой не осуществляет поиска минимума. Это связано
с выходом всех автоматов на синхронный режим, в ко-
тором последние изменяют
свои выходные действия на
противоположные одновре-
менно после mQ шагов поис-
ка, что приводит к колеба-
тельным движениям, при ко-
Рис. 6.5. Структурная схема си-
стемы поиска минимума с по-
мощью коллектива независимых
артрматрв.
1?7
торых значение функции периодически повторяется. Поиск
коллективом независимых детерминированных автома-
тов возможен только при условии их разнообразия, на-
пример, различной глубины памяти.
Другой способ обеспечения поисковой оптимизации
коллективом автоматов связан с использованием в ра-
боте каждого автомата элемента случайности. Поэтому
в дальнейшем будем считать, что автоматный оптими-
затор содержит стохастические автоматы. Однако в этом
случае эффективность поиска в сильной степени зависит
от параметров используемых автоматов. При некоторых
значениях параметров даже могут быть потеряны опти-
мизационные свойства коллектива. Эти трудности
можно устранить двумя способами: либо как и раньше,
решая задачу выбора оптимальных параметров автома-
тов как задачу экспериментального тестирования, либо
изменяя структуру автоматного оптимизатора в процес-
се поиска при помощи адаптации автоматов к конкрет-
ным условиям. При этом структура системы поисковой
оптимизации изменяется таким образом, чтобы увели-
чивалось число поисковых движений. Однако это требо-
вание вступает в противоречие со слишком большим вре-
менем, которое необходимо для выбора нужного движе-
ния. Компромиссное решение этой проблемы можно по-
лучить при дублировании работы автоматов по каждой
из координат (каналу автоматного оптимизатора) и
«рассинхронизации» их тактовых частот.
При дублировании каждый из автоматов коллекти-
ва заменяется несколькими автоматами — «дублерами»,
т. е. поиск по каждой координате ведет не один авто-
мат, а несколько соединенных параллельно. Входная
информация у является общей для всех автоматов,
а выходной сигнал системы дублеров определяется как
среднее арифметическое выходных сигналов каждого из
автоматов:
Г"/ 1/
Xi (Г4-1)= 2(*Мг-Н)) /АГ/,
(6.22)
-6=1
где Nj — число дублеров по /-й координате; xftj(r+l) =
=xkj(r') +Xj(Ojfe)—выходной сигнал k-ro дублера
в (г+1)-й момент времени по /-й координате.
Это приводит к тому, что при неодинаковом числе
дублеров Nj длина шага поиска для каждой переменной
128
Xj имеет разные значения. В связи с чем увеличивается
разнообразие движений автоматного оптимизатора.
Работа автоматов в системе поиска, изображенной
на рис. 6.5, синхронизована во времени, т. е. все авто-
маты выдают управляющие сигналы и меняют свои со-
стояния одновременно. Теперь допустим, что моменты
срабатывания автоматов в коллективе определяются
случайным образом, т. е. в момент г автомат выдает
управляющий сигнал с вероятностью p'j. Автомат Aj, не
участвующий в момент г в работе (вероятность этого
события равна (1—p'j)), не меняет своего состояния и
не выдает управляющего сигнала. В связи с этим коор-
дината xj, соответствующая данному автомату, на ин-
тервале (г,(г+1)] остается постоянной. Такая система
обеспечивает асинхронную работу автоматов и обладает
большим числом поисковых движений. Компоненты век-
тора р7 определяют интенсивность работы автоматов
в процессе оптимизации. При p'j=U / = 1, 2, ..., п, по-
лучается прежняя схема синхронизированного коллек-
тива независимых автоматов.
На рис. 6.6 приведены зависимости среднего числа
замеров от глубины памяти т0 при поиске коллективом
Рис. 6.6. Зависимости среднего
числа замеров от глубины памя-
ти т0 при поиске коллективом
синхронизованных и асинхронно
работающих автоматов.
синхронизированных (кривая /) и асинхронно рабо-
тающих (кривая 2) стохастических автоматов. Из ри-
сунка видно, что коллектив асинхронно работающих
автоматов обладает более высокой эффективностью.
В обоих случаях имеется оптимальная глубина памяти
автоматов. Это объясняется тем, что малая память при-
водит к рысканию, а большая — вызывает большую
инерционность автоматов.
Рассмотренная идея случайного использования авто-
матов в зависимости от успешности их предшествующей
9—242 129
работы может быть реализована в виде системы с фор-
мируемой структурой коллектива независимых автома-
тов, изображенной на рис. 6.7. Здесь АО — автоматный
оптимизатор из коллектива независимых стохастических
автоматов, число которых много больше числа каналов
п. БО— блок оценки работы системы и БУ — блок
управления системой образуют блок формирования
структуры автоматного оптимизатора. Этот блок опре-
деляет общее целенаправленное поведение всей системы,
используя для этого информацию о поведении системы
на предыдущих п шагах поиска.
Рис. 6.7. Система поиска с формируемой структурой коллектива не-
зависимых автоматов.
В связи с тем, что число автоматов много больше
числа каналов, будем считать, что в автоматном опти-
мизаторе имеются «свободные от работы» (безработ-
ные) автоматы, образующие внутреннюю среду. При
этом другие автоматы распределяются по каналам та-
ким образом, что на каждом из каналов имеется неоди-
наковое число Nj автоматов-«дублеров». На рис. 6.8 по-
казана схема автоматного оптимизатора с формируемой
структурой. При некоторых фиксированных шагах по-
иска г одни из работающих автоматов не меняют своего
положения, т. е. остаются на тех же каналах, что и
прежде, другие — переходят с канала на канал, третьи
же—вообще покидают каналы и становятся безработ-
ными. Аналогично для каждого автомата из внутрен-
ней среды есть возможность либо остаться безработ-
ным, либо попасть на один из каналов. Такая пере-
становка работающих и свободных автоматов через Г|
шагов поиска приводит к тому, что число безработные р
|30
Занятых на каналах айтоМатов является случайной ве-
личиной с некоторым распределением, которое изме-
няется в зависимости от оценки системой своей деятель-
ности. Для этого каждому автомату поставим в соот-
ветствие «лицевой счет», который отражает степень уча-
стия данного автомата в оптимизации и определяется
вектором Pj=(pOj, Pij, ..., Pnj). Компоненты вектора
Р-; пропорциональны частостям пребывания /-го авто-
мата во внутренней среде (pOj) и на каналах с номера-
ми i=l, 2, ..., п.
Предположим, что система, изображенная на рис.
6.7, может работать в двух режимах: режиме возбужде-
ния и режиме торможения. Режим возбуждения харак-
теризуется тем, что вероятности Р?-, /=1, ..., N, ухода
с каналов и прихода на них увеличиваются, а время и
между перестановками автоматов уменьшается, т. е. пе-
ребор автоматов происходит чаще. В режиме торможе-
ния, наоборот, вероятности р7 уменьшаются, что приво-
дит к «замораживанию» некоторых комбинаций авто-
матов на каналах, а время между перестановками уве-
личивается. Система попадает в один из этих режимов
в зависимости от значения параметра переключения 0.
Это позволяет, изменяя параметр 0, управлять процес-
9* 131
сом поиска глобального минимума, адаптируясь к осо-
бенностям исследуемой функции Q(x).
В заключение приведем пример [140, 141] конкретной реализа-
ции рассмотренной выше системы поисковой оптимизации с фор-
мируемой структурой коллектива независимых автоматов, которая
адаптируется к конкретному типу минимизируемой функции за счет
изменения в процессе поиска параметров гь 0 и Pj, /=0, 1, 2, ..N.
Пусть по г4 шагам поиска производится оценка среднего зна-
чения разности между числом удачных (в смысле выполнения ус-
ловия AQ<0) и неудачных (AQ^O) испытаний-
М {AQ(r)} =
sign (AQ (х(£))
(6.23)
Очевидно, что величина разности М{AQ(r)} по модулю меньше
единицы. Причем
,, fl, если все шаги поиска неудачные;
Л/{AQ (г)}={
[ — 1 в противном случае.
Тогда значение параметра 0 можно определить следующим обра-
зом:
если Al > Al{AQ(r)}
9 = (A4{AQ(r)} — A2)/(Ai — А2), если Al С A/{AQ(r)}<A2
0,
если Af{AQ (г)} > Д2;
(6.24)
Выбор порогов Л1, Д2 определяется числом допустимых сбоев си-
стемы за Г1 шагов. При 0=1 система полностью удовлетворена ра-
ботой. Состояния автоматов остаются без изменения. При 0 = 0 си-
стема не удовлетворена работой, что приводит к изменению со-
стояний автоматов.
Вычисление нового значения параметров 0 происходит через н
шагов поиска одновременно с формированием структуры автоматного
оптимизатора. Число шагов гх в свою очередь определяется через
параметр 0:
П=(гЧ—r°i)02+r°i, (6.25)
где r°i, г1! — постоянные величины, соответствующие времени меж-
ду перестановками при полном возбуждении и полном торможении,
0<г01<гЧ.
Блок формирования проводит формирование структуры авто-
матного оптимизатора через интервалы времени п. При этом учи-
тываются лицевые счета Pj автоматов, которые изменяются в про-
цессе поиска в зависимости от качества их работы за предыдущие
Г1 шагов поиска. Для безработных автоматов новое значение лице-
вого счета рц(г) в момент времени г определяется через предыду-
щее его значение pi$(r—п)
РЧ (г) = РЧ (г — ''О + [«1 — РЧ (Г — Г,)] Чъ i = 1, • • •
” п
РЧ (0=1 —
/л.
л;
(6.26)
2 рч
132
Для J-го автомата, работающего на k-м канале, значение вёроятно-
сти остаться на этом же канале определяется по формуле
Pki (г — fi) + [<">г — pkj (г — Г1)]?г, если (6 27,
М{Д<2(г)}>0,
Pki (т) — _|_ [ 1 _ nkj (г _ г,)]?3 если (6.28)
/И{Д<? (г)}<0,
а для вероятности перейти на другой канал или во внутреннюю
среду — по формулам
РИ (г) - рц (г — Гх) + 1<0г — рц(г— и)]?!, i
[п
2
i=l
= 1, .
//г.
. , л; i ф k\
(6.29)
Таким образом, если /-й автомат был безработным, то компо-
ненты вектора лицевого счета ргДг), соответствующие каналам I—
= 1, 2, ..л, убывают со скоростью стремясь к предельному
значению <о±<1. Это приводит к увеличению вероятности poj(r)
(вероятности того, что /-й автомат останется во внутренней среде).
Для работающего на £-м канале автомата имеем, что если за п
шагов поиска система сделала больше удачных шагов, чем неудач-
ных, то вероятность pkj (г) возрастает, стремясь к единице со ско-
ростью д3^1. В противном случае вероятность(г) убывает, стре-
мясь к предельному значению (о2<1 со скоростью а осталь-
ные компоненты этого вектора Pij(z'), i= 1, 2,..., л, i^k, убывают
со скоростью qi.
Кроме отыскания глобального минимума, автоматный
оптимизатор может также осуществлять поиск миниму-
ма при наличии помех, слежение за минимумом при
медленных изменениях минимизируемой функции и т. п.
Однако эффективность поиска при этом в значительной
степени определяется как параметрами автоматов, так
и параметрами самой системы.
6.3. Случайный поиск и его модификации
Процедуры случайного поиска связаны с алгорит-
мами, использующими в процессе отыскания минимума
функции Q(x) элемент случайности. Подробное рассмо-
трение таких алгоритмов приведено в работах [136, 137,
143], а в (142] дана их обширная библиография. В связи
с этим рассмотрим только метод статистических испы-
таний (метод Монте-Карло) [144] и покажем, как может
быть улучшена его эффективность за счет использова-
ния направленного поиска с самообучением [145—147].
Алгоритм F^oeA10^-, реализующий метод статистиче-
ских испытаний [144], на каждом шаге по известному
133
закону распределения f(x) генерирует тбчку х’’, в кото-
рой вычисляется значение функции Qr=Q(xr). Точка
с наименьшим значением функции запоминается, если
выполняется условие
Q*=/^r’ если (6.30)
I Q* в противном случае;
х* = / хГ’ если (6.31)
1 х* в противном случае.
После N шагов поиска получаем точку х*, которую
принимаем за приближенное значение глобального ми-
нимума.
Пусть р — вероятность того, что при N испытаниях
точка приближенного значения глобального минимума
х* будет определена с точностью е. Под точностью 8
будем понимать объем n-мерного параллелепипеда, вы-
раженный в долях от общего объема области D. Тогда
величину 8 можно интерпретировать (148] как вероят-
ность попадания каждого испытания хг в область объе-
мом, равным е. После N испытаний вероятность того,
что одно из них попадет в 8, будет р=1—(1—б)л'. От-
куда
Af=lg(l-p)/lg(l-s). (6.32)
Из (6.32) видно, что для решения конкретных задач
с высокой точностью е при помощи этого алгоритма
требуется проводить большое число испытаний.
Если плотность распределения f(Q) известна с точ-
ностью до некоторого набора параметров а, эффектив-
ность метода статистических испытаний можно повы-
сить, перераспределив испытания в области D. При
этом общее число испытаний N разбивается на испы-
тания, используемые для сокращения области поиска
до некоторой подобласти DkaD, и испытания Nt, кото-
рые равномерно располагаются в выбранной подобла-
сти Dk.
Предположим, что точки хг выбираются по равно-
мерному закону, тогда при большом числе переменных
можно считать (149], что величина Q(x) распределена
по логарифмически нормальному закону
f (Q/a) = P{Q<«}=?U- $ exp (-*/2) ch, (6.33)
—00
где т=(у—р.)/о; с/=1п (и—со);
134
й__минимальное значение Q(x); р— математическое
ожидание величины V=ln(Q(x) — со); о —стандарт этой
величины.
Здесь параметрами а являются величины со, ц и а.
Зная закон распределения f (Q ]со, р, о) математическое
ожидание M{Q} нижнего выборочного значения величи-
ны Q(x) можно приближенно оценить по выборке из
Ni испытаний согласно следующей формулы [150]:
A1{Q] = со+ехр(р—со), (6.34)
где _______
c=(h-[-gi>.)/g«; g—y’21n(Ni)lo;
h = (4 In АГ, — In In Nt — In 4тг)/2 — gp.
Из (6.34) видно, что нахождение асимптотически нор-
мальных оценок для Af(Q) сводится к отысканию пара-
метров р, со и о. Поэтому для нахождения оценок этих
величин необходимо провести некоторое число «разведо-
вательных» (пробных) испытаний. Для этого в каждой
исследуемой подобласти делается Мг равномерно рас-
пределенных пробных испытания, которые затем обра-
батываются при помощи метода максимального прав-
доподобия [151]. Логарифм функции правдоподобия для
закона распределения (6.33) имеет вид
L (р, <в, ®) = (Ns In 2и)/2 — In ’ (Qi — °>) —
-’A 2 l(ln(Q/— ®) — p)/®]2, (6.35)
/=!
где Qj — значение Q(x) в результате /-го пробного
испытания.
Беря производные по р, со и о и приравнивая их
нулю, получаем следующие выражения:
N,
2 In — ®) Nt
; °2 =-4rSlln(Q/(6.36)
/=!
N2
La2 — р +In (Q/ —со) А
—и-
i=i
Решение этой системы уравнений позволяет получить
значения параметров р, со и
I35
Алгоритм F210eA10F, основанный на перераспределе-
нии испытаний по области D, теперь можно сформули-
ровать следующим образом.
1. Область D плоскостью = (x+i+x~i)/2 разбиваем
на две подобласти Du и Di2.
2. В каждой подобласти Du, Di2 делаем по N2 испы-
тания и из решения системы (6.36) находим значения
ц, со, о для каждой подобласти.
3. В каждой подобласти по формуле (6.34) оценива-
ем математическое ожидание нижнего выборочного зна-
чения Q(x), соответствующее выборке из Ni испытаний:
M{Q}i и M{Q}2.
4. Из дальнейшего рассмотрения исключаем ту под-
область Dij, в которой значение M{Q}3 имеет наибольшее
значение.
5. П. 1—4 повторяем для всех значений i=l, 2, ...,«•
Полученную таким образом подобласть Dk либо при-
нимаем за начальную область D и вся процедура сокра-
щения области поиска повторяется снова, либо в под-
области Dk равномерно распределяем оставшиеся Ni
испытания, т. е. применяем алгоритм F‘io.
Рассмотренный алгоритм Р2ю основывается на асим-
птотических свойствах минимизируемой функции Q(x),
поэтому при его применении особенно важна проверка
предположения о виде функции распределения f(Q|a)
[151].
Другой способ обработки результатов, статистических
испытаний связан с применением методов усреднения
[152—154], основанных на идее использования нелокаль-
ной информации о функции Q(x) в процессе поиска. За
счет выбора оператора усреднения минимизируемая
функция Q(x) преобразуется таким образом, что ее
гладкая часть оказывается неизменной, а мелкие локаль-
ные минимумы сглаживаются почти полностью. При
этом определение усредненной функции Q(x) осущест-
вляется методом Монте-Карло, что и придает статисти-
ческий характер процессу поиска. Однако в этих алго-
ритмах усредненная функция остается многопараметри-
ческой, поэтому рассмотрим алгоритм F3iog41of [155],
в котором задача поиска глобального минимума функ-
ции Q(x) решается путем преобразования ее в функцию
ф(|) одной переменной g. Значение функции ф(£) непре-
рывно уменьшается до нуля с уменьшением новой пере-
менной | при любом числе локальных минимумов, Вели-
136,
чина I*, при которой ф(|*)=0, соответствует глобальнд-
му минимуму функции Q(x).
Остановимся более подробно на вопросе преобразо-
вания функции Q(x) в одномерную функцию ф(|). В ка-
честве переменной | возьмем модуль функции Q(x) и
введем нижнюю и верхнюю ее границы:
fc-=minQ(x); S+=maxQ(x).
X X
Лебегово деление функции Q(x) на интервале (£-, |+)
на равные промежутки Д£=£«-1—
Г <fe<...<5+
позволяет в области D ввести некоторые множества
Di^zD, 1=1, 2, ..., k, в которых функция Q(x) меньше
или равна &
Di = {х | Q (х) < £/}, i = 1, 2. k. (6.37)
Введем функцию
0/ (х„.... х„) = ( lf еСЛИ Х G Dh (6.38)
( 0 в противном случае.
Тогда интеграл Римана от этой функции на множестве
D будет равен мере Цг множества
V-i = ф (£<) = f... С 0< (х„ .... хп) dxx... dxn. (6.39)
J d J
Нетрудно видеть, что значение £*, при котором мерац =
=ф(|*) достигает нулевого значения, соответствует гло-
бальному минимуму функции Q(x). Для иллюстрации на
рис. 6.9 приведено ф-преобразование функции Q(x)
в функцию ф(£).
137
fi связи с тем, что аналитическое выражение ДЛИ
функции ф(|) получить невозможно, ее значения опре-
деляются через многомерный интеграл (6.39) при помо-
щи метода статистических испытаний для набора уров-
ней £г-, i=l, 2, ..., k, соответствующих некоторым фик-
сированным значениям функции Q(x). Значения за-
даются на основании априорной информации или исхо-
дя из серии пробных испытаний..
Если значение функции Q(x) в точке глобального
минимума намного меньше значений локальных мини-
мумов и область притяжения глобального минимума пре-
обладает над областями притяжения локальных мини-
мумов, то одновременно с глобальным значением функ-
ции Q* можно определить [156] координаты глобального
минимума. Для этого проводится серия из N испытаний.
В каждой точке хг вычисляется функция Q(xr), которая
последовательно проверяется на выполнение условия
Q(x')<5z, i = l, 2.k.
Для каждого уровня 5/ суммируются значения тех хг,
которые составляют множество Dt = {х | Q (х) < $,}, и под-
считывается число точек, попавших в эту область. Если
из N испытаний Nr значений Q(x) меньше или равно
то
|*«-=К(^)=ад
•*7=^^)=^-, (6.40)
/=1, 2,
В результате серии статистических испытаний полу-
чается дискретное распределение монотонно убывающей
функции |х = ф|л($), которая является частотой попадания
случайной точки хг в множество О, и в данном случае
служит мерой этого множества. Одновременно опреде-
ляется семейство дискретных распределений х>==
=ФХ/ (&)• Экстраполируя таблицу значений (щ, gi),
можно найти пересечение функции (£) с осью £, где
значение обеспечивает выполнение условия ф(£*)=0.
По полученному значению глобального минимума £*,
аппроксимируя таблицы (X/, находим координаты
точки глобального минимума
138
(6.43)
x*j = ф (5*), j = 1, 2. n. (6.41)
В рассмотренных выше алгоритмах, реализующих
методы случайного поиска, не используется информация
о связях между значениями функции Q(x) в точках, по-
лучаемых с помощью случайного распределения f(x),
что снижает их эффективность. Поэтому рассмотрим ал-
горитмы направленного случайного поиска, в которых
точки хг выбираются по информации о результатах пре-
дыдущих испытаний. Для этого в алгоритме Е4юеЛ10р
размещение случайных испытаний будем осуществлять
не по равномерному, а по нормальному закону [159]:
f (х)== l/[(2>t)n/2o7] exp {- (х - x*)*/2o*r}. (6.42)
В зависимости от информации, получаемой в процессе
поиска, изменяем параметры распределения. В связи
с этим на каждом шаге определяем значения х*, Q* по
формулам (6.30), (6.31) и значение <тг из условия
[ а0, если Q(xr) < Q*,
Or--- <
1(1 —g)<3r.i в противном случае,
где <т2о — начальная дисперсия, гарантирующая попада-
ние текущего испытания в любую точку области D',
0<д<1—параметр, определяющий уменьшение диспер-
сии при неудачном испытании.
Согласно рассмотренному алгоритму F4i0, случайные
испытания проводятся в соответствии с «-мерным сим-
метричным законом распределения (6.42), математиче-
ское ожидание для которого равно х*, а дисперсия а2г
уменьшается при неудачных испытаниях и увеличивает-
ся до о20 при удачных.
Эффективность метода направленного случайного по-
иска может быть повышена, если процесс поиска гло-
бального минимума осуществлять по итерационной фор-
муле
Qt...QNi, ®), (6.44)
где h, i=l, 2,..., Ns, — пробные случайные вектора,
направления которых определяются заданным многомер-
ным распределением f (| | со), зависящим от параметра ©;
Q‘ — Q(xr4-a^) —значение минимизируемой функции
вдоль случайного направления 1, а—соответственно
рабочий и пробный шаги вдоль [случайных направлений
В процессе поиска будем осуществлять перестройку
139
распределения f(§|<о) таким образом, чтобы рабочий
шаг вдоль случайного направления Sr как можно реже
был неудачным (в смысле изменения функции AQ =
= и как можно чаще удачным (AQ<0).
Опыт, накопленный за один шаг алгоритма, в данном
случае запоминается в виде вектора ®, который управ-
ляет распределением f (^|®), локализуя испытания в об-
ласти, «подозрительной» на глобальный минимум. При
этом алгоритм поиска обладает инерционностью, так
как, прежде чем перестроиться на новое направление,
он может сделать несколько шагов в старом направле-
нии независимо от получаемых результатов. Это и обе-
спечивает возможность поиска глобального минимума.
В заключение рассмотрим одну из реализации мето-
да направленного поиска — алгоритм с направляющим
конусом Р510енЛ10Р [145]. Пусть в пространстве параме-
тров определен гиперконус с заданным углом раскрытия
и вершиной в точке хг, ось которого совпадает с направ-
лением вектора ®. Вокруг вершины хг как вокруг центра
проведем гиперсферу с радиусом, равным пробному ша-
гу поиска а. Тогда конус отсечет от проведенной гипер-
сферы часть поверхности, на которой в соответствии
с заданным законом распределения f(£|ft>) выберем Л^г
независимых случайных направлений Вдоль каждого
направления в точке (хг+а|{) вычислим функцию Qi —
= Q(xr+a^j). По полученной информации определим на-
правление Sr, которое совпадает с направлением наи-
лучшей пробы, т. е. Sr=£*, где удовлетворяет усло-
вию
Q(xr-|-a£*)= min Qi. (6.45)
Таким образом, направление поиска Sr целиком оп-
ределяется параметрами гиперконуса. Существует опти-
мальное значение угла раскрытия направляющего кону-
са, при котором система имеет достаточно малые затра-
ты на поиск и при этом сохраняет необходимую инер-
ционность, обеспечивающую глобальный характер по-
иска. При увеличении угла раскрытия конуса поиск ста-
новится более мобильным, но потери при этом возра-
стают.
Изменение вектора ® в соответствии с получаемой
в процессе поиска информацией происходит таким обра-
зом, чтобы на каждом шаге он совпадал с направлением
наилучшей пробы: ю=|*, т. е. ось гиперконуса на г-м
шаге должна совпасть с направлением поиска на преды-
140
дущем шаге. Это приводит к тому, что при резком изме-
нении направления градиента минимизируемой функции
процесс поиска некоторое время будет идти в старом
направлении. Для повышения эффективности рассмо-
тренного алгоритма выбор рабочего шага X в формуле
(6.44) можно осуществлять с помощью одного из мето-
дов одномерного глобального поиска (гл. 4).
В табл. 6.1 для класса тестовых многоэкстремальных
Таблица 6.1
Число локаль- ных миниму- мов J Средние затраты на поиск при п, равном
2 5 10
2 140 394 1006
5 297 796 1680
10 302 1301 —
функций нескольких переменных приведена зависимость
среднего числа испытаний M{N} от размерности исход-
ной задачи п и числа локальных минимумов J. Резуль-
таты, приведенные в таблице, получены с помощью ал-
горитма F5i0, в котором выбор рабочего шага X осуще-
ствлялся по алгоритму одномерного глобального поиска
F23. Для каждого значения п и J на выборке из 20 функ-
ций средние затраты на поиск оценивались по 100 реа-
лизациям процесса поиска.
Проведенное экспериментальное тестирование пока-
зало высокую надежность (во всех случаях глобальный
минимум был обнаружен с заданной точностью) и эф-
фективность алгоритма случайного поиска с самообуче-
нием F510.
Некоторые другие подходы к поиску глобального ми-
нимума многопараметрических функций рассмотрены,
в работах [160—168].
Глава седьмая
МИНИМИЗАЦИЯ МНОГОПАРАМЕТРИЧЕСКИХ
ФУНКЦИЙ ПРИ НАЛИЧИИ НЕЛИНЕЙНЫХ
ОГРАНИЧЕНИЙ НА ПАРАМЕТРЫ
В общем случае задачу оптимального проектиро-
вания можно сформулировать как задачу нелинейного
программирования
minQ(x), (7.1)
где D={x|g-/(x)>0, (=1, (7.2)
Предположим, что функция Q(x) является выпуклой,
а допустимая область изменения управляемых перемен-
ных D образует выпуклое односвязное множество. Тог-
да задача (7.1), (7.2) является задачей выпуклого про-
граммирования. (В § 7.4 условия односвязности и вы-
пуклости допустимой области D будут сняты.) В даль-
нейшем, где это необходимо, будем считать, что функции
Q(x) и gi(x) непрерывны и дифференцируемы.
7.1. Преобразование исходной задачи
в последовательность задач оптимизации
без ограничений
Рассмотрим класс АНР алгоритмов, которые позво-
ляют свести решение задачи нелинейного программиро-
вания (7.1), (7.2) к уже рассмотренной ранее в гл. 5
задаче минимизации функции многих переменных без
ограничений. Для этого исходную задачу преобразуем
при помощи специальным образом сконструированной
функции (называемой функцией штрафа, барьерной
функцией, функцией нагружения и т. д.) к виду
min Ф(х) = тт {Q(x)4-R[x, c(gi(x),... ,grn(x))]}. (7.3)
Функция штрафа 7?[х, c(gi(x), ..., g-TO(x))] вводится
только тогда, когда в процессе решения задачи проис-
ходит нарушение ограничений. При приближении к гра-
нице области или при выходе за ее пределы функция
штрафа резко возрастает. Например, в качестве функ-
ции штрафа можно рассматривать выражение
142
tn
R (x, C (g (X))] = S c (gi (x)) (gi (x))\
где коэффициент штрафа
О, если gz(x)>0,
А —очень большое
00
противном случае.
C (gi (*)) =
положительное число в
Можно показать [169], что при стремлении коэффи-
циента Лоо к бесконечности, решение задачи (7.3) схо-
дится к решению задачи (7.1), (7.2). Однако функция
ф(х) для больших Лоо оказывается [170] плохо обус-
ловленной, т. е. вблизи оптимального решения ее квад-
ратичный член имеет ряд собственных значений, стре-
мящихся к бесконечности с ростом Лоо. Это приводит
к тому, что структура минимизируемой функции приоб-
ретает овражный характер. В связи с этим уменьшает-
ся скорость сходимости методов поисковой оптимизации
при решении задачи (7.3). Следует отметить, что чем
меньше значение коэффициента штрафа, тем менее ярко
выражен овраг. Но, с другой стороны, с уменьшением
коэффициента снижается точность определения истинно-
го минимума задачи (7.1), (7.2).
В связи с этим при преобразовании исходной задачи
к задаче без ограничений целесообразно рассматривать
не постоянный коэффициент штрафа, а менять его по-
степенно, увеличивая при приближении к экстремуму
влияние ограничений на минимизируемую функцию
Ф(х) [171]. Это приводит к необходимости последова-
тельного решения семейства задач типа (7.3) со специ-
ально сконструированной функцией штрафа, зависящей
на каждом r-м шаге от параметра сг:
Я[х, c(g(x))] = R(x, Сг), (7.4)
где сг — положительный коэффициент штрафа, монотон-
но убывающий до нуля с ростом г. ’
Конкретный вид функции штрафа 7?(х, сг) нетрудно
получить из необходимых условий существования точки
минимума задачи выпуклого программирования (усло:
вий Куна — Таккера) [18]:
Uigi (*} = &, g/(x)>0;
и,->0, /=1, 2, (7.5)
VQ(x)—Vg.(x) = O.
143
Действительно, пусть первое условие из (7.5) не вы-
полняется и его левая часть равна некоторой положи-
тельной величине сг:
uzgrz(x) = fr, i— 1, 2,... ,zn. (7.6)
Тогда множители Лагранжа Ut имеют вид
Ui==G-/gi(x). (7.7)
Подставляя полученные значения щ в последнее из
условий в (7.5), получаем
т
VQ(x)-S^Vg<(x)/^(x)=O. (7.8)
/=1
При сг=0 условия (7.6) выполняются точно, следова-
тельно, последовательность оптимальных решений зада-
чи (7.3) {х(сг)} будет стремиться к точке минимума ис-
ходной задачи. С другой стороны, выражение (7.8) явля-
ется необходимым условием существования безусловно-
го минимума функции Ф(х, сг) следующего вида:
т
Ф(х, <?r) = Q(x) —с,21п£' (х)- (7.9)
t=i
Откуда следует, что функция 7?(х, сТ), называемая лога-
рифмической функцией штрафа, имеет вид
Ri(x, л-) = --<?г 21п£*(х). (7.10)
>=1
Другой тип функции штрафа можно получить, если
принять, что Ui = X2j, i=l, 2, ..., m. Очевидно, что усло-
вие Uigi(x)=Q эквивалентно условию %tgi(x)=0. Ана-
логично соотношению (7.6) допустим, что Xigi(x)=cr.
Откуда получаем, что
«i = c2r/g2,(x). (7.11)
Тогда, подставляя (7.11) в последнее из условий (7.5),
имеем
m
V Q (X) - 2 «2г V Si (X) =о, (7.12)
Z = 1
Откуда следует, что функция Ф(х, сг) состоит из функ-
ции Q(x) и функции штрафа:
m
R»(x, ег)=сгг^ l/gi(x). (7.13)
Z=1
144
Рис. 7.1. Линии уровня функции
Ф(х, сг) для различных значе-
ний Сг.
Полученный функций Штрафа (7.10) и (7.13) обла-
дают тем свойством, что при приближении к границе
допустимой области они препятствуют нарушению огра-
ничений, стремясь к бесконечности. Таким образом, дви-
жение текущей точки х(сг) происходит внутри допусти-
мой области и приближенное решение никогда не дости-
гает границы. При уменьшении коэффициента сг умень-
шается влияние функ-
ции /?(х, ст) и возрастает
влияние критерия Qi(x).
В связи с этим дальней-
шее уменьшение функции
ф(х, ст} возможно только
за счет минимизации
функции Q(x) без нару-
шения ограничений.
При г—*оо гиперпо-
верхности Ф (х, сг} все бо-
лее плотно подходят к ги-
перповерхности, соответ-
ствующей функции Ф(х,
0) =iQ'(x). На рис. 7.1 в ка-
честве иллюстрации при-
ведены линии уровня се-
мейства функций Ф(х,
Ст) =—Х + Ст('1/х+1/>(1 —
—х)) при разных значе-
ниях сг, построенные для
задачи {min(—х) при
0<л;^1}.
Недостатком рассмот-
ренных функций штрафа является то, что они требуют
существования «внутренности» допустимой области, т. е.
они не работают с ограничениями типа равенств. Кроме
того, для их использования необходимо знать начальную
точку х°, в которой все ограничения удовлетворяются как
строгие неравенства.
В связи с этим введем функцию штрафа, для которой
не требуется знания начальной точки х°, принадлежа-
щей области D, и которая позволяет решать задачи
с ограничениями в форме равенств так же легко, как
и с ограничениями типа неравенств.
Допустим, что второе условие из (7.5) выполняется
в ослабленном виде:
Ю-242 иг
gl(x)> — Cr, 2.....ni.
Введем множители Лагранжа следующим образом:
Ui = — min [0, gi (x)J.
Тогда в точке х(сг) для последнего условия (7.5) можно
записать
VQ(x)+£min[0, ^(x)]Vg. (x)Mr=0.- (7.14)
i=l
Полученное выражение (7.14) означает, что точка х(сг)
является локальным минимумом функции Ф(х, сг)
с квадратичной функцией штрафа:
Кг(х, ег) = (1/сг) 2 {min [0, g,(x)]p. (7.15)
1=1
Если точка х находится вне допустимой области, то дви-
жение осуществляется из недопустимой области в до-
пустимую таким образом, чтобы минимизировать значе-
ние /?з(х, сг). В допустимой области этот член равен
нулю и функция Q(x) минимизируется без ограничений.
В тех случаях, когда область D является пересечени-
ем двух множеств:
D = (7.16)
где D1 = {x|gz(x)^0, f = l, 2, D2={x|/i/(x) = 0,
/ = 1...m},
можно использовать в задаче (7.3) комбинированные
функции штрафа:
р m
/?4(х, cr)=-<.r£ln^(x)4-J-JJ]{min[0, А/(х)]}‘ (7.17)
/=1 }=\
или
Rt(x, <?r)=cryj [J_(x)J +
i=l
m
+^^{тт[0, hj(x)]}*. (7.18)
/=1
Последовательность действий при решении задач .-i
(7.1), (7.2) с помощью алгоритмов i=l, 2, .. •
..., 5, реализующих рассмотренные функции штрафа,
состоит из следующих этапов.
146
1. При использовании функций штрафа Rt(x, сг)»
Rt(x, Сг), Я«(х, сг) и 7?s(x, Сг) находим начальное при-
ближение Xе, для которого ограничения типа неравенств
выполяются строго: gz(x’)>0, i: — 1, 2,..., р, и прини-
маем хг = х°.
2. Определяем начальное значение коэффициента
штрафа cr—Ci. В общем случае значение ci>0 выби-
рается произвольным образом.
3. Одним из методов, рассмотренных в гл. 5, решаем
задачу (7.3) для фиксированного значения сг из началь-
ной точки хг:
min Ф(х, Сг). (7.19)
Решение этой задачи х(сг) принимаем за точку хг на
следующей итерации.
4. Проверяем, принадлежит ли решение хг допусти-
мой области D с заданной точностью е:
max{|hj(xr)|, i=p+1,...,m; — gt(xr),
i = 1, 2,..., p} <s.
Если условие удовлетворяется, переходим к п. 5, в про-
тивном случае — к. п. 6.
5. Проверяем, выполняется ли условие окончания
поиска с некоторой точностью б: R(xr, ст^8. Если усло-
вие выполняется, то процесс поиска окончен и точка хг
принимается за приближенное решение задачи (7.1),
(7.2). В противном случае переходим к п. 6.
6. Изменяем значение коэффициента штрафа сг та-
ким образом, чтобы с ростом номера итерации г его
значение стремилось к нулю. Например, можно считать,
что Сг+1=сг/р. где р>1. Все действия повторяем снова
с п. 3.
Если точку х°, удовлетворяющую условиям gi(x°)>0,
i=l, 2, ..., р, априори задать трудно, то для ее опреде-
ления можно применить следующий подход.
Предположим, что в произвольной точке х' ограни-
чения типа неравенств удовлетворяются не для всех ин-
дексов /, т. е.
Я/(х')<0, /GJ={/| 1 </</>};
gi (х') > 0, i G / = {И 1 < i < Р}. (7.20)
Ограничения типа равенств /г7(х)=0, j=p+l, ..., ш,
в точке х' не рассматриваются. Тогда стратегия поиска
Ю* 147
точки х° заключается в построении последовательности
точек {хЛ} таких, чтобы сумма нарушившихся ограниче-
ний J1, g-/(x) уменьшалась по абсолютной величине, но
&
ври этом ни одно из уже выполненных ограничений не
нарушалось. Для этого необходимо решить задачу оп-
тимизации
min (— S Si (х)1 (7-21)
х I I& /
при условии, что gi(x)>0, ie7.
Для задачи (7.21) начальная точка известна, поэто-
му можно применить одну из функций штрафа /?i(x, сг)
или /?г(х, сг) и решение задачи (7.21) свести к решению
задачи оптимизации:
min f— 2 £/(х) + Я(х. c')b (7.22)
хел" | J
где /?(х, сг) — функция штрафа, построенная по формуле
(7.10) или (7.13) для ограничений g,(x)>0, ie/.
В процессе решения задачи (7.22 ) появляются новые
точки, удовлетворяющие одному или более ограничению
из тех, что прежде не удовлетворялись, т. е. индексы из
множества J переходят во множество I. Точка х° опре-
делена, когда множество индексов J пусто. Если в точке
оптимального решения вспомогательной задачи (7.22)
множество J не пусто, то условия исходной задачи не-
совместны.
Недостатком рассмотренных алгоритмов является
отсутствие формальных процедур выбора постоянных
коэффициентов сг в функциях штрафа и невозможность
сравнения значений функции цели Q(x) между итера-
циями, когда применяются функции штрафа 7?3(х, сг),
/?4(х, сг) и /?5(х, сг).
Кроме этого для получения точного решения исход-
ной задачи (7.1), (7.2) при помощи функций штрафа
необходимо, чтобы вспомогательная задача минимиза-
ции без ограничений (7.3) решалась с высокой степенью
точности. Это требование, как и необходимость много-
кратного применения методов локального поиска для
различных параметров сг, может привести к большим
затратам на поиск при решении задач нелинейного про-
граммирования с помощью алгоритмов из класса А11р,
реализующих метод штрафных функций.
148
ЫШЗ— г
7.2. Поиск условного минимума
в экстремальных задачах с ограничениями
типа равенств
Пусть в задаче нелинейного программирования
имеются ограничения только в форме равенств:
minQ(xi, хг, .... хп) (7.23)
при условии, что
hj(x}, хг,...,хп) — 0, / = 1,2.т<С_п. (7.24)
Это' не ограничивает общности рассмотрения, так как
исходная задача (7.1), (7.2) может быть сведена к за-
даче (7.23), (7.24) при помощи введения дополнитель-
ных переменных xn+i и образования ограничений вида
hi(x) = gi'(x)'— x2n+i==0, 1 = 1, 2, (7.25)
Наличие ограничений в форме равенств (7.24) при-
водит к тому, что из п варьируемых переменных х толь-
ко k= (п—т) являются независимыми. Обозначим их
вектором w= (wi, te>2, ..., Wk). Тогда оставшиеся tn пе-
ременных (обозначим их вектором v=(t>i, ..., vm))
являются зависимыми от w, т. е.
Vj = Vj(Wi, w2, ..., Wk). (7.26)
Если уравнения связей (7.26) можно легко получить из
ограничений (7.24), то задача (7.23), (7.24) сводится
к задаче оптимизации без ограничений:
min Q(o»i,..., Wk\ Vt (w),..., ym(w))= min Q(w). (7.27)
Обычно аналитические выражения зависимостей
O; = Oj(w), /=1, 2, ..., tn, получить трудно. Поэтому рас-
смотрим алгоритм Е*12еЛ12р (174], основанный на чис-
ленном определении производных от неявной функции
Q (wt, ..., Wk) при условии, что ограничения (7.24) не
нарушаются.
Обозначим полученный таким образом градиент не-
явной функции Q(w) вектором:
Vh Q=(dQ/dwt |h=0,..., dQldwk |h=0). (7.28)
Зная градиент функции Q(w), решение задачи (7.27)
можно получить с помощью одного из алгоритмов, рас-
смотренных в § 5.1, например с помощью алгоритма
F4:
№;+1 = XrdQ! dws |h=Oj, s = 1, 2....k. (7.29)
149
Компоненты вектора (7.28) можно определить по
следующим разностным формулам:
dQ/dwt |h=0 = AQ./Доу, |(Wj.ДЛ1 =... = ыт = о.
..................................................(7.30)
dQ/dwk\h_0 = ^Qk/^Wk |(B)1 t»ft-i)=const; дл, =... = Алт = o, '
где Aws— приращение переменной ws при условии, что
остальные переменные w^ остаются постоянными, т. е.
(o»i, ..., ws-i, Ws+t, ..Wk)= const; AQS — изменение
функции Q(w) при вариации переменной ws на вели-
чину Aws; ДА,— изменение ограничений при вариации
переменной ws на величину Anys, s= 1, 2, ..., k.
Для того чтобы ограничения (7.24) не нарушались
при изменении переменной ws на величину &ws, в то
время как остальные переменные Wi остаются постоян-
ными, необходимо зависимые переменные (th, ..., vm)
изменить на некоторые величины (Auis, ..., &vms) таким
образом, чтобы выполнялись условия
&hj = hj (Oj -j- Дп]Д, ... t Vm “j- ДЦ/nsJ Wi, ... , Ws -}-
-\-&ws,...,Wk) — hj(v,w) = 0. (7.31)
Вектор Avs зависит от величины приращения &ws.
Чтобы найти эту зависимость, разложим ограничения
A/(v, w), /=!,... ,т, в ряд Тейлора около точки (»>-)-
-j-Ay,s, ... , Wm-)- toms', Wt, ... ,Ws-\-&WS, ... ,Wk) И ОГраНИ-
чимся членами первого порядка:
Ah = H„Avs4-H bwt, (7.32)
где Д11 = (ДА1,..., ДА™)— вектор изменения ограничений.
Av.s = (Afis,..., ДРпв) — вектор приращения зависимых пе-
ременных;
(dhx/dvi... dhx/dvm\
..............
dhm/dvx...dhm/dvm '
— матрица тХт первых производных от функций огра-
ничений по зависимым переменным;
(dhx/dws \
.... I
dhm/dws /
— вектор-столбец первых производных от функций
ограничений по s-й варьируемой независимой перемен-
ной.
150
Учитывая условия (7.31), из (7.32) получаем, чтб
ДVs — (Aths, • • • , &Vms) — CtsAWs, (7.33)
s=l, 2.....k,
где
as = (®is, , &tns) = —(7-34)
Для оценки приращения AQS при изменении s-й не-
зависимой переменной на величину t\ws разложим функ-
цию Q(v, w) в ряде Тейлора и ограничимся членами
первого порядка:
A Qs = Qt> Д vs -J- Д ws, (7.35)
где Qo = (dQJdVi,, dQJdVm) — вектор первых производ-
ных от функции Q по зависимым переменным v; <3^ =
= dQ/dws — первая производная от функции Q по s-й
варьируемой независимой переменной.
Подставляя значения (7.35) и >(7.33) в (7.30) для
компонент вектора Д^ Q получаем следующие выраже-
ния:
dQfdws |h=0 = Q.s - (7.36)
$=1,2, ..., k.
При вариации независимых переменных w согласно
(7.33) из точки vr переходим в точку vr+1. При этом из-
менение каждой координаты и,- будет равно алгебраиче-
ской сумме приращений Ау,в:
vr{+*— vr. = bvis (7.37)
5=1 S=1
Откуда, учитывая (7.29), получаем выражения для изме-
нения зависимых переменных v:
ft,
vr{+l —v' — ^aiadQldWs |h=0. (7.38)
5=1
Приращения переменных w на величину Aw, полученную
из выражения (7.29) будут нарушать ограничения (7.24),
а последующие изменения переменных v по формуле
(7.38) должны привести к их удовлетворению. Однако,
в силу ошибок, связанных с вычислением критерия оп-
тимальности и ограничений, а также сильной нелиней-
ности функций ftj(v, w), в точке (vr+1, wr+1) ограничения
(7.24) могут оказаться нарушенными. Чтобы эти огра-
151
йичёний йыпблнялйсь с заданной точностью, необходи-
мо дополнительно изменить переменные v. Для этого
разложим ограничения hj(y, w) около точки (v,+1, wr+1)
в ряд Тейлора и ограничимся членами первого порядка.
Откуда нетрудно получить, что в точке (vr+1, W+1) огра-
ничения (7.24) выполняются, если вектор vr+1, получен-
ный из выражения (7.38), изменяется на величину:
Av = —H^'h, (7.39)
где h= (hi, ..., hm) —вектор значений ограничений, вы-
численных в точке (vr+1, w^1).
Таким образом, решение задачи нелинейного про-
граммирования (7.23), (7.24) свелось к итерационной
процедуре, выполняемой по формулам (7.29), (7.38) и
(7.39). В связи с необходимостью обращения матрицы
Hv будем считать, что она является не вырожденной,
т. е. уравнения связей (7.26) однозначно определяют
зависимые переменные через независимые. Для выпол-
нения этого условия можно рекомендовать, поскольку
это возможно, вспомогательные переменные xn+i выби-
рать в качестве независимых переменных w, а оставшие-
ся переменные назначать так, чтобы диагональные эле-
менты Н« были по величине как можно больше недиа-
гональных [174].
Другой подход к решению задачи (7.23), (7.24) ос-
новывается на использовании того факта, что ее опти-
мальное решение х* находится в точке, принадлежащей
(п—т) -мерному подпространству D2, которое образова-
но пересечением гиперповерхностей (7.24). Это позволя-
ет задачу поиска условного минимума свести к задаче
определения направления S наибыстрейшего убывания
функции Q(x) в подпространстве D2 и движению с не-
которым шагом вдоль этого направления:
у'-+> = х'Ч-Дх'- = х''4-Лг8г. (7.40)
Поскольку уравнения (7.24)—нелинейные, а размер
шага конечен, то с каждым новым шагом точка yr+1
будет удаляться от подпространства D2. Для обеспече-
ния сходимости данного процесса к точке минимума не-
обходимо на каждом шаге осуществлять возвращение
текущей точки на поверхность, образованную пересече-
нием ограничений, корректируя yr+1 по формуле
хг+1 = уг+1-|-Дуг+1. (7.41)
152
Таким образом, каждый шаг алгоритмов поиска дан-
ного класса Л13р, реализующих методы проектирования
градиента [16, 103, 175—178], состоит из двух этапов:
градиентной фазы и фазы восстановления. В градиент-
ной фазе предполагается, что точка хг удовлетворяет
ограничениям (7.24), а приращение Дхг вычисляется так,
чтобы величина минимизируемой функции уменьшалась.
Рис. 7.2. Процесс поиска миниму-
ма функции Q(x) при помощи ме-
тола проектирования градиента.
Для этого через точку хг проводятся гиперплоскости, ка-
сательные к ограничениям, и градиент функции Q(x)
проектируется на пересечение этих аппроксимирующих
линейных ограничений. Вдоль полученной проекции осу-
ществляется поиск точки уг+1 с наименьшим значением
функции Q(x). В фазе восстановления исходная точка
yr+t не удовлетворяет ограничениям. Поэтому прираще-
ние Дуг+1 определяется таким образом, чтобы ограниче-
ния в новой точке хг+‘ удовлетворялись с заданной точ-
ностью. Если в фазе восстановления не обеспечивается
требуемая точность выполнения ограничений, то она по-
вторятся несколько раз. На рис. 7.2 показан процесс
поиска минимума функции Q(x) при помощи метода
проектирования градиента.
Остановимся более подробно на определении анали-
тических выражений для приращений Дхг и Дуг+1. Будем
говорить, что точка х лежит в-б-окрестности множества
Di, если выполняется условие
(h*(x\ h(x))<8, (7.42)
где б — требуемая точность выполнения ограничений.
Обозначим матрицу нормалей к каждой касательной
плоскости поверхности /i,(x)=0, / = 1, 2, ..., т, через
U(x) = (llTt,... ,11’»), (7.43)
где
и/ = V h/ (х) = (dhildx,..dhf/dx„). (7.44)
Предположим, что для любой точки х, принадлежащей
153
6-окрестности Z)2, векторы и, линейно независимы и не
равны нулю. Тогда матрица [UT(x)U(x)] является невы-
рожденной и имеет обратную матрицу
V(x) = [UT(x)U(x)]"‘. (7.45)
Если столбцы матрицы [UT (х) U (х)] линейно зависимы, то
один из векторов Uj является линейной комбинацией
других и соответствующее ограничение является избы-
точным в точке х. В связи с чем оно может быть исклю-
чено из рассмотрения в данной точке.
На каждой итерации градиентной фазы при выборе
направления Sr требуется обеспечить выполнение сле-
дующих ' условий. Во-первых, направление Sr должно
выбираться так, чтобы вдоль него достигалось наиболь-
шее уменьшение функции Q(x). Разлагая функцию
Q(x) около точки yr+1 в ряд Тейлора с точностью до чле-
нов первого порядка, получаем, что вдоль направления
Sr необходимо'минимизировать разность:
Q (yf+1) — Q (хг) = v Q (Xr) S'-. (7.46)
Во-вторых, направление Sr, являющееся единичным
вектором
(S')tS'=1, (7.47)
должно принадлежать пересечению касательных плоско-
стей, проходящих через точку хг:
UT(xr)Sr = 0. (7.48)
Таким образом, для определения значения вектора
Sr, удовлетворяющего введенным требованиям, необхо-
димо решить задачу оптимизации:
min{VQT(x')S} (7.49)
s
при условии, что
UT(x')S = 0, (7.50)
(ST, S)=l. (7.51)
Функция Лагранжа для задачи (7.49) — (7.51) имеет
вид
Ф(Б, V, A) = VQTS + v4J*S4-(V,)M((STS)—1)], (7.52)
где (‘/г) А, и v= (vi, ..., vm) —множители Лагранжа. От-
куда, учитывая (7.50), получаем
v = -V(x)UT(x)VQ(x), (7.53)
s'=—(х) V Q (х)=— (I — и (х) V (х) UT (х)] v Q(X),
(7.54)
154
где / — единичная матрица; 5s (х) — матрица проектирова-
ния градиента функции Q(x) на пересечение гиперповерх-
ностей.
Все выражения в правых частях формул (7.53),
(7.54) вычисляются в точке хг.
Для определения оптимальной длины шага необ-
ходимо одним из методов, рассмотренных в гл. 3, решить
задачу одномерного поиска:
min ф (хг, Л), (7.55)
Х>0
где ф(хг, А) = Q (xr XSr) — функция критерия (7.23) либо
ф(хг, A) = Q(xr-|-ZSr)H-vTh(xr-(-2S'')—функция Лагранжа
для задачи (7.23), (7.24) с множителями V, вычисленными
при помощи выражения (7.53) в точке хг.
Недостатком алгоритма БЧз, использующего в выра-
жении (7.40) значения Sr и из (7.54) и (7.55), явля-
ется то, что он обладает свойством только асимптотиче-
ской сходимости. Для обеспечения квадратичной скоро-
сти сходимости процесса поиска при определении при-
ращения Ахг будем использовать информацию, полу-
чаемую на r-м и (г—1)-м шагах поиска в виде соотно-
шения:
(Дхг —рДхг‘‘)т(Дхг — рДхг-1) = ^,
где Ki, Р — постоянные величины.
Тогда задачу определения наилучшего приращения
Дхг можно сформулировать как задачу оптимизации:
min {(V QT(x), Дх)} (7.56)
Ах
при условии, что
UT(x)Ax = 0, (7.57)
(Дх — рдх'’*)т(Дх - рДхг~»)=Ki. (7.58)
Функция Лагранжа для задачи (7.56) — (7.58) имеет
вид:
Ф(Дх, V, Л,) = V QT(x) Ax-f-vTUT(x) Дх-f-
+(’М) [(Дх — рДхг-,)т(Дх — рДхг-*) — К,].
Откуда нетрудно получить, что
Axr=-Z[VQ(x) + U(x)v] + ₽Ax^1. (7.59)
Согласно (7.40) имеем Axr = A.rSr и аналогично для
(г—1)-го шага Axr~I = Zr_1S''’, тогда из (7.59) следует,
155
4td
Sr = -[VQ(x) + U(x)vj-HS'-‘, (7.60)
v = - V (x) [UT (x) VQ(x) -yUT (x) S'-*], (7.61)
где y=pXr-i/Xr; Sr-1 — направление поиска на предыду-
щем шаге. На первом шаге поиска (г=1) считается, что
Sr-1 = 0, т. е. направление поиска совпадает с Sr, получае-
мым из (7.54) по алгоритму F’is.
Приращение Дх пропорционально шагу %. Подставив
(7.59) в (7.58), получаем, что
Ki = Л’ [V Q (х) + U (х) V]* [V Q (х) + U (х) V].
Следовательно, между константой Ki и длиной шага X
существует строгая зависимость, что позволяет не зада-
вать численного значения Ki.
Для определения параметров X и у рассмотрим в точ-
ке yr+1 функцию Лагранжа для исходной задачи (7.23),
(7.24):
ф(у. v) = Q(y)+ vTh (у), (7.62)
где
y = xr4-ASr.
Здесь Sr и vr вычисляются соответственно по формулам
(7.60) и (7.61). Следовательно, функция (7.62) в точке
yr+1 зависит от двух параметров X и у, оптимальные зна-
чения которых можно получить из необходимого условия
существования минимума функции (7.62):
дФ/д1 = фгх(у, v)Sr = 0, (7.63)
дФ/дХ = ЛФтх(у, v)S'-‘ + [A0T*(y, v)U(x) —
— hT(y)] vT=0,
где
Фж(у, v) = VQ(y) + U(y)v
v=-V(x)[Ut(x)VQ(x)-tUt(x)S'-‘] ,_R,.
vT = V(x)UT(x) S'—1 •
У= Xf + ASr
В общем виде аналитическое решение системы (7.63)
получить не представляется возможным. Поэтому пара-
метры X и у в процессе поиска находятся путем ее чис-
ленного решения, что позволяет из (7.60), (7.61) опреде-
лить Sr и v.
Вычисление численных значений % и у из выражений
(7.63) требует больших затрат машинного времени. По-
156
этому йа практике стратегию поиска по алгоритму F2i3
на r-м шаге можно представить при помощи следующей
последовательности действий по приближенным форму-
лам.
1. vf = -V(xr)UT(xr)7Q(xr);
2. Фх (xr, vf) = V Q (xr) + U (xr) vr;
О __ Фтх(Х', У')Фх(Х', У')
°- I фТх(Х',->, У''-1)Фх(Х»-->, УГ-‘) ’
так как направления S' и S'-' сопряжены друг другу.
4. Sr = —Фх(хг, vr)4-YSf-1;
5. Шаг Лг определяем при помощи одномерной ми-
нимизации функции
$(y) = Q(y) + vrh(y),
где y = xr + ASr;
6. Axr = ArSr.
На первом шаге поиска (г=1) считаем, что Sr-1=0,
поэтому значение коэффициента у при этом вычислять
не требуется. Для увеличения скорости сходимости ал-
горитма F213 рекомендуется обновлять информацию о на-
правлении поиска, т. е. брать Sr_1=0 через каждые N=
= (п—т) итераций, включающих градиентную фазу и
фазу восстановления. Можно показать (178], что для
квадратичной функции и линейных ограничений алго-
ритм F2i3 позволяет получить минимум не более чем за
(п—т) шагов, т. е. он обеспечивает квадратичную ско-
рость сходимости.
Квадратичная скорость сходимости процесса поиска
минимума задачи (7.23), (7.24) может быть получена и
для алгоритма F3i3, если для оценки величин Дхг и v
использовать метод с переменной метрикой [179]:
Дх'=— ЛгНг [V Q (X) + и (х) V],
v = - (х) HJJ (х)] - Ч1Т(х) Нг V Q (х), (7.65)
где Нг — положительно определенная матрица, которая
изменяется после каждой итерации.
Используя формулу (5.51), полученную для задачи
минимизации без ограничений, в данном случае можно
записать
н н । Ах' (Дх')т
''+* г "I (Дх')тФх(х', V)
__ НгФх (х'. у) Фтх (х', у) Hr ,7
фг, (х', у) НгФх (х', у) • ' ’
157
В начале Поиска в качестве Но выбираемся единичная
матрица и, следовательно, первая итерация алгоритма
F3i3, осуществляющего поиск по формулам (7.65), (7.66),
совпадает с итерацией по алгоритму РЧз. В конечном
счете алгоритм F3i3 позволяет определить окрестность
условного минимума, в которой функция Q(x) и ограни-
чения йДх) хорошо аппроксимируются разложением
в ряд Тейлора до членов второго порядка включительно.
Минимизация функции Q(x) на каждом шаге гра-
диентной фазы в алгоритмах F‘i3eA,3F, i=l, 2, 3, осу-
ществляется при наличии линеаризованных ограниче-
ний. Поэтому, если hj(x), являются нелинейными функ-
циями, может оказаться, что в конце градиентной фазы
точка yr+1 не принадлежит б-окресгности множества Dz.
В связи с-этим прежде чем перейти к следующей гради-
ентной фазе, необходимо выполнить фазу восстановле-
ния, т. е. определить точку xr+1, в которой выполняется
условие (7.42).
Аппроксимируем около точки xr+1 ограничения
h(xr+‘)=0 рядом Тейлора до членов первого порядка
и потребуем, чтобы полученные линеаризованные огра-
ничения выполнялись в точке xr+1
h(yr+1) + UT(yr+,)Ayr+1 = O. (7.67)
Для того чтобы величина функции Q(x) изменилась не-
значительно в точке хг+1 по сравнению с значением
в точке yr+1, приращение Ayr+1 должно выбираться как
можно меньшим. Это требование с учетом ограничений
(7.67) приводит к решению следующей задачи оптими-
зации:
min {*/2 (Ду)тДу} (7.68)
Ду
при условии, что
h(yr+l) + UT(yf+1) Ду = О.
Функция Лагранжа для этой задачи имеет вид
Ф(Ду, о) = у2(Ду)тДу4-оЧЬ(уг+94-ит(уг+1) Ду]. (7.69)
Откуда нетрудно получить, что
a = V(yr+1)h(yr+l), (7.70)
Дуг+| = _ и (у'+‘) V (yr+1) h (y'+1). (7.71)
Таким образом, фаза восстановления, в ходе которой
корректируются нарушившиеся ограничения, осуществ-
ляется по формуле хг+1 = уг+14-Ду''+1. Эта процедура
повторяется до тех пор, пока не выполнится условие (7.42) ф
158
Поиск точки минимума считается законченным, если
модуль проекции градиента функции Q(x) на пересече-
ние всех гиперповерхностей становится меньше задан-
ной величины. При выполнении этого условия градиент
функции Q(x) можно записать в виде линейной комби-
нации нормалей up
VQ(x)=tU(x)v. (7.72)
Если все то исходная задача решена, так как вы-
полнено необходимые услови-i существования точки ми-
нимума (7.5).
В качестве начального приближения х° в рассматри-
ваемом классе алгоритмов 413f необходимо задавать
точку, удовлетворяющую системе равенств (7.24). Та-
кую точку можно получить решая следующую вспомо-
гательную задачу.
Пусть имеется точка х'. Для простоты предположим,
что I ограничений (7.24) нарушаются, а остальные
(т—/) выполняются точно:
Л;(х')<0,П=Ч, 2,Л/(х') = 0, / = /+ 1,... ,/п.
Введем вспомогательные переменные хп+г. Тогда об-
ласть допустимых решений в (п + 1)-мерном пространст-
ве имеет вид
D = (x, хп+,..Хл+/|Л/(х) -|-лп+г = 0, i —
= 1.../;Л/(х) = 0, / = /4-1..т,х„+г>0}. (7.73)
Теперь задача определения начального приближения
x°eZ>2 может быть сформулирована как задача оптими-
зации
1 1
max '. —(7.74)
(X, Хя + 1 ... *д+/) €= О i=l J
решение х* которой можно получить с помощью одного из
алгоритмов i=l,2, реализующих метод проектиро-
вания градиента. Если { £х*л+, =0, то соответствую-
щее решение задачи (7.74) является начальным прибли-
жением исходной задачи. В противном случае при
—2 множество Dt пусто, так как ограниче-
z=i I
ПНЯ hj(x)—O, j=l, т, несовместны.
159
Блок-схема одного из вариантов алгоритма РЧз ре*
шения задачи (7.23), (7.24) с помощью метода проекти-
рования градиента приведена на рис. 7.3. Реализация
алгоритмов F2i3 и F3i3 отличается от приведенной только
правилами определения приращения Дхг в градиентной
Рис. 7.3. Блок-схема алгоритма, реализующего метод проектирова-
ния градиента.
фазе. В алгоритме F2i3 для этого используются формулы
(7.60), (7.61) и (7.63) или упрощенная процедура,
а в алгоритме F3i3— формулы (7.65) и (7.66).
160
По сравнению с алгоритмами, реализующими мето-
ды штрафных функций, данный класс алгоритмов явля-
ется более трудоемким в связи с тем, что на каждом
шаге требуется находить обратную матрицу V(x).
Однако для задач выпуклого программирования рассмо-
тренные алгоритмы позволяют получить значение гло-
бального минимума с более высокой степенью точности,
чем алгоритмы метода штрафных функций,
7.3. Сведение исходной задачи
к совокупности задач линейного
программирования
Рассмотрим класс алгоритмов AliF для решения
задачи выпуклого программирования
minxn, (7.75)
xeD
где £) = {х|^{(х) >0, i=l, 2, ..., т}.
Это предположение не нарушает общности рассужде-
ний, так как исходная задач (7.1), (7.2) эквивалентна
задаче оптимизации
min х„+1 (7.76)
(X,, .... хп, *п+1)
при условии, что
*п+1—Q(xi, • • •> Хп) >0; gf(xi, • ; Хп) >0, i=l,2,..., т.
Особенностью задачи (7.75) является то, что оптималь-
ное решение находится на границе области допустимых
решений, где хотя бы одно из ограничений обращается
в равенство.
Допустимая выпуклая область D приближенно мо-
жет быть представлена семейством всех содержащих его
полупространств (180]. Следовательно, каждое ограни-
чение g'j(x)^O можно заменить семейством линейных
неравенств, получаемых в результате аппроксимации
каждого ограничения рядом Тейлора (до членов первого
порядка).
Пусть имеются точки xr, r=0, 1, 2, ..., k. Тогда для
i-го полупространства в каждой точке хг справедливо
ограничение
g-/(xr) +VgTz(xr) ДХ?-’О, (7.77)
где Дх = х —хг.
11—242 161
Это позволяет заменить задачу (7.75) на каждой
итерации задачей линейного программирования minxn
при условии, что
g/(xr)+ VgTz(xr)i=l,2............m; r=O,l,...,k.
(7.78)
Сделаем замену переменного Дх3-=Д+х/—Д-xj, где
Д+х^О, Д~х3^0, /=1, 2, ..., п. Хотя этот шаг и удваи-
вает число варьируемых параметров, он необходим
в связи с тем, что линейное программирование опериру-
ет только с неотрицательными переменными. После под-
становки Д+xj и A~Xj в (7.78 )получается задача, кото-
рая уже может быть решена одним из методов линей-
ного программирования:
min (л*л4-Д+х„ —Д“хп} (7.79)
(Д+ х, Д~х)
при условии, что
VgT»-(xr) Д‘х — VgTi(xr)A+x<gj(x''), i = l, 2, ... т;
r = 0, 1..А; (7.«0>
Д+Xj > О, Д ~Xj > О, / = 1, 2.п.
Алгоритмы поиска, принадлежащие классу А14р и ос-
нованные на последовательном решении задачи (7.79) >
(7.80), известны в литературе как алгоритмы, реализую-
щие метод отсекающей плоскости [173, 180—183].
В алгоритме F44 [180] последовательность прибли-
женных решений хг определяется по следующему пра-
вилу. Выбираем произвольную точку х°, в которой огра-
ничения ^i(x)^0, i=l, 2, ..., пг, заменяем рядом Тей-
лора с точностью до членов первого порядка и решаем
задачу линейного программирования (7.79), (7.80).Если
решение этой задачи х‘= (х°+Д+х—А~х) удовлетворяет
всем ограничениям исходной задачи (7.75), то процесс
поиска точки минимума считается законченным. В про-
тивном случае точку х1 принимаем за точку аппроксима-
ции и, используя ее для построения дополнительных не-
равенств по форме (7.77), решаем новую задачу линей-
ного программирования (7.79), (7.80). Пусть после k
шагов поиска получено решение задачи линейного про-
граммирования xfe+1. Тогда новая задача линейного про-
граммирования типа (7.79), (7.80) формируется путем;
добавления к ограничениям (7.80) системы неравенству
полученной для точки хй+1:
162
VgT4xft+‘)A~x — VgTi(x№)A+x<g/ (x*+‘), i =
= 1,2....................tn. (7.81)
Рассмотренный алгоритм сходится [182] к точке миниму-
ма при условии, что последовательность точек хг выби-
рается таким образом, чтобы функция критерия задачи
линейного программирования (7.79), (7.80) была огра-
ничена сверху.
Нетрудно заметить, что на каждой итерации совсем
не обязательно вводить в задачу линейного программи-
рования все ограничения (7.81). Схема поиска, учиты-
вающая эту особенность, связана с алгоритмом F2i4 [181],
в котором на (й-Ы)-м шаге добавляется единственное
линейное ограничение. Это ограничение соответствует
/-му нелинейному ограничению, для которого выполня-
ется условие
gi (х*+‘) = min gi (xfe+‘).
Для численного решения задачи линейного програм-
мирования (7.79), (7.80) целесообразно применять двой-
ственный симплекс-метод [11], который позволяет от ре-
шения, полученного на r-й итерации, легко перейти к ре-
шению задачи, образованной на (г-Н)-й итерации, по-
средством добавления нового линейного неравенства.
Другая реализация метода отсекающей плоскости
связана с алгоритмом F3t4 [184], в котором вводится мно-
гогранник Do, содержащий допустимую область измене-
ния переменных исходной задачи D, т. е. Dc.D0. В ка-
честве многогранника Do можно рассматривать мно-
жество точек, удовлетворяющих условию
xJ<Xf<x*, /==1,2.......п—1; хп<х*;
п—1
2 а{Х1-]~Хп^х~.
(=1
где ai, x~j, x+j — постоянные величины.
Последнее линейное неравенство выбирается вместо
ограничения х~<хя для того, чтобы задача линейного
программирования {min хп} имела однозначное решение.
Предположим, что известна начальная точка
х°в<=2) Q Do, т. е. точка, в которой строго выполняются
все ограничения задачи (7.75). В дальнейшем будем на-
11* 163
зывать такую точку внутренней точкой множества D.
Тогда стратегия поиска по алгоритму ^314 сводится к сле-
дующей последовательности действий.
1. Принимаем г=1 и при помощи решения задачи ли-
нейного программирования {minхп}находим точку хгл^Р».
о
Рис. 7.4. Поиск минимума в выпуклой области при помощи локаль-
ного алгоритма F3H, реализующего метод отсекающей плоскости.
2. Определяем точку хх, являющуюся пересечением
отрезка хглх°в с границей области допустимых реше-
ний D. Для этого решаем задачу одномерного поиска
min {min gi (х)}2,
ls£tssm
(7.82)
где х = хгл4-Л(х°в— хгл); и xrn^D.
3. Полагаем r = r-J-l и через точку хгх проводим
касательную гиперплоскость Гг(х)=0 к тому ограниче-
нию, которое обращается в равенство. Пусть j-e ограни-
чение обращается в равенство, тогда
Г, (X) = V Fi (х\) ( X — х\) + gj (х\) = 0.
164
4. Решаем задачу линейного программирования
min Хп, (7.83)
где Dr = {x|xGD„ Г/(х)>0, t = l,2.....г}.
Если решение задачи (7.83) хгл^7), то исходная за-
дача решена. В противном случае все действия повторя-
ются с п. 2.
На рис. 7.4 показан поиск минимума в выпуклой об-
ласти D при помощи локального алгоритма F3u, реали-
зующего метод отсекающей плоскости.
Недостатком алгоритмов, реализующих метод отсе-
кающей плоскости является то, что на каждой итерации
число ограничений в задаче линейного программирова-
ния постоянно увеличивается. Кроме того, рассмотрен-
ные алгоритмы позволяют определить только локальный
минимум при решении задач невыпуклого программиро-
вания.
7.4. Некоторые подходы к решению задач
невыпуклого программирования
Рассмотрим задачу минимизации линейной функ-
ции Q(x)
min Хп, (7.84)
где D= {х| gi;(х)^0, i = 1, 2, .... tn}.
Относительно множества D предположим, что оно
односвязно и замкнуто. В отличие от задачи выпуклого
программирования (7.75) допустим, что множество D мо-
жет и не удовлетворять условию выпуклости. В этом
случае задача (7.84) является задачей невыпуклого
программирования и может иметь несколько локальных
минимумов.
В общем виде задача невыпуклого программирования
пока не имеет строгого математического решения. Одна-
ко в связи с тем, что данный класс задач часто встре-
чается на практике, рассмотрим эвристический алгоритм
[185], основная идея которого состоит в много-
кратном применении некоторой модификации метода от-
секающей плоскости F4i4 (этот алгоритм будет подробно
рассмотрен ниже) для разных значений внутренней точ-
ки х°ве£).
12—242 165
Предположим, что имеется хотя бы одна внутренняя
точка x°B^{x|g‘i(x)>0, i*=l,2,.m}, которая может
быть найдена, например, с «помощью процедуры, рассмо-
тренной в § 7.1. (Для задачи невыпуклого программиро-
Рнс. 7.5. Поиск минимума в невыпуклой области при помощи локаль-
ного алгоритма F3H, реализующего метод отсекающей плоскости.
Рис. 7.6. Пример поиска минимума в невыпуклой области при помо-
щи модифицированного алгоритма F414, иллюстрирующий использо-
вание первого дополнительного правила.
166
вания это принципиальное требование, которое должно
быть обязательно выполнено).
Применение рассмотренного ранее локального алго-
ритма F3i4 ib случае невыпуклой области D может дать
результат, который значительно отличается от истинного
минимума х* (как в примере, приведенном на рис. 7.5).
В связи с этим рассмотрим модификацию алгоритма
F3u—алгоритм F4u> в котором сделаны следующие из-
менения.
Во-первых, при образовании области Dr для задачи
линейного программирования, решаемой на r-м шаге,
применяется следующее дополнительное правило. Если
касательная плоскость Гг(х)=0 пересекает границу до-
пустимой области D в нескольких точках, то отсекаю-
щая плоскость' Гг(х) ^>0 на следующем шаге не рассмат-
ривается, а задача линейного программирования должна
решаться в области DT=D$. В качестве новой внутренней
точки в этом случае выбирается точка х^еО, получен-
ная из наиболее удаленной от х^точки хгл (пересечения
касательной плоскости Гг(х)=0 с границей области D)
по следующей формуле:
х% = xrk + (0, 0, .... О, 8), (7.85)
где 6 — заданная положительная постоянная.
Задача определения числа точек пересечения каса-
тельной плоскости Гг(х)=0 с границей области D яв-
ляется одномерной задачей глобальной минимизации и
может быть решена с помощью одного из методов, рас-
смотренных в гл. 4. Если область D имеет с Гг(х) —един-
ственную точку пересечения вХр то касательная пло-
скость Гг(х)=0 применяется как отсекающая плоскость,
а задача линейного программирования решается в об-
ласти
Dr = Dr., П Гг(х)> О,
т. е. в многограннике Dr-\ без той части, где Гг(х) <0. На
рис. 7.6 приведен пример реализации процесса поиска
минимума по алгоритму F4u, иллюстрирующий исполь-
зование данного дополнительного правила.
Во-вторых, для заданной внутренней точки модифи-
цированный алгоритм F414 не просто сходится к лежаще-
му рядом локальному минимуму, а на каждом шаге пы-
тается выйти из зоны его притяжения, чтобы попасть
в область следующего более глубокого минимума. С этой
12* 167
целью проверяется, принадлежит ли точка хгл (оптималь-
ное решение задачи линейного программирования, полу-
ченное на r-м шаге) области D. Если нет, то поиск по
алгоритму F4u аналогичен поиску по алгоритму F3u и
ведется в области Dr+\=Dr f) Гг(х) >0. В противном слу-
чае, если имеется несколько пересечений отрезка х'
с границей области D, точка хглеО считается новой
Рис. 7.7. Пример поиска минимума в невыпуклой области с по-
мощью модифицированного алгоритма F414, иллюстрирующий
использование второго дополнительного правила.
внутренней точкой и относительно нее весь процесс по-
и'ска повторяется сначала. При этом все отсекающие
плоскости, полученные для старой внутренней точки, из
рассмотрения исключаются и алгоритм продолжает по-
иск на (г-Ы)-м шаге в области Dr+i=Do. На рис. 7.7
приведен пример, иллюстрирующий использование вто-
рого дополнительного правила в модифицированном ал-
горитме, реализующем метод отсекающей плоскости.
168
Блок-схема модифицированного алгоритма F4i4, реа-
лизующего метод отсекающей плоскости, приведена на
рис. 7.8.
Рис. 7.8. Блок-схема модифицированного алгоритма F4u, реализую-
щего метод отсекающей плоскости.
169
Для локализации точки глобального минимума необ-
ходимо многократное применение алгоритма F4u из раз-
ных внутренних точек xftB, k=l, 2,..., N, расположение
которых в области D может быть задано, например, при
помощи метода Монте-Карло.
В рассмотренном алгоритме имеются процедуры, ко-
торые не нужны при решении задач выпуклого програм-
мирования. Поэтому для последних более эффективен
алгоритм F3i4. Однако при применении алгоритма F4i4
не требуется доказывать выпуклость задачи оптимиза-
ции перед ее решением, что делает его использование
предпочтительным и в .задачах поиска минимума в вы-
пуклой области допустимых решений D.
Другой подход [186] к решению задачи невыпуклого
программирования
min(cT, х), (7.86)
где D = {х | gi (х)> 0, г = 1,2, ..., т},
связан с построением выпуклой оболочки D от невыпук-
лого множества D. Здесь под выпуклой оболочкой D
понимается множество всех линейных комбинаций точек
из D:
D = /х|х = 2^/х/, *i(=D, Ij^O, 2^=11. <7-87)
1 i I J
В этом случае можно показать {186], что решение задачи
выпуклого программирования
min(cT, х) (7.88)
совпадает с глобальным минимумом исходной задачи
(7.86).
Общей методики построения выпуклой оболочки D
пока не существует. Поэтому рассмотрим вопрос по-
строения множества D iB частном случае, когда невыпук-
лая область D является объединением конечного числа
выпуклых множеств:
S
/>= и Dh (7.89)
/=«
где Dj — выпуклые множества.
170
Кроме этого, будем считать, что каждая область D,
задается при помощи следующего выражения:
D/=a/D. + V/, / = 1,2...s, (7.90)
где Do — базовое выпуклое множество, в качестве кото-
Рис. 7.9. Пример невыпуклой допустимой области, образованной
объединением конечного числа выпуклых множеств.
Пример минимизации функции Q(x)={—Xi—Хг}, за-
данной на невыпуклом множестве D, которое удовлетво-
ряет условиям (7.89)—(7.90),приведен на рис. 7.9. Здесь
множеством допустимых решений является область:
з
D=\JDh (7.91)
/=1
Dt = {х [ gt (х) = 1 — (х, — 5)2 — (х2 — 5)’ >0};
А = {х | ёг (х) = 4 - (х, - 3)* - (х2 - 5)’ 5= 0}; (7.92)
D, = {х |fe, (х) = 4 — (х, - 5)2 - (xt - 3)* > 0}. .
Нетрудно видеть, что каждая область Dj, j=l, 2, 3, мо-
жет быть получена путем преобразования выпуклого мно-
жества Z>o={x|go(x) = 1—x2i—х^^О} по формуле (7.90)
при следующих значениях параметров dj и векторов
сдвига Vy:
а. = 1, а1==а,= 2; Vt=(5,5), V2=(3, 5), V» = (5,3)
(7.93)
В тех случаях, когда ни одно из множеств Dj не вы-
рождается в точку (т. е. каждое Оут^О) н может быть
171
описано с помощью выпуклой функции g’j(x):
D/={x|g/(x)>0}, (7.94)
выражение (7.87) можно записать следующим образом
[186]:
3= {х ] go [а’’ (2/) х - а-« (2;) V (2/)] > 0}, (7.95)
где а (2/) = £ 2/Л/; V (2/)=2 Wf, J = L 2,...
/=1 /=1
S
У 2/=1 (здесь go(x)>=O — выпуклая функция.
описывающая базовое множество Dt).
Для примера, приведенного на рис. 7.9, §-0(х) =
= 1—х8, — х2а и условие (7.94) выполняется для всех
Я/(х), /=1.2,3. Тогда согласно выражению (7.95) вы-
пуклая оболочка D невыпуклого множества D, заданного
условиями (7.91) — (7.92), определяется по следующей
формуле:
g. (а-. (ад х - а- И V (ад] = ( » 715*-~^2715>- ) ’ +
I ( Xs — 5X1 5Л2 ЗХз \ з , ~ л
. -г 'к—л. + г^ + гл,—) - 1 с °-
Таким образом, задаче минимизации функции Q(x) =
={—Xi—х2}, заданной на невыпуклом множестве D, мож-
но поставить в соответствие задачу выпуклого програм-
мирования
min { — х, — х2}
(X. 1)
при условии, что
(Xi — o2i —- 322 — 523)8 —|— (х2 — 52t — 522 — 32а)8—
— (2i —222 —|— 22а)8 0; 21 22 —|— 2® 1,
2/>0, /=1,2,3.
Решение сформулированной задачи выпуклого прог-
раммирования
172
л*> = Л*2 = 5+ /2 /2, Л*,=1, Г, = Л*» == О
соответствует глобальному минимуму Q* (5-j-]/r2'/2, 5-|-
К2 / 2) — (— Ю — J/2) исходной задачи.
В частном случае, когда области Dj заданы в виде
системы линейных неравенств:
[D/ = {x|Ax<B/}> (7.96}
где
B/ = a/B. + AV/, j=l, 2, .... s (7.97}
для каждого справедливо условие:
Ax<a/Bo4-AV/. (7.98).
Из (7.98) следует, что А(я~‘х — a^'V/) <В9.
Тогда согласно (7.95) для выпуклой оболочки О невы-
S
пуклого множества D — (J Dj, удовлетворяющего услови-
7=1
ям (7.96)—(7.97), можно записать
D=|x |Ах<£ Я/В
I /=1
где Я/>0; 2^=1-
/=1
(7.99}
Рис. 7.10. Пример невыпуклой до-
пустимой области, образованной
системой линейных неравенств.
На рис. 7.10 в качестве примера приведена область
допустимых решений задачи невыпуклого программиро-
вания
173'
min {— 2xi — x2} (7.100)
x=£>
при условии, что
D=U Dh
/=i
(7.101)
где
D/ = {x|x<B/}, / = 1,..., 4,
Условия (7.97) для данной системы неравенств выпол-
няются, поэтому согласно выражению (7.99) выпуклая
оболочка рассматриваемой допустимой области (7.101)
имеет вид
— Xi —ЗЯ> —г4Я> —j— 6Х< 0;
— Хг —|— 7 Я] —|— 6Я» —0; (7.102)
Л1+Л» + Я,-[-Л4=1; Л/>0, / = 1,2,3, 4.
Таким образом, задача невыпуклого программирова-
ния свелась к задаче поиска значений (х, X), минимизи-
Рис. 7.11. Пример неодносвязного
множества допустимых решений
рующих линейную функ-
цию (7.100) при условии
выполнения системы ли-
нейных неравенств (7.102).
Решение сформулирован-
ной задачи линейного
программирования (x*i=
= 6, Х*2 = 3, Х*1 = Х*2 =
=Х*з=О, Х*4=1) являет-
ся глобальным миниму-
мом Q* (6; 3) =—15 ис-
ходной задачи (7.100),
(7.101).
Рассмотренный подход
к решению задачи невы-
пуклого программирова-
ния, связанный с построе-
нием выпуклой оболочки D, может быть применен и к за-
дачам оптимизации с неодносвязной допустимой обла-
стью D, удовлетворяющей условиям (7.89), (7.90).
На рис. 7.11 показана неодносвязная область допу-
стимых решений для задачи невыпуклого программиро-
вания
min {—2x1—%г}
(7.103)
174
при условии, что
Ax<Bj или Ах<В2, (7.104)
где В^ = (5, —3, 3, —1, 15/2, —9/2, —1/2, 7/2);
Вт2 = (4, 0, 7, —3, 10, —4, 6, 0);
Ат==/1 -10 01 -1 -1 1\
\0 0 1—1 1. —1 1 —1/
Положим £>o=Di = {x| Ax<Bi}, тогда а>=1, аг — 2,
Vi = (0,0) и V2 = ( — 6, 1). Согласно выражению (7.99) •
выпуклая оболочка б множества (7.104) имеет вид
Ах <2,Bt-|-Л2В2; Л,4-г1=1> Л^О, 12>0. (7.105)
Следовательно, решение (x*i=4, х*2=6, X*i = 0,
Х*2=1) задачи минимизации функции (7.103) при усло-
вии, что выполняется система неравенств (7.105), являет-
ся глобальным минимумом Q* (4; 6) =—14 задачи не-
выпуклого программирования (7.103), (7.104).
В заключение необходимо отметить, что задача невы-
пуклого программирования с многосвязной областью
управляемых переменных D может быть сведена к зада-
че отыскания глобального минимума многопараметриче-
ской функции следующего вида:
Q(х) = (если хеР; (7.106)
(А^ в противном случае,
где А,» — произвольное большое положительное число.
В этом случае решение задачи минимизации функции
(7.106), определенной на многогранникеZ)o={x|x_j^Xj<i
s^x+j, j=l, 2, ..., п), который содержит область D, может
быть получено с помощью одного из методов, рассмот-
ренных в гл. 6.
Глава восьмая
ОПРЕДЕЛЕНИЕ ОПТИМАЛЬНЫХ
ПАРАМЕТРОВ РАДИОТЕХНИЧЕСКИХ ЦЕПЕЙ
ПРИ ПОМОЩИ МЕТОДОВ ПОИСКОВОЙ
ОПТИМИЗАЦИИ
Эффективность алгоритмов поисковой оптимизации»
рассмотренных в гл. 3—7, можно проиллюстрировать на
широком классе задач оптимального проектирования,
среди которых следует отметить следующие: определе-
ние режимов резания металлорежущих станков и авто-
матических линий [187]; выбор технологических пара-
метров гидроциклонов [188]; наилучший раскрой про-
мышленных материалов [189]; оптимизация размерной
сети при автоматическом нанесении размеров на черте-
жах [190]; автоматическая трассировка радиотехниче-
ских устройств [191]; расчет параметров электромагнит-
ных реле [192, 193] и т. д.
Однако область применения методов поисковой опти-
мизации настолько обширна, что даже рассмотрение за-
дач, которые могут быть сформулированы на различных
этапах машинного проектирования радиотехнических
цепей [194, 195], требует специального исследования.
Поэтому ниже в качестве примеров приводятся резуль-
таты решения только одной из наиболее часто встречаю-
щихся задач оптимального проектирования — задачи
определения параметров элементов радиотехнических
схем, обеспечивающих выполнение требований, которые
предъявляются к их характеристикам.
8.1. Проектирование пассивных RLC-цепей
с оптимальными характеристиками
Одной из важных задач, возникающих при автома-
тизации проектирования электронных схем, является за-
дача математического моделирования частотных харак-
теристик линейных пассивных RLC-цепей (полосовых,
низкочастотных и высокочастотных фильтров, согласую-
щих устройств, корректирующих схем и т. п.). От точно-
сти составленной модели во многом зависит возможность
176
J
дальнейшего использования ЭВМ для решения задач
анализа и оптимизации амплитудно-частотных и фазово-
частотных характеристик цепи.
Одним из методов анализа пассивных цепей является
метод линейного четырехполюсника. При этом свойства
четырехполюсника как цепи для передачи энергии пол-
ностью определяются соотношениями между напряже-
ниями на его внешних зажимах и токами, которые текут
через эти зажимы. Система уравнений
Ui ЯцЫг -j- Лц!г
или = к((8.1)
mi J \h /
описывает взаимодействие четырехполюсника с внешни-
ми цепями. Коэффициенты ац системы уравнений (8.1)
являются обобщенными параметрами четырехполюсника
и полностью определяются его схемой и значениями эле-
ментов.
Четырехполюсник, часто встречающийся в соедине-
ниях и содержащий от одного до четырех двухполюсных
элементов Zk, будем называть элементарным. На рис. 8.1
zr JL Z2
____________|
Рис. 8.1. Некоторые типы элементарных четырехполюсников.
показаны некоторые типы элементарных четырехполюс-
ников, из которых могут быть образованы более слож-
ные цепи. Приведенное определение четырехполюсника
допускает использование любого числа элементов R, L и
С в двухполюсниках и сколь угодно сложную конфигу-
177
рацию их соединений. Пример сложного двухполюсника
приведен на рис. 8.2.
Четырехполюсник, который может быть разделен по
крайней мере на два каскадно соединенных элементар-
ных четырехполюсника, условимся называть сложным.
Анализ этого случая осуществляется наиболее просто,
Рис. 8.2. Пример сложного двухполюсника.
так как обобщенные параметры сложного четырехполюс-
ника вычисляются по формуле
No
.А = р А*, (8.2)
где Ал—Л-матрица Л-го элементарного четырехполюсни-
ка; No — общее число элементарных четырехполюсников
в сложной цепи.
Зная A-матрицу сложного четырехполюсника и со-
противления генератора Rr и нагрузки RH, нетрудно рас-
считать его амплитудно-частотные и фазово-частотные
характеристики. Например, для рабочего затухания цепи
имеем* [206]:
Лр = 201g | (а.ц RK а.12 -]- ttsiRtR» -f- fls»Rr)/(2[ZRrRu) | •
(8.3)
Для автоматизации процесса анализа RLC-цепей раз-
работан [196] специальный язык описания принципиаль-
ной схемы, который позволяет с помощью программы
анализа четырехполюсников по информации о тополо-
гии цепи вычислять частотные характеристики сложного
четырехполюсника. Последовательность соединения эле-
ментов в двухполюсниках при этом задается с помощью
символов « + » — параллельное соединение и «—» — по-
следовательное соединение. Например, информация о то-
178
пологим двухполюсника, изображенного на рис. 8.2, име-
ет вид
Z = ((((Л/ — Cl — Rl) + (L2 — ((С2 — L3) + R2) —
— R3)) — R4) 4- (R5 — ((L4 — R6) + СЗ) — L5)). (8.4)
Информация о топологии элементарного четырехпо-
люсника содержит данные о типе четырехполюсника
(Т1 — четырехполюсник с продольным двухполюсником;
Т4—Т-образный четырехполюсник и т. д.) и о топологии
каждого входящего в него двухполюсника. (Примеры
описания топологий конкретных 7?£С-цепей будут при-
ведены ниже.)
Такой подход к описанию пассивной /?£С-цепи в ча-
стотной области позволяет осуществлять последователь-
ную оптимизацию амплитудно-частотных характеристик
за счет выбора номиналов элементов схемы.
Пусть требуется определить номиналы элементов по-
лосовых фильтров, минимальным числом которых мож-
но перекрыть полосу частот от 0,35 до 1 мГц. При этом
должны быть выполнены следующие технические требо-
вания.
1. Все фильтры имеют одну и ту же принципиальную
схему (рис. 8.3) и отличаются только значениями эле-
ментов L и С.
Рис. 8.3. Принципиальная схема полосового фильтра.
2. Полоса пропускания ft.. :fz каждого фильтра
должна быть выбрана таким образом, чтобы фильтр не
пропускал вторые гармоники сигналов. Для этого тре-
буется, чтобы рабочее затухание на второй гармонике
(2fi) было не менее 10 дБ.
3. Рабочее затухание ар в полосе пропускания не бо-
лее 0,2 дБ.
4. Для каждого фильтра 7?г=50 Ом и 7?н=Ю0 Ом.
Решение этой задачи может быть получено с по-
мощью трех фильтров, значения элементов которых при-
179
ведены в табл. 8.1. Зависимость рабочего затухания от
частоты для первого и третьего фильтров показаны на
рис. 8.4. Откуда видно, что полоса частот 0,35... 1,0мГц
может быть перекрыта только двумя фильтрами — пер-
Таблица 8.1
Номер фильт- ра Полоса пропускания, мГц Емкость, пФ Индуктивность, мкГ
С1 С2 сз L1 L2 L3 L4
1 0,35...0,5 11 450 2690 13 850 13,45 77 186 10,6
2 0,5 ...0,7 9070 1 690 1 ПО 8,4 62 148 6,7
3 0,7 ...1,0 5 720 1 345 6 925 6,7 38 93 5,3
вым и третьим, если их характеристики будут удовлет-
ворять поставленным требованиям в полосе пропускания
0,35 ... 0,6 мГц и 0,6... 1,0 мГц.
Рис. 8.4. Зависимость рабочего затухания от частоты первого и
третьего фильтров для исходного (пунктирные кривые 1, 3) и
оптимального (сплошные кривые I, III) вариантов.
Математическая формулировка поставленной задачи
имеет следующий вид.
Определить параметры элементов полосового филь-
тра
x = (Cl,C2,C3,Ll,L2,LS,L4), (8.5)
при которых обеспечивается минимальное отклонение
рабочего затухания от заданного значения ао=О,2 дБ
в полосе пропускания
min max ] ар (х, f) — а» | (8.6)
х f
180
при условии, что
Ор(х, 2Д)>10, (8.7)
/=1,2,..., 7. (8.8)
Функция (8.6) и ограничения (8.7) вычисляются по
математической модели рассматриваемого фильтра
(рис. 8.3), которая может быть получена при помощи
программы анализа четырехполюсников [196] по следую-
щей информации о топологии цепи:
[Т2; ZI (LI + С/)] [Т4\ ZI (L2)\ Z2 (L3)-, Z3 (С2)] [Т2;
ZI (L4-]-C3)]. (8.9)
Оптимальные решения х* задачи (8.5) — (8.8) для
первого и третьего фильтров приведены в табл. 8.2, а со-
ответствующие им зависимости рабочего затухания от
частоты показаны на рис. 8.4.
Таблица 8.2
Номер фильт- ра Пара- метры Емкость, пФ Индуктивность, мкГ
С1 С2 СЗ L1 L2 L3 1 “
X” 8 000 2 000 10 000 9 50 100 8
1 х° 11 450 2 690 13 850 13,45 77 186 10,6
1 X* 10019 2 690 12811 12,1 53,9 269,7 9,54
х+ 14 000 3 200 16 000 17 100 270 13
Х“ 4 000 1000 5 000 5 25 50 3
о х° 5 720 1 345 6 925 6,7 38 93 5,3
о X* 4 576 1 614 7618 9,15 34,2 176,7 5,3
х+ 6 ОСО 2 000 10 000 10 40 200 7
Предложенный способ описания частотных характе-
ристик позволяет решать задачи оптимизации пассив-
ных 7?£С-цепей с учетом паразитных элементов, входя-
щих в реальные конструкции. Введение новых элементов
в принципиальную схему в этом случае можно осуще-
ствлять при помощи системы автоматического проекти-
рования фильтров [197, 198], позволяющей на основе
диалога «человек — машина» оперативно редактировать
топологию цепи.
181
В качестве иллюстративного примера рассмотрим за-
дачу определения параметров баттервортовского фильт-
ра (рис. 8.5), который в полосе частот 5 ... 8 мГц должен
иметь минимальное значение неравномерности модуля
коэффициента передачи по напряжению.
Рис. 8.5. Принципиальная схема баттервортовского фильтра.
Математическое описание рассматриваемого фильтра
может быть получено с помощью программы анализа
четырехполюсников [196] по информации о топологии
цепи:
[Т2; Z1 Z1(L2 — C2)\ Z2 (СЗ L3\,
Z3(L4 — C4)\[T3-, Zl(C5-\-L5y, Z2(L6 — C6);
Z3(C7 + L7)]. (8.10)
Однако частотные характеристики, вычисленные по мо-
дели (8.10), значительно отличаются от соответствую-
щих характеристик реального фильтра. Это связано
с тем, что в реальной конструкции большое влияние на
характеристики фильтра оказывают собственные емко-
сти катушек, паразитные емкости между экранами и ка-
тушками, сопротивления потерь в магнитном сердечнике,
в экране, проводе катушек и т. д. В связи с этим мате-
матическая модель (8.10) должна быть уточнена таким
образом, чтобы имелась возможность учесть паразитные
параметры реального фильтра.
Получение математических зависимостей, связываю-
щих паразитные параметры фильтров с их конфигура-
цией и номиналами, представляет трудную задачу. По-
этому будем считать, что параметры катушек индуктив-
ностей имеют постоянные значения и могут быть получе-
ны экспериментально. Тогда каждую катушку индуктив-
ности в фильтре (рис. 8.5) можно заменить эквивалент-
ным двухполюсником, содержащим собственную индук-
182
тивность катушки с учетом экрана (L1—L7), емкость
между катушкой и корпусом (С2, С4, С7, С9, С12, С14),
собственную емкость катушки индуктивности (СЗ, С8,
С13) и сопротивление потерь (R1—R7). В этом случае
математическая модель исследуемого фильтра опреде-
ляется эквивалентной схемой, учитывающей паразитные
параметры реальной конструкции (рис. 8.6), численные
Рис. 8.6. Эквивалентная схема баттервортовского фильтра.^
значения которых приведены в табл. 8.3. Частотные ха-
рактеристики для 7?ЛС-цепи, изображенной на рис. 8.6,
получаются при помощи программы анализа четырехпо-
люсников [196] по информации о ее топологии:
[Т2; —£/) + С/)][Г5; Z/(С2); Z2((R2 — L2)-|-
4-С5); Z3(C4)][T1; Z1(C5)][T2-,
Z1 ((R3 — L3) + Cd)] [T3-, Z1 (C7)-, Z2 ((R4 — L4) + R ..
+ CS); Z3(C9)][T1; Zl(C10)][T2; Z1((R5 — L5) + { '
+ CH)] [T3-, Z1 (Cl2); Z2 ((R6 — L6) + C13);
Z3 (C14)] [Tl; Z1 (Cl5)] [T2-, Z1 ((R7 — L7) + Cl 6)].
Таблица 8.8
Обозначе- ния кату- шек ин- дуктив- ности (рис. 8.5) Индуктив- ность с учетом экрана, мкГ Емкость с учетом экрана, пФ Добротность на частоте Сопротивление яотерь [Ом] на частоте
f = 5 Мгц f = 8 Мгц f = 5 мГц f = 8 мГц
LI. L5, L7 3,36 2,5 53 52 2 3,24
L2 11,4 3,3 50 45 7,1 12,5
L3 2,34 1,7 52 50 1,41 2,66
L4 0,43 1,5 54 53 0,25 0,4
L6 14,5 3,5 48 44 9,2 19,3
Примечание. Здесь C2 = C4 = C7 = C9 = Cl2 = C14 — 1 пФ; СЗ = C8 =
= Cl 3 = 3 пФ.
183
Сопротивления потерь R1—R7 в модели (8.11) вычисля-
ются как средние арифметические от значений собствен-
ных потерь, замеренных на частотах б и 8 мГц.
Частотные характеристики, полученные то уточненной
модели (8.11), с заданной точностью соответствуют экс-
периментальным зависимостям. Это позволяет свести за-
дачу выбора параметров баттервортовского фильтра,
обеспечивающих минимальное значение неравномерности
модуля коэффициента 'передачи по напряжению, к зада-
че нелинейной оптимизации.
Определить параметры элементов фильтра
х = (07, С5, С6, СЮ, СИ, С15, С16), (8.12)
которые обеспечивают минимальное значение неравно-
мерности модуля коэффициента передачи по напряже-
нию К.и в полосе пропускания:
min [max | Л„ (х, f) | / min | /Q (х, f)| — l] (8.13)
х 5^fc^8
при условии, что
x~<Xj<x^ , /=1,2, ..., 7. (8.14)
Рис. 8.7. Зависимость модуля коэффициента передачи по напряже-
нию для исходного (----------) и оптимального (------) вариантов
баттервортовского фильтра. (Крестиками отмечены результаты
эксперимента для оптимального варианта.)
Оптимальное решение х* задачи (8.12) — (8.14) приве-
дено в табл. 8.4, а на рис. 8.7 показаны зависимости
|Лирот частоты для исходного и оптимального вариан-
тов фильтра.
184
Таблица 8.4
Исходный вариант (рис. 8.5) с/ С2 сз С4 С5 С6 С7
123 56 202 390 182 56 62
Оптимальный вариант (рис. 8.6) С1 С5 С6 СЮ СП С15 * СЮ
128 54 231 220 175 39 179
Предельные значения X" 100 40 180 200 150 30 50
х+ 150 70 250 400 200 60 200
Примечание. Все номиналы указаны в пикофарадах.
8.2. Оптимизация параметров
электрических фильтров с учетом
неоднородных потерь в элементах
В данном параграфе рассмотрим задачу определе-
ния электрических и конструктивных параметров радио-
технической цепи заданной структуры при условии, что
на значения ее элементов и ряд частотных характери-
стик наложены ограничения. Предположим, что некото-
рые элементы цепи можно представить при помощи
эквивалентных двухполюсников, компоненты которых
выражаются через геометрические размеры реального
элемента. Эти компоненты могут зависеть от непрерыв-
но изменяющегося в заданном диапазоне параметра, на-
пример, от частоты. К данному классу схем относятся
электрические фильтры на ограниченных по величине
элементах с потерями [201, 202], интегральные 7?С-зхе-
мы [203], микрополосковые усилители СВЧ [204] и т. д.
В качестве примера рассмотрим задачу оптимизации
параметров согласующего фильтра с низкодобротными
катушками индуктивности.
Технические требования, которым должен удовлетворять проек-
тируемый фильтр, следующие:
— центральная частота согласующего фильтра—17,5 мГц;
— ширина полосы пропускания—7 мГц;
— рабочее затухание ар в полосе пропускания 14—21 мГц не
более 4 дБ;
— неравномерность рабочего затухания Дар в полосе пропуска-
ния не более 1,5 дБ;
— модуль входного сопротивления \Z вх| в полосе пропускания
находится в пределах от 400 до 800 Ом;
— рабочее затухание ар (28) на второй гармонике 2fi=28 мГц
не менее 15 дБ;
— Яг = 2,2 кОм; Ян=50 Ом.
13—242 185
Эквивалентная схема фильтра приведена на рис. 8.8;
каждая катушка индуктивности заменена эквивалент-
ным двухполюсником, в котором паразитные потери учи-
тываются сопротивлением а, паразитная емкость — ем-
костью Ск и собственная индуктивность — индуктивно-
Рис. 8.8. Эквивалентная схема полосового фильтра с учетом потерь
в элементах.
стью Lfe. Электрические параметры катушек индуктивно-
сти L0—L4, С19 С4, С5, С6, СЮ и Го—г4 вычисляются
соответственно по формулам [199, 200]
Lk = [0,023РЧЛ^]/[/* (2,3 + Dk[lk)] [мкГ]; (8.15)
rft = [14,8№ft Vf 10"*]l[lk/Dk] [Ом]; (8.16)
Ck = [«Z?A]/[8,3 lg ^d^V^dky- 1) [пФ], (8.17)
где IAffe= (lk+Tk)/tk—число витков k-й катушки; f — ча-
стота, мГц; Dh — диаметр каркаса катушки; — диа-
метр намоточного 'Провода; Ik — длина катушки и хк—
шаг намотки.
Управляемыми переменными х в этом случае являют-
ся конструктивные параметры каждой из пяти катушек
индуктивности и емкости С2, СЗ, С7, С8 и С9, т. е. число
варьируемых переменных п=25.
Частотные характеристики фильтра вычисляются
при помощи программы анализа четырехполюсников
[196] по информации о топологии схемы:
[Г2; Z/((((r0 —£0)4-С/) —С2) + С0][Г4; Zl (СЗ);
Z2((ri — Ll)+C4)\ Z3((rt-L2)^-C5)\[T3-, Zl(((rt —
— L3)-]-C6)-\-C7); Z2(C&); Z3(((r4 — L4) + C/0) + C9)].
(8.18)
В модели (8.18) при новых значениях управляемых пе-
ременных электрические параметры катушек ицдук-
|8б
тйвности пересчитываются по формулам (8.15) —(8.17).
Кроме того, сопротивления потерь a, k=0,1...........4, вы-
числяются для каждого нового значения частоты Д
Задача оптимизации в этом случае формулируется
следующим образом. Определить значения управляемых
переменных x=(xi, а, ..., As), которые обеспечивают
минимальное значение рабочего затухания в полосе про-
пускания
min max ар (х, f) (8.19)
* х
при условии, ЧТО
аР(х, 28) >15, (8.20)
min | ZBX (х, f) I > 400; (8.21)
14sSfe21
max | ZBX (x, f) I < 800, (8.22)
14^f<21
Дар (x) = [max ap (x, f) — minap (x, f)] < 1, 5. (8.23)
14jgfsg21 14s=fs£21
В табл. 8.5 и 8.6 приведены значения конструктивных
и электрических параметров для исходного и оптималь-
Таблица 8.5
Пара- метры Вариант Значения параметров для катушек индуктивности
L0 | L1 L2 | L3 L4
dk ИСХОДНЫЙ 0,12 0,15 0,2 0,1 0,3
оптимальный 0,12 0,15 0,2 0,1 0,3
гь. исходный 2,3 2,0 2,0 2,0 2,8
Vk оптимальный 2,3 2,0 2,0 2,0 2,8
исходный 13,6 2,8 4,0 3,5 2,5
lk оптимальный 16,4 2,8 4,0 2,86 2,0
исходный 0,25 0,18 0,21 0,3 0,5
Vt оптимальный 0,25 0,18 0,21 0,3 0,5
Примечани е. Все размеры даны в сантиметрах.
Таблица 8.6
Вариант Емкость, пф Индуктивность, мкГ
СО С2 СЗ [ С7 С8 С9 L0 L1 1L21 1 w 1 1 и
исходный оптималь- ный 50 50 10 000 8 470 4 700 7 500 47,5 23,8 74,5 78,96 253 156 11,12 13,45 2,99 2,99 3,3 3,3 1,47 1,19 0,76 0,61
13*
187
ного вариантов фильтра. Зависимости рабочего затуха-
ния и модуля входного сопротивления от частоты для
исходного и оптимальноговариантовпоказаны на рис. 8.9
и 8.10, а в табл. 8.7 даны их основные параметры.
Таблица 8.7
Вариант min|ZBX|, 14<fsS21 Ом maxlZgxI, 14s^21 Ом max %, 14^f^21 дБ Дар. ДБ ар(28), ДБ
исходный 127 4038 8,7 7,7 27
оптимальный 410 780 2,9 1,2 16
тра. (Крестиками отмечены результаты эксперимента для оптималь-
ного варианта.)
Рис. 8.1Q. Зависимость модуля входного сопротивления для исход-
ного (-* ) и оптимального (—5 ) вариантов полосового
фильтра.’ (Крестиками отмечены результаты эксперимента для опти-
мального варианта.)
8.3. Расчет оптимальных параметров
кварцевых фильтров по заданным частотным
характеристикам
Расчет пьезоэлектрических фильтров может быть
осуществлен [205—207] как по рабочим, так и по харак-
теристическим параметрам. Однако полученные таким
образом частотные характеристики будут соответство-
вать идеальному кварцевому фильтру, в котором не учи-
тываются потери в индуктивностях и паразитные емко-
188
ста. Это приводит к необходимости изменять параметры
элементов при учете реальных конструкций фильтра
таким образом, чтобы удовлетворялись технические тре-
бования на частотные характеристики. Для этого прин-
ципиальная схема проектируемой цепи заменяется экви-
валентной схемой, в которой учитываются как паразит-
Рис. 8.11. Принципиальная схема двухзвенного дифференциально-
мостового фильтра с пьезорезонаторами.
ные, так и собственные параметры кварцевой пластины
(динамическая индуктивность Lrb, добротность Qkb, ко-
торая определяет сопротивление потерь, и динамическая
емкость, зависящая от основной резонансной частоты
пластины /кв). Кварцевый резонатор (КВ) заменяется
в этом случае двухполюсником, состоящим из последова-
тельного соединения динамической индуктивности, со-
противления потерь и динамической емкости. Уточнен-
ная таким образом математическая модель кварцевого
фильтра позволяет свести выбор параметров его элемен-
тов к задаче нелинейной оптимизации.
В качестве примера рассмотрим задачу расчета параметров
двухзвенного дифференциально-мостового фильтра с пьезорезона-
торами (рис. 8.11), который обеспечивает заданное рабочее затуха-
ние аР (х, f):
1) аР(х, f)>60 дБ для всех f_4] и fe[f3, W;
2) ар(х, 0>56дБ для всех f S[f-2, f-з] и f3];
3) йр(х. /)<6дБ для всех Л];
4) Дар (x)=[max ар (х, f)— minap (х, ])]<°Лв'
189
Здесь (н=6222 кГц; /±|=^я*4>5 кГц; /±2=/в±'15 кГц; f±3=a
=fa±93 кГц и f+4=/H±1222 кГц.
Управляемыми переменными х являются следующие
параметры эквивалентной схемы: С1 — С8, Л?г, Ra, fKB1 —
/кв4» ^кв1 Аквг
К постоянным параметрам относятся параметры
трансформаторов и добротности кварцевых резонаторов,
определяющие потери в кварцевых пластинах: L1 = L6=
=0,6 мкГ; L2=L3 = 6,8 мкГ; L4 — L5= 10,3 мкГ; Qi=75,
i=l,2, ..,6;
, к12 = == кгз = = К" = К" = 0,1;
QKBi — Qkb2= 22 000; QK33 = QKB4 = 105.
Частотные характеристики данной схемы можно опре-
делить'по информации о топологии цепи при помощи
программы анализа четырехполюсников [196].
Математическая формулировка задачи выбора опти-
мальных параметров проектируемого фильтра имеет сле-
дующий вид.
Определить значения вектора управляемых перемен-
ных
х=(хь Xis), (8.24)
которые обеспечивают минимальное затухания в полосе пропускания значение рабочего
min max ар (х, f) при условии, что (8.25)
min ар(х, f): &60, (8.26)
min ap (x, f) S 56, (8.27)
Дар (x) < 0,5, (8.28)
/=1, 2, . 18. (8.29)
В табл. 8.8 приведены значения управляемых пере-
менных для исходного и оптимального вариантов диффе-
ренциально-мостового фильтра, а на рис. 8.12 показана
зависимость рабочего затухания от частоты для исход-
ного и оптимального вариантов.
190
Таблица 8.8
Параметры. Единицы измерения Вариант Предельные значения
исходный | оптимальный X- |
С1 30 33,41 30 60
С2 27 28,01 15 40
СЗ 3,2 3,2 2,0 6
С4 пФ 2,8 3,17 2,0 6
С5 3,0 3,91 2,0 6
С6 3,1 3,37 2,0 6
С7 13 17,84 7 20
С8 30 54,89 30 60
Rr Ом 300 237 100 500
Ря 300 171 100 500
^КВ1 6223,15 6222,148 6221,15 6225,15
^КВ2 6215,87 6214,598 6213,87 6217,87
^КВЗ кГц 6224,19 6222,879 6222,19 6226,19
^КВ4 6216,79 6215,261 6213,785 6218,785
^КВ1 70 78,4 45 140
^КВ2 мГ 90 88,2 45 140
^КВЗ ПО 118,8 45 140
^КВ4 . НО 138,6 45 140
Рис. 8.12. Зависимость рабочего затухания от частоты для исходно-
го (-------) и оптимального (-----) вариантов дифференциально-
постового фильтру.
191
Результаты решения задачи (8.24) — (8.29) при до-
полнительном условии, что динамические индуктивности
кварцевых резонаторов равны и постоянны:
Лкв1 = ^кв2 = ^квз = ^КВ4 =100 мГ
приведены в табл. 8.9. Значения основных параметров
рабочего затухания для этого случая даны в табл. 8.10.
Таблица 8.9
Параметры Единицы Вариант
измерения исходный оптимальный
С1 30 35,8
С2 27 28
СЗ 3,2 3,25
С4 пф 2,8 3,2
С5 3,0 4,0
С6 3,1 3,2
С7 13 17,5
С8 30 43,2
RT Ом 300 228
Rn 300 196
/kbi 6223,15 6223,547
6<В2 6215,87 6215,111
/квз кГц 6224,19 6224,141
^КВ4 6216,785 6215,465
Таблица 8.10
Варианты max др 4ар mln Др f-J, h] min Др £1, [fa, fsl
ИСХОДНЫЙ 13,7 11.9 71 58
оптимальный 1,69 0,29 60 56
Примечание: Все значения даны в децибеллах.
Аналогично может быть сформулирована задача рас-
чета параметров лестничного кварцевого фильтра,
принципиальная схема которого приведена на рис. 8.13.
Предположим, что кварцевые пластины КВ3-, /=1, ...
.... 11, являются высокодобротными, тогда сопротивле-
нием потерь в них можно пренебречь. Заменим каждый
19?
льезорезойатор эквивалентным двухполюсником, состоя-
щим из последовательного соединения динамической ин-
дуктивности и динамической емкости. Будем считать ди-
намические индуктивности кварцевых пластин постоян-
ными величинами:
£КВ1= ^кв2= ^кв4= ^квб= ^кв8 = Лквю= ^квп = 51,4 мГ;
^КВЗ = ^КВ5 = ^КВ7 = -^КВЭ ~ 25,7 мГ.
Тогда в качестве управляемых переменных х можно выб-
рать емкости С1—С11, основные частоты кварцевых пла-
стин /КВ1 —/Квп и сопротивления и Ra.
Рис. 8.13. Принципиальная схема лестничного кварцевого фильтра.
Эти величины должны выбираться таким образом, чтобы ра-
бочее затухание лестничного кварцевого фильтра удовлетворяло
следующим требованиям:
1) ар(х, f) <2,5 дБ для всех fill
2) ар(х, f)>70 дБ для всех f-з] и f€[fa, AJ;
3) Да,, (х. /)< 1 дБ для всех А].
Здесь f_i=7000,27 кГц; А=7003,5 кГц; f_3=6999,7 кГц; f2=
=7005 кГц; f-s=6995 кГц; /з=7010 кГц.
Задача оптимизации в этом случае формулируется
следующим образом.
Определить значения вектора управляемых перемен-
ных
х = (Xi, л»...х24), (8.30)
которые минимизируют неравномерность рабочего зату-
хания в полосе пропускания:
min [max аР(х, /)— min аР(х, /)] (8.31)
X f_,«l
при условии, что
max ар(х, /)<2, 5, (8.32)
fetf.pN
min ар(х,/)>70, (8.33)
f&f-i- f-»i U ы
/ = 1,2, ...,24. (8.34)
193
В табл. 8.11 приведены значений управляемых (Пере-
менных для исходного и оптимального вариантов лест-
ничного кварцевого фильтра, а на рис. 8.14 показана за-
висимость рабочего затухания от частоты для этих же
вариантов.
Таблица 8.11
Параметры Единицы Вариант Предельные значения
измерения исходный | оптимальный X" 1 х+
CJ 15 23,3 10 - 100
С2 15 10,0 10 100
СЗ 30 47 4 100
С4 15 10 10 100
С5 30 45,5 4 100
С6 пФ 15 10 10 100
С7 30 41 4 100
С8 15 10 10 100
С9 30 38,5 4 100
СЮ 15 10 10 100
СП 15 20,5 10 100
/кВ1 6999,4 6999,7 6999,25 6999,8
^КВ2 7001,84 7001,642 7001,2 7002,0
^КВЗ 6999,4 6999,7 6999,25 6999,8
АсВ4 7001,84 7001,7 7001,2 7002,0
/l<B5 6999,4 6999,7 6999,25 6999,8
^КВ6 7001,84 7001,326 7001,2 7002,0
/цВ7 кГц 6999,4 6999,7 6999,25 6999,8
^КВ8 7001,84 7001,268 7001,2 7002,0
^КВ9 6999,4 6999,7 6999,25 6999,8
А(В1О 7001,84 7001,688 7001,2 7002,0
^КВИ 6999,4 6999,7 6999,25 6999,8
Яг Ом 945 938 800 1200
Ян 945 1112 800 1200
8.4. Оптимальный расчет переключающих
транзисторных модулей
Рассмотрим задачу оптимального расчета парамет-
ров диодно-транзисторного модуля И — ИЛИ — НЕ с не-
линейной обратной связью (рис. 8.15).
Пусть проектируемый модуль собран на дрейфовом транзисторе
и кремниевых диодах, работающих в режиме переключения. В про-
194
Рис. 8.14. Зависимость рабочего затухания от частоты для исходно-
го (-------) и оптимального (------) вариантов лестничного квар-
цевого фильтра.
Рис. 8.15. Принципиальная схема диодно-транзисторного модуля
И—ИЛИ—НЕ с нелинейной обратной связью.
цессе проектирования необходимо определить номинальные значения
сопротивлений х= (RK, Rl, Rcm, R) при заданных нагрузках по
входу и выходу 7Ио = Ко=АГо = 5 и стандартных значениях напря-
жений источников питания Ек=—30 В±10%; ЕСм =—6,3 В±1%;
Еф = 6,3 В±10%.
Неуправляемыми переменными у являются параметры транзи-
стора и диодов, которые задаются при помощи нормальных зако-
нов распределения с известными математическими ожиданиями и
дисперсиями. Допуски на сопротивления заданы: 6^к = б/?ь = ±10%
и д₽см==д₽= ±5%.
В пределах поля допусков значения сопротивлений распределены
но равномерному закону.
195
Критерием оптимальности Q(x) является суммарная мощность,
рассеиваемая на транзисторе, диодах и сопротивлениях схемы Р= t
=.Р(х, у).
Условия работоспособности проектируемого модуля определяют-
ся следующими требованиями, которые должны выполняться в за-
данном температурном диапазоне. t
1. Схема должна работать в ключевом режиме:
а) для надежного запирания транзистора напряжение между
базой и эмиттером закрытого триода должно быть больше гранич-
ного значения
«бэз(х, у)Жо; (8.35)
б) условие насыщения выражается неравенством !
«б (х> у) > 'к (х- у)/в ('к (х> У))- (8-36)
где Z6 (х, у), /к (х, у)—токи базы и коллектора открытого транзисто 1
ра, соответственно; В (iK (х, у)) — статический коэффициент усилени
по току.
2. Схема должна согласовываться с другими модулями без до-
полнительных переходных элементов. Это требование сводится
к ограничениям на верхний и нижний уровень входного сигнала: j
v-b<[Vb(x, y)|<v+B;
V“h<|Vh(x, у) | < V+н. ' (8.37)
3. Схема должна обладать заданной помехоустойчивостью *).
В зависимости от исходного состояния для схемы представляет
опасность либо помеха, вызывающая запирание м3(х, у), либо по- ’
меха, вызывающая отпирание иотп(х, у):
Из(х, y)>Vi; «отп(х, y)>V2. (8.38) ।
4. Схема должна обладать быстродействием не хуже задан-
ного:
*ср (х, у) < А. (8.39)
5. Схема не должна работать в предельно допустимых режимах:
а) мощность, рассеиваемая на коллекторе открытого транзисто-
ра, не больше допустимой:
Рк(х, у)<Рд; (8.40
б) ток коллектора не больше допустимого в режиме переклю-
чения:
Мх. у) <«д; (8.41)
в) максимальное положительное напряжение на базе закрытого
транзистора не больше напряжения пробоя:
«бэз(х, у) < Ипр. (8.42)
Таким образом, задача расчета оптимальных пара-
метров элементов диодно-транзисторной системы И —
ИЛИ — НЕ может быть сформулирована как задача
оптимизации.
11001=-2э
*> Под помехоустойчивостью схемы здесь понимается минималь-
ный порог срабатывания максимально чувствительной схемы.
196
Учитывая колебания параметров элементов схемы
в поле допусков, требуется определить номинальные
значения управляемых, переменных
х = (R«, Rcm, R^t R), (8.43)
которые обеспечивают минимальное значение математи-
ческого ожидания мощности, потребляемой схемой,
min М {Р (х, у)} (8.44)
X
при условии, что вероятность выполнения условий рабо-
тоспособности схемы не меньше заданного значения
[2Ю]:
P{0,l<ite3(x, у)<2,8; 0,5<|Ув(х, у) |< 1, 5;
6<|Ун(х, у)|<8; и3(х, у)>1;
Ио™ (х, у) > 1; /ср (х, у) < 0,6;
Их, у) <25; Рк(х, у) <36;
i6 (х, у) > iK (х, у)/В (tK (х, у))} > 0,99. (8.45)
Математическая модель исследуемой схемы, как и
в [208], может быть получена из рассмотрения работы
схемы в открытом и закрытом состояниях, что позволяет
определить значения напряжений и токов в статическом
режиме для самых «неблагоприятных» сочетаний вход-
Таблица 8.12
Параметры и характе- ристики Единицы из- мерения 1 ; Значения параметров и характеристик для Ограничения
исходного варианта оптималь- ного вари- анта
Rk 10 27
| кОм 10 15 —
R 2,2 2,2 —•
Rea 7,5 1,5 —
P мВт 151 81 ——
Ибэз В 0,94 0,2 0,К«б»9<
<2,8
/’б | мА 0,22 0,14
zK/B 0,195 0,125 г’б>г'к/В
в )в 1,2 6,9 1,15 6,8 0,5<|VB|<l,5 6<|Va|<8
he, мА 15,6 11,5 г'к<25
Рк мВт 18,7 10,0 Рк<36
U3 1 R 2,5 3,2 1,0
Нота Jв 1,5 1,0 Иотп^1 .0
197
ных и выходных нагрузок. Динамические характеристи-
ки схемы определяются временем переключения, которое
можно получить в аналитическом, виде на основании ре-
шения уравнения сохранения неосновных носителей
в базе [209].
В табл. 8.12 приведены значения параметров х и ха-
рактеристик схемы, вычисленные при номинальных зна-
Рис. 8.16. Гистограммы распределения потребляемой мощности для
исходного (----) и оптимального (----) вариантов модуля
И—ИЛИ—НЕ.
чениях сопротивлений и источников литания. При этом
параметры диодов и транзистора были равны своим
средним значениям. На рис. 8.16 доказаны гистограммы
распределения потребляемой мощности, а на рис. 8.17—
распределения времени переключения для исходного и
оптимального вариантов модуля.
Рис. 8.17. Распределение времени
переключения для исходного
(------) и оптимального
(-----) вариантов модуля
И-ИЛИ—НЕ.
198
§.5. Обеспечение максимальной
работоспособности электронных схем
в процессе проектирования
При серийном изготовлении электронных схем в ка-
честве критерия оптимальности можно рассматривать
функцию Р(х), которая называется 'процентом выхода
годных схем. Эта функция характеризует вероятность
выполнения условий работоспособности при статистиче-
Рис. 8.18. Принципиальная схема транзисторно-транзисторной логи-
ческой схемы.
ском разбросе в поле допусков параметров элементов
схемы с заданными законами распределения вероятно-
стей. В этом случае задача оптимизации сводится к вы-
бору номинальных значений параметров x=i(%i ... хп)
элементов схемы таким образом, чтобы соответствую-
щее им значение критерия оптимальности имело макси-
мальную величину. Особенность решения этой задачи
заключается в том, что значение Р(х) в точке х полу-
чается методом статистического моделирования. Кроме
того, очевидно, что рассматриваемый критерий при по-
стоянных значениях допусков на параметры схемы яв-
ляется многоэкстремальной функцией.
В качестве примера решения задач такого класса рассмотрим
расчет транзисторно-транзисторной логической схемы (рис. 8.18),
математическая модель которой может быть записана в виде сле-
дующих характеристик схемы [211]:
— коэффициента нагружения по выходу
199
N (х) = 2,1 [2,45 + (3,95/(£2 + 0,01) — 1/Я4)]; (8.46)
— уровня помехи в логическом состоянии «0»
Дип (х) = 0,9 — 0,03 In £4; — средней потребляемой схемой мощности: (8.47)
Р (х) = 19/Д1 + 10,8/(7?2 + 0,017); — степени насыщения транзистора Т2: (8.48)
S(x)==8,55fl2//?1; — задержки распространения сигнала: (8.49)
t3 (X) = 0,55 + 0,087/?2//?4 — 0,5 [/?2 (3 + 0.079W (x)) —
— 8(1— 0,134Я2 — 0,136Я2/Я4 — 0.026W (x) )/(1 — 0,134Я2 +
+ 6,9/(8 + 3/?3)) — R2 (4,9 + 0.055W (x))J +
+ 0,15yV (x)) R1R2. (8.50)
Условия работоспособности определяются требованиями, которые
предъявляются к характеристикам схемы:
N (х) > 20; Дип (х) 0,8В; Р (х) С 20 мВт; S (х) Зэ 1,5;
/з (X) < 15 нс. (8.51)
Сопротивления Rk, k=l,..., 4, имеют разброс отно-
сительно своих номинальных значений в заданных пре-
делах Предположим, что в поле допусков сопротивле-
ния имеют равномерный закон распределения. Тогда,
выбирая ® качестве управляемых переменных х номи-
нальные значения сопротивлений Rk, £=1,..., 4, задачу
максимизации вероятности выполнения условий работо- д-
способности (8.51) можно сформулировать следующим
образом.
Определить номинальные значения сопротивлений
схемы
*=(R1,R2, R3, R4), (8.52)
которые обеспечивают максимальное значение вероят-
ности выполнения условий работоспособности:
maxP {gi (х, у)>0, i=l,2,.... 5}, (8.53)
X
где у — конкретные реализации сопротивлений;
gi (х. У) = ff (х, у) — 20; g, (х, у) = Дип (х, у) — 0, 8;
g» (х, у) = 20 — Р (х, у); g« (х, у) = S (х, у) —
— 1,5; g. (х, у) = 15 — /9 (х, у), (8.54)
200
Таблица 8.13
Управляемые пе- ременные и харак- теристики ЯДкОм S О W £ S я S S о ч S А“п’ в Р 3 «3, НС
Вариант исходный 4,49 0,95 0,05 0,48 24 0,92 15,4 1,8 11,6
оптималь- ный 3,99 1,05 0,14 1,48 30 0,89 14,9 2,25 12,9
Ограничения — — — — JV$?20 Д«п^0,8 Р^20 з^1,5 /3^15
Рис. 8.19. Допустимые области изменения управляемых переменных
R2, R4 (а) и Rl, R4 (б) для исходного (--------) и оптималыю-
г (-------) вариантов транзисторно-транзисторной логической
схемы.
при условии, ЧТО
0,5</?/; Я2<10; 0,05<lR3< 1; 0,1^’/?4<2, (8.55)
где R в кОм.
В табл. 8.13 приведены значения управляемых пере-
менных и характеристик для исходного и оптимального
вариантов транзисторно-транзисторной схемы. Результа-
ты вычисления вероятности выполнения условий работо-
способности (8.51) по выборке из 500 вариантов схем
для разных значений величин допуска бл приведены
в табл. 8.14, а на рис. 8.19 показаны допустимые области
14—242 201
Таблица 8.14
Вариант т Вероятность выполнения условий работоспо- собности при следующих значениях %
5 10 15 20 25 | 30
ИСХОДНЫЙ опти- мальный 1 1 0,956 1 0,729 I 0,627 1 0,505 0,961 0,399 0,843
изменения управляемых переменных (R2, R4) и (Rl, R4)
для исходного и оптимального вариантов. Заштрихован-
ными прямоугольниками показаны области изменения
сопротивлений схемы относительно номинальных значе-
ний в поле допуска б*=20%.
Список литературы
1. Сложные системы и решение экстремальных задач. — «Ки-
бернетика», 1967, 1№ 6. Авт.: Михалевич В. С., Ермольев Ю. М.,
Шкурба В. В., Шор Н. 3.
2. П о л л я к Ю. Г. Общие принципы и эвристические приемы
построения моделей для исследования проектируемых систем. —
В кн.: Вопросы кибернетики и вычислительной математики. Вып. 28.
Проблемы статистической оптимизации, Ташкент, «ФАН», 1969.
3. 3 а д е Л., Д е з о е р Ч. Теория линейных систем. Метод
пространства состояний. Пер. с англ. М., «Наука», 1970.
4. П о л л я к Ю. Г. Вероятностное моделирование на электрон-
ных вычислительных машинах. М., «Сов. радио», 1971.
5. Р е м е з Е. Я. Основы численных методов чебышевского
приближения. Киев, «Наукова думка», 1969.
6. Оптимизация радиотехнических цепей с характеристиками,
зависящими от непрерывно изменяющегося параметра. — «Известия
вузов. Радиоэлектроника», 1973, № 6. Авт.: Батищев Д. И., Смыс-
лов Г. М., Басалин П. Д., Игуменцева Г. В.
7. К а л ах а н Д. Методы машинного расчета электронных схем.
Пер. с англ. М., «Мир», 1970.
8. Темеш Г., К а л а х а н Д. Машинная оптимизация электри-
ческих цепей. ТИИЭР, 1967, т. 55, № 11.
9. В о х М. J. A comparison of several current optimization me-
thods and the use transformations in constrained problem. — «Com-
put. J.», 1966, v. 9, № 1.
10. В a n d 1 e r J. W. Optimization methods for computer — Aided
design. — «IEEE Trans.», 1969, v. MTT-17, № 8.
11. Юдин Д. Б., Г о л ь ш т е й н Е. Г. Задачи и методы ли-
нейного программирования. М., «Сов. радио», 1961.
12. Гольштейн Е. Г., Юдин Д. Б. Новые направления
в линейном программировании. М., «Сов. радио», 1966.
13. 3 у х о в «и ц к и й С. И., Авдеева А. И. Линейное и выпук-
лое программирование. М., «Наука», 1964.
14. К ю н ц и Т., Крелле В. Нелинейное программирование.
Пер. с нем., М., «Сов. радио», 1965.
15. Зойтендейк Г. Метод возможных направлений. Пер.
с англ., М., ИЛ, 1961.
16. Деннис Дж. Б. Математическое программирование и элек-
трические цепи. Пер. с англ. М., ИЛ, 1961.
17. Г е р м е й е р Ю. Б. Введение в теорию исследования опе-
раций. М., «Наука», 1971.
18. Карлин С. Математические методы в теории игр, програм-
мировании и экономике. Пер. с англ., М., «Мир», 1964.
19. Л а н г е О. Оптимальные решения. Пер. с польск. М., «Про-
гресс», 1967.
20. Г е р м е й е р Ю. Б. Игровые концепции в исследовании
систем. — «Изв. АН СССР. Техн, кибернетика», 1970, № 2.
21. Вилкас Э. И., М а й м и н а с Е. 3. К проблеме сложных
решений (постановка и подходы). — «Кибернетика», 1968, № 5.
14* 203
22. М е л е ш к о В. И. Теория полезности и методы введения
глобальных критериев оптимальности. — В кн/. Адаптивные систе-
мы. Под ред. Л. А. Растригина. Вып. 3, Рига, «Зинатне», 1972;
23. В о л к о в и ч В. Л. Многокритериальные задачи и методы
их решения. — В кн.: Кибернетика и вычислительная техника. Под
ред. В. М. Глушкова. Вып. I, Киев, «Наукова думка», 1969.
24. В о л к о в и ч В. Л. Методы принятия решения по множе-
ству критериев оптимальности (обзор). — В кн.: Сложные системы
управления. Вып. 1, Киев, ИК АН УССР, 1968.
25. Ю т т л е р X. Линейная модель с несколькими целевыми
функциями. — «Экономика и мат. методы», 1967, т. 3, '№ 3.
26. Д р е ш е р М. Стратегические игры. Теория и приложения.
Пер. с англ. М., «Сов. радио», 1964.
27. Венцель Е. С. Исследование операций. М., «Сов. ра-
дио», 1971.
28. Л а р и ч е в О. И. Человеко-машинные процедуры принятия .
решений (обзор). — «Автоматика и.телемеханика», 1971, № 12.
29. Линейное программирование с многими критериями. Метод
ограничений. — «Автоматика и телемеханика», 1971, № 8. Авт.: Бе-
найюн Р., Ларичев О. И., Монгольфье Ж. Д., Терни Ж.
30. Б а т и щ е в Д. И. САППОР-система автоматизации процес-
са принятия оптимальных решений. — В кн.: Кибернетические систе-
мы автоматизации проектирования (материалы семинара, январь
1973). Моск, дом научно-технической пропаганды, 1973.
31. Цыпкин Я. 3. Адаптация и обучение в автоматических
системах. М., «Наука», 1968.
32. Ю д и н Д. Б. Новые подходы к стохастическому программи-
рованию. — «Экономика и мат. методы», 1968, т. 4, вып. 6.
33. Ю д и н Д. Б. Выбор решений в сложных ситуациях. — «Изв.
АН СССР. Техн, кибернетика», 1970, № 2.
34. Е рмольев Ю. М. О некоторых проблемах стохастического
программирования. — «Кибернетика», 1970, № 1.
35. К а п л и н с к и й А. И., П р о п о й А. И. О стохастическом
подходе к задачам нелинейного программирования. — «Автоматика и
телемеханика», 1970, № 3.
36. Юдин Д. Б. Решающее правило в экстремальных зада-
чах.—«Изв. вузов. Радиофизика», 1972, т. 15, № 7.
37. Юдин Д. Б. Новые подходы к формализации выбора ре-
шений в сложных ситуациях. — «Автоматика и телемеханика», 1972,
№ 5.
38. Гурин Л. С., Д ы м а р с к и й Я. С., Меркулов А. Д.
Задачи и методы оптимального распределения ресурсов. М., «Сов.
радио», 1968.
39. У а й л д Д. Методы поиска экстремума. Пер. с англ. М.,
«Наука», 1967.
40. Островский Г. М., Волин В. М. Методы оптимизации
химических реактооов. М., «Химия», 1967.
41. Kiefer J. Sequential minimax search for a maximum.—
«Proc. Amer. Math. Soc.», 1953, v. 4, p. 502—506. ,
42. К i e f e r J. Optimum sequential search and appraximation
methods under minimum regularity assumptions. — «J. Soc. Industr.
Appl. Math.», 1957, v. 5, № 3.
43. C v x a p e в А. Г. Об оптимальных стратегиях поиска экстре-
мума.— «Ж- вычисл. мат. и мат. физ.», 1971, т. 11, № 4.
204
44. С у х а р е в А. Г. Наилучшие стратегии последовательного
поиска экстремума. — «Ж. вычисл. мат. и мат. физ.», 1972, т. 12,
№ 1.
45. Ч е р н о у с ь к о Ф. Л. Оптимальный алгоритм поиска корня
функции, вычисляемой приближенно. — «Ж. вычисл. мат. и мат.
физ.», 1968, т. 8, № 4.
46. Ч е р н о у с ь к о Ф. Л. Об оптимальном поиске экстремума
унимодальных функций. — «Ж- вычисл. мат. и мат. физ.», 1970, т. 10,
№ 4.
47. Ч е р н о у с ь к о Ф. Л. Об оптимальном поиске минимума
выпуклых функций. — «Ж- вычисл. мат. и мат. физ.», 1970, т. 10,
№ 6.
48. И в а н о в В. В. Вопросы точности и эффективности вычис-
лительных алгоритмов (обзор достижений в области кибернетики и
вычислительной техники). Вып. 2, Киев, ИК АН УССР, 1969.
49. В г о о k s S. Н. A comparison of maximum-seeking methods.—
«Орег. Res.», 1959, v. 7, p. 430—457.
50. Шкварцов В. В., Орленко Н. Н. Опыт эксперимен-
тального сравнения алгоритмов случайного поиска. — В кн.: Проб-
лемы статистической оптимизации. Под ред. Л. А. Растригина. Ри-
га, «Зинатне», 1968.
51. Захаров В. В. О сравнении методов решения много-
экстремальных задач. — В кн.: Поиск экстремума (математические
методы и автоматические системы). Под ред. В. П. Тарасенко. Том-
ский ун-т, 1969.
52. Батищев Д. И. Об экспериментальном сравнении неко-
торых методов поиска экстремума функций многих переменных.—
В кн.: Поиск экстремума (математические методы и автоматические
системы), Томский ун-т, 1969.
53. Р о з е н б р о к X., С т о р и С. Вычислительные методы для
инженеров-химиков. Пер. с англ. М., «Мир», 1968.
54. Хилл Дж., Гибсон Дж. Способ автоматической опти-
мизации многоэкстремальных функций. — В кн.: Теория самонастраи-
вающихся систем управления. Труды II международного симпозиума
ИФАК по самонастраивающимся системам. М., «Наука», 1969.
55. А л ь п е р о в и ч Э. Е., Б а т и щ е в Д. И., С т р о н г и н Р. Г.
Теоретические и прикладные аспекты тестирования алгоритмов по-
иска.— В кн.: Вопросы кибернетики (проблемы случайного поиска).
М., Научный совет по комплексной проблеме «Кибернетика» АН
СССР, 1973.
56. Г у р и н Л. С. К вопоосу о сравнительной оценке различ-
ных методов оптимизации. — В кн.: Автоматика и вычисл. техн.
Вып. 10, Рига, «Зинатне», 1965.
57. П о л л я к Ю. Г. К вопросу об экспериментальном иссле-
довании алгоритмов поиска экстремума. — «Автоматика и вычисл.
техн.», 1968, № 2.
58. Б а т и щ е в Д. И., Бедная Р. И., С т р о н г и н Р. Г.
О выборе параметров алгоритмов поисковой оптимизации. — «Авто-
матика и вычисл. техн», 1972, № 4.
59. С т р о н г и н Р. Г. Информационный метод многоэкстремаль-
ной минимизации при измерениях с помехами. — «Изв. АН СССР.
Техн, кибернетика», 1969, № 6.
205
60. С т р о н г и н Р. Г. Алгоритмы для поиска абсолютного ми-
нимума.— В кн.: Задачи статистической оптимизации. Под ред.
Растригина Л. А. Рига, «Зинатне», 1971.
61. Батищев Д. И., Литвер А. В. Тестирование метода
кусочно-линейной аппроксимации на одном классе многоэкстремаль-
ных функций. — «Изв. вузов. Радиофизика», 1971, 1№ 3.
62. Батищев Д. И. Тестовые функции для сравнения ме-
тодов поиска экстремума функций многих переменных. — «Автомати-
ка и вычисл. техн.», 1968, № 1.
63. X е м м и н г Р. В. Численные методы для научных работ-
ников и инженеров. Пер. с англ. М., «Наука», 1968.
64. Р а с т р и г и н Л. А. Стохастический синтез тестовых задач
поисковой оптимизации. — «Автоматика и вычисл. техн.», 1968, 1№ 2.
65. Растригин Л. А. Стохастическая модель объекта много-
параметрической оптимизации — В кн.: Методы статистической
оптимизации. Под ред. Л. А. Растригина. Рига, «Зинатне», 1968.
66. С т р о н г и н Р. Г. Простой алгоритм поиска глобального
экстремума функции нескольких переменных и его использование
в задаче аппроксимации функций. — «Изв. вузов. Радиофизика»,
1972, т. 15, № 7.
67. Rosen J., Suzuki S. Constraction of nonlinear programming
test problem. — «Communs. ACM», 1965, v. 8, № 2.
68. В о a s A. H. Optimization techniques. — «ААСЕ Bulletin»,
1966, v. 8, № 2.
69. В о p о б ь e в H. H. Числа Фибоначчи. M., «Наука», 1969.
70. Б е л л м а н Р., Д р е й ф у с С. Прикладные задачи динами-
ческого программирования. Пер. с англ. М., «Наука», 1965.
71. Первозванский А. А. Поиск. М., «Наука», 1970.
72. Н е у m a n n М. Optimal simultaneous search for maximum
by the principle of statictical information. — «Oper. Res.», 1968, v. 16,
№ 6.
73. Gal S. Sequential minimax search for maximum when prior
information is available. — «SIAM J. Appl. Math.», 1971, v. 21, № 4.
74. Емельянова H. M. Оптимизация процессов поиска
экстремума функций с использованием априорных данных. — «Авто-
матика и телемеханика», 1967, № 5.
75. Ш е н н о н К. Работы по теории информации и кибернети-
ке. Пер. с англ. М., ИЛ, 1963.
76. О v е г h о 1 t К. An instability in the Fibonacci and Golden
section search methods. — «Scientific notes», 1970, v. 12, № 1.
77. P e з н и к о в а Т. Л. Об одном алгоритме машинного поиска
экстремума функции. — «Ж- вычисл. мат. и мат. физ.», 1965, т. 5,
№ 4.
78. Av riel М., W i 1 d е D. J. Optimal search for maximum
with sequences of simultaneous function evaluations. — «Manag. Sci.»,
1966, v. 12, № 9.
79. В e a m e r J. H., Wilde D. J. Minimax optimization of
unimodal functions by variable block search. — «Manag. Sci.», 1970,
16, № 9.
80. Kacprzynski B. Sekwencyjna metoda poszukiwania eks-
tremum. — «Arch, autom. i telemech.», 1966, v. 11, № 2.
81. Березин И. С., Жидков Н. П. Методы вычислений,
ч. 1, М., Физматгиз, 1959.
82. А х и е з е р Н. И., Лекции по теории аппроксимации. М.,
«Наука», 1965.
206
АЙ. Л а н ц о ш К. Практические методы прикладного аналйзй.
М., Физматгиз, 1961.
84. Батищев Д. И. Об одном методе поиска экстремума
функций без вычисления производных. — В кн.: Прикладная матема-
тика и кибернетика (избранные труды межвузовского симпозиума
по прикладной математике и кибернетике), М., «Наука», 1973.
85. К у ш н е р X. Новый метод нахождения точки абсолютного
максимума произвольной кривой с большим числом максимумов
в присутствии помех. — «Техническая механика, сер. Д», 1964, т. 86,
№2. .
86. К u s h п е г Н. A versatile stochastic model of a function of
unknown and time-varying form. — «J. Math. Anal, and Appl.», 1962,
v. 5, p. 150—167.
87. Стронгин P. Г. Информационно-статистическая теория
поиска экстремума функций. — «Изв. вузов. Радиофизика», 1972,
т. 15, 1№ 7.
88. Н е й м а р к Ю. И., Стронгин Р. Г. Информационный
подход к задаче поиска экстремума функции. — «Изв. АН СССР.
Техн, кибернетика», 1966, № 1.
89. С т р о н г и н Р. Г. Выбор испытаний и условие остановки
в одномерном глобальном поиске. — «Изв. вузов. Радиофизика», 1971,
т. 14, № 3.
90. Варшавский В. И., Воронцова И. П. О поведении
стохастических автоматов с переменной структурой. — «Автоматика
и телемеханика», 1963, т. 24, № 3.
91. Цетлин М. Л. Исследование по теории автоматов и мо-
делированию биологических систем. М., «Наука», 1969.
92. S h а р i г о I., Narendra К. Use of stochastic automata
for parameter selfoptimization with multimodal performance criteria.—
«IEEE Trans.», 1969, v. SSC-5, № 4.
93. M с M u r t г у g G., F u K. A variable strukture automaton
used as a multimodel searching technique. — «IEEE Trans.», 1966,
V. AC-11, № 3.
94. Jarvis R. Adaptive global search in a time-variant envi-
ronmant using a probabilitic automaton. — «Proc. inst. radio and electr.
engin. Australia», 1969, v. 30, № 7.
95. S p a n g H. A. A review of minimization technigues for non-
linear functions. — «SIAM Rev.», 1962, v. 4, № 4.
96. F 1 e t c h e r R. Function minimization without evaluating de-
rivatives— a review. — «Comput. J.», 1965, v. 8, l№ 1.
97. W о о d C. F. Review of design optimization techniques. —
«IEEE Trans.», 1965, v. SSC-1, № 1.
98. Z о n t e n d i j k G. Nonlinear programming — a numerical
survey. — «SIAM J. Contr.», 1966, v. 4, p. 194-—210.
99. П о л я к Б. T. Методы минимизации функции многих пе-
ременных. — «Экономика и мат. методы», 1967, т. 3, № 6.
100. Beltrami Е. J. A comparison of some recent iterative
methods for the numerical solustion of nonlinear programs. — «Leet.
Nobes. Oper. Res. and Math. Econ.», 1969, № 14, p. 20—29.
101. Powell M. J. A survey of numerical methods for uncon-
strained optimization. — «SIAM Rev.», 1970, v. 12, № 1.
102. F 1 e t c h e r R., P о w e 11 M. J. A rapidly convergent des-
cent method for minimization. — «Comput. J.», 1963, v. 7, № 2.
103. Моисеев H. H. Методы оптимизации. Задача отыскания
экстремума функции многих переменных. ВЦ АН СССР, 1968.
207
104. Демидович Б. П. Марой И. А. Основы вычисли-
тельной математики. М., Физматгиз, 1960.
105. S h a n п о D. Е. Parameter selection for modified Newton
methods for functions minimization. — «SIAM J. Numer. Anal.», 1970,
v. 7, № 3.
106. Miele A., C a u t r e 11 J. W. Study on a memory gradient
for minimization of functions. — «J. Opt. theory and appl.», 1969, v. 3.
№6.
107. С r a g g E. E., Levy A. V. Study on a supermemory gra-
dient method for the minimization of functions. — «J. Opt. theory and
appl.», 1969, v. 4, № 3.
108. Fletcher R., Reves С. H. Function minimization by
conjugate gradients. — «Comput. J.», 1964, v. 7, p. 149—154.
109. Поляк Б. T. Метод сопряженных градиентов. — В кн.:
Труды Второй зимней школы по математическому программирова-
нию и смежным вопросам (24 января — 6 февраля 1969 г., г. Дро-
гобыч), вып. 1, М., ЦЭМИ АН СССР, 1969.
ПО. Sorenson Н. W. Comparison of some conjugate direction
procedures for function minimization, —- <J. Franklin Inst.», 1969,
v. 288, № 6.
111. Поляк Б. T. Метод сопряженных градиентов в задачах
на экстремум. — «Ж. вычисл. мат. и мат. физ.», 1969, т. 9, № 4.
112. Данилин Ю. М., П ш е н и ч н ы й Б. Н. О методах ми-
нимизации с ускоренной сходимостью. — «Ж. вычисл. мат. и мат.
физ.», 1970, т. 10, № 6.
ИЗ. Broyden С. G. Quasi-Newton methods and their applica-
tion to function minimization. — «Math. Comput.», 1967, v. 21, Na 99..
114. Pearson J. D. Variable metric methods of minimization.--
«Comput. J.», 1969, v. 12, № 2.
115. Пшеничный Б. H. Об одном алгоритме спуска. — «Ж-
вычисл. мат. и мат. физ.», 1968, т. 8, Na 3.
116. Greenstade J. Variations of veriable — metric methods.—
«Math, comput.», 1970, v. 24, Na 109.
117. Myers G. E. Properties of the coniugate — gradient and
Davidin methods. — «J. Opt. theory and appl.», 1968, v' 2, Na 4.
118. Горвиц Г. Г., Ларичев О. И. О сравнении поисковых
методов решения нелинейных задач идентификации. — «Автоматика
и телемеханика», 1971, Na 2.
119. С a n t г е 11 J. W. Relation between the memory gradient
method and the Fletcher-Reeves methods. — «J. Opt. theory and appl.»,
1969, v. 4, Na 1.
120. Powell M. J. D. An efficient method for finiding the maxi-
mum of a function of several variables without calculating derivati-
ves. — «Comput. J.», 1964, v. 7, Na 12.
121. Z a n g w i 11 W. I. Minimizing a function without calcula-
ting derivatives. — «Comput. J.», 1967, v. 10, Na 3.
122. Данилин Ю. M., П ш e н и ч н ы й Б. Н. Метод миними-
зации без вычисления производных. — «Ж. вычисл. мат. и мат. физ.»,
1971, т. 11, Na 1.
123. Hooke R., Jeever T. Direct searsh solution of numeri-
cal and statistical problems. — «J. Ass. Comput. Math.», 1961, v. 8,
Na 1.
208
124. Rosenbrock H. H. Automatic method for finding the
greatest or least value of a funcion. — «Comput. J.», 1960, v. 3.
125. Люстерник Л. А., Соболев В. И. Элементы функ-
ционального анализа. М., «Наука», 1965.
126. Р а 1 m е г J. R. An improwed procedure for orthogonalising
the search vectors in Rosenbrock’s and Swann’s direct search opti-
mization methods. — «Comput. J.», 1969, v. 12, (№ 1.
127. Stewart G. W. A modification of Davidon’s minimiza-
tion methods to accept difference approcimations of derivatives. —
«J. Assoc. Comput. Mach.», 1967, v. 14, № 1.
128. Shah В. V., Buehler P. J., Kempt home 0. Same
algorithms for minimization a function of several variables. — «J. Soc.
Indust. Appl. Math.», 1964, v. 12, № 1.
129. Nelder J. A., M e a d R. A simplex method for function
minimization. — «Comput. J.», 1965, v. 7.
130. Ермуратский П. В. Модификации симплексного мето-
да оптимизации. — В кн.: Труды Московского энергетического ин-
ститута, вып. 68, 1970.
131. Метод оврагов в задачах рентгеноструктурного анализа. М.,
«Наука», 1966. Авт.: Гельфанд И. М., Вул Е. Б., Гинзбург С. А.,
Федоров Ю. Г.
132. Р а с т р и г и н Л. А. Статистические методы оценки гра-
диента. — «Автоматика и вычисл. техника», 1970, № 4.
133. Е р м о л ь е в Ю. М. О методе обобщенных стохастических
градиентов и стохастических квазифейровских последовательно-
стях.— «Кибернетика», 1969, № 2.
134. Николаев Е. Г. Метод случайного т-градиента. —
«Автоматика и вычисл. техника», 1969, № 1.
135. Мыты аш И. Случайная .оптимизация. — «Автоматика и
телемеханика», 1965, т. 26, 1№ 2.
136. Растригин Л. А. Случайный поиск в задачах оптими-
зации многопараметрических систем. Рига, «Зинатне», 1965.
137. Р а с т р и г и н Л. А. Статистические методы поиска. М.,
«Наука», 1968.
138. Неймарк Ю. И., Григоренко В. П., Рапо-
порт А. Н. Об оптимизации независимыми детерминированными и
стохастическими автоматами. — В кн.: Ученые записки. Прикладная
математика и кибернетика (материалы к Всесоюзному межвузовско-
му симпозиуму по прикладной математике и кибернетике). Горький,
ГГУ, 1967.
139. Григоренко В. П., Неймарк Ю. И., Рапо-
порт А. Н. Оптимизация коллективом независимых автоматов и
игры автоматов. — «Изв. вузов. Радиофизика», 1967, № 7.
140. Оптимизация коллективом независимых автоматов с адап-
тацией. — В кн.: Задачи статистической оптимизации. Под ред.
Л. А. Растригина. Рига, «Зинатне», 1971. Авт.: Григоренко В. П.,
Неймарк Ю. И., Рапопорт А. Н., Ронин Е. И.
141. Оптимизация коллективом независимых автоматов с адап-
тацией.— В кн.: Адаптивные автоматические системы. Под ред.
Г. А. Медведева. М., «Сов. радио», 1972. Авт.: Григоренко В. П.,
Неймарк Ю. И., Рапопорт А. Н., Ронин Е. И.
142. Случайный поиск (Теория и применение). Систематический
указатель литературы. Под ред. Л- А. Растригина, Рига, «Зинатне»,
209
143. Алгоритмы и программы случайного поиска. Под ред.
Л. А. Растригина. Рига, «Зинатне», 1969.
144. Метод статистических испытаний. М., ФМ, 1962. Авт.: Бус-
ленко Н. П., Голенко Д. И., Соболь И. М, Стратович В. Г., Шрей-
дер Ю. А.
145. Растригин Л. А. Некоторые статистические алгоритмы
глобального поиска. — В кн.: Автоматика и вычислительная техника,
№ 10, Рига, «Зинатне», 1965.
146. Коротаева Л. Н., Панишев А. В. Программа на-
хождения глобального экстремума функций многих переменных. —
В кн.: Алгоритмы и программы случайного поиска. Под ред.
Л. А. Растригина, Рига, «Зинатне», 1969.
147. Калинников Ю. С., Лившиц А. Л. О некоторых мо-
дификациях алгоритма глобального статистического поиска по на-
правляющей сфере. — В кн.: Задачи статистической оптимизации.
Под ред. Растригина Л. А. Рига, «Зинатне», 1971.
148. Каган Б. М., Тер-Микаэлян Т. М. Решение инже-
нерных задач на цифровых вычислительных машинах. М., «Энергия»,
1964.
149. М о цк у с И. Б. О некоторых асимптотических свойствах
функций многих переменных. — В кн.: Автоматика и вычислительная
техника. № 13, Рига, «Зинатне», 1966.
150. М о ц к у с И. Б. Об одной последовательной процедуре
статистического решения задач. — В кн.: Автоматика и вычисли-
тельная техника, № 10, Рига, «Зинатне», 1965.
151. М о цк у с И. Б. Многоэкстремальные задачи в проектиро-
вании. М., «Наука», 1967.
152. Юдин Д. Б. Методы количественного анализа сложных
систем. — «Изв. АН СССР. Техн, кибернетика», 1965, № 1.
153. Антонов Г. Е., Катко в ник В. fl. Фильтрация и
сглаживание функций многих переменных для целей поиска глобаль-
ного экстремума. — «Автоматика и вычисл. техника», 1970, 1№ 4.
154. Захаров В. В. Метод интегрального сглаживания в мно-
гоэкстремальных и стохастических задачах. — «Изв. АН СССР. Техн,
кибернетика», 1970, № 4.
155. Чичинадзе В. К. Об одном способе использования
случайного поиска для определения экстремума функций нескольких
переменных. — «Изв. АН СССР. Техн, кибернетика», 1967, № 1.
156. Д ж и б л а д з е Н. И. О нахождении координат экстремума
функций многих переменных при использовании ф-преобразования.—
«Сообщения Академии наук Грузинской ССР», 1970, т. 59, № 3.
157. Бочаров И. Н., Фе л ьд ба ум А. А. Автоматический
оптимизатор для поиска наименьшего из нескольких минимумов. —
«Автоматика и телемеханика», 1962, т. 22, № 3.
158. Гурин Л. С., Лобач В. П. Комбинация метода Монте-
Карло с методом скорейшего спуска при решении некоторых экстре-
мальных задач. — «Ж. вычисл. мат. и мат. физ.», 1962, т. 2, № 3.
159. Никитин А. И. Один алгоритм решения задач нелиней-
ного программирования. — В кн.: Семинар Автоматизация производ-
ственных процессов. Киев, ДНТП, 1963.
160. X ас ь м ин с к и й Р. 3. Применение случайного шума в за-
дачах оптимизации и опознавания. — «Пробл. передачи информ.»,
1965, т. 1, вып. 3.
161. Юдин Д. Б., Хазен Э- М- Некоторые математические
аспекты статистических методов поиска —В кн.: Автоматика И ВЫ-
'* числительная техника. Вып. 13, Рига, «Зинатне», 1966.
162. Пшеничный Б. Н., Марченко Д. И. Об одном под-
ходе к нахождению глобального минимума. — В кн.: Семинар тео-
рия оптимальных решений. Вып. 2, Киев, ИК АН УССР, 1967.
163. Данилин Ю. М., П и я в с к и й С. А. Об одном алго-
ритме отыскания абсолютного минимума. — В кн.: Семинар теория
оптимальных решений. Вып. 2, Киев, ИК АН УССР, 1967.
164. Clough D. J. An asymptotic extreme-value sampling theo-
ry for estimation of a global maximum. — «Сап. Operat.», 1969, v. 7,
№ 2.
165. Леонов В. В. Метод покрытий для отыскания глобаль-
> ного минимума многих переменных. — В кн.: Иследования по кибер-
нетике. Под ред. Ляпунова, М., «Со®, радио», 1970.
166. Половинкин А. И. Алгоритмы поиска глобального
экстремума при проектировании инженерных конструкций. — «Авто-
матика и вычисл. техника», 1970, № 2.
167. Евтушенко Ю. Г. Численный метод поиска глобаль-
ного экстремума функций (перебор на неравномерной сетке). — «Ж.
вычисл. мат. и мат. физ.», 1971, т. 11, № 6.
168. Мелешко В. И. Поиск глобального экстремума перерас-
пределением плотности вероятности. — «Автоматика и телемеханика»,
1971, № 5.
169. Методы оптимизации с приложением к механике космиче-
ского полета. Под ред. Д. Лейтмана. Пер. с англ. М., «Наука», 1965.
170. Luenberger D. Convergence rate of a penalty-function
scheme. — «J. Opt. Theory and Appl.», 1971,. v. 7, № 1.
171. Фиакко А., Мак-Кормик Г. Нелинейное програм-
мирование. Методы последовательной безусловной оптимизации. Пер.
с англ. М., «Мир», 1972.
172. Kowalik J., Osborne М., Ryan В. A new method
for constrained Optimization problems. — «Oper. Res.», 1969, v. 17,
№ 6.
173. Недли Дж. Нелинейное и динамическое программиро-
вание. Пер. с англ., М., «Мир», 1967.
174. В г own R. A generalised computer procedure for the design
1 of optimum systems. — «Comm, and Electron.», 1959, № 43.
175. Rosen J. B. The gradient projection method for nonlinear
programming. — «J. Soc. Industr. Appl. Math.», 1960, v. 8, № 1.
176. Rosen J. B. The gradient projection method for nonlinear
programming: Pt. II — Nonlinear constraints. — «J. Soc. Industr. Appl.
Math.», 1961, v. 9, № 4.
177. Мозговая Э. А. Об одном методе поиска минимума
при наличии ограничений. — «Автоматика и телемеханика», 1962,
т. 23, № 12.
178. Miele A., Huang М. J., Н е i d е m a n J. Sequential
gradient restoration algorithm for the minimization of constrained
functions—ordinary and conjugate gradient versions. — «J. Opt. Theo-
ry and Appl.», 1969, v. 4, № 4.
179. Kelly H. J., Speyer J. L. Accelerated gradient pro-
jection.— «Leet. Notes. Math.», 1970, v. 132, p. 151—158.
180. Kelley J. The cutting-plane method for solving convex
programme. — «J. Soc. Indust. Appl. Math.», 1960, v. 8, № 4.
211
181. Вольф Ф. Новые методы нелинейного программирова-
ния.— В кн.: Применение математики с экономических исследова-
ниях. Т. 3, М., «Наука», 1955.
182. Е р м о л ье в Ю. М. Методы решения нелинейных экстре-
мальных задач. — «Кибернетика», 1966, 1№ 4.
183. Батищев Д. И. Математические методы оптимального
расчета электронных схем. — «Изв. вузов. Радиоэлектроника», 1970,
т. 13, № 6.
184. V е i п о 11 A. F. The supporting hyperplane method for
unimodal programming. — «Oper. Res.», 1967, v. 15, p. 147—152.
185. V о n P. P f r a n g e r, Ein heurististisches Verfahren zur
globalen Optimierung. — «Unternehmsforschung», 1967, v. 11, № 1.
186. Kleibohm K. Bemerkungen zum Problem der nichtkonv^-
xen programming. — «Unternehmsforschung», 1967, v. 11, № 1.
187. Оптимизация режимов обработки на металлорежущих стан-
ках. М., «Машиностроение», 1972. Авт.: Гильман А. М., Брах-
м а н Л. А., Б а т и щ е в Д. И., М а т я е в а Л. К.
188. Батищев Д. И., БеляковаЛ. Б., Найденко В. В.
Определение оптимальных технологических параметров гидроцикло-
нов на ЭЦВМ. — «Водоснабжение и санитарная техника», 1970, № 1.
189. Батищев Д. И., Белякова Л. Б., Гурылева И. Е.
Поиск глобального решения в задачах раскроя. — В кн.: Математи-
ческие методы исследования и оптимизации систем. Вып. 2, Киев, ИК
АН УССР, 1970.
190. Батищев Д. И., Полозов В. С. Оптимизация раз-
мерной сети при автоматическом нанесении размеров на чертежах
с помощью ЭЦВМ. — В кн.: Вычислительная техника в машино-
строении. Науч.-техн. сборник, Минск, ин-т техн, кибернетики АН
БССР, 1970.
191. Система автоматической трассировки устройств радиотех-
нического назначения. — В кн.: Автоматизация проектирования
в электронике. Под ред. В. П. Сигорского. Вып. 7, Киев, «Техшка»,
1973. Авт.: Батищев Д. И., Морозов В. Ф., Полозов В. С., Щер-
баков В. В., Хохлов Ю. А.
192. Батищев Д. И. Применение методов нелинейного про-
граммирования для определения оптимальных параметров электро-
магнитных реле. — «Автоматика и телемеханика», 1965, т. 26, № 1.
193. Батищев Д. И. К вопросу о расчете электромагнитов
оптимальных размеров. — «Электротехника», 1968, № 3.
194. Батищев Д. И. Оптимальное проектирование радиотех-
нических цепей. — «Изв. вузов. Радиофизика», 1972, № 7.
195. Батищев Д. И., Т е р з я н А. А. Синтез электротехни-
ческих и электронных устройств методами поисковой оптимизации.—
В кн.: Вопросы кибернетики (проблемы случайного поиска), М.,
Научный Совет по комплексной проблеме «Кибернетика» АН СССР,
1973.
196. Батищев Д. И., Басалин П. Д. Автоматизированный
расчет частотных характеристик пассивных четырехполюсников. —
В кн.: Автоматизация проектирования в электронике. Под ред.
В. П. Сигорского. Вып. 2, Киев, «Техшка», 1970.
197. Батищев Д. И., Басалин П. Д. САПФ — система
автоматического проектирования фильтров. — В кн.: Сборник трудов
Московского института электронного машиностроения (Автоматиза-
212
ция проектирования и производства ЭВМ). Под ред. П. П. Сыпчука.
Вып. 16, ч. Ill, М., 1971.
198. Батищев Д. И., Басалин П. Д. Проектирование ли-
нейных /^LC-цепей на основе взаимодействия человек — машина. —
«Изв. высш, учебных заведений. Радиоэлектроника», 1972, № 2.
199. Болгов В. Л. Детали и узлы радиоэлектронной аппа-
ратуры. М., «Энергия», 1967.
200. Калантаров П. Л., Цейтлин Л. А. Расчет индук-
тивностей, М., «Энергия», 1970.
201. Басков Е. И., Лебедев А. Т. Оптимизация характе-
ристик электрических фильтров на элементах с потерями. — «Радио-
техника», 1969, № 10.
202. Lasdon L., Waren A. Optimal design of filters with
bounded lossy elements. — «IEEE Trans.», 1966, v. CT-13, № 2.
203. Букреев И. H. Вопросы создания гибридно-пленочных
интегральных узлов и блоков. — В кн.: Микроэлектроника. Под ред.
Ф. В. Лукина. Вып. 1, М., «Сов. радио», 1967.
204. Шварц Н. 3. Выравнивающие диссипативные цепи уси-
лителей СВЧ. — «Радиотехника и электроника», 1971, т. 16, № 11.
205. Смагин А. Г., Ярославский М. И. Пьезоэлектриче-
ство кварца и кварцевые резонаторы. М., «Энергия», 1970.
206. Великин Я. И., Гельм онт 3. Д., Зелях Э. В.
Пьезоэлектрические фильтры. М., «Связь», 1966.
207. Черне X. И. Индуктивные связи и трансформации в элек-
трических фильтрах. М., «Связь», 1962.
208. Батищев Д. И., Шевякова Т. К. Расчет оптимальных
параметров реостатно-транзисторных логических схем. — «Изв. вузов.
Радиофизика», 1968, № 3.
209. Степаненко И. П. Основы теории транзисторов и тран-
зисторных схем. М., ГЭИ, 1963.
210. Батищев Д. И. Оценка работоспособности электронных
схем в процессе проектирования. — «Изв. вузов. Радиоэлектроника»,
1970, № 3.
211. Проектирование электронных схем с применением ЭВМ.
М., Всесоюзный науч.-исслед. ин-т, стандартизации, 1971.
Предметный указатель
Автоматы 82, 125
Автоматная оптимизация:
коллективом независимых
стохастических автоматов
125, 131
с помощью автоматов Бу-
ша — Мосте л л ер а 84
с помощью автоматов, ис-
пользующих информацию о
средних значениях функции
86, 123
Аддитивная функция полезно-
сти 21, 23, 25
Алгоритмы поисковой оптими-
зации 34, 37, 49
квадратичная скорость схо-
димости 92, 97, 101, 157
критерий эффективности 36,
49, 61
надежность 40, 74, 141
параметры 36, 73, 116
потери на поиск 38, 74, 116
Глобальная минимизация 118
Градиентный метод:
наискорейшего спуска 90, 92
с памятью 93
213
С Йёремённой метрикой 97
Задача выпуклого программи-
рования 19, 142, 172
— квадратичного программиро-
вания 16
— линейного программирова-
ния 16, 162, 175
— многокритериальной оптими-
зацией 19
— невыпуклого программиро-
вания 19, 165
решение методом отсекаю-
щей плоскости 165
путем построения выпуклой
оболочки 170
— нелинейной оптимизации 15
— стохастического программи-
рования 27
вероятностная 39, 199
с вероятностными ограниче-
ниями 29, 194
усредненная 38
Класс тестовых задач:
выпуклого программирова-
ния 46, 142
многопараметрических функ-
ций «овражного» типа 43,
103, 115
многоэкстремальных кривых
41
многоэкстремальных функ-
ций нескольких переменных
45, 119, 124
одномерных унимодальных
функций 40
-----векторный 19, 40, 74
Метод Брауна 149
— вращающихся координат 104
— Гаусса — Зейделя 102
— Давидона — Флетчера — Па-
уэлла 99
— модифицированный 108
— деления пополам 50
— золотого сечения 54
— интерполирующих полино-
мов 67
— информационного поиска 79,
119, 123
— квадратичной интерполяции
66, 115
— комбинированный 112
— конфигураций 102
— кусочно-кубической аппро-
ксимации 70
— кусочно-линейной аппрокси-
мации 72
2Н
— Кушнера ?5
— Ньютона 92
-----модифицированный 93
— отсекающей плоскости 161,
-----модифицированный 167
— перераспределения случай-
ных испытаний 134
— проектирования градиента
153, 155, 157
— равномерного дихотомиче-
ского поиска 49
— сопряженных градиентов 97
— статистических испытаний
133
— случайного поиска с на-
правляющим конусом 140
-------, учитывающий кон-
станту Липшица 56
-------, учитывающий стати-
стическую информацию о
расположении минимума 60
— Фибоначчи 51, 74
— штрафных функций 142
^-преобразований 136
Методы поиска:
детерминированные 33
итерационные 34
квазиныотоновские 98
локальные 34
многошаговые 34
многопараметрические 33
нелокальные 34
одномерные 34, 48
одношаговые 34
пассивные 33
последовательные 33
Модель:
детерминированная 10, 180,
184, 186, 190, 193
вероятностная 10, 20, 195
Непрерывное отображение
многомерного параллелепи-
педа на единичный отрезок
119
Неустойчивость методов одно-
мерного поиска 63
Объединение векторных крите-
риев 20, 23, 25, 73
соизмеримых 20
Область допустимых решений
14
Область решений, оптимальных
по Парето 20
Преобразование линейных не-
равенств 14
ОГЛАВЛЕНИЕ
Предисловие....................................... 3
Введение ......................................... 4
Глава 1
Математическая формулировка задач оптимального про-
ектирования ..................................... 3
1.1. Математические модели проектируемых устройств ... 8
1.2. Формулировка ограничений, налагаемых на параметры и
характеристики математической модели..................Н
1.3. Постановка и классификация детерминированных задач
оптимизации.........................................
1.4. Векторные критерии оптимальности и методы их объеди-
нения .................................................19
1.5. Учет случайных факторов в задачах оптимизации ... 27
Глава 2
Классификация поисковых методов оптимального проек-
тирования и методология их сравнения.................32
2.1. Классификация методов решения детерминированных за-
дач нелинейной оптимизации ............................... 32
2.2. Наилучшие алгоритмы поисковой оптимизации и критерии
их эффективности...........................................35
2.3. Об экспериментальном тестировании и сравнении алго-
ритмов поисковой оптимизации...............................37
Глава 3
Одномерная минимизация унимодальных функций . 48
3.1. Поиск минимума унимодальных функций путем сокраще-
ния интервала неопределенности ........................... 48
3.2. Повышение эффективности поиска посредством учета
дополнительной информации о свойствах унимодальных
функций..............................................56
3.3. Совмещение методов сокращения интервала неопределен-
ности с методами интерполяции........................63
Глава 4
Поиск глобального минимума произвольной кривой . 67
4.1. Методы поиска, основанные на построении аппрокси-
мирующих моделей минимизируемой функции .... 67
4.2. Информационно-статистические алгоритмы поисковой опти-
мизации ........................................... .... 75
4.3. Поиск глобального минимума кривой с помощью стоха-
стических автоматов........................................82
Глава 5
Поиск локального минимума многопараметрических
функций..............................................90
5.1. Градиентные методы наискорейшего, спуска .... 90
5.2. Минимизация функций без вычисления производных . . 101
5.3. Алгоритмы поисковой оптимизации, комбинирующие ло-
кальные и нелокальные стратегии поиска . . . . 111
?15
Глава 6
Многомерная минимизация многоэкстремальных функций 118
6.1. Сведение многомерных задач минимизации к задаче одно-
мерного поиска....................................... . 118
6.2. Автоматная оптимизация...............................123
6.3. Случайный поиск и его модификации....................13с
Глава 7
Минимизация многопараметрических функций при нали-
чии нелинейных ограничений на параметры . . . 142
7.1. Преобразование исходной задачи в последовательность за-
дач оптимизации без ограничений...........................142
7.2. Поиск условного минимума в экстремальных задачах
с ограничениями типа равенств.............................149
7.3. Сведение исходной задачи к совокупности задач линей-
ного программирования.....................................161
7.4. Некоторые подходы к решению задач невыпуклого про-
граммирования ............................................165
Глава 8
Определение оптимальных параметров радиотехнических
цепей при помощи методов поисковой оптимизации 176
8.1. Проектирование пассивных RLC-цепей с оптимальными
характеристиками..........................................176
8.2. Оптимизация параметров электрических фильтров с уче-
том неоднородных потерь в элементах.......................185
8.3. Расчет оптимальных параметров кварцевых фильтров по
заданным частотным характеристикам . . . . . . 188
8.4. Оптимальный расчет переключающих транзисторных мо-
дулей ....................................................194
8.5. Обеспечение максимальной работоспособности электрон-
ных схем в процессе проектирования .......................199
Список литературы.........................................203
Предметный указатель......................................213
6Ж