ОПТИМ ИЗАЦИЯ
И ИССЛЕДОВАНИЕ
ОПЕРАЦИЙ
А. Н. ШИРЯЕВ
Статистический
последовательный
анализ


ОПТИМИЗАЦИЯ
И ИССЛЕДОВАНИЕ
ОПЕРАЦИЙ
Редактор серии
Н. И. МОИСЕЕВ
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА 1969
A. H. ШИРЯЕВ
СТАТИСТИЧЕСКИЙ
ПОСЛЕДОВАТЕЛЬНЫЙ
АНАЛИЗ
ОПТИМАЛЬНЫЕ
ПРАВИЛА ОСТАНОВКИ
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА 1969
517.8
Ш 64
УДК 519.24
Статистический последовательный ана-
лиз. Ширяев А. Н. Главная редак-
ция физико-математической литературы
изд-ва «Наука», 1969
В книге излагается общая теория построения
оптимальных (или близких к ним) моментов
остановки. Значительное место уделяется случаю
непрерывного времени.
В качестве иллюстрации методов общей тео-
рии приводится большое количество примеров
(различение статистических гипотез, обнаружение
случайных сигналов в шумах и др.).
Библ. — 76 назв
2-2-3
96-69
ОГЛАВЛЕНИЕ
Предисловие..........., ♦ • . ......................•	7
Список основных теоретико-вероятностных обозначений 14
Глава I Марковские моменты и случайные процессы . .	15
§ 1. Необходимые сведения из теории вероятностей . . .	15
§ 2. Марковские моменты............................ 19
5 3.	Марковские случайные процессы................. 27
$ 4. Мартингалы и супермартингалы.................. 36
Глава II Оптимальная остановка марковских случайных
последовательностей .................................. 43
§ 1.	Постановка задач. Эксцессивная характеризация
цены при условии 4“............................... 43
§ 2.	е-оптимальные и оптимальные марковские моменты 62
§ 3.	Эксцессивная характеризация цены. Общий случай 71
§ 4.	Оптимальные правила остановки в классе 931^ ...	85
§ 5.	О единственности решения рекуррентных уравнений 93
§ 6.	Критерии «урезанности» оптимальных правил оста-
новки ............................................ 97
§ 7.	Достаточные и рандомизированные классы момен-
тов остановки.....................................100
§ 8.	Оптимальная остановка марковских последователь-
ностей для функций g (п, х) и при наличии платы 106
Глава III Оптимальная остановка марковских случайных
процессов.................................117
§ 1.	Эксцессивные функции и их свойства............117
§ 2.	Наименьшие эксцессивные мажоранты и их построе-
ние ..............................................120
§ 3.	Эксцессивная характеризация цены..............127
§ 4.	е-оптимальные и оптимальные марковские моменты 143
§ 5	Интегральные и «дифференциальные» уравнения
для цены..........................................149
5
§ 6.	Оптимальная остановка марковских процессов и
обобщенная задача Стефана.........................154
Глава IV Некоторые применения к задачам математиче-
ской статистики..................................160
§ 1.	Последовательное различие двух простых гипотез.
Байесовская постановка .......................... 160
§ 2.	Последовательное различение двух простых гипотез.
Вариационная постановка ......................... 180
§ 3.	Задача о разладке. Дискретное время..........200
§ 4.	Задача о разладке для винеровского процесса . . . 212
Примечания............................................224
Литература , , ,	г	227
ПРЕДИСЛОВИЕ
1. Как метод статистического исследования по-
следовательный анализ получил широкую известность
после выхода в свет*) (1947 г.) книги А. Вальда
«Последовательный анализ». В этой книге была из-
ложена теория и даны применения одной частной
процедуры последовательного анализа, так назы-
ваемого последовательного критерия отношений ве-
роятностей. Важность этого критерия, как было от-
крыто А. Вальдом и доказано им совместно с Дж. Вол-
фовицем [14], обусловлена тем, что при различении
двух простых гипотез он дает наибольший выигрыш
в среднем числе наблюдений по сравнению с любым
другим способом различения, имеющим те же самые
вероятности ошибочных решений.
В отличие от классического метода различения
двух простых гипотез (метода Неймана — Пирсона),
для которого число наблюдений фиксируется заранее,
в последовательных критериях момент прекращения
наблюдений (момент остановки) является случайным
и определяется в зависимости от значений наблюда-
емых данных. Вальдовский последовательный крите-
рий отношений вероятностей оказался именно тем
методом, который определяет оптимальным образом
момент прекращения наблюдений.
Детальное исследование вопросов существования
и способа отыскания оптимальных моментов остановки
в байесовских решающих процедурах было дано в из-
вестных работах А. Вальда и Дж. Волфовица [15]
и К. Дж. Арроу, Д. Блекуэлла и М. А. Гиршика [3].
Вскоре после появления этих работ и под их вли-
янием Дж. Л. Снеллом [55] была сформулирована
*) Русский перевод [17] вышел в 1960 г.
7
следующая общая задача об оптимальной остановке
случайных процессов с дискретным временем.
Пусть на некотором вероятностном пространстве :)
(Q,	, Р) заданы неубывающая последовательность
о-алгебр о — i — • • • — <3^ п — ЗГ и последователь-
ность случайных величин Z„ = Z„(co), п = 0, 1,
являющихся ^„-измеримыми при каждом п.
Обозначим = {т} совокупность случайных вели-
чин т = т(со), принимающих значения 0, 1, ... и удо-
влетворяющих при каждом /г = 0, 1, ... условию
{со: т (со) = n}f=o?~ п.
Такие случайные величины называют моментами
остановки, и говорят, что они задают некоторое пра-
вило остановки.
Будем интерпретировать Zn как «выигрыш», по-
лучаемый при остановке наблюдений в момент вре-
мени п, a MZT —как средний выигрыш, отвечающий
правилу остановки т = т(со). Основные задачи теории
оптимальных правил остановки состоят в отыскании
«цены» S = supMZT и е-оптимальных моментов те,
те.!)!
т. е. тех моментов, для которых MZTg^S —8, 8^0.
0-оптимальные моменты называют просто оптималь-
ными.
Основываясь на теории мартингалов Дж. Л. Снелл
(при некоторых предположениях) показал, что для
последовательности {Z„}, /г = 0, 1, ..., существует
минимальный регулярный супермартингал (У„,
п = 0, 1,..., мажорирующий Z„, знание которого
позволяет решать, поставленные выше задачи.
Оказалось, что цена 5 = МУ0, а момент те =
= inf{n^0: Yn^Zn + s} (при широких предположе-
ниях) является е-оптимальным, е>0.
Дальнейшее развитие результатов Снелла было
АД1?0® Работах и- Чао и Г. Роббинса [61], [62],
[65], Г. Хаггстрома [59], Д. Сигмунда [52] и др.
В рамках сформулированной выше схемы наиболее
нагляден тот случай, когда величины Zn предста ВИ МЫ
в виде Zn = gn(^Of ..., gj, где ... — некоторая
в Основные теоретико-вероятностные понятия приводятся
8
последовательность (наблюдаемых) величин, а <?Г п
есть cr-алгебра со-множеств, порожденная значениями
•••> Нрн этом основной интерес как с точки
зрения теории, так и для приложений представляет
тот случай, когда последовательность g0,	• • •
является марковской. Именно этот случай, впервые
рассмотренный Е. Б. Дынкиным в [34], является
предметом исследования в данной книге.
2. Книга состоит из четырех глав. Первая глава
носит вспомогательный характер. В ней напоминаются
основные теоретико-вероятностные понятия, приво-
дятся нужные в дальнейшем сведения из теории мар-
тингалов и марковских процессов. Во втором параг-
рафе вводятся понятия марковских моментов, момен-
тов остановки и изучаются их свойства.
Вторая и третья главы посвящены вопросам су-
ществования, способам построения е-оптимальных и
оптимальных марковских моментов соответственно для
случаев дискретного и непрерывного времени.
Остановимся несколько подробнее на содержании
второй главы.
Пусть Х = (хп, PJ, /г = 0, 1,	—марков-
ский процесс с дискретным временем в фазовом про-
странстве (Е, .^?). Обозначим 9)1 = {т} класс марков-
ских моментов (м. м.) *) т = т (со) (относительно системы
а-алгебр {сУ^}), принимающих значения 0, 1, ...,4-оо.
Пусть, далее, 9)1	9)1 — класс м. м. конечных с ве-
роятностью единица (Рх (т < оо) = 1, хе=Е). Такие м. м.
мы называем моментами остановки (м. о.).
Будем говорить, что ^-измеримая функция g(x)
принадлежит классу L, если М(xrt) < оо при всех
/г = 0,1,... и xgeE, где g~ (х) = — min (g (х), 0). Со-
вокупность функций g(x)^L, удовлетворяющих ус-
ловию
А~: Мх [sup g~ (х„)] < оо, х«=Е,
[ п	]
обозначим L(A ). Аналогично, если выполнено ус-
ловие
А+: Мх [sup g+ (х„)1 < оо, xsE,
L п	J
*) См. определение 1 на стр. 19.
9
g+ (x) = max(g(x), 0), то будем писать g(x)^L(A+).
Положим также L{A~, A+) = L(A ) A ь И /•
Пусть
МЛ£(хт)= J g(xx)dPx
{T < 00}
И
Mxg(xt) = J g(xT)dPx + J limsupg(x„)dPx.
{T < 00}	{r = oo} n
Каждую из функций
s (x) = sup Mrg(xT)
x e UR
И
s(x) = supMxg(xT)
X G= !)Jt
будем называть «ценой». Момент тееШ1 назовем (в, s)-
оптимальным, если (х? ) s (х) — в для всех х^Е.
Момент те^2£ будет называться (в, 5)-оптимальным,
если Mxg(xTe)^s (х) — в для всех х^Е.
В теореме 1 показывается, что если функция
^(х)е£(А“), то цена s(x) является наименьшей экс-
цессивной мажорантой функции g(x), т. е. наимень-
шей из функций f (х)^Ь(А~), удовлетворяющих ус-
ловиям:
f(x)>g(x),
f(x)>77(x), Tf(x) = Mxf(Xl).
Показывается также, что цена s(x) совпадает
с s(x). Иначе говоря, расширение класса моментов
остановки 2)1 (до класса 2ft) не приводит к увеличе-
нию цены.
Структура (в, s)- и (в, $)-оптимальных моментов
(в предположении g^L(A~, Л+)) изучается в § 2.
Здесь же рассмотрены различные примеры, в кото-
рых находится цена, (е, $)- или (в, ^-оптимальные
моменты.
Отказ от предположения g(x)^L(A~) приводит,
вообще говоря, к тому, что цена уже может не быть
наименьшей эксцессивной мажорантой. В теореме 3,
однако, показывается, что и в случае g(x)^L функ-
ции s (х) и s (х) совпадают, причем цена является
10
наименьшей регулярной эксцессивной мажорантой
функции g(x) (см. определение в § 3).
В теореме 4 приведены условия существования
(е, $)- и (е, 5)-оптимальных моментов, е^О, в пред-
положении, что функция	(Д+).
Четвертый параграф посвящен изучению задач
об оптимальных (т. е. (О, $)-оптимальных) остановках
в предположении, что рассматриваемые моменты ос-
тановки т принадлежат классу yJlN (Рх (т С Af) = 1,
хе£). Показывается, что при /V < оо оптимальные
моменты остановки существуют, и выясняется,
когда Птт^ является (0, s)- или (0, 5)-оптимальным
7V-» оо	__
в классах 2)1 и 2)1.
Наименьшая эксцессивная мажоранта и(х) функ-
ции g(x) удовлетворяет рекуррентным уравнениям
u(x) = max(g(x), Tv(x))
(лемма 3). В § 5 исследованы вопросы единствен-
ности решения этих рекуррентных уравнений.
В шестом параграфе изучается вопрос о том,
когда оптимальный момент остановки является
«урезанным», т. е. существует N < оо такое, что
Седьмой параграф посвящен исследованию доста-
точных и рандомизированных классов моментов оста-
новки. В параграфе 8 рассмотрены задачи об опти-
мальных остановках в предположении, что максимизи-
[т-1
(Хх) - s asc (xs) .
s = C
В третьей главе задачи об оптимальной остановке
рассматриваются для случая (стандартных) марков-
ских процессов с непрерывным временем. Большая
часть результатов, полученных в этой главе, по край-
ней мере, внешне сходна с соответствующими резуль-
татами, относящимися к случаю дискретного вре-
мени.
Следует, однако, заметить, что в этой главе для
рассмотрения задач об оптимальной остановке при-
ходится привлекать довольно сложный аппарат тео-
рии марковских процессов с непрерывным временем.
Именно поэтому в этой главе (в отличие от второй
главы) часто можно встретить ссылки на монографии
11
Е. Б. Дынкина [32], [33] (а также П. А. Мейера
[46], [47], Р. М. Блюменталя и Р. К. Гетура [12]).
В четвертой главе показывается, как теория оп-
тимальных правил остановки применяется к решению
двух задач математической статистики: проверка
двух простых гипотез и задача о «разладке». О пер-
вой задаче вкратце речь шла выше. Чтобы дать чи-
тателю, незнакомому с излагаемым предметом, по-
чувствовать характер задач, решаемых с помощью
теории оптимальных правил остановки, приведем
здесь формулировку задачи о «разладке» и задачи
о выборе наилучшего объекта, рассмотренной во вто-
рой главе (§ 2, п. 6).
Пусть 0 = 0 (со) — случайная величина, принимаю-
щая значения 0, 1, .... Предположим, что до мо-
мента времени 0 (мы его называем моментом появле-
ния разладки) наблюдения ...Де»] представляют
собой последовательность независимых одинаково рас-
пределенных случайных величин с функцией распре-
деления Fq(x). Наблюдения же ge, g0+1 — также неза-
висимы, одинаково распределены, но с функцией рас-
пределения Fx (x)^Fq(x). Возникает задача, как по
результатам наблюдений за g2, • • • решить вопрос
о том, в какой (марковский) момент т следует объя-
вить о том, что произошла «разладка», чтобы при
заданной вероятности ложной «тревоги» а = Р(т<0)
среднее время запаздывания М (т — 0 | т 0) было ми-
нимальным.
Решению этой задачи посвящены третий и четвер-
тый параграфы последней главы.
Задача о выборе наилучшего объекта ставится
следующим образом. Имеется п объектов, упорядо-
ченных по какому-либо признаку. Предполагается,
что объекты поступают в случайном порядке и в ре-
зультате их попарного сравнения можно определить,
какой из них лучше. Спрашивается, на каком объекте
остановить свой выбор, чтобы вероятность выбора
наилучшего объекта была максимальной? Предпола-
гается при этом, что к отвергнутым объектам воз-
вращаться нельзя.
3. В основу этой книги были положены записи
лекций, которые читались автором на механико-мате-
матическом факультете МГУ в 1966—1968 гг. и
12
(в меньшем объеме) на 2 Всесоюзной школе по опти-
мальному управлению в г. Шемаха (1967 г.).
В этих лекциях автор не стремился охватить всю
проблематику статистического последовательного ана-
лиза, ограничившись изложением лишь теории опти-
мальных правил остановки и некоторых ее примене-
ний. Это обстоятельство отражено, в частности,
в подзаголовке книги «Оптимальные правила оста-
новки».
В примечаниях, помещенных в конце книги, ука-
зываются источники приводимых результатов, а также
даются литературные ссылки на некоторые работы,
примыкающие к излагаемому материалу.
В заключение я пользуюсь случаем выразить свою
глубокую благодарность А. Н. Колмогорову, который
ввел меня в проблематику последовательного анализа
и советами которого я имел возможность пользо-
ваться. Мне приятно поблагодарить Н. Н. Моисеева,
явившегося инициатором написания этой книги.
Проблематика последовательного анализа была темой
наших частых бесед с Б. И. Григелионисом, которые
были для меня очень полезными. Я приношу ему
свою благодарность. Наконец, я признателен редак-
тору книги О. В. Вискову, критика которого способ-
ствовала устранению погрешностей, и помогавшим
мне в оформлении рукописи М. П. Ершову, И. Л. Ле-
гостаевой и Л. Г. Страут.
список основных
ТЕОРЕТИКО-ВЕРОЯТНОСТНЫХ
ОБОЗНАЧЕНИЙ
(Q,	— измеримое пространство;
Р> Рх — вероятностные меры (вероятности);
(Q, &, Р)— вероятностное пространство;
(Е,	— фазовое пространство;
т], ... — случайные величины;
т, а —марковские моменты;
М-— математическое ожидание
М (£ | ®) — условное математическое ожидание £
относительно о-алгебры ®;
-STt — сг-подалгебры
т= [о, оо), 7=[о, оо];
jV={0, 1, 2V = {0, 1, оо};
X =	(со)}, /е T(/g AQ, — случайный процесс с не-
прерывным (дискретным) временем;
X = (xz, & b PJ, х е Е, t g= Т (t е TV), — марковский
процесс с непрерывным (дискретным) временем;
aAb = min(a, 6), а\/Ь = тах(а, Ь);
сГ = — min (а, 0), а+ = тах(а, 0).
ГЛАВА I
МАРКОВСКИЕ МОМЕНТЫ И СЛУЧАЙНЫЕ
ПРОЦЕССЫ
§ 1. Необходимые сведения из теории вероятностей
1. Пусть (Q, ^) — измеримое пространство, т. е.
множество Q точек со с выделенной на нем системой
его подмножеств, образующих сг-алгебру *).
Согласно аксиоматике Колмогорова в основе всех
вероятностных рассмотрений предполагается задан-
ным некоторое вероятностное пространство (Q, &*, Р),
где (Q,	— измеримое пространство, а Р — вероят-
ностная мера (вероятность), определенная на множе-
ствах из и обладающая следующими свойствами:
Р(Л)>0, А е (неотрицательность);
Р (Q) = 1	(нормированность);
(оо \	со
U А)= 2 Р (А) (счетная, или сг-аддитивность),
z=i /	*=1
где At е At П Aj = 0, i #= /, 0 — пустое множество.
Система множеств сУ~р называется пополнением
по мере Р, если сУ^р содержит все те множества А Q,
для которых найдутся такие Ah А2^с^, что А^А^А2
и Р(А2 \ Aj) = 0. Система множеств сУ~р является
cr-алгеброй и мера Р однозначно продолжается на
множества из сУ~р.
Вероятностное пространство (Q, &, Р) называется
полным, если оУ"р совпадает с .
*) Система множеств У пространства Q называется o'-алгеб-
рой, если вместе с каждым множеством А содержит
его дополнение А = Q \ А и вместе с каждой последователь-
оо
ностью множеств Аь Д2, ... содержит их сумму (J А/ и пере-
/=1
оо
сечение р| Л/.
Z=1
15
Пусть (Q, aF") — некоторое измеримое пространство.
Обозначим = Р|о?ГР, где пересечение берется по
р
системе всех вероятностных мер Р на (Q,
Система является о-алгеброй, и ее множества
называются абсолютно измеримыми множествами
пространства (Q, <^).
Пусть (Q, <^) и (Е, J?) —два измеримых прост-
ранства. Функция g = g (со), определенная на (Q,
и принимающая значения в Е, называется / ^-из-
меримой, если множество*) {со:	для
всякого S е <$. В теории вероятностей такие функции
называют случайными величинами со значениями в Е.
Если измеримое пространство (Е, ^) таково, что
о-алгебра содержит все подмножества из Е, со-
стоящие из одной точки, то оно называется фазовым.
Если Е = R — действительная прямая, а есть
сг-алгебра ее борелевских подмножеств, то / .^-из-
меримую функцию g = g(co) называют просто (действи-
тельной) случайной величиной. В этом специальном
случае /.^-измеримые функции для краткости на-
зывают &-измеримыми.
Пусть g (со)— неотрицательная случайная величина.
Ее математическое ожидание (обозначается Mg) есть,
по определению, интеграл Лебега **) J £ (со) Р (rfco),
Я
который (в силу предположения g(co)^O) определен,
принимая, быть может, значение +оо.
Математическое ожидание от произвольной дейст-
вительной случайной величины g (со) (обозначается
также Mg = J g (со) Р (dco) j определяется только в том
я	/
случае, когда одно и-з математических ожиданий Mg+
или Mg~ конечно (здесь g+ = max (g, 0), g“ = — min (g, 0))
и полагается равным Mg+ — Mg~.
*) Множества {со: g (со) е 3} часто обозначаются просто
{£ (°) е или (g (cd) е 3).
**) Для интеграла Лебега часто используется также обозначе-
ние J g (со) с/Р.
я
16
Случайная величина g (со) называется интегрируе-
мой, если
м|£1=мг + мг<°°.
Интеграл Лебега j g (<о) Р (da) (если только он
А
определен, т. е. один из двух интегралов J (со) Р (Ао)
л
или j g“ (со) Р (dco) конечен) по множеству Л будет
л
также обозначаться М (g; Л). Тем самым Mg = М (g; Q).
Если & — некоторая о-подалгёбра <£Г, & и
g = g (со) — действительная случайная величина, мате-
матическое ожидание Mg которой определено, то
M(g|<^) обозначает условное математическое ожида-
ние g относительно <^, т. е. любая ^-измеримая функ-
ция т) = т) (со), для которой определено Мт], и для
любого Ае
j g(a>)P(dcd)= J г) (со) Р (rfco). (1.1)
Л	/V
В силу теоремы Радона — Никодима, такая случайная
величина т|(со) всегда существует.
Если g(со) = %д(со) — индикатор множества А (иначе —
характеристическая функция множества Д), то
М (%л (со) | <£?) обозначается Р (Д | <£?) и называется
условной вероятностью события А относительно
Как M(g|^), так и Р(Д| <£?) определяются из (1.1)
однозначно с точностью до множеств P-меры нуль.
Иначе говоря, если f (со) есть ^-измеримая функция,
также удовлетворяющая (1.1), то М (g | <£?) = /(со)
с вероятностью единица, или почти наверное (Р-п. н.).
Если —некоторая система подмножеств прост-
ранства Q, то сг(^) обозначается а-алгебра, поро-
жденная системой Л, т. е. наименьшая о-алгебра,
содержащая Л.
_ 2. Пусть Т=[0, оо), f=TU{oo}, jV={0, 1, ...},
W=AfU{°°}. Семейство ^/^-иамеримых случайных
величин X = {g/ (со)},	называется слу-
чайным процессом с непрерывным (дискретным) вре-
менем, заданным в (Е, ^?). Случайный процесс
2 А. Н. Ширяев	17
с дискретным временем называют также случайной
последовательностью.
При фиксированном weQ функция времени
t Т (или t е JV), называется траекторией, отвечающей
элементарному исходу со. Для наглядности иногда
удобно говорить, что ^(со), t^T (или t е N), есть
траектория движения некоторой частицы (или системы).
Если — алгебра подмножеств Q, порожденная
множествами {со: £5(со)еГ}, Ге fто условимся
обозначать а {со: д5(ш), s^/} = o( ^), M(n|L, =
= М(т]|а(Л)) и Р(Д|^, 5<0 = Р(Д|оШ), где
т) —некоторая -измеримая случайная величина, для
которой определено математическое ожидание Мт],
а Ле Иногда используются также следующие обо-
значения М(л | Vo)= М(т] |о( ^)), Р(А|^0) = Р(Д|о(^)).
Случайный процесс X = {^((o)}, feT, называется
измеримым, если для любых Se^
{(cd, /): ^((D)ES}e^Xf(T),
где J? (7) есть o'-алгебра борелевских множеств на
7= [О, оо).
Случайный процесс X называется согласованным
с семейством о-алгебр F =	t е Т, если
{со: (со) ее S} е t при каждом t^T и S
Говорят, что процесс X прогрессивно измерим
(относительно F = J, t е 7*)), если для каждого t^T
{(со, s):	5</}е^Х^([0, /]),
где J?([0, t]) есть o'-алгебра борелевских множеств
на [0, f].
Всякий прогрессивно измеримый (относительно
Г = {<^}) процесс X является измеримым и согласо-
ванным с F. Справедливо и обратное утверждение:
если процесс X измерим и согласован с 7 = {с>У\}, то
он является прогрессивно измеримым относительно
7 = {JrJ (точнее, существует прогрессивно измеримый
процесс X' ={£'(о))}, t^T, эквивалентный**)^. Из-
вестно, что всякий процесс, согласованный с Е = {сУ\}
*) В тех случаях, когда это не вызывает недоразумений,
указание на то, что t е Г, будет опускаться.
**) Процессы X = {gf(co)} и X' =	(со)}, t е Т, называются
эквивалентными, если Р (со) =/= £/ (w)| = 0 для всех t ^Т,
18
и имеющий траектории, непрерывные справа (слева),
является прогрессивно измеримым [46].
Результаты, изложенные в предыдущем абзаце,
сохраняют свою силу и в том случае, когда Е — ло-
кально компактное хаусдорфово пространство со счет-
ной базой [46].
§ 2. Марковские моменты
1. В настоящем параграфе даются определения и
излагаются основные свойства марковских моментов,
которые позднее будут использованы при решении
различных задач об оптимальной остановке марков-
ских процессов. Все изложение будет вестись для
случая непрерывного времени. Соответствующие опре-
деления и результаты почти автоматически перено-
сятся на случай дискретного времени и, как правило,
становятся проще.
Пусть (Q, о?') —измеримое пространство, Г=[0, оо),
/7 = {o^J, t е Т, — неубывающая последовательность
о-подалгебр : <SF	s^t.
Определение 1. Случайная величина (т. е.
-измеримая функция) т = т (со) со значениями
в Т=[0, оо] называется марковским моментом (отно-
сительно последовательности F = J) *), если для
каждого t < оо
{со: т /} €=
Марковские моменты (м. м.) называют также слу-
чайными величинами, не зависящими от будущего.
Определение 2. Если т = т(со) —м. м. (относи-
тельно F =	J), то обозначает совокупность тех
множеств А е для которых Л П {т < /} е t при
всех t е Т.
Нетрудно проверить, что &~х является о-алгеброй,
причем если т (со) = s для всех cosQ, тогда &'х совпа-
дает с 5. Наглядный смысл о-алгебры состоит
в следующем. Будем под с>У t понимать совокупность
событий, связанных с некоторым физическим процессом
*) В тех случаях, когда это не вызывает недоразумений,
слова «относительно последовательности F = {<&~/}» будут опу-
скаться.
2*
19
и наблюдаемых до момента t. Тогда —совокуп-
ность событий, наблюдаемых за случайное время т.
2. Для каждого t^T положим &z+o = Q	и
Определение 3. Последовательность F == {3~J
называется непрерывной справа, если	для
всех t gh Т.
Лемма 1. Для каждого *) / е 7
{т < О <= t =Ф < t} е о?”/	(1.2)
и, следовательно, {т = 1} е <3~t.
Доказательство. Поскольку {т < /} =
=	и L — то
Утверждение, обратное к (1.2), вообще говоря,
неверно. Однако имеет место следующая
Лемма 2. Если семейство {3~ J непрерывно
справа, то для каждого t <= Т
{т < t} е qF f =Ф {т	е
Доказательство. Если {т < t} t, то {т /} е
е о?^+е для любого в > 0. Следовательно, [тС/)е
f+o = t-
Из этой леммы вытекает, что в случае непрерыв-
ных справа семейств {<У\} для проверки того, бу-
дет ли случайная величина т==т(со) м. м., достаточно
лишь установить, что {т < /} е t, t е Т.
В общем же случае условие {т < /} е t, t е 7,
слабее условия {т /} е t, t е Т. Чтобы в этом
убедиться, положим Q = 7, пусть ЗГ есть о-алгебра
лебеговских множеств на 7,
хДсо) =
0, /<со,
1, t > со,
и	х5(со),	Тогда случайная величина
т = inf {t 0: xt (со) = 1} удовлетворяет условию {т < /}
GoTt, в то время как	t, t^T.
*) (а) =^> (Ь) означает, что из (а) следует (Ь).
20
Пусть X = {М°)}» Л — действительный случай-
ный процесс, заданный на некотором вероятностном
пространстве (Q,	, Р). Важнейшим примером не-
убывающей последовательности о-алгебр J яв-
ляется последовательность оГ = {со: gs(co),
Нижеследующая теорема оказывается полезной
при определении того, является ли некоторая слу-
чайная величина т = т(со) (со значениями в Т) мар-
ковской относительно семейства {<^|}.
Теорема 1. Для того чтобы случайная вели-
чина т = т (о) со значениями в Т являлась марков-
ским моментом относительно	необходимо и
достаточно, чтобы она была измеримой относительно
о-алгебры ctT’lo == о / (J и для каждых Коо,
V<= 7	/
о) s Q, о/ е Q таких, что
х (со) С t, (со) = (o'), s < t,
имело место равенство т (©')== т (©).
Доказательство этой теоремы будет опи-
раться на лемму 3, для формулировки которой не-
обходимо ввести некоторые новые понятия и обозна-
чения.
Будем говорить, что точки со и со' из Q являются
/-эквивалентными (со' ~ со), если

Пусть множество А	и /<оо. Пополним
множество А точками co'~co, где (оеЛ В резуль-
тате получится некоторое множество At. а-алгебру
©-множеств, порожденную такими множествами
обозначим
Лемма 3. о-алгебры и совпадают.
Доказательство. Пусть ab t е Т, — отобра-
жение пространства Q в Q такое, что

где $A/ = min(s, t). В частности, если пространство
элементарных событий Q есть пространство всех
21
действительных функций f(s), s^O, то отображе-
ние az переводит функцию f(s), s^O, в функцию
(««OW-j №
s</,
Заметим, что at при каждом t Т является из-
меримым отображением (й, g7~|) в (й, Следо-
вательно, если	то а“!(4)е<У"|. Предполо-
жим, что множество А пополнено /-эквивалентными
точками. Тогда, очевидно,	Покажем, что
в этом случае А е Действительно, пусть ме Л.
Тогда точка azco также принадлежит множеству А,
а значит, а”1 (4) ^4. На самом же деле а"1 (4) = 4,
так как если со е а”1 (4), то а,со е 4, и поскольку
со Д, а,со, то со е 4. Но а"1 (4) е поэтому 4 е
Доказательство обратного соотношения (4 е =Ф
=> 4 е достаточно провести для множеств 4 вида
4 = {со: (со) е [а, &]}, s <1 t. Если со е 4 и co'J-co,
то, в силу равенства (со) = (со'), $^/, очевидно,
со' е 4. Поэтому множество 4 е s <^1 попол-
нено /-эквивалентными точками и, следовательно,
A g= |.
Перейдем к доказательству теоремы 1.
Необходимость. Пусть т = т (со) — м. м. и для
/	7, со е Й, со' е й
т (со) ^ /, со' Д (о.
Обозначим для данного со и = т(со). Тогда
СО С= 4 = {т (со) = u} G= и.
В силу леммы 3, совпадает с Поэтому мно-
жество 4 е <^1, и так как со' ~ со, то со' е 4. Зна-
чит, т(со') = и, откуда т (со) = т (со').
Достаточность. Пусть т = т(со) есть o^L-из-
меримая случайная величина и для всех / s Г, ме й,
со'е й таких, что т(со)^/ и со'Хсо, справедливо
равенство т (со') = т (со). Ясно, что множество 4 =
= Мо>) < /} ^ содержит все /-эквивалентные
точки, т. е.	Отсюда по лемме 3 4 е
22
Из доказанной теоремы вытекает, что в слу-
чае последовательности	можно пользоваться
иным определением м. м., эквивалентным данному
выше.
Определение 4. о^^-измеримая случайная
величина т = т(со) со значениями в Т= [0, оо] назы-
вается м. м., если для всех t Т, (oeQ, о'ей та-
ких, что т(со)</ и (со) = (o'), имеет место
равенство т (со) = т(со').
Отметим, чго в работах по последовательному
анализу под м. м. обычно понимаются случайные ве-
личины т = т(со), удовлетворяющие именно определе-
нию 4, которое, как мы видим, на самом деле экви-
валентно определению 1.
3.	Сформулированные выше определения относи-
лись к случаю непрерывного времени t(=T. Как уже
отмечалось, все сформулированные выше понятия и
результаты сохраняют свою силу и в случае произ-
вольного множества значений t лишь бы оно было
упорядоченным. В частности, предположим, что время t
дискретно*): /^N={0, 1,...}.
Лемма 4. Пусть n^N и т = т(со) принимает
значения в Ar=A^U{°°}- Условия {х^п}^^п и
{т = п} е n^N, эквивалентны.
Доказательство. Как и в лемме 1, {т п} е
е =ф {т = п} е Обратное утверждение сле-
дует из того, что {т п} = (J {т = k} е
п
4.	Лемма 5. Если ть т2 — м. м., то ti А т2 =
= min(r1, т2), ?! V't2 = max(TI, т2) и Чч + тг также яв-
ляются марковскими моментами.
Пусть {тД, /2=1,2, ..., — последовательность м. м.
Тогда suprrt — также м. м. Если к тому же последо-
п
вательность {о?"/} непрерывна справа, то infrrt,
п
lim sup хп и lim inf хп также будут марковскими момен-
п	п
тами.
*) В этом случае понятия а-алгебр ;+0 и непрерывность
справа семейства {еГтеряют свой смысл,
23
Доказательство первых трех утверждений
следует из соотношений
{Т( V Т2 < 0 = {Т1 < /} п {Т2 < О,
{т, + т2 < о = {Ti = 0, т2 = /} и
U {ti = t, т2 = 0} (J {т| < а} Л {т2 < Ь},
a+b < t
a, b^Q
где а, b — рациональные числа.
Доказательство остальных утверждений основано
на том, что
jsup т„ < q = f|{T„ с t} е= &t,
linf т„ < П = (J {т„ < 0 е= t
In J „
и для Iimsupr„ = inf sup xm, lim inf xn = sup inf xm
n	n1 n	n	n > 1 m^n
oo oo oo
flimsupM = (J U
I n	J	k = \ n=\ m=n 1	'
oo oo oo
Him inf xn > t\1= (J f|	+
' n	।	k = \ n=\ m=n
Лемма 6. Всякий марковский момент т = т(со)
(относительно {^J) является <&~х-из мери мой случай-
ной величиной. Если т(со) и о (а) — два м. м. ut(co)^
< о (со), то	о.
Доказательство. Пусть А = {т s}. Надо по-
казать, что ДП{т<0 при любом t Т. Но
{т < s} Л {т < t} = {т < t /\ s} GE оТt Л s
следовательно, м. м. т является сУ^т-измеримой слу-
чайной величиной.
Предположим теперь, что А Тогда
ЛЛ{а</} = (ЛП{т<0)П{а<0^^
и, следовательно, А е о^а.
Лемма 7. Пусть {хп} — последовательность м. м.
относительно непрерывной справа системы о-алгебр
и пусть T = infr/Z. Тогда &т = Q
п	п
24
Доказательство. В силу леммы 5, т является
м. м. Поэтому, согласно лемме 6, т <= тд. С Дру-
п
гой стороны, если	тп, то
п
\ п	/ п.
откуда, в силу непрерывности справа J, нетрудно
получить, что А е т.
Лемма 8. Пусть т и о —два м. м. относи-
тельно Тогда каждое из событий {т < о}, {т>сг},
{т^ог}, {т^а} и {т = о} принадлежит и <^"0.
Доказательство. Для каждого t <= Т
{? < о} А {о- < 0 = (J ({т < г) П {г < (7 <

где г — рациональные числа, откуда {т<о}есУ'д.
С другой стороны,
{т < о} А {г С 0 = U ({т С г} А {г < <т}) U
.U({T</}AV<a})e^,
т. е. {т < <т} 6= <^"х.
Аналогично устанавливается, что {а < т} g=
{а <т} е оУ~а. Следовательно, {т^о}, {сг^т} и {т = а}
принадлежат как сУ\, так и
Лемма 9. Если процесс X =	(со)}, t е 7, за-
данный в измеримом пространстве (Е, ^), прогрес-
сивно измерим относительно системы и т = т (со) —
м. м. (относительно {^}) такой, что Р(т<оо)=1,
то функция gT(<D)(co) является ^-измеримой.
Доказательство. Пусть Sef, t^T. Надо
установить, что
Ы“)е S} А{т</}
Пусть a = min(T, /). Тогда
{£т (со) <= S} п {Т < 0 = е S} п [{Т < t} и {Т = /}] =
= [{£а (со) S} п {ст < /}] и [{£т (со) е S} п {Т = /}].
Ясно, что [{gT е S} П {т = /}] н Если теперь пока-
зать, что £а(со) является //.^-измеримой функцией,
то тогда {g0 е S} П {с? < 0 е Но, в самом деле,
25
отображение (о—> (со, о (со)) является измеримым ото-
бражением (Q, oT'J в (Q X [0, /], <^tX&([0, /])),
а отображение (со, s)->^(со) пространства (Q X [0, /],
^X.f([0, /])) в (£, J?) также измеримо в силу
прогрессивной измеримости процесса X. Следова-
тельно, отображение (Q, в (£, J?), задаваемое
ga(co), измеримо как результат последовательного
применения двух измеримых отображений.
5.	Остановимся на некоторых примерах марковских
моментов.
Пусть X = {£z (со)}, t е Т, — действительный процесс,
z = a{co: s t}. Очевидно, что процесс X со-
гласован с семейством J. Пусть А — борелевское
множество на числовой прямой и
аА = inf {/>0: ^((о)еЛ),	(1.3)
тл = inf {/ > 0: ^(со) е= Л}	(1.4)
— моменты (первого и первого после +0) достижения
множества А. Условимся полагать ол=оо, тл = оо,
если множества {•} в (1.3), (1.4) пусты.
Моменты ал и тл (не совпадающие лишь в случае, •
когда £0 (со) е Л и существует 8 > 0 такое, что (со) Л
для всех t е (0, е)) будут в дальнейшем изложении
играть важную роль при отыскании оптимальных
правил остановки. Нетрудно показать, что ол и тл
обладают следующими свойствами:
X s В => ад > тд>гв,	(1.5)
одив = т1п(стд, <тв), тдив = тт(тд, гв), (1.6)
одПв>тах(стд, сгв), тдПв>тах(гд, гв), (1.7)
если А = (J Ап, то <гд = inf аДп, тд = тГгДп. (1.8)
п	п	п
Лемма 10. Если действительный процесс X —
— {£/ (“))>	непрерывен справа, ^t+o = ^t и
С — открытое множество, то ос и тс — марковские
моменты.
Доказательство. Пусть D = R \ С. Тогда,
в силу непрерывности траекторий справа и замкну-
тости множества D,
{ас (со) > 0 = {£.$ (со) е= D, s < t} = Q {gr (co) e D},
26
где г — рациональные числа. Следовательно,
{ас (со) < t} = (J {£г (со) е С} е ь
r<t
В силу предположения с&~t ~	^+0 и леммы 2, отсюда
вытекает, что сгс(со)~ м. м. Аналогично проводится
доказательство и для тс(со).
Используя метод, примененный в доказательстве
леммы 10, можно также установить, что, например,
gd = inf {/ > 0:	& D}, где D — замкнутое множество,
а процесс Х = {^(со)}, t^T, непрерывен, является
марковским относительно системы J, t
== о {со: §5, s </}.
Все эти результаты об измеримости моментов аА
и хА можно получить из следующей теоремы.
Теорема 2. Пусть X =	(со)}, t е Т, — прогрес-
сивно измеримый (относительно {o7*J) случайный
процесс, заданный в измеримом пространстве (£, ^).
Пусть также t = и =	Т. Тогда
для всякого абсолютно измеримого множества В е SS
= см- § моменты
=	^sB], r^==inf{/>s: ^еВ),
где s^O, являются марковскими относительно {сУ\},
t^T.
Доказательство см. в [46], гл. IV, тео-
рема 52; [32], § 2 Дополнения.
§ 3.	Марковские случайные процессы
1.	Определения. Приведем основные определения
и свойства марковских процессов с дискретным и
непрерывным временем в том объеме, в котором они
нам понадобятся для рассмотрения задач об опти-
мальной остановке.
Пусть (Q, о7") — некоторое измеримое пространство
элементарных исходов со е Q и (£, J?) — некоторое
фазовое пространство. Предположим, что для
каждого t е Z (Z = Т — [0, оо) в случае непрерывного
и Z = N = {0, 1, ...} —в случае дискретного времени)
в выделены а-алгебры t такие, что S оТ* и
27
&t^<3Fs, t^s. Пусть, далее, {xz(co)}, t^Z, coeQ, —
семейство случайных величин xt = хДсо), определен-
ных на (Q, #”) со значениями в £ и согласованных
с системой о-алгебр F = J, t е Z, и пусть для
каждого х е Е на о-алгебре <ST задана вероятностная
мера Рх.
Определение 1. Система X — {xt, &ti PJ,
t^Z, называется (однородным, необрывающимся)
марковским процессом со значениями в фазовом про-
странстве (В, ^), если выполнены следующие
условия:
1)	для каждого	РХ(Л) является ^-изме-
римой функцией х;
2)	для всех х е Е, Ее f, u, t е Z
Px(xi+a(a>)^ B\^t)^PKf(xu^B) (Рг-п. н.); (1.9)
3)	Рх(х0=х)=1, хеЕ;
4)	для каждых (ое Q, t <= Z найдется to' е Q
такое, что х5(о/) = х5+Дсо) для всех seZ.
Если Z = N, то Х = (х/, t, PJ называется также
марковским процессом с дискретным временем, или
марковской случайной последовательностью.
Условие 2) выражает марковский принцип неза-
висимости «будущего» от «прошлого» при фиксиро-
ванном «настоящем». Условие 4) означает, что исход-
ное пространство элементарных исходов Q должно
быть достаточно «богатым» и что множество траек-
торий {хДсо)}, feZ, обладает некоторой однород-
ностью.
Обозначим	х5(со), s t}. Нетрудно ви-
деть, что наряду с X = {xt, h Рх} процесс
X' = (хр of', Pxj также будет марковским и
t — v t
В дальнейшем мы будем считать, что простран-
ство элементарных исходов Q = Ez, т. е. является
пространством функций со = со(/), определенных для
t^Z, со значениями в Е. Это предположение не
ограничивает общности, поскольку можно построить
новый марковский процесс с Q = Ez, который с точки
зрения конечномерных распределений будет экви-
валентен процессу X ([12], гл. I, теорема 4.3).
23
Определение 2. Прогрессивно измеримый
марковский процесс X = (xz, t> РД / Z, назы-
вается строго марковским, если для любого марков-
ского момента т (относительно системы F =
t Z) выполнено следующее усиление условия 2):
2') для всех х^Е,	u^Z на множестве
{со: т(со) < оо}
(Рх-п. н.). (1.10)
Известно, что марковский процесс с дискретным
временем всегда является строго марковским [32].
В случае непрерывного времени это, вообще говоря,
уже не так.
Определение 3. Прогрессивно измеримый
марковский процесс	Рх), /еТ, назы-
вается квазинепрерывным слева, если для всякой
неубывающей последовательности марковских момен-
тов хп, п = 1, 2, ... (относительно F = J, t е Г),
Хт (©) (<о)-> хт м (о) Рх-п. н. на множестве {т<оо}
для всех х е Е, п->оо, где т= lim тЛ.
Г2->ОО
Отметим, что входящее в эти определения требо-
вание прогрессивной измеримости обеспечивает
(см. лемму 9 § 2) .^-измеримость величин хт((о)
и Хг„(<о).
2.	Переходная функция. Обозначим Р(/, х, Г) =
= Рх (xt (с°) X G Е, Г G t е Z. Функция
P(t, х, Г) называется переходной функцией марков-
ского процесса X. Следующие ее свойства непосред-
ственно вытекают из определения 1:
1)	Р(/, х, • ) —мера на (Е, ^) для всех хе£,
t е Z;
2)	Р(/, х, Г) является .^-измеримой функцией х
при каждых /<= Z и Ге^;
3)	(уравнение Колмогорова — Чэпмена)
P(t + S, X, Г)= J P(s, х, dy)P(t, у, Г), t, ssZ; (1.11)
Е
4)	Р(0, х, Г) = %г W-
Для случая дискретного времени (eZ, в си-
лу (1.11), переходная функция P(t, х, Г) полностью
29
определяется по переходной функций за один шаг
Р(х, Г) =Р(1, х, Г).
3.	Стандартные процессы. В случае непрерывного
времени данное выше определение марковского про-
цесса оказывается слишком широким для построения
плодотворной теории. В этом разделе мы рассматри-
ваем важное понятие стандартного марковского про-
цесса; именно для такого процесса в гл. III будут
изучаться задачи об оптимальной остановке.
Будем предполагать, что исходные пространства
(£, J?) и (Q, <^) обладают следующей структурой;
£ —локально компактное сепарабельное метрическое
пространство с метрикой •); (1.12)
S3 есть о-алгебра подмножеств Е, порожденная
открытыми множествами; (1.13)
Q — множество функций со = со (/), t е Т, со значениями
в £, непрерывных справа и имеющих пределы слева;
(1.14)
& есть о-алгебра ©-множеств, порожденная множе-
ствами вида {©: (o(s)sF}, Ге^, s е Т. (1.15)
Для каждого со е Q положим xt (со) = со (/) и на-
зовем {хДсо)}, t е Т, траекторией, отвечающей эле-
ментарному исходу со; кроме того, пусть t =
= ст {со: х5(со), s /}.
Используя предположения (1.12) — (1.15), нетрудно
показать, что о-алебра t при любом t порождается
счетной системой множеств вида {со: хг(ш)еГ}, где
г — рациональные числа на [0, /] и — элемент базы
{Гь Г2, ...}, состоящей из открытых множеств про-
странства Е.
В ряде задач теории марковских процессов o'-ал-
гебры 33, и t, t е Т, оказываются слишком
узкими (см., например, теорему 2 в § 2), и прихо-
дится вводить в рассмотрение их пополнения 33, <3^
и &ь получаемые следующим образом.
Пусть ц — вероятностная мера на (Е, ^), ^ — по-
полнение о-алгебры 33 по мере ц и РЦ'(Л) =
= J Рх И) ц (dx)t	Обозначим (см. § 1)
Е
зо
& = Г\^' =П^Р >	< =	> Рл--продол-
и	ц __	м-
жение меры P v на оУ .
Известно ([33], теорема 3.12), что если процесс
X = (х/, сУ/, Рдг) является строго марковским, квази-
непрерывным слева и & t = /+0, то процесс X =
= (xt, t,P х) также будет строго марковским и квази-
непрерывным слева в фазовом пространстве (Е, J7).
Изучая поэтому строго марковские квазинепрерывные
слева марковские процессы, удовлетворяющие усло-
вию У"t = <^t+o, можно сразу предполагать, что
= <	=	= РХ = РХ. (1.16)
Определение 4. Строго марковский, квазине-
прерывный слева марковский процесс X = (xt, t, Рх),
t ge Т, называется стандартным, если сУ t — /+о при
всех t и выполнены условия (1.12) — (1.15) и (1.16).
4.	Полугруппа {Tt}. Феллеровские процессы. Пусть
В(Е, ^) — пространство ^-измеримых ограниченных
функций f(x), с нормой || f || = sup | f (х) |. Каждой
х е Е
функции f^B(E, $) поставим в соответствие функцию
Ttf(x) =	х, dy), t<=Z.
E
(1.17)
Формула (1.17) определяет семейство линейных опе-
раторов {7\}, t е Z. В силу (1.11), это семейство
образует полугруппу, т. е.
Ts-Tt = Ts+t, s, />0.
Нетрудно видеть, что эта полугруппа сжимающая:
Ш1КНН />0.
Пусть С (Е, ^?)^В(Е, ^) — пространство огра-
ниченных ^-измеримых непрерывных функций, задан-
ных на пространстве (Е, ^), удовлетворяющем усло-
виям (1.12), (1.13).
Определение 5. Полугруппа операторов {7\},
t^T, называется феллеровской (а соответствующие
переходная функция Р(/, х, Г) и марковский процесс
X — феллеро веки ми), если для каждой f^C(E, ^)
функция 7J(x) непрерывна похеЕ при ts=T.
31
Известно ([33], теорема 3.3), что если марковский
процесс X = (xz, c5rt, Px), /<= Т, является феллеров-
ским и выполнены условия (1.12), (1.13), то процесс
X' = (%/, &/+о» РД	также будет марковским.
Тем самым, исследуя феллерозские процессы, фазо-
вое пространство которых удовлетворяет условиям
(1.12), (1.13), без ограничения общности можно счи-
тать выполненным условие
t — *?'/+о,	t е 7,	(1-18)
входящее в определение стандартного процесса.
5.	Операторы 0f и 0г. Пусть X = (xz, ь РД
t е Z, — марковский процесс, для которого Q = EZ.
Определение 6. Пусть для каждых t^Z и
(oeQ 0zco — элемент пространства Q такой, что
x5(0zco) = х5+Дсо) для всех seZ. (1-19)
Если f = f(со) — функция на Q, то 0zf = 0J(co) обо-
значает фуНКЦИЮ f(0/CO).
Если т = т(со) есть ^-измеримая функция со зна-
чениями в Z, то 0Т (о) со обозначается элемент Q такой,
что 0Т (о) со = 0/Со, если т(со) = /. Под 0J понимается
функция f (0тсо).
С помощью введенного оператора 0Т строго мар-
ковское свойство (1.10) можно записать в следующей
эквивалентной форме: если*) ц = -ц(со) есть ^-изме-
римая функция такая, что Мх| г| (со) | < оо, и т = т (со) —
марковский момент (относительно системы {<^J, teZ,
t = ст (со: со (s), s t)), то на множестве {со: т (со) < оо}
Мх{ОтЛ 1^г) = (Рх-п. н., х^Е). (1.20)
Из (1.20) следует, что если случайная величина
g = £ (со) с5гт-измерима и Mx|gT|<oo, Мх| £0тт] |< оо,
МЛМ=М^МХтт]}.	(1.21)
6.	Инфинитезимальный и характеристический опе-
раторы. Пусть (Е, J?) —фазовое пространство и
В(Е, J?) — банахово пространство ограниченных из-
меримых функций f = f(x) с нормой || f ||= sup| f (х) |.
*) Мы предполагаем, что Q = Е^,	= о {со: со (s), seZ).
32
Инфинитезимальный оператор Л полугруппы {Tt},
t^Tt определяется формулой
^f(x) = !imTtfM~f-(x) .	(1.22)
/^0	1
Чтобы полностью определить оператор Л, надо задать
область его определения <2^. Будем считать, что
состоит из всех функций f е В(Е, ^), для которых
предел в правой части (1.22) существует равномерно
по х^Е.
Если {Tt}f t <= Т, — полугруппа, отвечающая мар-
ковскому процессу X = {xt, ь Рх}, то Л называется
инфинитезимальным оператором процесса X.
Слабый инфинитезимальный оператор Л опреде-
ляется, как и оператор Лу формулой (1.22), но с более
широкой областью определения 35К % относятся
те функции из В (Е, ^), для которых: а) отношение,
стоящее в правой части (1.22) ограничено при всех
х е Е и t из некоторой окрестности нуля; б) предел
этого отношения существует при каждом х е Е и
определяет функцию (^f(x)), для которой Т^ЛЦх)
слабо сходится к Л?(х) при /->0 (см. [33], стр. 85).
Область определения
Обозначим ^совокупность всех открытых множеств
(в топологии, порожденной метрикой d( •, •)), имею-
щих компактные замыкания *).
Пусть X = (xh ъ Р J, t е Т, % е - стандарт-
ный марковский процесс и
о (£7) = inf {t 0: xt (о) s £ \ U}> U
Согласно лемме 4.1 из [33] (ср. также с теоремой 2
из § 2), момент о(£/) является марковским.
Пусть f (х) — произвольная .^-измеримая функция
и ^ — совокупность множеств для которых**)
Мх0 If (*ОГ(щ) |< ОО, XQ е Е.
*) Замыканием множества U е U называется наименьшее
замкнутое множество, содержащее U.
**) Под MXof(xQ(C/)) понимается интеграл
/ f (%j (4/))
(О (Щ < оо)
3 А. Н. Ширяев
33
Образуем выражение
**xj (xj (U)) f (xo)
NLcr(E)
Ло '
(1.23)
считая его равным нулю, если МХоо(£7) = оо, и по-
ложим
f (ха — f
«fW- I'm,	,	<L24>
где предел берется по системе окрестностей U е
стягивающихся к точке х0 (подробнее см. § 3 гл. V
в [33]).
Множество всех ^-измеримых функций, для ко-
торых предел (1.24) существует в точке х0, обозна-
чается ^Sl(xo). Если	при всех xoeG, то
будем писать fe^i(G). В том случае, когда G=E,
обозначают	(Е).
Для широкого класса марковских процессов ха-
рактеристический оператор является расширением сла-
бого инфинитезимального оператора =2^ ^<2^ (см.,
например, теорему 5.5 в [33]).
7.	Обрывающиеся неоднородные марковские про-
цессы. Задачи об оптимальных остановках далее
будут рассматриваться преимущественно для однород-
ных необрывающихся марковских процессов. Однако
излагаемая теория почти без всякого изменения при-
менима как в случае обрывающихся, так и в случае
неоднородных марковских процессов. В связи с этими
процессами дадим необходимые определения.
Пусть (Е, J5) —фазовое пространство. Обозначим
Ед = ЕЦ|{Д}> где Д —некоторая (фиктивная) точка,
не принадлежащая Е, и пусть ^д есть о-алгебра
подмножеств Ед, порожденная множествами из S3.
Заметим, что {Д} е S3д, так что пространство (Ед, S3д)
будет фазовым.
Обозначим £2 = Ед, Z=Z U {°°}, пространство функ-
ций со = со (/), / е Z, со значениями в Ед таких,
что о(оо) = Д и <о(/) = Д для всех	если
G) ($) = Д.
34
Пусть (Од = сод (/) — функция такая, что
сОд(/) = Д, t^Z, o7^ = cr{(o: co(w),
= сГ^оПо, сГ=Л Х<(®) = ®(/), t^.Z,
t> (со) = inf {t > 0: xt (со) = Л}.
Величина £(со) называется временем жизни или
моментом обрыва (траектории со = со(^), t е Z). По-
скольку
{®: I (со) < t} = (J {со (г) = A} (=
Г <t
(г — рациональные числа), то £(со) есть соизмеримая
функция, т. е. является действительной случайной
величиной со значениями в Z.
Предположим теперь, что для каждых хе Еа и
t е Z заданы вероятностные меры Ps х на множествах
из О.
Определение 7. Система Х = (хь £ (со), О?,
РЛЛ.), s, t^Z, называется (неоднородным, обрываю-
щимся) марковским процессом в фазовом простран-
стве (Е, с присоединенной точкой {А}, если вы-
полнены следующие условия:
1)	P>s Х(Д) является ^-измеримой функцией х для
каждого Л е оГ и s е= Z;
2)	для всех % Ед,
РЛх(хаеВ!^'?) = Л,х/(х„е В) (Ps,x-n. н.);	(1.25)
3)	Р$, X (*5 = *) = 1 , Х е Ед.
Функция Р (s, х; /, Г) = Ps X(xt (со) е Г) называется
переходной функцией марковского процесса.
Аналогично определению 2 вводится понятие строго
марковского неоднородного обрывающегося процесса
(подробнее см. [32], гл. 5). Ограничимся рассмотре-
нием лишь однородных обрывающихся процессов.
Строго марковское свойство формулируется в этом
случае так же, как и в (1.10). Изменение состоит
лишь в том, что вместо множества {со: т(со)<оо}
следует рассматривать множество {со: т (со) < £ (со)}.
Аналогичные изменения надо сделать и в определе-
нии квазинепрерывного процесса.
3*	35
При определении стандартного процесса в качестве
пространства Q следует взять множество функций
co = co(/), t е Т, со значениями в Ед, непрерывных
справа, имеющих пределы слева для / < £ (со), и таких,
что если со(/) = Л, то (o(z/) = A, u^t. В определение
стандартного процесса дополнительно включается
предположение
lim Рх(%/ е Е) = 1, хеЕ.
t о
Понятие полугруппы, инфинитезимального и харак-
теристического операторов, а также операторов 0/ и 0Т
переносятся и на случай обрывающихся однородных
процессов ([32]).
§ 4. Мартингалы и супермартингалы
1. Построение теории оптимальных правил оста-
новки (как для марковских, так и других процессов)
существенно основано на свойствах мартингалов и
полумартингалов. Остановимся на основных опреде-
лениях и некоторых результатах, используемых в по-
следующих главах.
Пусть (Q,	Р) — вероятностное пространство.
Предположим, что для каждого *) t^Z заданы
сг-алгебры	и ^-измеримые случайные вели-
чины xt = xt (со), обладающие следующими свойствами;
s^t,
M|xJ<°o, t^Z,
M (xjо7\)<(Р-п. н.).
(1.26)
(1.27)
(1.28)
Определение 1. Система X = (xt, t, P), t e Z,
удовлетворяющая условиям (1.26) — (1.28), называется
супермартингалом. Если вместо (1.28) выполнено
условие
MUJgT's)>xs, s^t (Р-п. н.),	(1.29)
*) Напомним, что Z = Т = [0, оо) в случае непрерывного и
Z = N = {0, 1, ...} — в случае дискретного времени.
36
то X называется суб мартингалом, если же выполнено
условие
М (х J <^5) = xSt s^t, (Р-п. н),	(1.30)
то — мартингалом.
Очевидно, что если X — супермартингал, то про-
цесс— X является субмартингалом. Поэтому при
исследовании их свойств достаточно рассматривать
лишь, скажем, супермартингалы.
Определение 2. Если вместо (1.27) выполнено
одно из условий
Мх+ < ОО или Мх-<оо	(1.31)
(обеспечивающих существование МхД то система X,
удовлетворяющая условиям (1.26), (1.28) ((1.29) и
(1.30)), называется обобщенным супер мартингалом
(субмартингалом и мартингалом).
2. В случае непрерывного времени i е Т при фор-
мулировке свойств мартингалов будет предполагаться
(не оговаривая этого каждый раз особо), что их
траектории с вероятностью единица напрерывны
справа и =	ъ — ts=T.
Теорема 3. Пусть Z = ZU{°°} и система X =
= (х6 t, Р), t е Z, такая, что sup Мхг (со) < оо, обра-
t^z
зует супер мартингал (мартингал). Тогда с вероятно-
стью единица предел х^ (со) = lim xt (со) существует
t->OO
и конечен.
Если случайные величины {xj, t е Z, равномерно
интегрируемы *), то система X = (xt, t, Р), t е Z,
где = о ( (J Д хто = lim xt, образует супермар-
\t&z /	t->°°
тингал (мартингал).
Пусть X = (xt, t, Р), t s Z, — обобщенный супер-
мартингал. Тогда предел х00(со) = ПтхДш) существует,
1->ОО
*) Последовательность случайных величин {хД t е Z, назы-
вается равномерно интегрируемой, если lim М {| X/1; | X/1>/<} = 0
К->оо
равномерно по /‘е/.Для таких последовательностей sup М |xj<oo.
t^z
37
конечен или равен + оо для почти всех со таких, что
inf sup М (%“ | c^s)< 00•
Из этой теоремы выводится следующий важный
результат о свойствах условных математических ожи-
даний.
Теорема 4. Пусть в вероятностном пространстве
(Q, <Г, Р) задана неубывающая последовательность
о-алгебр	, t е Z, s t, s ^Л, ц = ц (со) —
случайная величина такая, что М | т] (со) | < оо. Тогда
с вероятностью единица
lim М(п(®)Ь5г<)=М (13(0)1^) (Р-п. н.), (1.32)
f->oo
где = a I (J
\t^z I
Если случайная величина т| = т) (со) такова, что
Мт]+(со)<оо, то с вероятностью единица существует
lim М (т](со) |<^), причем
t-> 00
lim М (т| (®) | М (п (со) | (Р-п. н.).
f->oo
Теорема 5. Пусть X = (xf, t, Р), t <^Z,— супер-
мартингал, причем существует -измеримая случай-
ная величина т| = rj (со) такая, что
М | т|(со) |< оо, хДсо) > М (ц |	/ eZ (Р-п. н.). (1.33)
Тогда если т = т (со) и а = а (со) — марковские моменты
(относительно F = {^t}, t^Z), т>су (Р-п. н.) и
Р (т < оо) = 1, то случайные величины ха, хх интег-
рируемы и
Хо > М (хх | оТ'а) (Р-П. Н.).
(1.34)
Если, в частности, X = (xt, t, Р), t Z, — равно-
мерно интегрируемый мартингал, то
xG = М (хх |	(Р-п. н.).	(1.35)
Неравенство (1.34) играет центральную роль при
построении теории оптимальных правил остановки.
Остановимся поэтому на его доказательстве, ограни-
чившись случаем дискретного времени Z=~-N.
Предположим сначала, что Р(т^Л0=1, П<оо.
Функция хх, очевидно, е?\-измерима, М|хт|'<оо и,
следовательно, условное математическое ожидание
М (хг1^0) определено.
Пусть разность т —ст принимает самое большее
два значения 0 и 1. Тогда для всякого
J (ха - хх) dP =	|	(х„ - x„+I) dP.
л	п=0 ЛГ){а=п}П{т > п}
События Л П {ст = п} е и {т > п} = {т < п} е п.
Поэтому, в силу (1.28), для всякого п = 0, 1, .... N
(хп- x„+1)dP>0
Л Г1{о = /г}П [т> п}
и, следовательно,
J х0 dP | хх dP.
А	Л
Откуда, очевидно,
М (хт |^а)	(P-п. Н.).
Чтобы освободиться от предположения, что раз-
ность принимает только два значения 0 и 1, обо-
значим
хп = min (т, o' -I- /г),
п = 0, 1, ..., N.
При каждом п момент хп является марковским,
причем разность тп+1—хп принимает только значе-
ния 0 и 1.
Пусть Л е oJ’g. Тогда Л e<-Fпри любом п = О,
1, ...» N и, в силу предыдущих рассмотрений,
J Ха dP | хТ1 dP ... J XxN dP = I* хх dP,
Л	Л	ЛА
что и доказывает (1.34) для случая, когда Р (т Af) = 1,
N < оо.
Для доказательства (1.34) в общем случае пред-
ставим хп в следующем виде:
хп = М (т) | ^п) + (хп - М (Т) I e?"„) ).
Пусть £„ = М (л I ^ п) и у„ = хп - М (n I -Тп). Ясно,
что п, Р), n^N, образует мартингал, а (уа, Р),
п является неотрицательным супермартингалом.
39
Установим соотношения
£<,= №(^1^). Ya>M(Yrl^"a) (Р’П. Н.),
из которых очевидным образом будет следовать тре-
буемое неравенство (1.34).
Для доказательства первого равенства (ср. с (1.35))
достаточно установить, что для каждого марковского
момента т* такого, что Р(т*<оо)=1, выполнено ра-
венство
В самом деле, тогда сразу получаем
= м (п | ^о) = М [М (п | <ГТ) | <^а] = м (Ст I ^-а).
Пусть Л е <&'х„ и т* = min (т*, k), k<= N. Множество
Л А {х‘ k} е & * и, как было установлено выше,
xk
/ ^T.dP = / ZkdP=	j ndP-
Afl{T*<fe} k ЛП{т*<Л}
Поскольку последовательность случайных величин
|£т*|, k^N, равномерно интегрируема (см., на-
пример, теорему 19 гл. V в [46]), то, переходя в пре-
дыдущем равенстве к пределу (&->оо), получаем
J gt. dP = J п^Р.
Л	Л
что и доказывает требуемое соотношение =
= М On | оГт*) (Р-П. н.).
Для доказательства неравенства уа^М(ут|о^о)
(Р-п. н.) положим
(5k = min (a, fe), xk = min (т, fe), k e N.
Нетрудно проверить, что последовательности
{yv <^rTfe, P} И (Yai;, P}> k^N, являются не-
отрицательными супермартингалами. Поэтому, в силу
теоремы 3,
limy =yt и limYa=Ya (Р-п. н.).
fe->oo «	/г->оо л
40
Так как Му.^ Му0 < оо, то по лемме Фату
Мут Ит Мут ^Му0<оо.
k
Отсюда следует, что неотрицательная величина ут
(и аналогично уа) интегрируема.
Пусть Ае^. Тогда Л П {а < k} е= <^'<sk и, как
было показано выше,
Г Мр> f V,/P.
ЛП{о<4)	ЛП{а<«
Но так как {ст < fe) = {т < £}, то
J Ya/P> / YtfedP
Af]{o<fe}	AA{T<fc}
ИЛИ
j ygdP> j ytdP.
АГЖЙ)	AA{t<6}
Положив >oo, отсюда получаем неравенство
[ yg dP > J yT dP, л e= g'a,
A	A
из которого следует, что Ya М (ут I <^а) (Р-п. н.).
Заметим, что утверждение теоремы остается в силе
и без предположения Р(т<оо)=1 (ср. с леммой 1
в гл. II)*). В этом случае в (1.34) под хж следует
понимать предел lim xti который, согласно теореме 3,
/->оо
существует, поскольку, в силу (1.33), sup Мхг<оо.
t^z
Из (1.35) следует, что если X = (xt, ь Р), t е Z,
равномерно интегрируемый мартингал, то для любого
марковского момента т такого, что Р(т<оо)=1,
Мхт=Мх0.	(1.36)
В нижеследующей теореме приводятся условия
выполнимости равенства (1.36) для фиксированного
*) В каждой главе книги принята своя нумерация лемм
и теорем. При ссылках на теоремы и леммы из других глав
применяется двойная нумерация (например, теорема II. 1 озна-
чает первую теорему из второй главы).
41
марковского момента т = т((о), удовлетворяющего
условию Р(т<оо)=1 без предположения равномер-
ной интегрируемости мартингала X.
Теорема 6. Пусть X = (xt, t, Р), /eZ,- мар-
тингал, х = х (а) — марковский момент такой, что
Р(т<оо)=1. Для выполнимости равенства (1.36)
достаточно выполнения следующих условий'.
М|хт|<оо,	(1.37)
lim
/-> оо
I* xzdP = 0.
(1.38)
Доказательство этой теоремы для случая
дискретного времени t^N крайне просто. Действи-
тельно, поскольку М|хт|<оо, то для любого n^N
Мхт=	J xxdP	= J xxdP + J xTdP =
Q	{т<п}	{T>n}
11	n
= 2	J xkdP + J XxdP = ^ J xndP +	J xzdP =
k~0	{т = /г}	\X>n}	li=Q {x = k}	{x>n}
= J xn dP 4- J xx dP =
T<n'	(T>n
= j xn dP - j xn dP + j xx dP ==
L2	T>tii	{T>rt
= Mx0— j xn dP + | xTdP.
\X>n	'T>n)
Отсюда, в силу (1.37) и (1.38), получаем требуемое
равенство (1.36).
В полной общности доказательства теорем 3 — 6
см. в (46] гл. V и VI, [30]-гл. VII и [55].
ГЛАВА II
ОПТИМАЛЬНАЯ ОСТАНОВКА МАРКОВСКИХ
СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ
§ 1. Постановка задач.
Эксцессивная характеризация цены при условии А
1. Пусть X = (xnt PJ, п е N, — необрываю-
щаяся марковская цепь в фазовом пространстве *)
(Е, ^). Обозначим L множество .^-измеримых функ-
ций g = g(x), х^Е, таких, что — оо < g (х) оо и* **)
(xft)< °°, nt=N, х^Е. Пусть Е(Л~) и L(A+) —
совокупность функций из L, удовлетворяющих допол-
нительно условиям
А : M.v [sup g (х„)]<оо,
п
х<= Е,
А+: Мх [sup g+ (х„)] < оо,
п
х^Е,
(2.1)
соответственно. Обозначим также L (Л , Л+) = L (Л ) Г)
ги(л+).
Пусть 2)1 = {т} — класс марковских моментов (м. м.)
т = т(со) (относительно системы {y'J, ne=N) со зна-
чениями в N=jVU{°°} и 2К^ 2)1 —класс конечных
марковских моментов (моментов остановки — м. о.),
т. е. тех т е 2К, для которых Рх(т<оо)=1 при всех
х Е.
Условимся для всякого марковского момента те®
обозначать Mxg(xT) интеграл от функции g(xx) по мере
распространенный на всю область определения
*)__На протяжении всей главы предполагается, что	= гГ,
=	Рх = Рх, п.<= N, х (= Е.
**)	= — min (g, 0), g+ = max (^, 0).
43
g(xx), т. e. полагать
Mxg(xT)= j g(xx)dPx (= MJgUJ; r<oo]).
(T < oo)
Пусть для
s(x)= sup Mxg(xx)	(2.2)
т e ЭД
И
s(x)= sup Mxg(xx),	(2.3)
те})}
где, по определению,
Мд-g (xx) = [g(xx); T < oo] 4- Mx [lim sup g (x„); т = оо].
п
В силу условия Д~, математические ожидания
в (2.2) и (2.3) определены, причем s (%) s (%) > — оо
для всех х е Е. В случае неотрицательных функций
g^L (и только в этом случае) положим также
s(x)= sup М^(хх).
т «= ЭД
Ясно, что если g^L неотрицательна, то s(x)^>
^s(x) s (%)	0.
Определение 1. Каждую из функций s(x),
s(x), s(x) назовем ценой. Момент остановки те 9И
назовем (е, 8)-оптимальным, если s (%) — 8 Mxg(xTe)
для всех х е Е. Марковские моменты те е 9)1 будем
называть (е, s)- и (е, ^-оптимальными, если соот-
ветственно
S (%) — 8
S (%) — 8
Mxg(xXe),
М^(хТе),
х е Е,
х (= Е.
Моменты (0, s)-, (0, $)-, (0, 5)-оптимальные будем на-
зывать просто s-, s-, s-оптимальными.
Как станет ясно из дальнейшего (см. теорему 1),
каждый (е, $)-оптимальный м. о. является в то же
время как (е, $)-оптимальным, так и (в случае g(x)^0)
(е, $)-оптимальным. Поэтому для краткости (е, ^-опти-
мальные моменты мы будем также называть е-опти-
мальными м. о. 0-оптимальные м. о. будем называть
оптимальными м. о.
44
С точки зрения введенного определения рассмо-
трение цены $(х) для всех функций g	может
оказаться несодержательным, поскольку если, скажем,
g-(x)== —1 то, согласно данному определению, s(x) = 0.
В то же время ясно, что цена, трактуемая как макси-
мально возможный средний выигрыш при остановке
в случайные моменты времени, не может быть больше
sup g(x) = - 1.
№ Е
Часто говорят, что момент остановки задает не-
которое правило остановки. ,
Наша цель — выяснить Структуру цен s(x), s(x),
s(x) и отыскать условия существования оптимальных
и е-оптимальных (в указанных выше смыслах) мар-
ковских моментов. В теореме 1 показывается, что
на самом деле s(x) = s(x) (и тогда в частном случае
неотрицательных g^L, очевидно, s (х) = s (%) = s (х)),
причем 5 (х) является наименьшей эксцессивной мажо-
рантой функции g(x). В теореме 2 (§ 2) даются
условия существования е-оптимальных (е^Ьо) мар-
ковских моментов и способы их отыскания. Анало-
гичные вопросы для функций g(x) из классов Л(А+)
и Л(А~, А+) будут рассмотрены в § 3.
2. Определение 2. ^-измеримая функция
f(x)^L называется эксцессивной, если
Г/(х)<НД
где
r/(x) = 71/(x) = MJ(x1).
Эксцессивная функция (э. ф.) f = f(x) называется
эксцессивной мажорантой функции g’(x), если f(x)^>
>g(x), х<=Е.
Эксцессивная мажоранта f(x) называется наи-
меньшей эксцессивной мажорантой *) (н. э. м.) функ-
ции g(x), если /(х) меньше или равна любой э. м.
функции g(x).
Ценность введенных выше понятий для задач об
оптимальных остановках марковских цепей раскры-
вается в следующей теореме.
*) Позднее (см. лемму_4) будет показано, что наименьшие
э- м. функций g (х) е L (Л ) существуют, и, более того, будет
указан практически удобный способ их построения.
45
Теорема 1. Пусть функция g^L(A). Тогда:
1)	цена s(x) является наименьшей эксцессивной
мажорантой функции g(x)',
2)	s (х) = s (х);
3)	s (х) = max{g(x), 7s (х)};
4)	если функция g(x) неотрицательна, то s(x) =
= s (х) = s (х).
Для доказательства теоремы нам придется де-
тально рассмотреть свойства э. ф. и н. э. м.
Обозначим множество эксцессивных функций
для марковской цепи X, и пусть — множество не-
отрицательных э. м. из Приводимые ниже свой-
ства I—VI эксцессивных функций непосредственно
следуют из их определения.
I.	Функция f(x) = C = const является эксцессивной.
II.	Если f, g^& и константы а^О, 6^0, то
функция af + bg е
III.	Если f то Ttf(x)= Mxf (xz), t^N, является
эксцессивной, при этом Ttf(x) Tt+if (х).
IV.	Если fn ge g3, п = 1, 2, ..., и fn+1 > fny то функ-
ция f(x)= lim fn(x)^<f.
П~>°о
V.	Если f e то система {f(xn), РД, n^N,
при каждом хе£ образует (обобщенный) супермар-
тингал:
MJ" (xn) < oo, MA [f (xrt+1) I < f (xn),
(Px = п. h.).
VI.	Если f, g^&+, то функция /Ag = min (/,
Если fe? и С — константа, то fc = f/\C^cf.
Из свойства V и теоремы 1.3 вытекает следую-
щее важное свойство:
VII.	Если	и sup Mxf (хп)<оо, х^Е, то
для каждого х е Е с Р г-вероятностью единица суще-
ствует (конечный или равный + оо) предел limf(xn).
При исследовании свойств цен s(x), s(x) и s(x)
фундаментальную роль играет следующая
Лемма 1. Пусть f и удовлетворяет усло-
вию Л~. Пусть марковские моменты т, о е Эй, причем
tZ>o‘ с Р ^-вероятностью единица, х^Е. Тогда
Mxf (ха) > Mxf (хг), х е= Е,	(2.4)
46
или, более подробно,
[ f(x0)dPx+ J limsupf(x„)dPx>
(а < оо)	(а = оо)
> J f(xT)dPx+ J lim sup f(xn)dPx. (2.5)
(T < oo)	/т = оо) П
В частности,
f(x)> | f(xT)dPx + j limsup f(xn)dPx. (2.6)
(T < oo'	(T = oo) n
Доказательство. Прежде всего заметим, что,
в силу свойства VII,
limsupf(x„) = lim f(xn),
п	п
так что в формулах (2.5) и (2.6) на самом деле вместо
limsup можно поставить прэето lim.
п.	п
Для доказательства (2.5) предположим сначала,
что функция f(x)-^C<oo. Тогда для всякого n^N,
в силу теоремы 1.5, для моментов пп = аДп и xn = xf\n
имеем
f HXan)dPx= J f«MPx+ / f(xn)dPx^
й	(а < п)	(а > п)
> / f(xT)dPx + J f(xn)dPx = j f(xrn)dPx,
(x<n)	(x^n)	й
откуда
J f(x0)dPx+ J f(xrt)dPx +
(a < oo)	(0 = oo)
+ J [f(x„)-f(xo)]dPx> | f(xx)dPx +
(n<a<oo)	(T < OO)
+ / f(xn)dPx+ J [/ (xn) - f (xt)] dPx,
(T = oo)	(n=C T < oo)
t. e.
/ f(xa)dPx^ f f(xt)dPx+ J f(xn}dPx +
(0<oo)	(X < oo'	(T = oo)\(a = oo)
+ J If (Xn) - f (xT)] dPx - j* [f(x„)-f(xa)]dPx.
(fl=4T<oo)	(n<a<oo)
47
Но
lim Г J	I f W “ f (*r) I dP* +
H->oo |_(n< T < oo)
+ J lf(-vn)-f(xa)|dPx
(n<CJ<oo)
= 0,
поэтому, в силу леммы Фату ([45], стр. 135) и свой-
ства VII,
/ f(xa)dPx^ / f(xx)dPx +
(О' < оо)	(Т < оо)
+ lim inf | f(xn)dPx'^s
п	ГТ = оо)\(а = оо)
J f(xT)dPx+ J lim inf f (xn) dPx =
(T < oo)	(T = oo)\(a = oo) n
= I* f(xx)dPx + f lim f(xn)dPx,
*>	"	n->oo
(T < oo)	(t = oo)\(J = oo)
что (в случае функций f(x)^C) равносильно (2.5).
В общем же случае с каждой функцией f е свя-
жем (эксцессивные) функции f" = min(/, m), m^N.
Тогда fm (х) f f (%), m->oo и
J Hxa)dPx^ / fm(xa)dPx>
(a < oo)	(a < oo)
> f fm(xx)dPx+ f lim/OT(xn)dPX1 (2.7)
J	d	n->oo
(T < oo)	(T = oo)\(a = oo)
откуда, переходя в правой части (2.7) к пределу при
т-*оо, получаем требуемое неравенство (2.5), если
при этом воспользоваться соотношением
lim flim fm(xn)A = lim f(xn) (РЛ = п. н., хеЕ),
m->oo\n->oo	J n->oo
справедливость которого нетрудно установить.
Действительно, согласно теореме 1.3, предел
lim f(xn) с РЛ-вероятностыо единица, х Е, или
П оо
конечен или же равен +оо. Если f= lim f(xrt)<oo,
П-»оо
то для достаточно больших
lim min(т, f(xn)) = f,
П->оо
48
и, следовательно, требуемое соотношение установлено.
Если же f= lim f(xn)= +°о, то
lim min (m, f(xn)) = m
и lim m=-l-oo, что и требовалось доказать.
ш->°°
Из свойства (2.6) можно сделать следующий вы-
вод: если в (2.3) функция g(x)<=L(A~) и эксцессивна,
то s(x)=g(x) и «наилучшая стратегия» состоит в том,
чтобы сразу «останавливаться». Действительно, со-
гласно (2.6),
(хт) <	(х0) = g (х)
и, следовательно, s(x) = g(x).
Доказанная лемма 1 позволяет установить сле-
дующее важное предложение.
Лемма 2. Если ^функция f(x) эксцессивна, удо-
влетворяет условию А и *) оА = inf {п: хп е Л}, Ле
то функция
/д (х) = М J (Хал)	(2.8)
также эксцессивна.
Доказательство. Положим o = min{n^l: хп^А}.
Очевидно, сг —м.м. и а^аА. Тогда
TfA(х) = МxfA (Xi) ₽	(Хад).
В силу (1.21),
MxMx,f(Xa4)= Mx0j(Xa4)= Мх/(01Хад).
Но известно ([33], стр. 153, свойство 4.1.D), что если
ад =inf [« > s: хп е Л} (ал = °а)>
то 0/х	Поэтому 0iX(j =х 1 = ха и, следова-
аЛ °А	А Л
тельно,
TfA (х) = М xf^XOA) = Ny (Ха) < М xf(xOA) = fA (X).
3. Если функция f = f(x) является эксцессив-
ной мажорантой функции g е L (Л"), то, очевидно,
f L (Л~) и
f(x)>max{g(x), 7? (х)}.	(2.9)
*) Напомним, что &А полагается равным оо, если множе-
ство {п: хп е Д) пусто.
4 А. Н. Ширяев	49
Если же f является наименьшей э. м. функции g,
то на самом деле в (2.9) имеет знак равенства. Дей-
ствительно, справедлива следующая
Лемма 3. Если v (х) — н. э. м. функции g(x\ то
v (х) = max{g(x), Tv (х)}.	(2.10)
Доказательство. Из (2.9) u(x)^max{g(x),
Tv(x)}. Функция (х) = max{g(x), Tv (x)} является
э. м. функции g(x), поскольку цДх)^ g (х) и
Tvx (х) < Tv (х) С max {g (х), Тv (х)} = vj (х).
Но, в силу того, что ц(х) —н. э. м., vx(x)^v(x) и,
следовательно, Uj(x) = u(x).
4.	Пусть g(x)e L(A ). Существуют ли наимень-
шие эксцессивные мажоранты у функции g(x)? Поло-
жительный ответ на этот вопрос содержится в сле-
дующей лемме, дающей, в частности, практически
важный способ нахождения н. э. м.
Лемма 4. Пусть g (х) е L (Д’). Положим
Qg (х) = max {g (х), rg(x)}	(2.11),
и ц(х)= lim Q^gW, где QN — N-я степень опера-
АГ->оо
тора Q. Тогда v(x) — h. э. м. функции g(x).
Доказательство. Заметим прежде всего, что
QAZ+Ig(x)^ Q/Vg(x), поэтому предел lim QNg(x) суще-
ЛГ-»ОО
ствует. Ясно также, что
u(x)= lim QNg(x)^g(x).
N->oo
Проверим теперь эксцессивность функции v (х). В силу
условия Д’: Мд. pup g“ (xrt)j <оо, неравенства QNg(x)^
(х) и теоремы Лебега о монотонной сходи-
мости ([45], стр. 135),
u(x)= lim Q^g(x) > lim 71Q/v-1g(x) =
N->OO	N->OO
= 7 (lim QN~'g\(x) = Tv (x).
->oo	/
Следовательно, v(x) является э. м. функции g(x).
50
Пусть f(x) — также э. м. функции g(x). Тогда
f (х) Tf(x), и, значит,
Qf (х) = max {/(*), Tf(x)} = f(x),
откуда f(x)^v(x), т. е. и (х) — наименьшая э. м.
функции g(x).
Замечание 1. Если положить
Qg(x) = sup{g(x), Tg(x), T2g(x), ...},	(2.12)
то аналогичным образом можно показать, что б(х) =
= lim QNg(x) также является наименьшей э. м. функ-
ции g(x) и, следовательно, совпадает с у(х).
Замечание 2. Пусть g^L (/Г), £Ь(х) =
= min (&, g (х)), где 6^0. Тогда н. э. м. функции g (х)
является функция
у(х) = lim lim QNgb(x)= lim limQyvg6(x).
&->oojV->oo	ДГ->ооЬ->оо
Действительно, поскольку lim QNgb (x) = QNg (x),
d->oo
то, как уже доказано,
o(x) = lim QNg(x)= lim (lim QNgb(x)\
N->OO	N->OO \ b ->OO	J
Кроме того,
vb(x) = lim QNgb(x)^. lim QNg(x) = v (x)
/V oo.	yv-»oo
и, следовательно, lim vb (x) v (x). Ho lim vb (x)
является эксцессивной функцией (по свойству IV) и
lim vb (х)^ g(x). Поэтому
ь-+°° , .
v (х) = lim vb (х) = lim lim QNgb (x).
&->oO	&->oo/V->oo
Замечание 3. В силу (2.11) и определения опе-
раторов Q^, Af^l,
Q7V^W = max{QiV~1g(x), TQ/V-I^(x)}, Q°g(x) = g(x).
Полезно отметить, что последовательность {Q2Vg'(*)>
-^^1} удовлетворяет также (более простым) рекур-
рентным уравнениям
= max {g (х), ТQN~[g (х)}, Q°g (х) = g (х).
4*	51
Доказательство нетрудно провести по индук-
ции. Покажем лишь, что
Q2g W = max {g (х), TQg(x)}.
Действительно, поскольку Т [max (g, Тg)] (х) Tg (х),
ТО
Q2g(x) = max{Qg(x), TQg(x)} =
= max{max[g(x), Г§(х)], r[max(g, Г£)](х)} =
= max{g(x), ПтахС?, Fg)] (x)} = max {g(x), T’Qg(x)}.
Замечание 4. Просматривая доказательство
леммы, нетрудно заметить, что ее утверждение оста-
нется в силе, если вместо условия ge L (Д-) потре-
бовать лишь, чтобы g е L и при всех N N, хе Е
QNg W > f (х),
где функция f(x) такова, что Мх| f (xj) |< оо, х^Е.
5.	Л е м м а 5. Пусть эксцессивная функция f(x)
такова, что f(x)<<x>, х^Е, и
f(х) = max{g(x), Tf(x)}> x^E, (2.13)
где g^L. Положим Ге = {х: f (x)^.g(x) + e}, e^O,
и re = inf{n: хпеГЕ}, n^N. Тогда для любых N^N
и хе Е
f(x)= J Z(xTe)dPx+ J f(xN)dPx. (2.14)
(te<W)	(Te>W)
Доказательство. Поскольку Mxf(xA(o>)), k^N,
определено, то
f(x)= J f(xo(®))dPx =
(Te>°)
= J Нхо(ф)МРж+ J f{x^))dPx. (2.15)
(\=°)	(Ге>°)
52
f (хь (,(&))>g(xk (®)) на множестве {те > k} и, следова-
тельно, f (x* («>)) = 77 (xft(®)). Поэтому из (2.15)
f(x) = J f(x0)dPx + j f(x1)t/Pjr =
(te=0)	(Te>°)
= f f(xTe)dPz+ / f (Xi)dPx = ...
(0<re<l)	(re>l)
...= J f(x4)dPx+ J f(xN)dPx,
(\>W)
что и доказывает (2.13).
Замечание. Наименьшая эксцессивная мажо-
ранта ц(х) функции g(x) удовлетворяет уравнению
(2.13). Однако не всякая функция f(x), являющаяся
решением уравнения (2.13), будет н. э. м. функции g(x).
В самом деле, если g(x)^.C<ooi то всякая кон-
станта, большая С, удовлетворяет (2.13).
6.	Для доказательства теоремы 1 существенную
роль будет играть следующая
Лемма 6. Пусть функция g L такова, что для
всех х Е выполнено условие
А+: Мх [sup g+ (xn)j < оо, х^Е, (2.16)
т. е. g^L (Л+).
Пусть и(х) — н.э.м. функции g(x). Тогда
limsupg(xrt) = limsupu(xrt) (Рх-п. н., хе£). (2.17)
п	п
Доказательство. Поскольку v (x) g (%), то
lim sup v (хп) lim sup g (хп).
п	п
Обозначим
<Р« (со) = Мх | sup g (Xj) | оТ'д [.
Используя марковское свойство, имеем q>n(co) = <р(х„ (со))
(Рх-п. н., х е Е), где qp(x)= Мх [sup £(.£/) |. Заметим,
53
что функция ф(х) является эксцессивной. Действи-
тельно, (xn)< оо, n^N, х^Е, и
Гф(х)= Mx<p(*!) = мх{ МХ1 |sup g(xz)] | =
= Мд (sup g(xt)} < Mx j sup g(x,) | = <p (x).
Ясно также, что <p(x)^g(x), откуда <p(x)i>v(x) и
фп(и) = ф(*п(®))> V(xn(®)) (Рд-п. н.).
Пусть т фиксировано и п т (т, n^N). Тогда
Мд Г sup g (Xj) | oT'J > МЛ [sup g (xz) | JO > v (x„)
[j>tn	J	Li>n	J
(Рх-п. h., x e E)
lim sup Mx [ sup g(x/)| cT'nl	lim sup v (xn)	(2.18)
П	L/>m	J	n
(Рд-п. н., x e E).
При каждых m e N и x e E последовательность
{Mx [фт I cT'J, n, Рд}, n>m,
гдефот = 8ир g(x/), в силу условия A+, образует обоб-
щенный мартингал.
Согласно теореме 1.4 с Рд-вероятностью единица
предел lim Мд [фт| <^„1 существует и
lim Мд [ф,„ | п] < Мд [фш | 0?"^],
П->оо
где ^oo = af U Поскольку случайная вели-
\n^N /
чина является от^-измеримой, то
мх [фт I с^оо] = Фт (Рх’П. Н.).
Поэтому
limsup Мх ['sup g(Xj)\ cT'nj =
= lim sup Mx [фт | ^n] = lim M, | <^n] <
n	n
и, в силу (2.18),
> lim sup v (x„) (Рд-п. н.).
n
54
Отсюда
lim sup g(xfl) = inf [supg(x/)l = inf ф,„ > lim sup v(xn)
n	m | / m I m	n
Prn. н. для каждого x e E, что и доказывает лемму.
Замечание. Если sup (хп) < оо, х е Е, то,
п
согласно свойству VII,
lim sup v (хп) = lim и (хп) (Р^-п. н., хе Е).
п	п
7.	Построенная для функции g<^L(A~) в лемме 4
последовательность QNg(x) при Д/->оо, монотонно
возрастая (точнее не убывая), стремилась к v (х) —н. э. м.
функции g(x).
В ряде случаев оказывается также полезной по-
строенная ниже последовательность функций, которая
(как будет показано в лемме 8) для функции из
l(a~, /Г), монотонно убывая (точнее не возрастая),
сходится к v (%) — н. э. м.
Введем предварительно ряд обозначений. Пусть
g^L. Свяжем с этой функцией оператор
Gf(x) = max{g(x), Tffx)}, f <= L, (2.19)
и обозначим GA7(x) Af-ую степень оператора Gf(x)>
G°f(x) = f(x). (Если f = g, то Gg(x) = Qg(x), где Q-
оператор, определенный в (2.11). Если же f (х) — v (х) —
н. э. м. функции g(x), то (см. лемму 3) Gv (x) = v (х)).
Докажем следующее предложение *).
Лемма 7. Пусть g^L (Д+) и <р(х) = Мл |supg(x„)j.
Тогда
GJV+lqp(x)CGyv<p(x), N<e=N,
и функция v (х) = lim G/V<p(x) удовлетворяет уравнению
N-+OO
v (х) = max{g(x), Tv(x)}.	(2.20)
Доказательство. Неравенство G v+1qp(x)
G7Vcp(x) проверяется по индукции. Покажем лишь,
*) При доказательстве теоремы
ственно использоваться не будут.
леммы 7, 8 и 9 непосред-
53
что Gqp(x)^(p(x). Действительно,
Gqp(x) = max {§(%), Лр(х)} =
= max/g(x), М,
Далее, поскольку
qp(x)> GNcp(x) | v (х), Af-> оо,
Гф(х)<оо, х е £,
то, переходя в равенстве
GNy(x) = max{g(x), TGN~lq>(x)}
к пределу при N-><*>, в силу теоремы Лебега о мо-
нотонной сходимости ([45], стр. 135), получаем, что
v(x) удовлетворяет уравнению (2.20).
Так полученная функция 5(х), являясь э. м.
функции g^L(A+\ может не быть наименьшей (см.
пример в § 3). Однако если g^L(A+, Д“), то функ-
ция с(х) совпадает с и(х) — н. э. м. g(x). Для дока-
зательства этого результата установим предвари-
тельно следующее предложение.
Лемма 8. Пусть g^ L (Л+) и v (х) = lim GNq> (х).
N->oo
Тогда Рх-п. н., х^Е,
limsup v (хп) = lim sup g(xn). (2.21)
п	п
Доказательство. Неравенство lim sup v (хп)^
п
lim sup g (xn) очевидно. С другой стороны, для
каждых х е Е, neN и гп^п
v (х„) < GNq> (х„) < <р (х„) = МХд [sup g (х,)] =
= Мх [sup g (Xj) | <У„] < Mx f sup g (Xj) | <jFn] (2.22)
(Px-n. h., x e E).
Из (2.22) (как и в лемме 6) вытекает, что
lim sup v (х„) = sup g (xi),
n	l>tn
56
и, следовательно,
limsup v (х„)<inf [sup g(x/)| = limsup g(xn),
n	tn L/	J n
что и доказывает лемму.
Лемма 9. Пусть g е L (Л+, Л~), v (х) — ее н. э. м, *)
и u(x) = limG'VqpU). Тогда v(x) = v(x), х^Е.
N->OO
Доказательство. Определим момент те =
= inf {га: v (xn)< g (х„) + е}, где 8>0. В силу (2.21),
для всех х^Е Рх(хе<оо) = 1. В самом деле, пусть
Д = {со: те(со)=оо}. Для со е А при всех га е N имеем
v (хп (со)) > g (хп (со)) + е, и значит,
lim sup v (хп (со)) > lim sup g (xn (co)).	(2.23)
n	n
Из сравнения (2.21) и (2.23) тогда получаем РХ(Л) = О,
х«=Е, поскольку P^lim sup g(xn) = ± оо^ = 0 для
всех х Е.
Применим теперь лемму 5, взяв в ней f(x) = v(x).
Тогда, в силу (2.14), для любого N^N
v(x)= j 6(xte)dPjr+ J v(xN)dPx. (2.24)
(те<га)	(<e>ra)
(2.21),
Заметим, что поскольку Рх(те < оо) = 1, хеЕ, то,
в силу
lim sup
У
= lim
sup [ sup g+ (xn) dP
N
[ sup g+ (xn) dPx = 0.
" ...
*) В силу леммы 4, н.э. м. v (х) функции g е L (Л ) суще-
ствует.
57
Аналогично,
lim inf
N
J v (xN) dPx
(4>N)
—lim inf I
N	J
(Te>
M* [sup g (xn,
x) [n>n
dPx = 0.
Поэтому, переходя в (2.24) к пределу при М->оо,
получим
v (х) = Мхй (хте).	(2.25)
Но v (xt) < g (хт) + е «С v (xt) + е, поэтому из (2.25)
и (2.6)
v (х) = (xte) < Mxg(xte) +
+ е < Mxo(xte) + е v (х) + е. (2.26)
В силу произвольности е>0, отсюда вытекает, что
й(х)^и(х), и, следовательно, й(х) = и(х), поскольку
неравенство 6(x)J>a(x) очевидно.
8.	Доказательство теоремы 1. Пусть о(х) —
н. э. м. функции g<=L(A ). Тогда, в силу леммы 1,
для т е SW
и (х) > J
X < оо>
v (xt) dPx +
f lim sup v (x„) dPx
J n
X = oo)
> f g(xT)dPx + f lim sup g (x„)
J n
•X < OO	x = oo)
Следовательно,
v (x) sup_ Mxg (xT) = s (x) > s (x).
X €= 111'
(2.27)
Для полного доказательства теоремы достаточно
показать, что v(x)^s(x).
Пусть сначала функция g(x) удовлетворяет также
условию 4+:	[sup g+ (xn)l < оо, х е Е. Тогда,
L п	J
в силу леммы 6,
lim sup v (хЛ) = lim sup g (xn)f
n	n
58
откуда следует, что момент
Te = inf{n: v (х„)<g(х„) + е},	е>0,	(2.28)
(как и в лемме 9) является моментом остановки,
тее2)?, причем (согласно лемме 6) v (х) = (хг).
Итак (ср. с (2.26)),
v (х) = v (хте) < Мх£ (хте) + е < s (х) + е. (2.29)
Из (2.29), в силу произвольности е>0, t>(x)^s(x),
что вместе с (2.27) доказывает теорему 1 при усло-
вии Л+, которое, очевидно, выполнено, если функция
g(x)<C< оо.
Для доказательства неравенства а(х)^$(х) в об-
щем случае обозначим g&(x) = min(&, g(x)), 6^0,
t?(x) —н. э. м. функции gb(x) и s6(x) = sup Mxg*(xt).
х е да
Тогда по доказанному
S (х) > sb (х) = sup МЛ£6 (хт) > vb (х).
т е эд
Последовательность {а&(х), Ь^О} не убывает. Пусть
и(х)= lim vb(x). Докажем, что на самом деле и(х) =
д->оо
= v (х). Имеем
Т v (х) = Т С lim t^Vx) = lim То6 (х) lim vb (х) = и (х),
\b->OO )	&->ОО	Ь->ОО
т. е. функция v (х) эксцессивна. Поскольку gb (х) f g (х)
и vb (х) gb (х), то v (х)> g-(x). Следовательно,
б(х) —э. м. функции g(x). Осталось лишь установить,
что эта э. м. наименьшая. Пусть f(x) —э. м. функ-
ции g(x). Тогда f(x)^gb(x), и f(x)^vb(x), откуда
f(x)^u(x). Следовательно, s (х) v (х) = v (х), что
и требовалось доказать.
Рекуррентное уравнение s(x) = max{g(x), Ts(x)}
очевидным образом следует из леммы 3 и равенства
s(x) = v (х).	_
9.	Следствие 1. Пусть момент т* е таков,
что соответствующий ему «выигрыш» f (х) = Mxg (хт*),
^«>0, (Г(х) = М xg (*т*)) является эксцессивной
функцией и fW^g lx) (f (х) g (х)). Тогда поскольку
59
s(x) (s(x)) есть н. э. м. g(x), то *) f(x) = s(x) (Цх) =
= s (х)) и момент т* е 2И является (0, ^-оптималь-
ным (соответственно (О, ^-оптимальным). Заметим,
что, вообще говоря, (0, $)-оптимальный момент мо-
жет не быть (0, ^-оптимальным.
Следствие 2. Пусть ЯХ ЯЛ — класс марков-
ских моментов остановки оА = inf {пл хп е А}, где
4е$. Тогда если gt=L(A~\ то s (х) = s (х) = s (%),
где
s(x)= sup Mxg(xt).	(2.30)
тей
Этот результат, непосредственно вытекающий из до-
казательства теоремы 1, раскрывает важность рас-
смотрения в задачах об оптимальных остановках
марковских цепей класса (марковских) моментов
первого попадания в борелевские множества А е
Но это, конечно, не означает, что оптимальный
(в одном из трех рассмотренных смыслах) момент,
если он существует, обязательно должен быть мо-
ментом первого попадания в некоторое множество
A^SS.
10.	Приведем пример, иллюстрирующий след-
ствие 1.
Пример. Пусть {£„}, п N, — последовательность
независимых одинаково распределенных случайных
величин, принимающих два значения +1 и — 1
с вероятностями P(gz= + l) = p, Р (^- = — l) = q = 1 — р.
Положим х0 = х, хп = х + 4- ... + где х е Е =
= {0, ±1, ± 2, ...}. Тогда процесс Х = {хп, PJ,
n^N, образует марковскую цепь со значениями
в Е, где = afco: х0, . .., xj и Рх — распределение
вероятностей на множествах из =
\n^N /
отвечающее начальному состоянию х и естественным
образом индуцированное случайными величинами
{£„}, n&N.
Пусть функция £(х) = тах{0, х}. Нетрудно понять,
что в случае p^q момент т* = оо является (0, ^-оп-
тимальным, причем s(x)=oo для всех х €= Е. Более
*) Напомним, что рассмотрение s (х) предполагает неотри-
цательность функции g (х).
60
интересен случай p<q. Мы покажем, что в этой
ситуации существует (0, <$)-оптимальный момент т*,
который не является моментом остановки (т. е.
т* ф 2№).
Определим марковские моменты rY = inf{n: хп е
е [у, оо)}, где	Легко показывается, что веро-
ятность pY(x) достижения множества Гу = [у, оо),
х0 = х, для различных задается равенствами
Ру U) =
х^ у,
V-
Поэтому
(х)= M^g(Xrv) =
>Y-
Обозначим f (х) = sup L (х). Тогда f (х) =/у (х), где
у* —точка максимума функции У (у) на множе-
стве Е, и
X, X > у*.
Нетрудно убедиться, что f (х) > g(х) и f* (х) >77* (х)
при всех х е Е, Отсюда следует, что момент т* = ty*
является (0, ^-оптимальным:
s(x)= sup Мх£(хт) = Mxg(xT*).
т е >1)1
Конечно, этот момент является и (0, ^-оптималь-
ным. Отметим, что в рассматриваемом примере
Рхflim sup g(xn) = 0\= 1 для всех хе£и Рх(т*<оо)< 1
\ п	J
для всех х < у*. Поэтому момент т*, будучи (0, ^-оп-
тимальным, не является в то же время (0, ^-опти-
мальным, поскольку т* ф
61
§ 2. е-оптимальные и оптимальные
марковские моменты
1. Теорема 1 позволяет более детально исследо-
вать вопрос о существовании и структуре е-опти-
мальных и оптимальных (в трех указанных выше
смыслах) марковских моментов в случае функций
g l(X”, Л+).
Теорема 2. Пусть ^-измеримая функция g (х)
удовлетворяет условиям
А : MJsupg (х„)]<оо,
L п	J
Л+: Мл [sup g+ (х„)1 < оо,
L п	J
х е В,
хе Е,
(т. е. g^L(A , Л+)) и v(x) — ее н. э. м. Тогда'.
1)	для всякого е>0 момент
те = inf {п: v (хп) < g (хп) + е}
является s-оптимальным мэментом остановки (точ-
нее, (е, s)-оптимальным м. о.);
2)	момент
r0 = inf{n: v (х„) = g (х„)}
является (0, з)-оптимальным марковским моментом:
№xg Uro) = S (х) = v (х), х е £;
3)	если момент т0 = inf {п\ v (хп) = g (хп)} есть мо-
мент остановки (т0еЗ>?), то он является оптималь-
ным (точнее, (0, $)-оптимальным).
Доказательства. 1) В предположении А +
lim sup g (хп) = lim sup v (xn),
n	n
откуда*) Р^(те<°°)=1 для всякого е>0 и х Е.
(е, ^-оптимальность этого момента следует из (2.29);
*) См. доказательство леммы 9.
62
2) применяя лемму 5 к функции /(х) = и(х), по-
лучим, что для всякого N е N
v(x) = j v(xTo)rfPz+ J (Xyv) =
(т.СЛО	СЦ>Л0
= J u(xTo)dPx+	J v(xN)dPx +
(То<ЛО	(N<x><№
4- J o(xw)dPx< j Х(<о)(т0<ЛО' y(4)dP* +
(T0=oo)	(Tf<oo)
+ J M*Usupg(x„)ldPx4-
(.V < To < OO)	"
+ J M^[supg(xn)ldPx< J x(co)(To<wf(xTo)dP^ +
(T0=oo)	(T0<oo)
4- f sup g+ (x„) dPx 4- f supg(x„)dPx. (2.31)
</V < Го < °°) П	(Та=оо)П^М
Отсюда, в силу условия g^L(A~, Л+) и леммы
Фату,
v(x)< j v (xTq) dPx 4- j limsup g{.xN)dPx. (2.32)
(TQ < оо)	(To=oo) N
Но
j u(xto)dPx = J g(xTo)dPx,
(То < ОО)	(То < ОО)
а в силу условия А+ и леммы 6,
f limsup g(xn) dPx= I limsup v (xn) dPx.
J n	J . n
(T0=oo)	(T0=oo)
Поэтому из (2.32)
V(x)= j g(xTc)dPx +
(To < oo)
4-	f limsup g(xn)dPx = M^(xt0), (2.33)
(T0=oo) П
что и доказывает (0, $)-оптимальность момента т0;
63
3) если т0е2)1, то, в силу условий Л* и А+,
Г lim sup g(xn)dPx = 0, и из (2.33) находим
(Т0=оо) П
V (х) = J g (Хто) dPx = | g (хт„) dPx = (хТо) = s (х).
(То < ОО)	Q
Следовательно, т0(=2Я, т. е. т0 является (0, $)-опти-
мальным моментом.
Замечание 1. Пусть Ге = {х: v (х) g (х) 4- е},
8^0. Тогда Ге=>Г0, е > 0, причем Ге | Го, е 0.
Замечание 2. Условие А+, входящее в форму-
лировку теоремы, вообще говоря, ослабить нельзя.
(См. по этому поводу приводимый ниже пример 5.)
Справедлив, однако, следующий результат. Пусть
g^L^A~) и для данного xQ
Мхфир g+ (x„)j < оо.
Тогда момент те, 8 > 0, является (е, 5)-оптимальным
в точке xo(MXog(xre)^s(*o) — е), а момент то будет
(0, $)-оптимальным в точке х0. Если к тому же
РХо(то < °°) = 1, то то является оптимальным мо-
ментом остановки (в точке х0).
2.	Следствие 1. Если множество Е конечно,
— оо < g(x)<oo, то существует оптимальный момент
остановки.
Действительно, если Е — конечное множество, то,
начиная с некоторого е', Ге = Г0, е^е'. Следова-
тельно, момент т0 = те, 8	е', с Рх-вероятностыо еди-
ница конечен и, в силу пункта 3) теоремы 2, $(%) =
= Мх£(Хт0), xt=E.
Рассмотрим несколько простых примеров.
Пример 1. Пусть £ = {0, 1, ..., N}, и пусть
переходная вероятность р(х, у) = Рх (xj = у) устроена
так, что
р(0, O) = p(AZ, AQ= 1, p(Z, Z + 1) = p(Z, Z- 1) = V2,
Z=l, ..., АГ-1.
Эксцессивность функции f(x) в рассматриваемом
случае означает ее выпуклость вверх,
f(x)> Их+В + Нх-.!).,	1, ...»	1,
64
причем f(0)=£(0), f(N) = g(N). Поэтому н. э. м. v(x)
для функции g(x) будет наименьшей выпуклой вверх
функцией, «натянутой сверху» на g(x) с соблюде-
нием концевых условий ^(0) = g(0), v(N) = g(N}.
Оптимальное правило остановки состоит здесь
в том, чтобы прекращать наблюдения в тех точках х,
для которых v(x) = g(x).
Пример 2. В отличие от предыдущего примера,
где состояния {0} и {7V} были поглощающими, пред-
положим теперь, что р(0, l) = p(AZ, N— 1)=1. Не-
трудно понять, что здесь н. э. м. о (%) есть постоян-
ная: v(x) = max g(x), и оптимальное правило оста-
х
новки состоит в том, чтобы прекращать наблюдения
при первом попадании в точки х, для которых
o(x) = g(x).
Пример 3. Пусть снова Е = {0, 1, ..., У} и
р(0, 0)= 1, p(N, N — 1)= 1,
p(Z, i + 1) = p(iy i — 1) = 72 i = 1, ..., N — 1.
Тогда н. э. м. v(x) функции g(x) будет наименьшей
«выпуклой» оболочкой функции g(x), удовлетворяю-
щей ограничениям: a(0) = g(0), v (х) g (х0), x^xQi
где Xq — та (наименьшая) точка, где функция g(x)
достигает максимума.
В случае конечного числа состояний, как мы ви-
дели, оптимальный момент остановки существует.
Если же множество состояний счетно, то это, вообще
говоря, уже не так. Проиллюстрируем это обсто-
ятельство на следующем простом примере.
Пример 4. Пусть Е = {0, 1, ...} и p(Z, Z+l)=l
(т. е. рассматривается детерминированное движение
вправо) и	— монотонно возрастающая функ-
ция такая, что К = lim g(x)< оо. Поскольку здесь
X -> ОО
ф (х) = Мд. pup g (х„)| - к,
то	и, следовательно, в силу леммы 8,
н. э. м. v (х) = К (что, впрочем, было a priori оче-
видно). Нетрудно теперь видеть, что оптимального
5 А. Н. Ширяев
65
момента остановки не существует, в то время как
момент т=оо является (0, 5)-оптимальным, поскольку
Рх (lim sup g (хп) —	1 для всех х е Е.
С другой стороны, ясно, что момент Te = inf {п: хп^К — е}
при всяком е > 0 является 8-оптимальным моментом
остановки.
3.	Можно было бы думать, что и в случае нару-
шения условия Д+ моменты
те = min {п: v (х„) < g (х„) + е}
останутся е-оптимальными. Однако, вообще говоря,
это не так, что видно из следующего примера.
Пример 5. Пусть Е = {0, 1,2,...},
р(0, 0) = 1, p(z, z’ + l) = p(z, z — l) = 1/2>
z= 1, 2, ...,
и g(0)=l, g(z) = z, z=l, 2, ... Можно показать, что
здесь pup g (xjj = оо, х = 1, 2, ... Пользуясь лем-
мой 4, легко найти н. э. м. и(х) функции g(x): v (0)= 1,
и(х) = х+1, х=1, 2,.... При 0^е< 1 множество
Ге = {х: v (х) g (х) 4- е} состоит из единственной точки
{0} и момент те = inf {п: хп = 0} конечен с веро-
ятностью единица для любого х е Е. Поэтому
Mxg(xt)=l, хеЕ. Но, с другой стороны, ясно,
что момент r==inf{n: хп е Е}, предписывающий оста-
навливаться сразу, дает в любой точке х = 2, 3, ...
«выигрыш» Мх^(хт) = g(x), равный соответственно
2, 3, ..., т. е. больший «выигрыша» от остановки,
предписываемой моментом т8.
4.	В случае нарушения условия Л+, вообще го-
воря, нельзя найти момент сге е ЗД такой, что для
всех точек х, где $(х)< оо:
s(xXMxg(XOg) + 8.
Тем не менее справедлив следующий результат.
Следствие 2. Для каждого фиксированного
значения х0, где s(x0)< оо, и всякого е > 0 (в силу
определения sup) существует момент ае(х0) такой, что
S(Xo)<MXog(X0e(x0)) + 8.
66
Построить этот момент можно следующим об’
разом. Положим
g"(x) = min(b, g(x)), sb(х) = sup М^(хг).
Мы уже знаем, что sb (х) | $(х). Поэтому для точки х0,
где s(x0)<°o, и е > 0 можно найти такое W = (х0, е),
что для всех n^N
s(x0)-s^(x0)<e/2.	(2.34)
Из ограниченности функций gb (х) следует, что м. о.
ае (*о) = inf [п: gN (Хо>е) (xn) + е/2 sN е) (хп)}
таков, что ое(х0)еЭЙ и
Mxg" (Хое (хо)) > sN W - е/2, X е £.	(2.35)
Из (2.34) и (2.35) получаем требуемый результат,
поскольку
s (хо) > M.og (Хае (Хо)) >	(х% ь)) >
> sN (х0) - е/2 > S (х0) - е.
5.	До сих пор как в § 1, так и в § 2 мы пред-
полагали, что марковская цепь X = (xn, РJ,
N, является необрывающейся.
Случай обрывающихся марковских цепей X =
= (хп, <^п, Р.Д П €= N, не требует привлечения
новых идей и рассматривается аналогичным образом.
Остановимся лишь на тех изменениях, которые надо
внести в основные формулировки.
Под классом Эй понимаются марковские мо-
менты т такие, что Рх(т^£)=1, х е Е. Класс Эй
определяется как совокупность таких моментов т,
для которых Рх (т < £) = 1, х е= Е. В соответствии
с § 2 гл. I условимся обозначать А фиктивное со-
стояние и доопределять функции	на мно-
жестве £a = £U{A} с помощью условия /(А) = 0.
П(лэжим для g<^L(A~)
Ur) = мх [g (хт); Т < £] = j g (хт) dPx,
(Т <
(хт) = Мх [g (хт); т < £] + Мх pirn sup g (xrt); т = oo j.
5*
67
Из этих определений и условия g(A) = 0 очевидно,
что
M^g(xt) = j
'Т < оо)
Mxg (Хх) = / g (хх) dPx +
: Т < ОО)
г	(2.36)
lim sup g (хп) dPx,
J n
(T = OO)
поэтому «внешне» случаи необрывающихся и обры-
вающихся марковских цепей неразличимы. По ана-
логии с (2.2) и (2.3) обозначим
S (х) = sup Mxg (xt), S (х) = sup Мд-g (хт),
г е а;	т s al
(2.37)
s (х) = sup M-rg (хт),
где s(x) вводится только для неотрицательных функ-
ций g(x).
Просматривая доказательство лемм 1—8, легко
убеждаемся, что они сохраняют силу и для обрываю-
щихся марковских цепей. Аналогичным образом ос-
таются справедливыми теоремы 1 и 2.
6.	В заключение настоящего параграфа приведем
решение упомянутой во введении задачи о выборе
наилучшего объекта. Напомним условия этой задачи.
Пусть имеется п объектов, занумерованных чис-
лами 1, 2, ..., п так, что, скажем, объект с номе-
ром 1 классифицируется как «лучший», с номером
п — как «худший».
Предполагается, что объекты исследуются в слу-
чайном порядке, причем в результате сравнения
любых двух объектов становится ясно, какой из них
лучше, но истинные их номера остаются неизвест-
ными. Задача состоит в том, чтобы с максимальной
вероятностью выбрать «лучший» объект, т. е. объект
с номером 1. Особенностью рассматриваемой задачи
является то, что исследуемый объект либо отвер-
гается (и тогда к нему нельзя больше возвращаться),
либо принимается (и тогда процесс выбора прекра-
щается). Предполагается также, что если некоторый
объект отвергнут, то отвергаются и все последую-
68
щие, худшие этого *) (не считая объекта, стоящего
на последнем месте, который обязательно прини-
мается, если ранее не было сделано выбора).
Пусть (аь ..., ап) — любая из п\ перестановок
чисел (1, 2, ..., п). Допущение о случайном порядке
выбора объектов означает, что вероятность любой
комбинации (аь ..., ап) равна 1/п!.
Обозначим о момент выбора (предположительно
«лучшего») объекта. Проблема состоит в том, чтобы
найти такой момент о*, для которого
s(l) = Р (ag* = 1) = sup Р (а0 = 1)
а
(в силу очевидного условия нетрудно понять,
что оптимальный момент а* действительно сущест-
вует; впрочем, это будет следовать также из по-
следующих рассмотрений).
С каждым процессом осмотра объектов свяжем
последовательность х0,	• ••» где Хо=1> а по-
рядковый номер объекта, лучшего, чем объект с по-
рядковым номером xh z^O. Так, например, Xi —
номер места, на котором стоит первый объект, луч-
ший объекта, стоящего на первом месте в ряду иссле-
дуемых. При этом если объекта лучшего, чем объект
с порядковым номером xt не существует, то xz+1 не
определяется. Очевидно, что 1 xt п ил\-+1^хг.
Сравнительно несложный комбинаторный подсчет
показывает **), что для 1 < Ь\ < . .. < bi < Ьм
Р (х(-+1 = bi+l \xt = bi, .... xt = bi) =
= P (x/+1 = bi+\ |х( = b^ =	•
Отсюда вытекает, что последовательность Хо=1»
хь ... образует однородную (обрывающуюся) цепь
Маркова в фазовом пространстве £’ = {1, 2, ..., п}
с переходными вероятностями
{х	х <
.‘/((/-О’	Х У'	(2.38)
О,	х > у.
*) Рассмотрение только таких процедур выбора наилучшего
объекта не ограничивает общности, что показано в [35], стр. 95.
**) Подробнее см. [35], стр. 96—97.
69
Заметим, что 2j Р (%» У) = 1 ~ ~ • Поэтому с ве-
у> X
роятностью х/n рассматриваемая марковская цепь
обрывается в состоянии х, что происходит лишь тогда,
когда объект с порядковым номером х является
наилучшим. Иначе говоря, Рх {£ == 1} = х/п.
Обозначим P\(t) вероятность того, что объект с по-
рядковым номером xt окажется наилучшим (х0=1,
/=1, ..., п). Очевидно,
Л(П = V^P(xf = y|x0=1) = M^.
У>1
Итак, интересующая нас вероятность равна s(l) =
= supMi(^j, где верхняя грань берется по всем
моментам остановки
Обозначим
s(х) = sup	, Г0 = {х: $ (х) = g (х)},
где g(x) = x/n. В силу теоремы 2, момент т* =
= min{/^Ai: х^еГ0} является оптимальным м. о.
Для его отыскания обратимся к рекуррентным урав-
нениям
s(x) = max{g(x), Ts(x)}.	(2.39)
В рассматриваемой задаче
П—1	I
/ \	* V х s * (у + О	1	1
s(x) = max 2^-у-^+Т- ’ x=l...............п~1’
У = х	I
(2.40)
где, очевидно, $(/г)=1. Воспользовавшись этим соот-
ношением, легко найти значения функции s(х) для
любых х Е, последовательно отыскивая s(n),
s(n — 1), ..., s(x). Имеем
/	( n — I	I | n — i z
s(n - 1) = max -J—— , -] = —— = g(n- 1),
z	o	f /1 — 2	tt-2/1	1 \ I
s (n — 2) = max <-, ----- --г H---x- ? =
v 7	(я ’ n \n — 1 n — 2 / J
s- (x) = max |	— (—Ц- -г
' ’	( n n \ n — 1
•	= 7 =
70
если только
-< 1.
X
п — 1
Пусть /?* = £* (/г) определяется из неравенств
1 I 1 I	I_L 1	1 I 1 I	I 1
п-\	п-2	*’• -1" k* п-}'^ п-2 "г‘“ "И F- 1
(заметим, что при больших п k* (п) ~ п/е). Тогда
s(x) = g(x) для всех x^k* и s (%)>§(%) при x<k*.
Следовательно, Го = {/?*, &*+1, ..., м}, откуда выте-
кает, что оптимальное правило выбора наилучшего
объекта состоит в том, чтобы просмотреть и пропу-
стить F — 1 объектов и затем выбрать первый объект
(в момент о*), который лучше всех предшествующих.
Найдем вероятность s(l) = Р(а0* = 1) выбора
наилучшего объекта, следуя оптимальному правилу.
Для всех х < /?*
s(x)~x J] y(^+l) >
где s(y) = y!n, y^k\ Отсюда нетрудно вывести, что

1
п — 1
Поскольку при больших п k*(n)~nle, то $(1)~1/е,
где 1/е	0,368.
Таким образом, при достаточно больших п с ве-
роятностью, приблизительно равной 0,368, можно
выбрать лучший объект, хотя на первый взгляд ка-
залось бы, что при возрастании числа осматриваемых
объектов вероятность s (1) должна стремиться к нулю.
§ 3. Эксцессивная характеризация цены.
Общий случай
1. Как следует из теоремы 1, для функций g е L (Д')
цена s(x) является наименьшей эксцессивной мажо-
рантой функции g(x). Справедлива ли теорема 1,
если условие А~ нарушается? Приведем пример, по-
казывающий, что в общем случае цена s(x) может
не быть наименьшей эксцессивной мажорантой g(x).
71
Пример. Пусть фазовое пространство Е —
= {0, 2,22, ...} и марковская цепь Х = (хп, Pj,
n^N, устроена так, что
%п + \ =	* £п + 1,
где {£п}, п е /V, — последовательность независимых оди-
наково распределенных случайных величин, Р (%п = 0) =
= Р (£п = 1) = 1/2, о7\ = о{со: х0, хь..., хп}, а мера
РЛ определяется естественным образом. Иначе го-
воря, «частица», выходящая из точки х е £, с равной
вероятностью попадает либо в точку 2х, либо в
точку 0, где и остается.
Положим g (х) — — х и рассмотрим цену
$ (х) = sup Mxg (хт).
Поскольку g(x)<^0, то для каждого матема-
тическое ожидание Mxg(xT) определено. Нетрудно
проверить, что для данного примера
Мх [sup g~ (xn)] = Mx [sup Xn] = OO, x =/= 0,
n	n
и, таким образом, условие A~ нарушается.
Найдем для рассматриваемой функции g^L ее
н. э. м. и(х). Легко проверить, что Tg(x) = g(x\
х^Е. Следовательно, функция v(x) = g(x) является
наименьшей эксцессивной мажорантой g(x), и если
теорема 1 оставалась бы справедливой, то s(x) =
= g(x)=—x. Однако на самом деле s(x) = 0. Дей-
ствительно, пусть т = inf {п: хп = 0}. Поскольку
Px(f<oo)—1, х е £, то	Но Mxg(xt) = 0 и,
очевидно, s(x)=^0. Поэтому момент т является опти-
мальным, s(x) = 0 и s(x)=^=v(x), где и(х) —н.э. м.
Нетрудно дать объяснение того факта, что здесь
s(x)y=^(x). Дело в том, что при доказательстве
теоремы 1 мы существенно опирались на лемму 1,
которая, как показывает приведенный пример, при
нарушении условия Л” уже может быть неверна.
Естественно поэтому думать, что в общем случае
«эксцессивную» характеризацию цены следует искать
в классе тех э. ф., для которых справедлива лемма 1.
С этой целью введем ряд необходимых обозначе-
ний и определений.
72
Пусть функция g- е L. Обозначим 9Л класс
моментов остановки те®1, для которых математи-
ческое ожидание Mxg(xT) определено для всех х е Е
(т. е. при каждом х ен Е или Mxg“(xT)<oo, или
Mxg+ (хт)<оо). Аналогично, пусть %lg 9W — класс мар-
ковских моментов т е 9И, для которых при всех х е Е
определено математическое ожидание Мх^(хт)«
Ясно, что ?lg = 2K,	если	Обо-
значим, далее,
s(x)= sup Mxg(xT),	(2.41)
s(x)= sup M^(xT).	(2.42)
т <=
Каждую из функций s(x), s(x) будем также называть
ценой и, аналогично случаю g^L(A~\ определять
(е, s)-,	(е, $)-оптимальные марковские моменты
(8>0).
Обозначим	класс тех марковских момен-
тов, для которых (хт) < ОО (Мх£“ (хт) < оо) при
всех х^Е. Полезно заметить, что в (2.41) и (2.42)
верхнюю грань достаточно брать не по всем т е %lg
и	а лишь по т е и т соответственно.
В самом деле, пусть т е ?lg и А — множество тех
точек х е Е, для которых Mxg“ (хт) = 4- оо.
Определим новый марковский момент
Тогда
( т(©),
т(оэ) = ] 0
х0(со) л,
Xq ((d) €= А.
Мxg (хх) < Mxg (xt) =
Mxg(xT),
g(x),
х Ф А,
х е А,
и (xt) < оо при всех х е Е. Отсюда
sup Mxg(xT)= sup Мх^(хт).
Аналогично доказывается равенство
sup Mxg (хт) = sup M r# (xt).
73
Определение I. Эксцессивная функция f е cf
называется ^-регулярной, если для любого т е %lg
определено MJ^x-J и
f(x)^Mxf(xx).
(2.43)
Определение 2. Эксцессивная функция
называется ^-регулярной, если Mxf“(xT)<oo для
любого и выполнено (2.43).
Каждая 9^-регулярная эксцессивная мажоранта
функции g(x) является в то же самое время ^-ре-
гулярной, и поэтому класс ^-регулярных э. м. функ-
ции g(x) шире класса ^-регулярных э. м.
Для краткости «^-регулярные функции будем
также называть просто регулярными.
Условимся также во всех тех случаях, когда рас-
сматривается вполне определенная функция g^L
У	и SRg, опускать индекс g.
2. Основной результат, относящийся к эксцессив-
ной характеризации цен s(x), s(x), определенных
в (2.41), (2.42), содержится в следующей теореме.
Теорема 3. Пусть функция g^L. Тогда цена
s(x) является наименьшей регулярной эксцессивной
мажорантой функции g(x), s(x) = s(x) u*) s(x) =
= max{g(x), 7’s(x)}.
Для функций g^L(A~) утверждение теоремы
следует из теоремы 1 и леммы 1. Установим теперь
справедливость утверждения теоремы 3 для функций
g^L ОТ).
Лемма 10. Пусть функция g е £(Л+). Тогда s(x)
является наименьшей ^-регулярной эксцессивной
мажорантой функции g(x), s(x) = s(x) и
s (х) = lim G^qp (х), ср (х) = Мх [sup g (xrt)].
7V->oo	П
*) Если g(x)^0, то из равенства s(x) = s(x), очевидно,
вытекает также, что s (х) = s (х) = s (х).
74
Доказательство. Обозначим
g„(x) = max(a, g(x)),	а<0, sa(x) = sup Mxg0(xx),
x e ‘J?
sa (x) = sup Mxg-a (xx), sa(x) = sup Mxga (xx).
t e?|		re N
В силу теоремы 1, sa(x) = sa(x), причем (см. лемму 1)
sa(x) является наименьшей регулярной эксцессивной
мажорантой функции ga(x).
Поскольку sa(x) не возрастает при а—>— оо, то
существует предел $ф(х) = lim sa(x), при этом, очеь
д-> — оо
видно,
s,(x)>s(x)>s(x).	(2.44)
Согласно теореме 1
sa(x) = max{go(x), Tsa(x)}.	(2.45)
В силу того, что sa (х) | s. (х), а | — оо, и
Мх [sup g+ (х„)] < оо,
п
из (2.45) при а| — оо получаем уравнение
s.(x) = max{g(x), Ts.(x)).	(2.46)
Поскольку, кроме того, для т е У!
$а (%)	(xt) MjfS* (хт),
ТО
sjx) > M^(xT).	(2.47)
Следовательно, построенная функция s*(x)^s(x)
удовлетворяет (2.46) и является ^-регулярной эксцес-
сивной мажорантой g(x).
Установим теперь неравенство s*(x)^s(x), кото-
рое вместе с (2.44) приводит к цепочке равенств
s* (х) = s (х) = s (х) и s* (х) = s (х) = s (х) = s (х), если
g(x)>0.
В силу леммы 6,
lim sup sa (хп) = lim sup ga (xj =
n	n
= max (lim sup g (xn), а}, (РЛ-п. и., x e £),
\ n	J
75
где при а | — оо
max (lim sup g (xn), a} | lim sup g (xn),
lim sup sa (xn) lim sup s* (xn).
n	n
Следовательно,
lim sup g (xn) lim sup s, (xn), (Рх-п. н., x e E).
n	n
Но согласно (2.44), g(x)^s,(x), поэтому (Рх-п. н.,
x e E)
lim sup g(xn) = lim sup s„(xn).	(2.48)
n	n
Положим для e>0
те = inf {n: s, (x„) < g (x„) + e)
и покажем, что Рх(те<оо)= 1, хе£, т. е. те е ЯП.
С этой целью применим лемму 5 к зДх). Тогда для
N N и 0 а < — оо
-oo<s.(x)=	[ s,(xT)dP^+ Г s.(xa,)JPx =
(\<N) (\>N)
~ J \re<N}\^re)dP.+ f S.(^)X(rE>JV)^P,<
(те<°о)	a
C I X(,f<W)S.K)dPx+ $Sa(XN)^N)dPX^
(te<°°)	a
(Te<“)
Я *4 НР£Ж)1 Х(гЕ>Л.)^<
Q	1	J
(Te<o°)	a
76
Поскольку s.(xTf.) < MXTf Fsup g+ (x„)|,	< N} (©)->
Фату ([45], стр. 135),
— oo s. x) J* s* (a\₽ ) dP x +
4- f lim sup ga (x„) dPx.
При a-> — oo
limsupga(xra) | limsupg(x„) (Pr-n. h., xe£),
n	n
причем
lim sup ga (xn) < sup g+ (xn) (Рх-п. н„ x e E).
n	n
Поэтому
lim [ lim sup #o(x„)dPx = f limsupg(x„)6/Pr,
a_> — oo	J x П	.	. n
(Te.= 0°)	(Te=°°)
и, следовательно,
- oo<s.(x)< j s.(xTJdPz+ j limsupg(xra)t/Pz.
(Te<0°)	(Te=o°)
Из этого неравенства вытекает, что на множестве
{со: тР = оо}
lim sup g (хп (со)) > — оо (Рх-п. н., х е Е).
В силу условия g е Л(Л+), ясно также, что
lim sup g1 (%„(<£>))< оо (Рг-п. н., х е £).
На множестве {со: тР(со)— °°}
lim sup s* (хп (со)) > lim sup g (xn (co)).
77
Поэтому
Рд (те(®) = оо) =
= Рж ([limsup s.(x„)>limsupg(x„)] ПК = °°11 =
U. Я	П	J	J
= Рл I [lim sup s. (х„) > lim sup g (x„)| A [te = oo] A
A [ | lim sup g (x„) | y= oo] 1	Px ([lim sup s, (x„) >
I.	I n	I J ) I [ n
> lim sup g (x„)| A [ | Hm sup g (x„) I #= oo
n	] L I n	I
Но, в силу (2.48),
РЛ. j[lim sup st (xn) > lim sup g (x„)] A
n	n	I
A [ |limsupg(x„)l =/= co]] =0
LI n	I J J
и, следовательно, Px (те = oo) = 0, x e E, t.
В силу условия Л+, те 91. Поэтому
s (х) > Mxg (xTg) > Mxs+ (xtg) - е.
Покажем, что
Мд(хТе)Х (х).
е.
(2.49)
(2.50)
Поскольку s*(x)> g(x), то s~ (х) g~ (х). Но,
по определению класса L, Mxg“ (хп) < оо для всех
х е Е, N, следовательно, и (xn) < оо, N,
х е Е. С другой стороны, в силу условия Л+,
(хп)< о°,	х^Е. Поэтому функция <$Дх),
удовлетворяя уравнению (2.46), обладает также тем
свойством, что Мх| s*(xn) |< оо при любых n<^N,
х^Е. Применим к s*(x) снова лемму 5. Тогда для
n^N получим, что при любом a^Q
J s.(xTe)dPA.=
te<W)
= s,(x)- J s,(xN)dPx^ S.(x)- J sa(xAf)dPA.>
(Te>M)	(re>W)
>s.(x)- [ s+ (xj dPx > s, (x) - f supg+(x„)dPx.
(rE>M)	(re>M) П
(2.51)
78
Но
Рх(тЕ < оо) = 1, Мх pup g+(xn)j < оо,
Поэтому, переходя в (2.51) к пределу при М—>оо,
получаем (2.50), что вместе с (2.49) дает неравенство
s (х) s* (х) — в. В силу произвольности 8 > 0, s(x)^
>s#(x) и s(x) = sjx).
Для завершения доказательства леммы надо еще
показать, что s (х) является наименьшей ^-регуляр-
ной э. м. и что s(x)= lim Gyv<p(x).
/V-> oo
Предположим, что f(x) — некоторая ^-регулярная
э. м. функции g(x). Тогда Мх/(хт) определено и
f (х) > Мxf (хт) > Mxg (хт),
и, следовательно, f(x)^s(x). Отсюда следует, что
s(x) — наименьшая ^-регулярная э. м. g(x).
Обозначим
u(x) = lim GNy(x\
ЛГ-»ОО
Фа(х) = Мх psup£a(x„)j, а<0,
Ga<Pa (х) = max {ga (х), Тфа (х)}.
Тогда
Сафа (х) > GNq> (х) > v (х).
В силу леммы 9, s (х) = lim О^ф_(х)и, следовательно,
JV-> ОО
s*(x) = lim sa(x)> v (х). Для доказательства обрат-
fl-» — оо
ного неравенства заметим, что
Gs.(x) = max{g(x), Ts, (х)} = s, (х)
и, следовательно, GNs„ (х) = s, (х). Далее, очевидно,
S* (х)^ ф (х). Поэтому
Gs* (х) С Gqp (х), s* (х) = GNs* (х) < G vqp (х),
откуда s* (х)<: 0 (х). Лемма доказана.
Замечание 1. Пусть	и gfl(x) =
= max (a, g(x)), где а^О. Тогда наименьшая ^-регу-
лярная эксцессивная мажоранта функции g(x) равна
s (х) = lim lim G^cpa (х),
а-» — оо /V~»оо
(2.52)
где
фа(х)==Мж|5ир£а(хп)р
Gaf (х) - max {ga (х), Tf(x)}.
/9
Замечание 2. Пусть g^L(A+) и
ёа(Х^ =
b,	g(x)>b,
g(x), a^g(x)^b,
a,	g(x)<a,
где а^О, Ь^О. Тогда
s(x) = lim lim lim QNgba(x) =
a->— oo &->oo 7V->oo
= lim lim lim QNgba(x} =
a->— oo jV->oo z?->oo
= lim lim lim QNgba(x). (2.53)
Согласно замечанию 2 к лемме 4,
lim СдФа(х) = sa(x) = lim lim QNgba(x) =
7V~->OO	b-^OO N->(X)
= lim lim QNgba(x),
Л/-> OO b -> OO
что вместе с (2.52) доказывает первые два равенства
в (2.53).
Для доказательства последнего равенства в (2.53)
обозначим (%) = sup (хт), где
те?}
g$ (х) = min (Р, g (х)), р > 0.
Тогда, в силу второго равенства в (2.53),
s|3(x) = lim lim QNg$a (x) s (x).	(2.54)
O-> — OO ДГ-»оо
Поскольку S|3(x)'t При pt oo, TO
s* (x) = lim s₽(x)= lim lim lim QNg^(x)^s(x).
(3-»OO	|3->OO a-> — oo JV-»OO
(2.55)
Установим обратное неравенство s*(x)^s(x).
Пусть теЭ1. Тогда Mxg~ (хт) < оо при всех х е Е,
и поскольку gb(x) | g(x), b f oo, то по теореме Лебега
о монотонной сходимости
(xt) t (xT), b t oo. (2.56)
Ho Mxg6(xT)^s6(x)^s*(A:), откуда, в силу (2.56),
Mx^(xT)^s*(^) и, следовательно,
s (х) = sup (xx) = sup (xT) < s* (x).
т €= ^	T Di
80
Итак,
s (х) = s* (х) — lim lim lim QAr^(x).
&->oo a->—oo /V->oo
Замечание 3. Отметим, что во втором равен-
стве в (2.53) пределы по а и N, вообще говоря, по-
менять местами нельзя, т. е.
s(x) = lim lim lim QNgba(x)
a-»— oo ДГ->оо £>->ao
=И= lim lim lim QNgb(x).
/V->oo a->—oo d->oo
Действительно, в примере, рассмотренном в начале
этого параграфа,
QNgba(x) = QNga(x), lim QNga(x) = 0,
N->OO
lim QNga(x) — — x
a-» — oo
и, следовательно,
0= lim lim QArgfa(x)y= lim lim QNgaM= — x
a->—oo N-^oo	N->oo a->—oo
при всех x 0.
Замечание 4. Функция s(x) удовлетворяет
рекуррентному уравнению
s(x) = max{g(x), Ts (х)}.
Этот факт очевидным образом следует из равенства
s(x) = s#(x) и уравнения (2.46).
3. Доказательство теоремы 3. Пусть
g е L, 6^0, gb (х) = min (&, g (х)),
sb (х) = sup Mxg* (хт) = sup М^ь (хт),
t ете №
sb (х) = sup (хт) = sup Mxgb (xt).
t е 31	х е 9i
Очевидно, sb (х) s (х), lim sb (х) существует и $* (х) =
Ь->оо
= lim sb (х) s (х). С другой стороны, поскольку
Ь -> ОО	_
Mxg- (хт) < оо для т е 9? и g6(x)tg'(x) при b f то
Mxg(xT), b t оо. Отсюда
(xt) < sb (х) = sb (х) < s’ (х),	МЛ£ (хт) < S* (х)
6 А. Н. Ширяев	8|
и
S (х) = sup Мд-g (xt) s' (x).
т e Э1
(2.57)
Из сопоставления (2.57) с установленными неравен-
ствами s*(x)^s(x)^s(x) получаем
s* (х) = lim sb (х) = lim sb (х) = s (х) = s (х). (2.58)
&->оо	&->оо
Поскольку для reSR (хт) Mxg (хт) < оо и,
в силу леммы 10,
s(x)>s6(x)>M^(xT),	(2.59)
sb(x)ts(x), b t oo, то из (2.59) следует, что s(x)
является регулярной эксцессивной мажорантой функ-
ции g(x).
Если /(х)— некоторая регулярная эксцессивная
мажоранта g(x), то для определено Mxf(xT) и
f W > Mxf (хт) >	(хт),
откуда f(x)i>s(x). Следовательно, s(x) является наи-
меньшей регулярной эксцессивной мажорантой функ-
ции g(x).
Наконец, так как $(х) является эксцессивной ма-
жорантой функции g(x), то s (х) max {g (х), Ts (х)}.
С другой стороны, поскольку sb(x) = max{g&(x), Tsb(x)}
и sb (х) f s (х), b f oo, то s (x) max {g (x), Ts (x)}. Итак,
s(x) = max {s'(x), Ts (x)}.
Теорема доказана.
Замечание 1. Если g^L, то
s(x)=lim lim lim QNgba(x),
b->00	/V->OO
(2.60)
что следует из (2.58) и замечания 2 к лемме 10.
Замечание 2. Пусть момент	(т*е?1)
таков, что отвечающий ему выигрыш F(x) = Mxg(xT*)
(f(x) = Mxg(xt*)) является регулярной эксцессивной
функцией и f (х) g (х) (f (х) g (х)). Тогда т* является
(0, 5)-оптимальным моментом ((0, $)-оптимальным мо-
ментом).
82
Замечание 3. Если g^L, то остается спра-
ведливым (с очевидными изменениями в обозначениях)
следствие 2 к теореме 1.
Замечание 4. Теорема 3 и доказываемая далее
теорема 4 сохраняют свою силу и для обрывающихся
марковских процессов. Необходимые изменения в обо-
значениях и формулировках нетрудно произвести, если
воспользоваться замечаниями, сделанными в п. 5 § 2.
4. В настоящем пункте рассматривается вопрос
о существовании и структуре е-оптимальных, 8^0,
марковских моментов. Доказываемая ниже теорема 4
непосредственно обобщает результаты, содержащиеся
в теореме 2.
Теорема 4. Пусть функция g^L удовлетворяет
условию
А+: Мх [sup g+ (х„)1 < оо
L п	J
и v (х) — ее наименьшая ^регулярная эксцессивная
мажоранта. Тогда:
1)	Для всякого е>0 момент
те = inf {п: v (хп) < g (хп) + е}
является z-оптимальным моментом остановки (точнее,
(О, э)-оптимальным м. о.).
2)	Момент
T0 = inf{n: tf(x„) = g(xn)}
является (0, з)-оптимальным марковским моментом,
т. е.
Mxg (хТо) = S (х) = V (х), X Е.
3)	Если момент т0 является моментом остановки
(тоеЗЙ), то он является оптимальным (точнее, (0, $)-
оптимальным).
Доказательство. 1) Поскольку в предположе-
нии А+ Рх(те<оо)= 1, х^Е, то те^Ш1. (е, $)-опти-
мальность, 8 > 0, момента те доказана в лемме 10
(неравенства (2.49), (2.50)).
2) Для доказательства (0, 5)-оптимальности мо-
мента т0 воспользуемся леммой 5. В силу условия А+,
6*	83
эта лемма применима к f(x) = v(x) и Мхи(хТо) опре-
делено. Таким образом, для любого A/ eW
u(x) = j u(xt„)dPA: + j v(xN)dPx^
(т»<М	(То>ДО
< J u(xTo)c?Px + J MXAJsupg(x„)| dPx =
(то<ЛО	(То>ЛО 1 "	1
= f t>(xT„)dPx +	[ sup g (x„) dPx =
(To<W	(To>M n>N
= J %(t0<^K)dPx+ f%(r0>X) sup ^(x„)dPx. (2.61)
(To< oo)	Q	n^N
Отсюда, учитывая, что g^L(A+\ и применяя лемму
Фату, получим
v (х) < lim sup J x(to< mv (xj dPx +
(To < oo)
+ limsup / X(to>N) sup g(x„) dPx <
<	[ u(xTo)rfPx + J limsupg'(xA,)rfPx.=
(To<oo)	(T0=oo)
=	| g(xXa)dPx+ J limsup£(xw)dPx = Mxg(xTp).
(T0<oo)	(T0=oo)
(2.62)
Согласно условию A+, toelR, поэтому из (2.62)
следует, что v (х) = s (х) = Mxg (хТо).
3) Из (2.61) и леммы 10 имеем
v(x)< J U (хТо) dPx + j sup g+ (хп) dPx,
(То<М	(ТО>ЛГ) П
откуда
u(x)< j v (хТо) dPx = J g-(xTo)dPx = Mxg(xTo),
(To< oo)	To< OO
что и доказывает (0, $)-оптимальность момента оста-
новки т0.
84
Следствие. Если выполнено условие А+ и
lim g (хп) = — оо (Ргп. н., х е £), то момент т0 является
п
(О, з)-оптимальным.
Действительно, если РХо(т0 = оо) > 0 при некото-
ром xQt то s(%o)= —°о, что противоречит неравен-
ствам s(x0)>gW> “ °°* Поэтому момент То^ЭЛ,
что вместе с условием А+ доказывает (0, $)-оптималь-
ность этого момента.
§ 4. Оптимальные правила остановки в классе
1. Пусть ЭЛЭЛ — класс моментов остановки т
таких, что P^(t^tV)==1, Af<oo, для всех х^Е.
Обозначим Ln множество ^-измеримых функций
— оо < g(%) оо, удовлетворяющих условию
Мд£~(хп)<оо, n = 0, 1, ...» N, (2.63)
и положим
sN(x)= sup Mxg(xT).
(2.64)
В предшествующих параграфах мы исследовали
свойства цен s(x) и s(x) в предположении, что рас-
сматриваемые марковские моменты принадлежат
классам ЭЛ и ЭЛ. Естественно возникает теперь во-
прос о структуре цен sN(x), оптимальных правил
остановки в классе (в случае Af<oo, как мы
увидим далее, они существуют) и сходимости sN(x)-+
—>s(x) при УУ->оо. Ясно, что к рассмотрению цен
Syv(x) приводят те задачи об оптимальных остановках,
в которых длительность наблюдения ограничена ве-
личиной N.
Основные результаты, относящиеся к случаю 7V< оо,
сформулированы в следующей теореме, в которой
принято обозначение
sn(x)= sup Mxg(xT), n^N.
Теорема 5. Пусть функция g^LN. Тогда для
всех 1 <1 п «С N
snM = Qng(x),	(2.65)
s„(x) = max{g(x), Tsn_i(x)}, s0(x) = g(x), (2.66)
86
момент
t.v = min {/г < АЛ- sN-n(xn) = g (x„)}	(2.67)
является оптимальным, т. е. для всех х^Е
Mxg(xXfJ) = sup Mxg(xT).

Доказательство. Обозначим gn (х) = Qng (х),
£о (*) = £(*)• В силу замечания 3 к лемме 4 (§ 1),
gn(x) = max [g(x), Tgn-i(x)},	(2.68)
Для каждого n^N обозначим
^^ = ёп-т(.хт^У)’ т<п- (2-69)
Тогда нетрудно видеть, что система
{^>(®). <^т, PJ, т<п, =	х., .... хт}
образует при каждом х^Е (обобщенный) супермар-
тингал:
ММ<°°- Mje+1KJ^n) (Р/п. Н.( хеЕ).
Для доказательства утверждений (2.65) и (2.66)
достаточно показать, что sn (х) = gn (х), 1 п Л/”.
С этой целью для каждого 1 п N определим
марковский момент
ort = min{Z: grt_f(xz) = g(xz)}, 0<Z<n, (2.70)
и покажем, что для любого
(xG^) MjK-g’(хт), х^Е,
(2.71)
М.г£(ха^)	ёп(%)> х^Е.
(2.72)
Из (2.71) и (2.72) тогда очевидным образом получим
требуемое равенство sn (х) = gn (х), 1 n Л7. Чтобы
доказать (2.71), установим справедливость следующей
цепочки неравенств:
(-^аЛ) "" ^хёп-0п	^xSn-т	(хт). (2.73)
Последнее неравенство очевидно, поскольку gk(x)^
^g(x), k^O. Далее, в силу (2.70),
МЛ£ (XGJ = Мxgn-(Jn (хоп) =
= J gn-On(xOn)dPx+ J gn_a^xaJdPx =
(°n>T)	(%<т)
п
= 2 J ^п-оп(Хап) dPjt + f gn-<Jn(xan)dPx.
1=0 (an>l,^i)	(°п<х)
(2.74)
Из теоремы 5 гл. I для любых двух марковских
моментов Т] и т2, t2^Tj (Px-n. н., х^Е), принадле-
жащих классу
МД|<«>(®)^Т1]<^)(со) (Рх-п. н., хеЕ). (2.75)
Поскольку событие {ст„<т}е<^'Оп (см. § 2 гл. I), то,
в силу (2.75), последний интеграл в (2.74) равен
(%<т)	(ап<х)
> J ^МРх = I gn-AXJdPX- <2-76)
(an<T)	(°п<х)
Покажем теперь, что при всех O^z^n (см. (2.74))
I*	gn-on (*an) ^Р х =	f gn-i (-^i) dPх- (2.77)
(an>i, r=Z)	(art>z, t=Z)
В самом деле, на множестве {со: ort>z}
gn(x0(cd))> g(x0(®)), •••, gn-i	(«)) > g (*i (®))
и, следовательно, согласно (2.68),
gnUo(©)) = rgrt_1(xo(G))),	^_Z(XZ(G))) =
= g{n- (Z + 1)) (Xi (<d) ).
Поэтому
/ gn-l M dPx = j gn-/(x,HPx +
(’„><. r=i)	(%=i. T=i)
+ f gn-i(Xi)dPx= J gn-dx{)dPx +
(On>i.x-i)	(an-l,x-t)
87
+ J Tgn_u+iy(x()dPx~ J
(an>l,x~i)	(Q^.x-i)
+ J gn-(i+\) Ui+i) dPx =
(’«>'. t-9
+ J gn-U+V Ui+1) dP x = •••
(an>i + l T-0
что и доказывает (2.77).
Из (2.74), (2.76) и (2.77) получаем
п
*M^n)=S J ^n-an(4)dP- +
i=0(o„>Z, т=С)
п
+ J ёп-^ix^dP^^ j gn_i{xi)dPx +
(Чп<х)	i=0(<3n>i,x=i)
~Ь J gn—x (х%) dPx = MJ.g'n_T (хт)	Мд-g (хт).
(°п < х)
Итак, доказана цепочка неравенств (2.73), из ко-
торой, в частности, следует, что момёнт а„ является
оптимальным в классе 9Йга:
sn(x) = Mxg(x<,n).	(2.78)
Установим теперь равенство (2.72). Из (2.73) при
т=0 получаем
s„ (х) > М xgn (х0 (©)) = gn (х).
С другой стороны, в силу (2.70) и (2.75),
sn (х) = (xaJ = (xaJ =
=	(®) < Mx^0rt) (°) =	(*0 (®)) = gn М,
что и доказывает равенства (2.72) и (2.66). Очевидно,
Oryv = Tyv. Следовательно, момент rN, определенный
в (2.67), является оптимальным.
88
2.	Как следует из доказанной теоремы, в случае
уу<оо цены st(x), sN(x) могут быть последова-
тельно найдены по формулам sn(x) = Qng(x). Знание
этих цен дает возможность (по крайней мере прин-
ципиально) найти и оптимальный момент
t,v = min {п: g (хп) = sN_n (xn)}.
Предположим теперь, что TV -> оо. Поскольку Sy+I (х)^
>Sy(x) и Ту + 1 (со) > Ту (со) (Рх-п. н., хе£), то суще-
ствуют пределы
s* (х) = lim Sy (х) и т* (со) = lim Ту (о).
Л/->ОО	Д/—>ОО
Естественно задаться вопросом, когда s* (х) совпадает
с ценой s(x) = sup Mrg(xT) и является ли момент т*
т <= ЭД
(О, $)-оптимальным или (0, 5)-оптимальным? .
Теорема 6. 1) Если функция g е Л (Л”), то
s* (х) = lim Sy (х) = s (х) = s (х).	(2.79)
/7->оо
2)	Если функция	Л+), то момент
т* = lim Ту является (0, ^-оптимальным.
N->OO
3)	Если функция g е L{A~, Л+) и момент т* е Эй,
то он является (0, з)-оптимальным.
4)	Момент т* = lim Ту = inf {п: g (xn) = s (xn)}.
/V~> OO
Доказательство. 1) Утверждение (2.79) следует
из леммы 4 и теоремы 1, поскольку Sy (х) = QNg (х).
2)	На множестве {т*<оо}
^limg (xTyv (со)) = g (хт*(со)).
Поэтому, в силу леммы Фату и (2.79),
s (х) = lim Sy (х) =
/V->oo
= lim sup M^(xTyv)	pirn sup g (xTJj =
= J lim sup g(xx„)dPx + J limsupg(xTAr)rfPx =
(T* < oo)	(T* = oo) N
= J g(xx^ (<o))dPx+ J lim sup g(xn)dPx =
iT*<oo	(T*=oo) П
= Mr£(xT*)>	(2.80)
откуда следует (0, 5)-оптималыюсть момента т*.
89
3)	Если Рх (т* = оо) = 0, х<=Е, то из (2.80) полу-
чаем, что момент т* является (0, £)-оптимальным.
4)	Для доказательства последнего утверждения
теоремы положим
r = inf{n: g(x„) = $(%„)}
и покажем, что т = т* (Р^-п. н., х е £).
Пусть со0 <= {х =/г}, п<оо Тогда g (xz) < s (xz),
z = 0, n —1, где xt = Xi (<oo), и следовательно,
g (х^ < s (xi)	достаточно большого Af, т. e. тN (co0) n.
Поэтому T*(co0) ^tjV(cd0) >т((00). Если же т(ш0)=оо,
то g(xj<s(xz) для xz = xz(co0) при всех z>0, и, сле-
довательно, тлг(<о0)>^ при любых N и n, N>n,
откуда т*(со0)= lim тЛДсо0)>/г, т. е. т* (<о0) = °о.
?/->ОО
Обратно, пусть (о0е{т* = и}, /г<оо. Тогда най-
дется достаточно большое W такое, что Тд, (со0) = п,
и значит, g(Xi) < s/V (xz), z = 0, 1, ..., n — 1, откуда
g(xi) < s (xz), z = 0, 1, zz — 1, t. e. r(co0)^n.
Если же т*(со0)=°о, a т(соо) = /?, то тогда g(xz)<
<s(xz), z = 0, 1,	1, g(xk) = s(xk), Xz = Xz((00),
и следовательно, для всех достаточно больших N
glXiXs^Xi), z = 0, 1, k- 1, g (xk) = sN (xk), t. e.
tjV(®o) = ^> чт0 противоречит предположению т‘(®0) =
= lim xN (<o0) = 00 •
AZ-»oo
Замечание. Из доказательства теоремы 6 видно,
что ее утверждения 2 и 3 можно сформулировать
также следующим образом.
Пусть g<=L(A~) и M%f pup g+ (xjj < оо, для дан-
ного Xq ge Е. Тогда момент т* = lim Т/у является
Л’-> со
(0, $)-оптимальным в точке х0> т- е. s (х0) = MXog(xx*).
Если к тому же РХ0(т*<оо), то момент т* будет
(0, $)-оптимальным в точке х0-
3. Применение п. 3 теоремы 6 бывает затрудни-
тельным в силу того, что нелегко проверять принад-
лежность марковского момента т* классу Эй. Однако
иногда из общих соображений удается установить,
что оптимальный момент а* в классе Эй существует.
Оказывается, что из этого предположения вытекает
(0, 5)-оптимальность момента т* = lim причем мо-
Л/->ОО
90
мент т* будет наименьшим среди всех (0, $)-оптималь-
ных моментов.
Теорема?. Пусть функция g е L (Д“, Д+) и опти-
мальный момент остановки а* существует. Тогда
момент т*^а* (Руп. н., х s Е) и является оптималь-
ным в классе
Доказ ательство. Достаточно установить, что
т* а*, поскольку тогда из предположения а* с= и
теоремы 6 будет следовать (0, $)-оптимальность мо-
мента т*.
Обозначим Лп=={со: о* (со) = n}, п е JV, и покажем,
что на этом множестве s(xn) = g(xn) (Руп. н., хе£).
Отсюда будет следовать требуемое неравенство
T*((D)<O* (со).
Пусть со е Ап и 2№п) £ Зй - класс моментов оста-
новки таких, что Рж(т>«)=!, х е Е. Тогда для
всякого т е на множестве Ап
(Рж-П.н., хе£). (2.81)
Действительно, пусть (2.81) не выполнено для
какого-то х^Е. Тогда множество
В = Л„Л{со: g(xn)<Mx[g(xx)\^n]}
имеет положительную Румеру.
Образуем момент
т (“) = %в (<о) Т (<о) + Xg- (<о) а* (<й).	(2.82)
Очевидно, что т(со) принимает свои значения в мно-
жестве N. Покажем, что т(со) является марковским
моментом.
Если k^n, то *)
{со: х (со) = k} = {со: т (со) = 6} Q В + {со: т(со) = £}ПВ =
= {со: х (со) = k} П В 4- {со: о* (со) = k} Г) В е k.
*) С?! + С2 обозначается теоретико-множественная сумма мно-
жеств Cj и С2, если С1(]С21= 0.
91
Пусть k < п. В случае k = О
{хв (®) т(со) + хв (со) ст* (со) = 0} = (хвт = 0} fl (Хв = 0} =
= {хвт = 0)П{а=0}П(хв = 1} +
+ (Хвт = 0} Л {а’ = 0} П {хв = 0} +
+ (Хвг = °} п{а*=И=0} П (Хв =0) =
= {ст* = 0} + 0 + {т = 0} Л {ст* = п}.
Множество {т = О}ес5го и Рл{т = 0} = 0 при всех
к е Е. Поскольку мы_предполагаем *), что <&'0 = <&'Q,
то (по определению 0) к 0 принадлежит также
и множество {т = 0} Л {о* = п}, так как 0 s {т = 0} f)
Л {ст* = п} s {т = 0} и Рх {т = 0} = 0хе Е. Следова-
тельно, множество {со: f (со) = 0) е 0 = <^"0.
Пусть теперь 0<k<n. Тогда
{хвт + Хва’ = Ч =
= {Хвт = *} Л (Хвст‘ = °} + {Хвт = 0} Г) (Хв ст‘ = k} =
= [Хв = Ч Л{т = k}+ (Хв = 1} Л {а* = k} =
= {Хв=1}Л{т = ^ + {ст’ = Я
Множество {т = /?}<= o!Fk и Рх_{т = k} = 0, х е £, k < п.
Поэтому {хв = 1} П {т =	и поскольку
{a* = fe}e^ki то = k при k<n.
Итак, t = f (со) является марковским моментом, при-
чем Для этого момента, согласно (2.82), имеем
Мх£0ч) = Мх (Хв^(^г) + Хв£(М =
= МХ {ХвМх [g (Хт) I	+ Хв g м } >
>Мх{ХВ£(Аг) + Хв£(М} =
= мх {xBg(A.) + Xyg(M) = Mxg(xa.),
что противоречит оптимальности момента о*.
Итак, (2.81) выполнено на множестве Ап для лю-
бого т е 9й(гг). Обозначим ®1(п) класс марковских
моментов хп, являющихся моментами первого (после
момента п) попадания в множества	т. е.
xtl = inf {t ^п: xt^ А}.
*) См. сноску на стр. 43.
92
Тогда, в силу марковского свойства рассматривае-
мого процесса X и того факта, что 0rtxto = xt« ([33],
стр. 153, свойство 4.1.D), получаем
м» |« («<) I - м,. I & J -
Поэтому из (2.81) следует, что для любого т°еЭИ(0)
g (хп) МХгг [g (xto)] (Рх-п. и., х е= Е).	(2.83)
Но, согласно следствию 2 к теореме 1 (2й(0) = Эй),
s (х) = sup Mxg(xt).	(2.84)
Сопоставляя (2.83) и (2.84), получаем, что на Ап
g Un) > (хп) (Рх-п. н., х е= Е).
Поскольку же всегда sUJ^gUn), то, следовательно,
sUn(co)) = gUrt((o)) на множестве Xrt = {co: а*(<о) = п},
откуда т*((о)^п, что и доказывает неравенство
т* (со) о* (со).
§ 5.	О единственности решения
рекуррентных уравнений
1.	Из теоремы 3 следует, что цена s(x) =
= sup MxgUt), g^-L, удовлетворяет рекуррентному
Т (= 9?
уравнению
f(x) = max{g(x),	(2.85)
Поэтому, если это уравнение имеет единственное ре-
шение (в классе Л), то оно будет совпадать с ценой.
К сожалению, если уравнение (2.85) и имеет реше-
ние, то, как правило, это решение не единственное.
Например, если 0g(x)С < оо и Р(х, Е)=1,
х е Е, то любая константа К С будет решением
рассматриваемого уравнения.
В связи с этим важно исследовать вопрос о един-
ственности решения уравнения (2.85) при различных
предположениях о классах «допустимых» функций
f = f U).
93
2.	Пусть
п
Р(п, х, Г) = рх {хп <= Г},	Ц,(и, X, Г) = ^-^р(г, х, Г),
Ге n^N.
Предположим, что на (£, существует неотри-
цательная мера ц(-) такая, что для каждой .^-изме-
римой ограниченной функции f==f(x), х е Е,
j f(y)4(n, х, dy)-+ J f(y)n(dy), n-><x>,
E	E
для всех x (= E.
Теорема 8. Пусть (x) и f2 (x) — два решения
уравнения (2.85), принадлежащих классу L, совпа-
дающих на некотором измеримом множестве Л £ Е
и таких, что
sup|fi(x)-f2(x)l<«>.
х се Е
Если ц (Е \ Л) < 1, то f 1 (х) = f2 (х).
Доказательство. Обозначим г (х) = | f j (х) —
— f2(x)|. Тогда из (2.85) нетрудно установить, что
I f 1 (х) - f2 (х) | = | m ах {g (х), Tf j (х)} - m ах {g (х), Tf2 (х)} | <
< | Tf,(х) - Tf2(х) | < Т | Л - f21 (х),	(2.86)
т. е. г(х)^7’г(х), откуда г (х) Тпг (х), и значит,
r(x)<J r(t/)p(rt, х, dy).	(2.87)
Е
Переходя в (2.87) к пределу при я->оо, находим
Г (х)< [г (у) р (dy) < sup г (у)р, (Е \ Л)
"	У^Е
И
sup г (х) sup г (х) • р (Е \ Л).
х^Е	xs=E
Поскольку, по предположению, ц (£ \ Л) < 1, то
г(х) = 0, т. е. fi(x) = f2(x).
Следствие 1. Если Р(х, Е) = р<1 для всех
хе Е, то в классе измеримых ограниченных функ-
ций решение уравнения (2.85) единственно.
Следствие 2. Если функция g(x) ограничена
по модулю и f (х) — ограниченное решение уравне-
94
ния (2.85), совпадающее с g(x) на множестве Л, при-
чем ц(£\Л)<1, то f (х) является наименьшей экс-
цессивной мажорантой функции g(x) и, следовательно,
f(x) — s(x).
Для доказательства достаточно заметить, что цена
s (х) также удовлетворяет уравнению (2.85) и f(x) сов-
падает с s(x) на множестве Л.
3.	Иной критерий совпадения двух решений урав-
нения (2.85) дает
Теорема 9. Пусть (х) и f2 (х) — два измеримых
решения уравнения (2.85) такие, что
х^Е.
Пусть для всякого 8>0 найдется множество Л8 е
такое, что
1) IA(*)-М*)1 <е, хе= Ле;
2) Рх {хп е Ле для какого-нибудь п^ N}= 1, х<=Е.
Тогда Л(х) = /2(^)«
Доказательство. Пусть Ап = {со: хп (со) е Ле}.
Тогда событие {хп е Ле для какого-нибудь п е N} =
оо
= (J Ап. Поскольку событие {хп е Ле для бесконечно
п=0
оо	/ оо	\
многих п е N} = Q |J Лп, то условия РД (J Ап I = 1
m=0 rt^m	'/2 = 0 ‘
/ оо	\
и Рх( Q (J	эквивалентны. Поэтому свой-
^т=о « > m /
ство 2 равносильно
2*) РДхггеЛ. для бесконечно многих n<=N}=\,
х сн Е.
Образуем процесс
R = (г (xn), & п, Р J, n<=N, х<= Е.
Поскольку, согласно (2.86), 0 г (х) Тпг (х), то про-
цесс R является неотрицательным субмартингалом.
Из условия sup Мхг (хп)< оо, х е Е, и теоремы 3
п (=N
гл. !• следует, что с Рх-вероятностью единица суще-
ствует lim г(хп). По условию 2*, хп е ЛЕ для беско-
/2-> оо
нечно многих п^ N, поэтому, в силу произвольности
95
e>0, limr(x„) = O (Рж-п. н., хе Е). Тогда из нера-
гг->оо
венства
0<г(х)<Мхг (х„)
по лемме Фату получаем
О г (х) lim sup Mxr (х„) Мх lim sup г (хп) = О,
что и доказывает теорему.
Следствие 1. Пусть Л=|")Л8, т. е.
е > О
Л = {х: | Л (х) - f2 (х) | =0},
и Рх {хп е Л для бесконечно многих п^ N}=\. Тогда
(в предположениях теоремы) (%) = f2(x).
Следствие 2. Если решение f(x) уравнения
(2.85) совпадает с функцией g(x) на множестве Л та-
ком, что Р X {хп е Л для бесконечно многих n^N} = 1,
причем Мх |sup|f(xrt)|| < оо и Mx |sup|g(x„)|| < оо,
то f(x) совпадает с ценой s(x).
4. В заключение приведем еще одну полезную
теорему, позволяющую судить о том, является ли
найденное решение уравнения (2.85) ценой.
Теорема 10. Пусть g е L (/Г, Л+), а функция
ff=b(A+) и является решением уравнения (2.85).
Тогда если
lim sup g (хп) = lim sup f (xrt),
(2.88)
to f(x) = s (x).
Доказательство. Обозначим для e>0
те = inf {n: g (xn) > f (xn) - e}.
Тогда, в силу (2.88) и условия g^L(A+) (см. дока-
зательство леммы 9), Рх(те<оо)=1, хеЕ, откуда
по лемме 5
s (х) >Mxg (Хт£) > Mxf (%те) - е = f (х) - е.
Поскольку 8>0 произвольно, то s(x)^/(x). Но если
ge Е(Д~), то по теореме 1 цена s (х) является н. э. м.
функции g(x). Следовательно, s(x) = f(x).
96
§ 6. Критерии «урезанности»
оптимальных правил остановки
1. Пусть 9ft = {т} —класс марковских моментов
остановки, Рх (Г < оо)=1, х^Е. Предположим, что
существует оптимальное правило остановки т*еЭ1,
Mxg Ur*) = 5 (%), х е Е. Может при этом случиться,
что для некоторого состояния х е Е найдется такое
конечное N (х), что РЛ (т* N (х)) = 1. В этом случае
гоЕорят, что оптимальное правило остановки т* «уре-
зано» в точке х. Если же найдется такое конечное М,
что Рх (т* < М) = 1 для всех хеЕ, иначе говоря, если
т* е Sftyv, то правило остановки т* называют «урезан-
ным».
В настоящем параграфе мы рассмотрим ряд кри-
териев, позволяющих судить, для каких начальных
состояний х се Е оптимальные правила остановки
«урезаны».
Будет указан также критерий, позволяющий опре-
делять, является ли найденная граница «урезания»
N (х) точной (т. е. Рх (т* N (х)) =1 и Рх (т* = N (х)) > 0).
2. Всюду, далее, мы будем предполагать, что
функция g ^L(A ). Согласно теореме 1 и лемме 4, цена
s (х) = lim QNg(x).	(2.89)
оо
Обозначим
sk (х) = sup (xT) (= Qkg (x)),	(2.90)
(2.91)
pft(x) = sft+i(x)-sft (x).	(2.92)
Согласно (2.92) и (2.66), для всех n^k
M*n-fe) = max{g(x„_ft), TQkg(xn_k)} -Qkg(xn_k) (2.93)
(Рх-п. h., x e E).
При этом из (2.91) и (2.93) ясно, что условие p^(xrt_^) = 0
равносильно условию ak (xn_k) 0.
Теорема 11. Если для данного состояния хе Е
при некотором найдется такое конечное nk =
= nk (х), что с Р^вероятностью единица
М*п-а) = 0,	(2.94)
то sn (х) = s (х) для всех п пк.
7 А. И. Ширяев
97
Если (2.94) выполнено для k и l>l<k,uNk =
= ЛМх), Ai = Ni(x) — наименьшие из чисел nk = nk(x),
ni = nt{x\ удовлетворяющих (2.94), то Nk^Nt.
Для доказательства теоремы нам понадобится сле-
дующая
Лемма 11. Для всех п^О и х^Е
^п+2 (х) $п+1 (х) Т (srt+i sn) (х).	(2.95)
Доказательство основано на анализе рекур-
рентных соотношений
Sfc+i(x) = max{g(x), Tsk(x)},	(2.96)
и сводится к разбору следующих трех случаев.
а)	Если g(x)>X+1(x), то g(x)>7sn+1(x)>
^Tsn(x), и из (2.96) при £ = п+1 и k = n получаем
5п+2 W = g(x)> sn+l(x) = g(x). Следовательно, (2.95)
выполнено.
b)	Если g(xX7sn(x), то g(x)^Tsn(x)^Tsn+i(x),
и из (2.96) srt+1(x) = Tsn(x), srt+2(x) = Tsn+1(x). Следо-
вательно, sn+2 (x) - sn+1 (x) = T (sn+i - sn) (x).
с)	Если X(xXg(xX7sn+1(x), TO
5/z+2 (^) 5n + i (x) =
= Tsn+1 (x) - g (x) < 7srt+1 (x) - Tsn(x) = T (sn+1 - sn) (x),
что доказывает (2.95).
Доказательство теоремы 11. В силу (2.95),
0^+i(x)-snJxX
< Т - ^-i) (хХ .. X Tn*~k (s,+I - sk) (х) =
= Мх [S/e+1 (Xnk-k) - Sk (x^-*)].
Ho (X: Sk+l^Xn^k) - Sk^Xn^k) = &k(xnk-k), поэтому если
с Рх-вероятностью единица (хп^_^ = 0 (или, что
то же, afc(xn£_fc)^0), то s^+i (х) = Snk (х). Аналогично,
sn (х) = Snk (х) и для всех	откуда sn(x) = s(x),
n^nk-
Второе утверждение теоремы следует из неравен-
ства Nk^^k-ъ которое легко выводится из (2.95).
Следствие 1. Если для данного хе Е при не-
котором k^O найдется конечное nk = nk (х) такое,
что с Р^вероятностью единица P^(xn_^) = 0, n^nk
98
то момент остановки
rnk = min {tn: Snk-m (xm) = g (xm)}
является оптимальным (в рассматриваемой точке х):
s(x) = Mxg(xt„ft).
Следствие 2. Если М* = sup п* (х) < оо при
X
некотором то момент остановки
xMk = min {tn: SMk_m (xm) = g (xm))
является оптимальным:
M^(M=S(X)
для всех
х(=Е.
Замечание. Проще всего критерии «урезан-
ности» строить, конечно, при малых k. Так, при & = 0
при k = 1
ao(x„) = g(x„)-rg(x„);
ct[ (xn_i) = Qg (xrt_j) — TQg (xn_]).
Поэтому если при k = 0 найдется такое дг0<оо, что
для всех х^Е с Рх-вероятностью единица g(xrt)^
^Tg (х„), п nQ, то оптимальное правило остановки т*
заведомо существует и Рх(т*^п0) = 1 при всех х^Е.
Согласно второй части теоремы 11, Nq(x)^ Nr(x).
Поэтому критерий, основанный на анализе величины
ai(xrt_i), дает более точную оценку сверху для гра-
ницы «урезания»: N(x)^. N{(x)^Nq (%).
Поскольку N(x)^Nk(x), то представляется инте-
ресным выяснить, когда N (х) = Nk(x) при некотором k
и всех или некоторых х е Е.
Теорема 12. Если для данного х^Е при неко-
тором k^Q найдется конечное Nk = Nk(x) такое, что
с Р^вероятностью единица
=	(2.97)
и с положительной Р^вероятностью выполняются
неравенства
TgM^giXi), i = 0, 1,..., Nk-k-2,
(2'98)
то
^Nb = $Nb+i 3 • • • = $ (-^) (2.99)
и ^(Х)==^(Д
7*
99
Предварительно докажем одну лемму.
Лемма 12. Если для данного х^Е в прост-
ранстве En~m, п — т^1, существует множество
Xi X ... X An_m положительной Р^вероятности такое,
что
Tg(Xi)^ g(Xi), 1 = 0, 1,	n-m-1, xt^Ai,
Pm (.Xn—m) > 0, Xn—m m>
TO
Pn_/(x/)>0, z = 0, 1, n — tn — 1, xt e At. (2.100)
Доказательство будем вести по индукции.
Пусть неравенство (2.100) выполнено для i = /+ 1, ...
... , п — m — 1. Установим его справедливость для I —
Если Xk Ak, O^k^n — m— 1, то
g (х^) Tg (xk) Tsn—k—i (xk) Tsn—k (xk).
Отсюда для рассматриваемого x e E имеем
Pn—/ (.Xj) = (Xj) Sn—I (.Xj) = T (sn—j Sn—i — t) (x j) =
= Mx [s„_/ (x/+1) - Sn-f-1 (x/+1) | X/] >
Мд; {Хл/+1 (X/+l)[Sn-Z (X/ + l)~ Sn-I-1 (X/ + l)] I */} =
= Мх{Хл/+1(^+1)Рп-/-1(^+1)|^}>° (Рд-п- н.).
Лемма доказана.
Доказательство теоремы 12. Заметим, что
P^-i(*o) = %(xo)~swft-i(xo)> хо = х- Поэтому, если
в (2.100) взять z = 0, n = Nk, то получим _((х)>0,
т. е. sNk_i(x')<sNk{x}.	k
В силу предшествующей теоремы sN^ (х) =
= sNk+i (х) = ... =s(x), тем самым (2.99) доказано.
Из (2.99) и следствия 1 к теореме 11 вытекает также,
что Nk (х) = N (х).
§ 7.	Достаточные и рандомизированные классы
моментов остановки*)
1.	Решение каждой конкретной задачи математи-
ческой статистики обычно приходится начинать с оты-
*) Мы ограничиваемся рассмотрением этих понятий лишь
для моментов остановки. Для марковских моментов они вводятся
и изучаются совершенно аналогично.
10Q
скания «достаточных статистик», т. е. тех данных от
прошлых наблюдений, которые содержат всю «суще-
ственную информацию», необходимую для принятия
«наилучшего решения».
Хорошо известна также и та роль, которую играют
«рандомизированные решающие правила» в матема-
тической статистике.
В настоящем параграфе мы рассматриваем поня-
тия «достаточных» и «рандомизированных» классов
марковских моментов применительно к задачам об
оптимальной остановке марковских процессов с ди-
скретным временем.
2.	Пусть (Q, о?') — измеримое пространство, X =
= (хп, Рх) — марковская цепь,	со значе-
ниями в фазовом пространстве (£, JP), где
п и меры заданы на наименьшей о-алгебре,
содержащей при всех п g= N.
Предположим, что в & выделена система F* =
= n^N, о-алгебр обладающих следующи-
ми свойствами:
*
п+Р
п
Будем предполагать также, что на наименьшей
о-алгебре, содержащей оУ* при всех	заданы
вероятностные меры Р*, являющиеся продолжением
мер Р* /т. е. Р* (Л) = Рлг(Л), если А е or / (J Д V
\	\п е /V / /
и процесс Х* = (хп, <У"*, Р*) является марковским.
Обозначим %R(F) и 301 (F*) классы моментов оста-
новки таких, что {т = п} еи {т = п} g n^N,
соответственно. Очевидно, ЭК (F*) з 30i (F).
Определение 1. Момент остановки
называется рандомизированным по отношению к си-
стеме о-алгебр F = {У\}, N.
Пусть
$*(*)= sup IVTgYx ) и s(x)= sup Mxg(*T),
re>W x 4	7	te=W)
где Mx означает усреднение по мере Рх и g е £(Д').
Ясно, что s* (x)^s(x). Однако на самом деле s*(x) = s(x).
Действительно, согласно следствию 2 к теореме 1,
101
цены s*(x) и s(x) совпадают с s(x)= sup (xx),
x e
где 2)? — класс моментов первого попадания в мно-
жества	3R (F) 2ft (F*). Для доказатель-
ства равенства s*(x) = s(x) можно воспользоваться
также леммой 4 и теоремой 1.
В самом деле, если
M*fsupg (xn)| = Mxlsupg (xj|<oo, х^Е
In	J L n	J
TO
s*(x) = lim Q*N g(x), s(x) = lim QN g(x),
N->oo	N->OO
где Q’g(x) = max (g(x),	Ho M’g(x1) = Mxg(x1),
поскольку P* (Л) = Рх.(Л),	Поэтому
Q*g(x) = Qg(x) и, аналогично, Q*Ng (х) = QNg(x) при
любом N ^N.
Таким образом, если g-G=Z,(X~), то s*(x) = s(x).
В общем случае для доказательства (g^L) следует
воспользоваться замечанием 1 к теореме 3.
Итак, доказана следующая
Теорема 13. Пусть функция g <= L. Тогда s* (х) =
= $(х), т. е. дополнительное введение рандомизиро-
ванных моментов остановки цены не увеличивает.
Хотя из доказанной теоремы и следует, что рандо-
мизация не увеличивает цены, можно тем не менее
указать ряд полезных применений рандомизирован-
ных моментов остановки.
Например, если для некоторого х е Е цена $(х) = оо,
то в классах 2ft, 2)1 (F) (а также 2ft(F) = 2ft) может
не оказаться оптимального момента, в то время как
в классе 2ft (У7*) такой момент найдется.
В самом деле, пусть s(x) = oo при некотором х.
Тогда найдется последовательность моментов оста-
новки {тJ,	N, 2ft (F), такая, что s (х) =
= supMxg(xxy Без ограничения общности можно
считать, что Mxg(xx )^2г.
102
Пусть (со) есть о?~-измеримая случайная величина,
принимающая значения /=1, 2,..., с вероятно-
стями 2“‘, причем *)
Рх{[|(®) = лл Д} = Рх(Л).2-г
для всех xsE, Л (J Определим рандоми-
зированный момент = так, что
т* (со) = (со), если £(со) = /.
Тогда, очевидно,
М>(»,.)-2МЛ(х ).2-'-оо.
1 = 1	X 4/
Рассмотрение рандомизированных моментов оста-
новки особенно полезно при решении вариационных
задач об оптимальной остановке. Например, пусть
требуется найти sup MXog(xr), х0<=Е, в предположении,
что рассматриваются только те моменты остановки т,
для которых МХ(/(хт) = £, где с —некоторая постоян-
ная и f,	Даже в тех случаях, когда суще-
ствуют Tj и т2, принадлежащие 2ft (F), и такие, что
NW (хт,) = а < с, (хт2) = b > с, в классе 2ft (F)
может вообще не найтись момента т, для которого
МХо/(хт) = с. Однако в классе 2ft (F*) момент
т* (со) = (со), если £ (со) = /,
где Z=l, 2 и £(со) есть ^-измеримая случайная
величина такая, что
р; (К (») - ‘1 п л) - Р, (Л) • р; (Е (в) - О,
дает M;/(xt.) = c.
3.	Обратимся теперь к понятию достаточных клас-
сов моментов остановки.
*) Тем самым мы предполагаем, что исходное пространство
(Q, еГ) является достаточно «богатым». В противном случае
вместо (Q, <^) надо было бы рассмотреть новое пространство
(Q, где Q = Q X Q*,	= & X и (Q*, <^*) — некоторое
измеримое пространство «рандомизированных» исходов со* е Q*.
103
Пусть X = (хп, п, PJ — марковский процесс, n^N,
xgeE,-s(x) = sup мх£(хт), где F = (^n}, n(=N.
т <= >)!{ (F)
Определение 2. Класс моментов остановки
2)t(G), где G = {a?n}, n^N, и or-алгебры таковы,
что	называется достаточным,
если для всех х ge Е
sup мх£(хт)= sup М^(хт).	(2.101)
TeiR(F)	те®1(С)
Таким образом, если рандомизация приводила
к расширению класса 2ft (F), то достаточность, наобо-
рот, вводится с целью сужения класса моментов
остановки без уменьшения цены.
Из теоремы 1 следует, что класс моментов оста-
новки 2ft (G), где G = {<£?«}, <£?n = o'{(o: х0, xlf ..., хп},
N, является достаточным, поскольку 2ft (G) 2ft и
sup Мл£ (хт) = sup Мл£ (хт), g (= L (Х-).
В связи с этим полезно отметить, что если процесс
X = (хп, PJ —марковский, то марковским является
и процесс X = (хп, <£?д, PJ, n^N, Отсюда, в силу
достаточности класса 3№(G), следует, что при решении
задач об оптимальной остановке вместо X сразу
можно рассматривать процесс X.
Нельзя ли провести дальнейшее сужение класса
2ft (G) без уменьшения цены? С этой точки зрения
самым простым является, конечно, класс моментов
остановки т, тождественно равных некоторому мо-
менту времени п, т(со) = п, n^N. Очевидно, что
этот класс совпадает с классом 2ft (G°), где G°={X},
n^N, и каждая о-алгебра тривиальна, т. е.
<^°={0, Q}, 0—пустое множество.
Однако хотя и существуют нетривиальные при-
меры (см. приводимый ниже пример), в которых
класс 2ft (G°) является достаточным, тем не менее
эти случаи являются скорее исключением, нежели
правилом.
Пример. Пусть g, gb g2, ... — последовательность
независимых одинаково распределенных случайных
величин таких, что т = Мел*<оо, где А —некоторая
104
константа. Обозначим xn = x + gi + ... + £n, хе/?.
Тогда последовательность (n, х„), х0 = х, образует одно-
родную марковскую цепь. Пусть g (п, х) = с (п) еКх,
с(п)^0 и s(n, х) = sup Мх^(т, хт), где верхняя грань
берется по всем моментам остановки, большим или
равным п.
Нетрудно подсчитать, что
QNg(n, х) = еКх max [tnkc(n + k)].
ос
Поэтому
s(n, х) = еКх max [rnkc (и + k)].	(2.102)
fe>0
Если Mx[supc(n)eA'X/1]< оо, то, согласно теореме 2,
п^О
момент
те = inf {п: s(n, xn)^g(n, xn) + e},	е>0,
будет е-оптимальным моментом остановки. В силу
(2.102),
те = inf [п: max \mk с (п 4- k)\ с (п) + &е~КХп}.
Поэтому если существует , конечное N такое, что
max [mkc (N + &)] = с (W),
/г>0
то То будет неслучайным оптимальным моментом
остановки, равным тому первому значению п, для
которого
с (n) = max [mkc (п + £)].
/г>0
4.	Приведенная ниже теорема об одном классе
достаточных моментов остановки в последующем
будет неоднократно использоваться при решении ряда
конкретных задач.
Пусть Х = (хп, <ЗГ п, PJ и ф = ср (х) — измеримое
отображение (Е, J?) в некоторое измеримое простран-
ство (Еф, ^ф).
Теорема 14. Пусть g = ^(qp (х)) е L. Если для
каждого А е ^ф
РЛф(х1)еЛ} = /л((р(х)),	(2.103)
105
где f А (ср) — некоторая SS^-измеримая функция, то
класс ЭД(Ф), где
Ф = {Ф„), n<=N, и Ф„ = ст {со: ф(х0),	ф(хп)},
является достаточным:
s(x)= sup Mxg (<р (хт)) = sup Мх£(ф(хт)). (2.104)
re=9?(F)	те?!(Ф)
Доказательство. Если g^L(A~,A+), то
s(x)= lim QNg(y(x))> и момент
yV-> ОО
re = inf{n: s(xn)<g(qp(xrt)) + e}, 8>0,
будет 8-оптимальным. Но, в силу (2.103), при любом N
QNg (ф U)) = F/v(t (х)),
где FN = FN(tp) есть ^-измеримая функция. Поэтому
s(x) = F((p(x)), где функция F(qp) также ^-измерима,
и следовательно, те е ^(Ф), что и доказывает теорему
в случае g^b(A~, Л+). Для доказательства же
в общем случае следует воспользоваться замеча-
нием 1 к теореме 3.
Следствие. Пусть X = (Y,Z) = ( (уп, zn\ &п) 2),
N, — марковский процесс в фазовом пространстве
(ЕгХЕг,	ф(х) = г, Ру, г (zi е Л) = f А (z).
Тогда цена
s(y,z)= sup MJZ,2g-(zx)= sup My,zg(zx),
те'Л(Г)	те5!(Ф)
где Ф = {Фп}, Ф„ = о {со: z0, ..., zn}, n^N. Функция
s(y, z) не зависит от у (точнее, является (0, ЕГ)Х^-
измеримой).
§ 8.	Оптимальная остановка
марковских последовательностей для функций g(n, х)
и при наличии платы
1.	Пусть Х = (хп, о!7\, Рх), п 7V, — марковская
цепь в фазовом пространстве (£, ^). До сих пор
предполагалось, что, останавливая процесс наблю-
дения в состоянии хп> мы получали выигрыш, рав-
ный g(xn).
106
Рассмотрим некоторые обобщения данной поста-
новки задачи об оптимальной остановке. Предположим
сначала, что получаемый в состоянии хп выигрыш
задается функцией g(n, хп), зависящей явно от п.
Пусть функция g (п, х) такова, что МЛ^~ (лг, хЛ) < оо
при всех п. Обозначим 9?	5)? класс моментов оста-
новки т, для которых Мх£~(т, хт)<оо, и пусть
s(0, х) = sup М^(т, хх). (2.105)
re:)i
Чтобы свести задачу отыскания цены $(0, х) и
оптимальных моментов остановки к уже рассмотрен-
ному выше случаю, когда функция g не зависела
от /г, образуем однородную марковскую цепь *)
*' = «.	Рх')>	ГДе < = («- Хп\ =
и если х' = (п, х), то Р^ (Л) = Рх (Д), X<=a/(J «Т'А
Ue'l? /
Обозначим !R(n) тот класс моментов остановки
ТЕЙ, для которых Рх(т^м)=1, х^Е, и пусть
запись | х' \ = п означает, что х'= (/г, х), где х^Е.
Положим для каждых N, хе Е
s(n, х) = sup мх£(т, хт) (2.106)
т^(п)
или, что то же,
s(x')= sup M'g(x'),	(2.107)
где Mv означает усреднение по мере Рх', 9?(0) = SR.
Назовем f(x') регулярной эксцессивной мажоран-
той функции g(x'), если
f (*') > g (*'), х' е N X Е,
f(x')>M',f(x'T), x'etfXE,
для всякого т е 9t.
Почти без всякого изменения доказательства, при-
мененные в теоремах 1—4, позволяют установить
следующий результат.
*) Этот прием уже был использован при рассмотрении при-
мера в § 7.
107
Теорема 15. Цена s(xz) является наименьшей
регулярной *) эксцессивной мажорантой функции g(x').
Если М% [sup g+ (п, xrt)]<oo, х^Е, то для всех
п
х' = (п, х) момент
т(/г) = jnf {m n: s (m,	g Хт) + е}? е > О,
является ^-оптимальным в классе SR(rt). Если к тому же
Рх (т<"> < оо) = 1, х е Е, то момент т(оп) является опти-
мальным моментом остановки.
Если №(n) 9t(rt) — класс моментов остановки т(п)
таких, что т(,г) = min {m ^п: xm^ Лт}, где А1П е то
suP/ Mx,g «) = sup Мх,£ (x't) =
теЭ}(|х	te3?|x
= 17P,nM^«).	(2.108)
т c= rt?' 1 X I '
Функции s(n, x) удовлетворяют уравнениям
s(n, x) = max{g(n, x), Mxs(n+1, xj} (2.109)
и при условии Mx[supg (n, xj] < oo, x e £,
n
s(n, x) = lim QNg(n, x),	(2.110)
4V-> oo
где
Qg(n, x) = max {g(zi, x), Tg(n, x)},
Tf(n, x) = (n + 1, xO.
Замечание. Выше мы предполагали, что мар-
ковский процесс X = (xrt, Рх), n^N, является
однородным. В случае неоднородного процесса X
(см. § 3 гл. I) задачи об оптимальной остановке
можно свести к уже рассмотренным, если перейти
к однородному процессу X', х'п = (п, х^.
2.	Многие статистические задачи, например задачи
последовательного различения гипотез, обычно таковы,
что возможность произвести очередное наблюдение
влечет за собой уменьшение суммарного выигрыша.
*) В случае Мх [sup (n, хп)] < оо, х е Е, «регулярность»
п
можно не оговаривать.
108
Более точно, предположим, что, останавливая
наблюдение в момент времени п, мы получаем
выигрыш (который на самом деле может оказаться
отрицательным), равный
G (п, х0, ..., х„) = ang (х„) - 2 afc (хД	(2.111)
и 0(0, xo) = g(xo) при п = 0. В (2.111) а —некоторая
постоянная, 0<а^1, а функции g(x) и с(х) из
класса L будем считать удовлетворяющими условию
MXG~ (п, х0, ..., хп) < °°, п^О. (2.112)
Таким образом, c(xs) можно трактовать как плату
за возможность произвести очередное наблюдение,
находясь в состоянии х5, а а —как параметр, учиты-
вающий изменение «ценностей» во времени.
Назовем ценой величину
s(x) = supM J aTg(xT)~ 2ascfc)(2.113)
где верхняя грань берется по классу = с тех
моментов остановки т, для которых математические
ожидания, стоящие в правой части (2.113), опреде-
лены (при всеххеЕ).
Чтобы дать «эксцессивную» характеризацию цены
и указать способ нахождения е-оптимальных момен-
тов остановки, введем
Определение. Функция f^L называется
(а, с)-эксцессивной, если
f (х) > aTf (х) - с (х), х е Е,	(2.114)
и (а, с)-эксцессивной мажорантой функции g(x), если
к тому же f (х)> g(x).
(а, с)-эксцессивная функция f(x) называется ре-
гулярной, если
f (х) > Мд. axf (хт) - s asc (xs) ,	х<=Е,
для любого
= j т: Мх (хт) — 2 a^Us) < °°, х^ Е
109
Теорема 16. Цена s(x), определенная в (2.113),
является наименьшей регулярной *) (а, с)-эксцессивной
мажорантой функции g(x) и удовлетворяет уравнению
s(x) = max{g-(x), aTs (х) — с (х)}.	(2.115)
Если Mx[sup G+ (п, х0, ..хл)] < оо, хе£, то
п
момент
те = inf {п: а"$ (хп) < ang (хп) 4-е}, е > О,
является е-оптимальным моментом остановки.
Если к тому же т0 является моментом остановки,
то он будет оптимальным.
Если Mx[supG~(n, х0,	х„)] < оо, хе£, то
п
s(x)= lim QV g(x),	(2.116)
ЛГ->ОО * ’
где Q(Oi c} g (x) = max {g (x), aTg (x) - c (x)}.
Доказательство. Обозначим (E*n, &n) фазовое
пространство последовательностей
хп = (га, х0, ..., х„), х£ е Е,
п=0	\« = 0	/
Если х*-е £*, то запись |х*| = /г будет означать то же
самое, что х* е Е\. Обозначим Е^ где | х* | = п пг,
пространство последовательностей х^ = (т, х0, .. .
. хп, ..., хт), у которых фиксировано «начало»
(п, х0, хп) = х*. Соответствующим образом опре-
деляются о-алгебры и полагается
= ° ( U &т, х*У
Пусть, далее,
= ° {®: 4 • • •> х^) = а [<о: х0, ..., хт] е=
и х*> I х* ।= п 4 т, есть о-алгебра, порожденная
*) Если Мд- [sup G (п, х0, ..., хп)] < оо, хе£, то функция
п
s (х) автоматически будет регулярной.
110
значениями х*+1, ..., х*т, у которых фиксированы
«начала» (n, xQ, хп) = х*.
Обозначим Рх* меру на множествах
о?"х* = ® I U т, х*\
\гп>|х*|	/
естественным образом индуцируемую мерами Рх,
хе£. Нетрудно видеть, что процесс X* = (х*,	Р**),
n^N, образует однородную марковскую цепь в фа-
зовом пространстве (£*, ^?*). Положим для х* =
= (п, х0, • • • > G (х*) = G (п, х0, ..., хЛ), и пусть
s* (х) = sup M**G (х*),
где верхняя грань берется по тем т е	д
(относительно F = {o7~п}=(^п}, n^N\ для которых
т | х* |, а М^, означает усреднение по мере Р**.
Если Mx[supG"(n, х0, xj] < оо, хе£, то,
п
используя формулу (2.110), нетрудно установить, что
при любом п
п—1
s* (п, х0, .хп) = ans (х„) - s «•’с (х5), (2.117)
5 = 0
где s (х) = s* (0, х).
Основываясь на замечании 1 к теореме 3, можно
легко показать, что формула (2.117) остается спра-
ведливой и без предположения Mx[sup G~ (п, х0, .. .
. xrt)] < оо, х^Е. Поскольку, согласно теореме 3,
s*(x*) является наименьшей регулярной эксцессивной
мажорантой функции G (х*), то отсюда сразу следует,
что s(x) = s*(0, х) является наименьшей регулярной
(а, с)-эксцессивной мажорантой g(x) = G(0, х).
Сравнивая (2.117) с выражением (2.111), заключа-
ем, что (в предположении Mx[sup G+ (n, х0, ..xrt)] <
п
< оо, хеЕ) момент
те = inf {п0: s*(га, х0, ..., х„) G* (п, х0, ..хп) + е} =
== inf {п 0: ans (хп) < ang (х„) + е}
Ш
является е-оптимальным моментом остановки для
всякого е>0. Из теоремы 3 вытекает также, что
если т0 является моментом остановки, то этот момент
является оптимальным. Формула (2.116) легко вы-
водится из (2.110) и (2.117).
Следствие. Пусть g (х)	0, pup g (xjj < оо,
с(х)^0 и с Р^вероятностью единица
п—\
lim 2 «^(xs) = 00•
П->оо $ = 0
(2.118)
Tогда т0 = inf {п\ s (хп) = g (хп)} является оптимальным
моментом остановки.
Для доказательства достаточно воспользоваться
следствием к теореме 4.
Замечание 1. Пусть geA, c^L и
Мх 2а'МО1<°о, х^Е, (2.119)
5 = 0
Тогда
{т— 1	'j
aTg (xt) - 2 asc (х5)? =
5 = 0	J
= sup MxaTG (xT) — f (x), (2.120)
где
f(x) = MxSa*c (xj,
5 = 0
G (x) = g (x) + f (x).
Таким образом, в предположении (2.119) задачу
с платой с(х)=/=0 можно свести к решению некото-
рой новой задачи, в которой плата с(х)^0.
Для доказательства представления (2.120) обозна-
оо
чим £ (<о) = 2 Un (g>) )• Тогда для всякого т е 31
п=0
оо	оо
04 (®) = 2 (Хп+х) = ат 2 «"с (х„)
п=0	п=т
112
и, в силу строго марковского свойства,
f (х) = Mv| (®) = Мх 2 (Хп (®)) =
п=0
= Мх I 2 а"с (хп) + 2 а"с (хп)
I п=0	п=т
= Мх 2 «,гс (хп) + Mxat0T£ (<п) =
п=0
Т-1
= мх 2 а"с (хп) + МхагМж g (со) =
п=0	х
= Мх 2 апс (хп) + Mxf Ur).
n=0
откуда и следует (2.120).
Замечание 2. В тех случаях, когда условие
(2.119) не выполняется, может оказаться полезным
следующий прием сведения задач с платой с(х)У=0
к задачам, в которых плата с(х) = 0.
Пусть f = f(x) есть некоторое решение уравнения
arf(x)-f(x) = c(x),
где 0<a^l, c(x)gL, причем f(x)^L.
Как и при доказательстве теоремы 1.5, можно
установить, что для всякого марковского момента
т = т(со) такого, что Рх(т = 1, х е Е, Af<oo,
справедливо равенство
f U) = мх I aTf (хт) - 2 Vsс (xs)
I	s=0
Пусть теЭЙ (Рх(т<оо)=1, хе£). Тогда, обо-
значая Тд, = min (т, N), NgN, получаем
ш= /
(т<Л0
aV (хт) - У aV (xj dPx +
s=0
+ J aNf(xN) - J] asc Uf) dPx.
(x>N) L	s=0
/V-l
8 A. H. Ширяев
113
Если предположить теперь, что выполнены условия
(ср. с (1.37), (1.38))
Мх 2 tf’IcMK’», МЛат| f (хт) |< оо,
s-0
lim f aNf (xN) dPx = 0,
(Т>ЛП
(2.121)
то, переходя в предшествующем равенстве к пределу
(jV->oo), получим
f (х) = Мд. | axf (хт) - 2 а’с (х5) |.	(2.122)
I	s=О	J
Следовательно, если Ж* —тот класс марковских
моментов те Ж, для которых выполнены условия
(2.121), то
{т — 1	'J
ат£ (хт) - 2	(*s) ( =
s=0	J
= f (х) + sup Mx {aTG (хт)},
т е ад*
где G(x) = g(x)-f(x).
В частности, если | f (х) | К < оо, |с(х)|^£<оо,
то условия (2.121) заведомо выполняются для тех
марковских моментов т, для которых Мхт<оо, х^Е.
В заключение рассмотрим один пример.
Пример. Пусть g, gb g2> • • • ~ последователь-
ность независимых одинаково распределенных слу-
чайных величин с функцией распределения F (х) и
М | £ | < оо. Положим для х е Е = R
xrt = max(x, ..., gn), х0 = х,
и пусть
s(x) = sup
т-1	’
aTxT - c 2 a5
s=0
где c — неотрицательная константа и 0<a^l.
Очевидно, что Х = (хп, PJ, где <^n =
= o{co: gi, ..., gn}, а Рд. — мера на множествах из
(естественным образом индуцируемая
\ п /
распределениями случайных величин gb g2> •••)>
является марковским процессом.
114
Обозначим у (единственный) корень уравнения
где М - V)* - / (г - v)+ dF W - J (X—v)dF W,
-oo	(X>V)
и покажем, что в классе 3JlN оптимальный момент
t/V = min {и N: хп^у} (2.123)
(туу = М, если множество, стоящее в правой части
(2.123), пусто), где существенно, что порог у не зави-
сит от времени n^.N.
Г	т-1 '
Пусть sN(x)= sup Мд. aTrt-c2«s
Te-illyy L	s=l
и оператор
Q(a. £)&(*) = max {g(x), aTg (x) - с}. Ясно, что sJV(x) =
= Q(a,dg(x), где g(x) = x.
В нашем случае
s, (x) = Q(a, C)g (x) = max (x, aM max (£, x) — c) =
= x + max{0, aM [max(g, x) — x] — (I — a) x — c} =
= x + max (0, aM (£ — x)+ — (1 — a) x — c},
откуда видно, что $t(x) = x, если х^у и S](x)>x,
х<у. Это и доказывает оптимальность Тр
Аналогично, для s2 W = Q(a. c)g(х) получаем
s2(x) = тах{«! (x), aMs^maxfx, £)) —c} =
= s1 (x) + max {0, aM [s] (max (x, g)) —
-s,(x)]-(l -a)s1(x) -c).
Покажем, что s2(x) = x для всех х^у и s2(x)>x,
х<у. В самом деле, пусть у2 — минимальный корень
уравнения s2(x) = x. Очевидно, что s2 (х) Sj (х) х,
поэтому у2^у. Но в точке х = у
aM [s, (max (у, £)) - s, (у)] - (1 - а) $! (у) - с =
= аМ [max (у, £) — у] — (1 — а) у — с = 0,
поэтому у2 = у.
8*	115
По индукции далее устанавливается, что и при
любом W
S N (х) = х, X у, И S/у (х) > X, X < у,
откуда и следует оптимальность момента xN при
любом 0<а^1, WgN.
Если 0<а<1, то, в силу (2.116), $уу(х)|$(х),
7V—>оо, и множество
{х: s(x) = x} = {x: sN (х) = х} = {х: х^у}.
Предполагая дополнительно, что Mx [sup ап max (gb ...
5Л)]<°° и что T0 = inf{zi: хп^у} принадлежит
классу У1, из теоремы 16 получаем, что этот момент
является оптимальным моментом остановки.
Например, если Р {£ а} = 1, а < оо, и Р (g > у) > О,
то момент т0 является оптимальным м. о.
Если же а=1 и Мх pupa" max(gb ..., gn)j < оо,
то из следствия к теореме 16 заключаем, что т0 =
= inf {п: s (хп) = хп} является оптимальным моментом
остановки. Используя замечание 1 к теореме 3, можно
показать, что {х: s (х) = х} = {х: х у}. Поэтому
T0 = inf{n: хЛ>у}.
ГЛАВА Ш
ОПТИМАЛЬНАЯ ОСТАНОВКА
МАРКОВСКИХ СЛУЧАЙНЫХ ПРОЦЕССОВ
§ 1. Эксцессивные функции и их свойства
1. Как и в случае дискретного времени, есте-
ственно рассчитывать, что для широкого класса мар-
ковских процессов (с непрерывным временем) «цена»
также допускает «эксцессивную» характеризацию.
Так оно на самом деле и есть, однако установление
этого факта, а также исследование вопросов суще-
ствования и структуры 8-оптимальных моментов тре-
бует привлечения довольно тонких результатов из
теории процессов Маркова, касающихся свойств экс-
цессивных функций.
На протяжении всей этой главы будет предпола-
гаться, что рассматриваемые однородные марковские
процессы X являются стандартными (см. § 3 гл. I).
При этом для простоты изложения мы предполагаем
также, что процесс X является необрывающимся.
Изменения в формулировках и доказательствах
в случае обрывающихся процессов (как и в случае
дискретного времени) не вызывают существенных
затруднений.
2. Прежде, чем переходить к «эксцессивной»
характеризации цены, введем необходимые определе-
ния и рассмотрим свойства эксцессивных функций
для случая непрерывного времени t s Т.
Пусть X = (xz, z, Р J, t е 7, — (однородный, не-
обрывающийся, стандартный) марковский процесс и
{Tt}, t s 7, — полугруппа операторов, отвечающая про-
цессу X.	_
Определение I. ^-измеримая функция f = f(x)
такая, что
— оо</(х)^оо и Мх/~(х/)<оо, t^T, х^Е,
117
называется эксцессивной (для полугруппы {fj, t е Т),
если
Tj(xXf(x) для всех t е Т, х^.Е, (3.1)
lim Тtf (х) = f (х) для всех х е Е. (3.2)
НО
Отметим основные свойства множества эксцес-
сивных функций (э. ф.) для стандартных процессов.
Будем обозначать s & множество неотрицатель-
ных э. ф.
I.	Функция f(x) = c = const является эксцессив-
ной *).
II.	Если f, g^& и константы а^О, 6^0, то
функция af + bg s
III.	Если f то Ttf(x) = Mxf(xt)<=%\ t е Т,
причем Тtf (х) Tsf (х), t s.
IV.	Если	п=1, 2, .... fn+i^fn, то функ-
ция f (х) = lim (х) е
Для формулировки следующего важного свойства
эксцессивных функций, показывающего, в частности,
что требование ^-измеримости э. ф. (для стандартных
процессов) можно ослабить, введем несколько новых
понятий.
Пусть р — некоторая вероятностная мера на (£, ^?) и
РЦ(А)= jPx(A)(x(dx),
Е
Положим Ге если для любой вероятностной
меры р на (£, 38} найдутся такие (борелевские) мно-
жества Г! и Г2 из 38, что Г1^Г^Г2 и
Рц {ХГх (*/) = Хг2 (%/) Для всех t е Т} = 1,
где хд W-индикатор множества А.
Система 38 образует о-алгебру, 38 38 38, мно-
жества из 38 называются почти борелевскими. ^-из-
меримые функции называют также почти борелевскими.
*) Для обрывающихся процессов свойство (3.2) следует из
условия ИтР(/, х, Е) = 1, входящего в определение стандарт-
но
ного процесса.
118
V.	Если то система	t, PJ, t e T,
для каждого x^E образует обобщенный супермар-
тингал, т. е.
Mxf (xt)<oo, Mx[f (xt)	(xs), s (Рх-п.н.).
Пусть X = (xt, aTt, Px), t e T, — стандартный про-
цесс, fe? и существует ^-измеримая интегрируе-
мая случайная величина 14 = 13(0) такая, что
f(x<)>Mxhl^L t<=T,	х<=Е.	(3.3)
Тогда функция f(x) является почти борелевской, про-
цесс f(xt (<&)). непрерывен*) справа (Рх-п.н., хе£)
и для любого t е (0, оо) с Рх-вероятностью единица
при всех х^Е существует предел limf(x„). (По по-
U^t
воду доказательств свойства V см., например, [60],
§ 5; [33], теоремы 12.4, 12.6; [47], гл. XIV; [12],
гл. II.)
Согласно свойству V, для стандартных процессов
определение 1 можно заменить (по крайней мере
в предположении (3.3)) на эквивалентное ему
Определение 2. Почти борелевская функция
f = f(x) такая, что
— oo<f(x)^oo и Mx [f"(xz)]< оо, /еТ, х^Е,
называется эксцессивной, если выполнены условия
(3.1) и (3.2).
Определение 3. Почти борелевская функция
f = f(x) называется Q0 — непрерывной (или непрерыв-
ной в естественной топологии, связанной с процес-
сом X) снизу (сверху), если
lim inf f(xt)^f (х) Him sup f (xt)^f (x) \ (Р^-п. h., x^E).
t^O	J
(3.4)
Замечание. Известно ([33], теорема 4.9 и заме-
чание к теореме 12.4), что для стандартных процес-
сов С0-непрерывная снизу функция f(x) является
на самом деле (^-непрерывной, т. е.
lim f (xt) = f (x) (Рх-п. h., x^E).
П0
*) Поскольку эксцессивная функция может принимать зна-
чение + оо, то непрерывность определяется в топологии расши-
ренной числовой прямой.
119
Из свойства V следует, что для стандартных про-
цессов, удовлетворяющих (3.3), определения 1 и 2
равносильны следующему.
Определение 4. Почти борелевская функция
f — f (х) такая, что
— оо</(х)^оо и	(xt) < оо, IeeT, х^Е,
называется эксцессивной (для процесса X с полугруп-
пой {Tj, t Т), если
Ttf (*) < f (х) t^T, х^Е,
и
f(x) есть (%-непрерывная функция. (3.5)
В силу сделанного выше замечания, в (3.5) вместо
Co-непрерывности f(x) достаточно требовать ее Со-не-
прерывности снизу.
VI.	Пусть X — стандартный процесс. Если f,g е <^+,
то функция f/\g = min (f, g) e Если /е?ис-
константа, то f6> = min (/, с)е?.
VII.	Если и sup Mxf”(x/)< оо, х^Е, то
t^T
с Р^-вероятностью единица существует конечный
или равный + оо предел lim f(xz(co)).
/-> оо
Это свойство следует из теоремы 1.3.
§ 2.	Наименьшие эксцессивные мажоранты
и их построение
1.	Пусть Х = (xti	PJ, t^T, х е£,—(однородный,
стандартный) марковский процесс. Обозначим L класс
почти борелевских С0-непрерывных снизу функций
g = g{x) таких, что
— оо <£ (х)=С оо,	(%/)< оо, t<^T,	х<^Е.
Отметим, что если g^ L является ^-непрерыв-
ной, то, согласно теореме 4.11 из [33], процесс g(xt\
t^T, имеет Рх-п. н., х^Е, непрерывные справа
траектории.
Будем обозначать Л(Л“) и Л(Л+) классы функций
g = g(x) из Для которых процесс g(%/),
120
сепарабелен *) ([30], [33]) и выполнены соответственно
условия
А~: Мх [sup g~ (xz)] < оо, xgE,
е г	(3 6]
А+; Мх [sup g+ (xz)] < оо, х^Е.
t^T
Положим также L(A~, Л+) = Л(Л~) Q Л(Л+).
Пусть 2)? = {т} — класс всех марковских моментов
(м. м) (относительно F = {•&'J, t s Т), и ЗЛ s ЗЛ — класс
конечных марковских моментов т (Рд(т<оо)=1, х^Е),
которые будем также называть моментами остановки
(м. о.).
Как и в случае дискретного времени, для функ-
ций g^-L (Л~) определим цены
s(x) = sup Mx[g(xx); т<оо],
т «= ЭД
$ (х) = sup_ Мд [g (хх); Т<оо], g(x)>0,
те=ЭД
s(x) = sup_Mxg(xx),
Т е
где
Мд-g (хх)=Мд. [g(xx); т< оо] -F Мд [lim supg(xz); т=оо].
(3.8)
Аналогично § 2 гл. II определяются (е, s)-, (е, s)- и
(е, $)- оптимальные марковские моменты.
Определение 1. Пусть g е L(A~). Эксцессив-
ная функция f^L называется эксцессивной мажо-
рантой (э. м.) g(x), если / (х) g (х), х^Е. Функ-
ция f(x) называется наименьшей э., м. (н. э. м.) g(x),
если / (х) — э. м. и f(x)^/z(x), где h(x)— произволь-
ная э. м. g(x).
Чтобы оправдать последнее определение, пока-
жем, что н. э. м. произвольной функции
действительно существует.
*) Условие сепарабельности (оно выполнено, например, если
Р^-п. н. траектории процесса g (xt), t е Т, непрерывны справа,
обеспечивает ^-измеримость величин sup g(x/)ninf g(xt).
t^T	te=T
121
Пусть g^L (А ). Обозначим
Qng(x) = max {g(x), Г2_^(х)}, n<=N,	(3.9)
u(x) = lim limQng(x),	(3.10)
tl -> OO yV -> OO
где Qn есть Af-я степень оператора Qn, n^N.
Лемма 1. Если g^L(A~\ то функция v(x), оп-
ределенная формулой (3.10), является н. э. м. g(x).
Доказательство. Обозначим vn(x)= lim Qng’(x).
JV->OO
В силу теоремы II. 1 и леммы II. 4,
»„(х)= sup Mxg(xT),	(3.11)
Т е ЭД (м)
где Эй (м) —класс моментов остановки, принимающих
значения k • 2”rt, k<^N, и таких, что
{т = ^-2""}ес?'*,ге)2-п = ог{(»: х0, х2_„, ..., xft.2_„).
Поскольку ЭЙ (п + 1) э Эй (п), то »n+i(x)^°n(x) и>
следовательно, существует предел lim о„(х), который
П -> оо
мы в (3.10) обозначим а(х).
Ясно, что v(x)>g(x), vn(x)>T2-nvn(x) и для
любого m^N
VnM>Tm2-^n<x).
Возьмем т = Ь2п~к,	Тогда vn(x)^Tt. 2-kvn(x) и
f(x)>7’z.2_fcy(x).
(3.12)
Покажем, что построенная функция и(х) является
(?о-непрерывной снизу. С этой целью рассмотрим
произвольную функцию ф(х)е£ (Л-). Положим Ф(х) =
= 7\ф (х), где teT.
Пусть хп — моменты первого достижения некоторых
компактов, и пусть Px(t„|0)=1. Тогда, в силу (1.21),
МХФ (xTJ = МхМ^ф (х<) = Мх9гп<р (xt) = Мхср (xt„+z)
и, согласно лемме Фату,
lim inf МхФ(хгга)= lim inf Мхф(хТге+<)^
> Mx lim т1ф(хТп+/)> Млф (x<) = Ф (x).	(3.13)
122
Поскольку функция qp (%) почти борелевская, то
из этого свойства легко выводится, что функция
Ф (х) = Мх<р (xt) = J <р (xt (со)) Рх (d (со))
также является почти борелевской. Но известно (см.
теорему 4.9 в [33]), что почти борелевская функция
ф(х), удовлетворяющая (3.13), является (?0-непре-
рывной снизу.
Итак, (почти борелевские) функции
T2-ng(x), Qng(х) = max {g(x), T2_ng(x)},
v„(x)= lim Q"g(x),	v(x)= lim u„(x)
/V -> oo	n -> OO
6?0-непрерывны снизу.
Установим неравенство
v(x)>7\v(x),
Возьмем последовательность двоично-рациональных
чисел rt | /, i->oo. Используя последовательно (3.12),
непрерывность справа траекторий процесса X,
прерывность снизу v(x), принадлежность функции v(x)
классу А (Л”) и, наконец, лемму Фату, получаем
v(x)^ lim inf7\.u(x) =
= lim inf Мх^(хГ/)^Мд. lim inf a(xrJ^Mxt>(xz) = 7\a(x),
что и доказывает эксцессивность v(x).
Предположим теперь, что и (х) — некоторая э. м.
g(x). Тогда из неравенства ^(x)^g’(x) вытекает, что
и (*) = QnuM> QnSM- Поэтому и(х)^ v (х) и, сле-
довательно, у(х) —н. э. м. функции g(x). Лемма до-
казана.
Замечание 1. Пусть
g^L(A ), g6(х) = min(6, g(x)), &>0.
Тогда для н. э. м. v(x) функции g(x) справедливы
представления
v(x)= lim lim lim Q^gb(x)= lim lim lim Q^g&(x).
n -> OO b -> OO i V -> OQ
П->ооУУ->оо b oo
123
Доказательство этих равенств следует из замечания 2
к лемме 1.4 и формулы (3.10).
2.	Доказываемые в этом пункте леммы дают до-
полнительную информацию о строении н. э. м. непре-
рывной функции g(x) в случае, когда процесс X
феллеровский.
Лемма 2. Пусть X — стандартный феллеровский
процесс, функция g(x) С > — оо и непрерывна.
Тогда ее н. э. м. v(x) является функцией, непрерыв-
ной снизу <lim inf v(y) v (х)).
\у->Х	J
Доказательство. Еез ограничения общности
функцию g(x) можно считать неотрицательной. По-
скольку функция g(x) непрерывна, то каждая из
ограниченных функций gm (%) = min (пг, g(x)), m^N,
также непрерывна. Поскольку процесс X феллеров-
ский, функции Ttgm(x), t<^T, непрерывны. Отсюда
(см. доказательство предшествующей леммы) следует,
что каждая из функций Qngm(x), Q^gm(x) непрерывна.
Поэтому функции
vn (х)= lim QnSmM и vm(x)= lim v™(x)
N oo	n -> oo
непрерывны снизу (как предел монотонно возрастаю-
щей последовательности непрерывных функций).
Поскольку vm+1 (х)^ vm(x), то функция £(х) =
= lim ст(х) является также непрерывной снизу (как
т -> оо
предел монотонно возрастающей последовательности
функций непрерывных снизу).
Осталось показать, что v (х) = v(x). Но это равен-
ство устанавливается в точности так же, как дока-
зывалось аналогичное соотношение в теореме II. 1.
Замечание. Лемма 2 остается справедливой
и для непрерывных функций g^b(A~), если только
при каждых t^Tn m непрерывны функции Ttgm(x).
При отыскании н. э. м. неотрицательных, непре-
рывных функций g(x) часто оказывается полезным
также следующий способ ее построения.
Пусть (ср. с (2.12))
Qg(x) = sup Ttg (х),
(3.14)
QQg (x) = g(x)
124
и
QNg(x) = supTt(QN 'g)(x),
где QN есть N-я степень Q.
Лемма 3. Пусть X — стандартный феллеровский
процесс, функция g(x) С > — оо и непрерывна.
Тогда функция
v(x) = lim QNg(x)	(3.15)
Л/ -> оо
непрерывна снизу и является н. э. м. функции g(x).
Доказательство. Обозначим vN (х) = QNg(x).
Тогда
vN+i (х) = Qvn (х) = sup TtvN (х) > vN (х) > g (х),
ОО
и при любом
vN+i(x)>TtvN(x).
Поскольку UAf(x)t и(х), JV->OO, то
v (х) Ttv (х), f>0,	(3.16)
И u(x)>g(x).
Покажем, что функция и(х) непрерывна снизу.
Поскольку g(x) непрерывна, то функция gm(x) =
= min(m, g(x}), tn^N, также непрерывна. Поскольку
процесс X феллеровский, функция Ttgm(x) непрерывна
при любых t^T, m^N. Отсюда (как и в лемме 2)
вытекает, что функции Ttg(x\ t^T, и v{(x) =
= Qg(x) = sup Тtg (х) непрерывны снизу. Покажем
по индукции, что и каждая из функций vN(x\
также непрерывна снизу.
Пусть при некотором А/^1 функция vN(x) непре-
рывна снизу. Установим тогда, что о^+1(х) также
непрерывна снизу. С этой целью построим неубываю-
щую последовательность {^(х)}, /=1, 2, ..., огра-
ниченных непрерывных функций *) таких, что
Тогда функции Т^(х) непрерывны по х и из равенств
Ujv+i U) = sup TtvN (х) = sup lim TtvlN(x)
i -> oo
*) Доказательство возможности такого построения см., на-
пример, в [26], гл. VII, теорема 30, или [49], гл. XV, теорема 10.
125
следует, что функция U/v+i(x), а значит, и и(х) =
= lim Vu (х) непрерывны снизу.
N оо
Итак, о(х)^ g(x), v(x)^Ttv(x), и, очевидно,
если h(х) — некоторая э. м. g(x), то u(x) = lim QNg(x)^.
N -> OO
^/z(x). Таким образом, для завершения доказатель-
ства осталось установить, что lim Тtv (х) = v(x). Из
но
(3.16) о(х)^ limsup Т/У (%). С другой стороны, по-
по
скольку функция v (х) непрерывна снизу и процесс X
имеет непрерывные справа (Рх-п. н., хеЕ) траекто-
рии, то по лемме Фату
lim inf Ttv (х) = lim inf Mxu (xz) lim inf v (xt) v (x).
HO	HO
Лемма полностью доказана.
3.	В том случае, когда функция g^L(A~t Д+),
можно предложить следующий способ нахождения
ее н. э. м. функции.
Пусть
ф(х) = Мд. [supg(xz)j,	ф„(х) = Мх [ su^g(xfc.2_n)j.
Если f&L, то положим (ср. с (2.19))
Gnf (х) = max (g(х), T2-nf(x)]f n^N, (3.17)
и пусть Gn есть N-я степень оператора Gn, Gnf = f.
Заметим, что если f (х) = g (х), то Gng (х) = Qng (•*)•
Лемма 4. Если функция g^L{A~, Д+), го
ее н. э. м.
о(х)= lim lim 0%<рп(х).	(3.18)
п->оо ^->oo
Доказательство. Пусть vn (х) = lim G^n (х).
^->OO
Согласно лемме II.9, vn(x) совпадаете функцией un(x),
определенной в (3.11). Применяя лемму 1, получаем
требуемое утверждение (3.18).
126
§ 3.	Эксцессивная характеризация цены
1.	Как и в случае дискретного времени, при иссле-
довании свойств цен s(x), s(x) и s(x) фундаменталь-
ную роль играет следующая
Лемма 5. Пусть Х = (хь<&~t, Р J, f е 7, хеF, -
стандартный марковский процесс и f = f (х) — эксцес-
сивная функция, удовлетворяющая условию
Л": M^[sup f~(xt)]< оо, хе£. (3.19)
t<=T
Пусть марковские моменты т, о е Эй, причем т^сг
с Р^вероятностью единица при всех х^Е. Тогда
МД (Хо) > МД (xt), х^Е, (3.20)
и, в частности, при всех х из Е
f(x)> f /(xT)dPx + Г limsup/(xz)dPx. (3.21)
(T<oo)	(T = oo) *
Доказательство. Заметим, что в силу свой-
ства VII, предел lim f(xt) существует. Поэтому в (3.21)
/-> оо
на самом деле вместо lim sup/(xj можно писать
t
lim/(xz). Проверка справедливости формулы (3.21)
с использованием теоремы 1.5 проводится точно
так же, как и в случае дискретного времени.
С помощью этой леммы доказывается следующее
предложение.
Лемма 6. Пусть f — f (х) — эксцессивная функ-
ция, удовлетворяющая условию А", и
хА = inf {t >0: xt е Л},	(3.22)
где	Тогда функция
/Дх) = МД(хТл)	(3.23)
также эксцессивна.
Прежде, чем переходить к доказательству, заме-
тим, что для моментов ол = т1{/^0: xt е А} лемма,
вообще говоря, неверна.
Доказательство. Пусть s^O и
тД = тЦ/>$: х,еЛ].	(3.24)
127
Из теоремы 1.2 следует, что моменты x* sA являются
марковскими моментами. Так же как и при доказа-
тельстве леммы II.2, устанавливается; что
Из рассуждений, приведенных при доказательстве
леммы 1, следует, что функция fA(x) почти боре-
левская. Поэтому надо только проверить справедли-
вость соотношения
lim ТtfА(х) = fА(х), х<=Е.
/->0
Поскольку *) т* тл, s 0, то, в силу непре-
рывности справа процесса fA(xt) и леммы Фату,
lim inf TtfA (%) = lim inf MJ7x > > Mxlim inf f(x t =
Ho	t i о \ xaJ	\ xaJ
= Mxf (xT^) = fA(x). (3.25)
С другой стороны, очевидно, lim sup TtfA(x)^.fA(x),
что вместе с (3.25) доказывает требуемое равенство.
2.	Следующий результат доказывается тем же
методом, что и лемма II.6.
Лемма 7. Пусть функция g L удовлетворяет
условию
А+:	[sup g+(xz)]<oo, х^Е,
t
и и(х) — ее н, э. м. Тогда
lim sup v (xt) = lim sup g (xt).	(3.26)
3.	Теорема 1. Пусть X = (xf, PJ, t s T, —
стандартный марковский процесс, g(x)e L(A~). Тогда
цена s(x) является н. э. м. функции g(x)
s(x) = s(x)	(3.27)
и s (х) == <$ (х) = s (х), если g(x)^0.
*) Если Пд = inf s\ X}, то, вообще говоря,
s | 0.
128
Доказательство. Пусть v(x) — н. э. м. функ-
ции g(.r)eLU"). В силу леммы 5, для любого те®
v (х) Мд; [о (хт); т < оо] + Мх [lim sup v (xt); т = oo]
t< °°] + Mx[limsupg(xz); t=oo],
откуда очевидно, что
v(x)^s (x) s (x)
и что в случае неотрицательных функций g(x)
V (х) S (х) S (х) S (х).
Противоположное неравенство o(x)^s(x) выте-
кает из леммы 1. В самом деле, класс марковских
моментов 3W(n) = 2>i, поэтому (см. (3.11)) u„(x) ^s(x).
Но v (х) = lim и„(х), и следовательно, o(x)^s(x).
П->оо
Следствие. Пусть момент т* е ЗЛ таков, что
отвечающий ему выигрыш f (x) = Mxg(xx*) (или f(x) =
= Mxg(xx*)) является эксцессивной функцией и
f(x)^g(x) (f(x)>g(x)). Тогда f(x)=s(x) (f(x) = s(x))
и момент т* является (0, $)- (соответственно (0, s))-
оптимальным. Точно так же, если момент т* е Эй,
функция f(x) — Mxg(xx*) эксцессивна и f(x)^g(x), то
т* является (0, э)-оптималъным моментом остановки.
Для иллюстрации этого следствия рассмотрим
следующий
Пример. Пусть W = (wt, <ЗГt, Р J, t е Т, х е У?1, —
винеровский процесс (точнее, семейство винеров-
ских процессов с w0(co) = х, х е Z?1) такой, что
Рж (ау0 = х)= 1,
Мх[и’<+д-а’<] = нД. ОДш/+д - wt] = А,
7>0, А>0, хе/?1.
Возьмем g(x) = max(0, х), и пусть
s(x)= sup_Mxg(xT), s(x)= sup_Mxg-(xx).
T e ’JJi	T e
Нетрудно видеть, что при $(%)== оо и момент
т(<о)== оо является (0, $)-оптимальным. Предположим
теперь, что ц<0.
9 А. Н. Ширяев
129
Пусть <JY = inf {/> 0: wt^ Г?}, Гу = [у, oo). Как
и в примере, рассмотренном в п. 10 § 1, гл. II,
показывается, что oY ЗЛ и
fv(x) Mxg(xa^)
(Y-X)
X,
х< Y,
х^> у.
Полагая fW== sup L(x), находим, что f(x) = /Y*U)>
V G= Я1
где у* = — 1/2н- Ясно, что /Y* (х) g (х), причем непо-
средственная проверка показывает, что f(x)^Ttf(x)
при любом t. Применяя следствие к теореме I,
убеждаемся, что момент aY* = inf {/	0:
является (0 $)-оптимальным. Интересно отметить, что
Рх(^< оо)<1 для всех х<у*, так что (0, ^-опти-
мальный момент aY* не является моментом остановки.
4.	По сравнению с доказательством теоремы II. 1
метод, примененный сейчас для доказательства тео-
ремы 1, обладает тем недостатком, что он не дает
непосредственного способа построения е-оптимальных
моментов остановки. Поскольку доказательство тео-
ремы II. 1 существенно опиралось на соотношение'
v (х) = Млу (xTg) (см. (2.29)) для н. э. м. v (х) функции
^(х)е£(Л', Л+), то естественно выяснить условия,
при которых оно остается справедливым и для случая
непрерывного времени. Частичный ответ на этот
вопрос содержится в приводимых ниже леммах 8 и 9.
Обозначим
Ге = {х: v (х) С g (х) + е}, е > 0,
где и(х) —н. э. м. (почти борелевской) функции g(x).
Пусть также
Te = inf{/>0: xte= Ге}, ое--= inf {/.> 0: X/sTJ.
Поскольку функции g(x) и v (х) ^-измеримы, то
множество Ге является почти борелевским и, согласно
теореме 1.2, моменты те и ае — марковскими.
Лемма 8. Пусть У = (xb PJ,	стан-
дартный марковский процесс, g (х) — ограниченная
130
(| g(x)\^K< °°) почти борелевская (^непрерывная
функция и с(х) — ее н. э. м. Тогда для всякого 8>0
v (х) = (хТр)	(3.28)
и
v (х) = Мху (xGg).	(3.29)
Доказательство. Прежде всего заметим, что,
в силу леммы 7, Рх (те < оо) = 1, хе£, для всякого
8 > 0. Поэтому те и ае являются моментами остановки.
Далее, достаточно доказать лишь соотношение (3.28),
поскольку (3.29) непосредственно следует из (3,28),
ибо (см. лемму 5)
V (х) > (x<jE) > (xtJ.
Итак, перейдем к доказательству формулы (3.28).
Обозначим се (х) = Мху (хт ). Согласно лемме 6,
ve(x) является эксцессивной функцией, причем по
лемме 5	М*)О(4 Поэтому, доказав, что
g(x), мы сразу получаем требуемое равенство
Ve (х) = V (х).
Пусть
с = sup [g (х) - (х)].	(3.30)
хе£
Возможны два случая:	и с >0. В первом из них,
очевидно, (х) g (х).
Пусть теперь
0<с= sup [g(х) - ие (х)].
X €= Е
(3.31)
Заметим, что Ге з Ге/, е^е', и Г0 = Р|Ге. Обозна-
е > 0
чим дГ8 границу множества Ге. Тогда для любой
точки хеГ0\5Г0, в силу непрерывности справа про-
цесса X,
ие (х) = Mxt> (xTj = V (х) > g (х).
Следовательно,
0<с= sup к(х)-»Дх)]= sup [g(x)-ve(x)].
х ср. Е	хе(£\Го)ис)Го
Функция с+^е(х) эксцессивна и с + ve (х) g(x)
для всех х Е. Поэтому с + v£ (х) v (х). Возьмем
9=
131
0<a<min(c, e). Тогда поскольку c<oo, то найдется
точка xq е (£ \ Го) U дГ0 такая, что
g (х0) - ve (х0) > с - a,
(3.32)
откуда
о < v (х0) - g (хо) < Vs (хо) + с -g(x0) < a < е,
т. е.
v (х0) < g (х0) + е.	(3.33)
Таким образом, точка хоеГе\дГе. Но 0е(хо) =
= МХоу (xTg) = v (x0)>g(x0), что вместе с (3.32) дает
неравенство а>с, которое противоречит предполо-
жению 0<a<min(c, е). Лемма доказана.
Основываясь на этой лемме, можно теперь дать
иное доказательство неравенства v(x)^s(x), исполь-
зованного при доказательстве теоремы 1.
Пусть | g (х) | К < 00 • Тогда поскольку функции
g(x) и и(х) Co-непрерывны, а процесс X непрерывен
справа, то х0& е Ге. Поэтому для всех х <= Е
S (х) > (xaJ > МХУ (Х„е) - 8 = V (х) - 8. (3.34)
В силу произвольности 8 > 0, отсюда получаем, что
s (х) v (х).
Заметим, что так же, как и при доказательстве
теоремы II. 1, можно показать, что неравенство
s(x)J>u(x) сохранится, если от функции g(x) потре-
бовать лишь ограниченности снизу: g (х)^ К > — оо.
Следствие 1. Если | g(x) К < то момент сге
является (8, з)-оптималъным моментом остановки для
всякого е > 0.
В самом деле, согласно теореме 1, v(x) = s(x).
Тогда из (3.34) имеем
S (х) >	(х«,е) > s (х) - 8,
что и доказывает (е, ^-оптимальность момента ое.
Следствие 2. Из хода доказательства леммы 8
вытекает, что если функция g(x)^L(A+) такова,
что g(x)^ К > — <х>, и ограничена на множестве
(Е\Г0)идГ0, то v (х) = 1\М (хае).
В силу (3.34), отсюда вытекает, что при этих
предположениях момент ое также является (е, $)-
оптимальным, е>0.
132
Следствие 3. Пусть	— класс моментов
остановки оА = inf {t 0: х, е Л}, где Ае$, и
s(x)= sup МЛ£(хо).
о е ЭД
Тогда, если g (х) > К > — оо, то s (х) = s (х) = s (х).
Иначе говоря, в задачах об оптимальной оста-
новке (в предположении g (х)^7< > — оо) при отыска-
нии цены достаточно ограничиваться рассмотрением
не всех марковских моментов, а лишь только момен-
тов первого попадания в почти борелевские множе-
ства.
В самом деле, если | g(x) | К < оо, то утвержде-
ние следует из следствия 1. В общем же случае
надо рассмотреть функции gb (х) = min (g (х), b), где
и положить затем &->оо.
Следствие 4. Пусть функция g(x) непрерывна,
g (х)> К > — 00, а цена s(x) непрерывна снизу (со-
гласно лемме 2, для этого достаточно потребовать,
чтобы процесс X был феллеровским). Обозначим
класс моментов oD = inf {t 0: xt е D}, где
D — замкнутые множества и
sD(x)= sup Mxg(xo).
° е !JJ'd
Тогда s(x) = s(x) = s(x) = sD(x).
Для доказательства достаточно заметить, что мно-
жества Ге = {х: s (х) g (х) + е} являются замкнутыми.
5.	В приведенной далее лемме 9 ослабляется пред-
положение об ограниченности функции g(x), сделан-
ное в лемме 8, правда, за счет усиления требований
относительно гладкости функций g(x), vn (х) =
= lim Q^g(x) и v(x)= lim vn(x).
Лемма 9. Пусть X = (xt, & t, Рх), / е Г, х е Е,-
стандартный марковский процесс, g(x)e l(A~, Л+).
Предположим, что каждая из функций g(x), vn(x),
ns=N, непрерывна и vn(x) —>v(x), п-+<х>, равно-
мерно по х.
Тогда для всякого е>0
V (х) = М,и(хО£).
(3.35)
133
Если Рх(а0< °°)= 1> х$=Е, то v (х) = Mxv(xQp).
Доказательство. Поскольку функции vn(x)
предполагаются непрерывными, vn(x) -+v(x) равно-
мерно по х при п —> оо и |v(x)|< оо, то функция v (х)
является непрерывной ([26], гл. VII, теорема 6; [2],
гл. V, теорема 22) и
lim vn (хп) = v (х),	(3.36)
П-> ОО
если хп->х, п-+оо ([26], гл. VII, теорема 2).
Обозначим
Г>{х: on(x)<g(x) + 8},< = infU.2-": х,2-»еГ),
где k^N.
Так как vn(x)\ v(x), то Г" | Ге, я-»оо. Ясно, что
ае^а", а"+1^ст" (Рх'п- н-> хе£) и, в силу леммы 7,
РЖ< оо)=1, х^Е, Поэтому существует а* = lima"
и ae^a*(Px-n. н.,	Покажем, что на самом
деле ае = а* (Рх-п. н., хеЕ).
Функции g(x), сп(х) и v (%) непрерывны. Отсюда
следует, что множества Г" и Ге замкнутые,	и
(в силу непрерывности справа процесса X) xagG=re, т. е.
°"(Ч“)<г(М+‘'	(337)
Поскольку процесс X квазинепрерывен слева, то,
переходя в первом неравенстве (3.37) к пределу (/г->оо),
в силу (3.36), получим
v (ха>Л < g (х0*\ 4- 8,	(3.38)
\ е/ \ е/
откуда вытекает, что ха*е=Ге и a*^ae. Следова-
тельно, а* = ое(Рх-п. н.,
Поскольку Рх(ае<оо)= 1, х^Е, и а"^а£, то,
в силу (2.25),
М*)=маМ<м?М <3-39)
Покажем, что
lira М р/х„^ = М ).	(3.40)
п->оо \ в/	\ е/
134
Имеем
{co: ae-o" < 00}	{co: c£ < <?„ < 00}
Но (ср. с доказательством леммы II. 9)
lim sup | i^x^dP^C
{co: a" < a, < oo)
C lim sup	I	sup g+ (xn) dPx = 0,
n	J	n>0
{co: a” < as < 00}
lim inf I o/'x(jre\dPx>
n	J	\ e/
{co: a" < ag < oo)
— lim inf	I	sup g~ (xn) dPx = 0
n	J	n^Q
{<0: a" < ae < 00}
и Mx| v(Xae)|< 00. х^Е. Следовательно,
lim Mu (x„n\ = lim f v(x„ \dP = М,и/хо ).
Л* I U I	I	I и • /	Л	Л» i V J
П->оо	\ В/ ra->oo	v	\	8/	\	8/
{co: 0,-0»)
Из (3.39) и (3.40) получаем неравенство
o(x)<Mxt>(xae), е>0,
которое, как видно из проведенного доказательства,
остается в силе и при е = 0, если только РЛ (о0 < оо) = 1,
х^Е. Обратное неравенство вытекает из леммы 5,
что и доказывает требуемое утверждение (3.35).
Следствие 1. Если выполнены условия леммы,
то для всякого е>0 момент ае будет (в, з)-опти-
мальным.
Действительно, поскольку цена s(x) совпадает
с н. э. м. v(x) функции g(x), то для всех х^Е
s (х) > Mxg (x0J > Мхз (хОе) - е = 3 (х) - е.
Следствие 2. В предположениях леммы 9 со-
храняют свою силу следствия 3 и 4 к лемме 8.
135
6.	Естественно теперь рассмотреть вопрос о струк-
туре цены без предположения g^ Л(А~). Рассужде-
ния, аналогичные тем, которые для случая дискрет-
ного времени были приведены в начале § 3 гл. И,
показывают, что отказ от предположения g^L(A~~)
приводит к тому, что цена s (х) уже может и не быть
наименьшей эксцессивной мажорантой функции.
Для формулировки основных результатов этого и
следующего пунктов (теоремы 2 и 3) остановимся на
необходимых обозначениях и определениях.
Будем обозначать %lg класс моментов остановки
те ЗИ, для которых математические ожидания Mxg(xT)
определены для всех хе£ (g(x)e=L).
По аналогии со случаем дискретного времени
(§ 3 гл. II) вводятся классы моментов 9?^, и
показывается*), что при определении цен s(x) и s(x)
супремум достаточно брать не по классам Ng и 3lgi
а лишь по 9tg и соответственно. Аналогично,
s(x)= sup Mxg(xT) = sup Mxg(xr).
X e	те
Определение 1. Почти борелевская Co-непре-
рывная снизу функция f(x)^=L называется ^-регу-
лярной, если для любого определено Мх/(хт) и
fW>MJ(xT).	(3.41)
Определение 2. Почти борелевская С0-непре-
рывная снизу функция f(x)^.L называется ^-регу-
лярной, если Mxf (хт)<оо для любого теи вы-
полнено неравенство (3.41).
^-регулярные функции будем для краткости на-
зывать просто регулярными.
Положим ga(x) = max(g(x), а), а^О,
vn(x; а) = lim Q%ga(x),	(3.42)
W-»OO
о*(х; а)= lim и„(х; а)= lim lim Q%ga(x), (3.43)
П->оо	П->оо ДГ->оо
u’(x)= lim v*(x; a).	(3.44)
a-> —oo
*) В тех случаях, когда это не вызывает недоразумений,
индекс g у	Dig и Dig будем опускать.
J36
Теорема 2. Пусть X = (х6 <£Г h PJ, t е 7, — стан-
дартный марковский процесс. Пусть g(x)^ L(A+\
каждая из функций g(x), vn(x\ а\ v*(x) непрерывна
по х \при любом а<0 и n^N) и vn(x; a)->u(x; а),
п—>оо, равномерно по х при каждом a^.Q.
Тогда цена $(х) является ^-регулярной эксцессив-
ной мажорантой функции g(x) и s (х) = s (%) (5 (х) =
==s(x) = s(x) в случае g(x)^O).
Доказательство. В силу теоремы 1, цены
sa (х) = sup Мxga (хх), sa (х) = sup Mxga (хт)
Т е 9?	т S я
совпадают, причем sa(x) = v*(х; а). Поскольку $а(х)
не возрастают при а-> —оо, то se(x)|o‘(x) и
V* (х) > s (х) s (х).	(3.45)
Для всякого определено МЛи*(хт) и, согласно
лемме 5,
$а (-^) М (хх)	М j-U (^т)>
откуда
и* (х) > мх (хх).	(3.46)
Таким образом, функция
u*(x)= lim lim lim Q„gra(x) (3.47)
a->— OO rt->OO Af->oo
является ^-регулярной эксцессивной мажорантой g(x).
Установим неравенство u* (x)^s(x), которое вместе
с (3.45) приведет к равенствам
v* (х) = s (х) = s (х).
Как и в случае дискретного времени (см. доказа-
тельство леммы II. 10), показывается, что
lim sup g (xt) = lim sup v* (x^)	(3.48)
t	t
и что для всякого е>0 момент
о* = inf [t > 0: u* (xf) < g (xf) + ej e 9И.
Поскольку функции g(x) и u*(x) непрерывны, то
s (x) >	(x0*^ > MX (x0^ - s- (3.49)
137
Положим
Го(а) = {х: v* (х; а) g (х) + е),
Ге = {х: v*(xXg(x)4-e),
а* (а) = inf {/>0: л-(еГ'(а)|.
Ясно, что Г*(а)| Г* при а->—оо и а*(а)^о* при
любом аХО. В силу лемм 9 и 5,
»’(хХо’(х; а) = М/^.(о);	а}
Отсюда по лемме Фату
v*(x)< lim sup Mxv*(xa*;	(3.50)
что вместе с (3.49) приводит к неравенству
V* (%) S (х) + 8.
Поскольку е>0 произвольно, то u*(x)^s(x), что
вместе с (3.45) приводит к требуемым равенствам
v* (х) = s (х) = s (х) (=s(x), если g(x)>0).
Пусть /(х) — некоторая ^-регулярная э. м. функ-
ции g(x). Тогда f (х)> MJ(xT)> Mxg(xT), откуда
сразу следует, что f(x)^s(x). Таким образом, s(x)
является наименьшей ^-регулярной эксцессивной ма-
жорантой функции g(x). Теорема 2 доказана.
Замечание 1. В предположениях теоремы 2
цена
s (х) = lim lim lim Q^gaU). (3.51)
a~>— OO n->OO /V->OO
Доказательство следует из формулы (3.47).
Замечание 2. В предположениях теоремы 2
цена
s(x)= lim lim lim lim Q^(x) =
a-> —oo /г->оо d->oo ЛГ->оо
= lim lim lim lim Q%gba(x),
a->—OO n->OO JV->OO d-»OO
(3.52)
где b 0, a 0 и
b,
g(x\
a,
ga M =
g(x)>b,
a^g(x)^b,
g(x)<a.
138
Доказательство следует из замечания 1 к Лемме 1,
(3.51) и (3.44).
Замечание 3. В предположениях теоремы 2
цена
s(x)= lim lim lim GNn aqn a(x),	(3.53)
a->—OO n-»oo /V->oo ’	’
где
фп,аи) = мх{то(^.2-”)).
k e W
Gn. аЧп, a W = maX {£а W> T2~n^n. a W}
и Gn.a есть Af-я степень оператора Gn,a.
Формула (3.53) вытекает из (3.18), (3.44) и (3.51).
7.	Теперь мы в состоянии доказать предложение,
аналогичное теореме II. 3. Обозначим
vn(x; a, b) = lim Q”gba(x),
/У~>ОО
v (х; a, b) = lim vn(x; а, b),
П->оо
v (х; b) = lim v (х; а, Ь).
а-> —оо
Теорема 3. Пусть X = (xt, &РJ, t^T,— стан-
дартный марковский процесс и g(x) — непрерывная
функция из класса L. Предположим, что для всех
Ь^О и а^.0 функции vn(x; a, b), v (х\ а, Ь) и v(x; b)
непрерывны по х и vn(x; а, &)—>и(х; а, Ь) равно-
мерно по х, п-+оо.
Тогда цена $(х) является регулярной эксцессив-
ной мажорантой функции g(x) и s(x) = s(x) (s (х) =
= s(x) = s(x) в случае g(x)^O).
Доказательство. Прежде всего заметим, что
$ (х) = sup Mxg (хх), s (х) = sup Мд-g (хх),
* е 'Ji	т <= Й
Пусть
s (х) = sup Mxg(xx).
те
Sb (х) = sup (xT), sb (x) = sup (xT)r
r e M	T
sb (x) = sup Mxg6(xx).
left
139
Ясно, что sb (х) s (х), limsfc(x) существует и s* (х) =
Ь -> ОО
= lim sb (х) s (х) s (х).
Ь->оо
С другой стороны, аналогично (2.57) устанавли-
вается неравенство s(x)^s*(x), которое вместе с пред-
шествующими неравенствами показывает, что $* (х) =
= s (х) = § (х).
Так как для те 91 (хт) Mxg~ (хт) < оо,
sd(x)t$(x) и (в силу теоремы 2)
s (х) sb (х) МЛ$Ь (хт),
(3.54)
то, переходя в (3.54) к пределу (6->оо), получаем
s (х) Mxs (хт).	(3.55)
Функция s (х) = lims&(x)’ непрерывна снизу (по-
, &->°° ,
скольку s (х) непрерывны по х и s (х) f s (х)) и, сле-
довательно, является почти борелевской и (?0-непре-
рывной снизу. Вместе с (3.55) это показывает, что
s (х) является регулярной (точнее, ^-регулярной) экс-
цессивной мажорантой функции g(x). Очевидно также,
что функция $(х) является наименьшей э. м. g(x).
Теорема 2 доказана.
Замечание 1. Пусть выполнены предположе-
ния теоремы 3. Тогда
s(x)= lim lim lim lim Q^^(r).	(3.56)
6->oo a-> —OO rz->oo X->oo
Замечание 2. С очевидными изменениями в
формулировках и обозначениях остаются справедли-
выми в силе замечание 2, сделанное к теореме II. 3,
и следствия 3 и 4 к лемме 8.
8. Как и в § 8 гл. II, рассмотрим некоторые дру-
гие постановки задач об оптимальной остановке.
Пусть
s(x) = sup Мл
т
e~Krg(xr) — J e~Ksc(xs) ds
о
(3.57)
где функции g^L, c^L, и верхняя грань бе-
рется по тому классу 91 = {т} моментов остановки
т = т(со), для которых определено математическое ожи-
дание в (3.57).
140
В ряде случаев задачу отыскания цены, опреде-
ленной в (3.57), удается свести к решению новой за-
дачи, в которой плата с(х) = 0. Остановимся на не-
которых из них.
Предположим, что
оо
Мх J e~Ks |с(х5)| ds < оо, хе£,
о
и пусть
оо
f(x)=Mx j e~Ksc(xs)ds.
о
Тогда известно (см. теорему 5.1 в [33]), что для всякого
момента остановки т = т(со)
х
Мх (хт)] - f (х) = - Мх J е~ Ksc (xs) ds.
О
Следовательно,
т	1
s(x) = sup Мх e~Kxg(xt) — j e-Asc(xs)ds? =
Te9f	о	J
= sup Mx {e~KxG (xT)} — f (x),
где G (x) = g (x) + f (x) (ср. с замечанием 1 к теореме
II. 16).
oo
Таким образом, если Мх| e~ls | с (х5) | ds < оо, х ^Е,
о
то для отыскания цены s(x) достаточно уметь на-
ходить
S (х) = sup Mxe~uG (хт),
поскольку $ (х) = S (х) — f (х).
Вводя новую переменную х' = (х, /), решение по-
ставленной задачи можно свести к уже рассмотрен-
ной выше, беря в качестве выигрыша функцию
g'(x') = e~uG (х). Можно поступить и иначе.
Назовем С0-непрерывную функцию F (х) к-эксцес-
сиеной мажорантой функции G (х), если F (х) G (х)
и
e~uTtF (х) < F (х).
141
Из результата теоремы 1 нетрудно вывести (или
доказать тем же самым методом), что в предполо-
жении
Дг: Мх {sup [e-ug~ (xz)]} < оо, х е £,
t
цена S(x) является наименьшей Z-эксцессивной ма-
жорантой функции G (х). При этом
S(x)=lim lim Q^G (х),
П->оо Л/->оо
где
Qn G (х) = max{G (х), е~}ЛТaG (х)}, A = 2~".
Если выполнены условия теоремы 3 (с очевидны-
ми изменениями в обозначениях), то цена S (х) бу-
дет наименьшей регулярной Z-эксцессивной мажо-
рантой функции G (х).
В тех случаях, когда условие А~ нарушается,
может оказаться полезным следующий прием сведе-
ния задач с платой к случаю с(х) = 0.
Пусть | с (х) | С < оо и f(x) — (ограниченное) ре-
шение уравнения
<Af (х) = — с (х),
где Л — слабый инфинитезимальный оператор про-
цесса X. Обозначим 2)?* класс тех моментов оста-
новки т = т((о), для которых М/г < оо, х^Е. Из
следствия теоремы 5.1 в [33] имеем
X
М (хт) — f (х) = — Мх J с (xs)ds. (3.58)
о
Поэтому, если
х
s‘(x)= sup Мх g(xx)— | c(xs)ds ,
те-Di*	J
ТО
s* (х) = sup Mx [G (xT)] — f (x),
те Di*
где G(x) = g(x) +Не-
справедливость равенства (3.58) часто удается
установить и без предположения ограниченности
функции g(x) (см., например, задачи, рассмотренные
142
в гл. IV), что позволяет для решения задач с
платой использовать теорию, развитую выше.
Если функция О(х) удовлетворяет условию
Мх [sup G~ (%/)] < оо, х^Е
(см. также замечание 4 к лемме II. 4), то в силу
леммы III. 1
s* (х) + /(х) = lim lim Q^G (х),
п ОО N оо
где
QnG (х) = max {G (х), ТдО(х)}, А =
Положим
Qn,,g(*) = max
д
g(x), ~ Мд. J c(xs}ds + Гд g (х)
о
Тогда нетрудно видеть, что, в силу (3.58),
QnG (х) = max {g (х) + f (х), Тд [g (х) + f (х)]} =*
д
g(x)4-/(x), /(х)-МЛ J c(xs)ds +T\g(x)
с
= max
!Д	J
g(x), — Мж J c(xs)ds + Гд^(л:)| =
о	J
= /(%) + Qn,cg(x).
Поэтому
s(x)= lim lim Q%cg(x).
§ 4.	е-оптимальные и оптимальные марковские
моменты
1.	Теорема 4. Пусть X — стандартный процесс,
функция g(x)e L(A+), ограничена снизу и ограни-
чена на замыкании множества Е \ Го = (х: v (х) >
^ £(*)}, где v(x) — н. э. м. g(x).
Тогда:
1.	Для всякого е>0 момент
oe = inf{/>0: у (x^)<g(x/) + e}
является (е, з)-оптимальным моментом остановки.
143
2.	Если функция g(x) непрерывна, a v(x) непре-
рывна снизу, то момент
(т0 = inf {t > 0: v (xt) = g (xf)}
является (0, з)-оптимальным.
3.	Если g(x) непрерывна, v (х) непрерывна снизу
и момент (т0 е 9№, то о0 является оптимальным мо-
ментом остановки.
Доказательство. Утверждение 1 непосред-
ственно вытекает из следствия 2 к лемме 8.
Для доказательства остальных утверждений нам
потребуется
Лемма 10. Пусть X — стандартный процесс,
функция g(x) непрерывна, а функция f(x) непреры-
вна снизу. Обозначим
те = inf {t >0: xt^ Ге},
где
Ге = {х: f(x)<g(x) + s},	е>0.
Тогда множества Ге замкнуты, Ге | Го, е | 0, и те f т0
(Рх-п. н., х е £).
Аналогичное утверждение справедливо и для мо-
ментов
(re = inf{/^0;	е^0.
Доказательство. Если xrt->х, п-*оо, где
хп Ге, то
f (х) < lim inf f (xn) < lim inf g (xn) + e =
n -> OO	П -> oo
= lim g(xn) + e = g(x) + e,
n -> OO
откуда следует замкнутость множества Ге. Очевидно
также, что Ге | Го, е | 0, и при всех х е Е с Рх —веро-
ятностью единицы существует предел Иште = т. По-
кажем, что т = т0 (Рх-п. н.,хеЕ). Поскольку т0 те,
то т0>т. Если т(со) = оо, то т0(со) = оо и, следова-
тельно, т (со) = т0 (со) на множестве Л = {(о: т((о)=оо}.
Пусть теперь o)gQ\4. В силу квазинепрерывности
слева процесса X, Хте->хт (Рх-п. н., х е Е) на мно-
жестве Q \ А. Поскольку процесс X непрерывен справа
144
и множество Г8 замкнуто, то ХгееГе, Следовательно,
f (Ххе) & (Ххе) + е и ПРИ ®-*° на множестве Й\Д
f (xt) < lim inf f (xr ) < lim inf [g(xt ) + e] = g (xt)
e^O '	8/	g^0 L \ e/ J
(РЛ-п. H., x<=E).	(3.59)
Из (3.59) следует, что хтеГ0, а значит, т0 (<о) т (со),
со е Q \ Л, и, стало быть, т0 (©) = т (со) (Рх-п. н., х е Е).
Перейдем к доказательству утверждений 2 и 3
теоремы 4. По лемме 10 ае | ст0, е | 0. Согласно (3.34)
для е>0
о(х)-8< J g(x%)dPx + J g(xOi)dPx.
(a0 < oo)	(ao=°°- % < °°)
(3.60)
Переходя в (3.60) к пределу при е->0, по лемме
Фату получим
V (х)< J g (Ха0) dPx +
(аг < оо)
+ f lim sup g (xt) dPx = Mxg (хД (3.61)
J t > oo
(ao=°°)
что и доказывает утверждение 2.
Если же Рх(ого= оо) = 0, то, в силу условий g (х)
>С> -оо, g(x)t=L(A+)
| lim sup g (xt) dPx = 0,
J t -> oo
(ОГ0 = оо)
откуда следует, что cr0 является (0, $)-оптимальным
моментом остановки.
Замечание 1. Если X - стандартный марков-
ский процесс с конечным числом состояний и — оо <
< g (х)< оо, то оптимальный момент остановки всегда
существует.
Замечание 2. Если непрерывная функция
I g (х) | С < оо, стандартный процесс X является
феллеровским, то момент
Сто = inf {/ > 0: v (х() = g (xf)}
является (0, $)-оптимальным; о0 будет (0, $)-оптималь-
ным моментом, если Рл (^о < °°) = 1, х^Е.
10 А. Н. Ширяев	145
Замечание 3. Предположим, что все условия
теоремы 4 соблюдены, за исключением требования
g(x)^L(A+). Пусть, однако, существует точка х0
такая, что МХо |sup g+ (xf)j < оо. Тогда утверждение
теоремы остается справедливым, если под (е, s)- и
(е, $)-оптимальностью понимать соответствующую
оптимальность в точке х0.
2. Нижеследующая теорема является аналогом
теоремы II.4 для случая непрерывного времени.
Теорема 5. Пусть выполнены условия теоремы. 2
и v (х) — наименьшая ^-регулярная э. м. функ-
ции g(x). Тогда'.
1.	Для всякого 8>0 момент
а8 = inf {/ > 0: v (xt) < g (xt) + в}
является (в, з)-оптимальным.
2.	Момент
a0 = inf{/>0: v(xt) = g(xt)}
является (0, з)-оптимальным.
3.	Если Рх(а0< оо) = 1,	то момент <у0
является (0, 8)-оптималъным.
Доказательство. Первое утверждение следует
из (3.49) и (3.50). Для доказательства (0, ^-оптималь-
ности момента а0 воспользуемся неравенством (3.50):
V (х)<Мжи(Хае)= J V (Хае) dPx +
(а0 < оо)
J у(чИр
(а0=оо> % < °°)
(3.62)
Как и при доказательстве неравенства (2.61), от-
сюда выводим, что
»(х)< J о(хОв)</Рж+ j sup g(xi)dPje.
(°о < «)	(°о“ °°- °е < °0)1 > °е
(3.63)
146
Поскольку процесс X квазинепрерывен слева, то
по лемме Фату из (3.63) получаем
о(х)<	| limsup v(x«)dPx +
, / , efO	е/
(do < оо)
+ j lim sup g (x,) dPx = j u(xao)dPx +
(d0=oo)	(d0<oo)
+ J lim sup g (xt) dPx.
(a0 = oo) t
Ho v (xQo) = g (*d0) на множество (or0<oo). Следова-
тельно,
y(x)< j g(xo.)dPx +
(do < oo)
+ J lim sup g (xt)dPx = Mxg(xa0),
(do= oo)
что и доказывает второе утверждение теоремы.
Из предшествующего неравенства следует, что
v(x)^ J g(xa„)dPx + j lim sup g+ (xf) dPx.
(do < oo)	(d0 = oo)
Поэтому если Px {o0 — °°} = 0, to
v (x)< j g (xa„) dPx = Mxg (xao),
Q
что и доказывает (0, $)-оптимальность момента a0.
Теорема доказана.
Следствие. Если limg(xf)= — оо (Рх-п. н.,
/-> оо
х s £), то момент а0 является (0, з}-оптимальным
(ср. со следствием теоремы II.4).
Замечание 1. Пусть 2)1* = {т: Мхт<оо,
т
s(x)= sup Мх g(xt)— | c(xs)ds ,
T e= УЛ*	J
где функции g(x), с(х) непрерывны, |g(x)| ^Л<°о,
с(х)^0 и
ОО
J c(xs)ds = оо (Рж-п. н., х е Е).
о
10*	147
Предположим также, что существует функция f(x)
(см. п. 8 § 3) такая, что для каждого т е
т
мxf (xt) - f(x) = - Мд. J с (xs) ds.
О
Обозначим G (х) = g (x) + f (x), тогда, очевидно,
s(x)= sup Mj.G (xT) - f (x).
t G= >1)1*
Пусть функция G (x) и построенные по ней функ-
ции vn(x; а, &), v(x; a, b), v(x; b) (см. (3.42) — (3.44))
удовлетворяют условиям теоремы 3. Тогда момент
ffo = inf{f>O: s(x<) = g(xz)}
является оптимальным моментом остановки.
Замечание 2. С очевидными изменениями
в обозначениях сохраняют свою силу замечания 1—3
к теореме 4.
3. В случае дискретного времени было показано
(теорема II.7), что в известном смысле класс опти-
мальных моментов остановки (если только таковые
существуют) исчерпывается моментами
aQ = inf {f > 0: v (xt) = g (x,)}.
Соответствующие результаты для непрерывного вре-
мени содержатся в следующей теореме.
Теорема 6. Пусть почти_борелевская, (%-непре-
рывная функция g(x)^L(A) и 5(х) — цена. Пред-
положим, что в точке х0, где цена s(x0)<oo, суще-
ствует 8)-оптимальный момент т* (г. е. MXog(xT*) =
= s(x0)). Тогда момент
а0 = inf {/ > 0: s (х<) = g (x,)}
является (0, ^-оптимальным в точке х0, причем
Р%о {°о	т*} = 1 • Если к тому же т* является (0, s)-
оптимальным моментом остановки, то момент сг0
является также (0, з)-оптимальным моментом оста-
новки.
Д о к а з_а те л ь ст в о. Поскольку g(х) е L (Д ), то
s(x)eL(A ) и по лемме 5
s (х) Mxs (хт*) Mxg(xt*). (3.64)
148
Но, по условию, MXog(xt*) = s(xo), поэтому из (3.64)
получаем
$ (х0) = MXog (xt«) = МХо$ (Хг»).
Покажем, что $(хт.) = g(xt.) (РХо-п. н.) на множе-
стве {т* < оо}. Ясно, что на множестве {т* < оо}
5(Хт») > g(xT«).
Пусть РХо{(т*< oo)ri(s(xT*)>g(xT*))}>0. Тогда
$ (х0) = MXoS (хт*) > Mtog (хт«) = s (хо),
что невозможно, если $(х0)<оо. Следовательно,
s (хт«) = g (хт*) (РХо-п. н.) на множестве {т*<оо}.
Точно так же lim sup s (хг) = lim sup g(xt) на множе-
t	t
стве {т* = 00} и, очевидно, c0 (co) r* (co).
Итак, a0 (co) т‘(co) (РХо-п. н.), откуда, учитывая,
что xffoero = {x: s(x) = g(x)}, и применяя лемму 5,
получаем
MX(,g(xa.)= J g(xa,)dPx.+ f limsupg(xf)dPXo =
(a0<oo)	(a0=°o)
= j s (x<j0) dPXo + J lim sup s (xz) dPXo =
(tfo<°o)	(ОГ0=оо) t
= MXoS (Xa0) > MXoS (XT*) = S (XO) ,
т. e. момент a0 является (0, $)-оптимальным.
Если РХо{т* < °°} = 1, то аналогичным образом
показывается, что РХо-п. н. (Т0^т* и МХо£ (хи0)	5 (х0).
Теорема доказана.
§ 5. Интегральные и «дифференциальные»
уравнения для цены
1. В случае дискретного времени, N = {0, 1, ...},
цена $(х) удовлетворяла рекуррентному уравнению
s(x) = max{g(x), Ts(x)},	(3.65)
которое является мощным средством для ее оты-
скания. Естественно желание получить аналог этого
уравнения и для случая непрерывного времени.
Из теорем 1 — 3 следует, что при любом t О
s(x)^max{g(x), Tts(x)}	(3.66)
149
и, вообще говоря, ни при каком />0 в (3.66) равен-
ства может и не быть.
Более продуктивным оказывается иной подход,
идею которого проще пояснить сначала для случая
дискретного времени.
Лемма 11. Пусть Х = (хп, PJ, /г е= ^ — мар-
ковская цепь со значениями в фазовом пространстве
(Е, <$). Пусть функция g(x)E=L и f(x) — ee эксцес-
сивная мажоранта, удовлетворяющая уравнению
f(x) = max{g(x), П(х)}.	(3.67)
Обозначим Го = {х: f(x) = g (х)}, и если V — некоторое
борелевское множество,
o(l/) = inf{n>0: xn^EW}, а0 = о(Е\Г0).
Тогда для любых N е N и х Е
f(x)= j f(Xa.AO(V))rfPx+ j* f(xN)dPx,
(QoAa(VXN)	(a0Aa(V)>/V)
(3.68)
где o0 Д o(IZ) = min (o0, а (У)).
Доказательство проводится в точности так
же, как и доказательство леммы II. 5. Достаточно
лишь заметить, что {a0Aa(7)>&} на множестве
f(xk) = Tf(xk).
Следствие 1. Пусть функция f^L^A , Д+).
Тогда
f(x)= (ХаоЛа(ю), Xt=E. (3.69)
Если, в частности, ИГ|Го=0, то
=	х^Е.	(3.70)
Следствие 2. Пусть функция f^L^A", Л+) и
Рхо (a0 Л а (У) < °°) = 1, тогда
ZU(.)=MXo/(XaoAa(7)),	(3.71)
и если V ПГ0= 0, то
fUo) = MXo/(xa(n).	(3.72)
Доказанная лемма позволяет получить иную форму
рекуррентных уравнений для f(x), которые уже легко
обобщаются на случай непрерывного времени.
150
Лемма 12. Предположим, что выполнены усло-
вия леммы 11 и, кроме того, функция g [.(А", Д+).
Пусть V = V (х) для каждого х е Е обозначает боре-
левское множество, содержащее точку х. Тогда
f (х) = max {g (Д MJ UooAa (ю)}-	(3.73)
Доказательство. Если хеГ0) то f(x) = g(x)
и (3.73), очевидно, выполнено. Если же х ф Го, то
f(x)>g(x) и, в силу (3.69), соотношение (3.73) снова
выполняется.
Следствие 1. Если окрестность V = V (х0) точки х0
такова, что inf Pz{tf(V)< оо}= 1, то для всех x^V (х0)
х е V (Хо)
(3.73) можно записать также следующим образом:
f(x) = max{g(x), МхИхаода(ю)}- (3.74)
Условимся, далее, для каждого марковского мо-
мента т е 9Й (т е Э№) полагать Txf (%) = Мxf (хт) (fxf (%) =
= MJ(xT)). Тогда, например, уравнение (3.79) пере-
пишется следующим образом:
f(x) = max{g (х),	(V]f{x)}.	(3.75)
2. Именно уравнения (3.73), (3.74) (а не уравне-
ние (3.67)) допускают обобщение на случай непре-
рывного времени.
Теорема 7. Пусть X — стандартный марковский
процесс. Функция g^L^A+), неотрицательна, непре-
рывна и ограничена на замыкании множества
Е \ Го = {х: s (х) > g (х)}, где s (х) — непрерывная снизу
н. э. м. функции g(x).
Обозначим V = V (х) окрестность (с компактным
замыканием) точки х^=Е. Тогда
s(x) = max{g(x), tQo д Q	(x)},	(3.76)
где
о (IZ) = inf {t > 0: xt ф V}, cr0 = a (£ ^ Го).
Доказательство. Прежде всего заметим, что
а(Й) является марковским моментом, поскольку, по
предположению, V — окрестность с компактным замы-
канием ([33], гл. IV, п. 4.5). Множество £\Г0
является борелевским и, следовательно, как а0, так
и о0 А являются также марковскими моментами.
151
В теореме 4 было показано (см. (3.61)), что $(х)^
С (хао)^ Поэтому s (х) < Mxs (xqo) и, в силу
леММЫ 5, Мх$(Ха0)< Мх$(ХаоЛа(У))<$(х\
Следовательно,
S (х) = MxS (xffo д а (V)) Для всех хе£.
Отсюда (как и в лемме 12) сразу получаем уравне-
ние (3.73). Теорема доказана.
Собственно говоря, для дальнейшего важно не
само «интегральное» уравнение (3.73), а соотношение
S (х) =	(Ха0 Л а (7))	(3.77)
(следствием которого и является (3.73)), позволяю-
щее получить «дифференциальные» уравнения для
цены (см. (3.80)). Заметим, что если окрестность
V = V (х0) (имеющая компактное замыкание) такова,
что V Г) Го = 0, то
s (х) = Mxs (ха (У))	(3.78)
и, в частности, если inf РЛГ{ог(У)< оо}= 1, то
х (= V (х0)
s(x) = Mxs(xa(V))	(3.79)
для всех точек х е V (х0).
Замечание 1. Пусть функция G (х), введенная
в замечании 1 к теореме 5, удовлетворяет условиям
теоремы 7. Тогда цена
т
s(x) = sup Мх g(xx) — I c(xs)ds ,
x e	J
где 2R* = {т: М/с < оо, % е £}, | g(x) Х/С < оо, с(х) ^0,
удовлетворяет уравнению
s(x) = max g(x),
Off Л о (V)
-м, J
о
c(xs)ds + fa<Aa(V)S (х)
Если, в частности, УПГо=0, inf Р^{ст(У)
X е V (Хо)
оо} = 1, ТО
s(x) = max
п(Ю
g(x), -Мд. J с (xs) ds + То (V)S (х)
о
15?
Замечание 2. Если процесс X непрерывный,
то тогда момент о (И является марковским для лю-
бого открытого множества V ([33], гл. IV, п. 4.5).
Известно, что для нормальных *) топологических
пространств (а рассматриваемое нами фазовое прост-
ранство (£, J?) является таковым, поскольку оно
метрическое) для каждой точки х, не принадлежащей
замкнутому множеству Го, найдется ее открытая
окрестность V такая, что УПГо=0. Поэтому в слу-
чае непрерывных процессов X
s(x) — MXS (Ха(у>)
для любого открытого множества V Е \ Го.
Из теоремы 7 выводится следующий важный ре-
зультат.
Теорема 8. Пусть выполнены условия теоремы 7.
Тогда если для каждой точки х Е \ Го найдется
открытое множество V (с компактным замыканием)
такое, что РДа(У) < оо) = 1, то цена принадлежит
области определения =3^ (Е \ Го) характеристического
оператора Я и удовлетворяет соотношениям
21s (х) = О, х е Со = Е \ Го, (3.80)
$(*) = £(*), хеГ0.	(3.81)
Доказательство следует из определения характе-
ристического оператора 21 (см. § 3 гл. I) теоремы 7
и (3.79).
3. В приводимой ниже теореме даются иные
условия справедливости уравнений (3.76) и (3.80).
Теорема 9. Пусть функция	Л+) и
выполнены условия леммы 9. Тогда справедливо
уравнение (3.76). Если к тому же для каждой точки
хеЕ\Г0 найдется открытое множество И (с ком-
пактным замыканием) такое, что Рх (а (V) < оо) = 1, то
s (х) е <3^ (£ \ Го) и в области Со = Е\ Го справедливо
уравнение (3.80).
*) Топологическое пространство, удовлетворяющее первой
аксиоме отделимости, называется нормальным, если всякие его
Два непересекающихся замкнутых множества имеют непересе-
кающиеся открытые окрестности ([38], гл. II, § 5).
153
Доказательство. Согласно (3.63) и лемме 5,
S (х) М-rS (%а0) < Мх$ (ХстоД а (V)) < « (х).
Как и в теореме 7, отсюда получаем уравнение
(3.76). Уравнение (3.80) выводится так же, как и
в теореме 8.
§ 6.	Оптимальная остановка марковских процессов
и обобщенная задача Стефана
1.	Знание цены s(x) позволяет не только судить
о величине оптимального выигрыша, но и дает (со-
гласно теоремам 4 — 6) возможность конструктивно
строить оптимальные и е-оптимальные марковские
моменты. В предположениях теорем 8 — 9 цена s (х)
в области «продолжения наблюдений» Со=--Е\Го
удовлетворяет уравнению (3.80), а в области «пре-
кращения наблюдений» Го s(x) = g(x).
Таким образом, цена есть одно из решений задачи
(3.80) — (3.81), специфика которой состоит в том, что
неизвестна не только функция s(x), но и область Со,
в которой действует уравнение (3.81). В теории урав-
нений с частными производными задачи такого типа
называются задачами Стефана, или задачами с под-
вижными границами [50].
Как правило, условий (3.80) — (3.81) еще недоста-
точно для нахождения неизвестной функции s (%) и
области «продолжения наблюдений» Со. Поэтому при-
ходится отыскивать дополнительные условия, которым
необходимо должна удовлетворять искомая функ-
ция s(x).
Ниже рассматриваются некоторые случаи задач
об оптимальной остановке марковских процессов, где
удается найти дополнительные условия, которым удо-
влетворяет функция $(х) на границе <?Г0. Этих усло-
вий, вообще говоря, также может не хватить для
нахождения цены $(х). Однако в тех задачах, которые
мы рассмотрим далее в гл. IV, эти условия позво-
ляют полностью определить цену s (х) и, следова-
тельно, область «продолжения наблюдений» Со.
2.	Будем предполагать, что Х = (х^, t, Рх),
t Т, —одномерный необрывающийся непрерывный
154
стандартный процесс в фазовом пространстве (Е, JP),
Е ^R. Пусть
s(х) = sup Mxg(хт), Го = {х <= Е: s{x) = g(х)},
г <= Ж
С0 = £\Г0, дГ0 —граница множества Го, и пусть точка
у <= дГ0. Будем предполагать, что для достаточно
малых р > 0 множество Vp (у) = {х: у — р < х < у} s Со,
a Vp (у) = {х: У + р > х > у} S Го. Ясно, что s (у) = g (у),
если уедГ0, и Vp (у) U (у) = VP(y), где Ур(у) =
= {х: |х —у |<р}.
Обозначим ар (у) = inf {t 0: xt е Е \ Vp (z/)}.
В дальнейшем существенно будут использоваться
следующие предположения:
A: g(y) = T6()(y)g(y) + o(p),	#е=дГ0;
Л2: в некоторой окрестности Vp (у) U {у} точки
у е’дГ0 существуют и непрерывны «левые» производ-
d g(x) d s (х) .
dx * dx ’
р>° pp(4pw=i/_p)>o-
Л3: для достаточно малых
Теорема 10. Пусть X = (xt, оГь Рх), t е Т, —
одномерный необрывающийся непрерывный стандарт-
ный процесс. Пусть почти борелевская функция
неотрицательна и С^-непрерывна.
Тогда если выполнены предположения А — А3, то
в точке //едГ0 имеет место условие «гладкого
склеивания»:
d s (х) __ d g (х) I
dx dx
(3.82)
Доказательство *). Обозначим f(x) = s(x) — g(x).
Тогда
Т«р{у)Ш = о^.	(3.83)
*) Если 7+ (у) (= Со, то условие (3.82) заменяем условием
равенства «правых» производных: -	= ~~~~
dx	ах \х=у^д-Го
Очевидным образом в этом случае видоизменяется и предпо-
ложение А2.
155
Действительно, в силу теоремы 1, цена s(x) является
н. э. м. функции g(x). При этом, согласно лемме 5,
s (у) > То (y)S (у). Используя условие Ah тогда находим
g (у) = ТОр (y)g (у) + О (р) = S (у) Тар (y)S (у),
откуда
о (р) > тар (y)S (у) -Тор (y)g (у) =Тар Ы (у) > О,
что и доказывает (3.83).
В силу непрерывности процесса X %ля. достаточно
малых р > О,
Т<,р(у)Ш= J f(\(y))dPy =
(Ор (У) < оо)
= J
d f(x) I
lx=y
(%(</)=*-₽)
'-р-Чг1!	(3-84)
где /?! (р) = о (р), в силу Л2.
Согласно Л3, Ру {ха {у} = у — р] > 0 для достаточно
малых р>0. Откуда, в силу (3.83) и (3.84), получаем
требуемое равенство (3.82).
Замечание. Приведенный выше вывод условий
«гладкого склеивания» (3.82) распространяется и на
тот случай, когда процесс X является п-мерным
(подробнее см. [22], [23]).
Из теорем 8 и 10 вытекает следующий результат.
Теорема 11. Пусть выполнены условия теоремы 8,
и для всех точек границы дГ0 выполнены условия
156
d s(x) = d g(x)
dx	dx
д — Л3. Тогда цена $(х) есть решение обобщенной
задачи Стефана:
2ts(x) = 0, хеС0 = £\Г0,	(3.85)
s(x) = g(x), хеГ0,	(3.86)
, г/ё=дГ0) l/р- (у) s Со, (3.87)
х=у
=	’ y^dY^ VP+(z/) = C0. (3.88)
ах	ал 'х—у
3.	Для формулировки обобщения результата тео-
ремы 10 на случай процессов не обязательно непре-
рывных введем такие предположения:
В]-. МуЦр (у) = ₽ (у) Р + о (р) для у е дГ0, где
0<₽(#)< 00 и
рЛ1Ч(р)-^>р) = °(млШ <3-89>
В2:	если 0(г/) = 0, то g{y) = ТОр (y}g(y) + о (р), у <= <?Г0;
если же p(i/)>0, то f (у) = s (у) — g (у) <= 3!% и суще-
ствует
I	(3-90)
{1Ч^~Н>₽}
В3:	в некоторой окрестности Vp’^UfZ/} точки
у е дГ0 существуют и непрерывны «левые» произвол-
В4:	Рй [ха (у) = У-Р) = а(У) + °(1) в точке у е= <ЗГ0,
где 01.
Теорема 12. Пусть X = (xt, t, PJ, t е Т, —
одномерный необрывающийся стандартный процесс.
Пусть почти борелевская функция g = g(x) ограни-
чена, неотрицательна и С^-непрерывна.
Тогда если выполнены предположения В\ — В4, то
a(x)£^L = p(x)Qli/(x)|	}	(3.91)
ах	'х = у^дТ0
где QI1 = 2l-?l2.
157
Доказательство. Пусть сначала 0(у) = О.
Тогда, в силу В2, Тр wf (у) = о (р) (ср. с (3.83)).
Согласно и В4, учитывая ограниченность функ-
ции f(x), получаем
( р № < °°)
I w)dp!/+o(p) =
(*ар ф)-^-Р)
-Р«(у) + о(р).
ал х~у
Отсюда, в силу условия В2, находим
а()£Ж| =0
dx I*-»
что и доказывает (3.91) в случае р(у) = О.
Пусть теперь р(у)>0. По предположению В2,
f(y)<E=3^, откуда
ТЯр (y)f (У) =	(У)	(у) + о (МуОр (у)),
где 0 < М/Гр (у) < оо. Поэтому
Тар (y)f (у) = Щ (у) 0 (у) Р + о (р).
Далее,
Тор (y)f (У)=	/ f (*СТр w) dPy +
(|%to)-^ |-р)
(3.92)
+ J K\^)dPy’
(1Ч^~У1>Р)
где, как и в случае 0 (у) = О,
.[ . f (XOp^dPy= -	Ч^\х=у- р + о(Р}-
(3.94)
(Гар(у)-г' |-₽)
158
Согласно же (3.90)
(14^)-» 1>р)
+ о (М/гр (у)) =	(у) р (у) р 4- О (р).	(3.95)
Тогда из (3.92) — (3.95) получаем
(у)Р(!/)р + о(р) =
=	’ Р + Р (^) W (^) Р + о (р),
ах
что и доказывает формулу (3.91).
Замечание 1. Если а(//)>0 и р(г/) = О, то усло-
вие (3.91) превращается в условие «гладкого склеи-
вания» (3.82).
Замечание 2. Обобщение теоремы 12 на случай
n-мерных процессов дано в [23].
Из теорем 9 и 12 непосредственно получаем сле-
дующий результат.
Теорема 13. Пусть неотрицательная функция g(x)
ограничена, непрерывна и цена s (х) — непрерывна сни-
зу. Пусть, кроме того, выполнены предположения тео-
рем 9,12 и для всех точек границы дГ0 выполнены
условия В[ — В4. Тогда цена s(x) есть решение обоб-
щенной задачи Стефана*.
(х) - 0, х е= Со = Е \ Го,	(3.96)
s (х) = g (х), х (= Го,	(3.97)
а (У)	= Р	У е дГо, VP~ (у) <= Со, (3.98)
а L у=р у dr°’ур+ - с°> <з-")
где f (х) = s (х) - g (х).
ГЛАВА IV
НЕКОТОРЫЕ ПРИМЕНЕНИЯ К ЗАДАЧАМ
МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
§ 1. Последовательное различение двух простых
гипотез. Байесовская постановка
1. В общих чертах задача проверки двух статисти-
ческих гипотез формулируется следующим образом.
На некотором измеримом пространстве (Q, <^)
заданы две вероятностные меры Ро, Pi и последова-
тельность случайных величин (со), ^(ю)» •••» совме-
стное распределение вероятностей которых есть Ре,
где параметр 0, принимающий два значения 0 и 1,
неизвестен. Интересующая нас задача состоит в том,
чтобы с наименьшими «потерями» определить истинное
значение параметра 0 по наблюдениям (со), ^2(ш), • •• •
Далее будет рассматриваться тот случай, когда
относительно каждой из мер Pz, Z = 0,l, величины
^(<о),	••• образуют последовательность незави-
симых одинаково распределенных случайных величин,
одномерная плотность вероятности которых (по неко-
торой мере ц) есть *) pt (х).
При этом в зависимости от характера предполо-
жений о структуре неизвестного параметра будут
изучаться следующие две постановки (байесовская
и вариационная) этой задачи.
Байесовская постановка. Пусть на измеримом
пространстве (Q, о^) задано семейство вероятностных
мер {Ря, 0<л<1} таких, что Ря = TtPj + (1 — л)Р0.
Предположим, что неизвестный параметр 0 = 0 (со)
является случайной величиной, принимающей два
*) Последнее предположение не является ограничением, пос-
кольку всегда можно взять, например, ц = — (Ро + Pi), где мера
{(-«>, *]}=Pi{G>:
160
значения 1 и 0 с вероятностями Рл (0 (cd) = 1) = л,
РЯ(0(®) = О)= 1 - л.
Пусть, далее, gi (со), g2 (со), последователь-
ность случайных величин, независимых в совокупно-
сти по каждой из мер Ро и Рь Обозначим
= ог{(®, я): л,	М“>)},
где ле[0, 1], £0(со) = 0, пеЛГ; = {т} — класс мар-
ковских моментов остановки т = т(со, л) (относительно
F = {/J); £>т = {d} — класс ^т-измеримых функций
d = d(co, л), принимающих два значения 1 и 0.
Определение 1. Пару б = (т, d), где теЭЛ,
назовем решающей функцией, или решающим
правилом и обозначим А = {6} класс всех решающих
правил.
Применительно к рассматриваемой задаче разли-
чения двух гипотез Яо: 0 = 0 и Н{: 0=1 смысл вве-
денных решающих правил б = (т, d) раскрывается
следующим образом.
Функция т = т(со, л) определяет момент прекра-
щения процесса наблюдения, а функция d = d(a>, л)
показывает, какую из гипотез (на основе знания зна-
чений л, (со), ^2(со), •••) следует принимать. В слу-
чае d(co, л)=1 принимается гипотеза если же
d (со, л) = 0, то — гипотеза Яо. В связи с этой интер-
претацией d = d(co, л) называют функцией заключи-
тельного (терминального) решения.
Обозначим
а(л, б) = ?! {со: d (со, л) = 0}, р(л, 6) = Ро{со: d (со, л) = 1}
вероятности ошибок (первого и второго рода), отве-
чающих правилу 6.
Средние «потери», вызванные выбором решаю-
щего правила б = (т, d), будем измерять величиной
Р (л, б) = л [cMiT + aPj (со: d (со, л) = 0)] +
+ (1 — л) [сМот + &Р0(со: d (со, л) = 1)],	(4.1)
где а, Ь, с — неотрицательные константы.
Определение 2. Для любого л, 0 л 1, ре-
шающее правило б* —(т*, d*jeA называется л-байе-
совским, если
р (л, б*) = inf р (л, б).	(4.2)
Ц А. Н. Ширяев
161
Определение 3. Решающее правило 6* =
= (т*, й*)^Д называется байесовским (относительно
семейства {Рл> 0<л<1}), если 6* является л-байесов-
ским правилом для всех 0^л^1.
Задача различения двух гипотез в байесовской
постановке состоит в отыскании л-байесовских и
байесовских правил. Далее будет показано, что за-
дача отыскания этих правил может быть сведена
к решению специальной задачи об оптимальной оста-
новке для некоторого марковского процесса. Из ре-
шения последней задачи будет следовать, что в ис-
ходной задаче различения двух гипотез существуют
не только л-байесовские, но и байесовские правила.
Вариационная постановка. В этой постановке не
делается никаких вероятностных предположений о не-
известном Параметре 0.
Пусть на измеримом пространстве (Q, ^) заданы
две вероятностные меры Ро, Pi и последовательность
независимых (по каждой из мер Р^, 7 = 0, 1) случай-
ных величин = (со), ^2= ^2(®)> • ••• Обозначим
<^1 = {0,Q},	<5rI = a{®:	....
Ю* = {т} — класс моментов остановки т = т(со) (отно-
сительно F1 = n^N\ = {d} — совокупность
c^l-измеримых функций d = d(co), принимающих два
значения 0 и 1. Пусть, далее, Дъ (а, р) — класс решаю-
щих правил д = (т, d) таких, что М0т<оо, Mfr<oo и
вероятности ошибок
a(d) = Pj{co: d(co) = 0}^a, р(6) = Р0{со: d(co)=l}^p,
где неотрицательные числа аир подчинены условию
а + Р< 1.
Следуя А. Вальду, вариационную задачу разли-
чения двух простых гипотез можно сформулировать
следующим образом [17].
Пусть заданы два неотрицательных числа аир,
а4 Р<1. Требуется в классе ДЦа,Р) найти правило
3 = (f, d) такое, что одновременно
Мот^Мот,	(4.3)
для всех 6 = (т, б/)еДЦа, р).
Большой удачей А. Вальда была догадка о воз-
можности существования такого решающего правила.
162
Точная формулировка условий, при которых имеет
место (4.3), и вид оптимального решающего правила 3
приведены в теореме 4.
2. Перейдем к систематическому изучению задачи
различения двух гипотез в байесовской постановке.
Прежде всего покажем, что отыскание байесовского
правила можно свести к решению задачи об опти-
мальной остановке для некоторого марковского про-
цесса.
Пусть
Л/г((й, Л) = Рл {б ((О) = 1
— апостериорная вероятность гипотезы Н{; 6((д)= 1.
Условимся полагать ло(со, л) = Рл {б(со) = 1 |^о), где
^о={0, Q}. Очевидно, Рл{л0(со, л) = л}=1-
По формуле Байеса легко находим, что с Ря-ве-
роятностью единица при всех п 1
Лл (со, л)
_______________ЛР1 (61 (й>)) ... Pi(g/i(co))_______
Jtpi (61 (со)) ... Pl (6п(«>)) + (1 -л) Ро(61(©))-..Ро(М®)) ’
(4.4)
Обозначим
<рге(©) =	.	(4.5)
Ро (51 (<»))..• Ро (£гг (<») )
Тогда для всех л<1
Я / 1
1--ZT Ф« (®)
Л„ (<о) = —----------- (Ря-п. Н.).	(4.6)
1 + Т^Фи®)
Нетрудно видеть также, что для всех п О
(Р„-П.н.),	(4.7)
если считать qp0((d)=l, и
Ли (со) t Pi(6n+i(co))
Jr	_	1—Яп((д)	Ро (6лч-1 (co) )	/р _ „ \	(А о\
14+1 (<0)	-	,, лга«о) PiU»+i(<o))	(Р"'П- н>)’	(4>8)
1 - пп (со) ро (gn+i («>))
если только Ря (л„=1) = О,
11*	163
Лемма 1. Для каждого л, 0^л=^1, элементы
Пд = {ft„ (<о, л), Рл), n^N,
образуют марковскую случайную функцию *), т. е.
лп(со, л) являются (^'п-измеримыми функциями и
с Р^-вероятностью единица
РЛ К+1 (®> л>ей1Л)=Рлк+1(“' л)=В|л„} (4.9)
для всякого борелевского множества В на [О, 1].
Доказательство. измеримость функций
лп((о, л) очевидна. Для доказательства формулы (4.9)
достаточно воспользоваться формулой (4.8), заметив
лишь, что Рд-п. н. для любого борелевского мно-
жества A^R1
Рл 1 А | <^п} =
= Лп ((0, л) Р1	+	+ (1	ft) ) Ро +1	•
Замечание 1. Аналогично доказывается, что
элементы Фл={ф«(со), Рл}, n^N, при каждом
л, 0^л<И, также образуют марковскую случай-
ную функцию. Полезно отметить, что при заданном
л, 0<л<1, статистики **) лп (со, л) и(рп((о) эквивалентны
в том смысле, что по лп(со, л) однозначно восстанавли-
ваются значения <рп (со) и наоборот.
Замечание 2. Статистики л„, n^N (так же
как и фп, n^N), обладают тем важным свойством,
что при всяком n^N величина лп+1 определяется по
значениям пп и grt+1. Представляется естественным
поэтому ввести такое
Определение 4. Пусть на вероятностном про-
странстве (Q, Р) задана некоторая случайная
последовательность {xn(co)}, n^N, со значениями в из-
меримом пространстве (Ех, $х). Набор статистик
{Yn(c°)}> со значениями в (EY, ^Y) называется
системой транзитивных статистик (относительно F =
= {о7~п},	= ${<$'• хо(®), •••> Xn(o>)}, n^N), если
при каждом n^N статистики yrt = Yn((o) являются
*) Мы пользуемся терминологией, принятой в [33] (гл. 3, § 1).
**) Под статистикой понимается всякая (измеримая) функ-
ция от результатов наблюдений,
164
<^'*/.$Уизм,еримыми и существует такая ^?Y X ^x/^v'
измеримая функция <рп+1(у, х), что с вероятностью
единица
Yn+i(®) = <Pn+i(Yn(®), %п + 1 (со)).	(4.10)
Результат, сформулированный в лемме 1, является
частным случаем следующего более общего пред-
ложения.
Лемма 2. Пусть {yrt(со)}, n&N, — система тран-
зитивных статистик (относительно F = {^n}t n^N)
и при каждом n^N с вероятностью единица
^п] = Р (хп+1^5|уп] (4.11)
для всех В^&х. Тогда элементы (уп (со),	Р),
tv^N, образуют марковскую случайную функцию.
Доказательство. Достаточно показать, что
для любой ограниченной ^-измеримой функции
f = f(Y)
М If (v„.)K:) - М (f (V„,)| Vj (P-n. н.). (4.12)
В силу (4.10), f (Vc+i) = f h+i (V.. x„+i). где F„+1 (y, x}~
некоторая ограниченная X ^-измеримая функция.
Если Fn+i(y, x) = Fn+i(y, x); где
N
F%+i(y, x) = S^.n+i(Y)XsfcW> (4.13)
то из (4.11) сразу получаем (Р-п. н.) равенство
М{^п+1(уп,	п) = М (fn+i (y«, Хп+1) I Y«} > (4*14)
которое и доказывает (4.12) для функций вида (4.13).
Для доказательства (4.12) в общем случае надо
построить последовательность функций F„+i(y, %),
1, вида (4.13), монотонно сходящихся к Frt+1 (у, %),
и затем сделать в (4.14) предельный переход при
Af —> оо.
Развитая во второй главе теория оптимальных
правил остановки обладает тем преимуществом, что
она дает возможность найти не только л-байесовские
правила для отдельных значений л, но и байесов-
ские правила. При этом для применения теории,
как станет ясно из дальнейшего, более удобным
165
оказывается оперировать не с семейством марковских
случайных функций {Щ.,	ас соответствую-
щим ему марковским процессом, который строится
следующим образом ([33], гл. 3, § 1).
Пусть Q' = QX [0,1] — пространство точек со' =
= (со, л),	=	Х^([0, 1]). Положим для со' =
= (со, л), и п 0
л'((£)') = Л, л;(®') = л„(®, л),	ГД®') = М®)>
= «'(©'), £'(©')........&'(®')}>
оХ 00 = О ( U	А
\п>0	/
Пусть, далее,	и
Ал = {со: (со, л)еЛ}, Ао = {л: (со, л)еЛ}.
Определим на (й\ меру
Р' (Л) = Ря (Ая) • Хло (л), А е=	(4.15)
Нетрудно проверить, что элементы П' = (л'1, оТ^', Р'),
л^[0, 1], n^N, образуют марковский процесс. По-
скольку л'(со, л) = лп(со, л) и с^'=^п, то для про-
цесса П' будем применять также обозначение П' =
~ (лд, п, Рл)«
Возможность сведения задачи отыскания байесов-
ских правил к решению некоторой задачи об опти-
мальной остановки для марковского процесса IT =
= (лп, & п, Рл) основана на следующей лемме.
Лемма 3. Пусть д = (т (со, л), d (со, л)) е Д и ре-
шающее правило 5 = (т (со, л), d (со, л)) таково, что
момент т(со, л) тот же, что и в правиле д, а
[ 1, алт b (1 — лт),
d^, л)=	’
[ 0, алт < b (1 — лг).
Тогда для всех л, 0^л^1,
р (л, 5) р (л, д)
и
р(л, 5) = Мл{ст +/>(лх)},
(4.16)
(4.17)
(4.18)
где g(n) = min (ал, b (1 — л)), а Мл — усреднение по
мере Ря.
166
Доказательство. Если л = 0 или я=1, то
утверждения (4.17) и (4.18) очевидны. Поэтому будем
считать 0 < л < 1.
При 0<л<1 каждая из мер Pz, z = 0, 1, абсо-
лютно непрерывна по мере Рл. Пусть -^-(^ — про-
изводная Радона — Никодима меры Р, по мере Рд [54].
Тогда
лР1 {со: d (со, л) = 0} = лМ] [1 — d (со, л)] =
= лМя[(1 -с/(со, л)) ^-(со)] =
= Мя{(1-й(со,л))Мя[л^|^]} =
= МЯ{(1 — d(co, л))лт(со, л)}. (4.19)
Здесь мы воспользовались равенством
Мя{л-^-|е7'Ц = ля(со, л) (Ря-п. н.), (4.20)
непосредственно следующим из того факта, что при
любом /г^О условная вероятность
л„ (со, л) = Л	(сТ!) (со) (Ря-п. и.),
где производная Радона — Никодима -^-(<^'1) (со) есть
такая ^«-измеримая функция, что для всех
J^(^)(co)dPn(co) = P1(X).
А Л
Аналогично (4.19) устанавливается равенство
(1 — л) Ро {со: d (со, л) = 1} = Мл {d (со, л) (1 — лх (со, л))}.
(4.21)
Из (4.1), (4.19) и (4.21) получаем
р(л, 6) = Мя {ст + алх [1 — d (со, л)] + b [1 — лх] d(co, л)}
Мл {ст + min [алх, 6(1 — лх)]} = р (л, б),
что и доказывает лемму.
Из этой леммы, в частности, следует, что при
отыскании байесовских правил достаточно ограни-
читься рассмотрением лишь правил вида. 5 == (т, J),
167
где заключительное решение d = d(a)1 л) задается
формулой (4.16), и что для всех л, 0^л^1, «риск»
р(л)= inf р(л, d) = inf Мя {ст (со, л) + £(лт)}. (4.22)
бе А	теЭД
Заметим теперь, что если множество А е
таково, что А“ = {л: (<в, л)еЛ} = [0, 1], то, в силу
(4.15), Рл(Л) = Рл(Лл). Поэтому
р(л)= inf Мя{ст((о, л) + g (nJ) =
т е ЭД
= f, М' [ст (©') + g (пт (со'))}. (4.23)
Обозначим 9№я = {т} класс моментов остановки
таких, что {o': т (о/) = п} е оТ'п, где
= er {coz: ло (со'),	Лп(о/)}.
Нетрудно видеть, что з 9)1Я. Поскольку процесс
п' = (лп, Рл) марковский, то таковым же будет
и процесс П" = (лп, Рл), n^N. Тогда из резуль-
татов п. 3 § 7 гл. II следует, что класс моментов
остановки является достаточным, т. е.
р(л)= inf Мл{ст + £(лт)}= inf Мл{ст + £(лт)}. (4.24)
т е эд	т е эдп
Согласно теореме II. 16, риск р(л) удовлетворяет *)
рекуррентному уравнению
р (л) = min {g (л), с + Гр (л)},	(4.25)
где Гр(л) = Мдр(л1). Из следствия к этой же теореме
вытекает, что при с > 0 момент
т* (coz) = inf {п > 0: р (лп) = g (л^)}	(4.26)
является оптимальным моментом остановки, т. е. при
всех л, О^л1,
р(л) = Мл {ст* + £(лт*)}
и
Рл(т* < оо)= 1,
0 <1 л 1.
*) Переформулировка результатов, полученных в гл. II и III
для «цены», на случай «риска» не вызывает, очевидно, никаких
затруднений.
168
Покажем теперь, что функция р(л), 0 л 1,
является выпуклой вверх.
Пусть
Qcg (л) = min {g (л), с + Tg (л)}.
Согласно (4.4),
Tg (л) =
оо
= J g U (х) +71 - л) Ро (х))	и)+а -») рь (*)] и).
— оо
Используя выпуклость вверх функции £(л), отсюда
нетрудно вывести, что функция Г^(л) также обладает
этим свойством. Отсюда следует, что и каждая из
функций QNg (л), v (л) = lim Q^g (л) является выпуклой
Л'~>оо
вверх.
Поскольку 0 Q^g (л)	< оо при всех
то тем же методом, который был использован при
доказательстве леммы II. 4, можно показать, что
функция — и(л) является (1, с)-эксцессивной (см. § 8
гл. II). Очевидно также, что эта функция является
регулярной (1, с)-эксцессивной мажорантой —g(x).
Следовательно,
р(л) = а(л)= lim Q^gCrc),
W->OO
чем и доказывается выпуклость вверх функции р(л).
Из выпуклости функций р(л) и Гр (л) вверх еле-
дует, что на интервале (0, 1) они непрерывны ([33],
теорема 0.8). Поэтому из (4.25) получаем, что область
продолжения наблюдений
С0 = {л: р(л)<£(л)}
имеет вид
С0 = {л: Д* < л < В*},
где 0<Д*<В*<1.
Нетрудно заметить, что если р(л) = £(л), то Л* =
*= В* = а + ^> и следовательно, область продолжения
наблюдений Со= 0. Если же хотя бы в одной точке
Р(л)<£(л), то Д*<В*.
Итак, доказана следующая
169
Теорема 1. В задаче последовательного разли-
чения двух гипотез байесовское правило S* = (т*, d*)
существует и имеет следующий вид:
х* (со, л) = inf {п > 0: (со, л) (Л*, 5*)}, (4.27)
d* (®, л) = { д’
атсх* Ь (1	л?*),
СХЛт* Ь (1	Лт*),
(4.28)
где л0(со, л) — л и Л*, В* — некоторые константы,
0<Л*<В*<1.
Замечание 1. Если при заданном л, 0<л<1,
от статистик лп перейти к qprt, то область продолже-
ния наблюдений для л-байесовского решения будет
иметь вид
4*	1-я
ф: 1 -Д*  л <(р
В*
1 -В
VI- <4-29>
Замечание 2. Заключительное решение d*(со, л)
можно записать также в следующей форме:
fl, Лт* В\
"'“•’‘Но,	<4-30>
Для полного описания байесовских правил 6* =
= (т*, d*) нужно еще определить неизвестные кон-
станты Л* и В*, входящие в (4.27). Однако в общем
случае их отыскание представляет весьма трудную
задачу. В следующем пункте мы рассматриваем за-
дачу различения двух простых гипотез о среднем
значении винеровского процесса. В этом случае, опи-
раясь на результаты, изложенные в гл. III, удается
найти систему уравнений, из которых однозначно
определяются константы Л* и В*.
3. Будем предполагать, что на измеримом про-
странстве (Q, <^) заданы:
1)	семейство вероятностных мер {Рл, 0^л^1}
таких, что Ря = лР] + (1 — л)Р0;
2)	случайная величина 0 = 0 (со), принимающая два
значения 1 и 0 с вероятностями Рл (9 (со) = 1) = л,
Рл (0(<о) = 0)= 1 — л;
3)	стандартный винеровский процесс {wt (со)}, t^T,
не зависящий (по каждой из мер Рл) от 0 = 0 (со) и
такой, что при любом л, 0^л^1,
w0 (ш) = 0, Мл \wt (со) = 0,	Мя (Доу, (со) )2 = Д/.
170
Как и ранее, предполагается, что случайная вели-
чина 0 = 0(со) недоступна непосредственному измере-
нию, а наблюдается случайный процесс {£/(со)}, /^0,
где
^(со) = г • 0 (со) • f + awjco), а>0, г 0. (4.31)
Аналогично случаю дискретного времени, вводится
понятие решающих правил б = (т (со, л), d (со, л)), риска
р (л), л-байесовских правил.
Обозначим
лД©, л) = Ря{0(©) = 1 |<^}},	=	£Д©)> s<f],
и пусть
Ф<(©) = ^-(^1)(©)
— производная Радона — Никодима меры Pj по мере Ро,
т. е. такая «^-измеримая функция, что для любого
множества ЛеоГ?
/	dPo(o) = Pi(X).
А
Известно [54], что в рассматриваемом случае
Ф/(со) = ехр{(©) - У | (Ря-п. н., 0<л<1).
(4.32)
Если л=1, то с Pj-вероятностью единица
Р! (л/ (со, 1) = 1) = 1 при всех t 0. В случае же л > 1
апостериорная вероятность
р	т~— Ф/ (со)
nt (со, л) = л (<^1) (со) =	. (4.33)
Заметим теперь, что
Ф/+Д©) =
= Ф/ (©) ехр |	[е (©) • s + (wi+s (©) - ws (©)) - У s] I
и
Рл (о (©)•$ + (шt+s (©) — ws (®) X X |	} =
= лД©, л)Ря{да/+5(©)-ю5(©Хх-х} +
+ (1 - nt (©, л)) Ря {а»г+Д©) - W Д©)< х}.
171
Отсюда нетрудно вывести (ср. с леммой 1), что при
каждом л, 0 л 1, элементы Пя == (л, (со, л), Рл)
и Фп=	Рл) образуют марковские случайные
функции. Кроме того, используя обозначения, анало-
гичные тем, которые были введены для случая ди-
скретного времени, можно показать, что процесс
IT = (лДсд')>	t^T, 0^л<Д, также является
марковским.
4.	Теорема 2. Байесовское правило б* = (т*(со, л),
d*(со, л)) в задаче различения двух гипотез Н{: 0 = 1
и HQ: 0 = 0 по результатам наблюдений за процессом
(со)}, /^0, существует и имеет следующий вид'.
т* (со, л) = inf {t 0: щ (со, л) ф (Л*, В*)},	(4.34)
( 1, лт* (со, л) В*,
d*(co, л)= п ,	.	(4.35)
[ 0, лт* (со, л) А .
Константы Л* и В* однозначно определяются из
системы трансцендентных уравнений
b + а = С {ф (Л*) - ф (В*)},	(4.36)
b (1 _ в*) = аА* + (В* - Л*) (а - Сф (Л*)) +
+ С(^(В*)-ЧГ(Л*)), (4.37)
гдес = с(^} ’
Т(л) = (1-2л)1пт^-)
/1-л л \	1-я	<4-38)
ф(л) = Т'(л) = Ц-)п-21п——-
тх/ v \ л 1 — л /	л
Риск
р(л) =
§(л), л^(А‘, В*),
g(A*) + (n-A*)(a-C^(A*))+	(4.39)
+ C(4f(n)-4r(A*)), ле(А*. В*).
Доказательство. Ниже будет показано, что
функция f (л) = — сЧ7 (л), где Т (л) определена в (4.38),
такова, что для каждого момента t = t(co) с Млт<оо,
0^л^1, имеет место следующее соотношение;
Мл/ (лг) - / (л) = сМлт, 0 < л 1.
172
Отсюда в силу результатов п. 8, § 3 гл. III вы-
текает, что рассматриваемая задача с платой
^(п) = с) может быть сведена к решению некоторой
новой задачи, где плата равна нулю. Используя это
обстоятельство, легко показать, опираясь на резуль-
таты § 4, что в рассматриваемой задаче байесовское
правило существует и задается формулами (4.34) и
(4.35). Поэтому основную трудность представляет до-
казательство формул (4.36), (4.37) и (4.39).
Предположим, что искомая функция р(л) имеет
в окрестности точек 4* и В* непрерывные производ-
ные Тогда, в силу замечания 1 к теореме III. 7,
из теоремы III. 10 следует, что искомая функция р(л)
есть решение следующей задачи Стефана:
21р(л) = - с, ле(Т, В*),
р(л) = £(л), л 0(4*, В*),
^-1	,	(4.40)
1л=Л*
dp (л) I = dg (л) I
dn> 1л=в* djt |д=£*
Для решения этой задачи нам придется подробно
изучить структуру процессов .{nJ и {£j, t^T.
5.	С этой целью установим предварительно сле-
дующую лемму.
Лемма 4. Пусть на вероятностном пространстве
(Й, Р) задан стандартный винеровский процесс
{wj, t е Т, и не зависящий от него измеримый дейст-
вительный случайный процесс {0J, t е Т, такой что
t
M|0J<oo, J M|ej2ds<oo,
0
Пусть процесс {r]J, t e T, допускает стохастический
дифференциал ([20], стр. 501)
dv\t = 9zd/ + vdwh т]о(ш) = О, cr>0.	(4.41)
Тогда найдется такой стандартный винеровский
процесс {й> J, / е 7, что
dx\t = Qtdt + or dwt, т]0(со) = 0,	(4.42)
где Qt = М (0/1	= о {со: г]5 (а>), s /}.
173
Доказательство. Положим
t
= M(es|^)rfs.
О
(4.43)
Как нетрудно проверить, процесс Y = (fp, Р),
t е Т, образует мартингал с непрерывными траек-
ториями. Из (4.42) и (4.43) следует, что
dr\t = (б/ — M(0f |	) dt + о dwt.	(4.44)
Пользуясь формулой замены переменных Ито ([20],
стр. 501), из (4.44) получаем, что процесс {fj2}, /Х^О,
допускает стохастический дифференциал
dx\2t = 2цt dx\t + о2 dtt
Отсюда, для всех t^s,
t
fj? - П* = 2 J Пи l0« - м (ou 1du +
s
t
+ 2o J iiu dwu + o2 (t - s).	(4.45)
s
t
В силу условий леммы, J М |fj < оо. Из этого
s
t
следует, что М J = 0 (см. свойство И* на
s
t
стр. 493 в [20]). Ясно также, что J М | 0цт)„ | du < оо.
Поэтому
= 0 (Р-п. н.),

М J r\udwi
= 0 (Р-п. н.),
= a2(t — s) (Р-п. н). (4.46)
174
Но хорошо известно ([30], теорема 11.9), что мартин-
гал Y= (Пр г Р), с непрерывными траекто-
риями, удовлетворяющий условиям Мт]2<оо, />0,
й (4.46), является винеровским процессом с МД*щ = 0
й М (Дтц)2 = о2 АЛ Полагая поэтому = полу-
чаем требуемое представление (4.42).
Применим эту лемму к процессу {gj, t е Г, имею-
щему, в силу (4.31), стохастический дифференциал
d^t = г0 dt + a dwt, g0(co) = 0, <т>0.	(4.47)
Тогда для каждого л, 0^л^1, найдется такой
стандартный винеровский процесс йДсо, т), что
(со) = гл/(со, n)dt + odwt((d, л), £0(со) = 0,	(4.48)
где
nt (со, л) = Рл (о (со) = 1 | 0^1} = Мл {б (со) .
Полученное представление (4.48) позволяет доказать
следующий важный результат.
Лемма 5. При каждом л, 0 л , марковская
случайная функция Пл = {л, (со, л), Рл), t g= Г,
является диффузионным процессом с дифференциалом
ЙлДсО, л) = -^лДсО, Л)(1 — Л/(to, ri))dwti л0(со, л) = л,
(4.49)
где {Ф J, t 0, — стандартный винеровский процесс,
входящий в (4.48).
Доказательство. Стохастически дифферен-
цируя правые части в (4.32) и (4.33), находим (ф/ = Ф/(со),
Л/ = Л/ (со, л))
= 55 q>t dlt, Фо (®) = 1,	(4.50)
^-2	р
dnt = — -^2 л2(1 — n^dt + -^2" лД1 —Л/)^, л0(со, л) = л.
(4.51)
Отсюда с учетом (4.48) получаем требуемое пред-
ставление (4.49), из которого, в частности, следует
диффузионный характер процесса Пл.
6.	Перейдем теперь к решению задачи Стефана
(4.40). Доказательство того, что искомая функция р(л)
175
задается формулой (4.39), а неизвестные константы
Л* и В* определяются из уравнений (4.36) и (4.37),
распадается на два этапа. На первом этапе показы-
вается, что решение задачи (4.40) в классе дважды
непрерывно дифференцируемых функций существует
и единственно. Затем устанавливается, что найденное
решение совпадает с риском р(л).
Из леммы 5 нетрудно вывести, что
П7 ={лр Р7], 0^л<И, t 0,
является диффузионным марковским процессом.
Согласно теореме 5.7 [33], сужение оператора 21, от-
вечающего процессу П7, на дважды непрерывно диф-
ференцируемых функциях f = f (л) совпадает (см. (4.49))
с дифференциальным оператором второго порядка
®	2а2	djt2
Рассмотрим решение задачи (4.40) в классе дважды
непрерывно дифференцируемых функций f = f (л). Тогда
поскольку 2lf (л) =	(л), то
^[л(1-л)]2^=-с, ле (А В),	(4.52)
f(n) = g(n), л0(А В),	(4.53)
f'(A) = a, f'(B)=~b,	(4.54)
где константы А и В также неизвестны, причем
0<Л
Зафиксируем некоторое число О^Л^ ’ ^е"
трудно видеть, что решение f = f (л) уравнения (4.52) в
области л > Л, удовлетворяющее условиям /(Л) = аЛ,
f'(A) = a, задается формулой
f (я) = g (Л) + (л - Л) {g' (Л) - Сф (Л)} + С {Т (л) - W (Л)},
(4.55)
где С = с , а ф(л) и Т (л) определены в (4.38).
1/6
Используя краевые условия в точке В (f(B) = b(l— В),
f'(В) = — b), получаем следующую систему для на-
хождения неизвестных констант А и В:
b + а = С {ф(Л) -ф(В)},	(4.56)
b (1 - В) = а А + (В - Л) {а - Сф (Л)} + С {W (В) - W (Л)}.
(4.57)
Покажем, что из (4.56) — (4.57) неизвестные кон-
станты Л и В (0<Л<В<1) определяются един-
ственным образом.
С этой целью преобразуем систему (4.56) — (4.57)
к следующему виду:
(Ь - а) + [а + Сф (В)] = - [а + Сгр (Л)],	(4.58)
b + С [Вф (В) - W (В)] = С [Лф (Л) - Т (Л)]. (4.59)
А	В
Обозначим х= , у= • Тогда из (4.58) и
(4.59) с учетом (4.38) получим
(Ь - • а) + [а + С (у - у - 2 In z/)] =
= — [а + С 0: — х — 2 In х^, (4.60)
b — С [z/ + In у] = — С [х + 1пх],	(4.61)
Из (4.61) следует, что каждому значению 0^х<оо
соответствует единственное значение у = ух (х)	0,
причем //i(0) = 0 и для всех х>0
d-yi (х) _х „
dx 1+1
У
Следовательно, у = У\(х) есть неубывающая функция
х > 0.
Аналогично, из (4.60) следует, что каждому х
соответствует единственное значение // = //2(х), при-
чем г/2(0) = оо, //2(°°) = 0 и для всех х>0
1	1	2
. / \	—2” + 1 "I 
dy2 (х) = __ х2 х Q
12 А. Н. Ширяев	177
Следовательно, существует единственное значение
х*>0, для которого z/i (х*) = у2 (х*). Отсюда очевидным
образом следует, что система уравнений (4.58) — (4.59)
имеет и притом единственное решение (Л*, В*). Сле-
довательно, решение задачи (4.52) — (4.53), в классе
дважды непрерывно дифференцируемых функций и
констант 0<Д<В<1, существует и единственно.
Обозначим f = решение этой задачи и покажем,
чго р (л) = f (л).
Прежде всего заметим, что при с>0
р(л)= inf Мл{гг+ £(лт)}= inf Мл (ст + g (лт)},
т е 9Яя	т .
где = {т} — класс тех моментов остановки т е Эй",
для которых МлТ<оо при всех 0^л^1 (см. § 3
гл. II).
Далее, очевидно, что
р(л) = inf Мл {ст + g (лт)} =
reS"
= inf Мл{[ст + Г(пт)Ш£(лт)-П<)]}>
те=91я
> inf Мл {ст + f (лт)} + inf Мл {g (лг) — Г (лт)}. (4.62)
те 91я
Пусть А*<л,<В*. Так как слабый инфинитези-
мальный оператор <Af* (л) =	(л) = — с, то, в силу
следствия к теореме 5.1 в [33], для всякого мар-
ковского момента т такого, что МлТ<оо,
Mnf (лт) — f (л) = — сМлТ,
Следовательно, для таких моментов
Мп {ст + f (лг)} = Г (л).	(4.63)
Поскольку g (л) f* (л) при всех значениях л,
0<Тл 1, то
inf Мл{^(лт)-Г(лт)}>0, л® (Л’, В*). (4.64)
х е 91я
Нетрудно показать, что для всех л, О^л^ I, момент
T* = inf{f>0: л,<£(Л’, В’) }
173
имеет Млт’ < оо. Следовательно, т* е№Л и М' {£(лт,)—
-Г(лт*)} = 0- Отсюда, в силу (4.64), (4.62) и (4.63),
вытекает, что
р(л) = inf Мл {ст + g (лт)} >
> inf Мл {ст + Г (лт)} = f* (л),
Но для момента т*
 М;{ст‘ + §(лт.)} = М'{ст’ + Г(лт<)},
поэтому р (л) = f* (л) для всех А* < л < В*.
Пусть теперь л ф (Л‘, В*). Тогда f* (л) = g (л), и
так как Jig (л) = J>g (л) = 0, то опять-таки, в силу
следствия к теореме 5.1 из [33],
МлГ(лг) = Дя), л<£(Л*, В’),
для всякого т е sJt". Поэтому для л (Л*, В")
р(л)> inf Мл{ст + Г(лт)}>
те 91я
inf Мп(.ст) + f (л) = Г(л) = g (л).
Т <= 91я
Но для момента т*
Мл {ст* + g (лт*)} = g (л), л & (Л*, В*).
Поэтому и для всех	В*) риск р(л) = /*(л).
Для полного доказательства теоремы осталось
лишь установить, что функция
/(Я)= -сТ(л)
для любого т с МлТ < оо, 0^л^1, удовлетворяет
соотношению
М'4 (лт) - f (л) = сМлТ.
В силу (4.49) и формулы замены переменных Ито
([20], стр. 501)
df (л,) = с - -У- Г(1 - 2л,) + 2л, (1 - л,) In -Ь^-1 dw(.
I I L	J
\ О J
12*
179
Отсюда, применяя теорему 1 § 4 гл. 2 из [21], нахо*
дим
Мл [ Г(1 — 2л/) + 2л/ (1 — Л/) In -——"I dwt = О
J L	ОТ/ J
О
и, следовательно,
Мл/ (лг) - f (л) =
= сМ„т — -уу Мл J [(1—2nz) + 2nz(l—Л/Нп^-ур] dwt =
= сМлТ.
Теорема 2 доказана.
Замечание. В симметричном случае (а = Ь) из
(4.36) и (4.37) следует, что В* = 1 - Л и Д* определя-
ется как (единственный) корень уравнения
а ) - А* А* . о, 1 — А*
с =-л^-1^+21п-^-
§ 2.	Последовательное различение двух
простых гипотез.
Вариационная постановка
1.	Начнем с задачи проверки гипотез о среднем
значении винеровского процесса.
Пусть {^/}, t	0, — стандартный винеровский про-
цесс, заданный на вероятностном пространстве (Q,
Р). Пр едполагается, что наблюдению доступен
процесс {£/}, Z^O, с дифференциалом
= r0 dt + о dwt> g0((o) = 0, г#=0, о>0,	(4.65)
где параметр 0, принимающий два значения 0=1
(гипотеза Н{) и 0 = 0 (гипотеза Яо), неизвестен. Обо-
значим ^/=о{со:	s^Z}, о?"о={0, Q},	=
= <t/U и p /-вероятностные меры на (£2"oo),
индуцированные процессом {gj, Z^O, при 0 = Z,
Z = 0, 1.
Пусть, далее, № = {т} — совокупность моментов
остановки т = т(со) (относительно F^ = Z^O)
180
таких, что М0т<оо, М1т<оо, где Мг означает усред-
неНие по мере Рг. Обозначим ®r = {d} совокупность
с^'|-измеримых функций d = d(o), принимающих два
значения 0 и 1. Совокупность решающих правил
5 = (т, d), где т е 9)1' и d<= таких, что
а (6) = Р । (d (со) = 0} а,
р(б) = P0{d(a>) = 1}<р,
будем обозначать Д5(а, р).
Теорема 3. Пусть а + р<1. Тогда в классе
(а, р) существует решающее правило б = (т, <?) та-
кое, что для всех 6 = (т, d) е Д£ (а, р)
MiT^CMjT, Мот^Мот;	(4.66)
при этом
х (со) = inf {t 0;	В)},
т / х f 1,
а(“’_ок/	(4'67)
( V, Лт /1,
U
М®) = In («О = -^-{&(©)--£/)-, Ло(со)=О, (4.68)
Л-Ип-г^р-, В = 1п-^,
MqT (©) =-^~—,	М1т(а>) = ^^-, (4.69)
где
w(x, «/) = (!-х)1п-Ц-Д 4-х1п-Д—	(4.70)
У	L У
и
— г2
Р •
Для доказательства этой теоремы нам понадо-
бятся некоторые вспомогательные предложения, ко-
торые сформулированы в нижеследующих леммах.
2.	Пусть
Л* (®) = X+-£_.[ ^(<0)-.С/)., ДД®) = ^(<0),
T^(fl(co) = inf {/>0: ^(со)^(Л, В)},
181
и
a(x) = PJVx = А\,	6(х) = Р0/Л\ = В\,
\ хА, В /	\ ХА,В )
где А^х^В.
Лемма 6. Для всех А^х^В
/ ч __ еА (ев~х - 1) Q / ч _ ех — еА ,. _
а(%)“ в а » ₽W —«в д* (4.71)
е — е	е — е
Доказательство. Известно ([33], теорема
13.16), что а(х) есть решение дифференциального
уравнения
а" (х) + а' (х) = О,	А < х < В,
удовлетворяющее граничным условиям а(А)=1,
а(В) = 0. Аналогично, р(х) удовлетворяет уравнению
Р" (х) — р'(х) = О, А<х<В,
с условиями р (В) = 1, р(А) = О. Решая эти уравнения,
получаем формулы (4.71).
Лемма 7. Пусть tn. (х) = М .т* в (со), где А^х'^В.
Тогда
1 f (ев-И+в’л)(В-Л) , Л ]	,. _оч
пц (х) = - |-----"B_g4------ + а - X j, (4.72)
/ х 1 f (еВ - Z) (В - 4)	D , )
m0(х) = — -----ъ -л---------В + х .	(4.73)
р L е — е	J
Доказательство. Для вывода формул (4.72)
и (4.73) достаточно заметить, что функция тДх)
(/ = 0, 1) есть решение уравнения
+ (-l)l-Z-^rm'(x)= -1,
удовлетворяющее граничным условиям (А) =
= mz(B) = 0 (см. [33]).
Лемма 8. Пусть {до J, t 0, — стандартный ви-
неровский процесс:
Мдог=0, Мдо2 = /, /^0,	ш0(со)==0. (4.74)
Пусть, далее, F = {^t}, t^O, есть неубывающая
система а-алгебр	таких, что при каждом t
случайные величины wt являются i-измеримыми и
182
процесс wt+h — wt для всех h>0 не зависит от лю-
бого из событий v-алгебры t.
Тогда для всякого марковского момента т = т(со)
(относительно F = {T7't}, /^0) такого, что Мт<оо,
выполнены тождества Вальда
Маут = 0,	М^’| =Мт.	(4.75)
Доказательство. Поскольку с вероятностью
оо
единица [	(®) Л = т (<о) < °°, то определен сто-
o’
хаотический интеграл Ито ([20], гл. VIII, § 2)
оо
о
и
оо
®т(®)=/ х(х>/)(со)^Д<о).
о
Так как
оо	оо
/	(ю) Л = J Р (т /) dt = Мт < оо,
о	о
то, в силу известных свойств стохастических инте-
гралов Ито ([20], свойство II* на стр. 493),
Мшт = М J Х(т>« (®WZ = 0,
М&у2
= f MX(t>0 (®) dt = Мт,
о
что и доказывает лемму.
Замечание!. Утверждения леммы можно также
непосредственно получить из теоремы 1 § 4 гл. I
в [21].
Замечание 2. Предположение Мт<оо, входя-
щее в условие леммы 8, ослабить, вообще говоря,
нельзя, что показывает следующий пример.
Пусть r = inf{/^0: ^=1}. Из лемм 6 и 7 не-
трудно вывести, что Мт=оо и Р(т<оо)=1, откуда
1 =	Мт = оо.
183
Замечание 3. Пусть т = inf {t 0: | wt | = Л}, где
А < оо. Тогда Мт = Л2. В самом деле, положим
T;V = min(r, Af). Тогда по лемме 8 М^2^ = Мт^, от-
куда Мту^Л2, а значит, Мт = lim Мту^Л2<оо.
/У“>ОО
Снова, применяя лемму 8, находим, что М^2 = Мт.
Поскольку Р(т<оо)=1, то Мт = Мш| = Л2.
Замечание 4. Пусть т = inf w t\ = a ]// + b],
где 0<&<оо, 0^а<1. Тогда
Мт =
а2Ь
Для доказательства положим Tv = min(t, Af), N е N.
Тогда Мтд, = Мг^2 С а2М (туУ + ft), т. е. M^ <	-
а2Ь
Следовательно, Мт= lim Mtv ----------2<°°- Из за-
/V-> оо	1	(2
кона повторного логарифма вытекает, что Р (т < оо) = 1.
Поэтому
Мт = М w2 = [ w2 dP = a2 J [т (со) + b] dP =
(Т < оо)	(Т < оо)
= а2 [Мт + Ь].
Отсюда получаем требуемую формулу для Мт.
Лемма 9. Пусть /^0, — стандартный ви-
неровский процесс, F = {^^, /^0, есть система
в-алгебр, удовлетворяющих условиям леммы 8.
Если т = т(со) — марковский момент (относительно
/^0) такой, что Р(т^Л0=1, УУ<оо, то
для всякого — оо < Z < оо
Мехр|^йУг—2~Tf = 1.
(4.76)
Доказательство. Пусть
Г X2
т]^ = ехр^ \wt --у t
Тогда нетрудно показать, что процесс (тр, t, Р),
является мартингалом и Мт]^=1. Из известных
184
свойств мартингалов ([30], гл. VII, теорема II.7)
следует, что
Мтц^З sup = 3 < оо.	(4.77)
t<N
Очевидно также, что
lim
оо
J i\tdP = 0,
(Т > f)
поскольку
Р(т <Л0 = 1, N < оо. Применяя теорему 1.6 к мартин-
галу (ть t> Р) получаем равенство (4.76).
Замечание. Равенство (4.76) есть не что иное,
как известное фундаментальное тождество последо-
вательного анализа для винеровского процесса в слу-
чае ограниченных марковских моментов.
Применяемый ниже прием «урезания» (которым,
впрочем, мы уже не раз выше пользовались) позво-
ляет иногда доказать справедливость тождества (4.76)
и для неограниченных марковских моментов. Пусть,
например,
т = inf {/	0: | wt | = а ]// + &}; 0<&<оо, 0 а < 1.
Образуем «урезанный» момент ryv = min(T, У).
Тогда, в силу (4.76),
1 = М Т; т v] + М 2 т > v].
Но
М	T>Af] =
= J eWN~^NdP^ J e^^-^dP-.Q,
('C >N)	(t > AO
N -> OO.
Поэтому для рассматриваемого марковского момента
тождество (4.76) также выполнено.
3.	Доказательство теоремы 3. Покажем
сначала, что для каждого правила д = (т(со), d(co))e
Д^ (а, р)
Мот > ю(Рр а)-,	М1Т > - (ар’ ,	(4.78)
гДе функция со(х, у) определена в (4.70).
185
В силу (4.32) и (4.75),
М, In <рх (со) = Mi In (<^|) (®) = М, | |т - т | =
= м|{ 2^ Т + ^^Г } = ^г М1Т = РМ1Т- (4.79)
С другой стороны *),
M1lnqpT(co)= - Mj 1п-^-(с71)(©) =
--	/	/ 1п'3₽7<(Р|”
(cd: d (©) = !}	(со: d(o)-»0}
= - Р, {d (со) = 1) J In dP, (© \d (©) = 1) -
Q
— P1(d(©) = 0) J ln^-dP1(©|d(©) = 0)>
Q	1
> - P> (d (®) = 1) In J dP, (© I d(co) = 1) -
Q
- P, (d (®) = 0) In j* dP1 (© | d(®) = 0), (4.80)
Й 1
где мы воспользовались неравенством Йенсена
In Мп (®) М 1п т] (со),
справедливым для любой неотрицательной случайной
величины г] (со).
*) Если Pi (d (со) = Z) = 0, то произведение
Pi (d (©) = /)• Г InrfPi (со | с/(со) ^/)
J di 1
й
полагается равным нулю.
186
Преобразуя правую часть в (4.80), находим
М11Пфт (®) >
>-P1(d(®)=l)ln
_______!_______f rfP° г/р
Р,(Й(О) = 1) J dP, яг'
{со: d (cd) = 1}
J' ^jp, -
{co: d(co)=0)
- г, w w - °) m >-(l-°*ln-A-
-dln-Ц^- = (1 -a)ln^-=^- + alny^p- = (d(a, p). (4.81)
Сравнив (4.79) и (4.81), приходим ко второй фор-
муле в (4.78).
Аналогично доказывается и первое неравенство
в (4.78).
Рассмотрим теперь решающее правило 5 = (т, d)f
определенное в (4.67). Согласно лемме 6,
еА (еВ _ j)
Р! (<? (<о) = 0) = a (0) =  ~	/- = a (4.82)
ев — еА
И
P0(d(«>)= 1) = Р(0) = —L- е ~ =р.	(4.83)
ев -еА
Далее, в силу леммы 7,
М1г = 1{^-<+В>2)+Л<
Pl ев — еА	I
= -i	('-<) +ЛИ (?В-0 = 1 ш (a> Р) (4.84)
Р	ев _еА	Р	V 7
И
Mof=-Lj
и	I
= 1	+	= 1 о(р, а).	(4.85)
Р и-И Р
IS7
Из формул (4.82) — (4.85) следует, что решающее
правило 5 = (т,	р). А из сравнения нера-
венств (4.78) с (4.84) и (4.85) вытекает, что для любого
решающего правила д = (т, rf)sA^(a, р)
MqT^MqT,
Итак, 5 = (т, d) является оптимальным правилом
в вариационной постановке.
4.	На примере задачи проверки двух простых
гипотез в случае винеровского процесса сравним сред-
ние времена и Мот, отвечающие оптимальному
решающему правилу 5 = (f, d)sA^(a, р), с фикси-
рованным временем наблюдения / (а, р), необходимым
для различения гипотез Н{: 0=1 и 0 = 0, если
при этом пользоваться наиболее мощным класси-
ческим правилом [42], для которого вероятности
ошибок первого и второго рода не превышают соот-
ветственно аир.
Пусть с^| = {0, Q},	= а {а>: ^(со),	/>0.
Обозначим тДш) произвольную (^-измеримую функ-
цию такую, что тДсо) = t, и пусть dt (со) — любая
оТ^-измеримая функция, принимающая два значе-
ния 1 и 0.
Каждая пара функций д/ = (тДсо), dz(co)) задает
некоторое классическое правило с длительностью
времени наблюдения равным тДсо) = t и заключи-
тельным решением djco). Если dt (со) = 1, то прини-
мается гипотеза в случае dt(®) = 0 — п п )теза Но.
Пусть До (а, Р)— совокупность тех классических пра-
вил д^ = (тДсо), djco)), /^0, для которых вероятности
ошибок
Pi {dt (со) = 0} < а, Ро {dt (со) = 1}< р.
Очевидно, что Д^ (а, р) 3 До (а, р).
Согласно фундаментальной лемме Неймана —Пир-
сона [42], для наиболее мощного классического
правила
6/ (а, р> = (/ (а, р), dt (а, р> (<о)) е До (а, Р)
заключительное решение df{a, (ш) определяется
188
формулой
,	( 1,	(а, ₽) (®) > h (а, р),
^(а.₽)^-|0(	^(а р)(ф)<Л(а> р))
(4.86)
где длительность наблюдений / (а, Р) и «порог» Л (а, р)
выбираются так, чтобы правило д/(а,р) принадле-
жало До (а, Р).
Покажем, что
(Са + Св)2
/(а, Р)=—2р ’	(4.87)
Г2-Г2
Л (а, p) = -L^,	(4.88)
где Су — корень уравнения
1
/2л
е~х2/2 dx = у,
0<у<1.
В самом деле, для всякого правила 6/ = (/, б/Дсо))
такого, что
=	^(со)</г,
вероятность
Ро{(/Дсо)= 1} = Р0{^ (®)>/г} =
=Ро{-£г[ы®) - 'H]^/l} = p{v“’^/z + 'S’z} =
= pf^4r> h + (>t \=Ф ( h + pt\, (4.89)
I	a	J \ а J
оо
где Ф (х) = I e~xi!2dx. Точно так же
, 2я X
pjrf.W-oj-i-o/'-TTb <4-90»
Приравнивая правые части формул (4.89) и (4.90)
Соответственно 0 и а, для t = t (а, р) и h = h (а, Р)
189
получаем систему двух уравнений
h + pt	h-pt _ г
₽’ J-VT~
а	а
из которых сразу следуют формулы (4.87) и (4.88).
Таким образом, для заданных аир, а + р < 1,
в силу (4.69) и (4.87), получаем
Мот _ с, со (р, а)
t (а, ₽) ~ 2 (Са + Ср)* ’
Mff _ о со (р, а)
/(а, р) -2 (Са + Ср)2 •
(4.91)
(4.92)
Численный расчет [1] показывает, что при а, р^0,03
Мот<4Р(а’
17
М,т<^-/(а, Р).
Более того, если а = р, то (см. [1])
.. Мот .. Мт 1
lim—7---г = lim .,	=-г.
а^о а) МО Ча. а) 4
5.	Перейдем теперь к задаче различения двух
простых гипотез в вариационной постановке для слу-
чая дискретного времени.
Основной результат (ср. с теоремой 3) формули-
руется следующим образом.
Теорема 4. Пусть неотрицательные числа а и р
таковы, что а + р<1, и найдутся числа А и В,
Д<0<В, обладающие тем свойством, что для пра-
вила 3 = (т, d), где
т (со) = inf {п>0: %п(ш)0(Д, В)},
<?(©) = ! Ь	(4.93)
I 0, Zf(co) А,
вероятности ошибок а(3) и р(3) в точности равны
а и р соответственно.
Тогда правило*) 3 = (т, d) в классе Д^(а, р)
является оптимальным в том смысле, что для
*) Если от X/ перейти к статистике ф/ = е то получим пра-
вило, которое называется последовательным критерием отноше-
ний вероятностей,
19Q
любого б = (т, d) е Д1 (а, Р)
Mqt^MoT,
Доказательство оптимальности правила
§ = (т, 5), существенно основанное на свойствах бай-
есовского правила 6* = (х*, d*) (см. теорему 1), при-
ведено в книге [42] (гл. 3, § 12) и здесь воспроиз-
водиться не будет.
Замечание 1. Выше мы предполагали, что
а 4- Р < 1. Случай, когда а + Р > 1 не представляет осо-
бого интереса, в силу следующего обстоятельства.
Рассмотрим рандомизированное решающее пра-
вило, состоящее в том, что без наблюдений прини-
мается гипотеза Яо с вероятностью 1 —а и — с вероят-
ностью а. Более точно, пусть (Q, Р) — некоторое
вспомогательное вероятностное пространство и т]=т] (6),
й е Q, — случайная величина, принимающая два
значения 0 и 1 с вероятностями 1-аи а соответ-
ственно. Тогда, если л = 0, то будем принимать гипо-
тезу Но. Если же т] = 1, то примем гипотезу Нх.
Для такого рандомизированного решающего правила
длительность наблюдения равна нулю и вероятности
ошибок удовлетворяют заданным ограничениям.
Замечание 2. Теорема 4 дает условия опти-
мальности правила 5 = (т, J) в классе тех правил
б = (т, d)eA^(a, р), у которых М0т<оо, М1т<оо.
В действительности можно показать [13], что пра-
вило 5 является оптимальным и в более широком
классе правил б = (т, rf), для которых Мот и
могут принимать и бесконечные значения.
Замечание 3. Может случиться, что при задан-
ных а и р ни при каком выборе порогов А и В мы
не добьемся того, чтобы вероятности ошибок первого
и второго рода были бы в точности равны аир.
В этом случае теорема 4 не гарантирует, что среди
правил б(л, в) = (т(л, в), в))^ДЧа» Р) таких, что
т(л> В) == inf {п>0: Лп(со)0(Д, В)},
!’	(4.94)
°’ Кх(д.в)^А>
d (д, в) ~
191
найдется оптимальное. Более того, существуют при-
меры, показывающие, что правила вида (4.94) дей-
ствительно не являются оптимальными.
Вот один пример такого типа.
Пусть плотности (по лебеговской мере) ро(х)
и pi (х) задаются формулами
Ро(*) =
1,
о,
х е [0, 1],
х ф [0, 1],
| 1, X 6- [<7, U-Н 1],
I 0, х ф [а, а + 1],
где 0<а<1. Тогда для всех
Pi(х) _
Ро (х)
оо,
о,
— оо,
х е [0, а),
х^(а, 1],
х £= (1, 1 + а\.
(4.95)
Из (4.95) ясно, что при любом выборе порогов
А<0<В вероятности ошибок
Ро{^(д, в) (°) = 1} = 0, Pi {^(д, в) (<°) = 0} = 0;
при этом
Мот(Д, В) = в) — — .
Поэтому если а>0 и Р > 0, то ни при каком выборе
констант А и В, И<0<В, мы не сможем добиться,
чтобы вероятности ошибок первого и второго рода
были бы в точности равны а>0 и р>0.
В то же время правила, отличные от б(л>в), для
которых вероятности ошибок равны заданным значе-
ниям а>0 и р>0, существуют и для них математи-
ческие ожидания времени наблюдения (при каждой
из гипотез Hi и Hq) меньше
Так, например, пусть правило = dh) таково, что
(со) = inf {п > 1: (со) 0 (а + ft, 1 - Л)},
d/г (со) =
1,
о,
%>х (со)е[1—Л, а+1],
п
£ (со) £= [0, а + ft],
п
192
где 0 < h < 1 — а/2. Тогда
а(дл) = р1{^й(®)= 1} = /г,
р (дй) = Ро {</„ (а>) = 0} = А
И
Мотл =	= а, < — = Мот = Mfr.
L4 ' | ^/4	L4
6. В случае винеровского процесса по заданным
аир можно точно найти как пороги Л, В, опреде-
ляющие оптимальное правило, так и математические
ожидания Мот, Муг времени т, необходимого для раз-
личения гипотез с ошибками, не превышающими а
и р. Для дискретного времени задача отыскания А, В,
Мот и Мут в общем случае весьма сложна. Можно,
однако, дать оценки для этих величин, которые для
приложений оказываются, как правило, вполне удо-
влетворительными.
Пусть 6(д, в) = (т(А в), d{At в)) — решающее правило
такое, что
т(Л, В) = inf {п > 1:	(Л, В)},
| 1>	(4.96)
^(Д. В) ~ п Л	<- Д
U’ Sa. В)
где
Л„ = 1п<р„= Xln J‘(^) •
fe=l
Как следует из теоремы 4, оптимальное правило 3
является правилом типа (4.96). Будем обозначать
а (Л, В) — а (6(д, в)) = Pi {d(A> В) (а>) = 0}
и
Р (А В) = р (3(Д, в)) — Pd {d{A, в) (со)= ll-
Teo р е м a 5. Если при заданных константах А
и В
Р/{Т(Д, В) < °°} = 1>	* = 0,1,	(4.97)
« а(Л, В) < 1, р(Л, В)< 1, то
In а	Д о in ' ~(л а«\
n 1 — р (Л, В)	В^1п	♦ (4.98)
13 А, Н. Ширяев	193
Доказательство. При заданных А и В ве-
роятность
J dPi (со) =
{Лт<л, в)< л)
гЦат(лв);	_
J	dp‘^
{ Т(Л В) J
/Лл.в) dP0(®X

откуда вытекает первое неравенство (4.98). Ана-
логичным образом устанавливается справедливость
и второго неравенства в (4.98).
7. В нижеследующей теореме приведены условия,
которые, в частности, гарантируют выполнение тре-
бований (4.97), входящих в формулировку теоремы 5.
Теорема 6. Пусть — оо<А^0<В<оо и
рД|1п-^141>°1->0>
Ч I Ро (go) I J
1 = 0, 1.
Тогда Р( {т(Л в) < оо} = 1
что для всех t t0
и существует tQ > 0 такое,
Мге/Ч.в)<Оо) i = 0, 1.	(4.99)
Доказательство. Пусть
Zk = 1п Ро (gft) ’ S* = Z'+ ••• +Z*
и С = В — А. Предположим сначала, что Pf{|zJ^C} =
= Pi < 1. Тогда
{со: т(л, в) = {(о: А < sk < В, 1 k п — 1}
и, следовательно,
РЛТ(Л, В) >«}</’"*>	<4-100)
194
•куда
/^•в)= 2^Р;{т(лв) = ^}<
fe= 1
< 2 e‘kPi {Т(Л, в) > $ < е‘ 2 (е'р/ < оо,
k=l	k=0
ли только elpi < 1.
Пусть теперь Pf {|zk | С} = 1. Тогда найдется та-
>е конечное m^l, что
Pf{|zi+ ... +zk\^C} = pi< 1,	Pi>0,
куда следует, что
Р. {X(A,B)>mk}<PT~l
РЛт(Ав)>«)^4",1 ‘<Pr’W/,n)n- (4-Ю1)
Следовательно,
М(.^.в)<р-22(^)й<оо,
ли только е1р\1т < 1.
Из неравенства (4.99) вытекает, конечно, что не
лько Р. [т,. R.<ool = 1, но и что моменты М,.т" R,<oo
(и всех п 1.
8.	Вывод оценок (снизу) для среднего числа не-
•ходимых наблюдений будет существенно опираться
l один общий результат, известный под названием
ждества Вальда (ср. с леммой 8).
Пусть (Q, о7\ Р) — некоторое вероятностное про-
ранство и g, gb g2, ...—последовательность не-
висимых одинаково распределенных случайных ве-
1ЧИН. Обозначим <^„ = ог{со:	g„}, s„ = gi + ... + £«
т = т(со) марковский момент (относительно системы
= {<^n, n^l}), принимающий значения 1, 2, ....
Лемма 10 (тождество Вальда). Если
|g|< оо, Мт < оо, ТО
MsT= Mg • Мт.
'ли к тому же Mg2 < оо, то
М [st - TMg]2 = Dg • Мт,
'е Dg = Mg2- (Mg)2.
(4.102)
(4.103)
13*
195
Доказательство. Пусть Tv = min(T, N), где
Af<oo. Обозначим = sn — /гМ£. Нетрудно видеть,
что элементы (т]п, ^п, Р), /1^1, образуют мартингал.
Очевидно, что
М |цт I < оо, lim (	|т)п|^Р = 0- (4.104)
\ г>\
(xN>n)
Поэтому применима теорема 1.6, в силу которой
Мт]т^ = Мт^ = 0, и следовательно,
MsTa, = M£. Mtv.	(4.105)
Таким образом, для марковских моментов, огра-
ниченных с вероятностью единица, тождество Вальда
установлено. Перейдем к рассмотрению общего случая.
Из (4.102) имеем
М{|^|+...+|^|} = М|^.М^<М|^.Мт<оо.
(4.106)
Поскольку с вероятностью единица Тд^т,
f=i
т
f 2 I L* I» ^“>00, то из (4.106) получаем, что
м“('|Ы+---+1^1)-Лт„м (IE. 1+
М |g | • Мт < оо.
Следовательно,
М|т)тК M|sT |+ Мт • М|£|<
<М{Ы+ ... +|^|} + Мт. M|g|<oo. (4.107)
Покажем теперь, что
Дтоо J hre|rfP = O.	(4.108)
(Т > п)
Имеем
<1111+ ... +ILI + «M|||.
На множестве {©: т > п}
Ш<11!1+... +ISJ + WI.
196
Поэтому, так как M(||i | + ... + | £.J) < оо, Мт<оо, то
/	/ {Ы+... +|^|}ЙР +
(Т > п)	(т > п)
+ М|£| j т (о) dP (cd) -> 0,	п—>оо,
(Т> п)
что и доказывает (4.108).
В силу условий (4.107) и (4.108), к мартингалу
Ob, Р) применима теорема 1.6. Поэтому Мт]т = 0,
или, что то же, М (sT — тМ£) = 0. Но так как M|sT| <оо,
Мт < оо, М|£|<оо, то, следовательно, MsT= Мт • М£,
что и доказывает первое утверждение леммы.
Замечая, что процесс (т^ —nD£, п, Р),
является мартингалом, подобным же образом дока-
зывается справедливость формулы (4.103).
Развитые выше соображения, основанные на при-
менении теоремы 1.6, позволяют получить также
соотношения (аналогичные (4.102), (4.103)), включаю-
щие моменты старших порядков. Для случая огра-
ниченных марковских моментов т = т(со) (Р(т^Л0=1,
N < оо) проще всего их получат^ из фундаменталь-
ного тождества последовательного анализа:
М{?^[ф(Л)Гт} = 1,	(4.109)
где комплексное Л таково, что ср(Л) = Ме^ сущест-
вует и не обращается в нуль.
Формула (4.109) непосредственно следует из тео-
ремы 1.6, если заметить, что элементы	[ф(Х)]”Л
Р)> образуют мартингал, причем
Me^'[<p(Z)]-l = 1.	(4.110)
Предельным переходом от «урезанных» моментов
Tyv = min(r, N) тождество (4.109) иногда удается уста-
новить и для марковских моментов т, принадлежа-
щих классу ЗЯ (см. замечание к лемме 9).
9.	Приведем теперь оценки для среднего числа
необходимых наблюдений в задачах различения N
конкурирующих гипотез, где, вообще говоря, будем
считать	Поскольку выше рассматривался слу-
чай лишь двух гипотез, нам придется ввести неко-
торые дополнительные обозначения, вызванные этим
предположением.
197
Пусть на измеримом пространстве (Q, ^) заданы
меры Ре, 0 = 0, 1, Af — 1, и последовательность
независимых одинаково распределенных (по каждой
мере Ре, 0 = 0, 1, АГ—1) случайных величин
g2, • • • • Без ограничения общности можно пред-
полагать, что распределения вероятностей Р$(х) =
= Ре{(о: (со) х} имеют плотности ре(х) относительно
некоторой (о-конечной) меры ц.
Положим Jrzl = o{co:	gn}, n^l, и пусть
т = т (со) — марковский момент (относительно системы
{^п}, я^1), принимающий значения 1, 2,..., сю,
такой, что Р0 {т < оо} = 1 при всех 0 = 0, 1, ..., N — 1.
Пусть также d = d(co) есть с^т-измеримая функция,
принимающая Af значений d0, ..., dN_{. Значение
d(co) = dz будет интерпретироваться как принятие
гипотезы Нс. 0 = i.
Пусть
a// = P,{d(®) = d/},	0<г,
— вероятность принять гипотезу Я/, когда 0 = Z и
применяется решающее правило 6 = (т, d).
Теорема 7. Пусть i,	—1, фиксиро-
вано и aik = 0 всякий раз, когда при некотором j=£i
вероятность а^ = 0. Пусть также р,{х: рДх)=Н=р/(х)}>0,
j=^=i. Тогда
N-\
V in
М;т>тах—---------7ГХ->	(4.1H)
1 Pi (£1)
где выражения вида 0 • In-у считаются равными нулю
при любом с^О.
Доказательство проводится по тому же
плану, что и доказательство неравенств (4.78). Если
Мгт = оо, то неравенство (4.111) очевидно. Так что
в дальнейшем будем считать М^т < оо.
Наряду с i зафиксируем также некоторое / =/= Z.
Тогда, в силу неравенства Йенсена и предположе-
ния ц{х: Pi(x) =/= Pj (х)} > 0,
О < М;1п-^Ц|4 =	[ ln-^44 Pi(х)Ф(х), (4.112)
1	Р/(£1) J Pj(x) 1 v 7 '
{х:	(x) > 0}
198
(см. [40], стр. 63). Если Mjn — оо, то неравен-
ство (4.111) становится тривиальным.
Пусть MJn—-f1- < оо. Согласно лемме 10,
PMS1)
М, In ' Pf = м . м ь .
'	Р/(Е1) ...р/(£т)	1	1 Pj&i)
I X Р/(Е1(®)) •••Р/(Ет(®))
Обозначая Ч W -	)£| (<а|, ...	, и D,-(0«5К
1:	Ф 0}, в силу неравенства Йенсена для
In л (со), получим
7V-1
= - 2 J	In т) (со) dPi (и) =
k=0 {G): d((D)=dkj
= - S J In Т) (со) rfPz (и) =
k^Di {<о: d«0)-dk)
= - 2 Р*И(®) = 4} / lnT](oj)rfP1-(<B|rf(co) = dft)>
feED(.	Q
> - S P; (®) = *4) In Jn(°>)rfPi(<°ld(“) = cW =
= - 2	= X
k^Di
I [v f	rfPz(a>) 1 M1]ox
xln 2i J Р1(ы...pi&n)' Pt{d(<i>)=dk}	’ (4-113)
^n=iAkn	>
где множество
Akn = {T = n} П {Pi (h) ..-Pl (gn) > 0} n {d (<o) = dk}.
Ho
f Pi (Ei) ••• Pi (In) dPj (m)______
J Pz(Ei) ••• P»(En) Pi (d (<o) = dk) ~
Akn
= ~чГ !dP/(®X“ir J dp/(®). (4.114)
Akn	{T=n}n(d=dft}
199
Поэтому из (4.113) и (4.114) следует, что
мг inpi ,(f ‘j—• рЦ|4-:
‘ Pjdt)  Pjdr)'

k^Di
k^Df
Сопоставляя
оценку
это
неравенство с
ЛГ-1
У a«ln-^.
ie Vjk
k = 0
(4.115)
получаем
(4.112),
S az*,nԤ7
k=0
M/r	,
Mf In
pidi)
(4.116)
из которой сразу следует (4.111).
Следствие 1. Пусть Af = 2. Обозначая a = a10,
fl = a01, из (4.111) находим
Мот>
со (fl, a)
Мо In
Po(Ei)
Pi (gi)
где функция
®(x, //) = (! -х)1п-Ц^ + х1п
Следствие 2. Пусть jV^2, an = a при всех
i = 0, 1, ..., N — 1 и az/ = e , / =#/. Тогда
a/V-1 a(Af-l)
кл \ W-l П 1—a	/л
Mzr>--------------------.	(4.117)
min М/ ln-c-L
PI
§ 3.	Задача о разладке. Дискретное время
1.	В рассмотренной выше задаче различения двух
простых гипотез одномерное распределение вероят-
ностей случайных величин gb • • • оставалось не-
изменным (хотя и неизвестным) в течение всего про-
цесса наблюдения.
200
В теории обнаружения, статистическом контроле
часто приходится сталкиваться также с задачами,
в которых вероятностные характеристики наблюдае-
мых величин могут измениться в случайный момент
времени 0 = 0(со) (момент появления «разладки»).
Ниже приводится ряд постановок таких задач и пред-
лагаются способы их решения, основанные на изло-
женной в предшествующих двух главах общей тео-
рии оптимальных правил остановки.
Для уточнения постановки задач нам потребуются
некоторые обозначения.
Пусть (Q,	— измеримое пространство и {Ря,
0^ л 1} —семейство вероятностных мер на нем.
Предположим, что на (Q, <^) заданы: 1) случайная
величина 0 = 0(со) со значениями в 7V={0, 1,...};
2) последовательность случайных величин gb g2, ... .
Будем предполагать, что для каждого 0 л 1
Рл {0 (со) = 0} = л, Ря {0 (со) = п\0 (со) > 0} = (1 - р)п~1 р,
(4.118)
где константа 0<р< 1 считается известной и не за-
висящей от л.
Пусть, далее, при каждом п 1 вероятности
Рл (*Ь • • • > Pjt {^1	• • • >
таковы, что
Рл (-^1» • • •, Хп) = ^Р1 (-^1, • • • >
+ (1 -л)2р(1 -рУ Po(xi, .... Xi)Pi(x{+l,.... х„) +
‘~° +(1-л)(1-р)яРо(хь .... х„).	(4.119)
Предположим также, что случайные величины gb g2, • • •
по каждой из мер Ро и F\ независимы в совокуп-
ности, т. е. при любом гг^1
РДхь ..(л:,) ... Pi(Xn), Z = 0, 1.	(4.120)
Без ограничения общности можно считать, что рас-
пределения Р^х) имеют плотность pz(x), f = 0, 1
(по некоторой cr-конечной мере ц).
Наглядный смысл условий (4.118) — (4.120) состоит
в следующем. Если 0(со) = О, то наблюдается после-
довательность независимых одинаково распределенных
14 А. Н. Ширяев
201
случайных величин gb |2, • • • с плотностью ве-
роятности (х). При условии же 0 (со) = i случайные
величины ..., gf_b gb ... независимы в совокуп-
ности, причем §ь	одинаково распределены
с плотностью вероятности р0(х), a gt-+b ... — также
одинаково распределены, но с плотностью вероят-
ности Pi(x). Рассматриваемая ниже постановка за-
дачи скорейшего обнаружения момента появления
«разладки» сохраняет свой смысл и для более об-
щих, нежели (4.118), распределений. Геометрический
характер распределения вероятностей для момента
появления разладки принят нами лишь ради про-
стоты изложения.
2.	Пусть g0 (со) = 0,	= о {(со, л): л, g0 (®), gi (со), .. .
. ..,	(со)},	и ЗЯ = {т} — класс моментов оста-
новки т = т(со, л) (относительно системы Г = {<^п},
п 0).
Каждому марковскому моменту т = т (со, л) соот-
ветствует вероятность «ложной тревоги» Ря(т<0) и
среднее время запаздывания Мя (т — 0|т	0) в обна-
ружении момента появления разладок в предполо-
жении, что сигнал «тревоги» подается правильно,
т. е. при условии {т 0}.
Естественно желать найти такой марковский мо-
мент, чтобы как вероятность «ложной тревоги», так
и среднее время запаздывания были бы по возмож-
ности малыми. Противоречивый характер этих тре-
бований приводит нас к следующей постановке.
Вариационная постановка. Пусть л фиксировано,
0^л<1, и ЭЯ (а; л)^ ЭЯ —тот класс марковских мо-
ментов т = т(со, л), для которых
Рл(*<6)<а,	(4.121)
где а —некоторая заданная константа, 0^а<1. Мо-
мент т = т (со, л) е ЭЯ (а; л) назовем оптимальным, если
Мя(т-0|т>0)<Мя(т-0|т >0)	(4.122)
для всех те ЭЯ (а; л).
В теореме 9 будут даны условия, при которых
оптимальное правило существует.
Доказательство этой теоремы существенно опи-
рается на знание наилучшего решения в следующей
(байесовской) постановке задачи о «разладке».
202
Байесовская постановка. Пусть
р (л, т) = Ря (т < 0) + сМя (т - 01 т > 0) Ря (т > 0),
где константа с>0, и р(л) = inf р (л, т).
х е ЭД
Марковский момент т* = т*(со, л) будем называть
^байесовским, если для данного л
р (л, т*) = р (л).	(4.123)
Если для некоторого т* = т*(со, л) равенство (4.123)
выполнено при всех л, 0^л^1, то этот момент на-
зовем байесовским.
3.	Теорема 8. Пусть £>0, р>0 и
лп(со, л) = Ря{0(со) <п|^п},	п>1,
— апостериорная вероятность наличия разладки к мо-
менту времени п, л0 (со, л) = л.
Тогда момент
и* (со, л) = inf {п 0: лп (со, л) Л*},
где Л* — некоторая постоянная, является байесовским.
Доказательство. Как и в § 1, мы сначала
покажем, что отыскание байесовского момента можно
свести к решению специальной задачи об оптималь-
ной остановке для некоторого марковского процесса.
По формуле Байеса Ря-п. н. для всех
Я/ц-1 (СО, л) =
=_____________Ml(Ul) + d — ЛСп) Р * Pl (&п+1)__
Ml + (1 ~ Яп) Р ’ Pl (ln+1) + (1 - ТСп) (1 - р) ро (%п+1) ’
(4.124)
где
= Лп (СО, л),	+ 1 =	+ 1 (со).
Отсюда, в силу леммы 2, следует, что элементы
Пя = {л„ (<0, л), &Ря} образуют марковскую слу-
чайную функцию.
Для каждого 0 л 1 и т е 2R
р (л, т) = Ря (т < 0) + сМя (т — 01 т > 6) Ря (т > 0) =
= Мя(1 — лт) + сМятах(т —0, 0),	(4.125)
где Мя означает усреднение по мере Ря. Преобра-
зуем математическое ожидание Млшах(т —0, 0) к
более удобной для наших целей форме.
14*	203
Для каждого имеем
Мя [max (п — 6, 0)| еГ Д =
= 2 (» - k) ря (о = k | <^„) = 2 [Ря (о < k |	=
k = 0	k=0
="i [p« (6 < k । ^n) - ря (о < k ।	+
fe=0
+"ip«(o<*i^\)=
fe=0
= 2 [Pn (0 C k I	- ря (0 < k I ^rk)] + 2 л/е.
A=0	/г=0
Обозначим
^(®, л) = 2[Ря(0<^|^'„)-Ря(0</г|^)] =
fe=0
= - 2[РЯ(0>^1^'«)-РЯ(0>^|^)].
k=0
Последовательность (i|)„(cd, л), PJ,	для
каждого	1 образует мартингал. В самом деле,
очевидно, Мя|'ф„(<о, л)|< оо и
Фа+1 (®, л)= 2 [Ря(0<£|<^п+1)-Ря(0</г|^*)],
/г=0
откуда следует, что (Ря-п. н.). Мя[т|з„+1 (<о, л,)\<^'п] =
= 1|)„ (<о, л).
Поскольку
|^(®, л)|< 2 Ря(0>^п)+ 2 Ря(0>k\^k),
k=0	k=Q
где (в силу предположения р>0)
мя 2ря(0>£1^я)= 2ря(6>£) = мя0<оо
k = 0	k=Q
И
оо
мя2ря(0>^1^) = мя0<оо,
fe=0
204
то для т (со, л) е ЭК
lim
П-> ОО
J л)|(/Ря
(т>п)
= 0.
(4.126)
Ясно также, что
Мя|1])т (со, л)| < оо, т s Эй. (4.127)
Из условий (4.126) и (4.127) следует (см. тео-
рему 1.6), что для всякого т е Эй
Мя1|)т(ш, л)= M„i|)o(co, л) = 0, 0<л<1.
Поэтому если т е Эй, то
р (л, т) = Ря (т < 0) + сМя (т - 01 т > 0) Ря (т > 0) =
[	т-1	\
= МЯИ1 — Лт) + с2 л* + сфт(со, л) ? =
I	k=0	)
(	Т-I	'I
= М Л	I ( 1	Л-г) +	2	|
I	fe=0	J
и, следовательно,
{т— 1
(1 -лх) + с 2 лк .	(4.128)
k=0	)
Процесс Пя = (пп (со, л), п, Ря), /г^О, образует
субмартингал (Мя [лп+1|^п] > лп, Ря-п. н., /г>0). По-
этому (см. теорему 1.3) с Рл-вероятностью единица
существует предел lim лЛ. При этом очевидно, что
П-> ОО
lim пп 1 и lim Мяп = 1.
П->оо	/2—>оо
В силу леммы Фату,
1 = lim Млга М lim лЛ,
гг->оо	п->оо
а следовательно, limnrt=l с Ря-вероятностью еди-
П->оо
ница для любого л, 0^л^1. Отсюда вытекает, что
п
lim 2 л* = 00 (Ря-п. н., О л 1). (4.129)
П->оо k = 0
Чтобы иметь возможность применить разработан-
ную выше теорию об оптимальных правилах оста-
новки к рассматриваемым задачам, свяжем с семей-
ством марковских случайных функций {Пя, 0^Сл^1}
некоторый марковский процесс.
205
Пусть Q' = Q X [0, ^ — пространство точек <о'=
= (со, л),	= X 5? ([О, 1 ]), для всех
п'п (со') = Пп (со, л)
и
Ло (со') = л, = а [со': л' (со'),	(со'), ...,	(со')),
где £'(со') = 0 и £'(со') = (со). Будем обозначать Р'
меру на множествах А е = a I (J еТ"'), опреде-
\п^0	/
ленную формулой (4.15).
Тогда нетрудно установить, что элементы ГГ =
= (л', &"п> р;)>«е N, л е[0, 1], образуют Марков-
ский процесс. Чтобы упростить запись, вместо л'
и будем писать лп и <^п.
Заметим теперь, что класс 3)1 является также
классом марковских моментов относительно системы
n^N. Поэтому, согласно (4.128),
{Т— 1	'j
(l-n^ + cjnj =
ьо j
f	т-1	'I
= inf М' ] (1 -лт)-н2л& f. (4.130)
TG=1R I	&=o J
Пусть 2ЛЯ--класс марковских моментов те ®
таких, что при каждом n е N
{©': т (со') = п} е оТ'га,
где = or {о/: л0, ..., лп}. Тогда, в силу резуль-
татов п. 3 § 7 гл. II, имеем
{Т-1 'j
(1 -лт) + сУ Л* =
fe=0 I
[	Т—1	Ч
= inf М'„ (1 -лт) + с2лЛ. (4.131)
re’Di71 I	А>=0 J
Итак, задача отыскания байесовского момента
сведена к некоторой задаче об оптимальной оста-
новке марковского процесса П', для решения кото-
рой применимы методы, развитые в § 8 гл. II.
206
Обозначим $я класс тех марковских моментов
т е для которых
м„ < °°>
/г=0
О я 1-
Тогда (см. § 3 гл. И)
{т— 1
(1 — Лт) + С 2 Я/г
fe-C
и следовательно, в дальнейшем достаточно рассма-
тривать лишь марковские моменты т из класса 91я*
Пусть g (л) = 1 — л и
Qcg(n)=»min{g-^), ел + 7g (л)},
где (л) = Мл£ (л^. Положим
v (л) = lim Qc g (л).
П->оо
Незначительная модификация доказательства лем-
мы II.4 позволяет показать, что — ц(л) является
наименьшей (1, с)-эксцессивной мажорантой (см. § 8
гл. II) функции — g(л). Следовательно, в частности,
— v (л)	— сл — Т v (л), 0 л	1,
и при любом N
- v (л) > — Мл | v (л„) + с 2
V	ьо
(4.132)
Отправляясь от этого неравенства, нетрудно уста-
новить (ср. с доказательством неравенства (1.34) и
формулы (2.122)), что для всякого ограниченного мар-
ковского момента т = т (со') (Р' (т (o') AQ = 1, О
^л1, N < ©о)
I	т—i
— V (л)	— Мл 1 V (лх) + С S nk
I	/г~0
(4.133)
207
Отсюда следует, что если т е и tjv = min (т, Af),
N < ОО, то
Г	т-1
- V (л) > - | V (лт) + с лк
(х<ю L	fe=o
dP л —
(т>Л0
/V-1
1/(ллг) + с^ лк
*=0
dP'n.
Т—1
Но IV (л) К 1 И Мл 2 7tk < оо, если те SR"; поэтому
fe=0
При /У~> ОО
W-1
J I V (л/v) + С | б/Рл =С
(T>/V)	fe=o
т-1
J с л*г/Рл + Рл (т N) -> 0.
(т>Л0 fe=0
Следовательно, функция — v (л) является наимень-
шей регулярной (1, с)-эксцессивной мажорантой функ-
ции -g(n).
Из теоремы 11.16 вытекает, что
р(л) = Пт Qcg (л)
гг->оо
(4.134)
И
р(л) = min {(1 —л), сл + Гр(л)}.	(4.135)
Простая проверка показывает, что каждая из функ-
ций Qcg (л) выпукла вверх. Поэтому риск р(л)
является также выпуклой вверх функцией, непрерыв-
ной на интервале (0, 1).
В силу (4.129) и следствия к теореме 11.16, при
с > 0 момент
т* (а/) = inf {п > 0: р (л„) = g (лп)}
является оптимальным в классе т. е.
{т-1 'j
(1 — Лт) + С 2 7lk [ =
k = 0	'
I	т*“1	1
= Мл ] (1 — Лт*) + с 2 Л& ( •
I	/г=0	J
208
Очевидно, что этот момент принадлежит также и
т*-1
классу т. е. Мя 2 Л/г < 00 при всех 0^л^1,
/2 = 0
Из уравнения (4.135), выпуклости вверх и не-
прерывности каждой из функций 1—л, р(л) и ел+Гр(л)
вытекает существование такого числа Л*, 0^Л*^1,
что
т* (o') = inf {п > 0: р (л„) = g (л„)} = inf {п >0: лп > А*}.
(4.136)
Следовательно, момент т‘, определяемый форму-
лой (4.136), является байесовским моментом, что и
требовалось доказать.
4. Перейдем теперь к отысканию оптимального
момента т = т(со, л) в вариационной постановке.
Зафиксируем некоторое л, 0^ л < 1, и константу а,
0<а< 1. Обозначим 2)1 (а; л) совокупность тех мар-
ковских моментов т = т (со, л) е 2№, для которых ве-
роятность ложной тревоги Ря(т<0)^а. Заметим
прежде всего, что при заданном л основной интерес
представляют лишь значения а < 1 — л.
В самом деле, если а	1 — л, то, положив т (со, л) = 0,
мы получим
Ря (т < 0) = Ря (0 > 0) = 1 - л < а
и
Мяшах(т — 0, 0) = 0,
откуда вытекает, что момент т(о>, л) = 0 является
оптимальным в классе 2)£(а; л), если а^>1— л.
Итак, будем предполагать, что а < 1 — л. Обо-
значим
тл((о, л) = тГ{п^0: лп(со, л) А}
и
«Д (л) = Рл Ьд (®, л) < 0 (со)} = Мя {1 - Лгл (со, я)}.
Ясно, что а0 (л) = 1 — л, (л) = 0 и функция аА (л) не
Убывает с ростом Л,	Будем рассматривать
Далее лишь тот случай, когда ал(л) является не-
прерывной функцией по А.
209
Пусть а < 1 — л и А (а) — то наименьшее из А,
для которых ал(л) = а. Рассмотрим риск
(л) - inf {Ря (т « 0) + сМя (т - 01 т > 0) Ря (т > 9)},
где индекс с у рс(л) введен для того, чтобы под-
черкнуть зависимость риска от с. Пусть Л* (с) —то
значение порога Л* (зависящее от с), которое входит
в определение байесовского момента (4.136). Не-
трудно показать, что Л*(с) является непрерывной не-
возрастающей функцией от с. причем Л*(0)=1 и
lim Л* (с) = 0. Будем обозначать с* (Л*) то минималь-
С->оо
ное с, при котором Л* (с) равно Л*.
Пусть 0 < а < 1 — л и са«= с*(Л (а)). Рассмотрим
риск
рс (л) - inf {Ря (т < 0) + саМя (т - 0 | т > 0) Ря (т > 0)}.
(4.137)
Согласно теореме 8, байесовский момент
(со, л) = inf {п 0: лл (о, л) > Л* (са)}, (4.138)
при этом, в силу определения са,
Рл{<а(о), л)<0]=а.	(4.139)
Пусть т = т(со, л) —некоторый марковский момент,
принадлежащий классу SPt (а; л). Тогда
Ря (* < 9) + саМл (т -- 91 т > 0) Рл (т > 0) >
> Р»< О)+«А - 0,	°) Р->е) -
-а + са(1 -а)М„(т;о-0|т;в>е).
Но Ря(т<0)^а, поэтому
са(1 -а)М„(т-в|т>0)>
> саР« > ®) М« (<„ - 81	(4-14»)
Если 0<а<1— л, то са=#0. Действительно, если
са = 0, то Ря(т*<0] = Мп П — л J =0.
I	1м1
210
Таким образом, £а(1 — а)>0 и из (4.140) получаем,
что для любого те ЭЙ (а; л), 0<а<1—л,
Мя(т-0|г>0)>М„(<о-0|т;а>9). (4.141)
Нахождение для каждого 0<а<1 точного зна-
чения величины 24 = Д*(са) является весьма трудной
задачей. Поэтому полезной может оказаться сле-
дующая оценка для А:
А 1 — а.
(4.142)
Для доказательства (4.142) надо лишь заме-
тить, что для каждого 0 А 1 и тл (со, л) =
= min {п 0: пп (со, л) А}
Мл{1
лгл) < 1 - А,
откуда 1 — Ря(тл< 0), что и доказывает (4.142).
Итак, доказана следующая
Теорема 9. Пусть 0<а<1, 0^л<1, р>0 и
Эй (а; л) — совокупность тех. марковских моментов т,
для которых Ря(т<0)^а. Тогда если при каждом л
функция ал(л) непрерывна по А, то марковский
момент
т = т* =inf{n^>0: лп^Л},
(4.143)
где Л = Л*(са), является оптимальным в том смысле,
что для всякого т е ЭЙ (а; л)
Мя(т-0|т>0)<Мя(т-0|т>0).
Порог Л = Л*(са) удовлетворяет неравенству (4.142).
Замечание. Функция ал(л) будет непрерывной
по Л, если при каждом п функция распределения
вероятностей случайных величин лЛ(ш, л) является
непрерывной. Это условие в свою очередь выпол-
нено, конечно, если, скажем, плотности рь(х) и Р\(х)
(относительно лебеговской меры) являются гауссов-
скими.
211
§ 4.	Задача о разладке для винеровского процесса
1.	Пусть на измеримом пространстве (Q, ^) заданы:
1)	семейство вероятностных мер {Ря> 0^л<Л};
2)	случайная величина 0 = 0(со) со значениями
в [0, оо) такая, что
Рл {0(g)) = 0} = л, Ря{0(ш)>/|0(ш)>О} = е-Ч />0,
(4.144)
где константа Л, 0<Л< оо, известна и не зависит от л;
3)	стандартный винеровский процесс {^J,
не зависящий (по каждой из мер Ря) от 0 = О(со) и
такой, что (со) = 0, MnAtiyz = 0, МЯД^ = Д/.
Предположим, что наблюдению подлежит слу-
чайный процесс {^}, /^0, допускающий стохастиче-
ский дифференциал
d$t = (/ - 0) dt + о dwt, £0 (со) 0, (4.145)
где
м Л z х fl, ^>0,
«>0, Г^о, х«-(01(<0
По аналогии со случаем дискретного времени
изучим задачу обнаружения момента 0 = 0 (со) в бай-
есовской и в вариационной постановках.
2.	Байесовская постановка. Пусть
с^^==сг{(о, л: л,£5(со),
р(л)= inf {Ря(т<е) + сМя(т-0|г >0)Рл(т>е)},
Т €=
(4.146)
где константа с>0. Как и в § 3, момент т* —
= т* (со, л)е2№ назовем байесовским, если при всех
0<л<1
Ря(т*<0) + сМя(т*-0|т*>0) Ря(т*>0) = р(л).
Теорема 10. Байесовский момент т* = т*(со, л)
существует и задается формулой
т*(со, л) = т!{/^>0: л, (со, л)^Л*},	(4.147)
где
л, (со, л) = Рл(0(со)^/|о7\).	(4.148)
212
Порог Л* есть {единственный) корень уравнения
д*
-1 _ Г л-А [Я (Д*)-Я (X)] dx
J	X (1 -х)2 ’
(4.149)
где С = с
Более того,

р(я) =
1/я
(1 - Д*) + с [ — (х~1)Л
1/Д* х2
е ^ии
(и - 1)2+л
du dx,
О л Л*,
1 — л,
Л*<л< 1.
(4.150)
3.	Для доказательства этой теоремы нам понадо-
бится следующая
Лемма 11. При каждом 0^л^1 случайная
функция
пя =	(©, я), &t) ря}, t > 0,
является марковской с дифференциалом
dnt = K{\ — Л/)dt + уяД1 — л,)dwt, л0 = л, (4Л51)
где wt — некоторый стандартный винеровский процесс.
Доказательство. В силу леммы 4, для каж-
дого л, 0 л 1, найдется стандартный, винеровский
процесс t^O, такой, что
d%t = rnt dt + o' dwt, £0((о)==0.	(4.152)
Обозначим рД •), s^O, меру в пространстве
действительных функций х = {%J, t 0, х0 = 0, отве-
чающую процессу {т)*}, />0, со стохастическим диф-
ференциалом
^ = ^(/ — 5)^ + 0^,	о>0,	Т]0((0) = 0.
В случае s = оо обозначим ц (•) =	(•).
213
Пусть
v"( • ) = лц0( • ) + (1 -л) J	• )ds
О
и
*"( • ) = v£( •
Из формулы Байеса следует, что
dv?
М®. л) = рде(й>)</|^=^(^))
dv"
где —й ($) есть производная Радона — Никодима
dv
меры Vя по мере Vя в «точке» ^(см. [54]). Поскольку
меры Vя, Vя и ц взаимно абсолютно непрерывны,
то (vn-n. н.)
____________________________о	
t___________________________ОО_________________________’
($+(1 "я) J U~KS	&>+(1 -") [ te-*5
О	t
Но хорошо известно [54], что (ц-п. н.)
и, очевидно,	s>t. Поэтому (v-n. н.)
up,
щ (ю> л) =
пе
пе
л }
2 I + (1 - л) J
_____________________________0_
+ (1-л)/^^'
о
— (/-$)] -ks
2	ds
,Г(/_5)] _Х5
2 ]Ле	ds + (l— л)е
(4.153)

214
и, следовательно,
1 “ TCf (со, л) =
_(1-л) е~и
леа I * + (1— n)J еа *	Ue ds+(l— л)е
о
(4.154)
В силу неравенства Колмогорова [30],
рл|зир|ш5|>с|<-^-,	t>0.
Поэтому Ря {sup|ffijs| < оо| = 1, /^0, и, согласно
(4.152), S<
Pn|sup||J< °°| = 1.	(4.155)
Из (4.155) следует, что для любого конечного t ^>0
Ря{л,<1;	=	(4.156)
если только 0^л<1.
Положим ф/ = t 2^ • В силу (4.156), имеем
Ря{ф5<°°; $</} = 1, 0<л<1, />0, (4.157)
при этом, согласно (4.153) и (4.154), для всех 0^л< 1
ф, _ ^еи • >	'1 + Хг" f
т‘ 1 — Л	J
(4.158)
Стохастически дифференцируя (4.158), нетрудно найти,
что для всех 0 л < 1
dqt = Л (1 + ф,) dt + ф< dlt, ф0 (ш, л) =	• (4-159)
Отсюда для t по формуле замены пере-
менных Ито ([33], теорема 7.2; [20], стр. 501), при-
менимость которой законна, в силу (4.157), получаем
сЦ = (1 - л,) (% - -£ л|) dt +	(1 - л,) d^t. (4.160)
315
Учитывая (4.152), из (4.160) приходим к представле-
нию (4.151).
4.	Доказательство теоремы 10. Как и
в случае дискретного времени с семейством марков-
ских случайных функций {Пя, 0^ л 1} естествен-
ным образом связывается марковский процесс П' =
== (л/ (со'), Рл), / е Г, где со' = (со, л), л0 (со, л) = л,
(У"' = (1{со': л0 (со'), gs(co'),	(со') = (со) и мера Р'
строится аналогично (4.15).
Пусть Эйл — класс марковских моментов те Эй
таких, что {со': т (со')	/} е где = ст {со': лДсо'),
Так же как и в § 3, устанавливается, что
р (л) = inf Мл
т <= ЗЛл
т
(1 — лт) + с J nsds
о
= inf Мл
т е
т	'к
(1 — лт) + с J nsds |, (4.161)
о	1
где Эсп — тот класс марковских моментов т е 9ЙЛ, для
которых
т
Мл | л$ ds < оо,
о
0 л 1.
(4.162)
Поскольку
Мл J nsds = Мл шах (т — 0, 0)
о
и Мя0<оо, 0^л^1, то класс <йя = {т} совпадает
с классом марковских моментов Эй* = {т}, для которых
МлТ< оо, 0^ Л 1.
Обозначим
g (л) = 1 - л,
Qc,ng (я) = min
&(л), Мл
2“«
£(л2-п) + с| nsds
о
и пусть п есть ^-я степень оператора Qc n.
216
Очевидно, что
А	А
Мл J nsds = лД + (1 — л) J Ря {0 s| 0 > 0}ds =
о	о
= Д--Ц^(1 — e_XA), Д>0.
Поэтому
Qc, ng (л) = minjg (л), с[д —	(1 -e~Kti)] + Mng (лд)|-,
где Л = 2“n.
Оператор Т\ сохраняет выпуклость (вверх) функ-
ций. Отсюда следует, что каждая из функций Qc> ng(n),
Qc.nSi^ выпукла (вверх).
В рассматриваемой сейчас задаче плата отлична
от нуля. Тем не менее к ней применима теория оты-
скания оптимальных правил остановки, которая была
развита в гл. III. В самом деле, так же как это де-
лалось при изучении задачи об оптимальной остановке
в § 2 этой главы, можно показать, что рассматри-
ваемая задача может быть сведена к задаче, где
плата равна нулю. (В качестве функции /(л), удо-
влетворяющей соотношению
т
м nf (лт) - f (л) = Мя j сл5 ds
О
для всех т = т((о) таких, что Мят<оо, 0^л^1,
л
можно взять, например, функцию /(л)= — j* ^(x)dxf
о
где ф*и) определяется ниже в (4.172).)
Согласно п. 8 § 3 гл. III,
р(л) = Пт limQ^ng(n).
П->оо Д/->оо
Таким образом, функция р(л) также выпукла вверх
и непрерывна на интервале (0, 1).
Поскольку
t
lim [л5б/$ = оо (Ря-п. н., 0^л^1) (4.163)
Moo J
15 А. н. Ширяев
?17
и О 0, то, в силу замечания 1 к теореме Ш.5, опти-
мальный момент т* = т*(ю') в классе существует
и задается формулой
т* (©') = inf > 0: р (nf) = g (л,)} =
= inf{/>0: л,>Д’}.	(4.164)
Займемся теперь нахождением неизвестной кон-
станты А* и риска р(л).
С этой целью предположим сначала, что в окрест-
ности точки А* функция р(л) имеет непрерывную про-
изводную . Тогда (см. замечание 1 к теореме
Ш.7 и теорему III.8)
91р (л) = — сл, 0 л < А*,
р(л) = £(л),
dp (я) I _ dg (л) I
(4.165)
drt 'л=д» dst 1я_д»
Пусть F* = {f (л)}, 0 л 1, — класс неотрицатель-
ных выпуклых вверх, дважды непрерывно дифферен-
цируемых функций. Будем искать решение задачи
(4.165) сначала в классе F*. Если f^F*, то =
= ®/(л) (см. теорему 5.7 в [33]), где, в силу (4.151),
(4.166)
Следовательно, задача (4.165) сводится к нахо-
ждению функций f е F* и констант А, 0^ А < 1, для
которых выполняются условия
А (1 — л) f' (л) + р [л (1 — л)]2 f" (л) = — сл, 0 л < А,
(4.167)
f(n) = l—л, Л^л^1,
Г(Л)--1,
(4.168)
(4.169)
где р = г2/2о2.
Для однозначного решения этой задачи двух усло-
вий (4.168) и (4.169) еще недостаточно, поскольку
общее решение уравнения (4.167) содержит две не-
определенные константы и к тому же неизвестна
точка А.
319
Покажем, что в классе F* решение f* = f* (л) задачи
(4.167) — (4.169) существует, единственно, причем
=0.	(4.170)
Пусть С = у, Л = у и 1|з(л) = Л(л). Из (4.167) на-
ходим, что
Сл + Л(1-л)1|>(л)	i7«\
* (я)---------[я (1-я)]2----•	(4Л71)
Это уравнение имеет особую точку л = 0 и сепара-
трису ip* (зт), входящую в эту точку (ф*(0) = 0). Не-
трудно найти, что
л
(4.172)
где ff(s) = ln
Пусть А* — корень уравнения
г|Г(Д*)= - 1	(4.173)
(I —Л*)— ф*(*Ж 0<л<4*, z
Г(л) =	л	(4.174)
Функция f = f (л) неотрицательна, выпукла вверх
и является решением задачи (4.167) — (4.169). Пока-
жем, что в классе F* это решение единственно.
С этой целью рассмотрим семейство интегральных
кривых уравнения (4.171).
Пусть точка А>А* и фл (л) — решение этого урав-
нения, удовлетворяющее условию (4.169), т. е. пусть
фл(Д)= —1. Тогда 'фл(0)= + °о и, следовательно,
решение /л(л) уравнения (4.167) такое, что /Л(Д)=1 — А
и /д(Д) = -фл (Л)= — 1, не является функцией, выпу-
клой вверх.
Пусть теперь точка В < А* и (л) — решение урав-
нения (4.171), удовлетворяющее условию фв(В) = — 1.
Тогда фв(0)= — оо, и нетрудно видеть, что решение
/в(л) уравнения (4.167), удовлетворяющее условиям
fB(fi)= 1-Ви/д(В) = %(В)= -1, таково, что/в(0)<0.
15*
219
Следовательно, решение (Л*, f (л)) задачи (4.167) —
(4.169) существует, единственно и определяется фор-
мулами (4.173) и (4.174).
Покажем теперь, что найденная функция /* (л)
совпадает с риском р(л). Для этого воспользуемся
тем же самым приемом, который был применен для
доказательства аналогичного утверждения в теореме 2.
Если л<А*, то, согласно следствию к теореме 5.1
в [33], для всякого т g
т
Мл/’ (лт) — f (л) = — сМя J л5 ds.
о
Тогда для л<Д* (ср. с (4.62))
р (л) = inf М'
т
g (лт) + с J nsds
О
inf Мл I Г (лт) + с Г nsds + inf Mn{g(nt) —/*(лт)}=
= Г (л) + inf м; {g (лт) - г К)}. (4.175)
leS”
Но g (л)	/* (л) для всех 0^л^1, причем для мо-
мента
х* = inf {t 0: щ X’},
очевидно,
Мл {g (лг*) - /* (лт.)} = 0.
Следовательно, р (л)	/* (л). Но
м;
= м;
f (лт*) + с J л5 ds
о
0<л<А*.

Поэтому для всех 0^л<Д* риск р(л) совпадает
с f (л). Аналогично проверяется равенство р(л) = /"*(л)
и для л^Д*, что и завершает доказательство тео-
ремы 10.
220
5.	Знание байесовского Момента т* (со, от) позволяет
легко найти в рассматриваемом случае оптимальный
момент т и в вариационной постановке.
Теорема 11. Пусть 0 < а < 1, 0 л < I, 0 < Л, < оо
и п) — совокупность тех марковских моментов,
для которых Рл(т<0)^а. Тогда марковский момент
Ta=inf{£^0: nt (со, л)	Ла}, (4.176)
где
Ла=1 - а,	(4.177)
является оптимальным в том смысле, что для всякого
т g Ж (а; л)
Мя(та~0|та>0)<Мл(т-0|т>0).
Доказательство этой теоремы проводится
так же, как и доказательство теоремы 9. Заметим
лишь, что равенство Ла = 1 — а следует из того, что
для всех л^Ла
Мя(1 — Лта)= 1 — Ла,
и если л> Ла, то
Мл (1 — Лта)I = 1 — Л.
6.	Остановимся еще на вопросе о том, чему при
заданной вероятности ложной тревоги а равно сред-
нее время запаздывания
/? (а; Л) = Мо (та - 01 % > 0)	(4.178)
(ограничиваясь для простоты лишь случаем ло = О).
Пусть са есть та константа с, входящая в (4.146),
для которой байесовский момент т* (со, л) (см. (4.147))
совпадает с моментом fa, определенным в (4.176).
(Существование са вытекает из рассуждений, анало-
гичных приведенным при доказательстве теоремы 9.)
Тогда, согласно (4.150),
p(0)-a+f р	° 1/ла	- 00 -| л Г q~“^uu du LU-iPp-(4Л79)
221
С другой стороны,
р (0) = inf {Ро (т < 0) + саР0 (т > 0) Мо (т - 01 т > 0)} =
TS 3)1
= Ро (*а < 0) + саро (т0 > 0) R (а; Л) =
= а + са(1 — а)/?(а; Л).	(4.180)
Сравнивая (4.179) и (4.180), находим

Проведем исследование этой формулы в практи-
чески наиболее интересном случае Л->0. Естественно,
что при Л->0, т. е. когда среднее время появления
разладки МоО = 1/Л стремится к бесконечности, ра-
зумно предполагать что иа->1. Будем считать Л->0,
а->1, но так, что отношение = Г, где Т фикси-
ровано. Тогда из (4.181) при а->1, Л->0 и фиксиро-
1 — а ~
ванном отношении —= Т находим
00.00	.
С еу С e~z 1
Л —	----dz dy
J у2 I J Z I 9
Я (D = lim Я (a; X) = lim --b-a-----------------
p \ i a;
oo / 00	\
1 г Л Г ey H e~Z л I л
= —lim-;—-	—г --------dz\dy =
p 1 - a J y2 I J z u
л ху	'
l-a
oo
=	Ei (-//)] dy, (4.182)
b
где b = (рГ)-1 и
oo
-Ei (-«/)= j — dz
У
— интегральная показательная функция.
222
После несложных преобразований [70] получим
Я(П-|У*уЕ1(-^(|) =
н ь
= | -±ebEi(- b)-f^-Ei(-z)dz-f £
I	ь	ь
Но
С
— Ei(—z) = e“z ~~т~~ dy,
v	J y + z V)
о
откуда
J 4l- Ei(-z)]dz =
ь
dy =
dz.
Следовательно,
/?(Т) = ^- е6 [- Ei (- 6)] - 1 + & f е~Ьг ln(1 + z) dz I,
р I	J	z I
V	о	'
(4.183)
где Ь = (рТ).
В случае больших Т из формулы (4.183) полу-
чаем [70]
/?(П=^1п(рП-1-С + о(-^)},
где С = 0,577 ... — константа Эйлера.
ПРИМЕЧАНИЯ
Глава I
§ 1.	Аксиоматика теории вероятностей изложена в осново-
полагающей работе Колмогорова «Основные понятия теории ве-
роятностей» [37]. Доказательства проводимых результатов об
измеримости случайных процессов содержатся в монографиях
Дынкина [33], Мейера [46].
§ 2.	Дополнительные сведения о свойствах марковских мо-
ментов можно найти в монографиях Дынкина [33], Мейера [46],
[47], Блюменталя и Гетура [12]. Теорема 1 принадлежит Кур-
режу и Приуре [41].
§ 3.	Основные определения из теории марковских процессов
здесь приводятся, следуя монографиям Дынкина [32], [33] и
Блюменталя и Гетура [12].
§ 4.	Доказательства приводимых теорем о мартингалах и
супермартингалах даны у Дуба [30] и Мейера [46]. Обобщенные
мартингалы и супермартингалы изучались в статье Снелла [55].
Глава II
§ 1.	Цена s (х) для случая неотрицательных функций рас-
сматривалась в статье Дынкина [34], где приведены также свой-
ства эксцессивных функций и лемма 2. Несколько иное дока-
зательство леммы 1 приведено у Мейера [46]. Лемма 3 содер-
жится в работе Григелиониса и Ширяева [22]. Способ постро-
ения наименьшей эксцессивной мажоранты, приведенный в
лемме 4, был указан А. Д. Вентцелем (см. [35], стр. 137). В те-
ории мартингалов лемма 5 известна под названием теоремы
о преобразовании свободного выбора (Дуб [30], теорема 2.2
в гл. VII). Доказательство леммы 6 заимствовано у Снелла [55].
Способ построения н. э. м. функции v (х), указанный в леммах 7
и 9, приводится впервые. Сходные построения содержатся также
в статье Сигмунда [52]. Для случая g (х)	0 иной способ до-
казательства теоремы 1 дан в статье Дынкина [34].
§ 2.	(е, 5)-оптимальные моменты рассматриваются впервые.
В случае 0 g (х) С < оо (е, $)-оптимальность момента те
доказана Дынкиным [34]. Утверждения 2) и 3) теоремы 2 близки
к результатам статей Сигмунда [52] и Чао и Роббинса [65].
Задача о выборе наилучшего объекта, известная также под
названием задачи о «разборчивой невесте», рассматривалась
Гарднером [19], Дынкиным [34] (см. также [35]). Близкие по-
224
стаиовки задач рассматривались в статьях Чао, Моригути, Роб-
бинса, Самуэль [63], Джилберта, Мостеллера [29], Гусейн-
заде [27].
§ 3.	Приводимый в начале этого параграфа пример был дан
Хаггстромом [59]. Классы марковских моментов 9с и 91 рас-
сматривались в статье Чао и Роббинса [65], методы которой
также использованы при доказательстве леммы 10, теорем 3 и 4.
§ 4.	Теоремы 5 и 6 содержатся в работах Чао и Роббинса
[61], [62], [65], Хаггстрома [59].
§ 5.	Вопросы единственности решения рекуррентных урав-
нений (2.85) рассматривались Веллманом [8], Григелионисом и
Ширяевым [22] и Григелионисом [24]. Теорема 10 принадлежит
Сигмунду [52].
§ 6.	Результаты, изложенные в этом параграфе, получены
в статье Рэя [51], а также Григелионисом и Ширяевым.
§ 7.	Рандомизированные и достаточные классы марковских
моментов рассматривались в работах Сигмунда [52], Ширяева
[72], Дынкина [36], Григелиониса [25].
§ 8.	Функционалы типа (2.113) изучались в статье Крылова
[39]. Приведенный в конце параграфа пример для случая а=1
рассматривался в статьях Чао и Роббинса [61], [62], [65] и
Сигмунда [52].
Глава III
§ 1.	Определения и доказательства приводимых свойств
эксцессивных функций принадлежат Ханту [60] и. Дынкину [33]
(см. также [12], [46]).
§ 2.	Способ построения наименьшей эксцессивной мажоранты
функции g (х) (лемма 1) указан Григелионисом и Ширяевым [22].
Иной способ был ранее предложен в статье Дынкина [34].
§ 3.	В случае g (х)	0 теорема 1 была приведена в статье
Дынкина [34]. Цена s (х) для непрерывных марковских процес-
сов ранее не рассматривалась. Приводимый в п. 3 пример со-
держится в статье Тейлора [57]. При доказательстве леммы 8
использованы методы статьи Дынкина [34]. Лемма 9, теоремы 2
и 3 получены автором.
§ 4.	Утверждение 1 теоремы 4 было доказано Динкиным [34].
Результаты, близкие к утверждениям 2) и 3), получены также
Сигмундом [52]. Теорема 5 приводится впервые. В частных
предположениях теорема 6 доказана Тейлором [57].
§ 5.	Леммы 11 и 12 публикуются впервые. Теоремы 7, 8
и 9 получены Григелионисом и Ширяевым [22].
§ 6.	Условие «гладкого склеивания» применялось при ре-
шении конкретных задач в работах Михалевича [48], Чернова
[66], Линдли [43], Ватера [4], Ширяева [71], Уиттла [58], Стра-
тоновича [56]. Теорема 10 принадлежит Григелионису и Ши-
ряеву [22]. Теоремы 12 и 13 получены Григелионисом [23].
Глава IV
§ 1.	Байесовская и вариационная постановки задач после-
довательного различения двух простых гипотез принадлежат
Вальду [17]. Свойства транзитивных статистик изучались в ра-
ботах Бахадура [6], Ширяева [72], [75], Григелиониса [25].
225
Доказательства леммы 3 и теоремы 1 содержатся в статьях
Чао и Роббинса [62] и Ширяева [76].
Уравнения (4.36) — (4.37) впервые были найдены Михалеви-
чем [48]. Лемма 4 содержится в статье Ширяева [74] (см.
также [44]). Несколько иное доказательство теоремы 2 приве-
дено в статье Ширяева [76]. Используемая нами идея доказа-
тельства равенства р (л) = f* (л) принадлежит Б. Розовскому.
§ 2.	Теорема 3 принадлежит Вальду [17]. Лемма 8 и ее
доказательство указаны Шеппом [67]. Ему же принадлежат
результаты, изложенные в замечаниях 3 и 4 к этой лемме.
Сравнение оптимальных свойств метода Неймана — Пирсона и
последовательного критерия отношений вероятностей было про-
ведено Айвазяном [1]. Красивое доказательство теоремы 4 со-
держится в книге Лемана [42]. Оценки (4.98), содержащиеся
в теореме 5, указаны Вальдом [17]. Теорема 6 получена Стей-
ном (см. [17]).
Тождество Вальда (лемма 10) было предметом исследова-
ния многих авторов: Вальд [17], Блекуэлл [10], Дуб [30], Чао,
Роббинс, Тейчер [64], Шепп [67].
Теорема 7 в случае V = 2 найдена Вальдом [17]. В общем
случае она была получена Хефдингом (сообщена им автору
в 1965 г.). Приводимое здесь доказательство содержится в статье
Симонса [53]. Аналогичное доказательство дано в книге Беч-
хофера, Кифера и Собела [9] (теорема 3.5.1), где приведена
также формула (4.117).
§ 3.	Задача о разладке была впервые рассмотрена в до-
кладе А. Н. Колмогорова и автора на VI Всесоюзном совещании
по теории вероятностей и математической статистике (Вильнюс,
1960 г.). Приводимые результаты содержатся в статьях Ши-
ряева [68], [70], [72].
§ 4.	Задача о разладке для винеровского процесса изуча-
лась Ширяевым в [69], [70], [73], [76]. В этих работах рас-
сматривались и другие постановки задач скорейшего обнару-
жения момента появления разладки. Задача о разладке разби-
ралась также Стратоновичем [56] и Ватером [5].
ЛИТЕРАТУРА
[1]	Айвазян С. А. Сравнение оптимальных свойств критериев
Неймана — Пирсона и Вальда, Теория вероятн. и ее примен.
IV, 1 (1959), 86-93.
[2]	А л е к с а н д р о в П. С. Введение в общую теорию мно-
жеств и функций, Гостехиздат, 1948.
[3]	Арроу, Блекуэлл, Гиршик (Arrow К. I., Black-
well D., Girshick М. A.). Bayes and minimax solutions of se-
quential decision problems, Econometrica 17, 1949, 213—214.
[4]	Ба тер (Bather I. A.). Bayes procedures for deciding the
sing of a normal mean, Proc. Cambr. Phil. Soc. 58, 4 (1962),
226—229.
[5]	Ба тер (Bather I. A.). On a quickest detection problem, Ann.
Math. Statist. 38, 3 (1967), 711—724.
[6]	Бахадур (Bahadur R. R.) Sufficiency and statistical de-
cision functions, Ann. Math. Statist. 25, 3 (1954), 423—462.
[7]	Б а ш a p и н о в A. E., Фл ейшм ан Б. С. Методы стати-
стического последовательного анализа и их радиотехниче-
ские приложения, изд-во «Советское радио», 1962.
[8]	Белл м ан Р. Динамическое программирование, ИЛ, 1960.
[91	Бечхофер, Кифер, Собел (Bechhofer R. Е., Kie-
fer I., Sobel М.). Sequential Identification and Ranking Pro-
cedures, Univ, of Chicago Press, USA, 1968.
[10]	Блекуэлл (Blackwell D.). On an equation of Wald, Ann.
Math. Statist 17, (1946), 84—87.
[11]	Блекуэлл Д., Гиршик M. А. Теория игр и статисти-
ческих решений, ИЛ, 1958.
[12]	Блюменталь, Ге тур (Blumental R. М., Getoor R. К).
Markov processes and potential theory, Academic Press, New
York and London, 1968.
[13]	Буркхольдер, У и ш м e н (Burkholder D. L. and Wijs-
man R. A.). Optimum properties and admissibility of sequen-
tial tests, Ann. Math. Statist. 34, 1 (1963), 1—17.
[14]	Вальд, Волфовиц (Wald A., Wolfowitz J.). Optimum
character of the sequential probability ratio test, Ann. Math.
Statist. 19, 3 (1948), 326—339.
227
[15]	Вальд, Волфов иц (Wald A., Wolfowitz J.). Bayes solu-
tions of sequential decision problems, Ann. Math. Statist. 21,
1 (1950), 82—99.
[16]	Вальд (Wald A.). Statistical decision function, J. Wiley,
New York, 1950. (Русский перевод: Статистические решаю-
щие функции, см. в сб, «Позиционные игры», изд-во «Наука»,
1967, 300—522).
[17]	Вальд А. Последовательный анализ, Физматгиз, 1960.
[18]	Ветсрилл (Wetherill G. В.). Sequential Methods in Sta-
tistics, London, 1966.
[19]	Гарднер (Gardner M.). Mathematical games, Sci. Amer.
202, 1 (1960), 150—156; 202, 3 (1960), 173—182.
[20]	Г и хм а н И. И., Скороход А. В. Введение в теорию
случайных процессов, изд-во «Наука», 1965.
[21]	Гихман И. И., Скороход А. В. Стохастические диф-
ференциальные уравнения, изд-во «Наукова думка», 1968.
[22]	Григелионис Б. И., Ширяев А. Н. О задаче Стефана
и оптимальных правилах остановки марковских процессов,
Теория вероятн. и ее примен. XI, 4 (1966), 612—631.
[23]	Григелионис Б. И. Об оптимальной остановке марков-
ских процессов, Литовский математ. сб. VII, 2 (1967), 265—
279.
[24]	Григелионис Б. И. Об условиях единственности реше-
ния уравнения Беллмана, Литовский математ. сб. VIII, 1
(1968), 47—52.
J25] Григелионис Б. И. Достаточность в задачах оптималь-
ной остановки, Литовский математ. сб. IX, 3 (1969).
[26]	Гр эй вс (Graves L. М.). The theory of functions of real va-
riables, McGraw-Hill, New York and London, 1946.
[27]	Гусейн-заде С. M. Задача выбора и оптимальное пра-
вило остановки последовательности независимых испытаний,
Теория вероятн. и ее примен. XI, 3 (1966), 534—537.
[28]	Дворецкий, Кифер, Волфовиц (Dvoretzky A., Kie-
fer L, Wolfowitz J.). Sequential decision processes with conti-
nuous time parameter; testing hypotheses, Ann. Math. Statist.
24, 2 (1953), 254—264.
[29]	Джилберт, Мостеллер (Gilbert I. P., Mosteller F.).
Recognizing the maximum of a sequence, J. Amer. Statist. As-
soc. 61, 313 (1966), 35—73.
[30]	Дуб Дж. Л. Вероятностные процессы, ИЛ, 1956.
[31]	Дьедонне Ж- Основы современного анализа, изд-во
«Мир», 1964.
[32]	Д ы н к и н Е. Б. Основания теории марковских процессов,
Физматгиз, 1959.
[33]	Дынкин Е. Б. Марковские процессы, Физматгиз, 1963.
228
[34]	Дынкин Е Б. Оптимальный выбор момента остановки
марковского процесса, ДАН 150, 2 (1963), 238—240
[35]	Дынкин Е. Б., Юшкевич А. А. Теоремы и задачи о
процессах Маркова, изд-во «Наука», 1967,
[36]	Дынкин Е. Б. Достаточные статистики для задачи об
оптимальной остановке, Теория вероятн. и ее примен XIII, 1
(1968), 150-151.
[37]	Колмогоров А. Н. Основные понятия теории вероятно-
стей, ОНТИ, 1936.
[38]	Колмогоров А. Н., Фомин С. В. Элементы теории
функций и функционального анализа, изд-во «Наука», 1968.
[39]	Крылов Н. В. Об оптимальной остановке управляемой
цепи, Сб. «Оптимальное управление и теория информации»
(тезисы докладов на VII Всесоюзном совещании по тео-
рии вероятностей и математической статистике, Тбилиси,
1963), Изд-во Ин-та математики АН УССР, Киев, 1963,
11—15.
[40]	Кульбак С. Теория информации и статистика,. изд-во
«Наука», 1967.
[41]	Курреж, Приуре (Р. Courrege et Р. Priouret). Temps
d’arret d’une fonction aleatoire: Relations d’equivalence as-
sociees et proprietes de decomposition, PubL Inst. Statist.
Univ. Paris 14, 245—274 (1965).
[42]	Леман Э. Проверка статистических гипотез, изд-во «Нау-
ка», 1964.
[43]	Линдли (Lindley D. V.). Dynamic programming and deci-
sion theory, Appl. Statist. 10. (1961), 39—51.
[44]	Липцер P. Ш., Ширяев A. H. Нелинейная фильтрация
диффузионных марковских процессов, Труды Матем. ин-та
CIV (1968), 135—180
[45]	Лоэв М. Теория вероятностей, ИЛ, 1962.
[46]	Мейер (Meyer Р. A.). Probabilites et potentiel, Hermann,
Paris, 1966.
[47]	Мейер (Meyer P. A.). Processus de Markov, Springer, Ber-
lin, 1967.
[48]	M и x а л e в и ч В. С., Байесовський виб!р м1ж двома гшоте-
зами про середне значения нормального процессу. Вшник
КиТвського ушверситету 1, 1 (1958), 101 —104.
[49]	Натансон И. П. Теория функций вещественной перемен-
ной, Гостехиздат, 1957.
[50]	Рубинштейн Л. И. Проблема Стефана, изд-во «Звайгз-
не», 1967.
[51]	Рэй (Ray S. N.). Bounds on the maximum sample size of
a Bayes sequential procedure, Ann. Math. Statist. 36, 3
(1965), 859—878.
229
[52]	Сигмунд (Siegmund D. О.). Some problems in the theory
of optimal stopping rules, Ann. Math. Statist. 38, 6 (1967),
1627—1640.
[53]	Симонс (Simons G.). Lower bounds for average sample
number of sequential multihypothesis tests, Ann. Math. Statist.
38, 5 (1967), 1343—1364.
[54]	Скороход А. В. Исследования по теории случайных про-
цессов, Изд-во Киевского университета, 1961.
[55]	Снелл (Shell I. L.). Applications of martingale system theo-
rems, Trans. Amer. Math. Soc. 73 (1953), 293—312.
[56]	Стратонович P. Л. Условные марковские процессы и их
применение к теории оптимального управления, Изд-во МГУ,
1966.
[57]	Тейлор (Taylor Н. М.). Optimal stopping in a Markov
processes, Ann. Math. Statist. 39, 4 (1968), 1333—1344.
[58]	Уитл (Whittle P.). Some general results in sequential de-
sign, J. Royal Statist. Soc., Ser B. 27, 3 (1965), 371—387.
[59]	X а г г с т p о м (Haggstrom G. W.). Optimal stopping and
experimental design, Ann Math. Statist. 37	(1966),
7—29.
[60]	Хант Дж. А. Марковские процессы и потенциалы, ИЛ,
1962.
[61]	Чао, Роббинс (Chow Y. S., Robbins Н.). A martingal
system theorem and 'applications, Proc. Fourth Berkeley Symp.
Math. Statist. Prob., Univ. Calif. Press, USA 1 (1961), 93—
104.
[62]	Чао, Роббинс (Chow Y. S., Robbins H.). On optimal
stopping rules, Z. Wahrscheinlichkeitstheorie und verw. Ge-
biete 2 (1963), 33—49.
[63]	Ч а о, Моригути, Роббинс, Самуэль (Chow Y. S.,
Moriguti S., Robbins H., Samuels S. M.). Optimal selection
based on relative rank (the «secretary Problem»), Isr. Journ.
Math. 2, 2 (1964), 81—90.
[64]	Чао, Роббинс, Тейчер (Chow7 Y. S., Robbins H., Tei-
cher H.). Moments of randomly stopped sums, Ann. Math.
Statist. 36 (1965), 789—799.
[65]	Чао, Роббинс (Chow Y. S., Robbins H.). On values as-
sociated with a stochastic sequence, Proc. Fifth Berkeley Symp.
Math. Statist. Prob., Univ. Calif. Press, USA 1 (1967), 427—
440.
[66]	Чернов (Chernoff H.). Sequential tests for the mean of
a normal distribution, Proc. IV Berkeley Symp. 1 (1961), 79—
92.
[67]	Illenn (Shepp L. A.). A first passage problem for the Wie-
ner process, Ann. Math. Statist. 38, 6 (1967), 1912—1914.
230
[68]	Ширяев А. Н. Обнаружение спонтанно возникающих эф-
фектов, ДАН СССР 138, 4 (1961), 794—801.
[69]	Ширяев А. Н. Задача скорейшего обнаружения наруше-
ния стационарного режима, ДАН СССР 138, 5 (1961), 1039—
1042.
[70]	Ширяев А. Н. Об оптимальных методах в задачах ско-
рейшего обнаружения, Теория вероятн. и ее примен. VIII, 1
(1963), 26—51.
[71]	Ширяев А. Н. К теории решающих функций и управле-
нию процессом наблюдения по неполным данным, Trans.
Third Prague Conference on Inform, theory, Statistical deci-
sion function, Random processes, Prague, 1964, 557—681.
[72]	Ширяев А. H. О марковских достаточных статистиках в
неаддитивных байесовских задачах последовательного ана-
лиза, Теория вероятн. и ее примен. IX, 4 (1964), 670—686.
[73]	Ширяев А. Н. Некоторые точные формулы в задаче о
«разладке», Теория вероятн. и ее примен. X, 2 (1965), 380—
385.
[74]	Ширяев А. Н. Стохастические уравнения нелинейной
фильтрации скачкообразных марковских процессов, Пробле-
мы передачи информации II, 3 (1966), 3—22.
[75]	Ширяев А. Н. Некоторые новые результаты в теории
управляемых случайных процессов, Trans. Fourth Prague
Conference on Inform, theory, Statistical decision functions,
Random processes, Prague, 1967, 131—203.
[76]	Ш и p я e в A. H. О двух задачах последовательного ана-
лиза, Кибернетика 2 (1967), 79—80.
Альберт Николаевич Ширяев
Статистический последовательный анализ
оптимальные правила остановки
(Серия: «Оптимизация и исследование операций»)
М., 1969 г., 232 стр.
Редакторы О. В. Висков, В. В. Абгарян
Техн, редактор В. С. Никифорова
Корректор Г. С. Смоликова
Сдано в набор 3/VI 1969 г. Подписано к пе-
чати 24/IX 1969 г Бумага 84Х108*/з2. Физ. печ.
л. 7,25. Условн. печ. л. 12,18. Уч.-изд л. 10,3.
Тираж 11800 экз. Т-13241. Цена книги 70 коп
Заказ № 217.
Издательство «Наука»
Главная редакция
физико-математической литературы
Москва, В-71 Ленинский проспект, 15
Ленинградская типография № 2
имени Евгении Соколовой Главполиграфпрома
Комитета по печати при Совете Министров
СССР. Измайловский проспект, 29,
Цена 70 коп.