ТЕОРИЯ ВЕРОЯТНОСТЕЙ
И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
А. Н. ШИРЯЕВ
СТАТИСТИЧЕСКИЙ
ПОСЛЕДОВАТЕЛЬНЫЙ
АНАЛИЗ
ОПТИМАЛЬНЫЕ
ПРАВИЛА ОСТАНОВКИ
ИЗДАНИЕ ВТОРОЕ,
ПЕРЕРАБОТАННОЕ
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
Москва 1 976

517.8
Ш 64
УДК 519.21
Статистический последовательный анализ. Ширяев А. Н.
Главная редакция физико-математической литературы издательства
«Наука», 1976, 272 стр.
Монография посвящена теории оптимальных правил остановки—
одному из наиболее развитых разделов теории управляемых
случайных процессов. К числу задач рассматриваемой теории и ее
обобщений относятся задачи статистического последовательного
анализа, коррекции, последовательно управляемых]} случайных
процессов и др.
В монографии излагается теория оптимальных правил
остановки для случайных процессов марковского типа. Особое внимание
при этом уделяется вопросам структуры цены (функции выигрыша),
способам ее отыскания, вопросам существования и нахождению
оптимальных и е-оптимальных правил остановки.
Библ. 112, илл. 7.
Альберт Николаевич Ширяев
СТАТИСТИЧЕСКИЙ ПОСЛЕДОВАТЕЛЬНЫЙ АНАЛИЗ
(Серия: «Теория вероятностей и математическая статистика»)
М., 1976 г., 272 стр. с илл.
Редактор М. П. Ершов
Техн. редактор В. Н. Кондакова
Корректоры Е. А. Белицкая, Л. С. 'Сомова
Сдано в набор 15fV-1976 г. Подписано к печати 6/1Х-1У76 г. Бумага 84хЮ8*|»2.
Физ. печ. л. 8,5. Условн. печ. л. 14,28. Уч.-изд. л. 13,27. Тираж 9600 экз.
Т-15121. Цена книги 1 р. 02 к. Заказ № 758
Издательство «Наука»
Главная редакция физико-математической литературы
117071, Москва, В-71, Ленинский проспект, 15
2-я типография издательства «Наука»,
Москва, Шубинский пер., 10
20203—126 ©Главная редакция
Ш Пе;о/п9\ 7А 68-76 физико-математической литературы
Uoo^uz;-/D издательства «Наука», 1976, с изменениями.

ОГЛАВЛЕНИЕ
Предисловие 5
Глава I. Случайные процессы. Марковские моменты . И
§ 1. Необходимые сведения из теории вероятностей 11
§ 2. Марковские моменты 16
§ 3. Мартингалы и полумартингалы 29
§ 4. Марковские случайные процессы 32
Глава II. Оптимальная остановка марковских случайных
последовательностей 41
§ 1. Постановка задач об оптимальной ^остановке . 41
§ 2. Оптимальные правила остановки в классах ЭД? (")
и 2Я (тп\ п) 45
§ 3. Задача о выборе ^наилучшего объекта 54
§ 4. Эксцессивные функции и наименьшие эксцессив-
ные мажоранты 58
§ 5. Эксцессивная характеризация цены и 8-оптималь-
ные правила остановки (при условии А") ... 71
§ 6. Примеры 80
§ 7. О структуре и способах отыскания цены для
функций g«=S(a-) 88
§ 8. Регулярные функции. Структура цены и е-опти-
мальных правил остановки (при условии А+) . 93
§ 9. Регулярная ^характеризация цены (общий случай) 101
§ 10. О сходимости цен sn (x) и оптимальных моментов
т^ при п —> оо 103
§ И. О решениях рекуррентных уравнений / (х) =
= max {g (я), Tf (x)} 107
§ 12. Критерии «урезанности» оптимальных правил
остановки 115
§ 13. Рандомизированные и достаточные ^классы
моментов остановки "Г 119
§ 14. Оптимальная остановка марковских
последовательностей при наличии платы за наблюдения 123
§ 15. Редукция задач об оптимальной остановке для
произвольных случайных последовательностей к
соответствующим задачам для марковских
процессов 132

4 ОГЛАВЛЕНИЕ
Глава III. Оптимальная остановка марковских случайных
процессов *^7
§ 1. Постановка задач. Основные определения . . . 147
§ 2. Регулярные и эксцессивные функции. Эксцессив-
ные мажоранты 150
§ 3. Эксцессивная характеризация цены и 8-оптималь-
ные моменты остановки (при условии А") ... 160
§ 4. Регулярная характеризация цены и е-оптималь-
ные моменты остановки (при условии А+) . . . 166
§ 5. Регулярная характеризация цены (общий случай) 176
§ 6. Построение регулярных мажорант 181
§ 7. е (аг)-оптимальные марковские моменты .... 195
§ 8. Уравнения для цены и обобщенная задача
Стефана. Условия «гладкого склеивания» 200
Глава IV. Некоторые применения к задачам
математической статистики 206
§ 1. Последовательное различение двух простых
гипотез (дискретное время) 206
§ 2. Последовательное различение двух простых
гипотез о среднем значении винёровского процесса . 227
§ 3. Задача о разладке (дискретное время) 243
§ 4. Задача о разладке для винёровского процесса . 251
Историко-библиографическая справка 260
Литература 264
Предметный указатель 270
Указатель обозначений 272

ПРЕДИСЛОВИЕ
1. Наряду с традиционными
вероятностно-статистическими задачами в 40—50 гг. началось систематическое
исследование того круга задач, которые можно теперь
отнести к вероятностной теории оптимального
управления. Одним из наиболее продвинутых разделов этой
теории является теория «оптимальных правил
остановки», развитие которой в значительной степени было
стимулировано работами А. Вальда и его книгой
«Последовательный анализу, вышедшей в свет *) в 1947 г.
В отличие от классических методов математической
статистики, в которых число производимых наблюдений
фиксируется заранее, методы последовательного анализа
характеризуются тем, что момент прекращения
наблюдений (момент остановки) является случайным и
определяется наблюдателем в зависимости от значений
наблюдаемых данных. Преимущество последовательных
методов было продемонстрировано А. Вальдом на
задаче различения (по результатам независимых
наблюдений) двух простых гипотез, установившим, что такие
методы дают выигрыш в среднем числе наблюдений по
сравнению с любым другим способом различения с
фиксированным объемом выборки (и теми же вероятностями
ошибочных решений). Более 'того, А. Вальд указал и
тот последовательный метод, названный им критерием
последовательных отношений вероятностей, который
*) Русский перевод этой книги вышел в 1960 г.

6 ПРЕДИСЛОВИЕ
оказался оптимальным в классе всех последовательных
методов.
Применительно к задаче различения двух простых
гипотез под последовательным методом понимается
правило, в соответствии с которым указывается момент
прекращения наблюдений и принимается (терминальное)
решение о том, какая из двух гипотез на самом деле верна.
Оказалось, что вопрос об оптимальном терминальном
решении не вызывает трудностей и задача отыскания
наилучшей последовательной процедуры может быть
сведена к нахождению оптимального момента остановки для
специальным образом построенной марковской
последовательности (гл. IV, § 1 и 2).
Если в задаче различения двух простых гипотез
необходимость обращения к последовательным методам
была не столь уж очевидной, то в приводимых ниже двух
задачах последовательный характер производимых
наблюдений и проблема отыскания оптимального момента
остановки обусловлены самим существом этих задач.
Одна из этих задач (о выборе наилучшего объекта)
ставится следующим образом.
Имеется п объектов, упорядоченных по какому-либо
признаку. Предполагается, что объекты поступают в
случайном порядке и в результате их попарного сравнения
можно определить, какой из них лучше. Спрашивается,
на каком объекте остановить свой выбор, чтобы
вероятность выбора наилучшего объекта была максимальной?
(Предполагается, что к отвергнутым объектам
возвращаться нельзя.) В § 3 гл. II показывается, что решение этой
задачи также сводится к отысканию оптимального
момента остановки для некоторой марковской цени.
Вторая задача (iaK называемая задача о разладке; гл.
IV, § 3 и 4) состоит в следующем.
Пусть 0 — случайная величина, принимающая
значения 0, 1, . . ., а наблюдения ?х, ?2, . . . таковы, что при

ПРЕДИСЛОВИЕ 7
условии 0 = п величины ?1? |2, . . ., ?„_! независимы
и одинаково распределены с функцией распределения
/"о (я), а 1п, 1п+1, . . . — также независимы и одинаково
распределены, но с функцией распределения Fx (х) Ф
Ф Fo (х). (Таким образом, в момент 0 происходит
изменение вероятностных характеристик у наблюдаемого
процесса.) Возникает задача, как, последовательно
наблюдая величины ?1? Е2, . . ., решить вопрос о том, в какой
момент следует объявить «тревогу» о происшедшей
«разладке» (в вероятностных характеристиках), но так,
чтобы (с одной стороны), по возможности избежать «ложной
тревоги», и (с другой стороны), чтобы время между
моментом подачи сигнала «тревоги» и моментом появления
«разладки» (когда «тревога» подается правильно) было бы
минимальным. По аналогии с предшествующими
задачами решение рассматриваемой задачи также сводится к
отысканию оптимального момента остановки для
некоторой марковской случайной последовательности.
2. Настоящая книга посвящена общей теории
оптимальных правил остановки для случая марковских
процессов с дискретным и непрерывным временем,
позволяющей, в частности, решить и рассмотренные выше задачи.
Общая схема, принятая в книге, такова.
Пусть X = (хп, fni Рх), п = 0, 1, ... —- марковская
цепь *) в фазовом пространстве (Е, 33). Здесь хп —
состояние цепи в момент времени и, а-алгебра §'п
интерпретируется как совокупность событий, наблюдаемых до
момента п включительно, а Рх — распределение
вероятностей, отвечающее начальному состоянию х.
Предположим, что, прекращая наблюдения в момент времени
п, мы получаем выигрыш g (zn). Тогда средний выигрыш,
соответствующий начальному состоянию х, есть
математическое ожидание Mxg (xn).
*) Основные теоретико-вероятностные понятия приводятся
в гл. I.

3 ПРЕДИСЛОВИЕ
Пусть теперь т — случайная величина, принимающая
значения 0, 1, . . ., такая, что событие {т = w}Gfn
при каждом п. Будем интерпретировать т как момент,
в который производится прекращение наблюдений.
Тогда условие {т = w}e.fn означает, что решение
вопроса о том, прекратить ли наблюдения в момент времени
пу зависит лишь от событий, наблюдаемых до момента
времени п (включительно).
Рассмотрим средний выигрыш hhxg (xx),
соответствующий моменту остановки т и начальному состоянию х (мы
предполагаем, что математическое ожидание tAxg (хх)
определено) . Положим
Функцию .9 (х) назовем ценой, а момент те, такой, что
s (х) <; Мд? (хТг) + е для всех х ЕЕ Е, назовем г-опти-
малъным. Основные вопросы, изучаемые в книге, таковы:
какова структура функции 5 (х), как ее найти, когда
существуют е-оптимальные и оптимальные (т. е. 0-опти-
мальные) моменты, какова их структура.
Вторая глава книги посвящена исследованию этих
вопросов для разных классов функций g (x) и разных
классов моментов т (принимающих, в частности, и
значение + оо) для случая дискретного времени.
Приведем один из характерных результатов этой
главы. Предположим, что функция g (x) ограничена,
\ g (х) | <; С <С оо, х Ez E. Тогда показывается, что
цена s (х) есть наименьшая эксцессивная мажоранта
функции g (ж), т. е. наименьшая из функций / (х),
удовлетворяющих условиям:
где 21/ (х) = Мж^ (х,).
При этом момент
т„ = inf {п > 0: s (хп) < g (хп) + г)

ПРЕДИСЛОВИЕ 9
является е-оптимальным для всякого е ^> 0, и цена s (x)
удовлетворяет уравнению
s (х) = max {g (x), Ts (x)}.
Вся третья глава книги посвящена теории
оптимальных правил остановки для марковских процессов (с
непрерывным временем). Большинство результатов,
полученных в этой главе, по крайней мере внешне, сходны с
соответствующими результатами, относящимися к
случаю дискретного времени. Следует, однако, заметить, что
в этой главе приходится привлекать довольно сложный
аппарат теории мартингалов и марковских процессов
с непрерывным временем.
Первая глава носит вспомогательный характер. В. ней
напоминаются основные теоретико-вероятностные
понятия, приводится ряд сведений из теории мартингалов и
марковских процессов, изучаются свойства марковских
моментов и моментов остановки.
Четвертая глава книги посвящена применениям
результатов второй и третьей глав для решения
упомянутых выше задачи последовательного различения двух
простых гипотез и задачи о «разладке» для дискретного
и непрерывного времени.
3. Хотя структура книги та же> что и в первом
издании, вышедшем в 1969 г., настоящее издание значительно
отличается от первого. Особенно существенно
переработана с учетом новых результатов третья глава,
относящаяся к случаю непрерывного времени. Добавлен ряд новых
результатов и во второй главе. Для ряда лемм и теорем
даны более простые доказательства.
Отметим, наконец, что ссылки внутри книги
приводятся главным образом лишь на учебные руководства и
монографии. Указания на источники приводимых
результатов, а также литературные ссылки на некоторые
работы, примыкающие к излагаемому материалу, содержатся
в историко-библиографической справке, помещенной в

10 ПРЕДИСЛОВИЕ
конце книги. В каждой главе принята своя нумерация
лемм, теорем и формул. При этом при ссылках на леммы
и теоремы внутри главы указание на номер этой главы
будет опускаться.
В заключение я пользуюсь случаем выразить свою
глубокую благодарность А. Н. Колмогорову, который
ввел меня в проблематику последовательного анализа и
советами которого я имел возможность пользоваться.
Проблематика последовательного анализа была темой
наших частых бесед с Б. И. Григелионисом, которые были
для меня очень полезными. При подготовке второго издания
мне существенно помогли замечания и советы Г. Ю. Эн-
гельберта и А. Энгельберта. Я приношу им свою
благодарность. Мне приятно поблагодарить Н. Н. Моисее-
ва* явившегося инициатором написания этой книги.

ГЛАВА I
СЛУЧАЙНЫЕ ПРОЦЕССЫ.
МАРКОВСКИЕ МОМЕНТЫ
§ 1. Необходимые сведения из теории вероятностей
1. Пусть (Я, $) — измеримое пространство, т. е.
множество Я точек со с выделенной на нем системой $ его
подмножеств, образующих а-алгебру.
Согласно аксиоматике Колмогорова в основе всех
вероятностных рассмотрений лежит некоторое
вероятностное пространство (Я, tfy Р), где (Q, f) — измеримое
пространство, а Р — вероятностная мера (вероятность),
определенная на множествах из f и обладающая
следующими свойствами:
Р(А)>0, ief (неотрицательность);
= 1 (нормированность);
P(U Ад = / Р(^0 (счетная, или а-аддитивность),
=1
где Аг Ez f, At f) Aj = <p,i Ф j, ф — пустое множество.
Система множеств <?? называется пополнением $ по
мере Р, если <?? содержит все те множества 4сй,
для которых найдутся такие Аг, А2 ЕЕ $р, что Аг с: A с:
Q^42 и P(^2\^!) =0. Система множеств ?р
является а-алгеброй, и мера Р однозначно продолжается на
множества из §'?.
Вероятностное пространство (Я, f, Р) называется
полным, если ^р совпадает с ?'.
Пусть (Я, ;f) — некоторое измеримое пространство и
f = f] <fp где пересечение берется по системе всех

12 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
вероятностных мер Р на (Q, $). Система <f является а-ал-
геброй и ее множества называются абсолютно
измеримыми множествами пространства (Q, <^).
Пусть (Q, <f) и (Е, ИВ) — два измеримых
пространства. Функция ? = ? (со), определенная на Q и
принимающая значения в /?, называется ^/53-измеримой, если
множество {со: ?((o)Gfi}Gf Для всякого В е= 58. В
теории вероятностей такие функции называют случайными
элементами со значениями в 2?. Если Е = Л —
действительная прямая, а 33 — а-алгебра ее борелевских
подмножеств, то ;f/53-измеримые функции ? = ? ((о)
называют случайными величинами. (Часто ^f/53-измеримые
функции называют просто ^-измеримыми функциями).
2. Если ? = ? (со) — неотрицательная случайная
величина, то ее математическое ожидание (обозначается Mg)
есть, по определению, интеграл Лебега \ g (со) P(dco).
Математическое ожидание М?, или интеграл Лебега ¦)
(со) Р (<2со) от произвольной случайной величины | =
= ? (со) определяется только в том случае, когда одно из
математических ожиданий М?+ или М?~ конечно (здесь
Ь+ = max (g, 0), g~ = —min (?, 0)) и полагается равным
Случайная величина g называется интегрируемой, если
Интеграл Лебега \ g (со) Р (dco) по множеству i4Ef,
обозначаемый также М (g; Л), есть, по определению,
) g (со) ТА (со) Р (dco), где Та = Та (со) — индикатор
(характеристическая функция) множества А:
, ©ЕЛ,
, со ф А.
Таким образом, М (g; А) = М (g/A) и М (g; Q) = Mg.
*) Для интеграла Лебега часто используются также
обозначения \ I (ak)dP (со), ^ gdP, [ Id?.

§ 1] НЕОБХОДИМЫЕ СВЕДЕНИЯ 13
Если 2? — некоторая а-подалгебра f, SQf, и
I — случайная величина, для которой существует М?
(т. е. М?+ < оо или М?~ < оо), то М (| | $) обозначает
условное математическое ожидание ? относительно S,
т. е. любую ^-измеримую случайную величину г\ =
— т) (со), для которой для любого iGS
S 5 (со) Р (do>) = J r|(co)P(dco). A.1)
А А
В силу теоремы Радона — Никодима такая случайная
величина ц (со) существует и определяется из A.1)
однозначно с точностью до множеств Р-меры нуль.
В том случае, когда ? (со) = 1а (<«>) — индикатор
множества А, условное математическое ожидание М (Ia I &)
обозначается Р (А \ 3) и называется условной
вероятностью события А относительно *&.
Последовательность случайных величин Jjn, n = 1,
2 ,. . . , называется сходящейся по вероятности к
случайной величине ? (при этом используется запись 1п -» ?
или | = P-lim ?n) если для каждого е ^> О
Говорят, что последовательность случайных величин
?п, п = 1, 2,. . ., сходится с вероятностью единица или
почти наверное к случайной величине ? (пишется ?п -> ?
или ?п -> ? (Р-п. н.)), если множество {со: ?п (со) -/> ? (со)}
имеет Р-меру нуль. Говорят также, что ?п -> ? на
множестве А, если P(i f| {ln у> ?}) = 0. В этом случае
пишут: ?п-ъ ? (Л; Р-п. н.).
Если ?п ~> I (Р-п. н.) и ?п < ?п+1 (Р-п. н.), то будем
писать 1п | ? или ?n f ? (Р-п. н.). Аналогично
определяется сходимость 1п I ?.
3. Приведем основные теоремы о предельном переходе
под знаком интеграла Лебега (математического ожидания).
Теорема1(о монотонной сходимости). Если ?n f ?
(Р-п.н.) и M?i < оо, то
М?п|М?. A.2)
Если 1п \ ? (Р-71. «.) гг M?j" < оо, то
A.3)

14 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
Теорема 2. (лемма Фату). Если ?п > т|, п = 1,
2,. . ., w Mr] ]> — оо, то *)
Mlim^n<limeMgn. A.4)
Если 1п <; т|, гг = 1, 2 ,. . ., и Мт] < оо, то
A-5)
Теорема 3. (теорема Лебега о мажорируемой
сходимости). Пусть 1п —> I и существует такая
интегрируемая случайная величина т|, что | gn | ^ т), п = 1, 2 ,. . .
Тогда М | g |< оо и
Mlk-EI-0, „_>oo. A.6)
Замечание 1. Теоремы 1—3 остаются
справедливыми, если в формулировках их утверждений
математические ожидания заменить на условные математические
ожидания.
Следующий результат является обобщением теоремы
Лебега о мажорируемой сходимости.
Теорема 4. Пусть ln -> g, M | gn | < оо, п = 1,
2, . . ., тогда М | g | <оо и
М|Ь»-6|->0, п-+оо A.7)
в /лож w только в том случае, когда случайные величины
gn, п = 1, 2 ,. . ., равномерно интегрируемы **).
Замечание 2 (обобщенная лемма Фату). Пусть
In > Лп» л = 1, 2 ,. . ., где величины т|п, тг = 1, 2, . . .,
равномерно интегрируемы и tj^ •—^ rjoo. Тогда (ср. с A.4))
М limgn<limMgn.
*) Через lim ?n (или lim inf |n) обозначается нижний предел
последовательности ?п, п= 1, 2, . . ., т. е. sup inf ?m. Аналогично
71 771^71
верхний предел lim ?n (или lim sup g^) есть inf sup ?m.
П 7П>П
¦•) Семейство случайных величин {ga, ae5() называется pae-
номерно интегрируемым, если
lim sup ^ | 1^ | dP = 0.
](ieei

§ 1] НЕОБХОДИМЫЕ СВЕДЕНИЯ 15
Для доказательства заметим, что в силу A.4)
М Ит 1п — Mrjoo = М (Нт ?п — !]«,) =
= М lim (Sn — г\п) < Ит (М?Л — Мт]п) < lim M?n — lim Mr|n.
Но согласно A.7) lim Мт)п = Мг)^, поэтому М lim ?n ^
< lim M?n.
__ 4. Пусть Т = [О, оо), Т =Т у {оо}, ^= {О, 1,. . .},
N — Ж (J {оо}. Семейство $753-измеримых функций
(случайных элементов) X = {?, (со)}, t^T (t^N),
называется случайным процессом с непрерывным (дискретным)
временем со значениями в Е. Случайный процесс с
дискретным временем называют также случайной
последовательностью.
При фиксированном 0)ЕЙ функция времени ^ (со),
t ЕЕ Т (или t e Ж) называется траекторией, отвечающей
элементарному исходу о.
С каждым случайным процессом X = {%t (со)}, t ЕЕ Z
(где Z = Т в случае непрерывного времени и Z = N —
в случае дискретного времени) естественным образом
связываются а-алгебры <jf\ = а {со: ?s, s <^ ?}, являющиеся
наименьшими сг-алгебрами, содержащими алгебры <А%
порожденные множествами {о>: ?s ЕЕ Г}, s ^ t, FgS.
Случайный процесс Z = {^ (со)}, t €E T, называется
измеримым, если для любых Г е S3 множество
{(со, 0: ^ИеГ}еГ X Ж (Г),
где Ж (I7) есть а-алгебра борелевских множеств на Т =
= [0, оо).
Измеримый случайный процесс X = {^ (со)}, t Е=Т,
называется согласованным с семейством а-алгебр F =
= {?*}, *еГ, если при каждых ^ е Г и Г е S3
{со: ?, (со) ЕЕ Г} <ЕЕ Я-
Для краткости такие процессы будут обозначаться X ~
= (tt, ft), t е ^, или просто X = (gt, f,).
Случайный процесс Z = (g,, ^f), t ^ T, называется
прогрессивно измеримым, если для каждого 2 е I7 и Г
{(со, 5): ?s (ai) е Г, * < ^ е ft X Ж ([0, * ]),

16 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
где 33 ([О, t]) есть а-алгебры борелевских множеств на
[О, t].
Всякий прогрессивно измеримый процесс является
измеримым и согласованным. В определенном смысле
верен и обратный результат: если действительный *)
процесс X = {^ (со)}, t €E T, измерим и согласован с
F = {tft}, tEET, то он допускает прогрессивно
измеримую модификацию **) ([63], гл. IV, т. 42). Всякий
действительный согласованный процесс с непрерывными
справа (слева) траекториями является прогрессивно
измеримым ([63], гл. IV, т. 43).
§ 2. Марковские моменты
1. В настоящем параграфе даются определения и
излагаются свойства марковских моментов, играющих
решающую роль при построении теории оптимальных
правил остановки. Все изложение будет вестись для случая
непрерывного времени. Соответствующие определения и
результаты почти автоматически переносятся на случай
дискретного времени и, как правило, становятся проще.
Пусть (Q, ?) — измеримое пространство, Т — [0,оо),
F = {ft}, t Ez T, — неубывающая последовательность
сг-подалгебр §, т. е. fs с= ?t cz f, s < t.
Определение 1. Случайная величина т = т (со)
со значениями в Т = [0, оо] называется марковским
моментом относительно системы F = {?t}, tEzT ***), если
для каждого t ЕЕ Т
{со: т (со) <0е ft-
Марковские моменты называют также случайными
величинами, не зависящими от будущего.
Определение 2. Марковский момент т = т (со),
определенный на вероятностном пространстве (Q, ?, Р),
называется моментом остановки или конечным марковским
*) То есть процесс со значениями в R или R.
**) Процесс X = {lt (о)}, t e T, называется
модификацией процесса X = {lt (со)}, t е 2\ если для каждого t e= T
Р(©:!«(ю)=?Б« (©)) = 0.
***) В тех случаях, когда это не вызывает недоразумений, слова
«относительно системы F = {Ж J, t e T» будут опускаться.

§ 2] МАРКОВСКИЕ МОМЕНТЫ 17
моментом, если
Р{т(ю)<оо) = 1.
С каждым марковским моментом т = т (со) свяжем
совокупность <fT тех множеств А ЕЕ f, для которых Л Г)
П {to: т (со) <; i) G <f * при всех t ^ Т. Нетрудно
проверить, что fT является а-алгеброй.
Наглядный смысл а-алгебры ?х состоит в следующем.
Будем под <?t понимать совокупность событий,
связанных с некоторым физическим процессом и наблюдаемых
до момента t. (Например, пусть ${ = о {со: ?8, s <^ i) —
а-алгебра, порожденная значениями |s, 5^^, некоторого
наблюдаемого процесса X = {gj, ^ (= Г.) Тогда ^т есть
совокупность событий, наблюдаемых за случайное
время т.
Определение 3. Система сг-алгебр F = {$ft},
t ЕЕ Т, называется непрерывной справа *), если для
каждого t e т
ft = ^«+»
где ?\+ = П f а-
Лемма 1. Пусть т — марковский момент. Тогда
для каждого t ЕЕ Т события {т <С t) и {т = i)
принадлежат $х.
Доказательство сразу следует из того, что
т} и
Лемма 2. Пусть семейство F = {f t), t ^ Т, «е-
прерывно справа и т = т (со) — случайная величина со
значениями в Т = [0, оо] такая, что {т < ?} е ^
t ЕЕ Т. Тогда х — марковский момент, т. е. {т <;
^Доказательство. Если {т < ^} е= f <9 то для
любого е ^> 0 {т <; t) e ^f+s. Следовательно,
е>0
*) В случае дискретного времени t ge N = {0, 1, . . .} это
понятие теряет свой смысл.

18 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
Из этой леммы вытекает, что в случае непрерывных
справа семейств F = {tft}, t ЕЕ Т, для проверки того, будет ли
случайная величина т марковским моментом, достаточно
лишь установить, что {т <С t) ЕЕ ft> t ЕЕ Т.
В общем же случае условие «{т << t} ЕЕ $%, t €= ^ь
слабее условия «{т <^} G f (, / Е Т». Чтобы в этом
убедиться, положим Q = Т. Пусть <? есть а-алгебра лебе-
говских множеств на Т,
ГО,
и $% = ° {®: xs (ю), s ^ *}• Тогда случайная величина
т (со) = inf {' > 0: xt (со) = 1} удовлетворяет условию
{T<0Ef/, в то время как {т < t) ф ft, tEET.
Замечание. Пусть ? ЕЕ -2V = {0, 1,. . .} и т =
= т (со) — случайная величина со значениями в N =
= {0, 1 ,. . ., оо}. Тогда условия «{т<>}е fn, п^Ж»
и «{т <w}E $fn, n G -2V» эквивалентны.
ЛеммаЗ. Если т, а — марковский момент, то т Д
Д а = min (т, а), т \J о = max (т, а) и т -f ст также
являются марковскими моментами.
Доказательство следует из соотношений *)
{т д ^ < t) - {т < t) и {б < t) e ff,
{т V б <0 = {т < 0 п {^< *} е f«,
+ {0 < т < *, г
= {t - 0} П {о > 0 + {0 < т < *, х + в > *} +
+ {x>t}n{o = 0) + {x>t}f]{o> 0},
где
{г = 0} п {о > t} е Г/, {т > t) n {б = 0} е Г,
{0 < т < ^, т + а > *} =
= П ({r<t<<}n(O'-r}Nf(, A.8)
, о
{* > *> П {О 0} = {т > 0 П {<> = 0} ЕЕ f ?.
(В A.8) суммирование производится по всем
рациональным числам г из интервала @, t).)
*) Если А П В = 0, то вместо A \J В мы пишем ^4 + 5.

§ 2] МАРКОВСКИЕ МОМЕНТЫ 19
Л е м м а 4. Пусть тп, п = 1, 2 ,. . .,—
последовательность марковских моментов. Тогда sup тп — также мар-
п
ковский момент. Если к тому же семейство F = {ft}>
t ЕЕ Т, непрерывно справа, mo inf тп, lim тп и lira тп также
будут марковскими моментами.
Доказательство основано на том, что
{in! т„<о = U К
п п
lira тп = inf sup rn,
limtn = sup inf тп.
> >
Л е м м а 5. Всякий марковский момент т
(относительно F — {§ t), t €Е Т) является §'^-измеримой случайной
величиной. Если % и о — два марковских момента и
т (со) < о (со), (о Е Й, wo f T с ?а.
Доказательство. Для доказательства первого
утверждения надо установить, что для любого s > 0
событие {т ^ s) GE ft. Имеем
[{т < s) П {т < t} = {т < t Д s} е ft as S Г/,
т. е. т является ^-измеримой случайной величиной.
Пусть теперь событие А е tfx- Тогда
л П {б < П = (А п {т < 0) П {о < *> е Я, <2е т,
и, следовательно, Л (ЕЕ ^о.
Лемма 6. Пусть тп, ^г = 1, 2, ... ,—
последовательность марковских моментов относительно
непрерывного справа семейства а-алгебр F = {$"*}, t 6E Т, и пусть
т = inf тп. Тогда fx=f] ?x
п п
Доказательство. В силу леммы 4 т является
марковским моментом. Поэтому согласно лемме 5 <jfx cz
?(lff С другой стороны, если 4Gf| 1^, то
п п
n (t < о - ^ п (и к« т -и
п п

20 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
откуда в силу непрерывности справа семейства F вытекает,
что А П (т < *} ^ ft, и, значит, А е ft.
Лемма 7. Пусть х и а — два марковских момента.
Тогда каждое из событий {х < а), {т > а}, {т < а},
{т > а}, {т = а} принадлежит 4fx и <f 0.
Доказательство. Для каждого t €E T
<т < б> П {<* < 0 = П ({т < г} П {г < а < *»,
где г — рациональные числа. Следовательно, {x<C.o}Ezfa-
С другой стороны,
{t < о} П {т < t) =
= П
т. е. {т < ст} ЕЕ fx).
Аналогично устанавливается, что {о < т} ЕЕ ft,
(а < т} ?Е fa. Следовательно, {т ^ ст}, {сг ^ т) и {т =
= о} принадлежат как fT, так и fa.
Лемма 8. Пусть X = (^, ft), t ^ Т,—
прогрессивно измеримый случайный процесс со значениями в
измеримом пространстве (Е, 3$). Пусть х — конечный
марковский момент {относительно системы F = {ft}, t ЕЕ Т)
со значениями в [0, оо). Тогда функция ^х(<л) (со) является
ft/SB измеримой.
Доказательство. Пусть BgS, t ЕЕ Т.
Надо показать, что
Пусть a = min (т, t). Тогда
{I, е 5} П (^ < 0 = {Б. еВ}П [{t < t) и {т = 0] =
5}ПК t}] U [{^ ?В}П{т =
Ясно, что {lt ЕЕ 5} Г) {т = ^) ^ ft- Поэтому если
показать, что |в является $^/53-измеримой функцией, то
тогда {lt е В) П {а < 0 е f«.
Для этого заметим, что отображение со -»- (со, а (со))
является измеримым отображением (й, f f) в (Q X [0, t],
ft^Stl ([0, ^])), а отображение (о>, s) —>¦ ge (со)
пространства (Q X [0, t], ft X ^ ([0, t])) в (Е, 63) измеримо в силу
прогрессивной измеримости процесса X. Следовательно,
отображение |а (со) пространства (Q, ft) в (Е, 3$) также

§ 2] МАРКОВСКИЕ МОМЕНТЫ 21
измеримо, как результат последовательного применения
двух измеримых отображений.
2. Приведем некоторые примеры марковских моментов.
Пусть X = {lt}, iGl,- действительный процесс,
ft = $\ = а {со: ?в, 5 < *}, Л — борелевское множество
на числовой прямой и
aA = inf{*>0: ^Ei}, A.9)
TA = inf{*>0; ЬбЛ} A.10)
— моменты (первого и первого после -f- 0) достижения
множества А. Условимся полагать а а = °°, та = °°,
если множества {•} в A.9), A.10) пусты. Заметим, что
моменты о а и та не совпадают лишь в случае, когда |0 (<&) ?Е
ЕЕ ^4 и существует е ]> 0 такое, что |* (со) ^ ^4 для всех
* е @, е).
Нетрудно проверить, что моменты ста и %а обладают
следующими свойствами:
Л с 5 =» аА > бв, тл > тв;
= min (aA, бв), Taub = min (Та Дв);
> max (аА, ав), тАПв > max (тА, тв);
если А = U i4n, то ал = inf бА , rA = inf Taw-
п п п
Лемма 9. Пусть действительный процесс X =
— (?*> ft)* t €ЕТ, имеет непрерывные справа траектории,
ft+ ~ $t и С — открытое множество (в Е). Тогда
моменты Ос ^ ^с являются марковскими (относительно
системы F ~ {ft}, tEzT).
Доказательство. Пусть D = Я \ С.
Тогда в силу замкнутости множества D и непрерывности
справа траекторий процесса X
{ос >t} = {со: ?8(со) ?D,K0 =
= П {?(H}f
где г — рациональные числа. Следовательно, {ос < t} ЕЕ
Ef(HB силу леммы 2 о с — марковский момент.
Аналогичным образом доказывается и марковость
момента тс.
Следующий результат, содержащий в себе как частный
случай лемму 9, будет в дальнейшем часто использоваться.

22 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. Т
Теорема 5. Пусть X = (^, 4ft), t eT,—
прогрессивно измеримый случайный процесс со значениями в
измеримом пространстве (Е, 33). Пусть также ft =
= ^, 4ft+ = $ь t ЕЕ Т. Тогда для всякого абсолютно
измеримого множества Г е 3$ моменты
<3г = inf {t > s: lt e Г}, tr = inf {t > s: \t ej},
где s > 0, являются марковскими моментами.
Доказательство см. в [63], гл. IV, пп. 46—49;
[38], § 2 Дополнения.
3. Пусть (Q, <?) — измеримое пространство и X =
= {?f}, t ЕЕ Т,— измеримый случайный процесс со
значениями в измеримом пространстве B?, 33). Будем
предполагать, что исходное пространство Q является
достаточно «богатым» в том смысле, что для каждых ^>0ишЕЙ
найдется со' ЕЕ Q такое, что
для всех s > 0.
Обозначим gr} = а {со: g'f, s < t), fl> = o
и пусть т = т (со) — марковский момент (относительно
системы F* = {$"!г}, * GE 27) со значениями в [0, оо).
С каждым таким марковским моментом естественным
образом связывается а-алгебра $**, состоящая из тех
множеств А ^ $^> для которых при всех t > 0 A f]
П (т < 0 е= f ?.
Через Э? будем обозначать а-алгебру, порожденную
множествами {со: ?*д-с(«) (со) е 5), ^ > 0, В Е S.
Теорема 6. 5 предположении A.11) о-алгебры
$\ и $? совпадают*.
$\ = &. A.12)
Доказательство непосредственно следует из
приводимых далее лемм 12 и 13.
Из этой теоремы вытекает, что а-алгебра f\
порождается случайными величинами \*/\и t > 0, т. е. ^\
есть наименьшая а-алгебра, относительно которой
измерим «остановленный» процесс {|тл*}> ^ > 0-

S 2] МАРКОВСКИЕ МОМЕНТЫ 23
Приводимые ниже определения и вспомогательные
факты (в частности, леммы 12 и 13) имеют определенный
самостоятельный интерес.
4. Определение 4. Будем говорить, что
точки со, со' пространства Q являются t-эквивалептными
(со ~ со'), если при всех s ^ t
?.(<о) = Е.(<о'). A.13)
Пусть множество icQ, Обозначим [А]{ множество всех
тех со (= Q, для которых найдется со' ЕЕ ^4 такое, что
и' ~0). Через $\ будем обозначать все те множества
A ЕЕ fio, Для которых \А\ ~ А. Нетрудно проверить,
что $\ образует а-алгебру.
Л е м м а 10. G-алгебры $\ и ff совпадают:
?? = ??. A.14)
Доказательство. Пусть at = at (со) —
отображение пространства Q в Q такое, что
Ма,(ю)) = Ьл*(ю). 5>°- A-15)
(В силу предположения A.11) такое отображение
существует.) Легко проверить, что при каждом t ЕЕ Т
отображение at является измеримым отображением (Q, ^?)
в (Q, Г«).
Покажем, что ^? Q ^?. Для этого достаточно
проверить, что все множества А ЕЕ ^L такие, что А = W]f,
также принадлежат <f}.
Итак, пусть А е f L, Л = [A]t. Тогда а7хЛ е f ?.
В силу соотношения а^ (со) ~ со множество Л cz щхА.
Предположим, что со ее а7х-4. Тогда а^ (со) ЕЕ Л и из
соотношений at (со) — со и [Л 1^ = Л следует, что со G: -4.
Значит, Л = а7х-4. Но а^А е ^? и поэтому Л е ^Ь
Установим теперь, что ^t S ^?. Для всех s ^ ^,
rE«U8Er}GfL и, более того, [{?8еГ}]( =
= {18 €= Г}. Следовательно, для всех ^ Г
и, значит, f? Q f |.
{} ? f f
Лемма 11. Если множество A ge f ?,
mo

24 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
Доказательство. Обозначим 331 совокупность
всех А ЕЕ f}, для которых [A]t = А, и покажем, что
a) Если множество А = {со: ^ЕГ1г ..,^nG Гп},
где Г| GE 3d, si<^ t> i = 1 ,. . . , п, то, очевидно, А ЕЕ 3)t.
b) Нетрудно также проверить, что
I(JM=U[4b
п п
in4bsnu.il-
п п
c) Пусть %t — алгебра множеств, являющихся
объединением конечного числа непересекающихся множеств
вида {islEriv..,^Ern}, Ае«, * < *, * =
= 1 ,. . ., /г; /г > 1. Тогда из а) иЬ) следует, что 2)f Z) 9(f.
d) Установцм теперь, что 3)t—монотонный класс множеств.
Пусть А\ с: Л2 с • • • — последовательность множеств из 2)^.
Покажем, что у 4пе25^. Поскольку Лпе25/, то в силу Ь)
*= \}AW т. е. U4^2),
n n n n
Пусть теперь ЛхЗ Л23 ..., где AnEz33f Тогда в
силу Ь) [П An]t Q П[^пЬ = П Ле2L. С другой стороны,
71 П П
очевидно, что [f] МЗ П ^п и> значит, [f] i4n], = f) Лп,
n n n n
т. e. fl^eSi.
n
Из с) и d) следует, что 3)t^o(%t). Но б(?(<) = f|и
поэтому 25f Q <f f, что вместе с очевидным включением 25^3 ^|
доказывает равенство 3)t = ^?.
Следующий важный результат сформулируем в виде
теоремы.
Теорема 7. Для того чтобы функция г = т (со)
со значениями в Т = [0, оо) была марковским моментом
(относительно F*> = {?^}, t €E T), необходимо и
достаточно, чтобы эта функция была <$\>-измеримой и чтобы
для всех t ЕЕ Т
[{т = Oli = (т = 0- A-16)
Доказательство. Необходимость.
Если т — м.м., то, очевидно, этот момент ^L-измерим.

§ 2] МАРКОВСКИЕ МОМЕНТЫ 25
Далее, если т — марковский момент, то множества
{т <; t) и {т < t) принадлежат ff. Следовательно, {т =
= i) е $\ Тогда по лемме И [{т = t}]t = {т = t}-
Достаточность. Функция т ;f ^-измерима.
Поэтому, если показать, что [{т -^ t}]t = {т ^ t}, то из
определения а-алгебры $} будет вытекать, что множество
{т < t) e if*. Но тогда по лемме 10 множество {т < t) e
Итак, пусть т (со) ^ ? для йЕЙ. Предположим, что
оо' ~ со. Обозначим s — т (со). Тогда, очевидно, со' ~ со,
и по предположению теоремы [{т = s}]s = {т = 5}.
Следовательно, т (со') = s, и, значит, т (со') <^ t. Таким
образом, [{т ^ t}]t = {т ^ t), откуда, как уже отмечалось
выше, вытекает, что {т <; t) e §\.
Следствие. Функция т = т (со) со значениями
из Т = [0, оо) является марковским моментом тогда и
только тогда, когда она является $\>-измеримой и для
любых t !> 0 множество {т = 2} ЕЕ $"if.
Необходимость очевидна.
Пусть функция т = т (со) является ^L-измеримой и
{т = ^} е= ;f if- Тогда в силу леммы И [{т = ^}], = {т =
= t}, что согласно теореме 7 показывает, что момент т.
является марковским.
5. Определение 5. Пусть т — марковский
момент (относительно F** = {f}}, t !> 0) со значениями в
Т = [0, оо). Будем говорить, что точки со, со'
пространства Q являются х-эквивалентными (со ~ со'), если при всех
s < т (со)
Е.М=Б.М- A.17)
Покажем, что отношение «~» является отношением
эквивалентности.
Во-первых, ясно, что 0 ~ со. Пусть со ~ со'.
Обозначим и = т (со). Тогда со ~ со', и в силу теоремы 7 т(со') =
= и. Следовательно, со' ~ со.
Наконец, пусть со ~ со', со' ~ со". Надо показать, что
со -L со".

26 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
Так же как и при доказательстве импликации «со ~
~ со' =» со' ~ со», показывается, что т (со) = т (со7) и
т (со') = т (со"). Обозначим и = т (со) = т (со') = т (со").
Тогда, поскольку со ~ со' и со' ~ со",
и, следовательно, ?s (<o) = ?s (со"), s <^ т (со), а значит,
со ~L о)".
Пусть множество 4сЙит- марковский момент со
значениями в Т = [О, оо). Через Ы.]т обозначим
совокупность всех тех со е й, для которых найдется точка
со' е 4 со свойством со' ~ со. Через lf\ обозначим
наименьшую а-алгебру в пространстве й, содержащую все
множества А ЕЕ ^L, для которых [А]х = Л.
Лемма 12. о-алгебры f\ и Эт совпадают:
?? = Э5- A.18)
Доказательство. Пусть ат = ат (со) —
отображение пространства Q в ?3 такое, что
(Согласно предположению A.11) такое отображение
существует). Легко видеть, что это отображение ах является
измеримым отображением (Q, Э?) в (Q, ^L).
Установим включение <jf\ Q ^?, для чего достаточно
показать, что множество ^4 G fL со свойством [Л]т = Л
принадлежит а-алгебре ^$.
Поскольку А е 5^L, то а^1/! е ^т- Покажем, что
а~*А = Л (тогда ^4 ЕЕ 2Й). Действительно, пусть со ^ ^4.
Тогда со ~ ат (со), т. е.
Is {^ (»)) = ^Лт (СО) = ?s (СО), 5 > Т (СО).
Но Ы.]т = А, поэтому ах (со) е4,и, значит, а^Л э ^1-
Пусть теперь со G а^\4. Тогда ах (со) Ei ив силу
эквивалентности со ~ ат (со) и равенства [AU = А
находим, что ©Ei.
Итак, А = o?\4, откуда f^ Q ^?.

§ 2] МАРКОВСКИЕ МОМЕНТЫ 27
Для доказательства обратного включения *&\ cz <jf\
достаточно показать, что множество {?*дт Е Г} Е f 5
для всех t > О, Г е ИЗ.
Отображение со ->- (т (со) Д ?, со) является измеримым
отображением (Q, ;f L) в ([0, оо) х Й, S ([0, оо)) х f L).
Поскольку процесс X = {?*}, t e 2\ является
измеримым отображением пространства ([0, оо) х Q, 3$ ([О, оо)) х
X f !L) в (Z?, 53), то функция ^дт (со) является
измеримым отображением (?2, flo) в (?, ^). Следовательно,
{со: ЬлтНеГ}е/!,,
что вместе с очевидным соотношением
показывает, что (по определению <F|) множество {|*лт S
ЕГ}Е Л.
Л е м м а 13. о-алгебры $\ и $f\ совпадают'.
?zr = ?l A.20)
Доказательство. Пусть Л е §\. Очевидно,
что §\ Q g^L. Поэтому Л е ^"«. Для того чтобы
установить, что множество А е ^т, достаточно теперь
показать, что [А]х = А.
Пусть ©е4 и со' ~ со. Обозначим s = т (со). Тогда
очевидно, со' ~ со и, кроме того,
со е{т - s} п -4.
Но А Г) {т = 5} e gr|, и по лемме 11
М Г) {т = 5}]s = 4П{т = 4.
Следовательно, поскольку со' ~ со, со' е A f] (т = 5},
то точка со' е А. Итак, [А]х = А и А е ^Г?, а значит,
Для доказательства обратного включения §\ ^ lf\
предположим, что iEfLnU], =4.
Покажем, что тогда для всех ?>0 А ("]{т^2}?=
е ^f. В силу того, что А е f L и {т < *} е f f с: gr^?
множество 4 Л (т < ^} ? ^i- Пусть со е ^4 Л {т < t)

28 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
и о' ?Й таково, что со ~ со'. Тогда, очевидно, со~со'
и значит, со' Ez [А]х = А.
Далее, пусть s = т (со). Поскольку {т ^ t) <^ ^f
и со ~ со', то со ~ со'. Поэтому т (со') = s (теорема 7),
и, значит, т (со') <; t.
Итак, доказано, что если соееЛ П{т^^)и@~ <*>\
то со' е А П {т ^ t), т. е.
и, по определению а-алгебр <g\
Принимая во внимание лемму 10, отсюда получаем, что
А П {т ^ *} S $\ и (в силу произвольности t) А е=
е tf ?, что и требовалось доказать.
Замечание 1. Для того чтобы множество 4сй
принадлежало f^, необходимо и достаточно, чтобы А ЕЕ
е fl и [Л]т = ^1.
Действительно, пусть А е ^?. Тогда, так же как
и при доказательстве включения $\ ~ §\ в лемме 13,
устанавливается, что А ^ f L и [Л]т = А.
Обратно, пусть A s ^L и [Л]т = А. Тогда А е
е ^?, и в силу леммы 13 Л е ^?.
Замечание 2. Для того чтобы множество A cz
с Q принадлежало f^, необходимо и достаточно, чтобы
А е ^L и 4 п (т ^ 0 ^ f t для всех * > о.
Необходимость очевидна. Для доказательства
достаточности пусть со е Л, со ~ со'. Обозначим Z = т (со).
Тогда со —со'. В силу леммы 2 [A f] {x = t}]t = A f]
р| |х = ?}. Следовательно, со' ЕЕ A f] {т = ^}, и,
значит, со' е А.
Итак, [А]х = А. Поэтому в силу определения а-ал-
гебры lf\ и леммы 13 А е §\.
6. Как отмечалось выше, из лемм 12 и 13
непосредственным образом вытекает утверждение теоремы 6 о том,
что а-алгебры ,f \ и $? совпадают. Полезным следствием
этой теоремы является следующий результат (ср. с
леммой 8).

§ 3] МАРТИНГАЛЫ И ПОЛУМАРТИНГАЛЫ 29
Теорема 8. ПустьX = {?,}, *е Т = [О, оо], —
измеримый случайный процесс и пусть выполнено условие A.11).
Тогда для всякого марковского момента т (относительно
F^ — {f ?}, t ЕЕ Т со значениями в Т = [О, оо) функция
gT является ^1 Si-измеримой.
Доказательство. Из определения а-алгебр
^\ следует, что для всех п > 0 функция ?тЛп является
$? — измеримой и в силу теоремы 6 — §f-измеримой.
Отсюда ясно, что функция ?т = Jim \x/\n также ^?-из-
мерима.
§ 3. Мартингалы и полумартингалы
1. Построение теории оптимальных правил остановки
(как для марковских, так и других процессов)
существенно основывается на результатах теории мартингалов и по-
лумартингалов. Остановимся поэтому на основных
определениях и некоторых результатах, используемых в
последующих главах.
Пусть (Q, f, P) — вероятностное пространство и F =
= {ft}, t €E Z,— неубывающее семейство а-алгебр f' t cz
Определение 1. Случайный процесс X = (^,
ft)i t EH Z, называется мартингалом, если
A.21)
l*(lt\f*) = h (Р-п.н.), t>s. A.22)
Определение 2. Случайный процесс X =
= (|t, ^f), iEZ, называется соответственно
супермартингалом или су б мартингалом, если М I |t I <^ оо, t ^
6Z, и
M(b|f.XS. (р-п-н.), «>*, A.23)
или
М(Б,|Г.)>Б. (Р-п.н.), ^>^. A.24)
Супермартингалы и субмартингалы называют также
полу мартингалами.
Очевидно, что если X ~ (^, tft) — супермартингал,
то процесс Y = (— ^, f /) является субмартингалом.

30 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
Поэтому при исследовании свойств полумартигналов
достаточно рассматривать лишь, скажем, супермартингалы.
Определение 3. Если в определениях 1 и 2
вместо условия М | ^ | < оо, t e= Z, выполнено одно
из условий
M#<oo или МЕ;<оо, t(=Z A.25)
(обеспечивающих существование математических
ожиданий Mgj и условных математических ожиданий М(^ |^8)),
то процесс X = (gj, <ft), t Ez Z, удовлетворяющий условию
A,22) (A.23) или A.24)), называется обобщенным
мартингалом (супермартингалом или субмартингалом).
2. В случае непрерывного времени t ЕЕ Т всюду далее
будет предполагаться, что траектории рассматриваемых
полумартингалов непрерывны (Р-п. н.) справа, а сг-ал-
гебры $ t пополнены множествами из f, имеющими Р-
меру нуль.
Теорема 9. 1°. Пусть X = (\и ft), t ЕЕ Z,—
супермартингал, удовлетворяющий условию
sup M?7<oc. A.26)
?z
Тогда с вероятностью единица lim ^ (= ^оо) существует,
конечен w М^ < оо
2°. Если к тому же случайные величины_{^г, t^ Z)
равномерно интегрируемы, то система X = (?•*, ^)?
t^Z = Z{J {сх)}, с goo = lim lv ? со = о ( U f f)
* fz
образует супермартингал.
3°. Пусть X = (?f, ^^), ^^ Z,— обобщенный
супермартингал. Тогда для почти всех о таких, что
inf sup м (ЕГ I ^в) < °°> предел lim ^ (= ?«,) сущест-
sez fez Чй «*оо
конечен или равен -\- оо.
Из этой теоремы выводится следующий важный
результат о свойствах условных математических ожиданий.
Т е о р е м а 10. 1°. Пусть т] = г\ (со) — интегрируемая
случайная величина, М | ц \ < оо. Тогда мартингал
X = (gi, f«), ^ е -Z, с ^ = М (т| \ ft) таков, что с ее-

§ 3] МАРТИНГАЛЫ И ПОЛУМАРТИНГАЛЫ 31
роятностъю единица предел lim М (ц \ ft) существует и
lim M (п | ft) = MJ(t| | f ос) (Р-п.н.). A.27)
t-*oo
где f со = с ( U f,).
f€=Z
2°. ?с./ш случайная величина т| = т) (со) такова, что
Мг)+ < оо, то с вероятностью единица предел lim М (г) | ^^)
t->00
существует и
lim M^I^XM^Hfoe) (Р-лг.м.). A.28)
Следующий результат играет существенную роль при
построении теории оптимальных правил остановки.
Теорема И. Пусть X = (?*, f ^), t ее Z,—
супермартингал, такой, что Р-п.н.
Е#>М(т||Г«). 'ez, A.29)
г5в г) = т) (со) — интегрируемая случайная величина. Тогда
для любых двух марковских моментов (относительно F =
= {&t}> t?E Z) т и о, таких, что Р (т > а) = 1,
случайные величины ?т и ?а интегрируемы и
|fe) (Р-л.м.). A.30)
^ частности, X = (lt, ft), t^ Z,— мартингал
и величины {%>f>t ЕЕ: %} равномерно интегрируемы, то
Se = M(gf|gre) (Р-п.н.). A.31)
Замечание. В A.30) и A.31)
{&г(«)(со), если т(со)< оо,
^т = I Soo (со) = lim lt (со), если т (со) = оо,
I f-»oo
где предел lim |f (со) существует в силу ъеоремы 9.
*->оо
Из A.31) следует, что для равномерно интегрируемого
мартингала X = (?ь $t), t ее Z, для любого марковского
момента т
М|т =М|0. A.32)
В нижеследующей теореме приводятся условия
выполнимости равенства A.32) для фиксированного марков-

32 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
ского момента т, удовлетворяющего условию Р (т < оо) =
= 1, без предположения о равномерной интегрируемости
семейства {lt, t e= Z}.
Теорема 12. Пусть X = (?ь §t), tEiZ —
мартингал, т = т (о) — конечный марковский момент (Р (т <
< оо) = 1). Тогда для выполнимости равенства A.32)
достаточно, чтобы
I^Koo, A.66)
lim \ ?*(<*>) P(dco) = 0. A-34)
*-*°° {со : т (со) > «}
(Доказательства теорем 9—12 см. в [63], [75], [24],
[59]).
§ 4. Марковские случайные процессы
1. Приведем основные определения и свойства
марковских процессов с дискретным и непрерывным временем
в том объеме, в котором они нам понадобятся для задач
об оптимальной остановке.
Пусть (Q, $) — некоторое измеримое пространство
элементарных исходов, F = {ft}, t ЕЕ Z,— неубывающее
семейство сг-подалгебр ? и (Е, 33) — некоторое фазовое
пространство *).
Пусть, далее, (xt, ft), t Ez Z,— случайный процесс
со значением в (Е, 33) и пусть для каждого х ее Е на сг-ал-
гебре <? задана вероятностная мера Р^..
Определение 1. Система X = (хи f{, Px),
t ЕЕ Z, х ЕЕ Е, называется (однородным, необрывающим-
ся) марковским процессом со значениями в фазовом
пространстве (Е, 33), если выполнены следующие условия:
1) для каждого А 6= ?, Рх (А) является ЗВ-измеримой
функцией х;
2) для всех х ее Е, В ЕЕ ЗВ, s, t Ez Z
Px (xt+s e В | ?t) = Pxt (xs e В) (Ря-п.н.); A.35)
*) Измеримое пространство (?", «^) называется фазовым, если
все одноточечные множества {#} е «5^.

§ 4] МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ 33
4) для каждых /gZhqgQ найдется и притом
единственное ю' 6= Q такое, что
*.(©') = *•«(<») A-36)
для всех s?= Z.
Условие A.35) выражает марковский принцип
независимости «будущего» от «прошлого» при фиксированном
«настоящем». Условие A.36) ^означает, что исходное*про-
странство элементарных^исходов; Й должно быть
достаточно «богатым» и что множество'траекторий {xt (со)},
t €E Z, обладает некоторой однородностью.
Если Z = N = {О, 1, . . .}, то X = {хи fu р*)
называется также марковским процессом с дискретным
временем, марковской случайной последовательностью или
марковской цепью.
Обозначим ft = а {оа: х8, s <[ t}. Нетрудно видеть,
что наряду с X = (хи fu Px) процесс Z* = (хи #7,
Рх), также будет марковским.
Определение 2. Прогрессивно измеримый
марковский процесс X = (xt, ft, Px), tE=Z, x e E,
называется строго марковским, если для любого марковского
момента х (относительно системы F = {ft}, t ?= Z)
выполняется следующее усиление условия 2) определения 1:
2*) для всех жб?,ВеЖ^^Е2
Известно, что марковский процесс с дискретным
временем всегда является строго марковским [24]. В случае
непрерывного времени это, вообще говоря, уже не так.
Определение 3. Прогрессивно измеримый
марковский процесс X = (xtj ft, Г*), t ее ЗГ, называется
квазинепрерывным слева, если для всякого марковского
момента а величина ха является f а/й3-измеримой и для
всякой неубывающей последовательности марковских
моментов тп | т
*»п -*х- ((т <°°>;р* = п-н-) (* -38)
для всех х ЕЕ ^.
Обозначим Р (^, л:, Г) = Р^ (xt е Г), х^ Е, Ге S3,
^ S -2/. Функция -Р (^, ж, Г) называется переходной функ-
2 А. Н. Ширяев

34 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
цией марковского процесса X. Следующие ее свойства
непосредственно вытекают из определения 1:
1) Р (t, х, •) — мера на (Е, 53) для всех х е= Е, t е= %\
2) Р (t, •, Г) является 53-измеримой функцией х при
каждых ^Е^иГе^;
3) (уравнение Колмогорова — Чэпмена)
Р (t + s, х, Г) = J P (t, у, Г) Р (s, х, dy); A.39)
Е
4)Р@,а?,Г) =1г(х).
Для случая дискретного времени t ЕЕ Z переходная
функция Р (t, х, Г) полностью определяется по
переходной функции Р (х, Г) ~ Р A, х, Г) за один шаг.
2. В случае непрерывного времени данное выше
определение марковского процесса оказывается слишком
широким для построения плодотворной теории. В этом
разделе мы рассматриваем важное понятие стандартного
марковского процесса; именно для таких процессов в
гл. III изучаются задачи об оптимальной остановке.
Определение 4. Строго марковский,
непрерывный справа*), квазинепрерывный слева марковский
процесс X = (хи ft, P*)» ^ЕТ, со значениями в фазовом
пространстве (Е9 3d) называется стандартным, если
(A) Г; = Я+, *€ET;
(B) Е — полукомпакт (т. е. локально компактное хаус-
дорфово пространство со счетной базой); 3d — а-алгебра
борелевских множеств в Е (т. е. 33 = а ($), где % —
система открытых множеств топологического пространства Е).
В ряде задач теории случайных процессов а-алгебры
^> f, ft оказываются слишком узкими и приходится
вводить в рассмотрение а-алгебры 33, 53, f, ft,
получаемые следующим образом.
Пусть [х — вероятностная мера на (Е, 53), W —
пополнение а-алгебры 53 по мере \л и Р^ (А) = ^ Рх (A)\i (dx),A e $.
Е
Обозначим (см. § 1) 1 = П ^ f = П f Л f < = ПI?\
Рзс — продолжение меры Рх на <f.
•) То есть для каждого со е Q траектории (а?; (со), t ^ 0} яв-
ддются функциями, непрерывными справа цо t ^ 0.

§ 4) МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ 35
Будем говорить также, что множество Ге1, если
для любой вероятностной меры \i найдутся такие
множества Тг и Г2 из 53, что Тг Q Г с: Г2 и Р^ {/Г1 (xt) =
= /г2(^), ^G2T} = 1. Система ^образует а-алгебру, 53 ci
с: $? с: 53, множества из ^ называются почти борелев-
скимщ 53-измеримые функции также называют почти бо-
релевскими.
Известно ([39], теорема 3.12), что если процесс X =
= (хи ft, Px) является стандартным, то таков же и
процесс X = (xt, §'и Рх). Поэтому при изучении таких
процессов можно сразу предполагать, что
53 = 53, f = J, ft=?u Рх = ?х. A.40)
Пусть В (Е, 5$) — пространство ^-измеримых
ограниченных функций f = f (х), х е Е, с нормой ||/1| ~
= SUP I/ (#)!• Каждой функции / еВ (Е9 33) поставим
х
в соответствие функцию
Tt f (x) = \ f (У) Р (t, х, dy), t <= Z. A.41)
Формула A.41) определяет семейство линейных
операторов {Tt}9 ^?Z, В силу A.39) это семейство
образует полугруппу:
Ts.Tt = Ts+t, s,t^Z.
Нетрудно видеть, что эта полугруппа сжимающая:
Пусть С (Е, 3$) с: В (Е, 53) — пространство
ограниченных 53-измеримых непрерывных функций, заданных
на пространстве (?, S), удовлетворяющем условию (В)
определения 4.
Определение 5. Полугруппа операторов {Tt},
<ЕГ, называется феллеровской (а соответствующие
переходная функция Р (t, х, Г) и марковский процесс X —
феллеровскими), если для каждой функции / ?= С (Е9 53)
функция Tt f непрерывна по х для всякого t ЕЕ Т.
3. Пусть X = (хи fiy Px), t Ez Z, — марковский
процесс. Согласно A.36) для каждых t e Z и ©ЕЙ
найдется и притом единственный элемент со' €Е й такой,
#s (со') = #s+f (со) для всех «6Z.
2*

36 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
Оператор, сопоставляющий для данного t Ez Z
элементу со элемент со', обозначим Э^со. Таким образом,
х& @,со) = xs+/(co), seZ,
т. е. оператор 0/ «сдвигает» траекторию {xs (со), s?Z}
«влево» на L
Так определенный оператор 0* действует в
пространстве элементарных исходов Q. Полезно оказывается
определить также оператор сдвига, действующий на случайные
величины. А именно, если г\ = г\ (со) — случайная
величина, то через Qtr\ = Qty\ (со) обозначим случайную
величину, определенную равенством
(Так, если т) (со) = хи (со), то Qtxu (со) = хи @*со) =
= xu+t (со).)
Пусть теперь т = т (со) — случайная величина со
значениями в Т = [0, оо) (в случае непрерывного времени)
или в JV = {0,1,. . .} (если время дискретно). Определим
оператор 0г как оператор, который элементарному событию
со ставит в соответствие элементарное событие 0Т(о>)Со.
В том случае, когда случайная величина т принимает
значения в Т = [0, оо], оператор 0Т определяется не
на всем пространстве й, а лишь только на множестве
QT = {со : т (со) < оо}. При этом по определению для
©ЕЙ полагаем 0тсо = 0Т(«)СО.
С помощью введенного оператора 0Т строго марковское
свойство A.37) можно записать в следующей
эквивалентной форме: если ц = т) (со) — интегрируемая fх =
= а {со: xs, s < оо }-измеримая случайная величина, то
для всякого марковского момента т == т (со)
(относительно системы {$ft}, t ЕЕ Z):
М* @тт| | f т) = MXtti ({т <оо}; Рх-п.н.), XEEF. A.42)
Из A.42) следует, что если случайная величина
^-измерима, г\ — ^-измерима иМх \%\ < оо^^.Ц
< оо, х е Е, то
T|)- A-43)

§ /t] МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ 37
4. Пусть (/?, 98) — фазовое пространство и В (?, 98)
— банахово пространство ограниченных измеримых
функций / = / (х), х е Еу с нормой Ц/11 = sup \f(z)\.
х
Инфинитезималъный оператор Л полугруппы {Tt},
t e Ту определяется формулой
Ttnx)-f{x). A.44)
г
Чтобы полностью определить оператор <А, надо задать
область его определения 3)^. Будем считать, что 3)^
состоит из всех функций /6В(?, 33), для которых
предел в правой части A.44) существует равномерно по
х&Е.
Если {Tt}9 t GT, — полугруппа, отвечающая
марковскому процессу X = {хи ?и ?х), то Л называется ин-
финитезимальным оператором процесса X.
Пусть X = (хи ft1 Рх), (бГ,^? Е,— марковский
процесс в фазовом пространстве (Е, 93) и *ё — некоторая
топология ([39], Добавление, § 5) в Е. Зафиксируем
некоторую ^-измеримую функцию f = f (х) и некоторую
точку х е Е. Обозначим через % ($) совокупность
множеств V е % П $?> Для которых момент i(U) =
= inf {t > 0: xt e E \ U) f-измерим, MJ/ {x4U)) \ < oo
(/ (^oo) полагается равным нулю) и выражение
имеет смысл (если М^т (С/) = оо, то это выражение
считается равным нулю).
Обозначим
где «^-lim» обозначает предел по системе окрестностей
% ($), стягивающихся к точке х (подробнее см. § 3 гл. V
в [39]),
Множество всех ^-измеримых функций, для которых
в точке х существует предел A.46), обозначается Э)^(х)
и называется областью определения оператора 91 (назы-

38 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. 1
ваемого характеристическим оператором процесса X
в топологии %) в точке х. Если /Eft (x) при всех ^GC,
то будем писать / ЕЕ ft (G). В том случае, когда G = /?,
будем писать /eft.
Для широкого класса марковских процессов
характеристический оператор является расширением инфините-
зимального оператора (а также так называемого слабого
инфинитезимального оператора; подробнее см. гл. V
в [39]).
5. Наряду с понятием марковского процесса нам
придется также сталкиваться с родственными понятиями
марковской случайной функции и марковского семейства
случайных функций. Приведем соответствующие
определения.
Пусть (Q, <?у Р) — некоторое вероятностное
пространство, F = {tft}* t ЕЕ Z, — неубывающее семействе а-
подалгебр f и (хи ft), t ЕЕ Z,— случайный процесс со
значениями в измеримом пространстве (Е, S3).
Определение 6. Система объектов X = (хи
§'и Р)» * ?= %<> называется (однородной, необрывающейся)
марковской случайной функцией, если выполнено условие
A.36) и для всех s, t^Z, BgS
ЕЕ В\ft) = P(xt+S ZEB\xt) (Р-п.н.). A.47)
Предположим теперь, что каждому х е Е
сопоставлена марковская случайная функция Xх = (zf, <ff, P*),
t ЕЕ Z, со значениями в фазовом пространстве (Е, 9д)
(#?• ^f-измеримы при каждом ^gZ, off cz qft).
Определение 7. Система объектов Xх =
= (x*i ffy P*)> t ?=: 2*1 х ЕЕ Е, называется марковским
семейством случайных функций, если при каждом
фиксированном х ЕЕ Е Xх = (а#, ff, Рх), * GE ^, образует
марковскую случайную функцию и
1) Р (t, х, Г) = 9х (хх е Г) есть ^-измеримая функция от
х (Г ^33);
2) JP @, *, ? \ {^}) = 0;
3) Р36D+s &Т\х*) = РE, ж*, Г) (Р^-п.н.) при любых sf
t<=Z и Ге&
Понятия марковского процесса и марковского
семейства случайных функций тесно связаны между собой.

§ 4J МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ 39
Именно, каждый марковский процесс X = (xt, $и Рх),
t ЕЕ Z, можно рассматривать как марковское семейство
случайных функций с Р = Рх, х* = хи f f == ?t.
Справедливо и обратное: если Xх = (#?, f ?, P), t ЕЕ Z,
х ЕЕ Е, — марковское семейство случайных функций, то
за счет соответствующего расширения пространства
элементарных событий можно построить некоторый
марковский процесс с той же самой вероятностью перехода
Р (t, х, Г). (Подробнее см. [39], стр. 119).
6. Задачи об оптимальных остановках далее будут
рассматриваться преимущественно для (однородных необры-
вающихся) марковских процессов. Однако излагаемая
теория почти без всякого изменения применима как для
обрывающихся, так и для неоднородных марковских
процессов. В связи с этими процессами дадим
необходимые определения.
Пусть B?, 33) — фазовое пространство. Обозначим
Еа = Е U {А}, где А —- некоторая (фиктивная) точка,
не принадлежащая Е, и пусть ЗЗд — а-алгебра
подмножеств ?д, порожденная множествами из 3d. Заметим, что
одноточечное множество {A} GE $?д, так что пространство
(ЕА, 33а) будет фазовым.
Предположим теперь, что заданы: некоторое
измеримое пространство элементарных исходов (?2, $0,
семейство 0-алгебр {?*}, 0 ^ s ^ t, s, t e Z, таких, что $f\ С
^ fv E &, если 0<м<5<(<ги*) для каждой
пары (s, x) e Z х Еа пусть заданы вероятностные меры
?sx на а-алгебре <?& = <^>. Будем считать заданным
также случайный процесс (хи ft), t &Z, со значениями в
(Еа, 53д), обладающий тем свойством, что если х^ ((о ) ==
= А, то xt (со) = A, t > *0.
Определение 8. Система X = (хи f8t, P^),
UE^, жЕ Еа9 называется (неоднородным
обрывающимся) марковским процессом в фазовом пространстве (Е,33)
с присоединенной точкой А, если выполнены следующие
условия:
1) для каждых sG^Hi Gf PS)XD) является 33 а-
измеримой функцией от х;
*) Вместо Jf?MH будем писать &{ и обозначать также &s = ,

40 СЛУЧАЙНЫЕ ПРОЦЕССЫ, МАРКОВСКИЕ МОМЕНТЫ [ГЛ. I
2) для всех х ЕЕ #д, В ?Е 53д, 0 <; s <! t <; и
Р„* (хи е 51 f •) = ре>х< (Жи е д) (/Vn.ii.);
3) Pif«(«. = «) = 1; Р5,л(^е?'д) = 1, о:е^д, s<^.
Функция Р E, л:; ^, В) = Р5,х (^f e В) называется
переходной функцией марковского процесса X.
Величина ? (со) = inf {t : xt (со) = А} называется
временем жизни или моментом обрыва марковского
процесса X.
Хорошо известно, что за счет расширения исходного
фазового пространства и пространства элементарных
событий неоднородные процессы можно свести к
однородным. (В этой редукции вместо пространств Q и Е
вводятся пространства Q' = Z x Q, Е' = Z х Е и для со' =
= (z, со) полагается х{ (со') = (t + zt xt+z (о)));
подробнее см., например, [38], гл. 4).

ГЛАВА II
ОПТИМАЛЬНАЯ ОСТАНОВКА
МАРКОВСКИХ СЛУЧАЙНЫХ
ПОСЛЕДОВАТЕЛЬНОСТЕЙ
§ 1. Постановка задач об оптимальной остановке
1. Пусть X = (хп, fn, Рж), п е N = {0,1, ...},-
однородная марковская цепь со значениями в фазовом
пространстве (Е, ЗВ). Обозначим через В совокупность
33-измеримых функций g = g (я), принимающих значения
в (— оо, оо]. Пусть т = т (со) — некоторый марковский
момент (относительно системы F = {fn}> n ^ N)
такой, что для всех ©ЕЙ т (со) ^ JV, N < оо.
С каждым таким марковским моментом (совокупность
которых обозначим через SR (JV) и функцией g ЕЕ В
свяжем случайную величину*)
g Ы = g (хх{(й) (со)),
которую будем интерпретировать как выигрыш,
получаемый в состоянии хх при прекращении наблюдений в
момент т.
Предположим, что для данного х ЕЕ Е и
рассматриваемого марковского момента т определено математическое
ожидание Ма g (xx) (т. е. М^+ (хх) и M^g- (x%)
одновременно не равны оо). Тогда величину hKxg (xx) естественно
интерпретировать как средний выигрыш,
соответствующий выбранному моменту т ЕЕ 9R (N) и начальному
состоянию х.
*) По определению полагаем хх^ (со) = хп (о) на множестве
(со: т (о)) = п); поэтому g (хх) = J] ^(*п)
п=о
индикатор множества (т = /г}.

42 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. 1
Положим
sn (х) = sup Mxg (xx), B.1)
где супремум берется по тем марковским моментам т ЕЕ.
ЕЕ 3R (iV), для которых математические ожидания
ls\xg (хх) определены при всех х Ez Е.
Функцию sn (#), определенную в B.1), мы будем
называть цепой% а момент %n из класса SR (N), для которого
математические ожидания Mxg(;z>) определены при
всех х ЕЕ Е и
Мх?(я *) = 5jvHi S<=#,
назовем оптимальным моментом остановки (в классе
(О)
Наша ближайшая цель (§§ 2—3) состоит в том, чтобы
выяснить структуру и дать способы отыскания цены sn (x)
и оптимальных моментов остановки т (из дальнейшего
станет ясно, что такие моменты действительно
существуют).
Обозначим
— класс тех марковских моментов из 3R (N), для которых
математические ожидания Мх g (хх) определены при всех
ж??и больше — оо. Заметим, что множество SKg (N)
не пусто: оно заведомо содержит момент т = 0.
Покажем, что в B.1) супремум достаточно брать лишь
по классу SRg (TV), т. е.
sN(x)= sup М^(хт). B.2)
Пусть те SR (N) и таково, что Mxg (x%) определены
для всех х ?= Е. Зафиксируем некоторую точку х0 е ?.
Для доказательства требуемого утверждения достаточно
показать, что найдется такой момент т0 ЕЕ 9Kg (TV), что
и в то же время для всех х ЕЕ Е

§ 1] ПОСТАНОВКА ЗАДАЧ ОБ ОСТАНОВКЕ 43
Если Мя0 g~ (хх) = оо, то можно положить т0 = 0.
Тогда ясно, что Mxg~ (хХо) = g- (х) < оо и в то же
время
— оо = hAXog (хх) < g (х0) = M*og (хХо).
Если же МХо8~(хт) < °°> то тогДа надо положить
ft (со), если хо(а>) = х0,
0> если ^0(со)^=^0.
Так как одноточечное множество {#0} ?$, то момент т0
будет марковским. Ясно также, что Mxog (xx) = MXog(xXi)
и M^g- (#т) < оо для всех х ^ Е.
Тем самым определение цены sn (?) с помощью
формулы B.2) обосновано.
Замечание. Чтобы каждый раз не оговаривать,
что при определении цены s^{x) sup в B.1) берется по тем
марковским моментам т ЕЕ 9К (N), для которых
математические ожидания Mxg (xr) определены, условимся
полагать M^g (хт) = — оо, если одновременно и Mxg+(xx) =
= оо и M^g~ (хх) = оо. При этом соглашении с
помощью предшествующей конструкции можно показать,
что для цены sn (#) также справедлива формула B.2).
Указанное соглашение оказывается удобным (и мы его
будем придерживаться), поскольку тогда не надо каждый
раз специально оговаривать «определенность»
рассматриваемых математических ожиданий.
Понятно, что цена sn {%) есть тот максимально
возможный средний выигрыш, который можно получить, когда
время наблюдения ограничено числом N. Интерес
представляют также те задачи об оптимальной остановке, в
которых время наблюдения может быть и неограниченным.
Для соответствующих формулировок введем ряд
необходимых обозначений и понятий.
Пусть X = (хп, tfn, Рх), п е N,— (необрывающаяся
однородная) марковская цепь со значениями в фазовом
пространстве (Е> 38). Пусть 9R — класс всех марковских
моментов (относительно системы F — {<f n}, n ^ Ж) со
значениями в Ж = Ж (J {-|- оо}, а 9К — класс всех
конечных марковских моментов, т. е. моментов т ?Е 3R,

44 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
для которых
Р*(т<оо) = 1, х^Е.
(Моменты т ЕЕ 9К называем также моментами остановки).
Наряду с введенным выше классом $Rg (N) введем
также класс
и функцию
). B.3)
Эту функцию также будем называть ценой. Момент
остановки (е > 0) те е $!tg назовем (е, з)-оптималъным,
если при всех х &Е
@, 5) — оптимальный момент остановки будем называть
просто оптимальным.
Заметим, что, как и в случае sn (#), цена s (x) не
изменится, если в B.3) супремум брать не по классу 9Rg,
а по более широкому классу моментов остановки т7 для
которых математические ожидания Mxg (хг) определены
при всех х GE Е, или даже по классу SR (с учетом
сделанного выше замечания).
Исследование вопросов существования и структуры
оптимальных моментов остановки показывают, что
целесообразно ввести в рассмотрение также цены
s (х) = sup Mrf(sT)f B.4)
где
a*)
B.5)
*) Доопределение функции g (xx) при т = оо выражением,
стоящим в правой части B.5), станет ясно из дальнейшего (см. за*
мечание 1 к теореме 4 в § 5).

§ 2] ОПТИМАЛЬНЫЕ ПРАВИЛА ОСТАНОВКИ 45
Как и в случае sn (#) и s (х), цена s (х) не изменится, если
при ее определении супремум брать не по классу Зй^,
а по классу тех марковских моментов т е 3R, для которых
Mxg (xj определены при всех х GE Е, или даже по
всему классу SK (опять-таки с учетом сделанного выше
замечания). _
Будем говорить, что момент те ЕЕ ®tg является (е, $)-
оптимальным, если при всех х €Е Е
Из дальнейшего станет ясно, что каждый (е,
^-оптимальный момент является в то же время и (е,
^-оптимальным. Поэтому для краткости (е, $)-оптимальные моменты
будем называть е-оптимальными, а О-оптимальные —
оптимальными моментами остановки.
Каждый момент остановки (и вообще каждый
марковский момент) задает, как принято говорить, некоторое
правило остановки. Отыскание оптимальных (или
близким к ним) правил остановки является центральной
задачей настоящей главы. Развитая в ней теория оптимальных
правил остановки для марковских цепей будет
использована далее как при построении соответствующей теории
для марковских случайных процессов с непрерывным
временем (гл. III), так и при исследовании конкретных
статистических задач (гл. IV).
§ 2. Оптимальные правила остановки в классах Щп)
и 9Й(ж; n)
1. Центральный результат настоящего параграфа
содержится в теореме 1, в которой не только описывается
структура цен $# (х) и даются способы ее отыскания, но
и найден оптимальный момент остановки.
Будем говорить, что функция g = g (x) принадлежит
классу Lt если ??Ви M^g- fa) < 00, х ЕЕ Е.
Введем в рассмотрение оператор Q, действующий на
функции g e L по формуле
Qg (х) = max {g (*), Tg(x)}, B.6)
где Tg(x) = h\xg (*j).

46 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Пусть также
sn(x)= sup
m
Теорема 1. Пусть функция g Ez L. Тогда
1) sn{x) = Qng{x), и = 0, 1,..., B.7)
2) sn (Ж) = max {g (*), Т8п.г (*)}, B.8)
где s0 (x) = g (яг);
3) в классе 9Rg (?г) момент
Хп = min {0 < m < /г: sn_w (ят) = g (я;т)} B.9)
является оптимальным:
*) = sn(x);
4) ес/ш M^g- (a:fe) < оо, к = 1,. . ., п, то момент
%п принадлежит классу 3R (/г) w является оптимальным
в классе SK (гг).
Прежде чем переходить к доказательству этой теоремы,
рассмотрим подробнее структуру операторов Qn и
приведем два вспомогательных предложения.
По определению, для g ЕЕ L
Qng (x) = max {Q^g (x), TQ^g (ж)}, п = 1, 2,...,
где (?°g (я:) = g (x). Полезно заметить, что
последовательность операторов Qn, п = 0,1,. . ., удовлетворяет также
(более простым) рекуррентным соотношениям:
Qng (x) = max {g (x), TQn~*g (x)}, n = 1,.. .. B.10)
Действительно, поскольку
Г [max g, Tg)] > Tg,
то
^(a;) = max {Qg (x), TQg (x)} =
= max {max [g (x), Tg(x)\, T [max (g, Tg)] (x)} =
= max {g (x), T [max (g,Tg)] (x)} = max {g (x), TQg (ж)}.
Итак, при п = 2 формула B.10) установлена. В общем
случае доказательство можно провести, например, по
индукции,

§ 2] ОПТЙМАЛЬЙЫЕ ПРАВИЛА ОСТАНОВКИ 47
Следующие две леммы, в которых предполагается, что
g Ez L, существенно используются при доказательстве
теоремы 1.
Лемма 1. Для всякого марковского момента т ЕЕ
® (
(x), XEEE, B.11)
и, значит,
sn(z)<Qng(x)> *<=#. B.12)
Лемма 2. Для всякого п = 0,1,. . .
Qng(x) = b\xg(xan), x(=E, B.13)
где
оп = min {0 < & < п: 0я-** (*k) = g Ы}. B.14)
Доказательство леммы 1. При п = 0
утверждение B.11) очевидно. Пусть теперь т Е 5Kg (w),
п > 0. Обозначим Л = {со : т = п}. Очевидно, что
событие*)
П—1
А = п\ 2(х' = ^}^fn-i и, значит,
ж,) = hAJ-jg (хх) + t
JAg (Xn) ==
Л [g (xn) [ Гп-i]} =
= М «^ (^Л(п-1)) + MjAMXxA{nl)g (Xt) <
max [ () ^
Итак,
M^g (жг) < M^g (Жгл(«-1)). BЛ 5)
*) /А= 1А (со) — индикатор множества Л;2^г есть теорети-
ко-множественная сумма IJ А\ в предположении, что множества
^i, Л2 . . . попарно непересекаются.

48 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
откуда
(хх)
что и доказывает B.11) и B.12).
Замечание 1. Пусть] 3R (яг, л) — класс
марковских моментов т Е Ж (и) таких, что при всех й?Й
т ^ т (со) <^ п.
Тогда (в предположении g Ez L) тем же методом, что и
при выводе неравенств B.15) и B.16), показывается, что
для т е 3R* (/га; /г) = {т е SR (m; n): Mxg" (sT) < оо, Е)
Ю (Р,-п.нм х е Я). B.17)
Доказательство леммы 2 будем вести
по индукции. При п — 0 утверждение леммы очевидно.
Пусть равенство B.13) справедливо для некоторого п > 0.
Покажем, что тогда оно выполнено и для п + !•
Зафиксируем точку я е= ?. Тогда, если Рх {crn+i =
= 0} = 1, то в силу B.14)
и, значит,
Пусть теперь Рж {ап+1 = 0} < 1. Тогда, поскольку
{o"n+i = 0} ЕЕ ^о» в силу закона «нуля или единицы»
([39], стр. 124)
и поэтому Рх {an+i > 1} = 1. Покажем, что в этом случае
<3n+i = 1 + 9i<5n (Р*-п.н.).
Действительно, в силу свойств операторов 9„ (гл. Т, §4)
61бп (и) = Gi min {0 < к < п: <?"-^ (жк (©)) = g (xk (»))} =
= min {0 < к < п: Qn~kg (xk (B&)) = g (xk (M))} =
= min {0 < А < л: <?""*? (xft+1 (©)) = g (arm (со))} =
= min {0 < А < п: Qn*~(Wg (Xk+1 («,)) = g (хш (со))}.

§ 2] ОПТИМАЛЬНЫЕ ПРАВИЛА ОСТАНОВКИ 49
Следовательно,
1 + в а (©) = min {1 < ft + 1 < п +1: Q^-Wg (xk+1 (со)) =
= g (*м И» = min {1 < I < n + 1: Q™-*g (xt (to)) =
= g(xl (со))} =Cn+1((o)f
где последнее равенство следует из определения момента
an+i и предположения Рх {ап+1 > 1} = 1.
В рассматриваемом сейчас случае (т. е. когда
Р* {tfn+i > 1} = 1) <?n+1g (*) > ^ («)• Отсюда, а также
в силу предположения индукции и соотношений B.10)
получаем
Q^g (х) = max {g (z), Mx
что и завершает доказательство леммы 2.
2. Доказательство теоремы 1. Из B.12)
и B.13) следует, что
Момент олЕЕ9Й?(и) и, очевидно,
sn(x)>Mxg(X
Поэтому для любого п — 0,1,. . .
и, значит, момент оп (= т^) является оптимальным в
классе $flg (n). Рекуррентные соотношения B.8) вытекают
из B.7) и B.10). Последнее утверждение теоремы следует
из того, что в рассматриваемом случае класс SR^ (n)
совпадает с SK (п).
Теорема доказана.
3. Замечание 2. Для фиксированного N
положим
Г? = {х: sN.n (x) = g (x)}, 0 < п < N.
Из теоремы 1 вытекает, что оптимальный момент
остановки тЗу может быть следующим образом описан в
терминах «областей остановки» Тп, 0 <; п ^ N:
т; = min {0 < п < N: хп <= Г^}. B.18)

50 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Иначе говоря, если х0 ЕЕ Г^, то оптимальное правило
остановки предписывает мгновенную остановку. Если
х0 (? То, то надо совершить наблюдение и в зависимости
от полученного значения хх или прекратить наблюдение
(в случае хх ЕЕ 1\) или совершить очередное наблюдение
(в случае хг ф Г^) и т. д. Ясно, что в момент времени N
процесс наблюдения заведомо прекратится, поскольку
TNN = E.
Наряду с «областями остановки» Т„, 0 <; п < N,
рассмотрим «области продолжения наблюдений» Сп —
= Е \ Тп, 0 < п < N. Ясно, что
CJJ-! = {х: зг (х) > g (х)} = {х: Qg (х) > g (x)} =
= (х: Tg (х) > g (x)} = {х: Lg (x) > 0},
где оператор L = Т — / (/ — единичный оператор).
Поскольку g (х) <; sL (х) <; . . .^ sn (х), то области С^,
0 <^ п ^ N, удовлетворяют следующей цепочке
включений:
0/tN ,— /~iN .— . /miV
== bN ^=z Ln-1 S • • • ?== Ьо •
В частности,
C$ = {x: sN (x) > g (x)} э {a:: Lg (ж) > О},
что отражает тот очевидный факт, что если в точке х
«выгодно сделать одно наблюдение» (т. е. Tg (х) > g (x)),
то эта точка заведомо принадлежит области продолжения
наблюдений. (Эти рассуждения будут развиты в § 12 при
отыскании так называемых критериев «урезанности»
оптимальных правил остановки.)
Замечание 3. Обозначим © (N) тот класс
моментов остановки т е SR (N), которые являются моментами
первого попадания в множества (т. е. те © (N), если т =
= min {0 <^ п <^ N : хп е Сп} для некоторых борелев-
ских множеств С^, 0 <; п ^ N), Тогда
sN (х) = sup
©(N

§ 2] ОПТИМАЛЬНЫЕ ПРАВИЛА ОСТАНОВКИ 51
В этом смысле класс (? (N) может быть назван
достаточным классом моментов остановки.
Замечание 4. Из теоремы 1 следует, что для
отыскания оптимального момента остановки i*N ?E 3K (N)
необходимо знание цен sn (х) для всех 0 <; п <^ N. Таким
образом, для решения задачи об оптимальной остановке
в классе Зй (N) приходится последовательно решать
аналогичные задачи в классах 9К A), . . ., 5К (N— 1).
При этом соответствующие цены s1(x), . . ., s^-i (x)
находятся с помощью итераций оператора Q:
или, что эквивалентно, с помощью рекуррентных
соотношений
sn (х) = max {g (x)9 Tsn-г (х)}.
Замечание 5. Будем говорить, что случайный
процесс ^ = {|п, 0 <^ п ^ N) мажорирует процесс г\ =
= Ь\п> 0 <^ п <^ N}, если при каждом 0 ^ п ^ N
?п ^ т]п (с вероятностью 1). Из теоремы 1 вытекает, что
процесс (ss-n (xn), fn> рх), 0 < д < iV, является для
каждого х ЕЕ -Е наименьшим супермартингалом,
мажорирующим процесс {g (жп), 0 < ^г < 7^}.
Замечание 6. Условие g ЕЕ L, фигурирующее
в формулировке теоремы, обеспечивало существование
всех рассматриваемых математических ожиданий. Если
рассматривать задачи об оптимальной остановке в
классе 9К (N), то это условие можно заменить на условие
Mxg+ {хп) < °°> п = 0,1,. . ., N] х Ez E. Утверждения
лемм 1, 2 и теоремы 1 останутся справедливыми тогда
для всех п <; N.
4, В настоящем пункте будет рассмотрено одно
обобщение изученной выше задачи об оптимальной остановке
в классах 90? (N). (Это обобщение оказывается, в
частности, полезным при сведении задач об оптимальной
остановке для неоднородных марковских цепей к
рассмотренному случаю однородных марковских
последовательностей. Подробнее об этом см. далее § 12).
Рассмотрим введенные выше (см. замечание 1) классы
ЗК (т; п) и ®lg (т; п) = {т е 3» {т; n)'Mxg- (хТ) < оо,
х<^Е}. Ясно, что в случае т==0 класс 5SR @; п) (ЗЙ^ @; п))
сов адает с классом 9R (/г) CR^ (/г)).

52 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Положим
sm,n(x)= SUP М^ач), B.19)
Te2Rg(m; n)
и пусть*)
Vm, n (*; со) = ess sup Mx [g (*,)I fn]. B.20)
е2й^(т; n)
Теорема 2. Пусть функция g e ?. Тогда для всех
0 <^т <^ п<1 оо
B.21)
2) для каждого х е i?
Vm, п (^; ©) = ^п-т (*«) (Px-w.».); B.22)
3) момент
тт,п = min {w < k < и: sn-k (xk) = g Ы} B.23)
является оптимальным (в классе $Rg (m\ n)) в том смысле,
что (Рх-п.н., х ^ Е)
= ess sup Мя [*(*,) IГ«] B.24)
е Зй ()
)\fm\ p
m,n т е Зй - (m,n)
M^K* )= sup Mxg(xx), x<=E. B.25)
m,n -v&fkg(m;n)
Доказательство. В силу неравенства B.17)
для любого т Е 5К^ (т; п)
Мх [g (д?01 f то] <:(?n^ (*i) (Рл-п.н., х е Я).
Поскольку ^n-m^(у) = sn.w(у), j??, то
Покажем теперь, что для введенного в B.23) момента
m,n
*) Если {lay аеЯ}- семейство случайных величин,
заданных на некотором вероятностном пространстве (Q, &, Р), то под
ess sup 1Л понимается такая случайная величина т], что Р (т) >.
€=31
€31
|а) = 1 для каждого ае5(, и, если fj таково, что Р (fj ^ ga) =
|| , asd, то Р (rj < т|) = 1. Доказательство существования та*
кой случайной величины см. в [68], [92],

§ 2] ОПТИМАЛЬНЫЕ ПРАВИЛА ОСТАНОВКИ 53
Пусть
tJUn = min {0 < к < п — т: sn-m.k (хк) = g (xk)}.
Тогда, поскольку
fl, 171 Tl— 771 W—Wl
то в силу марковского свойства и теоремы 1 (Pj-n.H.,
т,п
Итак, для любого т €= 3Rg (m; /г) (Ра.-п.н., х &Е)
J = sn.m (^) B.26)
, | „J
m,n
и, следовательно,
Mjcg1 (x-t) <^ Mxg {x * ) = Mxsn_w (xm). B.27)
хт,п
Из неравенств B.26) и B.27) сразу следует справедливость
всех утверждений теоремы 2.
5. Замечание 7. Теорема 2 дает обоснование
так называемого принципа «индукции назад», который
в последовательном анализе (в динамическом
программировании ) полагают в основу отыскания оптимальных
правил остановки (оптимальных стратегий). В самом деле,
рассуждения, приводящие к принципу «индукции назад»
(ср. [8]), состоят в следующем.
Рассмотрим задачу об оптимальной остановке для
функции gGlB классе SRg (N; N). Ясно, что в этом случае
класс $Rg (N; N) состоит из одного момента т = N и,
следовательно, получаемый выигрыш (в состоянии xn)
равен g (xn). Рассмотрим теперь класс ®ftg(N— 1; N).
В этом случае мы можем или прекратить наблюдение (в
момент N — 1) и получить тогда выигрыш g (xn-i) или же
сделать еще одно наблюдение и тогда получить выигрыш,
в среднем равный Мл [g (?n)|^-i]. Поэтому интуитивно
представляется оправданным, что момент остановки:
ГЛ/^ — 1, если g (ж^-i) > МЛ [g (xN) |f jv-il»
X ~~ 1 N, если g (xN-!) < Mx [g (%n) \ fjv-i]
является оптимальным.

54 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Если учесть, что
Мх [g (xN) | ?н-г] = М* [s0 (xN) | f N_i] =
5X (x) = max {g (ж),
то момент т" может быть записан в следующем виде:
т = min {N — 1 < К < N: s^-i (хк) = g (xk)},
т. е. (см. B.23)) х = t^_i, jv.
Таким образом, интуитивный способ (заключающийся
в сравнении выигрыша от «остановки» с выигрышем от
«продолжения») приводит к моменту остановки, который,
как было доказано в теореме 2, является действительно
оптимальным (в классе $51 g (N — 1; N)). Аналогичным
образом можно было бы рассуждать и об оптимальности
Tfr-iijv, tjv-8, n,... в классах $Rg (ЛГ— 2); ЛО, SR^ (TV— 3; iV),....
Замечание. Если условие g ЕЕ L заменить на
условие МЛ#+ (хп) < оо, 7г = 0,. . ., JV, то утверждения
теоремы остаются справедливыми для всех т <^ п <^ N
(ср. с замечанием 6 к теореме 1).
§ 3. Задача о выборе наилучшего объекта
1. В качестве первой иллюстрации изложенных выше
методов отыскания оптимальных правил остановки
приведем решение упомянутой во введении задачи о выборе
наилучшего объекта. Напомним условия этой задачи.
Имеется п объектов, занумерованных числами 1,2,...
. . ., п, причем так, что, скажем, объект с номером 1
классифицируется как «наилучший»..., с номером п —
как «наихудший». Предполагается, что объекты поступают
к нам в моменты времени 1,2,..., п в случайном порядке
(т. е. все п\ перестановок равновероятны), причем в
результате сравнения любых двух из них становится ясно, какой
из них лучше, хотя их истинные номера остаются не
известными. После ознакомления с очередным объектом он либо
отвергается (и тогда к нему нельзя больше возвращаться),
либо принимается (и тогда процесс выбора прекращается).
Задача состоит в том, чтобы с максимальной
вероятностью выбрать «наилучший» объект, т, е. объект
номером 1,

S Я] ЗАДАЧА О ВЫБОРЕ НАИЛУЧШЕГО ОЁЪЁКТА 55
Покажем, что рассматриваемая задача может быть
сформулирована как задача об оптимальной остановке
некоторой (сравнительно простой) марковской цепи.
В качестве пространства элементарных событий Q =
= {со}, со = (сох, . . ., со„), рассмотрим множество всех
перестановок чисел 1, 2,. . ., п, полагая при этом
Пусть для каждого со = (colv . ., соп) и к = 1, 2,. . ., п
величина у^ (со) равна числу членов из сох, . . ., cofc,
меньших или равных cofe, и пусть <^fc =» а {со : г/1?. . .
..., ук). Заметим, что событиями из а-алгебры fk
исчерпывается вся «информация» наблюдателя к моменту
времени к, которую он может получить в результате
сравнения объектов, просмотренных в моменты 1, 2,. . ., к.
Нетрудно проверить, что
Р{У* И = i} = 4-, i = l,2,..., к, B.28)
причем случайные величины уи. . ., уп независимы.
Пусть т = т (со) — момент остановки (относительно
системы а-алгебр {fk}, к = 1, 2,. . ., п)9 принимающий
значения 1,2,..., п. Рассматриваемая нами задача о
выборе наилучшего объекта может быть сформулирована
как задача отыскания такого момента т*, для которого
Р{сот* = 1} = supP{coT = 1}, B.29)
где sup берется по всем описанным моментам остановки т.
Чтобы иметь возможность применить изложенную вы:
ше теорию построения оптимальных правил остановки,
рассмотрим однородную марковскую цепь Z = (zky $\,
Р*)> к = 1,. . ., я, с zjt = (к, ук) и для z = (к9 у) положим
{ 0, если j/> 1.
Несложный подсчет показывает, что
0, если

56 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Поэтому
п
B.30)
Отсюда следует, что отыскание оптимального момента
выбора наилучшего объекта сводится к нахождению
такого момента т*, для которого
МAД)? Bт*) = sup MA>1)g (zT), B.31)
где sup берется по всем марковским моментам т
(относительно системы {fk}, к = 1,. . ., п.
Обозначим для т = 1,. . ., п (ср. с B.20))
Vm,n N = ess sup М(Ь1) [g (zT) | fm].
9R()
В силу теоремы 2 величина Ym%n (©) зависит от (о через
ут (со). Поэтому найдется такая функция sm (у), что
Согласно той же самой теореме уШуП (со) = sm (ym (со)) =
= $п-т (Ут (»)), где функции 5n_m (у) подчиняются ре-
куррентным соотношениям B.8). Следовательно,, для
функций sm (у) \т = 1, . . ., п) справедливы следующие
соотношения:
sm(y) = max{g(m, у), 1^T^J sm+1@}, B.32)
где т =s I, 2,..., n, a
{1, если у = 1,
0, если у>1.
Система уравнений B.32) может быть легко решена
индукцией «назад». В самом деле, пусть т* = иг* (п)
определяется из неравенств

§ 3] ЗАДАЧА О ВЫБОРЕ НАИЛУЧШЕГО ОБЪЕКТА 57
(Заметим, что т* (п) — п/е при больших п.) Тогда для
всех т > т* из B.32) находим, что (i ^> 1)
--A)--=-,
Далее,
1 , 1 1 m*-i\ 1 , 1 1
и для i
Отсюда и из B.32) выводим, что
Опишем теперь оптимальное правило остановки. В
силу B.23) в качестве оптимального момента может быть
взят момент
ti,n = min {1 < т < п: sm (ут) = g (m, ут)}.
Поскольку sm (у) ^> 0 при всех 1 <^ у <^ т, a g (т, у) =0
для у ^> 1, то т1у п совпадает с тем минимальным моментом
w, для которого ут = 1 и к тому же sm (ym) = т/п. Но,
как это видно из B.33), для всех т < т*

58 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Поэтому момент т* = т1>п является тем первым моментом
т > яг*, для которого ут = 1, т. е.
т* = min {m > 7тг*: z/m = 1}.
По-другому этот результат можно сформулировать
следующим образом: оптимальное правило выбора
наилучшего объекта состоит в том, чтобы просмотреть и про-
пустить (т* — 1) объект и затем продолжать осмотр
до того момента т*, когда впервые появится объект,
лучший, чем все предшествующие.
В соответствии с этим правилом вероятность выбора
наилучшего объекта
Р {(ОТ. = 1} = MAI)g (*т.) = * A) = в»*-1 A) =
_ m*-l Г 1 _J
~ п ln — l'r"'~tm* —
При больших п т* ~ —. Поэтому
в
Таким образом, при достаточно больших п с
вероятностью приблизительно равной 0,368 (— ^ 0,368) можно
выбрать лучший объект, хотя на первый взгляд казалось
бы, что при возрастании числа осматриваемых объектов
эта вероятность должна стремиться к нулю. Поскольку
при больших п т* , то оптимальное правило выбора
наилучшего объекта состоит в том, что надо пропустить
примерно треть общего числа объектов и затем выбрать
первый из объектов, который лучше всех предшествующих.
§ 4. Эксцессивные функции и наименьшие
эксцессивные мажоранты
1. При исследовании структуры и свойств цен s (x) и
s (х), введенных в § 1, важную роль играют *)
эксцессивные функции и наименьшие эксцессивные мажоранты.
В настоящем параграфе мы приводим ряд результатов
относительно этих функций и способах их построения.
*) См., например, теорему 3.

§ 4] ЭКСЦЕССИВЙЫЕ ФУНКЦИИ И МАЖОРАНТЫ 59
Пусть X = (хп, $п> Рх), п е Ж,— (однородная не-
обрывающаяся) марковская цепь со значениями в фазовом
пространстве (Е, 33).
Определение 1. Функция f ЕЕ В называется
эксцессивной (для процесса X или относительно оператора
Г), если при всех х ЕЕ Е определены математические
ожидания Tf \х) {= М J {хх)) и
Г/(*)</(*)• B.35)
Определение 2. Эксцессивная функция f ЕЕ В
называется эксцессивной мажорантой функции g ЕЕ В,
если / (х) > g (х), х е Е. Эксцессивная мажоранта / (х)
функция g (x) называется наименьшей эксцессивной
мажорантой g (x), если / (х) меньше или равна любой
эксцессивной мажоранте функции g (x).
В дальнейшем нам придется иметь дело с разными
классами функций из В. Приведем основные из них.
Через В (А~) и В (А+) будем обозначать те функции
/ из В, которые удовлетворяют условиям
A": M
п '
соответственно. Обозначим также
В (А-, А+) = В (А") П В (А+),
L (А") = L П В (А-), L (A+) =1Г)В (A+)f
где (см. § 2) класс L определяется как тот класс функций
f ЕЕ В, для которых Mxg~~ (xj) < оо, х ЕЕ Е.
Будем говорить, что функция f ЕЕ В принадлежит
классу В (а"), если выполнено условие:
где / (^с») = lim / (хп).
п
Нетрудно видеть, что
В (А") с В (а") с J5
я
5 (А") - L (A") Q L с 5

60 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
2. Приведем сводку основных свойств эксцессивных
функций.
I. Функция / (х) = const является эксцессивной.
II. Если fug — неотрицательные эксцессивные
функции и а, Ъ — неотрицательные константы, то функция
af + bg является эксцессивной.
III. Пусть {fn (х), п == 1, 2, ...}—- неубывающая
последовательность эксцессивных функций класса L.
Тогда функция / (х) = lim fn (x) является эксцессивной.
п
IV. Пусть / — эксцессивная функция и Мж/" (хп) <оо,
п = 0, 1, .... Тогда система (/ (хп), f n, Px) образует
обобщенный супермартингал:
М* [/ (хп+1) | f „К / (хп), п = 0, 1,..., B.36)
V. Если эксцессивная функция / удовлетворяет
условию А", то при любом т = 1, 2, . . . функция /т (я) =
= Тт f (x) также является эксцессивной и
Гт/(з)< Г»/(*). "»>*. B-37)
VI. Если эксцессивные функции / и g принадлежат
классу L, то функция f /\ g = min (/, g) также является
эксцессивной.
VII. Если эксцессивная функция / удовлетворяет
условию
supM^ff (*п)<оо, B.38)
п
то с Рх-вероятностью единица существует (конечный или
равный + °°) предел lim / (xn). В частности, условие B.38)
П-*ОО
выполнено, если существует случайная величина ц с
Мх | т|| •< оо такая, что
j (Рх-п.н.), п-0,1, .... B.39)
(Свойства I—VI легко следуют из определения эксцес-
сивности; свойство VII вытекает из IV и теоремы 9 гл. I.)
3. Следующая лемма играет фундаментальную роль
при изучении свойств цен s (x) и $ (х).
Лемма 3. Пусть эксцессивная функция f ЕЕ L (А~)
(= В (А")). Тогда для любых двух марковских моментов
tug, таких, что Рх (т !> а) = 1, х ее Е, справедливы

§ 4] ЭКСЦЕССИВНЫЕ ФУНКЦИИ Й МАЖОРАНТЫ 61
неравенства
(Р*-п.н.), хееЕ, B.40)
и, в частности,
. B.41)
Доказательство. Прежде всего заметим, что в
силу свойства VII предел lim / (хп) существует и в соот-
П-к»
ветствии с соглашением B.5) в формулах B.40), B.41) под
/ (а:») понимается lim / (хп). Далее, если / е В (А", А+),
то B.40) непосредственно вытекает из теоремы И гл. I,
поскольку система (/ (яп), f n, Рх), п <; оо, образует
супермартингал. Для доказательства в общем случае
положим f (х) = / (*) Л *• Тогда /С6В (А", А+) и
Отсюда в силу леммы Фату получаем
Мх [lim f (жт) | f,] < lim f (xa). B.42)
С—»-oo С—>оо
Но
lim f (ха) = lim f (ха) /@< „, + Hm /с (аг.) /,0= то) =
С-* оо С—* оо С—>оо
= /(tfo)/{a<oo> + lim lim f (xn)I{a==oo) =
C-+OO П
= f(xa) I{a<oo\ + lim lim fc(xn) /{о==гОо} =
С—*OO Tl
= / Ы /«,<»> + lim lim f (xn) /{o=oo} =
= / (Ха) 1{в<оо) + Нт / (Хп)
л
= / Ы /{о<оо} + / (#оо) /{о=оо} = / (Ха).
и, аналогично, lim f (хх) = / (хх) (Рх-п. н.), что вместе с
С-юо
B.42) приводит к требуемому неравенству B.40).
Лемма доказана.
Следствие. Пусть функция выигрыша g = g (x)
является эксцессивной. Тогда, если g Ez L (А~), то
s (х) == s (x) = g (z), B.43)
и оптимальное правило остановки (в задаче «s (x) —
= sup hhx g (xx)>>) состоит в том, чтобы сразу «останавли-

62 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. И
ваться», поскольку в силу B.41) для всякого
марковского момента т ЕЕ 3R
Мх g (хх) < М^ (х0) = g(x). B.44)
Лемма 4. Пусть эксцессивная функция f €E L (А").
Тогда функция
fA(x) = tAxf(xaA) B.45)
с*)
cA=inf{rc>0: хп<=А), А(=33,
также эксцессивна.
Доказательство. Положим о\ = inf {n >
> 1.' ^G^}, Очевидно, ад — марковский момент и
ста > стл. Тогда
TfA (х) = Мх/
В силу A.41)
и известно ([39], стр. 153, свойство 4.1 D), что если
вА == inf (д > 5: <rn e 4} (а^ = са),
то б^ # 8 = # в+<- Поэтому 0i^a . = а: х и, следовательно,
°А °А А °А
Г/а (*) = Мх/ (9Х ^ОА) == Мх/ (xq1) < Мл/ (^ОА) = /а И-
4. Если функция / (х) является эксцессивной
мажорантой функции g (x), то, очевидно,
/ (х) > max {g (x), Tf (x)}. B.46)
Но если к тому же / (х) является наименьшей
эксцессивной мажорантой функции g (#), то оказывается, что в
B.46) имеет место знак равенства. Ввиду важности этого
утверждения сформулируем его в виде следующего
предложения.
*) Напомним, что<за полагается равным +°°> если множество
0: хпе=А}=ф.

§ 4] ЭКСЦЕССИВНЫЕ ФУНКЦИИ И МАЖОРАНТЫ 63
Лемма 5. Пусть функция g ЕЕ L и v = v (x) — ее
наименьшая эксцессивная мажоранта. Тогда
v{x) = max {#(*), Tv (x)). B.47)
Д о к азательство. Обозначимиг (х) = max {g (х),
Tv (х)}. Тогда из B.46) g (х) < иг (х) < v (x) и
поскольку g e L, то
- оо <Tg(*)< Tvx (x) < max{g(ж), Tv(x)} = vx(х).
Следовательно, vx (x) является эксцессивной функцией,
мажорирующей функцию g (х). Но v (x) — наименьшая
эксцессивная мажоранта функции g (х), поэтому v (x) ^
^ч vi (х) — max {s (^)> Tv (х)}. Значит, v (x) = vx (x), что
и доказывает B.47).
Замечание 1. Как следует из этой леммы,
наименьшая эксцессивная мажоранта v (х) функции g ЕЕ L
является решением уравнения
/ (*) = max {g (x), Tf(x)).
Однако, не всякая функция, являющаяся решением этого
уравнения, будет наименьшей эксцессивной мажорантой
функции g (х). В самом деле, если | g (х) \ ^ С < оо, то
всякая функция / (х) = К, где константа К > С будет
решением этого уравнения.
5. Пусть функция g ЕЕ L. Существуют ли наименьшие
эксцессивные мажоранты у функции g (x)?
Положительный ответ на этот вопрос содержится в следующей лемме,
дающей, в частности, практически удобный способ
нахождения наименьших эксцессивных мажорант.
Лемма 6. Пусть функция g €~ L и
Qg (x) = max {g (x), Tg (x)}. B.48)
Тогда функция v (х) — lim Qn g (x), где Qn — п-я степень
п-»оо
оператора Q, является наименьшей эксцессивной
мажорантой функции g (х).
Доказательство. Заметим сначала, что
Qn+lg (х) > Qng (х), поэтому предел v (х) = lim Qng (x)
п
существует. Ясно также, что v (x) > g (x). Проверим, что
функция v (х) эксцессивна.

64 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Поскольку Qng (х) > TQn-xg (х), причем ^n g (x) >
> — g" (x), где Мд^~ (х^ < оо, то по теореме Лебега о
монотонной сходимости
v (х) = lim Qn g (x) > lim TQ^ g(x) = T (lim Q*-*g) (x) =
n
Следовательно, i; (ж) является эксцессивной мажорантой
функции g (х).
Пусть теперь / (х) — также эксцессивная мажоранта
g (х). Тогда / (х) > Tf (x), f (#) > g (x) и, значит,
Qf (х) = max {/ (*), Г/ (х)} = / (х),
f {х) = <?»/ (^)
Следовательно, f(x) ^v (х), т. е. v (x) — наименьшая
эксцессивная мажоранта функции g (x).
Замечание 2. Бели положить *)
Qg (x) = sup {g (*), Tg(x), l*g(x),...}, B.49)
то аналогичным образом можно показать, что v (х) =
= lim Qng (x) также является наименьшей эксцессивной
п
мажорантой функции g и, следовательно, v (х) = v (x).
Замечание 3. Пусть функции g ЕЕ L и v (x) —
ее наименьшая эксцессивная мажоранта. Обозначим
gb (х) = min (ft, g (х)), Ъ > О,
и пусть vb (x) — ее наименьшая эксцессивная мажоранта.
Тогда
(.r) B.50)
и, более того,
у(я) = Шп lim (?V(x) = lim lim Qngb (x). B.51)
b n n Ь
Действительно, поскольку lim Qngb(x) = Qng(x), ^ro,
b
как уже доказано,
v(x) = lim Qng(x) = lim (lim ^ngb(^)).
n n b
*) Здесь предполагается, что все интегралы Tng (x) =
М ()» л = 1, 2, . . ., определены.

§ 4] ЭКСЦЕССИВНЫЕ ФУНКЦИИ И МАЖОРАНТЫ 65
Кроме того,
vb (х) = lim QУ (х) < lim Qng (x) = v (x)
п п
и, следовательно, lim vb (x) ^ v (x). Но lim vb (x) является
Ь b
эксцессивной функцией (по свойству III) и limi;5(j)>
b
> g (x). Поэтому
v (х) == lim vb (x) = lim lim <?У (ж).
()
t> b
6. Л е м м а 7. Пусть g Ez В и / — эпсцессивная
функция, удовлетворяющая уравнению
/ (ж) = max {*(*), Г/(ж)}. B.52)
Tg = mf{?z>0: /(;rn)<g(?n) + e}, e>0.
Тогда, если точка х ЕЕ Е такова, что / (#) < со, для а/ггогг
точки и любого п = 0, 1, . . .
М«/(*,,л») = /(*)• B-53)
Доказательство. Для рассматриваемой
точки х EH E \f{x)\ < со и Мя/ (^о) = f (х), поскольку
Рл {^о = ж} = 1. Следовательно, конечен каждый и
интегралов MJ (^о)^{те-о}, MJ (аг0) /{те>о} и
=0> + МЛ / (*0) /{Т?>0}. B.54)
На множестве {со: те (со) > 0} / (х0 (со)) >g (x0 (со)) и,
значит, в силу B.52) / (х0) = Г/(х0) = M,.o [/ (хг) \f0].
Отсюда и из B.54) находим, что
(ж0) /{Т?
=0}
Аналогичные рассуждения показывают, что
/ (х) = М*/ (жТв) /{Те<2} + М,/ (х2) /{Т?>2} = ...
Лемма доказана.
3 А. Н. Ширяев

66 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. И
Лемма 8. Пусть функция g ЕЕ В (А+) и и (х) — ее
наименьшая эксцессивная мажоранта. Тогда
hm v (хп) = l\m g (хп) (Рх-п.н., х^Е) B.55)
n n
и, если те = inf {n > 0: v (xn) <; g (xn) + е}, то для
всякого е > 0
Рх {т?<оо} = 1, .те?. B.56)
Доказательство. Поскольку v (x) ^ g (x),
то ясно, что
Для доказательства обратного неравенства
зафиксируем точку х ЕЕ ^ и обозначим
Фп = SUp ? (.Ту), фп --- М^ [Я|)п | f n].
В силу марковости срп = ф (хп) (Р^-п. н.), где ф (х) =
= М^-фо. Ясно, что ААтф (хг) < оо, ф (#) ^ ^ (д;) и
Следовательно, ф (х) есть эксцессивная мажоранта
функции g (x) и поскольку v (х) — наименьшая эксцессивная
мажоранта g (х), то v (х) ^ ф (д:), и, значит, фп = ф (хп) >
>^(^п) (Рх-п.н).
Пусть теперь т фиксировано, а п !> т. Тогда
Мх [^щ I fn] > Мх [^ | ,f п] - фп > V (Хп)
и, следовательно,
И m Мх [\\>т | f п] > limi; (дгп).
?г п
Для ггг е Лт последовательность (Мх h|)m|f n], ^n, PJ,
п^>т, образует (в силу условия gEzB (A+)) обобщенный
мартингал (см. § 3 гл. I). Тогда в силу теоремы 1.10
(п. 2°) предел lim Mrx;['i()m | tfn] существует Р^-п. н. и
х №п | ?я] < М, [^7П | ,f те] (Рж-п.н.),
П
где ^оо = a(U f n). Заметим, что случайная величина

4j ЭКСЦЕССИВНЫЕ ФУНКЦИИ И МАЖОРАНТЫ 67
^ ^-измерима, а значит,
lim Мх [Цт | f n] < г|>т (Рх-п.н.),
п
что вместе с уже установленным неравенством
Пт MJifm| fn] > lim v (хп) показывает, что
Йт v (хп) < Цт (Рж-п.н.)
гг
и, следовательно,
lim v (хп) < inf tym = inf sup g (xj) = lim g (яп).
Итак, утверждение B.55) доказано.
Покажем теперь, что Р^ {те < оо} = 1, х е Е, е >> 0.
Пусть Л = {со: те (со) = оо}; тогда для со ее А
v (хп) > g (хп) + е
и в силу того, что е > 0,
lim v(xn)> lim g(xn).
Но Px{limg(a;n)<;oo} = 1, х^Е. Поэтому из B.55) сле-
п
дует, что Ря{4} = 0, х^Е.
Лемма доказана.
7. Построенная для функции g ЕЕ L в лемме 4
последовательность Qng (х) при /г—>-оо, монотонно возрастая
(точнее, не убывая), стремилась к v (x) — наименьшей
эксцессивной мажоранте функции g (x).
В ряде случаев оказывается также полезной
построенная ниже последовательность функций, которая (как будет
показано в лемме 11) для функций g ЕЕ L (А~, А+)
монотонно убывая (точнее, не возрастая), сходится к v (x) —
наименьшей эксцессовой мажоранте функции g (x).
Каждой функции g ЕЕ В поставим в соответствие
оператор G (действующий на функции f ЕЕ В, для которых
определены математические ожидания Tf (x), x ЕЕ Е) по
формуле
Gf(x) = max {#(*), Tf (*)}.
3*

68 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ 1ГЛ. II
Через Gn обозначим п-ю степень оператора 6?, G°f (х) =
= / (х). (Если / = g, то Gg (х) = Qg (х); если же / = v —
наименьшая эксцессивная мажоранта функции g ЕЕ L, то
Go (х) = v (х).)
Лемма 9. Пусть функция g е= В (А+) и ф (х) =
= Мж [sup g (жп)]. Г^
w функция v (x) = lim Спф (т) удовлетворяет уравнению
п
v (x) = max {g (ж), Гг; (ж)}. B.57)
Доказательство. Неравенство Сп+1ф (ж) ^
^ Gn(p (x) проверяется по индукции. Покажем лишь, что
Сф (х) <; ф (х). Действительно,
G ф (х) = max {g (ж), Уф (ж)} = max {g (a:), Mx [sup g (xj)]} <
{max [g (ж), sup g (xj)]} = Mx [sup g (a:y)] = ф (ж)
д>1 3>0
Далее, поскольку
Ф (х) > Спф (л:) | v (х), п -> оо,
то, переходя в равенстве
?лф (х) = max {g (x), TG^y (x)}
к пределу при п -> сх>, получаем (в силу теоремы Лебега
о монотонной сходимости), что v (х) удовлетворяет
уравнению B.57).
Так полученная функция v (x), являясь эксцессивной
мажорантой функции g ?= В (А+) может не быть
наименьшей (см. пример в § 6). Однако, если ge В (А~,А+), то
функция г; (х) совпадает с и (х) — наименьшей эксцессивной
мажорантой g (x). Для доказательства этого результата
установим предварительно следующее предложение.
Лемма 10. Пусть функция g е В (А+) и v (x) =
= lim Спф (х). Тогда
п
= hmg(xn) (Рх-п.н., х&Е). B.58)

§ 4] ЭКСЦЕССИВНЫЕ ФУНКЦИИ И МАЖОРАНТЫ 69
Доказательство. Неравенство lim v(xn) >
n
> lim g (xn) очевидно. С другой стороны, для каждых х ЕЕ
е?\ яе^и т ^ п (Рж-п. н.)
гГ(*п) < (?ПФ (хп) < ф (ап) - M*n [ sup g (я,)] =
= Mx [sup g (Xi) | fn] < Mx [sup jr (X/) I fn]. B.59)
Из B.59) (как и в лемме 8) вытекает, что
JimvfcnXsup gfa)
и, следовательно,
lim L?(#n)<inf sup ^(^) = ]im g(xn),
j
что и доказывает лемму.
Следствие (ср. с утверждением B.56)). Пусть
g(BB (A+) и
f? = inf{rc>0: v(xn)<^g(xn) + e}, e>0. B.60)
Тогда
Рзс{т?<оо} = 1, ^е^. B.61)
Лемма 11. 1) Пусть функция g ^ В (А+) и v (х) ==
= lim 6?n ф (^г). Тогда для всякого е > О
(*т~е), B.62)
гс^в момент т8 определен в B.60).
2) Пусть функция g Ez В (А", А+). Тогда
v(x) = Nixv(x;t) B.63)
w г; (ж) = у (л:), г^е i; (ж) — наименьшая эксцессивная
мажоранта функции g (х).
Доказательство. 1)В силу леммы 9 функция
v (х) удовлетворяет уравнению
v (х) = max {g(x), Tv(x)}.
Применим лемму 7 к функции f (x) = v (x). Тогда
*(*)=Mxi;(*~tAn) =
= Мх[Ь(х;&IСч<п)] + 1*х[Ъ(хпIСч>п}]. B.64)

ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Из B.59) получаем
Но gEB(+A), и в силу B.61) P*{te > гс}-*0, п-*оо.
Поэтому
[5 (хп) I ~ ] <Ш5а Мя [sup g+ (^) / ~ >п}] - О,
и, переходя в B.64) к пределу (п -> оо), получаем из
леммы Фату, что
v И < Пт Мх [5 (^~е) 1Сч<п)] + Ит Мя [у (хп) 1{^>п)] <
(^е Сч<п)
что и доказывает требуемое неравенство B.62).
2) Если функция g ЕЕ В (А"), то аналогичным
образом устанавливается, что
lim М* [v (хп) 1{~ >п)] > - lim Мл [sup g" (xj) 1"{~?>n}] = 0.
Поэтому, если g ^ В (А", А+), то
что вместе с B.64) доказывает B.63).
Наконец, для доказательства равенства и (х) = v (x)
заметим, что для е ^> 0
Следовательно, если g^ В (А", А+), то в силу B.63) и
B.41)
v (х) = Мх 5 (я~?)
< М^у (a:-t) + е < v (х) -\г 8,
что ввиду произвольности е ^> 0 дает неравенство v (x)

§ 5] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 71
^ v (х), которое вместе с очевидным неравенством v (x) !>
;> v (х) доказывает совпадение функций v (х) и v (x).
Следствие. Пусть функция g e В (А", А+) и
и v (х) — ее наименьшая эксцессивная мажоранта. Тогда
для всякого е ^> О
v(x) = Mxv(xXz), B.65)
где те = inf {п > 0: v (хп) < ? (хп) + е}.
Замечание 4. Утверждение B.65) можно
доказать (не обращаясь к равенству v (х) = и (х) и
соотношению B.63)), если лемму 7 применить непосредственно к
функции / (х) — v (х).
§ 5. Эксцессивная характеризация цены
и 8-оптималытые правила остановки (при условии А-)
1. Пусть функция gE В и
s(x)= sup
g
= sup tAxg{xx)
— цены, введенные в § 1. В следующей ниже теореме
описывается (в предположении g ЕЕ L (А")) структура цен
s (x), s (х) и раскрывается важность понятий эксцессив-
ных функций в задачах об оптимальной остановке
марковских случайных последовательностей X = (хп, 4fn, Px),
гае JV, хе Е.
Теорема 3. Пусть функция g ее L (А~). Тогда
1) цена s (х) является наименьшей эксцессивной
мажорантой функции g (x);
2) цены s (x) us (х) совпадают: s (х) = s (x);
3) s(x) =max{g(x), Ts (*)}; B.66)
4) 5(x) = lim (?ng-(o:) = ]im lim Qngb(x), B.67)
n b n
где g*(x) = min F, g (ж)), 6 > 0.
Доказательство. Пусть v (x) — наименьшая
эксцессивная мажоранта функции g (x). Тогда,
поскольку lim v (хп) > lim g (xn), то в силу B.41) для всякого *)
*) Если gel (A-), то Щ = SK и $?g =

72 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
v (х) > Mxi; (*т) >;Mrf (xT). B.68)
(Напомним, что под / (#«,) понимается lim / (хп).) Следова-
п
тельно,
v (х) > sup_ М^ (Хх) = ? (х) > s (я:). B.69)
Докажем теперь, что г; (х) < 5 (ж). Для этого
предположим сначала, что gEzL (А", А+). Тогда в силу леммы 8
момент
t?==inf{n>0: v(xn)^g(xn) + e), е>0,
является моментом остановки и согласно B.65)
v(x) = toxv(x4). B.70)
Поэтому
v (х) = Mxi; (*Te) < Mag (o;Tt) + e < s (x) + 8, B.71)
что в силу произвольности е)>0и неравенства B.68)
доказывает требуемое равенство v (x) = s (x) (в случае
?6i(A', A+)).
Для доказательства неравенства v (x) ^ s (x) в общем
случае обозначим gb (х) = min (Ь, ^г (#)), Ь > 0, иь (х) —
наименьшую эксцессивную мажоранта функции gh (x) и
5Ь (х) = sup M^b (а;т). Тогда, по доказанному,
s (х) > sb (х) = sup M*gb (жт) = i;b (x).
Последовательность {vb (x), Ъ > 0} не убывает. Пусть
v* (х) = lim i?b (д:). Докажем, что на самом деле у* (#) =
Ь—>оо
= у (л:). Имеем
Гу* (х) = Г (Hm yb)(^) = lim Тиь (х) < lim vb (x) = у* (я),
b b b
т. е. функция у* (я) эксцессивна. Поскольку gb (x) \
\ g {х) ж vb (х) > gb (х), то у* (х) > g (ж). Следовательно,
у* (а:) — эксцессивная мажоранта функции g (x). Осталось
лишь установить, что эта эксцессивная мажоранта —
наименьшая. Пусть / (х) — эксцессивная мажоранта

§ 5] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 73
функции g (х). Тогда / (х) > gb (х) и / (х) > vb (x),
откуда / (х) > v* (х). Следовательно, s (x) > v* (x) = и (х),
что и требовалось доказать.
Рекуррентное соотношение 5 (х) = max {g (x), Ts (x)}
очевидным образом следует из леммы 5 и равенства s (х) =
= v (х). Наконец, соотношение B.67) следует из равенств
s (х) = lim sb (x)y s (x) = v (х) и леммы 6.
ь
2. Замечание 1. Пусть g ЕЕ L (А") и марковский
момент tg3I! таков, что соответствующий ему «выигрыш»
/ (х) = tAxg (х-) является эксцессивной функцией, причем
/ (х) > S (х)- Тогда, поскольку цена s (x) является
наименьшей эксцессивной мажорантой функции g (x), и
очевидно, s (х) ;> / (х), то s (х) = / (х). Следовательно,
момент f является @, ?)-оптимальным. Отметим, что,
вообще говоря, @, s)-оптимальный момент может и не быть
(О, з)-оптимальным. В § 6 приведен пример,
иллюстрирующий способ отыскания @, ^-оптимальных моментов,
основанный на данном замечании.
Замечание 2. Пусть © ((?) — множество тех
моментов остановки т (марковских моментов t) из класса
3R (9R), которые являются моментами первого попадания
в борелевские множества (т. е. т = inf {п > 0: хп ЕЕ С}}
CgS). Тогда
s (x) = sup t^xg(xx) = sup Mag(#T). B.72)
Этот результат, непосредственно вытекающий из
доказательства теоремы 3, раскрывает важность в задачах об
оптимальной остановке марковских цепей класса
моментов первого попадания в борелевские множества. Но это,
конечно, не означает, что оптимальный момент, если он
существует, обязательно будет моментом первого
попадания в некоторое борелевское множество.
Замечание 3. Пусть Fx = {f *}, пЕЕ -У, —
система а-алгебр $f% = g {со : х0, . . ., хп). Обозначим через
5I [Fx] класс марковских моментов т таких, что при
каждом п событие {т = п) GE $п • Из предыдущего
замечания тогда следует, что
s(x)= sup Mxg(xx). B.73)
x

74 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ ЕГЛ. II
В этом смысле систему cr-алгебр Fx = {$fn}, п?Е -ДГ,
естественно назвать достаточной системой в задаче «5 (х) =
= sup Мд-g (хт)». (Подробнее о достаточных системах см.
§ 13.)
Замечание 4. При дальнейшем исследовании
структуры цен s (x) (особенно в том случае, когда условие
А" нарушается и «эксцессивная» характеризация, вообще
говоря, уже не верна) полезным оказывается следующее
замечание, непосредственно вытекающее из
доказательства теоремы 3: цена s (x) является наименьшей функцией
из класса тех функций /gI, для которых / (х) > g (x) и
/ (х) > Мд./ (хт) для всякого т е $К#. (Ср. это
утверждение с замечанием 4 в § 7 и теоремой 7 в § 8.)
Замечание 5. Из доказательства теоремы
следует, что s (х) > М^ (zoo) > tAxg (xoo) и, значит, наряду с
уравнением s (х) = max {g (x), Ts (x)} цена s (x)
удовлетворяет также уравнению
s (х) = max {g (х), tAxg fan), Ts (x)}.
Более того, s (x) является не только наименьшей эксцес-
сивной мажорантой функции g (x), но и наименьшей экс-
цессивной мажорантой функции G (х) = max {g (x),
tAxg (^Гоо)}. В самом деле, функция Cg L(A").
Следовательно, цена S (х) = sup Мл G (хх) удовлетворяет
уравнению S (х) = max {G (x), TS (х)} и является наименьшей
эксцессивной мажорантой функции G (х). Покажем, что
s (х) = S (х). Неравенство S (х) > s (x) очевидно. С
другой стороны s (х) также удовлетворяет уравнению s (x) =
= max {G (x), Ts (x)} и, следовательно, является
эксцессивной мажорантой функции G (х). Но S (х) —
наименьшая эксцессивная мажоранта G (х), поэтому s (х) > S (х).
Отсюда s (х) = S (х).
3. Теорема 3 дает нам эксцессивную характеризацию
цен s (х) и s (х). Из этой теоремы мы знаем, что при
условии g 6= L (А") цена s (x), совпадающая с s (x), является
наименьшей эксцессивной мажорантой функции g (x).
В свою очередь лемма 6 дает конструктивный способ
отыскания наименьших эксцессивных мажорант и,
следовательно, цены s (х) в задаче «s (х) = sup Mxg (xx)>> с
функцией g^ L (А").
Изучим теперь вопрос о существовании и структуре
е-оптимальных и оптимальных правил остановки.

§ 5] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 75
Теорема 4. Пусть функция g ЕЕ L (А", А+) и
v (х) — ее наименьшая эксцессивная мажоранта
(совпадающая с ценой s (х)). Тогда:
1) для всякого е > О момент
xe = ini{n>0:v (хп) < g (xn) + е} B.74)
является (е, s)-оптимальным моментом остановки;
2) момент
т0 = inf {лг > 0: v (xn) = g (xn)} B.75)
является @, ^-оптимальным марковским моментом;
3) если момент т0 является моментом остановки
(т0 ЕЕ Щ, то он является @, 8)-оптимальным;
4) если множество Е конечно, то момент т0 является
@, s)-оптимальным моментом остановки.
Доказательство. 1) Ввиду B.56) Р* {те <
< оо} = 1 для всякого 8 > 0 и х GE Е. Поэтому (е, 5)-
оптимальность момента остановки те следует из B.71).
2) Применяя лемму 7 к функции f (x) = v (x), находим,
что для всякого п ЕЕ N
v (х) = Mxi; (хТоЛп) = Mx {/{т0<п}У (^то) +
+ I{n^o<oo)V (Xn) + /{To=s00}l> (Xn)} <
< Мл {I{x0<n}V (ХХО)} + Мх {/{п<т0<оо}МХп [Slip g (Xj)]} +
SUP g(^;)}.
Отсюда в силу условия g e= L (А+) и леммы Фату получаем
v (х) < Мх {/{г0<со}У (*То)} + Мх {/{,0==оо> Т1Ы g (xn)}. B.76)
Но согласно определению момента т0
МЛ {/<то<»г> (жТ())} = Мх {/{To<eo>g 0*4,)}.
Поэтому из B.76) следует, что
" И < Мх {/(..<=c,g (Ж,.)} +
+ Мх {/{Т0=0О> lim ^ («„)} = М^ (хи), B.77)
П
т. е. момент т„ является @, ^-оптимальным»

76 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
3) Пусть то е Я». Тогда (ср. B.76) и B.77))
v (х) < Мх {/{To<oo}g (*Ч0)} + Мл {/{То=ос} Tim g (xn)} <
< Mx{I{Xo<oo)g(xXo)} + МД/{То=оо} sup g+ (хп)} =
что и доказывает @, $)-оптимальность момента т0.
4) Обозначим Ге = {х: v (x) <^ g (x) -\- е}. Ясно, что
Г8эГ0 и Ге | Г0| е 10. Если множество ? конечно,
то найдется такое е', что Ге = Го для всех 8 ^ е'.
Следовательно, момент т0 = те, 8^е' с Р^-вероятностью
единица конечен и в силу пункта 3) s (х) = Мл g(xx^).
Теорема доказана.
4. Замечание 1. Утверждение 2 теоремы 4 (см.
также B.77)) объясняет, почему при определении цены
5 (х) в качестве g (#<») взято именно значение lim g (xn).
п
Суть дела состоит в следующем. При е > 0 моменты а е,
определенные в B.74), являются (е, $)-оптимальными.
Можно было бы думать, что этот результат остается
справедливым и при е = 0. Однако это уже не так и прежде
всего по той причине, что моменты т0 не будут, вообще
говоря, конечными марковскими моментами, т. е.
моментами остановки. Если, тем не менее, стараться выяснить,
являются ли все-таки эти моменты оптимальными в
каком-либо разумном смысле, то оказывается, что ответ на
этот вопрос будет положителен при определении цены
s (х) как sup hAxg (#T), где под g (x^) понимается именно
теэд
lim g (xn).
п
Замечание 2. Условие А+, входящее в
формулировку теоремы 4, ослабить, вообще говоря, нельзя (см.
по этому поводу, пример в следующем параграфе).
Справедлив, однако, следующий результат. Пусть g e= L (А")
и для данного х0 ?= Е МХо [sup g+ (xn)] < оо. Тогда мо-
п
мент те, е > 0, является (е, $)-оптимальным в точке х0
(т. ^е. М^ g (xTfL) > s (x0) — е), а момент т0 будет
@, ?)-оптимальным в этой точке. Если к тому же РХо{то<
<^ оо} = 1, то т0 является оптимальным моментом
остановки (в точке хо)>

§ 5] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 77
5. Рассмотрим некоторые свойства областей
С = {х: v(x)>g(x)}
Г = {х: v (х) = g (*)>.
Если функция g<E=.L (А", А+), то согласно теореме 4
(О, 3)-оптимальный момент
т0 = inf {п > 0: хп е Г},
причем т0 = оо, если хп ф Г при всех /г > 0.
Естественно поэтому множество С называть множеством
продолжения наблюдений, а Г — множеством остановки, или
множеством прекращения наблюдений.
Поскольку v (х) > Qg (х), то ясно, что
С э {ж: <?? (ж) > g (х)} = {я: Г# (х) > ^ (Ж)}.
Наглядный смысл этого соотношения очевиден: если
точка х такова, что «прогноз» выигрыша на один шаг (т. е.
величина Tg (x) =« Mxg (x^) больше выигрыша от
«мгновенной» остановки (равного g (#)), то в этой точке следуем
заведомо сделать (по крайней мере) одно наблюдение.
Ясно также, что
причем, вообще говоря, это включение является строгим.
Приведем одно условие, при котором на самом деле
множество
Г= {х: Tg(x)^g(x)}.
Пусть марковская цепь X = (хп, ?п, Рж), п е ДГ, и
функция g, принадлежащая классу L (А", А+), таковы,
что для каждой точки х е {х: Tg (x) ^ g (x)}
Tg fe) < g (x±) (Ря-п. н.).
Отсюда тогда вытекает (в силу однородности цепи X), что
и при всех п > 0 и х е {х: Tg (х) < g (х)}
) (Рх-п.н.)
или, что эквивалентно,

78 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Поэтому
Qg (х) = g (z),
Q*g (x) = max {g (x), TQg (x)} =
= max {g (x), MxQg (х±)} = max {g (х), Mxg (хг)} =
= max {g(x), Tg{x)} = ? (s),
и, аналогично, для любого п > 1
<?п? (ж) = *(*), ж е {*: Г# (ж) < g (х)}.
Но г; (ж) = lim Qng (х). Поэтому, если точка х ее {х:
п
Tg (x) <; g (x)} и выполнено указанное условие, то
v (х) = g (х), т. е. точка хее Г, а значит, Г = {х: Tg (x)^
Таким образом, в рассматриваемом случае (названном
в [92] монотонным) @, 5)-оптимальный момент т0 может
быть описан достаточно простым образом:
to = inf {лг
6. Пусть теперь 5К (ш\ оо) CR (т; оо)) — класс тех
моментов остановки (марковских моментов) т = т (со), для
которых т (о) > Л7г при всех ©ЕЙ. Положим
(т; оо) = {т е 5К (/и; оо): М^" (а:т) < оо,
и введем в рассмотрение цены
= sup M^g (arT), B.78)
9R(m; oo)
Ym, ос (ж; со) = esssup Mx [g (xx) \ ?т]. B.79)
те9К^(т; оо)
Аналогичным образом определим функции sm>« (л:) и
Ym, «в (я; 0)), беря sup и ess sup по классу $Slg (m, оо).
Приводимая ниже теорема обобщает результаты теорем 3 и 4
на рассматриваемый случай (ср. также с теоремой 2);

§ 5] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 79
Теорема 5. Пусть функция g ?= L (А~). Тогда для
всякого т > 0:
1) *», * (*) = Мх 5 (жда), a: ЕЕ Я; B.80)
2) Ym,oo (ж; со) = s(xm) (Ря-п.«., а: е Я); B.81)
3) sTOf с» (ж) = Smt со (ж), ут, oo (я; со) = ут, «> (ж; о))
Пусть функция g e L (А , А+).
4) момент
Тт, оо = inf {п > т: 5 (*n) < g (*п) + е) B.82)
является для всякого 8 > 0 (г, ^-оптимальным в том
смысле, что
М* {S (х^г ) | fm) > Ym, оо (^1 СО) — 8 (Рх-Л- «О» X ^ Е,
Тт, оо
B.83)
.(*)-е, лге?; B.84)
, )
Тт, оо
5) марковский момент %т, о© является @,
^-оптимальным в том смысле, что
М* {g (Я 0 ) | f т} = Ytn, оо (^; ©) (Par»- »•)» Ж е fi',
Trn, оо
B.85)
Мж{?(а:о )} = *т,«.(*), а;е^, B.86)
Тт, оо
6) всдгг момент т^, оо является моментом остановки, то
он будет @, 8)-оптимальным.
Доказательство. Пусть v (x) — наименьшая
эксцессивная мажоранта функции ^е^(А'). Тогда в
силу B.40) (Ря-п. н., ig?) для т е Ж (i?i; оо)
у (*«) > М,с [i; (ж,) | f m] > Мх [g (же) | fm].
Значит,
sup Мх [^ (жт) | f т] =
(m; оо)
= Ут, «о (^; со) > Ym, оо (ж; со) B.87)
М* 17 (ж J > гт, оо (ж) > sm, то (ж). B.88)

80 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Поэтому для доказательства первых трех утверждений
теоремы достаточно показать, что v (хт) <^ ут,«, (х; со) и
Mxv (хт) <5W)O0 (х).
С этой целью предположим сначала, что функция
g ЕЕ L (А+). Тогда момент Тт, то = inf {дг > тп: i; (.rn) <;
^ ? (^ti) + 8) является для е > 0 моментом остановки и
v(xm) = tAXmv (*T*fJ. Поэтому (Ря-п. н., ж е Я)
^(«ш) = ^xmV{x 6 ) < MXmg(x г ) + 8 ==
О, оо т0, оо
= Мх [g (х е ) | f m] + 8 < ess sup M^. [g (xx) | fm] +8 =
Tm, oo -ce9K(m;oo)
= Vrn, oo (X\ <D) +8^,
Mx V (Xm) < 5m, oo (X) + 8. B.90)
В силу произвольности е > 0 отсюда получаем требуемые
неравенства
^ (*m) < Ym, oo (#; ©)(РЖ-П. Н.), МаЬ> (Хт) < 5т, «, (х).
Общий же случай сводится к рассмотренному (g e
ЕЬ(А+)) с помощью приема, примененного при
доказательстве теоремы 3.
Утверждение 4) вытекает непосредственно из B.89) и
B.90). Для доказательства же утверждений 5) и 6) надо
воспользоваться неравенством
"(*„.)< Мя{/ о ^ Jg(xb )\grn} +
+ МЯ{/ о _ U^g(xn)\fm} =
\"стуоо~со( п
= Мж {g (x о ) | fm),
Tm, oo
доказывается которое так же, как и B.77).
§ 6. Примеры
1. Приводимые ниже примеры преследуют двоякую
цель: некоторые из них, основываясь на теоремах 3 и 4,
иллюстрируют способы нахождения цен и оптимальных
правил остановки, другие же призваны показать, что
условия этих теорем ослабить, вообще говоря, нельзя.
Пример 1. (В рассматриваемом примере решение
задачи об оптимальной остановке получено, основываясь

§ 6] ПРИМЕРЫ 81
на замечании 1 к теореме 3.) Пусть ?х, ?2, . . . —
последовательность независимых одинаково распределенных
случайных величин, заданных на некотором
вероятностном пространстве (Q, ^, Р) и принимающих два значения
+1 и —1 с вероятностями Р (^ = -f-1) = р, Р (|^ = —1) =
= q = 1 — р. Положим х0 = я, #п = х + ?х + . . . +
+ |п» где #е Е = {О, ±1, ±2, . . .}. Тогда процесс
X = (хп, $fn, Рх), п ЕЕ N, образует марковскую цепь со
значениями в Е, где tfn = о {со: х01 . . ., хп) и ?х —
распределение вероятностей на множествах из ^оо =
== G (LJ S^n)» отвечающее начальному состоянию # и естест-
п
венным образом индуцированное случайными величинами
Ь1> Ь2> • • ••
Пусть функция g (x) = max {0, х). Нетрудно понять,
что в случае р^> q момент т* = оо является @,
^-оптимальным, причем s (х) = оо для всех х ?Е Е. Более интересен
случай р < q. Мы покажем, что в этой ситуации
существует @, ?)-оптимальный момент т*, который, однако, не
является моментом остановки.
Определим марковские моменты ty = inf {n > 0: хп ^
>Y}> гДе TG^' Легко показывается, что вероятность
Рч (х) достижения множества 1\ = [у, оо) для различных
х ЕЕ Е задается равенствами
1,
Поэтому
X
Обозначим /* (х) = sup /Y (х). Тогда /* (х) = /Y* (x), где
Y
7* —точка максимума функции у f—-J на множестве
, и

82
ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ
[ГЛ. II
Нетрудно убедиться, что /* (х) > g (х) и /* (х) >
> Tf* (x) при всех х ЕЕ Е. Отсюда следует, что момент
т* = ty* является @, <?)-оптимальным:
*) = s(x).
Отметим, что в рассматриваемом примере Р^ (lim g (xn) =
п
= 0) = 1 для всех ie? и Р^ (т* = оо) > 0 для всех
#<Y*- Поэтому момент т*, будучи @, s)-оптимальным,
не является в то же время @, $)-оптимальным,
поскольку т* <? 3R (рис. 1).
S(X)~
о- о--С?
Рис. 1.
2. Если множество Е конечно, \ g (х) | < оо, х ЕЕ Е,
то согласно п. 4 теоремы 4 всегда существует
оптимальный момент остановки. Приводимые примеры 2—4
относятся именно к этому случаю.
Пример 2. Пусть Е = {0, 1, . . ., iV} и пусть
переходная вероятность р (х, у) = Рх (хг = у) устроена
так, что
р (О, 0) = р (N, N) = 1, p(i,i+l)=p {U i - 1) = V2,
Эксцессивность функции г; = v (x) в рассматриваемом
случае означает ее выпуклость вверх:
(*~~ , ^ = 1,..., ЛГ — 1,

6]
ПРИМЕРЫ
83
причем г; @) = g @), v (N) = g (N). Поэтому
наименьшая эксцессивная мажоранта v (х) для функции g (х)
будет наименьшей выпуклой вверх функцией, «натянутой
сверху» на g (х) с соблюдением концевых условий v @) =
- g @), v(N)=g (N) (рис. 2).
Рис. 2.
Оптимальное правило остановки состоит здесь в том,
чтобы прекращать наблюдения в тех точках х, для
которых v (х) = g (х).
ПримерЗ. В отличие от предыдущего примера, где
состояния {0} и {N} были поглощающими, предположим
/
ч:
'// '/г
Рис. 3.
теперь, что р @, 1) = р (N, N — 1) = 1.
Рассматриваемая цепь является возвратной и, очевидно, для любого
Е
limg(xn) = max g (x)

84 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Ясно, что s (х) <^ max g (x). В то же время из уравнения
B.67) следует, что
s (х) > MxTim g (xn) = max g (х).
Е
Поэтому s (х) = max g (x) и оптимальное правило
остановки состоит в том, чтобы прекращать наблюдения при
первом попадании в одну из тех точек х, где достигает
максимума функция g (х) (рис. 3).
П р и м е р 4. Пусть снова Е = {0, 1, ..., N} и
р (О, 0) = 1, р (N, N - 1) = 1,
p(i, i + i) = p(i, i — l) = L, i = 1,..., iV — 1.
Тогда наименьшая эксцессивная мажоранта v (x)
функции g (x) будет наименьшей «выпуклой» оболочкой
функции g (х), удовлетворяющей ограничениям: v @) = g @),
v(x) > S (z0), %>x0, где x0 — та (первая) точка, где
функция g (x) достигает максимума (рис. 4).
Рис. 4.
3. В случае конечного числа состояний, как мы
видели, оптимальный момент остановки существует. Если же
множество состояний счетно, то это, вообще говоря, уже
не так, что видно из следующего простого примера.
П р и м е р 5. Пусть Е = {0, 1, . . .}, р (i, i + 1) = 1
(детерминированное движение вправо) и g (х) > 0 —
монотонно возрастающая функция с lim g (x) = К < оо*

§ 6] примеры 85
Поскольку здесь ф (х) = Мх [sup g (xn)] = К, то
Gn <р (х) = К и, следовательно, в силу леммы 11
наименьшая эксцессивная мажоранта v (x) = К (что, впрочем,
было очевидно a priori). Нетрудно видеть, что
оптимального момента остановки здесь не существует, в то время
как момент т = оо является @, ^-оптимальным. С другой
стороны, ясно, что момент те = inf {/г > 0: хп > К — е}
при всяком б ^> 0 является (е, $)-оптимальным.
Можно было бы думать, что и в случае нарушения
условия А+ моменты
т? = inf {п > 0: v (хп) < g (хп) + е}
останутся (е, 5)-оптимальными. Однако, вообще говоря,
это не так, что видно из следующего примера.
Пример 6. Пусть Е = {0, 1, 2, . . .}, р @, 0) = 1,
р (*, i + 1) = Р (U i - 1) = V2 (i = 1, 2, . . .) и g @) =
= 1, g (i) = i (i = 1, 2, . . .). Можно показать, что здесь
Мх [sup g(xn)] = оо, я = 1, 2, ... Пользуясь леммой 6,
п
легко найти наименьшую эксцессивную мажоранту v (x)
функции g (х): г; @) = 1, v(x) = х + 1, х = 1, 2, . . ..
При 0 ^ е < 1 множество Ге = {х: v (х) <; g (x) + е} состоит
из единственной точки {0} и момент т8 = inf {n > 0:
жп G Г?} конечен с Р^-вероятностью единица для
любого х^ Е. Поэтому Mxg (хч) = 1, жЕ? Но, с
другой стороны, ясно, что момент f = 0, предписывающий
останавливаться сразу, дает в любой точке х — 2, 3, . . .
«выигрыш» Мх# (х~) = g (х), равный соответственно
2, 3, . . ., что больше «выигрыша» от остановки,
предписываемой моментом т8 (рис. 5).
Отметим, что этот пример показывает также, что цена
s (х) может оставаться конечной при всех х??и при
нарушении условия А+.
В случае нарушения условия А+, вообще говоря,
нельзя утверждать, что найдется момент а г ЕЕ 3R, который был
бы (е, $)-оптимальным хотя бы для тех точек я, где s (x) <
< оо, т. е. чтобы *)
s (х) < М^ (ха&) + е, х е {#: s (х) < оо}.
*) По этому поводу см. также замечание 2 к теореме 14 § 7
гл. III.

86
ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ
[ГЛ. II
Тем не менее, для каждого фиксированного значения
х01 где s (х0) < оо, и всякого е ^> 0 существует (в силу
определения sup) момент остановки а е (х0) такой, что
Построить этот момент можно следующим образом.
Положим
gb(x) = min (b,g(x)), sb(x) = sup Mxgb(xx).
-сеяи
Мы уже знаем, что sb (x) | s (x). Поэтому для точки х0,
с)
Рис. 5.
где s (х0) < оо, и е >> 0 можно найти такое В = В (х0, е),
что для всех Ъ ]> В
*(*0)-*ьЫ<е/2. B.91)
Из ограниченности функций gb (x) сверху следует, что
марковский момент
бе Ы = mf {П > 0: 8В^г) (^ < gB(Xo,e) (^) + е/2}
таков, что at (x0) e 3R и
М^в (^е(хо)) > 5В (ж) - е/2, х ЕЕ Я. B.92)
Из B.92) и B.91) получаем требуемый результат,
поскольку
s(x0) > MXog(xat {Xo)) > MXogB (*Ое(Л0)) >
(лг0) — е/2 > 5 (а:0) — е.

§ 6] примеры 87
5. Приведем теперь два примера, из которых будет
следовать, что в случае нарушения условия А~ цена s (х)
может уже не быть наименьшей эксцессивной мажорантой
функции g (х).
Пример 7. Пусть фазовое пространство Е = {0, 2,
22, . . .} и марковская цепь X = (хп, ?п, Рх), wG JST,
х ЕЕ Е, устроена так, что
где 1г, ?2» ... —последовательность независимых
одинаково распределенных случайных величин, заданных на
некотором вероятностном пространстве (й, tf, Р), Р A-п =
= 0) = Р (|п = 1) = V2, $п = (У {«: *о, • • ., Хп}, а мера
Рх определяется естественным образом. Иначе говоря,
«частица», выходящая из точки х е Е7 с равной
вероятностью попадает либо в точку 2х, либо в точку 0, где и
остается.
Положим g (х) — — х и рассмотрим цену
s (х) — sup Mx g (xT), хееЕ.
Нетрудно проверить, что для данного примера
Мя [sup g- (a:n)J - МЛ [sup xn] = + оо, а: ^= 0,
п п
и, таким образом, условие А" нарушается.
Найдем для рассматриваемой функции g (x) ее
наименьшую эксцессивную мажоранту v (x). Легко
проверить, что Tg (х) = g (х), х ЕЕ Е. Следовательно, функция
v (х) = g (x) является наименьшей эксцессивной
мажорантой g (x) и, если, теорема 3 оставалась бы
справедливой, то s (х) = g (x) = —х. Однако на самом деле
s (х) = 0. Действительно, пусть т = inf {n: хп = 0}.
Поскольку Рх (т < сю) = 1, х ?Е Е, то т — момент
остановки. Но Мх g (х-) = 0 и, очевидно, s (x) ^ 0.
Поэтому момент f является оптимальным, s (х) = 0 и
,9 (х) zjb v (х), где v (х) — наименьшая эксцессивная
мажоранта g (х).
Нетрудно дать объяснение тому факту, что здесь ,9 (х) -ф
ф v (х). Дело в том, что при доказательстве теоремы 3 мы
существенно опирались на лемму 3, которая, как
показывает приведенный пример, при нарушении условия А~

88 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
может уже быть и не верна. (В рассмотренном примере
неравенство B.41) не выполнено для функции / (х) =
= S (х) (= ~x)i моментов а = 0 и т = т.) Этот пример
наводит на мысль, что в общем случае характеризацию
цены $ (х) надо искать не в классе эксцессивных
функций, а в (более узком) классе тех функций, для которых
справедлива лемма 3 (по крайней мере, для моментов
а = 0ите Щ).
Интересно отметить, что в рассматриваемом примере
цены sn (х) = — х, nEz Nj тогда как s (х) = 0. Таким
образом, этот пример показывает, что, вообще говоря,
цены
Пример 8. Пусть X = (хп, ?п, Рх), «El, где
*.е Е = {0, +1, ±2, . . .}, хп = х + 1г+ . . . +1п,
гс>0, х0 = х, tfn =а {(о:^о, ..., хп), а |1? ?2,...
—последовательность независимых одинаково распределенных
случайных величин, принимающих значения +1 с
вероятностями V2. Пусть также g (х) = х. Тогда Qg (х) — g (x)
и, следовательно, при любом п е JSf sn (x) = Q^g (x) = х.
Ясно, что наименьшая эксцессивная мажоранта функции
g (х) = х есть сама эта функция. В то же время ясно, что
Рх (lim хп = +сх>) = 1, и поэтому s (х) = +оо для
любого х е Е.
§ 7. О структуре и способах отыскания цены
для функций ^ЕВ(а")
1. Последние два примера предыдущего параграфа
показывают, что при нарушении условия А" цена s (ж),
вообще говоря, не является наименьшей эксцессивной
мажорантой функции g (x). Ответ на вопрос о структуре
цены s (х) в общем случае будет дан в § 9. В этом же
параграфе будет рассмотрен случай, когда функция g (x)
удовлетворяет условию а~. Оказывается, что для этого
случая цена снова является наименьшей эксцессивной
мажорантой, но, правда, не функции g (x), а функции *)
G (х) = max {g (z), Mrf (««,)}. B.93)
¦) Ср. с замечанием 5 к теореме 3.

§ 7] О СТРУКТУРЕ И СПОСОБАХ ОТЫСКАНИЯ ЦЕНЫ 89
Итак, пусть функция g (x) принадлежит классу В (а"*),
т. е. выполнено условие
а": Мя [*-(*„)] < оо, х ЕЕ Е, B.94)
где g(xoo) = l\mg(xn).
п
(Заметим, что в примере 7 § 6 Mxg (х^) = 0 и,
следовательно, функция G (х) = 0.)
Теорема 6. Пусть функция g Ei В (а~).
Тогда: ~
1) цена s (х) является *) наименьшей эксцессивной
мажорантой функции G (х) = max {g (x), hAxg (х^)};
2) цена s (х) = S (х), где S (х) = sup MXG(#T);
x&BtG ^ B.95)
3) s(x) = msix{g(x)i M^^oc), Г? (ж)}.
Для доказательства 'этой теоремы нам понадобится
Лемма 12. 1) Функция
V (х) = lim (?n G (х), х<=Е, B.96)
п
есть наименьшая эксцессивная мажоранта функции G (х);
2) цена S (х) = V (х).
Доказательство. 1) В силу неравенства
G (х) ^> hAxg (xqo) и марковского свойства
G (хг) > Мл8г (я») = Мх {g (ж.) | ^i) (Рзгп. hmjg ?).
Поэтому, поскольку М^Огоо) > — оо, то tAxG (x^
определено и не равно —оо, т. е. hAxG~ (х^) < оо.
Следовательно, Сб!и согласно лемме 6 функция V (х) есть
наименьшая эксцессивная мажоранта G (х).
2) Покажем теперь, что S (х) = V(x)._C этой целью
установим сначала неравенство V (х) <; S (х).
Пусть G (х) < Ъ < оо и Г (ж) = lim Gn<p (x)9 где
п
п
Ф (х) = Ь\х [sup G (хп)]. Ясно, что F (л:) ^ 7 (х), при-
п
чем в силу первого утверждения леммы 11
*) Из теоремы 9 будет следовать, что в рассматриваемом случае
цены § (х) и s (х) также совпадают.

90 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
где момент остановки
т? = inf {п > 0: V(xn)^G(xn) + в}.
Поэтому
V (х) < V (х) < МХГ (х;ш) < MXG (*-) + е < S (х) + 8
и, значит, V (х) <; S (х).
В общем случае это неравенство доказывается так же,
как и в теореме 3, с помощью рассмотрения функций
Gb (х) = min (fe, G (х)) с последующим предельным
переходом по Ъ \ оо.
Установим обратное неравенство V (х) ^ S (х). (В
теореме 3 для доказательства подобного неравенства
использовалась лемма 3, которая теперь неприменима,
поскольку функция G (х), вообще говоря, не удовлетворяет
условию А~.)
С этой целью покажем вначале, что семейство
{V" (хп), nEizlV} является равномерно интегрируемым
(относительно каждой меры ?х, х е Е).
Имеем V (х) > G (х) > Mxg (х^), откуда в силу
марковского свойства
V (хп) > МЖд? (*«) = Мж {g (Хоо) | f п} (Рдгп. н., х е ^),
и следовательно,
я] - Mx[lim g" (Ж
п,
Последовательность {М,, (Шп g- (жт) | f n), f
п е JV, является, очевидно, равномерно интегрируемым
мартингалом (для каждого х €Е Е). Поэтому величины
{F" (xnO nEE JV} также равномерно интегрируемы.
Рассмотрим наряду с V (х) функции Vb (x) =
= min F, V (х)), Ъ > 0. Они эксцессивны и Мл [F6 (жд+1) |
I f л] ^ Vb (хп) (Рзс"п- н., х ЕЕ Е) согласно свойствам VI
и IV из § 4. Поскольку величины {V" (хп), wG^}
равномерно интегрируемы, то таковы же и величины
{Vb (#n), n e= JT}. Следовательно, для каждого ж??
объекты {Fb (жп), fn, Ря}, п^Ж, образуют равномерно
интегрируемый супермартингал, и в силу теоремы 9 гл. I
существует предел \\mVb (xn) (=Vb (^oo)), причем
п
Мя [Vb (*.) | Гп] < Fb Ю (Ря-п. н., х е Я). B.97)

§ 7J О СТРУКТУРЕ И СЛОСОЁАХ ОТЫСКАНИЯ ЦЕРШ 9i
Это условие гарантирует (теорема 1.11), что для любых
марковских моментов а и т таких, что Рх (о <^ т) = 1,
Мх Vb {хх) = tAxVb (ха) < Vb (x).
Переходя в этих неравенствах к пределу при Ъ \ оо,
находим, что
MXV(хх) < МХК (хв) < V(х) B.98)
и, значит,
MxG(xx)^V(x), B.99)
поскольку V (х) > G (х) > tAxg (x^) и MXxg (x^) =
= toxlg(Xoo)\&x]> — OO9 (РагП- Н., Х^Е).
Из B.99) следует требуемое неравенство.
Лемма доказана.
Доказательство теоремы 6. Убедимся
в том, что s (х) = S (х). Ясно, что s (x) <^ S (х), х е Е.
Обратное неравенство достаточно установить для тех
х е Е, для которых s (х) < оо, поскольку, если 5 (о:) =
= оо, то и S (х) = оо.
Покажем сначала, что для всех тех х ЕЕ Е, где s (x) <^
<оо,
g{xQO) = G{xO0) (Р^п.н.). B.100)
Действительно,
G (ж*,) = lTm"G (д:п) = ИтГтах {^r (a:n), Mx g (х^)} =
?г n Tt
= Ит" max (g (xn), M^fg^) | fn]} =
n
= max {g (X.), Ii^Ma [g (г.) | f „]). B.101)
В силу предположения s (x) < оо математическое
ожидание М^ (^оо) < оо. Но в то же самое время g E= В (а~),
т. е. h\xg~ (^оо) < оо. Поэтому Мл | g (х^) | < оо и,
значит, по теореме 1.10
lim Mx [g (хао) | fn] = М* [g (Хоо) | f оо] = g (Xoo) (Рх-п.н.),
г?
что вместе с B.101) доказывает B.100).

92 Остановка последовательностей 1гл. it
Далее, пусть в точке ж?? s(x)<oo. Для
произвольного марковского момента т положим
(т(со), если х\
+ оо, В ПрОТ
: (со) < оо и Mx-rg (xo
противном случае.
Ясно, что огт (со) —марковский момент. Докажем, что если
Мх G (хх) существует, то
tAxG(x,) = hAxg(xaJ. B.102)
Поскольку g (Хоо) = G (хоо), то достаточно показать, что
M3C/{T<oo}G (*т) = Мя/{т<00)г К). B.103)
Пусть
Л = {со: т (to) < оо, N\Xxg (Хоо) < g (xx)},
В = {со: t(co) <^ оо,
В силу 5%-измеримости множества 5 и строго
марковского свойства
max
,f T] -
что доказывает равенство B.103) и вместе с ним B.102).
Из B.102) получаем требуемое неравенство S (х) ^
<^s(x), которое вместе с очевидным неравенством S (х) ^>
> s (я:) доказывает совпадение цен S (х) и .7 (ж).
Наконец, уравнение B.95) непосредственно следует из
леммы 5 и 12.
Теорема доказана.
2. Замечание 1. Возвратимся к примеру 7 § 6.
Нетрудно видеть, что рассматриваемая в нем функция
?ЕЙ(а")иМ^ (яоо) = 0. Поэтому G (х) = 0, и из
уравнения B.95) сразу ясно, что s (х) = 0.
Замечание 2. Из результатов § 9 будет вытекать,
что в условиях теоремы 6 цены s (х) и s (x) совпадают, еле-

§ 8] РЕГУЛЯРНЫЕ ФУНКЦИЙ ИЗ
довательно, цена s (х) удовлетворяет уравнению
s (х) = max {g (х), Mrffc»), Ts (x)}. B.104)
Замечание 3. Из утверждения 1) теоремы 6 и
неравенств B.98) следует, что если Рх (а ^ т) = 1,
х ЕЕ Е, то
- ОО < MXS (Xoo) < МХ5 (*т) < М^ (*в) < S (X). B.105)
Замечание 4. Из B.105) следует, что цена s (x)
удовлетворяет для любого т е 5К неравенству
Пусть теперь / (х) — некоторая 53-измеримая функция,
мажорирующая g (x) и удовлетворяющая для любого
т е Ж^ неравенству
) </(*), ^е^. B.106)
Поскольку М^ (хт) < Мл/(о;т), то 5 (х) < / (а:).
Иначе говоря, цена s (x) является наименьшей из
функций, удовлетворяющих условию B.106) и
мажорирующих g (x) (ср. с замечанием 4 к теореме 3 и
теоремой 7).
§ 8. Регулярные функции. Структура цены
и 8-оптимальных правил остановки
(при условии А+)
1. При исследовании структуры цен s (x) и s (x) в
общем случае полезным оказывается следующее
Определение 1. Пусть 91 — некоторый класс
марковских моментов tG$. Функция / е= В будет
называться Ш-регулярной, если для любых т ЕЕ Ж и
х е Е математические ожидания NKxf (xx) определены
и для всех т, а е 91 с Рд. (а ^ т) = 1, х ?Е Е, выполнены
неравенства:
Mx/(sT)<Mx/(*G), яеЯ, B.107)
где /(*«) = Ит/(лгп).

94 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ 1ГЛ. II
Если к тому же / (х) > g (х), то функция / (х)
называется ^-регулярной мажорантой g (x). Очевидным
образом определяются наименьшие ^-регулярные
мажоранты функции g (х).
Особо важную роль играют два класса функций:
31 = 3R и SR = 9Rg. Для простоты будем ^-регулярные
функции называть просто регулярными.
Если функция g ЕЕ В (А~), то классы наименьших
эксцессивных и наименьших регулярных мажорант
функции g совпадают (лемма 3). Поэтому теорему 3 можно
переформулировать, сказав, что цена s (x) есть
наименьшая регулярная мажоранта g (x). Отметим теперь, что
приведенные в § 6 примеры 7 и 8 показывают, что, во-
первых, при нарушении условия А" эксцессивная
функция уже может не быть регулярной функцией, и, во-
вторых, что цена не является, вообще говоря, наименьшей
эксцессивной мажорантой функции g (x).
Основной результат этого параграфа состоит в
доказательстве того, что для функций g (x) классов В (А+) цена
s (х) является наименьшей регулярной мажорантой g (x).
В следующем параграфе будет рассмотрен общий случай
и будет показано, что цена s (x) есть наименьшая 3Rg-
регулярная мажоранта g (x).
2. Теорема 7. Пусть функция g ЕЕ В (А+). Тогда:
1) цена s (х) является наименьшей регулярной
мажорантой функции g (x);
2) цены s (x) us (х) совпадают: s (х) = s (x)\
3) s(x) = m3LX{g(x), Ts(x)};
4) s(x)= lim Jim lim Qngba{x),
Ъ—>oo a—>-oo n—>oo
где
[6, g(*)>b,
g(x), a<g(^)<&
и a < 0, b > 0.
Доказательство, а) Пусть
ga (x) = max {a, g (x)}, a < 0,
sa{x)= sup Mxga(^T)

§ 8] РЕГУЛЯРНЫЕ ФУНКЦИИ 95
и s^ (x) = lim sa(x). Очевидно, что
а—»-оо
** И >*(*)>*(*)>?(*)>—«>• B.108)
Согласно теореме 3
sa (x) = max {ga (ж), Г*а (ж)}, B.109)
и поскольку 5а (ж) I s% (#), Мл [sup g+ (хп)] < оо, то по
п
теореме о монотонной сходимости jTsa (#) J 7^ (х)
и, значит,
в, (*) = max {g (x), Ts*(x)}. B.110)
В силу леммы 3 для всяких марковских моментов or
и т с Рх(в < т) = 1, ж??,
(жо) < 5а (л)< оо,
что вместе с неравенством s^ (x) <^ 5а (д;) показывает, что
математические ожидания М^ (хх) определены (т G 3R,
^G ?) и
М^(^)<М^(^), B.111)
т. е. $? (ж) — регулярная функция.
Ь) Покажем теперь, что s^ (x) <; s (x). С этой целью
введем марковские моменты:
б" = in! {т > 0: s* (xm) < ga (xm) + е},
т^ = inf {т > 0: sa (хт) < gh (хы) + е},
тЦ = inf {т > 0: s* (хт) < g (a:m) + e},
и покажем, что для е>0 Рх(Те<^оо) = 1 и
^(^)<м^(^*). B.112)
Тогда отсюда будет следовать, что
и, значит, s% (x)<^ s(x). Вместе с B.108) это будет
доказывать равенства s^ (х) = s (х) = s (x).

96 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Функция ga ЕЕ В (А~, А+), поэтому в силу теоремы 3
и следствия к лемме 11
*^). B.113)
Ясно, что бе <^ tg, а ^ а <^ 0. Поэтому (лемма 3)
M*Sa (х а) < М^а (X а) < Sa (x),
что вместе с B.113) приводит к равенству
*«(*) = М^ (я a), a<a, B.114)
где, очевидно, Рх (ol <^ оо) == 1, хЕЕЕ.
Перейдем в B.114) к пределу при а ->- —оо. Тогда в
силу условия А+ и теоремы о монотонной сходимости
получим
(хаа), е > 0, а < 0.
Отсюда, вспоминая определение момента at, находим,
что
^а(л: a)'I{g(x
где 0 < Сх = Мл [ sup g+ (ж,-)] + 8 < оо.
Поэтому при а <^ 0
и, значит,
lim P*{g(a:a)<a} = 0. B.115)
a->—оо
Используем это соотношение для доказательства
того, что Рх (т^ < оо) = 1, х е Z?. Для этого заметим, что
на множестве {со: g (#aa) > a}
т;(©) = a-(со). B.116)

§ 8] РЕГУЛЯРНЫЕ ФУНКЦИИ 97
Поэтому
Р* (Те* < ОО) > Ря(т; < ОС, g(Zaa)>*) =
—oo.
с) Итак, Р« (т! < оо) = 1, же? Перейдем теперь
к доказательству неравенства B.112), которое, как уже
отмечалось, влечет за собой совпадение s% (х) с s (х) и s (x).
Из B.115) вытекает, что (для каждого фиксированного
гЕЙ) найдется подпоследовательность {a^}, at ->¦—оо,
oo, такая, что Рх-п. н.
.}(со) = О. B.117)
4
г-»оо о г
Пользуясь установленным равенством
$*(*) = M^s a ),
%
из B.116) и B.117) находим:
**(*) = MxI{g(x aj>H}Sx(x в|) -f Mx
a2 •
V
О S б
e e
Отсюда в силу условия А+ и леммы Фату получаем
г-»оо
Таким образом, 5^ (л:) = s (x) = 5 (#), что доказывает
второе и в силу B.110) третье утверждения теоремы.
d) Покажем теперь, что цена s (x) является
наименьшей функцией в классе всех регулярных мажорант
функции g (я).__Если / (ж) > g (x), Ma/ (хх) определено для
всех т е SK, # е Е, и / (х) > hAJ (хх), то тогда / (х) >
> Мд./ (#т) > Мл^ (а:т), где второе неравенство имеет
место, поскольку оба интеграла М^/ (хх) и M^g (xx) опре-
4 А. Н. Ширяев

98 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
делены (напомним, что ge В (А+)) и/(хт) > g (xx). Поэтому
/ (х) > s (х), что и доказывает первое утверждение
теоремы (существование hAxs (xx) и неравенство M^s (хх) ^
<; M^s (ха) для a, TEf таких, что Р^ (а <; т) = 1,
следует из равенства s (x) = s% (x) и B.111)).
Заключительное утверждение теоремы есть частный
случай приводимой ниже леммы 14.
Замечание. Если функция g ЕЕ В (А+), то цена
s(x)= Нш5аD B.118)
а-*—оо
где sa (х) = sup М^а (хх) и ga (х) = max {а, g (х)}, а < 0.
-сеж
3. В настоящем пункте мы рассмотрим некоторые
способы конструктивного построения цен s (x), являющихся
(при условии А+) наименьшими регулярными
мажорантами функции g (x). Приводимая ниже лемма 13
показывает, что в случае выполнения условия А+ функция
v (х) = lim Gn<p(x)\(cM. лемму 9) на самом деле совпадает
с ценой s (х).
Лемма 13. Пусть функция g ЕЕ В (А+),
Тогда цена
) lG>4 B.119)
где Gn — п-я степень оператора G, определенного в п. 7 § 4.
Доказательство. Обозначим
ga(x) = max|{a, g (х)}, а < 0,
v (х) = lim Gnq> (x),
i
Ga<pa (x) = max [ga (x), Tq>a (x)].
Тогда
G%a{x)>G\{x),
и в силу леммы И цена
sq (х) = sup tAxga (xx) = lim G^a (х)ч

§ 8] РЕГУЛЯРНЫЕ ФУНКЦИЙ
Согласно B.118) s(x) = lim sa(x). Поэтому
s (x) = lim sa (x) > lim G\ (x) = v (x).
JV-*oo
Для доказательства обратного неравенства, s (x)
<J v (x), заметим, что в силу B.110)
Gs (х) = max {g (x), Ts (x)} = s (x).
Поэтому GNs (х) = s (х), а так как s (x) ^ ф (х), то
Следовательно, s (x) <^ v (x).
Следствие. Если g ЕЕ В (А+), то
s(x) = lim lim Gn<pn(x).
Пусть снова для а ^ 0 и Ъ > О
gb (х) = min E, g (л:)), ga (x) = max (a, g (л:))
и
Лемма 14. 1) ?Ъш функция g?E В, то
s (х) = lim 5b (x)
Ь
2)
5(ж) = lim lim lim QNgba(x).
b-»oo a—»~oo iV->c»
s (x) = lim 5a (#)
lim lim Hm^gaW,
а-*—oo b->oo N-+ao
lim lim lim (?Nga(#),
a-*—oo 2V—»oo b—»oo
lim lim lim (?Nga (^)-
b-+oo a-*—oo iV-*oo
B.120)
B.121)
4*

100 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Доказательство. В силу B.118) и B.51)
sa (х) = lim lim QNgba (х) = lim lim QNgl (*), B.122)
b-»oo N-+oo iV b
что вместе с B.118) доказывает первые два равенства в
B.121). Для доказательства первого утверждения леммы
и последнего равенства в B.121) покажем сначала, что
s(x) = limsb(x). B.123)
|Ь-*оо
Обозначим s* (х) = lim sb (х). Ясно, что s (х) > s* (х).
С другой стороны, пусть т ЕЕ. $Rg. Тогда Mxg~ (х%) < оо,
Mj?(gb)- (хт) < оо при всех # е ?", и поскольку gb (д:) t
\ g (х)у Ъ -»¦ оо, то по теореме Лебега о монотонной
сходимости
ШЛА л>Ь //у» \ <<" ©^ /'уЛ .jC* с5'8 //)Л TTn'vrmvrv AA О (
w ( «С J ^^^ о ( Я/).
В силу второго равенства в B.121)
sb(x)=]\m^lij^QNgba(x),
откуда получаем
s (х) = lim sb (x) = lim lim lim QNgba (x).
b—>oo b—>oo a->—oo N-+od
Лемма доказана.
Замечание. Отметим, что во втором равенстве
в B.121) пределы по а и Nt вообще говоря, поменять
местами нельзя, т. е.
s(x) = lim lim lim QNgl(x)^ lim lim lim (?\а(#).
a—»—oo JV—*oo b-*oo N-+00 a-*—oo b-*oo
Действительно, в примере 7 § 6
QNga И = QNga И, lim QNga (*) = 0,
«.

§ 9j Регулярная Характеризация Цейы Ю1
и, следовательно^
О = lim lim QNga(z) Ф Ит lim QNga (х) = —х
а—»—оо N-+oo N-+oo а—*—оо
при всех х Ф 0.
4. Рассмотрим теперь вопрос о существовании и
структуре е-оптимальных марковских моментов. Приводимая
ниже теорема непосредственно обобщает теорему^ 4.
! Теорема 8. Пусть функция g ЕЕ В (А+) и s (x) —
цена (наименьшая регулярная мажоранта g (x)). Тогда:
1) для всякого г ^>0 момент
является г-оптимальным моментом остановки;
2) момент
т0 = inf {п > 0: s (хп) = g (xn)}
является оптимальным марковским моментом;
3) если момент т0 является моментом остановки (т0 ЕЕ
^3I), то он является оптимальным;
4) для оптимальности момента т0 достаточно, чтобы
limg(яп) = — оо (Рл-п.н., же?). B.124)
п
Доказательство утверждений 1) — 3) в
точности то же, что и доказательство соответствующих
утверждений в теореме 4. (Заметим, что в теореме 4 условие
А~ на самом деле нужно лишь только для справедливости
равенства s (х) = v {x).)
Для доказательства последнего утверждения
предположим, что при некотором х0 е Е РХо (т0 = оо) ^> 0.
Но тогда, очевидно, $(х0) = —оо, что противоречит
неравенствам s (х0) > g (х0) ^> — оо.
§ 9. Регулярная характеризация цены (общий случай)
1. Теорема 9. Пусть функция g Ez В.
Тогда:
1) цена s (х) является наименьшей 3Rё-регулярной
мажорантой функции g (x);
2) «(*)=* (*);

оСГайоёка послёдоваФельностей (гл. it
ngb
3) s(.r) = lim lim UmQngba(x); B.125)
4) если g e ?, /no
5 (*) = max {g (x)t Ts (x)}. B.126)
Доказательство. Обозначим sb(x) = sup M^b(xx),
sb(x) = sup Mxgb(xx). Тогда в силу леммы 14 $(#) =
b—»>oo
Пусть а, т е 5SRg иМа^т) = ^же^ По
теореме 7
). B.127)
Поскольку sb (x) > — g" (а:) и Mxg- (л:т) < оо, то по
теореме о монотонной сходимости в B.127) можно сделать
предельный переход по Ь \ оо, в результате чего получим
неравенство
. B.128)
Далее, если T?=9Kg, то
(sb (x) = sb (x) в силу теоремы 7) и, значит (опять-таки по
теореме о монотонной сходимости),
Поэтому s (x) <^ s (х), что вместе с очевидным
неравенством s (х) > s (х) доказывает равенство s (х) = s (x).
Итак, цены s (х) и s (x) совпадают и s (x) является 3Rg-
регулярной мажорантой функции g (x). Бели теперь
v (х) — также 591 ^-регулярная мажоранта, то
и, значит, s (x) <^ v(x)f т. е. s (x) — наименьшая
SK^-регулярная мажоранта функции g (x).
Пусть теперь gEE L. Тогда момент т (со) = 1
принадлежит классу $Stg и, следовательно, в силу B.128) s (x) >
> М () Г () Поэтому
^ (д:), Ts(x)}. B.129)

§ 10] О СХОДИМОСТИ ЦЕН И ОПТИМАЛЬНЫХ МОМЕНТОВ ЮЗ
С другой стороны, в силу теоремы 7
sb (х) = max {gb (x), Tsb (*)}, B.130)
где gb (х) < sb (х) < s (х). Поскольку hAxg~ (х±) < оо,
то МХ5Ь (^х) > — оо, что обеспечивает существование
интеграла Mxs (а^) и справедливость неравенства
М**ь (хг) < Мл 5 fo). Поэтому 5Ь (х) < max {g (ж), Ts (x)}
и, значит, 5 (х) < max {# (ж), Ts (#)}, что вместе с B.129)
доказывает справедливость уравнения B.126).
Наконец, равенство B.125) следует из леммы 14.
Замечание 1. Пусть момент т(Е= SR^ таков, что
отвечающий ему выигрыш / (х) = Мл g (xx) является
SRg-регулярной! функцией. Тогда момент т является
оптимальным.
3Ja мечание 2. Если g e 5, то остаются в силе
(с очевидными изменениями в обозначениях) замечания 2
и 3 к теореме 3.
§ 10. О сходимости цен $п(х) и оптимальных
моментов Тп при п—>оо
1. Пусть функция gEz L> Из теоремы 1 следует, что
цены 5Х (#), s2 (x), ... могут быть последовательно
найдены по формулам
*n(x) = Qng(x). B.131)
Знание этих цен дает возможность (по крайней мере,
принципиально) находить и оптимальные моменты
tn = min {0 < т < п : sn.m (xm) = gj(^m)} B.132)
(в классах $51 g (n)).
Пусть теперь га-> оо. Поскольку 5л+1 (ж) > sn (ж) и
т*п+1> х*п (Pjc-n. н., х€Е Е), то существуют пределы
$*(#) = Hm sn (x)} t*= Иш Гп-
При этом, если g ЕЕ L, то (в силу теоремы о монотонной
сходимости) из уравнений
Sn+i (х) = max {g (x), Tsn (x)}
для s* (х) получаем уравнение
s* (х) = max {g (х)г Ts* (x)}. B.133)

104 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Естественно Задаться вопросом: совпадает ли предел
s* (х) с ценой s (х) (ясно, что всегда s* (х) <; s (x)) и
является ли момент т* @, s)-оптимальным или, по крайней
мере, @, $)-оптимальным?
Примеры 7 и 8 § 6 показывают, что это, вообще говоря,
не так, в связи с чем возникает новый вопрос о том, как
охарактеризовать различие функций 5* (х) и s (х). Из
теоремы 9 следует, что (в предположении g Ez L) цена s (x)
является наименьшей Slg-регулярной мажорантой
функции g (x). Из уравнения же B.133) следует, что функция
5* (х) = lim sn (x) является эксцессивной мажорантой
П-*оо
функции g (x). Покажем, что функция s* (х) является на
самом деле наименьшей эксцессивной мажорантой g (x).
Действительно, пусть / (х) — некоторая эксцессивная
мажоранта g (х). Тогда / (х) > max {g (x), Tf (x)} и
/ (х) = Qf (х) = max {/ (*), Tf (x)} > max {g(x), Tg[(z)} =
= Qg(x).
Отсюда получаем
f{x)>Qng{x)y 71 = 0,1,
и, значит, / (х) > s* (х) = lim Qng (x).
П->оо
Таким образом, различие между функциями s (x) и
5* (х) может быть описано следующим образом.
Теорема 10. Пусть функция g ЕЕ L. Тогда:
1) цена s (х) есть наименьшая ^fig-регулярная
мажоранта функции g (x);
2) функция 5* (х) = lim sn (x) есть наименьшая экс
цессивная мажоранта функции g (x).
Приведем теперь достаточные условия,
гарантирующие как совпадение функций s (x) и s* (ж), так и
отвечающие на вопрос об оптимальности момента г* = lim tn.
П-*оо
Теорема 11. 1) Если функция gEz L (А~), то
s (х) = s (х) = 5* (х);
2) если функция gEzL(A~, А+), то момент т* =
= lim тп является @, Щ-оптимальным\

§ 10] О СХОДИМОСТИ ЦЕН И ОПТИМАЛЬНЫХ МОМЕНТОВ 105
3) если функция g G= L (А~, А+) и момент т* является
моментом остановки, то он будет @, вУоптимальным;
4) момент т* = inf {п > 0: s* (хл) = g (хп)}.
Доказательство. 1) Совпадение s (х) и s (х)
с 5* (я) следует из теоремы 3 и леммы 6.
2) На множестве {со: т* (со) < оо}
Поэтому в силу леммы Фату
s (x) = lim sn (x) = lim M^g (.г.*)
п
(л:т*) = MxTimg(xx*)I{x <oo} +
п п п п
lim g (я •) /{т*=Оо} = М^ (хт*) /{т*<оо} +
п
ПЖ (^), B.134)
п
что и доказывает @, ?)-оптимальность момента т*.
3) Если Рх (т* = оо) = 0, ig?,to из B.134)
следует, что момент т* является @, $)-оптимальным.
4) Для доказательства последнего утверждения
теоремы положим
и покажем, что т = т* (Рл-п. н., х е ?*).
Пусть о0е {со : т = ^г}, п < оо. Тогда g (хг) < 5* )
i = 0, 1, ..., п — 1, где #г = xt (w0), и, следовательно,
g(xt)<i sn-i (xt) для достаточно большого N, т. е. т^ (соо) >
> /г. Поэтому т* (соо) > tJv (соо) > т (соо). Если же т (соо) =
= оо, то ^ (а^) < 5* (^j) для хг = хг (соо) при всех i >
>0 и, следовательно, т^ (соо) ^> п при достаточно
больших N и любых п < TV", и т* (со0) = lim т^ (со0) "> гг, т. е.
N->oo
т* (соо) = оо.
Итак, f ^ т*. Обратное же неравенство очевидно.
Замечание. Из доказательства теоремы 11 видно,
что ее утверждения 2 и 3 можно сформулировать
следующим образом. Пусть g e= L (А") и в точке х0 е •#
М-^[supg+(««)]< оо.

106 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. I
Тогда момент т* = lim т*п является @, $)-оптимальным в
п
точке х0, т. е.
Если к тому же Р^ (т* < оо) = 1, то момент т* будет
@, s)-оптимальным в точке х0.
3, Применение п. 3 теоремы 11 бывает
затруднительным в силу того, что нелегко проверять принадлежность
марковского момента т* классу моментов остановки.
Однако иногда из общих соображений удается установить,
что оптимальный момент в классе моментов остановки
существует. Оказывается, что уже из этого вытекает @, в)-
оптимальность момента т* = limTn. При этом момент т*
п
будет наименьшим среди всех @, я)-оптимальных
моментов.
Теорема 12. Пусть функция ^е L (А~) и момент
остановки а* является оптимальным:' Mxg (ха*) = s (x)
для всех х ЕЕ. Е. Тогда, если s (х) < оо, х ЕЕ Е, то момент
т* является оптимальным моментом остановки и т* ^ а*
(Рл-п. н., х^Е).
Доказательство. Если а* — оптимальный
момент остановки, то Mxg (ха*) ^> — оо и
s (х) = Mxg (ха*) < M^s (xa*).
В силу теоремы 9, Mxs(xa*) <^s(x). Поэтому из
предположения s (х) < оо следует, что
*) = МХ5 (Ха*) < оо.
Отсюда, принимая во внимание неравенство s (xa*) >
> 8 (х°*) (рл;"п- н-> х ^ Е), получаем
s[(xa*) = g (ха*) (Рл-п. нм х е Е), B.135)
что дает для т* = mi{n > 0:5* (хп) = g (xn)} = inf {n >
> 0 : s (хп) = g (хп)} неравенство т* < а* (Р^-п. н., х е
е Е). Теперь покажем, что момент т* является
оптимальным. В силу леммы 3
Mxs(xe*)^hAxs(xx*) B.136)
и, значит,
s (х) = М^ (ж..) < Mas (ж.*) < Mas (ж,*) = М^ (av), B.137)
где последнее равенство следует из того, что Р*-п. н., а; е

§ 11] О РЕШЕНИЯХ РЕКУРРЕНТНЫХ УРАВНЕНИЙ 107
е Е, s (хх*) = g (хх*) (см. утверждения 1 и 4 теоремы И).
Итак, s (x) <^ h\xg (хх*), что и доказывает
оптимальность момента остановки т* = lim тп.
п
Замечание. Утверждение теоремы остается
справедливым, если предположить, что а* является
оптимальным марковским моментом (тогда, конечно, т* — также
марковский момент, а не момент остановки; ср. с теоремой
ШЛО).
§ 11. О решениях рекуррентных уравнений
f(x) = max {д(х), Tf(x)}
1. Из теоремы 3 следует, что для функций g ЕЕ L (А~)
цена s (х) есть наименьшее решение уравнения
/(*) = max {#(*), Tf(x)}. B.138)
Однако, если g e= L, то наименьшее решение этого
уравнения совпадает с функцией s* (х) = lim sn (x), которая,
п
вообще говоря, может и не совпадать с ценой s (x)
(теорема 10).
Естественно поэтому исследовать (при различных
предположениях о классах «допустимых» функций / (х)) те
случаи, когда решение уравнения B.138) является
единственным, поскольку тогда это решение автоматически
будет совпадать с ценой. Если же единственности нет, то
желательно научиться «выделять» среди всех решений
уравнения B.138) то, которое действительно дает цену
в задаче «5 (х) = sup M^g (xx)».
Помимо исследования этих вопросов мы покажем
также, что каждое решение уравнения B.138) может
рассматриваться как «цена» в некоторой специальным образом
сконструированной задаче об оптимальной остановке.
В этом смысле можно сказать, что уравнение B.138),
являющееся одним из простейших уравнений, возникающих
в динамическом программировании, присуще именно
задачам об оптимальной остановке.
2. Пусть
п
Р (п, х,Т) = ?х {хп е Г}, ц (и, х, Г) = -L У ,Р ('> х> Г)'
1

108 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Предположим, что на (Е, 53) существует
неотрицательная мера |ы такая, что для каждой $?-измеримой
ограниченной функции / = / (х), х е= Е,
^f(y)\x{n1x,dy)^ ^f{y)\i(dy), л-юо,
Е Е
для всех х е Е.
Теорема 13. Пусть fx (x) и /2 (х) — два решения
уравнения B.138), принадлежащих классу L, совпадающие
на некотором измеримом множестве Лс?ц такие, что
sup | Д (я) — /2 (я) |< °о.
Если ii (Е \ Л) < 1, то /2 (х) == /2 (а:).
Доказательство. Обозначим г (х) = \f1 (x) —
— /2(#)|. Тогда из B.138) нетрудно установить, что
г(*)<2>(*), B.139)
откуда г (re) <J Tnr (х) и, значит,
B.140)
Переходя в B.140) к пределу при п ->¦ оо, находим
sup г (ж) < sup r(y)-\i(E\ Л).
Поскольку, по предположению, [д, (Е \ Л) < 1, то
г (ж) = 0, т. е. f± (x) = U (*)-
Следствие 1. Если Р A, #, ?") = р < 1 5дл всея
х ЕЕ Е, то в классе измеримых ограниченных функций
решение уравнения B.138) единственно.
Следствие 2. Если функция g (x) ограничена по
модулю и f (x) — ограниченное решение уравнения B.138),
совпадающее с g (x) на множестве Л, причем \i (E \ Л) <
< 1, то / (х) является наименьшей эксцессивной
мажорантой функции g (х) и, следовательно, f (х) = s (x).
Для доказательства достаточно заметить, что цена
s (х) также удовлетворяет уравнению B.138) и / (х)
совпадает с s (х) на множестве Л.

§ II] О РЕШЕНИЯХ РЕКУРРЕНТНЫХ УРАВНЕНИЙ Ю9
3. Иной критерий совпадения двух решений
уравнения B.138) дает
Теорема 14. Пусть /х (х) и /2 (х) — два ЗИ-измери-
мых решения уравнения B.138) такие, что
Mx{sxiv\h(xn)-h(xn)\}<oo, xe^E. B.141)
п
Пусть для всякого е ^> О найдется множество Л
такое, что
2) Pjc {^n ЕЕ Л-е для бесконечно многих п ЕЕ ^} = 1,
х^Е.
Тогда Д (*) = /2 (о:).
Доказательство. Образуем процесс
R = (r (xn), fnJ Px), п<=Ж, х<=Е,
где r(x) = \ fx (х) — /2 (^) |. Согласно B.139) 0 < г (*)<
^ Гпг (ж). Поэтому процесс R является неотрицательным
субмартингалом. Из условия B.141) и теоремы 9 гл. I
следует, что с Р^-вероятностью единица существует lim r (хп).
п
По условию 2 хп ?= Лг для бесконечно многих п е JV"",
поэтому в силу произвольности е > 0, lim г (хп) = О
п
(РЛ-п. н., х 6= -Е). Из неравенства
0<г(ж)<Мяг(^п)
по лемме Фату получаем
О < г (*)< Йт М^г (тп) < МЖПЫ г (*„) = О,
п п
что и доказывает теорему.
Следствие 1. Пусть Л = f| Ле, т. е.
оо
Л= {х: Уг(х)-и(х)\ = 0}
и Pa fe e Л для бесконечно многих wel} = l. ГогЗа
(в предположениях теоремы) fx (х) = /2 (л:).
Следствие 2. Если решение f (x) уравнения B.138)
совпадает с функцией g (x) на множестве Л таком, что
Р* {%п S Л для бесконечно многих п ЕЕ Ж} = 1, причем
МЛ {sup|/ (лгп)|) < оо ц М, {sup|^r (я?п)|) < оо, то / (#)
П 71
совпадает с ценой s (x).

HO ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
4. В том случае, когда уравнение B.138) имеет много
решений, для выделения решения, совпадающего именно
с ценой s (х) = sup tAxg (#T), полезной оказывается
Теорема 15. Пусть функция g ЕЕ L (А", А+) и
и f (х) — некоторое решение уравнения B.138), такое, что
/ е L (А+). Для того чтобы это решение совпадало с ценой
s (х), необходимо и достаточно, чтобы функция f (x)
удовлетворяла (Ря-п. н., ж??) следующему «граничному
условию на бесконечности»:
ШШ B.142)
Доказательство. Необходимость.
Если / (х) = s (х), то равенство B.142) следует из леммы
8 и теоремы 3.
Достаточность. Обозначим
Те = inf {п > 0: / (хп) < g (хп) + е}, в > 0.
Тогда (см. доказательство леммы 8) вероятность Р^. (тс <
< оо) = 1, х GE Е. Поэтому из леммы 7 (см. также
доказательство равенства B.63)) следует, что
s (х) > М^ (яТе) > М/ (хч) — е = / (х) — е.
Поэтому s (х) > / (х). С другой стороны, если g ЕЕ L (А"),
то по теореме 3 цена s (x) является наименьшей эксцессив-
ной мажорантой функции g (х). Поэтому поскольку / (х) —
эксцессивная функция, то s (х) = / (х).
5. Пусть функция gEEL (А") и г) = г\ (со) — некоторая
Ф«-измеримая случайная величина (Ф« = П Фп, «>» Фп,<»=
п
= а {со: хп, хп+ъ ...}), Млт1"< сх>, х^Е.
Обозначим
?yi (х) = sup Mx [g (Хх) 1{х<00} -fr Ti/{T=«>}], B.143)
т. е., в отличие от рассмотренной выше цены s (ж), мы
теперь считаем, что выигрыш, получаемый на множестве
{©: т = оо}, равен г\ (со) (а не обязательно limjf (xn (©))).
_ п
Хотя внешне цена 5^ (х) и отлична от изученной цены
s (х) := sup^M,. [g (хх) /{т<сх} + Jim g (xn) /{т==во}], B.144)
ea» n

§ 11] О РЕШЕНИЯХ РЕКУРРЕНТНЫХ УРАВНЕНИЙ Ш
но на самом деле задача об отыскании цены s^ (х) может
быть сведена к уже рассмотренной. Именно, справедлив
следующий результат.
Теорема 16. Если функция g e L (АГ) и M^rf <
<С оо, х Ez Е, то
в* (х) = sup Mxg (хх), B.145)
где
g(x) = mRx{g(x), МЛт,}. B.146)
/Три э/тгож Jy, (^) удовлетворяет уравнению
f(x) = m*x{g(x), Tf(x)}. B.147)
Доказательство. Поскольку функция g ЕЕ
е= L (А"), то по теореме 3
sup МЛ? (хх) = sup Mjcf (a:T),
Й 2й
и, значит, если обозначить Г (^) = sup Mxg (x^) и
-сеж
| т (со), если со е {со: g (xx) > MXtti
М<*>; | j^qo^ если
то
?(ж) = sup М
2R
= SUP Mx [g (Хвх) 1{ах<оо) + 4l{ax=oo)] <
(д:т) /{т<00} + ri/{T=oo}] = ^ (х).
Следовательно, 7(#)<^^(.г).
Далее, так как g (x) > М^т], то в силу условия
^xVT^ °°» хееЕ, и теоремы 1.10
Поэтому
* [g (xv) 1{х<оо) + Tim g (xn) /{T=00}] >
n
x [g (xx) Г{х<оо} + r\I{^oo

112 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Итак, s' (х) = s« (#), что и доказывает соотношение
B.145).
Установим теперь справедливость уравнения B.147)
для ?я (х).
Функция g e L (А"), поэтому по теореме 3
*i (ж) = *(*) = max [g (ж), Г 5 (*)] = max [g (я), МяЧ> Т7 (х)].
Но Г3'(л:)> jTMxt| = у^ЛзсЛ» и» значит,
s* (х) = ? (я) = max [g (я), 71?(х)] = max [g (д;), Ts* (x)].
Теорема доказана.
Эта теорема показывает, что цены s^ (x) при разных
г\ удовлетворяют одному и тому же уравнению B.147).
Теперь мы покажем, что справедлив в определенном смысле
и обратный результат: функциями s^ (x) при разных т]
исчерпываются все решения уравнения B.147). Более
точно, справедлива
Теорема 17. Пусть функция g ЕЕ L (А", А+), а
функция f ЕЕ L (А+) и является решением уравнения
B.147). Тогда это решение может бить представлено в
следующем виде:
f (х) = sup M* [g (хх) /{,<00} + т|/{т=авв}], B.148)
где г] =
п
Доказательство. Прежде всего заметим, что
предел lim / (хп) (Р^-п. н., х е Е) действительно существу-
п
ет в силу свойства VII эксцессивных функций (см. § 4).
Обозначим g (х) = max [g (x), M^lim/ (xn)] и покажем,
п
что функция / (х) удовлетворяет также уравнению
/(*) = max [J («)f Tf(x)\.
В силу леммы 3
Поэтому
п
max [f («), Г/ (ж)] = max [g (ж), Г/ (х)] = f (x).

§ И] ОГРЕШЕНИЯХ РЕКУРРЕНТНЫХ УРАВНЕНИЙ ИЗ
Покажем теперь,"что lim / (хп) = lim g (хп) (Р*-п. н.»
п п
х ЕЕ Е). Имеем
Ит g (хп) = Нт {max [g (xn), M^ lim / fa)]} =
п п к
= max [lim g (xn), lim M^ lim / (хк)].
п п к
Здесь lim М^ Нт / (хк) = lim / (xk). Поэтому
п к к
lim g (xn) = max {hmg (xn), lim / (хп)}.
Но Ит/(д:п)^Ит^(лгп). Значит,
п п
п
Отсюда и из теорем 15 и 16 вытекает, что
/ (х) = snpJAxg (xx) = sup Mjg(zT) /{T<oo> + Hm f(xn) /{
п
Теорема доказана.
6. В общем случае, когда g ЕЕ В, цена s (x) является
наименьшей Зй^-регулярной функцией, мажорирующей
g (x) (теорема 9). Этот факт может быть использован (как
дополнительное условие) при отыскании нужного решения
уравнения B.147), однако, проверка ЗВ^-регулярности
является делом не простым. Представляет интерес поэтому
отыскание иных условий (на цену), которые выделяли бы
нужное решение и были бы просто проверяемы.
В этом направлении наряду с теоремой 15 полезным
оказывается следующее предложение, содержащееся, по
существу, в теореме 6.
Теорема 18. Пусть функция g ЕЕ В (а"). Всякое
решение / (х) уравнения
_/(*) = max {g (x), Tf (x)}, B.149)
являющееся SRg-регулярной мажорантой функции g (x),
удовлетворяет также уравнению
1 (х) = max {g (x), Mrf (*.), Tf (*)}, B.150)
где g (xoo) = hmg(xn).

114 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Обратно, всякое решение уравнения B.150)
удовлетворяет уравнению B.149) и является $&ё-регулярной
мажорантой функции g (х).
Доказательство. Если функция / (х)
является SRg-регулярной мажорантой функции g (x), то для
всякого T^$5lg tAxf (#т) определено, больше — оо и
Mxf (хх) ^ / (х). В частности, в силу условия g ЕЕ В (а~)
момент т = оо принадлежит 1$Rg, и, значит, tAxg (#«>) <;
< Мх/ (хоо) < f(x). Поэтому из уравнения B.149) следует
уравнение B.150).
Обратно, пусть / (х) удовлетворяет уравнению B.150).
Тогда
/ (х) > М^Сгоо) = Malimg (хп) > — Milling- (xn).
Поэтому, если обозначить г) = — Iimg~ (хп), то f(x) >
п
> Мат], и в силу марковского свойства / (хп) > МЛпт1 =
==Мл[г||^п] (Рл-п. н., хееЕ). Вместе с неравенством
/ (х) > Tf (x) это показывает, что супермартингал (/ (хп),
?п, Рх), п е ЯГ, мажорирует мартингал (Мх Cnl <fn)> ?п»
Ра), п?Е 1Г. Следовательно, согласно теореме 11 гл. I для
всякого марковского момента т (и, в частности, для т S
S SR^M J (ят) определено и М*/ (а:т) < MJ (^0) (Рл (о_<
^ т) = 1, ХЕЕ Е)- Таким образом, / (я) является ЗЯ$-
регулярной мажорантой функции g (x).
Покажем теперь, что функция / (х) удовлетворяет
(наряду с уравнением B.150)) также уравнению B.149). При
этом ясно, что достаточно рассмотреть лишь те случаи,
когда toxg (а^) > max {g (x), Tf (x)}.
Итак, пусть в точке xEzE Mag (#») > max {g (ж),
Tf (х)}, причем bAxg (жо©) < с». Тогда, снова в силу
теоремы 11 гл. I,
M*g Ы > Tf (х) = Мх/ (хх) > Мл/ (Хоо) > Mrf (^). B.151)
Полученное противоречие показывает, что (в случае
М^(л:оо) < оо) h\xg (^оо) = max {g (x), Tf (x)} и,
следовательно, / (х) = max {g (x), Tf (x)}.
Если же tAxg (а;оо) == + сю, то тогда в силу B.150)
f (х) = + °° и согласно B.151) Tf (х) = + °°-
Следовательно, функция / (х) снова удовлетворяет уравнению
B.149).

§ 12] КРИТЕРИИ «УРЕЗАННОСТИ» 115
Теорема доказана.
В качестве иллюстрации применения этой теоремы
рассмотрим пример 7 из § 6. Поскольку в этом примере
Mxg (л:») = 0, то согласно теоремам 9 и 18 цена s (x)
удовлетворяет (наряду с B.149)) уравнению
f(x) = max{g(z), 0, Tf(x)},
из которого ясно, что / (х) !> 0. Поэтому s (х) = 0.
§ 12. Критерии «урезанности»
оптимальных правил остановки
1. Пусть SDI = {т} — класс моментов остановки
Рх (т < оо) = 1, х е= Е. Предположим, что существует
оптимальное правило остановки т* €Е SR, M^g (х?*) =
= s (я), х^Е. Может при этом случиться, что для
некоторого состояния х Е: Е найдется такое конечное N (х),
что Рх {т* ^ N (х)} = 1. В этом случае говорят, что
оптимальное правило остановки т* «урезано» в точке х.
Если же найдется такое конечное N, что Рх {т* <! N} = 1
для всех х е Е, иначе говоря, если т* е SK (N), то
правило остановки т* называют «урезанным».
В настоящем параграфе будет приведен ряд критериев,
позволяющих судить, для каких начальных состояний
оптимальные правила остановки «урезаны».
Будет указан также критерий, позволяющий
определять, является ли найденная граница «урезания» N (х)
точной (т. е. Рх {т* < N (х)} = 1 и Рх {т* = N (а)}>0).
2. Всюду далее мы будем предполагать, что функция
gE L {А"). Согласно теореме 3 цена
s(x) = limQng(x). B.152)
п
Обозначим
sk(x) = sup M^ (xj (= Q*g (x)), B.153)
eaR(fc)
**{*) = <Pg{x)-TQ*g(x)9 B.154)
Согласно B.155), B.7) и B.8) для всех п > к
= max {g (*n-fr), TQ*g (хп.к)} - Q*g (xn^)
(Рх-п.нм хб?). B.156)

116 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
При этом из B.154) и B.156) ясно, что условие pfc (#n-fe) —
== 0 равносильно условию ак (хп-к) > 0.
Теорема 19. Если для данного состояния х е Е
при некотором к > 0 найдется такое конечное щ = пк(х),
что с Р^-вероятностью единица
[^ (*„_,) = 0, n>nfc, B.157)
то sn (х) = s (х) для всех п > щ.
Если B.157) выполнено для к и Z, I < к, и Nk = Nk (x),
Ni = Nt (x) — наименьшие из чисел щ = щ (х), щ =
= Щ (х)> удовлетворяющих B.157), то Nk <[ Nt.
Для доказательства теоремы нам понадобится
Лемма 15. Для всех /г > 0 и # ЕЕ Е
sn+2 (х) - sn+1 (х) < Т En+1 - sn) (x). B.158)
Доказательство основано на анализе
рекуррентных соотношений
sk+1 (x) = max {g (x), Ть[(*)}, к>0, B.159)
и сводится к разбору следующих трех случаев.
a) Если g {х) > Tsn+1 (х), то g (x) > Tsn+1 (x) >
> Tsn (х), и из B.159) при к = п +1 и к = п получаем:
*п+2 (*) = 8 (х)> ^п+1 (ж) = «Г (#)• Следовательно, B.158)
выполнено.
b) Если g (х)Х Г^п (ж), то ? (ж) < 74, (х) < Г*п+1 (ж),
и из B.159) 5п41 (ж) = Tsn (z), sn+2 (x) == 7bn+1 (ж).
Следовательно, 5п+2 (х) — sn+1 (х) = Г (sn+1 — «п) (ж).
c) Если Т$п (х) < g (ж)< Пп+1 (ж), то
(Я?) — Tsn (X) =
= T(sn+1-$n)(x),
что доказывает B.158).
Доказательство теоремы 19. В силу
B.158)
- «nfc-l) («) < .- < Г"»"* (Sft+1 - Jfe) (Ж)
Но 0 < 5а:+1 (^nfc_ fc) — 5Л (^пл-k) = Pk («nk-k)i поэтому, если с
Рл-вероятностью единица pfc(^.t)=:0 (или, что то же,

§ 12] КРИТЕРИИ «УРЕЗАННОСТИ» Ц7
ак (Япл-к) > 0), то s^+i (х) = snfc (x). Аналогично, sn B;) =
== Sn^x) и для всех тг>/гь откуда sn(x) = s (х), rc>ra/f.
Второе утверждение теоремы следует из неравенства
Nk <^ Njt-ц которое легко выводится из B.158).
Следствие 1. Если для данного х ЕЕ Е при
некотором к ^> 0 найдется конечное щ = щ (х) такое, что
с Рх-вероятностъю единица fik {^п-к) = 0, п > щ, то
момент остановки
х*Пк = min {m: 5n/f_m (xm) = ^r (o:m)}
является оптимальным (в рассматриваемой точке х):
Следствие 2. Если Mk = sup nk (x) < 00
некотором к ~^> 0, то момент остановки
х*мк = min {m: 5Mfe_w (яте) = g (жт)}
является оптимальным:
s(x)= №xg{xx* ), же^.
мк
Замечание. Проще всего критерии «урезанности»
строить, конечно, при малых к. Так, при к = 0
во (*п) = «Г W —
при А = 1
(хп^) = ^ (о^-О - TQg (Хп^
Поэтому, если при к = 0 найдется такое п0 < оо, что для
всех х^ Е с Ря-вероятностыо единица g (a:n) > Т7^ (а?п),
п > дг0, то оптимальное правило остановки т* заведомо
существует и Рх {т* ^ /г0} = 1 при всех х ?= Е.
Согласно второй части теоремы 19 No (х) > Nx (x).
Поэтому критерий, основанный на анализе величины
ai (#n-i)> Дает более точную оценку сверху для границы
«урезания»: N (х) <^ Nx (x) ^ NQ (x).
Поскольку N (х) ^ Nk (x), то представляется
интересным выяснить, когда N (х) = Nk (x) при некотором к
и всех или некоторых х е= Е.

118 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Теорема 20. Если для данного х при некотором
к > 0 найдется конечное Nk = iVfc (х) такое, что с Рх-
вероятностъю единица
M*W) = O, n>Nk, B.160)
и с положительной Р^-вероятностью выполняются
неравенства
Tg (*i) > g (ж*), h (*iv*-i) > 0, B.161)
г = 0,1, ...,Wfr — fc — 2,
mo
И = *ivk+i (a?) = ... = s (x) B.162)
uN (x) = Nk (x).
Предварительно докажем одну лемму.
Лемма 16. Если для данного х ?= Е в пространстве
Еп~т, п — иг > 1, существует множество А г X .. 4
такое, что
п—т—1
П (Рт («^п) > 0} П {*»-«. е 4„.т}] > о,
то
п—т—1
р«[ П {М«0-0}л{«,ел,}] = о. B.163)
г=0
Доказательство будем вести по индукции.
Пусть равенство B.163) выполнено для i = / +1, ...
. . ., дг — т — 1. Установим его справедливость для i =
= / > 0.
Если a;ft e ^k, О^А^й — те — 1, то
Отсюда для рассматриваемого х^е Е имеем
) = «n-j+i (*у) — «и (*/) = Т (s»-i — *»-
Лемма доказана.

§ 13] РАНДОМИЗИРОВАННЫЕ И ДОСТАТОЧНЫЕ КЛАССЫ Ц9
Доказательство теоремы 20. Заметим,
что Pivfc-i (#о) = $Nk (#о) — swk-i (#<>)• Поэтому если в
в B.163) взять i = 0, п = iVfc, то получим Pn.-i (#о) ^>
> 0, т. е. 5лгл-1 (х0) < sN]t (x0).
В силу предшествующей теоремы sn (х0) = s^ +1(х0) =
= . . . = s (х0). Тем самым B.162) доказано. Из B.162)
и следствия 1 к теореме 19 вытекает также, что N^ (x0) =
= N (х0).
§ 13. Рандомизированные и достаточные классы
моментов остановки
1. Пусть (Q, §?) — измеримое пространство, X =
= (#n> ^n»Px)» n S -ЛГ,—марковская цепь со значениями
в фазовом пространстве (Е, 3S). Обозначим 9К [F] класс
моментов остановки т = т (со) (относительно системы
F = {tf n}, пЕЕ 2Г) и рассмотрим цену
s (x) = sup Ма# (хх), B.164)
где супремум взят по тем моментам т е= SK [F], для
которых математические ожидания Мл# (хт) определены при
всех х Ez E.
Увеличится ли цена s (x), если супремум в B.164) брать
не по моментам т из класса 3R [F], а по более широкому
классу моментов остановки?
Для ответа на этот вопрос дадим прежде всего
необходимые определения.
Предположим, что в $ выделена система F* = {$fn},
п е= .2V, а-алгебр gTn, обладающих тем свойством, что
* ¦ *
Будем предполагать, что на наименьшей а-алгебре,
содержащей все f*n, n е= Ж, заданы вероятностные меры Р^,
х е Е, являющиеся продолжением мер Р^, х е= Е
(т. е. Р* (А) = Рх (А), если А е a (U f n)), и что
процесс X* = (.zn, ^n, Рзс), п ЕЕ -2V", является марковским.
Определение 1. Класс моментов остановки
3R [F*] (относительно системы F*= {tfn}) назовем классом
рандомизированных моментов остановки по отношению к
системе F — {^п}.

120 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Очевидно, что SR [F*] э 9К IFh и, если положить
s* (х) = sup М^ (хх),
где супремум взят по тем моментам из 3I [F*], для
которых определены Mxg (хт)> х е= Е, то s* (я) > 5 (ж).
Однако на самом деле 5* (х) = s (x), т. е. рандомизация
цены не увеличивает.
В самом деле, если g ЕЕ В, то согласно теореме 9
s(x) = hm lim lim Qngba(x) B.165)
b—>oo a-*—oo n—>oo
и
*ngb
= lim lim lim Q*ngba (x), B.166)
b->oo a->—oo П—»-oo
где
<?*g (x) = max {g (a:),
(h\*x — математическое ожидание по мере Р^).
Но, очевидно, что M^g (xj) = Mxg (xj). Поэтому из
B.165) и B.166) сразу заключаем, что цены 5* (х) и 5 (х)
совпадают.
Итак, справедлива
Теорема 21. Пусть функция g Ez В. Тогда s*(x) =
= s (#), т. е. дополнительное введение рандомизированных
моментов остановки цены не увеличивает.
2. Хотя из доказанной теоремы и следует, что
рандомизация не увеличивает цены, можно тем не менее
указать ряд полезных применений рандомизированных
моментов остановки.
Например, если для некоторого х е= Е цен^_? (х) =
= + оо, то в классе 3R [F] = 9R (а также в классе 9R [F] —
= Щ может не оказаться оптимального момента, в то
время как в классе SR [F*] такой момент найдется.
В самом деле, пусть s (х) = -\- оо при некотором х €Е
6= Е. Тогда найдется последовательность моментов
остановки {т^}, i ее -2У", ti e 5K [F], такая, что 5 (.г) =
= supM^(xTi). Без ограничения общности можно считать,
Пусть р = р (со) есть ^-измеримая случайная
величина, принимающая значения г = 1,2, ... с вероятностями

§ 13] РАНДОМИЗИРОВАННЫЕ И ДОСТАТОЧНЫЕ КЛАССЫ 121
2~\ причем *)
для всех х ЕЕ Е, А ЕЕ о (Uf'n)- Определим рандомизиро-
п
ванный момент т* = т* (со) так, что
т*(со) = тг(со), если со^{оо : р(со) = i}.
Тогда, очевидно,
Рассмотрение рандомизированных моментов остановки
особенно полезно при решении вариационных задач об
оптимальной остановке. Например, пусть требуется найти
supM^og (хт), х° ?= Е, в предположении, что
рассматриваются только те моменты остановки т, для которых
Мхо/ (х%) = с, где с — некоторая постоянная и /, g Ez В.
Даже в тех случаях, когда существуют тх и т2,
принадлежащие 9№ [F] и такие, что Мх0/ (;гТ1) = а < с, М^о/ (о;Т2) =
= Ъ ^> с, в классе 9R [F] может вообще не найтись
момента т, для которого Мло/ (хх) = с. Однако в классе 9К [F*]
момент
т* (со) = %i (со), если со е {со: р (со) = i},
где i = 1, 2ир (со) есть ^-измеримая случайная
величина такая, что
p. Up (о)) = i] и ^ = p. D) • p; {p (со) = i),
дает M*xof(xx*) = c.
3. Перейдем теперь к вопросу о достаточности в
задачах об оптимальной остановке.
¦) Тем самым мы предполагаем, что исходное пространство
(Q, &) является достаточно «богатым». В противном случае вместо
(Q, &) надо было бы рассмотреть новое пространство (Q, #*), где
Q=QXQ*, ^=^Х Jr* и (Q*, & *) — некоторое измеримое
пространство «рандомизированных» исходов cq* ^ Q*?

122 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Выше (см. замечание 3 к теореме 3) уже отмечалось, что
при рассмотрении цены s (х) = supM^g (xx) супремум
достаточно брать не по классу 931 = SDl [F], а по более
узкому классу 501 [F*]. В этом смысле система а-алгебр Fx =
= {fn }, WE*", где f n = о {со: х0, х19 . . ., хп}, может
быть названа достаточной. Естественно поэтому ввести
такое
Определение 2. Неубывающая система G =
= {$7i}> я €Е ЯГ, а-алгебр $n Q ^п, называется #0-
статочной, если
sup
Таким образом, если рандомизация связана с
расширением класса SR [F], то достаточность, наоборот, вводится
с целью сужения допустимого класса моментов остановки
без уменьшения цены.
В связи со сделанным выше замечанием о достаточности
класса SK [Fx], полезно отметить, что наряду с процессом
X = (хп, tfn, Px) марковским будет также и процесс
^=(#71» fn, P*). Отсюда следует, что при решении
задач об оптимальной остановке вместо процесса X можно
сразу рассматривать процесс Y.
Нельзя ли провести дальнейшее сужение класса SR [Fx\
без уменьшения цены? С этой точки зрения самым простым
является, конечно, класс моментов остановки т,
тождественно равных некоторому моменту времени п, т (со) s n,
п ^ ЯГ. Очевидно, что этот класс совпадает с классом
9К [С?0], где G° = {$n}, n ge -2V, и каждая а-алгебра $п
тривиальна, т. е. $п = {0, ?2}, 0 — пустое множество.
Однако, хотя и существуют нетривиальные примеры,
в которых класс SR [G0] является достаточным, тем не
менее эти случаи являются скорее исключением, нежели
правилом.
Приведем один общий результат, оказывающийся
полезным при отыскании достаточных а-алгебр.
Теорема 22. Пусть X = (хп, fn, P*), n e ^,—
марковский процесс и функция g^B (A+). Неубывающая
система G = {Sn}, n E^ N, а-алгебр $п с: <fn является
достаточной, если
1) § (хп) &п-измеРимы1 п ^= -^i

§ 14] ОПТИМАЛЬНАЯ ОСТАНОВКА ПРИ ЙАЛЙЧИИ ПЙА^Ы 123
2) для произвольной &п+1-измеримой величины i =
= I (©) с
M,|||<oof
Доказательство. Согласно теореме 7
$(я) == lim lim lim Qngba(x).
Ъ—>оо а-*—oo n—»oo
В силу условий 1) и 2) отсюда вытекает, что функция
s (хп) является ^-измеримой. Далее, согласно теореме 8
для всякого е > О момент
те = inf {п > 0: s (жп) < g (хп) + г}
является (е, $)-оптимальным. Поскольку функции g (xn)
и s (хп) ^-измеримы, то момент rs e 3R [G], и
следовательно, в силу произвольности е ^> 0
sup b\xg (xx) = sup Mxg (xx),
eSR[F] G2R[G]
т. е. система G является достаточной.
Следствие. Пусть X = (Х\ X") = ((лгп, #п),
5^п» Р*',»")> ^S ^»— марковский процесс в фазовом
пространстве (?" X ?"', ^' X 53"). Предположим, что
функция g (х\ х") не зависит от х" {точнее, является 3&' X
X {0, Е"}-измеримой), и принадлежит классу В (А+).
Предположим также, что компонента X* сама является
марковским процессом. Тогда система F' = {f'n} с f'n =
= о {со: х01 . . ., хп} является достаточной:
s(x',x")= sup Mx% „rg (x, x") = sup Mx>,x»g(x^ xM).
При этом функция s (xr, x") не зависит от х".
§ 14. Оптимальная остановка марковских
последовательностей при наличии платы за наблюдения
1. Многие статистические задачи (ср. с задачами,
рассматриваемыми в гл. IV) часто таковы, что возможность
произвести очередное наблюдение над марковской
последовательностью X = (xnt fn, Px) сопровождается
некоторой платой, что учитывается при подсчете выигрыша.

124 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Для большей определенности предположим сейчас, что
при прекращении наблюдений в момент времени п мы
получаем выигрыш, равный
п—1
G (п, х0,..., хя) = ang (хп) - ^ а°с (*,) B.167)
s=0
при п > 1 и равный G (О, х0) — g (#0) при п = 0.
В B.167) а —- некоторая постоянная, 0 < а <^ 1, а
функции g (х) и с (х), принадлежащие классу S3, будут (для
простоты изложения) предполагаться удовлетворяющими
условиям: с (х) > 0 и
\g (*)\ < G < оо, Мхс (хп) < оо, л = 0, 1, • • •
B.168)
Естественно трактовать с (#) как плату за возможность
провести очередное наблюдение (находясь в состоянии х),
а а — как параметр, учитывающий изменение
«ценностей» со временем.
Назовем ценой величину
т—1
s (х) = sup Мя {tfg (хх) - ^ о«с (*.)}, B.169)
где супремум берется по классу моментов остановки
т—1
ЯВ(«,с) = {te8»: Мж^ав??(а:5)<оо,а:е^|.
s=0
Чтобы описать структуру цены 5 (х) и указать способы
отыскания (е, $)-оптимальных моментов остановки, удобно
ввести такое
Определение. Функция f ЕЕ В называется (а,
с)-эксцессивной мажорантой функции g ЕЕ В, если для
всех х ЕЕ Е определены математические ожидания Tf(x) =
M) ()() и
(ж) — с («)< / (з), a? e ^. B.170)
Теорема 23. Пусть функции g (x) и с (х)
удовлетворяют условию B.168), 0 < а < 1. Тогда:

§ 14] ОПТИМАЛЬНАЯ ОСТАНОВКА ПРИ НАЛИЧИИ ПЛАТЫ 125
1) цена s (х) является наименьшей (а, с)-эксцессивной
мажорантой функции g (х);
2) s (х) = max {g (*), aTs (x) - с (х)};
3) 8(x) limQ?g{x)
где ^<а,с) — -ЛГ-л степень оператора
Q (а, с)/ (*) = max {/ (z)9 *Tf (x) - с (*)
4) для всякого е > 0 момент
Te = inf{n>0: an5(a:n)
является г-оптимальным моментом из класса SR(a, с>;
5) ес/ш Рл {т0 <оо}==1, х Ez Е, то момент т0 будет
оптимальным моментом остановки из класса SR(a,c>;
оо
6). если Рх { У\а8с (#fi) = 00} = 1, х е -S, ^о Рл {т0 <
s=0
< 00 } = 1 и момент т0 является оптимальным моментом
остановки в классе SR(a,c).
Доказательство этой теоремы можно
провести разными способами. Например, рассматриваемую
задачу можно свести к уже изученной (с a = 1 и с (х) = 0)
с помощью введения новой марковской цени, правда, с
довольно сложным фазовым пространством *). Здесь же мы
предпочтем иной способ, основанный на том замечании,
что развитые выше методы решения с a = 1 и с (ж) = 0
легко переносятся и на общий случай.
Прежде всего заметим, что функция
() Q
N-¦00
является наименьшей (а, с)-эксцессивной мажорантой
функции g (x), что доказывается точно так же, как и
лемма 6. Тем же самым способом, что и при доказательстве
леммы 5, устанавливается, что эта функция v (x)
удовлетворяет уравнению
v (х) = max {g (x), aTv (x) — с (х)}.
¦) См. в [106] § 8 гл. II.

126 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
В теореме 3 (в случае а = 1, с (х) = 0) существенным
моментом при доказательстве равенства s (х) = v (x) было
неравенство tAxv (хх) <^ v (x), т?§. В
рассматриваемом сейчас случае это неравенство надо заменить на
неравенство
т—1
Мя [«ч; (ач) - ?, a'e (я,)] < v (x), B.172)
я [ () ?,
S=:0
справедливость которого для моментов т ЕЕ 3Rc<x, с)
вытекает из следующих соображений.
Последовательность (и (хп), fn, Рх), п = 0, 1, . . .,
образует при каждом х е= J? (а, с)-супермартингал, т. е.
MJ*; (дгп)|< оо, тг = 0, 1, . . . и
-^Ы<^(^ n = 0fl,... B Л 73)
Что касается неравенств tox\v (xn)\ < оо, то это
следует из того, что |^A, с) g (#)| < G < оо, и,
следовательно, |у (ж)| ^ G < с». Соотношение B.172)
непосредственно следует из марковского свойства и неравенства
аТи (х) — с (х) < v (х).
Пусть т = т (ш) — момент остановки (относительно
F = {fn})- Тогда для (а, с)-супермартингалов
справедливо неравенство
8=0
которое устанавливается точно так же, как и в случае
а = 1, с (#) = 0 (см. доказательство теоремы 2.1
в [60]).
Поскольку с (х) > 0, то из этого неравенства следует,
ЧТО ДЛЯ ВСЯКОГО Т е $1(а, с)
т—1
[а-Aivy {x^n) _ ? а*с (iC#)J < „ (х),
0
8=0
откуда по теореме Лебега о мажорируемой сходимости

§ 14] ОПТИМАЛЬНАЯ ОСТАНОВКА ПРИ НАЛИЧИИ ПЛАТЫ 127
получаем требуемое неравенство B.172). Поэтому
т—1
8=0
Т—1
< Мя [(,)
8=0
и, значит, s (х) <^ и (х).
Для доказательства противоположного неравенства
введем момент
хг = inf {п > 0: any (xn) < ang (^) + е}.
Используя методы леммы 8, нетрудно показать *), что
limanv(xn) = limang(xn) (Рх-п. н.,
т. е. Ря {те < оо} = 1, х ЕЕ #, если е > 0. Покажем,
что, более того, момент тееЗК(а,с). Действительно, по
аналогии с B.53) получаем
8=0
\х [аТеу (#Tg) I{xt<n}] — Мл
8=0
Отсюда, учитывая, что \v (x) \ ^ G, находим
^ оо
s=0
*) В лемме 8 вместо функции a|>n = sup g (xj) надо рассмотреть
j-i
функцию г|)п = sup [a% (а?,)— Х«8с (^8)]-

128 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
и, следовательно, в силу того, что Р^. {те < оо} = 1,
Е
8=0
Из этого неравенства и соотношения
Ссв Лп)-1
8=0
получаем, что (для е ^> 0)
v (х) = МЛ [*¦• р Ю - ? <Л (a:s
8=0
и, значит, v (x) <J 5 (л:).
Итак, утверждения 1)—4) доказаны. Утверждение 5)
следует из того, что в предположении РЛ{т0 < оо} = 1,
are E,
8=0
8=0
Наконец, поскольку lim anv (xn) = lim ang (xn) (РЛ-п. н., х?
n n
EEE), to из соотношения
a'c(xs)\
8=0
по лемме Фату получаем

14] ОПТИМАЛЬНАЯ ОСТАНОВКА ПРИ НАЛИЧИИ ПЛАТЫ 129
и поскольку т0 = inf {n: anv(xn) = <xng(xn)}, то
То-1
v (х) < М* [*¦•* (хХо) - ^ а'С (*,)] .
Если предположить, что для некоторого х0 е
^ Е РХо{хо = оо} ^> 0у то тогда в силу
предположения ?ХА 2 а$с (xs) = °° г = 1 получаем г; (д:0) = — оо, что
противоречит очевидному неравенству v (х0) > g (x0) >
^> — оо. Ясно также, что
То-1
Мх ^ а8с(х5)<Mxa^g(хХо) — у (а:)< оо
s=0
и, значит, момент т0 е 3R(a, с) является оптимальным:
То—1
8=0
2. В ряде случаев задача об оптимальной остановке,
рассмотренная в предыдущем пункте, может быть легко
сведена к решению аналогичной задачи, но с функцией
с (х) = 0.
Теорема 24, Пусть неотрицательная функция
с (х) такова, что
^о, хееЕ. B.174)
s=0
Тогда
s (х) = sup МхаЮ (хх) - / (х), B.175)
где
8=0
Доказательство. Обозначим
П=0
5 A, H, Ширяев

130 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Тогда для всякого т ЕЕ 5R
и в силу строго марковского свойства
оо !т—1
/ (*) = Мя| = Мж ^ апс(хп) = Мж [^ апс(.
п=0 п=0
п—0 п=0
т—1
п=0
что и доказывает B.175).
Замечание 1. Теорема остается справедливой
для произвольных функций с (х) ЕЕ 5, удовлетворяющих
условию
oc8|c(;rs)|<oo. B.176)
8=0
Замечание 2. В тех случаях, когда условия
B.174) или B.176) не выполняются, полезным может
оказаться следующий прием сведения задач с платой с (х) Ф
Ф 0 к случаю с (х) = 0.
Пусть | g (х) | < С, | с (х) | < С и / (х) — некоторое
ограниченное (|/ (#) | ^ К <С оо) решение уравнения
aTf (x) -f(x)=c (x). B.177)
Обозначим 5SR1 = {те SR: Мхт < оо, я G ?}. Тогда для
всякого момента т е 3R1
т—1
/ (х) = Мх [of/ (хт) - ? оЛг (*.)] B.178)
в=0
(что доказывается по аналогиц с доказательством теоре*

§ 14] ОПТИМАЛЬНАЯ ОСТАНОВКА ПРИ НАЛИЧИИ ПЛАТЫ 131
мы 1.12), и, следовательно,
т—1
s (х) = sup Mx \cfg (хх) — У а3с (xs)] =
5=0
= /(*) + sup М* [а'б (ж,)] B.179)
с <?(*) = *(*)-/(*).
3. П р и м е р. Пусть ?, ?х, ?2, • • •—
последовательность независимых одинаково распределенных
случайных величин, заданных на вероятностном пространстве
(Q, $, Р) с М | I |< оо. Положим для х ^ R
хп = max {x, Ъ19 . . ., gn}, x0 = ж,
и пусть
т—1
(ж) = sup Мх Гатл:т — с V а81,
0
s=0
где с — неотрицательная константа, 0 < а ^ 1, a sup
берется по тем марковским моментам т, для которых
т—1
Мл Г<хххх — с V otsl <сх>, х^Е.
s=0
Очевидно, что X = (яп, &п, Рх), п > 0, где Эп =
= а {со: glf . . ., Ъп), /г>1, $0 = {0, Q}, a Рл-
мера на $ = a (f| ^n), естественным образом индуци-
п
рованная распределениями величин ?lf |2, . . .,
является марковской последовательностью.
Обозначим у (единственный) корень уравнения
М (g - Т)+ = а-^)Т+^ B.180)
и покажем, что в рассматриваемом примере имеет место
(с очевидными изменениями в обозначениях) монотонный
случай, отмеченный в п. 5 § 5.
В самом деле, пусть g (х) = х\ тогда
laTg (х) — с] — g (х) = аМшах {д;, ?} — л: — с =
= аМ [max {х, 1} — х] — х A — а) — с =
= аМ F — ж)+ — х A — а) — с
5*

132 ОСТАЙОЙКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ iVJt. Il
и, следовательно,
{х: [aTg (х) — c] — g(z)^0} = {х: x > у).
Отсюда вытекает, что если начальная точка х Ez {х: х >
> у}, то тогда хп > у при любом п (поскольку хп >
^ хп.1'^ . . . >#), и, следовательно, если момент
т0 = inf {га !> 0: #п > 7} таков, что Р* {т0 < оо} = 1,
ж?Й, то он будет оптимальным моментом остановки
(ср. с п.5 § 5).
Интересно отметить, что если
-с—1
sN (х) = sup Мх \ахХч — с V as1,
то в классе 3R (N) существует оптимальный момент
остановки т^» причем
т^ = min {0 < п < N: хг > у},
где константа у не зависит от N и та же, что и для
момента т0.
§ 15. Редукция задач об оптимальной остановке
для произвольных случайных последовательностей
к соответствующим задачам для марковских процессов
1. Формулировка многих задач об оптимальной
остановке (в том числе и задач, рассматриваемых в гл. IV)
обычно дается в «немарковских» терминах и, чтобы
применять изложенную выше теорию, необходима редукция
первоначальной задачи к некоторой «марковской».
Часто задачи об оптимальной остановке формулируют
следующим образом.
Пусть (fi, f, Р) — некоторое вероятностное
пространство, F = {?n}j п = 0, 1, . . ., — неубывающая
система a-алгебр fn, характеризующих «информацию»
наблюдателя к моменту времени п, и Z = (zn, tfn) —
некоторая случайная последовательность, где zn
трактуется как «выигрыш», получаемый при остановке
наблюдений в момент п.
Обозначим
V = sup MzT, B.181)

§ 15] РЕДУКЦИЯ ЗАДАЧ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 133
где супремум берется по всем моментам остановки г
(относительно системы F), для которых математические
ожидания MzT определены.
Решение задачи об отыскании цены V и е-оптимальных
моментов те (т. е. тех, для которых V <^ MzTg + e)
может осуществляться разными методами.
Во-первых, можно воспользоваться общей теорией
решения таких задач, изложенной подробно, например,
в монографии [92]. Во-вторых, эту задачу можно решать
предложенными выше «марковскими» методами,
рассматривая при этом вместо исходной последовательности
{zn, n > 0} новую, уже марковскую последовательность
(точнее, марковскую случайную функцию) {zn, n > 0}
с zn — (z0, . . ., zn). К сожалению, подобная редукция
(в которой за состояние Ип в момент времени п берется
все «прошлое» (zQi . . ., zn)), может оказаться мало
содержательной в силу того обстоятельства, что фазовое
пространство марковской цепи {zn, n > 0} является
очень сложным.
Поэтому, если желать эффективно применять
изложенную выше теорию оптимальных правил остановки
для марковских последовательностей, то надо
стремиться к тому, чтобы фазовое пространство получающейся
в результате редукции марковской цепи было бы
достаточно простым.
Подчеркнем также, что во многих случаях сведение
общих задач об оптимальной остановке к «марковским»
оказывается оправданной еще и потому, что такая
редукция дает возможность использовать мощный
аналитический аппарат теории марковских процессов. Это
подтверждается также тем, что большинство известных задач, в
которых получены явные решения, таковы, что их удается
переформулировать в марковских терминах.
В настоящем параграфе мы рассмотрим вопрос о
редукции задач об оптимальной остановке для
произвольных случайных последовательностей к задачам,
сформулированным в «марковских» терминах. (Важным при
этом оказывается вводимое ниже понятие транзитивных
статистик). Однако прежде чем переходить к этому во-
ПРОСУ> рассмотрим «задачу B.181)» несколько подробнее.
2. Пусть

{34 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ 1ГЛ. II
Тогда (ср. с § 1)
v %Щ?ПMz" BЛ82)
Предположим сейчас, что величины zn могут быть
представлены в виде
%п =:z %n i ^пч
где zn и z'n являются ^п-измеримыми, М \zn I <C °°>
п = О, 1, . . ., и для всякого teI^ [F]1
B.183)
(Равенство B.183), например, выполнено, если
последовательность (z^, #пу Р) образует равномерно
интегрируемый мартингал, т. е. zn = М (ц | fn), где М | tj | <
< оо.) Тогда, очевидно,
V = sup Mzt = sup Mz^ + Mzq, B.184)
2RLF] 9K[F]
и, следовательно, вместо задачи «V = sup MzT»
достаточно рассмотреть задачу «F = supMz'T». (С такой
ситуацией мы далее встретимся в гл. IV, § 3, при
рассмотрении так называемой задачи о «разладке»).
Таким образом, одно из возможных упрощений в
задаче нахождения цены V == sup MzT может состоять в том,
что вместо последовательности {zn, n > 0}
рассматривают новую последовательность \zn, n > 0} такую, что
величины zn = zn — zn обладают указанными выше
свойствами.
Другое упрощение часто оказывается возможным за
счет того, что удается найти новую последовательность
(достаточных) а-алгебр F' = {fn}, n > 0, таких, что
fn?fn+l» &п^==. &п»
и обладающих тем свойством, что zn ^п-измеримы, а
sup MzT = sup
(Ср. с § 13 и с замечанием 3 к теореме 3, где fn = $Fn'.)
3. Предположим теперь, что в задаче «F= sup Mzx»
xe9R2[F]
семейство а-алгебр F = {^п}, п > 0, имеет специальную

§ 15] РЕДУКЦИЯ ЗАДАЧ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 135
структуру:
SFr, =* fl = <* {со: ?0> ?1». • •> Ъп), п>0,
где ? = (?0, ?lf . . .) — некоторая последовательность
случайных величин (или, более общо,— случайных
элементов *) со значениями в некотором измеримом
пространстве (X, Й7), заданных на (Q, $р, Р)). Будем
рассматривать | = (?0, ^i, . . .) как последовательность
«наблюдений», основываясь на которых мы желаем так
«остановить» последовательность z0, zl9 . . ., чтобы
получить максимально возможный (или близкий к нему)
выигрыш V = sup Mzx.
Излагаемая далее редукция задачи «V = sup Mzt»
к «марковской» требует введения следующего
определения.
Определение. Пусть F* = {^n}, n =
= 0, 1, . . ., где ?I = а {со: ?0, . . ., %п}. Система
случайных элементов у\ = (тH, tj1, . . .) со значениями в
в (Y, ^) называется системой транзитивных статистик
(относительно F*)9 если:
1) \]п являются ?nl^-измеримыми, п = 0, 1, . . .;
2) для каждого п = 1, 2, ... существует такая ^ X
X й7/^-измеримая функция фп == <рп (у, л:), что с
вероятностью единица
У)п (со) = Ф„ (л„-1 (со), 1п {&)). B.185)
Лемма 17. Пусть г] = (т]0, T|lf . . .) — система
транзитивных статистик (относительно семейства F^)
со значениями в (У, ^). ?сди при каждом п = 0, 1, . . .,
с вероятностью единица
P{Sn+i€E5|f!}=P{|n+1eE?|T|n}, #€E#, B.186)
то элементы Y = (г\П9 ;Fn, P), л = 0, 1, . . ., образуют
марковскую случайную функцию:
Р{Лп+1еЛ|^} = Р{т)п+1еЛ|т1п}, Ле^. B.187)
Доказательство. Достаточно показать, что
для любой ограниченной (^-измеримой) функциц
11) См. § 1 гл. I,

136 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
/ = /(»), л = 0, 1, . ..,
М [/ (цп+1) | fl] = М [/ (Чй+1) | ты (Р-п.н.). B.188)
В силу B.185)/ (рп+1) = Фп+1 (уп, хп+1), где <рп+1 (у,х)—
некоторая ограниченная, ^ х «2?/^-измеримая функция.
Если фп+1 (г/, х) есть функция вида
Фп+1 (У, *)= ?i**•n+1 (г/O** (*)' В^«, B.189)
то из B.186) сразу получаем равенство
М [ф?+1 (т]п, ^+1) | &\ = М [Ф?+1 (Чп, 6, +1) | г] J, B.190)
которое и доказывает B.187) для функций вида B.189).
Для доказательства в общем случае надо построить
последовательность функций вида B.189), монотонно
сходящихся (при N -> оо) к фп+1 (у, х) и затем сделать в
B.190) предельный переход по N -*оо.
Пусть теперь zn = g (yn), где g (у) — ^-измеримая
функция. Тогда
M
и, если выполнено условие B.186), мы получаем
«марковскую» задачу об оптимальной остановке, правда,
отличающуюся от рассмотренной: выше тем, что система Y =
= Oin, &п9 Р)» п > 0, образует марковскую случайную
функцию, а не марковский процесс (в смысле
определений, данных в гл. I). Это отличие, однако, не является
принципиальным, и, как мы сейчас увидим, все
необходимое для решения этой задачи у нас уже имеется.
Пусть п (A) =P{THGi}, A G= ^, и предположим,
что марковская случайная функция Y имеет регулярные
стационарные переходные вероятности
Р(А\у) = Р K+ieilhr =*/}•
Эти переходные вероятности и начальное
распределение полностью определяют распределение
последовательности т] = (гH, T|lf . . .), причем
= j ... J P (Ап | з/n-O P (dy^ | y^) ...P(dyi\ y0) n (dy0).
А A
АП-
П-1
B.191)

§ 15] РЕДУКЦИЯ ЗАДАЧ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 137
Чтобы избежать несущественных сейчас вопросов
интегрируемости, предположим, что | g (у) | ^ С < оо,
и введем функции (ср. с B.20) и B.79))
Г«,« И = ess sup М [g (Чт) | f m], B.192)
е2й()
Гт, оо (со) = ess sup M [g (t)t) | f J, B.193)
e3R( )
где fm = f L 9K (т; п) =
Пусть также
Vm.n - sup M? (л,), B.194)
-се2»(т; л)
Т7т>» = sup M^ (Чт), Fetoo = F. B.195)
(Ср. с B.19) и B.78).)
Просматривая доказательство леммы 1 (см. также
замечание 1 к ней), нетрудно понять, что вместо
неравенства B.17) для рассматриваемого сейчас случая будет
справедливо (Р-п. н.) неравенство
М [g Ы | f ,J < Qn~mg (лm), B.196)
где т е 3R (т; п), а под Qg (у) надо понимать выражение
max {g (у), М [g (%) | тH = у]}.
Точно так же легко проверить (ср. с доказательством
теоремы 2), что для момента ^
т„>п = min {т < / < п: Q^g (т|,) = g (г\,)}
справедливо равенство
М [g (ц . ) | f J - Qn"«g (t]m) (Р-п. н.). B.197)
хп,т
Таким образом,
Гт, п И = Q"-mg (rjm((o)) (Р-п.н.).
и из B.196) и B.197) вытекает, что момент Tm, n является
оптимальным в том смысле, что (Р-п. н.)
)|fm pte(b)|f,J (=-ТттЫ))
%, n TS3R(rrt; n)
= sup Mg(r,T) (=Fwm).
3R(; n)

138 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
При этом
ess sup M [g (tjt) I fm] = ess sup M [g (т|т) | rjm] (Р-п.н.).
те2й(т; п) теЭД(т; п)
Из сказанного ясно, что на самом деле функция Гт>п (со)
зависит от со через г\т (со) (чтобы не вводить новых
обозначений, будем писать Гт>п (со) = Гт,п (т)т (со))
и в B.192) и B.194) супремум достаточно брать не по всем
марковским моментам т Е 5К (w; п) = 9К (т; ri)[F4,
а только по классу 3R (т; п) [F4 Q 3R (т; п) [F4.
Покажем теперь, что можно построить марковский
процесс W = (wn, $n, Pw), n > 0, со значениями в
фазовом пространстве (У, ^) и определенный на некотором
пространстве (Q, f), для которого функции sn-m (w)
(см. § 2) связаны с функциями Гт>п (г\т (со)) совсем
простым образом:
Гт,п СПт («>)) = Sn-m (Лт (©)) (Р-П.Н.).
Отсюда будет, в частности, вытекать, что решение
задачи об оптимальной обстановке в классах SR (т; п)
для марковской случайной функции Y = (rin, §\} P)
можно получить из решения соответствующей задачи для
марковского процесса W = (wny f™> Рад), w > 0,
поскольку именно по функциям Гго,п строятся оптимальные
моменты остановки и Fm,n = МГт>71 (г)т (со)).
Для построения такого процесса W поступим
следующим образом.
Зафиксируем некоторую точку у е Y и построим
сначала марковскую случайную функцию, выходящую в
начальный момент из точки у. С этой целью возьмем
и построим (координатно заданную) последовательность
Л о (S)> % (S), . . .,_ полагая, т{^ (со) = у4 для 5 =
= (j/o, Ух, • • •) е й.
По регулярной переходной функции Р D | у)
построим меру Pv, задавая ее на множествах вида
(со: Я«(©)еЛ0, г\г(®)&А19 . . мтГп(<

§ 15] РЕДУКЦИЯ ЗАДАЧ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 139
с помощью формулы (ср. с B.91)):
= j ... $ Р (Ап | уп.г) Р (dy^ 12/п_2)... Р (dyx | г/оК (dz/0),
где пу — мера, сосредоточенная в точке у.
Набор объектов
где ;f n = а {со: %, . . ., т|п} образует, как нетрудно
проверить, марковскую случайную функцию с той же
самой переходной вероятностью, что и у исходной
марковской функции Y = (г]л, f% P), п > 0. При этом
Рассмотрим, наконец, систему марковских
случайных функций {Уу, г/ ^ У}. Нетрудно проверить, что эта
система образует марковское семейство случайных
функций (в смысле определения 7 § 4 гл. I).
В п. 5 § 4 гл. I уже отмечалось, что всегда можно
построить (за счет соответствующего расширения
пространства элементарных событий) марковский процесс
(обозначим его W = (wn, $n, Pw), п > 0, w e Y,
который будет иметь те же самые переходные вероятности,
что и у марковского семейства случайных функций
? у е= Y).
Тогда, если
sn (w) = sup Mwg (wT)f B.198)
то из сказанного выше следует, что (Р-п. н.)
Гт,п (Лт (СО)) = *п-т (Цт (<*>)),
Ут,п = МГт,п (Лт (©)) = М?п_т (Т1т ((и)).
В частности,
70,„= sup Mg(r|T) = M5n(Tio) = j5n(y)jt(d2/). B.199)
Отсюда видно, что, решив задачу об оптимальной
остановке (см. B.198)) для построенного марковского
процесса W = (wn, $n, Pw), мы в то же время получаем

140 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
и решение соответствующей задачи для марковской
случайной функции с переходной функцией Р (А \ у) и
любым начальным распределением п (A)i 4g^.
Приведенные выше рассмотрения относились к
классам 9R (/п; п). Соответствующий предельный переход при
п -> оо обосновывает предыдущие выводы (в случае
I 8 (х) I ^ С < оо и для классов 9К (т; оо)).
Распространение их на случай функций g ЕЕ Ву
удовлетворяющих условию Mg- (т]0) = |g- (у) л (dy) < оо,
производится с помощью рассмотрения введенных выше
«урезанных» функций ga с последующим предельным переходом
сначала по a j — оо, а затем в b \ оо (ср. с B.125)).
Отметим, что введенные в A.193) функции Гт> <» (г)т (со))
могут быть найдены с помощью функций s (x) по
формулам
Гт,ос(г|т(о))) =*(r)m(co)). B.200)
При этом
IV со (ты) = max {g (r\m), М [Гт+1, ю | цт)} B.201)
Vm>oo = МГт>00. B.202)
В частности, при т = 0 отсюда следует, что цена
V = \s(y)n(dy). B.203)
V
(В развернутой форме B.203) означает, что выполнено
следующее нетривиальное соотношение:
sup М?(г|т) = J ess sup M [g (r\J \ тH = у] я (dy)).
Е2К ^!Ш
Важно подчеркнуть также следующее обстоятельство.
Пусть
т = inf {п > 0: т]п е An}f An e ^,
и
т = inf {^г > 0: wn е Лп}, ^n e ^,
— моменты первого попадания последовательностей t] =
= (Ло, Л1» • • •) и w = (wo> ^i» • • •) в (°ДНИ и те же)
борелевские множества AQj Al7 . . . Тогда, поскольку

§ 15] РЕДУКЦИЯ ЗАДАЧ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 141
распределения вероятностей
Р{т]о е в0, ri! е ви . . . i -no = и?}, 5Л е %
и
р^ И е в01 w1^Bu . ..}, вп ^%
совпадают (я-п. н.), то
Mg (п.) = J М„? (w~) я (dw). B.204)
У
Отсюда вытекает, в частности, что если момент т
является е-оптимальным в задаче «s (w) =¦ sup Mw g(w~)>>,
то момент т будет е-оптимальным в исходной задаче
«V = sup Mg (г] r)>>.
Выше редукция задачи «F = sup Mg(r]x)» к
стандартной задаче «5 (w) = sup Mwg(wxy> была проведена лишь
для случая однородных процессов и для функций
выигрыша, не зависящих от времени. Аналогичным образом
рассматриваются как случай неоднородного процесса,
так и случаи, в которых есть «плата» за наблюдения, а
функция g зависит и от фазовой координаты и от
временного параметра.
Не останавливаясь на этих вопросах более подробно,
разберем лишь некоторые примеры.
4. П р и м е р 1. Пусть g = (g0, glf . . .) —
последовательность независимых одинаково распределенных
случайных величин и
zn = max (g0, llf . . ., In) — с (п).
Если положить
т]п = max (|0, ll9 . . ., ln),
то система Y == (r)n, ?%, P), n > 0, будет образовывать
марковскую случайную функцию. Задача отыскания
цены
V = sup
сводится к задаче нахождения цены
s (x) = sup Мж g (т, хх)
с функцией g (п, х) = х — с (п) для соответствующего
марковского процесса X = (хпу <$%,% Рх) с хп =
= max (х, %г, . . ., in), xQ = а:*

142 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
При этом V = J 5 (х) я (<?г), где я (А) = Р {?0 ^ А}.
В примере, рассмотренном в конце § 14, показано, что
(при некоторых предположениях) оптимальный момент
(в задаче «5 (х) = sup Мл^(т, #т)») существует и является
моментом первого попадания хп в множество [у, оо).
Отсюда следует (ср. с B.204)), что и в исходной задаче
момент первого попадания величин г]п в множество [у, оо)
будет также оптимальным.
Пример 2. Предположим, что на некотором
вероятностном пространстве (Q, f, P) заданы:
ненаблюдаемый случайный процесс 0 = @О, 0Х, . . .) и
наблюдаемый (в моменты п — 1, 2, . . .) процесс !• = (?А, |2, . . .).
Будем считать, что при остановке в момент времени п
наблюдатель получает выигрыш Gn @О, . . ., 0n; 5i> . . .
. . ., In), если я > 1, и Go @О), если п = 0). Величина
этого выигрыша в каждом конкретном случае, вообще
говоря, не известна наблюдателю, поскольку
неизвестны 0О, . . ., 6П.
Задача состоит в том, чтобы найти цену
V . sup MGT @O, . . ., 0Т; 6„ . . ., ?,) B.205)
(супремум берется по тем моментам т из 38 (^), для
которых определены математические ожидания в B.205);
F* = iflh fI = о {(о: llt . . ., U, Го = {0, Й}^
и описать структуру оптимальных или е-оптимальных
моментов остановки.
Предположим для простоты, что математические
ожидания MGn @О, . . ., вп; 1и . . ., |п) определены при
всех п = 0, 1, .... Тогда, обозначая zn = M (Gn \ fn),
находим, что цена V =• sup Mzx, где функция 2П
является (в отличие от Gn) ^п-измеримой.
Предположим далее, что ненаблюдаемый процесс 0 =
==(в0, 0Х, . . .) является марковской цепью с конечным
числом состояний {0, 1, . . ., N}, начальным
распределением л; = {я (I) = Р {0О = /}, I = 1, . . ., N} *) и
переходными вероятностями
Рц(п) = Р {0„+1 = / | 6„ = i}. B.206)
*) В вектор л мы не включаем я @), поскольку л @) =
N
- 2U №.

§ 15] РЕДУКЦИЯ ЗАДАЧ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 143
Относительно совместных распределений
последовательности @, |) будем предполагать, что они устроены так,
что
Р{0п+1 =/, ?n+i< х | 0О, . . ., 0n; 6lf . . ., 1п) =
= P{?n+i< x ( 0О, . . ., 0n, 0n+1= /; llt . . ., ln} X
x p {9n+i ==/ |0O, ..., en; 6i, ..., In) =
= P {6n+i < x I en+i = /} P {0n+i = /I 0n}. B.207)
В качестве Gn рассмотрим функции, имеющие
следующую структуру:
Go (во) = ^о (во),
п—1
Gn@О)..., 9П) = ^ск(в») + gnFn). B.208)
Обозначим теперь
Тогда z0 - М (G, | f§) = > g0 (/) К (/)
n-1 N
N
Положим z0 =
n—1 N
j=0
n—l
— 2n — Zn — >
/). B.209)
n>ly B.210)
/)]. B.211)

144 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Поскольку
п N
JV
/?=0 3=0
п-1 N
то последовательность z" = (zn, fn, P), л = 0, lf . . .,
образует мартингал. Если этот мартингал является
равномерно-интегрируемым, то югда (гл. I, теорема 11) для
всех т ЕЕ 3R
М^ = Mzq = 0, B.212)
и, значит, рассматриваемая цена V* = sup MzT =
= sup M^4 (мы ввели у цены V индекс я, чтобы
подчеркнуть ее зависимость от априорного распределения я).
Рассмотрим теперь подробнее вектор апостериорных
вероятностей
я?= (яп A), ..., пп (JV)), и - 0, 1, . . ., B.213)
ся^ = я.
По формуле Байеса
2
= -Я — • B.214)
откуда видно, что система (векторных) статистик
я", . . .) является транзитивной.
Проверим, что (для заданного п) система ¦) Пя =
= (яп, зри, Ря)» п > 0, образует марковскую случайную
*) Через Ря мы обозначаем сужение меры Р на о-алгебру
$г*Л = в {о; е0, 9lf . . .; б,. 6и Е2» • • -}• где |0 (©) = л.

§ 15] РЕДУКЦИЯ ЗАДАЧ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 145
функцию. Для этого согласно лемме 17 достаточно
проверить равенство B.187), справедливость которого в
рассматриваемом случае вытекает из следующей цепочки
равенств:
N
/с=о
N N
= 5L?JP"{UieB|fLen = A;,0n+1 = Z} х
1=0 fr=o
х р" {0n+1 = 11 еп = к, $1} nl (к) =
N N
=L Eip {ln+i e B i6n+i=1) рш (п) я"(к)=
= PK{Uif=B\nZ}. B.215)
Итак, система П* = (я», f n, P") образует
марковскую случайную функцию, и если равенство B.212)
выполнено для любого т €Е 3R, то
У" = sup M"g (т, я?), B.216)
ea»
где g («, я?) = zj,, величины г^ определены в B.210),
а М" — усреднение по мере Р^
Рассмотрим теперь новое пространство (Q, $F), где
Q - 5 х Й, Г =^s X Г,
а
S = {л: л = (я A), . . ., я (АО), я @ > 0, я A) + ...
Положим для со = (л, со;
»0 (») — я, «п Й = я? (со),
1о (©) = я, |„ (со) = 6„ (со),
вп (») = в„ (СО),
%п = а {со: Со, . . ., ?,}, f = о (U f 7i).

146 ОСТАНОВКА ПОСЛЕДОВАТЕЛЬНОСТЕЙ [ГЛ. II
Если А е ?'» то обозначим
Ап = {со: (я, со) е^}, ^4"= {я: (я, со) е^}.
На (Q, ^) определим теперь меру
Рл (А) =Рп(АлIА(Л(п), Aef
Если переходные функции ptj (п) не зависят от п (т. е.
марковская цепь 0 является однородной), то тогда
нетрудно проверить, что элементы
П =-- (яп, #„, Р-), п=0, 1, . . ., B.217)
образуют однородный марковский процесс.
Из результатов п. 3 следует, что значение цены
s (я) «- sup Asg (т, я;) B.218)
в точке it?(J совпадает с 7я = sup tAng (т, я").
ед»[5Г]
При этом, если момент т? = inf {п ^0: яп ?Е 5П }
является е-оптимальным (в задаче B.218)), то момент
те = inf {n>0: nl^Bn}
будет е-оптимальным (в задаче B.216)) (для любого
заданного я). ^
Таким образом, задача B.216) оказывается частным
случаем задачи B.218).

ГЛАВА III
ОПТИМАЛЬНАЯ ОСТАНОВКА
МАРКОВСКИХ СЛУЧАЙНЫХ ПРОЦЕССОВ
§ 1. Постановка задач. Основные определения
1. Как и в случае дискретного времени, естественно
рассчитывать, что для широкого класса марковских
процессов с непрерывным временем «цена» также
допускает «эксцессивную» или «регулярную» характеризацию
(ср. с теоремами 3, 7, 9 гл. II). Так оно на самом деле
и есть, однако установление этих фактов, а также
исследование вопросов существования и структуры
оптимальных и 8-оптимальных моментов требует привлечения
довольно тонких результатов из общей теории процессов
Маркова и теории мартингалов.
На протяжении всей этой главы под марковским
процессом X = {хь tft, Px) будет пониматься (однородный
необрывающийся) стандартный марковский процесс с
непрерывным временем t > О со значениями в фазовом
пространстве (Е, 53), где Е — полукомпакт.
2. Через В будем обозначать совокупность почти бо-
релевских и ^-непрерывных снизу *) функций g =
— g {%)<, заданных на (Е, Ж), принимающих значения
в (-— оо, оо], и таких, что процесс {g (xt), ?>0} является
сепарабельным ([63] стр. 79).
Пусть ЗК — класс всех марковских моментов т = т (со)
(относительно системы F = {ft}i t !> 0), a 3JJ — класс
конечных марковских моментов (Р^ {т < оо} = 1, я ЕЕ -Е),
которые будем называть также моментами остановки.
*) Функция g (x) называется ^^-непрерывной снизу (сверху), если
P*{lim *(*,) >*(*)} = 1, *€ ПЬ
t[0

148 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
С каждой функцией gGB и марковским моментом
т ЕЕ 9К свяжем случайную величину g (#т), полагая
_ ( 8 ^т@>) (^ если ^ е {ш: т (ю) < °°Ь
[ lim g (xt (со)), если со е {со: т (о) = оо}.
t-*oo
По аналогии со случаем дискретного времени величину
g (#т) будем интерпретировать как выигрыш, получаемый
в состоянии хх при прекращении наблюдений в момент
времени т. Если математическое ожидание Mxg(xx)
определено, то его естественно назвать средним выигрышем,
соответствующим моменту т и начальному состоянию
х<=Е.
Пусть функция g е В. Образуем следующие классы
марковских моментов:
и положим
5 (х) = sup Мж# fo), C.1)
C.2)
Как и в случае дискретного времени, каждую из этих
функций называем ценой. Момент те ЕЕ $Rg назовем
(б, з)-оптимальным, или просто 8-оптимальным, если для
всех х е Е
S (X) — 8 < М*? (xXf).
О-оптимальные моменты остановки будем называть просто
оптимальными. Аналогично, момент те е ®ig будет
называться (е, ?)-оптимальным, или просто е-оптимальным,
если для всех х е Е
s (х) — в<Мж^(жгв).
Из определения цен s(x) ns (x) ясно, что s (x) <^ 5 (#).
В дальнейшем будет показано, что на самом деле эти
цены совпадают: s (х) = s (х).

§ i] ПОСТАНОВКА ЗАДАЧ. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ 149
Полезно заметить, что цены s (х) и s (х) не изменятся,
если в C.1) и C.2) супремумы брать не по классам 9Rg
и 9Rg, а по (более широким) классам моментов из 3R и
9R (соответственно), для которых математические ожидания
Mxg(xx) определены при всех х^Е (ср. с § 1 гл. II).
3. При исследовании свойств цен и е-оптимальных
марковских моментов важную роль играют вводимые
ниже подклассы функций класса В.
Через L обозначим функции gEB, обладающие тем
свойством, что для каждой из них найдется такой момент
т е 9R$, что ?х {% > 0} = 1, х е Е. Введение этого
класса функций понятно: это тот запас функций g (x),
для которых рассматриваемые задачи об оптимальной
остановке являются нетривиальными в том смысле, что
в качестве конкурирующего к (тривиальному) моменту
т = 0 можно найти хотя бы один (нетривиальный)
момент х е= 3Rg, для которого Рх {т > 0} = 1, х ЕЕ Е%
и bb*g(xx) > — оо.
Далее, обозначим В (А~) и В (А+) те классы функций
geB, для которых выполнены (соответственно) условия:
А"": Мй [sup g~ (xt)] < оо, же?,
t>o
и
А+: Мл [sup g+ (xt)] < оо, ж? Е.
Пусть также В (А". А+) = В (А") П В (А+), I (А') =
-1ПВ(А"), L(A+) =1ПВ(А+)и1(А-, A+)=L(A-) П
П L(A+). Очевидно, что
B(A-)=L(A-)SLSB. C.3)
Наряду с «тривиальными моментом т ^ 0 рассмотрим
также момент т = сх>. Если функция g6B такова, что
выполнено условие
а": М^ [g- (хсо)] < оо, х е Е, C.4)
где g {Хоо) — limg(xt), то будем говорить, что функция
f->oo
g (x) принадлежит классу В (а"). Ясно, что
В (А-) с В (а') ЕВ.

150 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Пусть, далее, К — некоторое подмножество
множества В. Условимся обозначать через Ко совокупность
$0-непрерывных функций (т. е. функций, являющихся
одновременно непрерывными сверху и снизу) из К.
Основная задача этой главы — изучить структуру
цен и е-оптимальных моментов для разных классов
функций g (х). Систематическое исследование этих вопросов
мы начинаем с изучения «эксцессивных» и «регулярных»
функций, в терминах которых будет дана характеризация
цен s (х) и s (s).
§ 2. Регулярные и эксцессивные функции.
Эксцессивные мажоранты
1. Пусть X = (xti tft, Px) — марковский процесс.
Если функция gEB такова, что для всякого т ЕЕ 3Rg
tf(x), «6«, C.5)
то ясно, что s (х) = g (x), и оптимальное правило
остановки определяется моментом т0 = 0. Таким образом,
для функций g (x), удовлетворяющих условию C.5),
задача об оптимальной остановке решается очевидным
образом. В определенной степени это обстоятельство
поясняет важность вводимого ниже понятия ^-регулярной
функции.
Определение 1. Пусть SR cz 3R. Функция / е=
е В называется $Я-регулярной, если для любых т ^ 91
иж?? математические ожидания Mxf (#T) определены *)
и для всех а, т G SR с Рх (а < т) = 1,же?, выполнены
неравенства
ж,), х^Е. C.6)
Для дальнейшего особо важны два класса функций:
SR = 9К и 31 = 9К5. Условимся при этом 9К-регулярные
функции называть просто регулярными.
Определение 2. Функция / ЕЕ В называется
эксцессивной (для процесса X, или относительно
полугруппы {Tt}j t > 0), если при всех ^>0и^е? опреде-
*) Это подразумевает, в частности, что функция / (а?т) является
измеримой относительно той с-алгебры, на которой определены
меры Ра, х е Е.

§ 2] РЕГУЛЯРНЫЕ И ЭКСЦЕССИВНЫЕ ФУНКЦИИ 151
лены математические ожидания Tt f (х) (= М^./ (xt)) и
ft/(*)</(*), *еЯ, *>0. C.7)
Прежде чем обсуждать связь между этими понятиями
(в лемме 1 будет установлено, что всякая эксцессивная
функция / б В (А") является регулярной) и выяснять
их роль в задачах об оптимальной остановке, рассмотрим
некоторые свойства эксцессивных функций.
I. Функция / (х) = const является эксцессивной.
П. Если эксцессивные функции / и g неотрицательны,
то функция af + bg, где а и Ь — неотрицательные
константы, также является эксцессивной.
III. Пусть последовательность эксцессивных функций
{/п (*), п е N) такова, что М^ (xt) < оо, t > 0, и
U (х) < /n+i (*)• Тогда функция / (х) = lim fn (x) также
п
является эксцессивной.
IV. Пусть / (х) — эксцессивная функция,
удовлетворяющая (для данного х° е Е) условию
C.8)
Тогда система (/ (a:f), ^^, Рхо) образует (для данного
х° е Е) обобщенный супермартингал:
М*. [/ (xt) I f .1 < / (*s), s < *, Р^п.н. C.9)
Если к тому же для некоторой Р^о-интегрируемой
случайной величины у]
f (xt) > M*o {r\]ft)t t > 0, P*.-n. h., C.10)
то для любого t ^ @, оо) существует предел слева
lim / (xu) (Pjco-п. н.), процесс {/ (xt), t > 0} непрерывен *)
справа.
V. Эксцессивная функция / (#), удовлетворяющая при
всех х° ЕЕ Е условию C.10), является ^-непрерывной:
lim / (xt) = / (.т) (Р^-п. п., х° е Е).
VI. Для того чтобы почти борелевская функция / (х)
со значениями в (— оо, оо], удовлетворяющая условию
*) Поскольку эксцессивная функция может принимать
значение + оо, то непрерывность определяется в топологии
расширенной числовой прямой.

152 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
C.10), была эксцессивной (в смысле определения 2),
необходимо и достаточно, чтобы было выполнено условие
C.7) и чтобы для всех х G Е
lim Ttf (x) = / (х). (ЗД1)
VII. Если эксцессивная функция / (х) удовлетворяет
условию C.10), то при любом t > 0 функция ft (х) =
= Tt f (x) также является эксцессивной, причем
VIII. Если /и g- эксцессивные функции,
удовлетворяющие условию C.8), то функция / Д g = min (/, g)
также является эксцессивной.
IX. Если / — эксцессивная функция,
удовлетворяющая условию
sup MJ- (xt) < оо,
t>o
то с Ра-вероятностью единица существует (конечный
или равный +оо) предел lim / (xt (со)). (Свойства
I —III очевидны; доказательство свойства IV см.,
например, в [86] § 5, в [39] теоремы 12.4 и 12.6, в [64] гл. XIV,
в [12] гл. II; по поводу свойства VI см. [39]; свойства VII
и VIII проверяются элементарно; наконец, IX вытекает
из теоремы 1.9.)
2. Следующая лемма, играющая столь же
фундаментальную роль при исследовании свойств цен s (x) и s (x),
как и для случая дискретного времени, показывает,
в частности, что всякая эксцессивная функция класса
В (А") является регулярной.
Лемма 1. Пусть эксцессивная функция / G В (А").
Тогда для любых двух марковских моментов а и х таких,
что Рх {ст^т} = 1, ж??, справедливы неравенства
Мж [/ (ач)I Г«1 < / fa) (Рх-п. н.,х<=Е). C.12)
В частности,
М^хм*/(*„)</(*), C.13)
т. е. всякая эксцессивная функция, удовлетворяющая
условию А~, является регулярной.
Доказательство аналогично доказательству
леммы 1 в гл. П.

§ 2] РЕГУЛЯРНЫЕ И ЭКСЦЕССИВНЫЕ ФУНКЦИИ 153
Лемма 2. Если f — регулярная функция, то для
любых марковских моментов а и т, удовлетворяющих
условию Рх {а <^ т} = 1, х ЕЕ #, справедливы неравенства
Мх [/ (я,) | Го] < / Ы (Рл-и. н., я е Я). C.14)
Доказательство. Пусть C.14) не выполнено
для какого-то х ЕЕ Е и марковских моментов а и т.
Обозначим
А = {со: Мх Г/ (хх)\ f о] > / (ха)]} C.15)
и
Гт, если со
если со ei.
Множество 4?fac <^т, и момент р = т/А + а/^
является марковским. Пусть Рж (А) ]> 0. Тогда
что противоречит неравенству C.6), поскольку Рх {а ^
< !>} = I-
Следовательно, Рх (Л) = 0 для всех х ?Е Е, что
доказывает C.14).
Замечание 1. Из доказанной леммы следует,
что входящее в определение регулярной функции
требование C.6) эквивалентно свойству C.14).
Замечание 2. Лемма 2 остается справедливой,
если в определении «регулярной» функции отказаться
от предположения ее ^-непрерывности снизу.
3. Определение 3. Эксцессивная функция / =
= / (х) называется эксцессивной мажорантой функции
gEB, если / (я) > g (#), х&Е.
Функция / = / (х) называется наименьшей
эксцессивной мажорантой функции geB, если / (х) —
эксцессивная мажоранта, / (х) <^ h (х), где h (x) —
произвольная эксцессивная мажоранта функции g (x).
Пусть функция g e В (А~). Обозначим
Qng (х) = max {g (х), T2_ng (x)}, п&Я. C.16)
Лемма 3. Если ^GB (А~), то функция
v (x) = lim lim (fig (я), C.17)
n N

154 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
где Qn есть N-я степень оператора Qn, является
наименьшей эксцессивной мажорантой функции g (x),
Д ока зательство. Обозначим vn(х) = limQng(x).
N
В силу теоремы П.З и леммы П.6
vn (x) = sup Ma.g (xx) C.18)
-сея (п)
где 91 (п) с: 551 — класс моментов остановки,
принимающих значения k-2~v, k ЕЕ N, и таких, что
{т = A:.2-n} е а {со: х0, #2-п, . . ., ^.2-п}.
Поскольку 31 (п + 1) Э 9i (n), то г?п+1 (а:) > vn (x) и,
следовательно, существует предел lim vn (x), который мы
п
обозначили (в C.17)) v (x).
Ясно, что ()
бого т е= Ж
( ()) ()
Ясно, что v (x) > g (x), vn (x) > T^_nvn (x) и для
люvn (х) > Tm^-nvv (х).
Возьмем т = Z-2n-\ I e JV'. Тогда vn (х) > Г -fci;n (x)
1-2
И
г/ (х) > Г1<г*!? (ж), C.19)
Покажем, что построенная функция v (x) является $0-
непрерывной снизу. С этой целью рассмотрим
произвольную функцию фбВ (А^) и положим Ф (х) = М^ф (xt)%
где t — некоторое фиксированное число из интервала
(О, 00).
Поскольку функция ф (х) почти борелевская, то
функция Ф (х) также будет почти борелевской (см., например,
в [12] гл. I, предложение E.8) и п. A0.21)). Далее, пусть
тп — моменты первого достижения некоторых компактов,
причем Ра. {тп|0} = 1. Тогда согласно A.40)
М*Ф (хХп) = М^М^ф (xt) = Мт0Тп
и в силу леммы Фату и ^„-непрерывности снизу функции
ф(*)
\ип_Ь\хФ{хХп) = lim М^ф (xXn+t) > М^. Шп ф (xXn+t) >
Ф(х). C.20)

§ 2] РЕГУЛЯРНЫЕ И ЭКСЦЕССИВНЫЕ ФУНКЦИИ 155
Но известно ([39J, теорема 4.9), что почтет борелевская
функция, удовлетворяющая неравенству lim М^Ф (хх ) >
п
> Ф (#), является $0-непрерывной снизу. Отсюда
вытекает, что каждая из почти борелевских функций
T2-ng (х), Qng (х) = max {g (х), T^g (x)},
v7i (x) = lim Qng (x), v (x) = lim vn (x)
N п
является ^-непрерывной снизу.
Установим теперь справедливость неравенств
v(x)>Ttv(x), *>0. C.21)
Возьмем последовательность двоично-рациональных
чисел rt \ /, i -> оо. Используя последовательно C.19),
непрерывность справа траекторий процесса X,
^-непрерывность снизу функции v(x), принадлежность v (x) классу
В (А~) и, наконец, лемму Фату, получаем
v (х) > lim Tr.v (x) = lim Mxv (xr.) > Mx lim v (хч) >
i ~T" i
= Ttv(x),
что и доказывает неравенство C.21).
Предположим теперь, что и (х) — некоторая другая
эксцессивная мажоранта функции g (x). Тогда из
неравенства и (х) 1> g (x) вытекает, что
и(х) =Q%u(x)^Q%g(x).
Поэтому и (х) > v (х) и, следовательно, v (x) есть
наименьшая эксцессивная мажоранта g (x).
Лемма доказана.
Замечание 1. Пусть gEB (A~) и
gb (x) = min F, g (x)), b>0.
Тогда для наименьшей эксцессивной мажоранты v (x)
функции g (x) справедливы следующие представления:
v (х) = lim lim lim Qngh (x) = lim lim lim Qngb (x).
n b N n N b
Доказательство следует из B.51) и C.17).

156 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. lit
4. Доказываемые в этом пункте леммы дают
дополнительную информацию о строении наименьшей эксцессив-
ной мажоранты непрерывной функции g (х) в случае,
когда процесс X является феллеровским.
Лемма 4. Пусть X — феллеровский процесс,
функция g (х) > С > — оо, и непрерывна. Тогда ее
наименьшая эксцессивная мажоранта v (x) является функцией,
непрерывной снизу (lim v (у) > v (х)).
V-+X
Доказательство. Без ограничения общности
функцию g (x) можно считать неотрицательной. Поскольку
функция g (x) непрерывна, то каждая из ограниченных
функций gm(x) = min(wi,g(a;)),wE^r,— также непрерывна.
Поскольку процесс X феллеровский, функции Ttgm (x), ?>0,
непрерывны. Отсюда (см. доказательство предшествующей
леммы) следует, что каждая из функций Qngm (x)9 Qng™ (#)
непрерывна. Поэтому функции
# (х) = lim Q%gm (х) и vm (х) = lim t? (x)
N—*oo n-*oo
непрерывны снизу (как предел монотонно возрастающей
последовательности непрерывных функций).
Поскольку vm+i(x) > vm (x), то функция v (х) =
= lim um (х) является также непрерывной снизу (как
предел монотонно возрастающей последовательности
функций непрерывных снизу).
Осталось показать, что v (х) = v (x). Но это равенство
устанавливается в точности так же, как доказывалось
аналогичное соотношение в лемме 3.
Замечание 2. Лемма 4 остается справедливой и
для непрерывных функций gEB (A~), если только при
каждых t > 0 и т е= N непрерывны функции Ttgm (x).
При отыскании наименьших эксцессивных мажорант
неотрицательных непрерывных функций g (x) часто
оказывается полезным также следующий способ их
построения.
Пусть
Qg (х) = sup Ttg (z),
<>0

§ 21 РЕГУЛЯРНЫЕ И ЭКСЦЕССИВНЫЕ ФУНКЦИЙ 157
QNg (х) = sup Tt (Q^g) (х)
где QN есть N-я степень Q.
Лемма 5. Пусть X — феллеровский процесс,
функция g (х) > С ^> — оо и непрерывна. Тогда функция
v (x) = lim QNg (x) C.22)
непрерывна снизу и является наименьшей эксцессивной
мажорантой функции g (x).
Доказательство. Обозначим vn (х) = QNg (x).
Тогда
VN+i (X) = QVN (х) = SUP TtVN (x) > VN (X) > g (x)
и при любом t > О
^iv+i (х) > 7>* (дг).
ПОСКОЛЬКУ VN (X) \ V {х), N -^ СХ), ТО
*(*) >!>(*), ^>0, C.23)
и г; (х) > g (ж).
Покажем, что функция v (x) непрерывна снизу.
Поскольку g (x) непрерывна, то функция gm (x) =
= min (m, g (#)), т^Ж, также непрерывна. Поскольку
процесс X феллеровский, функция Ttgm (x) непрерывна
при любых ^>0,m?J. Отсюда (как и в лемме 4)
вытекает, что функции Ttg (x), t > 0, и vx (x) = Qg (x) =
= sup Ttg (x) непрерывны снизу. Покажем по индук-
ции, что и каждая из функций vn (х)> N €Е Л", также
непрерывна снизу.
Пусть при некотором N > 1 функция vn (x) непрерывна
снизу. Установим> что тогда vn+1 (x) также непрерывна
снизу. С этой целью построим неубывающую
последовательность {un (x)}, i = 1, 2, . . ., ограниченных непрерывных
функций *) таких, что
VN (X) t VN (X), I "> ОО.
*) Доказательство возможности такого построения см.,
например, в [30], гл. VII, теорема 30, или [67], гл. XV, теорема 10.

458 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. П1
Тогда функции Ttv\ (х) непрерывны по а; и из равенств
глг+i (х) = sup TtvN (x) = sup lim TtvlN (x)
следует, что функция vn+1 (x), а значит, и v(x) = lim Vn (x)
N-+00
непрерывны снизу.
Итак, v (x) ^ g (x), v(x) > Ttv (x) и, очевидно, если
h (x) — некоторая эксцессивная мажоранта g (x)r
то v (x) = lim QNg (x) <; /г (x). Таким образом, для за-
вершения доказательства осталось установить, что
lim Ttv (x) = v (х). Из C.23) v (х) > Tim Ttv (x). С дру-
той стороны, поскольку функция v (х) непрерывна снизу
и процесс X имеет непрерывные справа (Р^-п.н., х е Е)
траектории, то по лемме Фату
lim Ttv (x) — lim tAxv (xt) > Mx lim v (xt) > v (x).
TJo" t |o t[o
Лемма доказана.
5. В том случае, когда функция jeB (A~, A+),
можно предложить также следующий способ нахождения
ее наименьшей эксцессивной мажоранты
Пусть
Ф (*) = Ма [sup g (xt)], фп (х) = Мл [sup g (tfft.2-n)l.
Если /gB (А~, А+), то положим (ср. с п. 7 § 4 гл. II))
Gnf (x) = max {g (x), T^f (x)}, n e Ж, C.24)
и пусть Gn есть N-я степень оператора Gn, Gnf = /.
Заметим, что если f (х) = g (x)y то Gng (x) = (?ng^ (ж).
Лемма 6. ?с./ш функция g Е В (А", А+), тло ^
наименьшая эксцессивная мажоранта
v (x) = lim lim G^cpn (x). C.25)
П—>ОО N-+OQ
Доказательство. Пусть ?rt (ж) = lim (гпФпС^)-
Согласно лемме 11.11 г;п (х) совпадает с функцией vn (x),
определенной в C.18). Применяя лемму 3, получим
требуемое утверждение C.25).

§ 2] РЕГУЛЯРНЫЕ И ЭКСЦЕССИВНЫЕ ФУНКЦИИ 159
6. Л е м м а 7. Пусть f (x) — эксцессивная функция,
удовлетворяющая условию А~, и пусть
ов = inf { t > 0: xt e ^}, C.2G)
где J5 — почти борелевское множество. Тогда функция
/в (х) =* Мх/ (Жвв) C,27)
является эксцессивной.
Доказательство. Пусть «>0и
ов = inf {*>*: я*еЕ?}. C.28)
Из теоремы 1.5 следует, что моменты ов являются
марковскими. Далее, как и при доказательстве леммы II.4,
устанавливается, что
TifB(xXfB(r), x<=E9 *>0. C.29)
Функция /в (х) является почти борелевской (ср. с
функцией Ф (х) в лемме 3) и поскольку о% 1 ов при s j 0,
то в силу непрерывности справа процесса / (xt) (см.
свойство IV) и леммы Фату
TtfB (х) = Шп М*/(* «) > Мх lim / (x t) =
что вместе с C.29) приводит к соотношению
lim TtfB (x) = fB (x). C.30)
Утверждение леммы вытекает теперь непосредственно
из свойства VI и из установленных формул C.29) и C.30).
Замечание 3. Для моментов
тв = inf {?>0: xt e В}
утверждение леммы, вообще говоря, не верно (для
моментов %в = inf {t > s: xt e В} в общем случае т% -/>
-AtB,sl 0).
7. Пусть функция gGB (A+) и v (x) — ее
наименьшая эксцессивная мажоранта (заведомо существующая,
если к тому же jeB (А"")). Положим для 8 > 0
т, == inf {^ > 0: г; fo) < g (ж«) + в). C.31)

160 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ 1ГЛ. III
Лемма 8. Если gGB (A+) и v (х) — ее
наименьшая эксцессивная мажоранта, то
ITm v (xt) = шл g (xt) (P*-n.w., x^E) C.32)
t-*oo t-+oo
и для всякого г ^> 0
Р* {те < оо} = 1, х^ Е. C.33)
Доказательство проводится тем же методом,
что и доказательство леммы II.8.
§ 3. Эксцессивная характеризация цены
и 8-оптимальные моменты остановки (при условии А~~)
1. Теорема 1. Пусть X = (хи ft, Px), t > 0,—
марковский процесс и функция gEB (А*"). Тогда
1) цена s (х) является наименьшей эксцессивной
мажорантой функции g (х)\
2) s (х) = s (х).
Доказательство. Пусть v(x) — наименьшая
эксцессивная мажоранта функции g (x), существование
которой гарантируется предположением gEB (А") и
леммой 3. В силу леммы 1 для любого т е 9К
M*g (я,) < М^г; (жт) < v (x)
и, значит,
s (*)< г (ж) < »(ж). C.34)
Далее, пользуясь обозначениями леммы 3, находим,
что так как 31 (тг) cz 3R, то
Но г? (д:) = lim vn (х) и, значит, v (x) <^ s (x), что вместе
п
с C.34) приводит к равенствам
s (х) = ? (я) = г; (*)t
которые и доказывают утверждения теоремы.
Следствие. Пусть момент т е 3R таков, что
отвечающий ему выигрыш f (х) = Mxg (х-) является экс-
цессивной функцией и f (х) > g (х). Тогда f (х) = s (x)
и момент т является @, ^-оптимальным. Если к тому

§ 3] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 161
же х ЕЕ 3R, то этот момент будет оптимальным
моментом остановки.
В качестве иллюстрации рассмотрим следующий
Пример *). Пусть W = (wt9 ?t, Рх), t > 0,
жбй,- винеровский процесс с Рх {w0 = х} = I,
Мт 1^М — Wt] = \IS, Dx [Wt+8 — Wt] = 5.
Возьмем g (x) = max @, #).
Нетрудно видеть, что при \i > 0, 5 (#) = + оо и
момент т (со) = + °° является @, 5)-оптимальным.
Предположим теперь, что (it < 0. Пусть ty = inf {^ >
> 0: и?* е Гу}, Гу = [v,_^o). Как и в примере 1 § 6 гл. II,
показывается, что ty Е- 9К и
Полагая /* (я) = sup /Y (#), находим, что /¦ (х) = /Y* (a:),
где у* = — 1/2fA. Ясно, что /Y* (a:) > g (x), причем
непосредственная проверка показывает, что / (х) ^> Tt f (x)
при t > 0. Из следствия к теореме 1 следует, что момент
ty* = inf {t > 0 : wt e TY*} является @,
^-оптимальным. Интересно отметить, что Рх {ty* = оо} ^> 0 для
всех х <^ V*» так что @, ?)-оптимальный момент ty* не
является моментом остановки.
2. По сравнению с доказательством теоремы П.З
метод, примененный для доказательства теоремы 1,
обладает тем недостатком, что он не дает способа построения
8-оптимальных моментов остановки.
Напомним, что доказательство теоремы П.З
существенно опиралось на соотношение v (x) = hKxv (xx&) (см.
B.71)) для наименьшей эксцессивной мажоранты v (x)
функции g (x), которое и дало возможность утверждать,
что моменты те являются (в предположении А+) е-опти-
мальными моментами остановки (е > 0).
Естественно поэтому выяснить условия, при которых
это соотношение остается справедливым и в случае
непрерывного времени.
*) Ср. с примером 1 в § 6 гл. II.
А. Н. Ширяев

162 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Теорема 2. Пусть функция jeB (A~, A+).
Тогда для любых 8 ^> О
s(x) =M^(a-Tf)f C.35)
где
т? = inf {t > 0: s (xt) < g (xt) + e}. C.36)
Доказательство. Прежде всего заметим, что
в силу леммы 8 момент те является (для е > 0) моментом
остановки. Далее, в силу теоремы 1 и леммы 1
t) <*(*>. C.37)
поэтому достаточно доказать лишь противоположное
неравенство; справедливость которого в свою очередь
вытекает из приводимых ниже лемм 9 и 10.
Для формулировки этих лемм введем ряд понятий и
обозначений.
Будем говорить, что момент остановки т принадлежит
классу 501 (х; б, г) с б > 0, е > 0, если
Р*{т<т.)<6, C.38)
где тс — марковский момент, определенный в C.36).
Пусть также 9К (б, е) = f| ЯЙ (х; б, г).
X
Лемма 9. Если g GE В (А~), то для любой пары
(б, е) с б > 0, 8 > 0
s(x)= sup Мя?(жт). C.39)
Доказательство. На множестве {со :
т (о) < те (со)} g (хх) < 5 (#t) — е. Поэтому,
поскольку ? (* т) < 8 (Жт), ТО
— 8] + Мд./{т>Тс}5 (Жг) =
= Мя»(жт) -ьРх {т<те},
что вместе с леммой 1 приводит к неравенству
М*? (ж,) < s (х) — гРх {г < т?}.
Отсюда, по определению класса 9К (б, е), находим
sup hAxg (xx) < s (х) — еб,
что (б ^> 0, е ]> 0) равцосцдьцо оотцощецию C.39),

3] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦЙЯ ЦЕНЫ 163
Лемма 10. Пусть gGB (A~, A+). Тогда для
всякого е > 0
s (х) = sup Mxg (хх) C.40)
ч). C.41)
Доказательство. Зафиксируем точку a;°EJ?
и положим бп = V2n. В силу леммы 9 можно найти
последовательность моментов хп Ez 3R (#°; 6n, е), n E= N,
такую, что Maog (xT ) не убывают и
T )
s (x°) - lim M^ fan). C.42)
П—*оо
Положим ап = max (те, тп) и покажем, что
^ (Хаа) > 8 (Жо}| C.43)
откуда (в силу неравенства ап !> те) будет следовать
требуемое утверждение C.40).
Имеем:
xOg (хвп) == lim
п
хч) = lini
— Tim fAxof{in<Xe)g (x*n) + lim
п
n
(a;0) — M n4 n
+ Мж, lim It,n<4)g (x*t), C.44)
П
где мы воспользовались формулой C.42) и леммой Фату,
применимость которой гарантируется предположением
geB(A-, а+).
Поскольку Рхо { хп < те} <; 2""п, то по лемме Боре-
ля — Кантелли с Р^о-вероятностью единица
lim /{тп<,?} (со) = 0.
6*

1б4 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ (ТЛ. Ill
Поэтому в силу предположения g 6= В (А~, А+) оба
последних слагаемых в C.44) равны нулю, что и доказывает
неравенство C.43), из которого следует утверждение C.40).
Чтобы доказать C.41), заметим, что в силу C.40) и
очевидного неравенства g (хх) ^ s (хх)
s(x)= sup М^(жт)< sup
{2В > {SR >
Но M^s (x%) <^ tAyS (xXt) (теорема 1 и лемма 1), поэтому
s (x) < M*s (xTf).
3. Теорема 3. Пусть функция j?B0 (A~> А+) ¦).
Тогда:
1) для любого 8 ^> 0 моменты те являются е-оптималъ-
ными моментами остановки;
2) если функция g (x) непрерывна сверху, то момент
т0 является оптимальным марковским моментом;
3) если функция g (x) непрерывна сверху и Рх {то<
<оо} = 1, яЕЕ-Ё1, wo момент т0 является
оптимальным моментом остановки;
4) €?/ш в классе Ш (в Щ существует оптимальный
момент т*, то Рх {т0 ^ т*} = 1, ж??, м момент т0
является оптимальным в классе SR (в 3R).
Доказательство. 1) Принадлежность
момента те, е > 0, классу 9R следует из леммы 8. Далее, согласно
предположению функция g (х) ^0-непрерывна. Цена s (x)
также является ^0-непрерывной (в силу теоремы 1 и
свойства V эксцессивных функций). Поэтому из
непрерывности справа траекторий процесса {xt, t > 0} следует,
что процессы {s (xt), t > 0} и {g (xt), t > 0} также
непрерывны справа. Отсюда в свою очередь вытекает, что
(QM. C.36))
* (*О < 8 Ю + 8 (рл-п.н., х е Е). C.45)
Поэтому согласно теореме 2
M,g (^?) + 8, X 6= 5, C.46)
что и доказывает первое утверждение теоремы.
¦) Напомним, что класс Qo (А~, А+) состоит из ^0-непре рчв-
ных функций класса В(А~, А+).

§ 3] ЭКСЦЕССИВНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 165
2) Заметим, что если ех > е2 ]> 0, то РЛ {те ^ тв2} =
= 1 и, значит, (Рд.-п.н., х ^ Е) существует lim те. Обоз-
начим * П
Момент т* является марковским и, очевидно, т* <^ т0
(Рд.-п.н., х??). В силу теоремы 1, C.46), леммы Фату,
непрерывности сверху g (х) и квазинепрерывности слева
процесса {хи t > 0}
s(x) = s (х) < lim M^g (#т ) < Мх lim g (#т) =
е|0 е ;о
= МЛ7><О0} iim"g(arT ) + Мя/{т*=оо} liim
< MxI{,*<oo)g (ж,.) + hAxI{x*=oo)g (Xco) = M^g (жт.), C.47)
т.е. момент т* является @, 5)-оптимальным.
Таким образом, осталось лишь показать, что т* = т0
(Ptf-n.ii., х^Е).
Ясно, что Рх {т* ^ т0} = 1, х ?Е -Е, ив силу
определения момента т0 для доказательства равенства
Pjc {т* = т0} = 1, х €Е Е, достаточно лишь показать,
что Рх {s (хх*) = g (хх*)} = 1, х е Е.
Из неравенства 5 (л:т*) > g (^т*)> оптимальности
момента т* (см. C.47)) и неравенства s (x) > Мд5 (хх*)
находим
) > М^ (х,*) = 5 (х) > Мл.9 (ячО- C.48)
Следовательно,
s (х) = Мл (х+) = М^ (^), C.49)
что вместе с неравенством 5 (х%*) > g1 (^T*)} доказывает
требуемое соотношение Рх {s (хх*) = g (хх*)} = 1, х G Е.
3) Это утверждение очевидным образом следует из
предыдущего.
4) Поскольку s (хх*) > g (xx*) и (в силу определения т0
и свойства C.32)) s (хХо) = g (xXo) (Р^-п.н., х^Е), то
?х { т0 ^ т*} = 1, х е ?. Для оптимального момета
т*, как нетрудно видеть, справедливо утверждение C.48)
и, значит, в силу теоремы 1 и леммы 1
s (х) = s (х) = М.

166 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. Ill
что и доказывает оптимальность момента т0 (в классе ЗИ,
если т* ЕЕ SR, ив классе 5Ю, если т* ЕЕ Зй).
Следствие 1. Если функция jgB0 (А~, A+) и
непрерывна сверху, то
s(x) = M,S(s;To). C.50)
Доказательство следует из C.49) и
совпадения моментов т* и т0 (см. доказательство п. 2)).
Следствие 2. Пусть функция jeB0 (A", A+).
Обозначим S el SSR класс моментов остановки tg =
= inf {?>0 : ^ ? С}, где С — почти борелевские
множества. Тогда
s (х) = sup tAxg (xx). C.51)
Иначе говоря, значение цены s (x) не изменится, если
вместо класса SR рассматривать лишь те моменты
остановки, которые являются моментами первого попадания
в почти борелевские множества.
Следствие 3. Пусть функция gEB0 (А~, А+)
и к тому же непрерывна, а цена s (x) непрерывна снизу
(согласно лемме 5 для этого достаточно, чтобы процесс X
был феллеровский и g (х) > С ]> — оо). Обозначим © S
с^ SR класс моментов остановки вида то = inf {t > 0 :
xt ?Z)}, где D —- замкнутые множества. Тогда
s{x) =supM3Cg(zT). C.52)
Для доказательства достаточно лишь заметить, что
при сделанных предположениях множества вида
{х : s (x) ^ g (х) + е}, г > 0, являются замкнутыми.
§ 4. Регулярная характеризация цены
и е-оптимальные моменты остановки (при условии А+)
1. Если функция jgB (A~), то цена s (x) является
наименьшей эксцессивной мажорантой функции g (x)
(теорема 1). Поскольку при выполнении условия А" классы
эксцессивных и регулярных мажорант функции g (x)
совпадают (лемма 1), то утверждение 1 теоремы 1 можно
переформулировать следующим образом: если jeB (A"),
то цена s (x) есть наименьшая регулярная мажоранта

§ 4] РЕГУЛЯРНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 167
g (x). Оказывается, что именно эта «регулярная», а не
«эксцессивная», характеризация цены остается
справедливой и для случая функций ^gL0 (А+). В связи с
этим уместно заметить, что при отказе от условия А""
эксцессивные функции не являются, вообще говоря,
регулярными. Соответствующий пример нетрудно построить,
обобщая на случай непрерывного времени пример 7 из
§ 6 гл. II.
2. Напомним, что при рассмотрении соответствующих
вопросов для случая дискретного времени (гл. II, § 8)
метод исследования сводился к тому, что наряду с
функцией g (x) вводились «урезанные» снизу функции ga (х) =
= max {a, g (х)}, а < 0, и цены sa (x) = sup M^a (хх),
а затем устанавливалось, что функция s% (х) = lim sa (x)
а-*-—<х>
является регулярной и s (х) = s (х) = s% (x).
Аналогичный метод изучения структуры цены s (x)
применяется ниже и в случае непрерывного времени.
Ключевым моментом при доказательстве основного результата
данного параграфа (теорема 5) является
Теорема 4. Пусть gEL0 (A+). Тогда функция
s% (x) является %^-непрерывной.
3. Доказательству этой теоремы предпошлем несколько
вспомогательных предложений.
Лемма 11. Пусть ^еВ (А+). Тогда для каждого
а <^ 0 и х ЕЕ Е процесс (sa (xt), tfu P*), t > 0, является
непрерывным справа равномерно интегрируемым
супермартингалом *).
Доказательство. Если т е= 3R, то
М*?в Ы < Мя sup ga (xs) < tAx sup g+ {xs)
И
sa (x) = sup tAxga (xx) < Ma sup g+ (x8).
Отсюда в силу марковского свойства получаем
M*< sup g+ (xs) < M* [sup g+ (x8) \ f t\. C.53)
s>0 s>0
*) Под значением SaixJ) понимается lim sa (xt), существующий
в силу теоремы 1 и теоремы 1.9,

168 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Согласно предположению gEB (А+) и,
следовательно, величина Y = sup g+ (xs) интегрируема и величины
{Yt = Мх (Y | f,), t > 0} равномерно интегрируемы.
Поскольку
то семейство случайных величин { sa (xt), t > 0} также
является равномерно интегрируемым.
Далее, gaGB (А~), и согласно теореме 1 функция
sa (x) является наименьшей эксцессивной мажорантой
ga (x). Следовательно, функция sa (x) ^-непрерывна и
процесс {sa (xt)9 t > 0} имеет непрерывные справа
траектории. Из эксцессивности функции sa (x) и марковского
свойства (Рд-п.н., х G Е) получаем
Мх [sa (xt+u) | ft] = NiAisa (xu) < sa (xt). C.54)
Таким образом, утверждение леммы доказано для
всех t, 0 <; t <С ©о. Справедливость же леммы для 0 <^ t ^ оэ
следует из C.54), равномерной интегрируемости величин
{sa(xt), 0 <; t<Z оо} и теоремы 1.9.
Лемма 12. Пусть gGB (A+). Гог^а (P^-n.w., х ^ Е)
lim ^(^) = lim s (xt) = lim .s^ (x^) = limlim sa (xt). C.55)
t t t at
Доказательство. В силу леммы 8
lim sa (xt) = lim ga (xt).
t t
Поэтому
lim lim sa (xt) = lim lim ga (xt) = lim g (xt). C.56)
at at t
Ho
g (ж)< б (ж) < ^ (a:) < sa (ж),
что вместе с C.56) доказывает C.55).
Лемма 13. Пусть gEB (A+). Тогда для любых
марковских моментов о и х со свойством Рх {а ^ т} = 1,
х G 2?, справедливо неравенство
М* [** Ы I ^J < ^ (гс0) (Ра-л. »., х е ^). C.57)

§ 4] РЕГУЛЯРНАЯ ХАРАКТЁРИЗАЦИЯ ЦЕНЫ 169
Доказательство. Прежде всего заметим, что
функция s% (х), как предел почти борелевских функций
sa(x), также является почти борелевской. Процесс {#(#/),
t > 0} сепарабельный, и, значит, в силу C.55) величина
\\ms^(x^) является измеримой. Из этих двух фактов
вытекает, что для каждого марковского момента т величина
5# (хд является измеримой. Наконец в силу условия g €E
Е=В(А+) и неравенства
sQ (x,) < sup g+ (xt) C.58)
следует, что математические ожидания Мх$^ (хх) и
Мх [s% (xx)\ tfa] определены.
Согласно замечанию 2 к лемме 2 для доказательства
C.57) достаточно установить, что для любых марковских
моментов а и т со свойством Ра{а^т} = 1, х Ez Еу
*М* (*т)<Мх^ (ха). C.59)
В силу теоремы 1 и леммы 1
(^). C.60)
Отсюда по теореме о монотонной сходимости
(справедливость которой следует из C.58) и предположения
g ? В (А+)) получим (учитывая, что согласно лемме 12
lim limsa (xt) = lim S+ (xt)) требуемое неравенство C.59).
a t t
Лемма 14. Пусть gGB (A+). Тогда для
марковского момента р ЕЕ ЗГОЯ элементы (s^ (^Рл0> $рл<> ?x)i
t > 0, образуют супермартингал.
Доказательство. Пусть s ^ t. Обозначим a =
= рЛ*, т = рД^ В силу C.57)
Мж [^ (я-рдО | fpAt\ < 5* (хрЛ8). C.61)
Ясно, что
Mas# (xpAt) < МЛ (arpAf) < Мл sup g+ (xs) < оо,
и в силу C.56) и предположения р е $1#
— оо < — Mag "(жр) < М^ (жр) < М^ (жрдО-
Следовательно, М^. | s+ (xpAt) I < °°, t > 0.

170 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Лемма 15. Пусть gEL (А+) и S — счетное всюду
плотное множество в @, + оо). Тогда при г \ 0
последовательность {s% (xr)}, r Ez S, сходится Рх-п.н., х GE Е9
к интегрируемой случайной величине ( lim s% (xr)).
Доказательство. Пусть р ЕЕ 3Rg. В силу
теоремы 21 гл. V в [63] для супермартингала (s# (xpAr), fpArfx)*
re S, существует lim s% (xpAr), причем
r 10, r&S
Mx| lim ^(%)|<oo, x(=E. C.62)
г 10, S
По условию леммы ^eL (А+) и, следовательно,
существует такой момент р е 9Rg, что Рх {р ^> 0} = 1,
х G Е. Значит, для этого момента
lim s*(xpAr) = lim «#(xr) (Ря-п. н., х
r|o, res ^s
что вместе с C.62) и доказывает лемму.
Лемма 16. Пусть jeB (А+) и S — счетное всюду
плотное множество в @, + оо). Тогда
lim s#(xr) = lim s# (xt) (Px-n. н., х^Е). C.63)
r i o, res * | о
Доказательство. Поскольку процессы
{$a (xt), t > 0} непрерывны справа, то они сепарабельны.
Следовательно, если / — открытый интервал, то (Р^-п.н.,
E)
inf s% (xt) = inf inf sa (xt) = inf inf sa (xt) ~
= inf inf 5a (xt) = inf Sjj. (^).
a felflS felflS
Положим / ^(Qj-t-)- Тогда (Рх-п. н., х^Е)
lim 5^ (a;<) = lim inf s% (xt) = lim inf s^ (^r) = lim s%(xr).
4. Доказательство теоремы 4. В силу
леммы 1 и теоремы 1 для р 6= 9Kg
C-64)

§ 4] РЕГУЛЯРНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 171
Отсюда в силу ^-измеримости функции I{P>t\
MxI{p>t}Sa (Хр) < MxI{p>t)Sa (xt),
и, следовательно,
) Н" MxI{p>t)ga (Xp) <
sup gu. (xs)
sup
<MK[(SUP ga (T.)) V S
0<8<f
Значит,
WM [( SUP ga (Xs) V 5a
Переходя в этом неравенстве к пределу (а -»-— оо),
получаем (согласно теореме о монотонной сходимости)
'• (ж) < Мх К sup * (*.)) V »* (»»)]• C-65)
Пусть теперь ? = гп | 0, п ->- оо, где rw принадлежат
счетному плотному на @, оо) множеству S. Ясно, что
процесс {Yu t>0} с Yt = Мх [sup g+ (я:,) | f J яв-
s>0
ляется равномерно интегрируемым мартингалом и
согласно теореме 3 гл. VI в [63] последовательность Yrn
сходится (Ря-п.н.) к интегрируемой случайной величине Уо.
Покажем, что
( sup g (xs)) V *¦ (хГп) < Yrn. C.66)
n n
Поскольку sup g+ (xs) является $Fr -измеримой величи-
0<s<rn n
ной, то
sup g (xs) < sup g+ (xs) = Mx [ sup g+ (xs)\frn\,
0<s<rn 0<s<rn 0<s<rn
следовательно, с учетом C.53) получаем
( sup g (x8)) V s* fa) <
sup g+ (x.) | f ] VM, [sup g+ (xs)\ frj <
<s<r n S>o
< M^ [sup g+ (x8) | f rJ = YTn
8>0

172 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Поскольку величины {YVn, п = 1, 2, . . .} равномерно
интегрируемы, то в силу C.65), C.66) и замечания 2 в
п. 3 § 1 гл. I
5# (х) < НпГМ J( sup g (xs)) V 4 (xrn)] <
n->oo 0<s<rn
< Mx [lim" ( sup g (xs)) V ** (avn)l• C-67)
В силу предположенной ^-непрерывности функции g (x)
и непрерывности справа процесса {хи t^O} из C.67)
получаем, что
Ч (а)< Мх Lg (ж0) V Ит" s* (avn)l =
п—*оо
= Мх [g (a;0) VHm e# (av I =
Hm «.(a:,)], C.68)
г 10,
где в силу леммы 15
lim s+(xr ) =- Hm sm (xr).
n*<x> n r;o res
Согласно закону 0—1 Блюменталя ([39], стр. 124)
и поскольку Рх {х0 = х} — 1, ж??, имеем (Рл -п.н.)
Мж [g (ж0) V Ит *. (xr)] = g (х) V Hm »» (ж,). C.69)
res res
Из C.68) и C.69) получаем
Ч (х) < g (х) V Hm s* («г) (рэс - п. п.,
г|0
и, значит, на множестве {ж: jr (ж) <**(«)} (Р*-п-н-)
li
г I о,
Ч (х) ^ lim Ч
I о &S
В силу леммы 16
lim s% (xr) = lim s+ (xr) = lim g^ fa).
r [0% r&S r 10, r&S t [0
Поэтому на множестве {х : g (a:) < 5^ (ж)} (Р^-п.н.)
sm (x) < lim ^ (xt), C.70)
T

§ 4 РЕГУЛЯРНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 173
т.е. на этом множестве функция s% (х) $0-непрерывна
снизу.
Поскольку при всех х ЕЕ Е s* (x) > g (x), то на
множестве Е \ {х : s% (x) ^> g (х)} s% (х) = g (x), и,
следовательно, в силу ^-непрерывности функции g (x)
Ч (х) = g (х) = lim g (xt) < lim s* (xt) (Рл-п.н.),
Uo TIT
xe?\ {x : s* (x)>g(x)}.
Вместе с C.70) это показывает, что функция s+ {x)
является $0-непрерывной снизу (для всех ж??),
Далее, поскольку функции sa (x) ^-непрерывны и
su (x) I s% (х), а I — оо, то функция s% (x) $0-непрерывна
сверху. Следовательно, функция s* (x) является %0~не~
прерывной.
Теорема 4 доказана.
5, Теорема 5. Пусть X = (xiy tft, Рж), t > 0,—
марковский процесс и функция gGL0 (A+).
Тогда:
1) цена s (х) является наименьшей регулярной
^S^непрерывной) мажорантой функции g (x);
2) s (х) = s (х).
Доказательство этой теоремы будет
опираться на ряд вспомогательных утверждений, многие из
которых хотя и аналогичны соответствующим утверждениям,
используемым при доказательстве теоремы 7 гл. II, но
требуют более тонких методов доказательства, вызванных
непрерывностью временного параметра t.
Обозначим для & > 0, а ^ 0
о% = inf {t > 0: *„ (xt) < ga (xt) + e},
те° = inf {t > 0: sa (xt) < ga (xt) + e), C.71)
re* = inf {t > 0: 8t (xt) < g (xt) + e}.
Лемма 17. Пусть get (A+). Тогда для г > 0
<0
** .(х) = МЛ (х а), х е Е. C.72)
Доказательство. Согласно C.35)
*.). C.73)

174 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Ясно, что о% <; Tg для a <; а ^ 0, поэтому в силу
теоремы 1 и леммы 1
Ма$а (Я а) < Мл*а (х а),
что вместе с C.73) дает неравенство
sa (х) < Mxsa (х а), а < а < 0.
°е
Отсюда по лемме Фату получаем
а) < M^Ura sa (x а) = М^ (х а).
а;
Обратное же неравенство s% (x) >МЛ^ (а: а) следует из
леммы 13.
Лемма 18. Пусть g?L0 (A+). Тогда для г > 0
)<а}=0, яеЯ, C.74)
Рх {хг< оо} = 1. C.75)
Доказательство. Так как функции g (#) и
^* (ж) ^-непрерывны (g (х) по предположению, a s# (x) —
согласно теореме 4), то процессы { g (xt), t > 0} и {s% (xt),
t > 0} являются (Р^-п.н., х ЕЕ Е) непрерывными справа
и в силу определения моментов *) а*
*¦ (* а) < g* (X а) + 8 (Р*-П. Н., Ж 6Е Я). C.7б)
Вместе с C.72) отсюда находим:
— оо < g (ж)< s* (х)
«)< а} + Ма [sup g+ (xf)] + е.
Поэтому (а < 0)
- 4- {Мл [sup g+ fe) + 8 - 8ф(х)\) -*
p
->0, а -> — оо.
*) Заметим, что для е > 0 момент oj e 9K, поскольку о* •
т*, а Ра {т* < сх?} = 1 в силу леммы 8.

§ 41 РЕГУЛЯРНАЯ ХАРАКТЕРИЗАЦИЯ ЦЕНЫ 175
Наконец, соотношение C.75) доказывается так же,
как и соответствующее утверждение в случае дискретного
времени (см. доказательство теоремы 7 гл. II).
Лемма 19. Пусть gGL0 (А+). Тогда для любого
е>0
** (х) = МЛ (xxj, xeeE. C.77)
Доказательство. Неравенство s% (x) !>
> М^ (хх*) следует из C.57). Чтобы доказать
противоположное неравенство, зафиксируем точку х ЕЕ Е. Из
C.74) следует, что найдется подпоследовательность {а^},
at ->— оо, i ->oo, такая, что
о) = 0 (Рх = п. н.).
Используя C.72), тот факт, что <з?г = те на множестве
{со: ?(#а.)>сХ|} и лемму Фату, находим:
V
= МяПт
6. Доказательство теоремы 5. Согласно
теореме 1 sa(x) = sa (х), и поскольку s (x) ^ sa (#), то
5 (л:)< 5 (л:) < s* (х), х^Е. C.78)
Установим обратное неравенство 5 (х) !> s+ (x).
В силу C.75) момент xl e 3R. Аналогично
неравенству C.76) устанавливается, что (Р^-п.н., х GE Е)
М^*Х?Ы*+8. C.79)
Отсюда и из леммы 19 получаем
) + е < 5 (ж) + е, C.80)
что в силу произвольности е ^> 0 доказывает требуемое
неравенство s% (x) ^ s (x).

176 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Итак, s (х) = s (х) — s% (х)> и согласно теореме 4
каждая из этих функций является ^-непрерывной.
(> Пусть теперь v(x) — другая регулярная мажоранта
функции g (х). Тогда v (х) > М^г; (хх) > Mxg (хт) и v(x) >
> s (х). Следовательно, s (х) — наименьшая регулярная
(^-непрерывная) мажоранта функции g (х).
Теорема доказана.
7. Теорема 6. Пусть функция gGL0 (А+).
Тогда справедливы все утверждения теоремы 3, т. е.
1) для любого г^> О моменты те являются г-оптималъ-
ными моментами остановки;
- 2) если функция g (x) непрерывна сверху, то момент т0
является оптимальным марковским моментом;
3) если функция g (х) непрерывна сверху и Рх {т0 <
< оо} = 1, х Ez E, то момент т0 является оптимальным
моментом остановки.
4) если в классе 5R (в Щ существует оптимальный
момент т*, то Рх {т0 ^ т*} = 1, х GE Е, и момент т0
является оптимальным в классе SR {в 9К).
Доказательство. Заметим, что е-оптималь-
ность момента остановки т8 = inf {t > 0: s(xt) < g (xt) +
+ e} непосредственно следует из C.80), поскольку # (х) =
= s% (x) и Те = те. Остальные утверждения
доказываются так же, как и в теореме 3.
Следствие. Если функция g (x) непрерывна
сверху\ принадлежит классу Lo (А+) и lim g (xt) = —оо
(Pjc-n. н. х е= ?"), то т0 является оптимальным моментом
остановки.
Действительно, пусть при некотором х0 е Е Px{rQ =•-
= оо} >• 0. Тогда s (х0) — —-оо, что противоречит
неравенствам s (х0) ^ g (х0) ^> —оо. Следовательно, т0 е 3R
и утверждение следствия вытекает из п. 2) теоремьь
§ 5. Регулярная характеризация цены
(общий случай)
L Теорема 7. Пусть функция g e Lo.
1) цена s (х) есть наименьшая ЗК й-регулярная
мажоранта функции g (x);
2) s (х) = s (х);

§ 5] РЕГУЛЯРНАЯ ХАРАКТЕРИЗАЦИЯ (ОБЩИЙ СЛУЧАЙ) 177
Доказательство. 1) Положим для Ъ > О
gb (х) = min {&, g (x)}9
sb(x) = sup Mxgb(xx),
s* (x) = l\msb(x).
Если а, т e ®Rg и Рх{а^т} = 1,а;Е?,тов силу
теоремы 5
- оо < МЯГ («г) < М^ь (хх) < M*sb (хх) < Masb (*в).
Отсюда по теореме о монотонной сходимости получаем
C.81)
Функция s* (х) как предел (неубывающей)
последовательности ^-непрерывных почти борелевских функций
sb (x) является ^-непрерывной снизу и почти борелев-
ской, что вместе с C.81) доказывает 9К5-регулярность
** (х).
2) Установим теперь равенство 5* (х) = s (х) = s (x).
Поскольку gb (х) ^ g (х), то
= sup Mxgb fa) ^ sup
и, значит, 5* (#) ^ 5 (х).
Далее, если т е $!ig, то
ь sb (х) =
й опять-таки по теореме о монотонной сходимости
*) < 5* (яг).
Следовательно, $ (х) ^ s* (x), что вместе с
неравенством 5* (#) ^ 5 (#), доказывает требуемое соотношение
s* (х) = s(x) =s (х).
. Далее, если v (x) также SR^-регулярная мажоранта
g(x), то
v (х) > М* v (хх) > hAxg
и значит, г? (#) > 5 (о;), т. е. s (x) — наименьшая
^-регулярная мажоранта функций g (x).

178 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. Ш
2, Как следует из доказанной теоремы, для любых
двух марковских моментов а и т из 3Rg со свойством
Ра {<* ^ ^} = 1> # ЕЕ .?, справедливо неравенство
M»sW<M^W. C.82)
Из проведенного выше доказательства нетрудно
заметить также, что это неравенство остается справедливым
и для любых моментов а и т из 9Й, для которых найдется
момент р €Е 3Rg такой, что Рх {а <^ т <^ р} = 1, х ЕЕ Е.
(Действительно, — оо < — Мл#- (#р) ^ М^ь (#р <; М^6
(^т) ^ М^5 (а;а)и неравенство C.81) снова остается
справедливым по теореме о монотонной сходимости).
Следующая теорема показывает, в какой форме это
неравенство распространяется на моменты из классов ЗЛ^ и 3R.
Теорема 8. Пусть функция gGL0, и
: т (со) =
для любых двух марковских моментов а и г из ЗЮ
таких, что существует рЕЕЗК^с Рл{сг^т^р} = 1,
Ма & I fa) < ? (Р*-и.н., ж S Я) C.83)
и, в частности,
^е^. C.84)
Доказательство. Из C.55)
lim sb (xt) = lim gb (я,) (Р*-п. н., а; е Е) C.85)
и в силу теоремы 5
- оо < - МЖГ (*р) < ^ (р) < ж (х) <
C.86)
отсюда в силу теоремы о монотонной сходимости
получаем (с. учетом C.85)), что для рассматриваемых

§ 5] РЕГУЛЯРНАЯ ХАРАКТЕРИЗАЦИЯ (ОБЩИЙ СЛУЧАЙ) 179
моментов а и т
{T=SOO} lim lim gb (xt)
ь t
. C.87)
Ho lim lim gb (xt) = lim g (xt), что вместе с C.87) при-
ь t t
водит к неравенству C.84), из которого C.83) выводится
так же, как и в лемме 2.
3. Приводимая в этом пункте теорема содержит
дополнительную информацию о структуре (конечной)
цены s (х).
Теорема 9. Пусть функция gEL0 и s (х) < оо,
х е Е. Тогда функция s (x) является ^^-непрерывной.
Доказательство. Поскольку s (#) = s* (x) =
= lim sb (х), где sb (x) — $0-непрерывные функции,
ь
sb (x) ^ sb+i (x), то цена s (x) ^0-непрерывна снизу.
Доказательство ее непрерывности сверху можно провести
аналогично доказательству ^-непрерывности снизу
функции s% (x) (см. теорему 4).
В самом деле, пусть S — счетное всюду плотное
множество в @, +оо). Из теоремы 7 для р ЕЕ 3Rg, r?<S
получаем
*(a). C.88)
Поскольку, по предположению, s (х) < оо, а по теореме 8
(xpAr) > МЯ > — М^' (х9) > — оо,
то последовательность {s (xp/\r), r Ez S}, является
равномерно интегрируемой для каждого р €Е 3Rg. Из C.83)
следует также, что эта последовательность образует
супермартингал. Аргументы, использованные в лемме 15,
показывают, что последовательность {s ОгРдг), гЕ5} при
г | 0 сходится к интегрируемой случайной величине
(lim s(xpAr)) и что (Рэс-п. и.,т??)
Г|0, r&S
lim $(ярдг}= lim s(xr). C.89)
cres riores

180 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Из теоремы 1.4 следует, что
lim Mxs(xpAr) = Мд. lim s(xpAr). C.90)
г 10, r&S r | о, &S
Из C.88) -— C.90) получаем
М^ lim s(xr)^s(x). C.91)
г 10, r&S
Далее, как и в лемме 16, показывается, что
s (xr) = Urns (xt). C.92)
г 1 о, r&S 110
Наконец (ср. с C.69)),
Мя lim s(xr)= lim s(xr) (Р^-п. н., х ЕЕ Е),
г[0, &S [ &S
что вместе с C.91) и C.92) приводит к неравенству
Нт5(^)О(д;) (Рд.-п. н., хЕЕЕ)-
t[o
4, Из теоремы 6 (ср. также с теоремой 3) следует, что
если g e Lo (A+) и в классе 3R существует оптимальный
момент т*, то момент т0 = inf {t > 0: s (xt) = g (xt)}
также является оптимальным и Рж {т0 ^ т*} = 1, х е Е.
Приводимая ниже теорема распространяет этот
результат на тот случай, когда gGL0H \ s (х) \ < оо, х е Е.
Теорема 10. Пусть g е Lo и \ s (х) \ < оо, х е
е Е. Тогда, если в классе 9К (в SR) существует оптимальный
марковский момент (момент остановки) т*, то момент
т0 также будет оптимальным моментом в классе 9К
(вЩ и РЛ^о<^*} =МЕ?.
Доказательство. Ясно, что момент т* е
€= 5Kg. В силу оптимальности момента т*, неравенства
g (х) <! s (х) и теоремы 8 (с т = т* и а = 0)
g (x^) + Мя/{т»вво> lim
^^i lim g(t)^s (x),
) lim g fe). C.93)
откуда находим

§ 6] ПОСТРОЕНИЕ РЕГУЛЯРНЫХ МАЖОРАНТ 181
Очевидно, что (Р^-п. н., х е= Е)
g (хх*) < I {x*<Oo) s (хх*) + /{т*=оо} llm g (xt). C.94)
Учитывая предположение \ s (x) | <С оо, из C.93) и C.94)
заключаем, что (Р^-п. н., xEzE)
g (Хх*) = 1{х*<оо) s (хх*) + 7{т*=оо} lim g (xt),
и, значит, на множестве {со: т* < оо}
Из определения момента т0 отсюда заключаем, что на
множестве {со: т* < оо}
На множестве же {со: т* = оо} это неравенство очевидно.
Таким образом, т0 < т* (Ря-п. н., х е Е).
Покажем теперь, что момент т0 является оптимальным.
Функции g (x) и 5 (х) ^-непрерывны (см. теорему 9),
и, значит, процессы {g (xt), t > 0} и {s (xt), t > 0}
непрерывны справа. Поэтому на множестве {со: т0 < оо}
g(xXo) = s(xXo). C.95)
Это соотношение вместе с C.93) и C.84) (с т = т* и а =?
= т0) приводит к неравенствам
s (х) = Mag (хх*) = MXI{X*<00} s (хх*) + tAxI{x*=oo) lim g1 (ж4) <
5 (жТв) + Mx/{TfS=eo} Tim g (a;,) =
(Ж,,) + АМ^ео} US g (^) = Mxg (a^J,
из которых следует оптимальность момента т0.
§ 6. Построение регулярных мажорант
1. Если функция g €Е В (А"), то цена s (a;) =
= sup Mxg (a;1) является наименьшей эксцессивной мажо-
S2R
рантой g (а;) (теорема 1), которую можно построить
{согласно лемме 3) следующим образом:
s (х) = lim lim Q%g (x). C.96)
n JV

182 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
В то же время, если условие А~ нарушено, то цена s (х
будет (скажем, в случае gEL0 (A+)) наименьшей регу
лярной мажорантой функции g{x)> которая, вообще говоря,
не совпадает с наименьшей эксцессивной мажорантой
g (х). Естественно поэтому возникает вопрос о способах
построения наименьших регулярных мажорант.
Основной результат настоящего параграфа состоит (ср.
с теоремой И.6), в том, что если, например, функция
?€Е|Ц)(а~), то цена s (x) являющаяся наименьшей $Slg-
регулярной мажорантой g (x), будет совпадать с
наименьшей эксцессивной мажорантой, некоторой специальным
образом построенной функции G (х) (]> g (x)). Поэтому
при построении цены (в рассматриваемом случае g ЕЕ
?Е Lo (a~)) можно пользоваться соотношением
s(х) = lim lim OnG (x). C.97)
n N
2. Прежде чем давать точную формулировку
указанного выше результата, приведем ряд необходимых
понятий и вспомогательных утверждений.
Пусть функция йеВ удовлетворяет условию
h (Х) = NKxh (Хоо), C.98)
где, как обычно, h(xoo) — lim h (xt). Примером такой
t
функции может служить, скажем, функция
h (х) = -Mxg- (я*,), C.99)
где Mxg- (#«>)< °о (см. далее доказательство теоремы 12).
Положим
G(x) == max {g (x), h (x)},
QnG (x) = max {G (x), T^nG (x)}, C.100)
Vn (x) - lim Q%G (x),
V (x) = lim Vn (x) = lim lim QnG (x).
n n N
Замечание 1. Нетрудно видеть, что
[h (xK) | f 8.n]

§ 6] ПОСТРОЕНИЕ РЕГУЛЯРНЫХ МАЖОРАНТ 183
Поэтому существование lim Q%G (х) вытекает из леммы
N
II.6. Этот предел Vn (х) является (согласно той же самой
лемме) наименьшей эксцессивной мажорантой функции
G (х) (относительно оператора Г2_п). Далее, поскольку
Vn+1 (x) является эксцессивной относительно оператора
У то
n+i (ж) < Fn+i (л:),
и, значит, функция Vn+1 (x) является также эксцессивной
относительно оператора Г2_п. Поэтому Vn (x) ^ Vn+t (#),
и, следовательно, предел lim Vn (x) существует.
п
3. Теорема 11. Пусть функция g?[0M функция
h Ez В такова,, что
a) h (х) =
b) л (х) < *
1) 5 (#) является наименьшей эксцессивной мажорантой
функции
G(x) =
2) if^/iw s (x) и Sq (x) = sup MXG (xx) совпадают;
3) s (x) = lim lim <?^C (ж).
n ЛГ
Для доказательства нам понадобится
Лемма 20. Пусть функции g (x) и h (x)
принадлежат классу В, причем h (x) удовлетворяет соотношению
C.98). Тогда:
a) функция V (х) непрерывна сверху; В;
b) TtV(x)^V(xO t>0, XEEE;
c) функция V (х) ^Q-непрерывна сверху:
d) V (х) — наименьшая эксцессивная мажоранта G (х).
Доказательство, а) В случае, когда функции
g (х) и h (x) e S3 (А~), соответствующее доказательство
содержится в лемме 3. Это доказательство сохранит свою
силу и для рассматриваемого случая, если только

184 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. Ш
обосновать неравенство (см. 3.20))
Ма lim ф (xt+Xn) < lim М^ф (^+т ), C.101)
п п
справедливость которого в условиях леммы 3
гарантировалась леммой Фату.
Итак, пусть функция ф?В, причем ф > G. Покажем,
что тогда для любого t > 0 функция Ф (х) = М^ф (xt)
также принадлежит классу В. Зафиксируем точку х ЕЕ
GE Е и пусть {тп} — последовательность марковских
моментов, являющихся моментами первого достижения
компактных множеств и таких, что для всех *) со ЕЕ Q
тп (со) j 0, тг ->• со.
Функция Ф (х) является почти борелевской (см.
доказательство леммы 3), и из строго марковского свойства
lim МЛФ (х,п) = lim МяГ,<р (х,п) =
п п
= 21111/^ Мач ф (я*) = lim_Macp (ar/+tn). C.102)
п п
Положим
Пп = Мя[— А"(^оо)|Я+хп1, гс-1, 2,...
Тогда (Рж-п. н.)
поскольку /г ^ G ^ ф.
Функция — /&-(#«>) интегрируема, и поэтому семейство
случайных величин {т)п, ?г = 1, 2, . . .} равномерно
интегрируемо, причем с Р^-вероятностью единица
существует lim T]n. Следовательно, в силу C.102), C.103), заме-
п
чания к теоремам 1.2—1.4 и ^-непрерывности снизу
*) Предположение, что тп (со) \ 0, п -» оо, для всех cogQ,
не ограничивает общности, поскольку в противном случае надо было
бы перейти к моментам
\0,
о: т„(©I0}.

§ 6] ПОСТРОЕНИЕ РЕГУЛЯРНЫХ МАЖОРАНТ 185
функции ф (х)
Inn МХФ (хХп) = ШпМхф (xt+Xn) >
п п
(г,+%) > Мхф (ж,) = Ф (от).
Отсюда вытекает ([39], теорема 4.9), что почти борелев-
ская функция Ф (х) является ^-непрерывной снизу. Так
же как и в лемме 3, из этого выводится, что функция
V (х) принадлежит классу В, т. е. является почти боре-
левской, ^-непрерывной снизу и такой, что V (х) ]> —оо.
Ь) Рассмотрим функцию Vn (х) = lim Qn G (х). Как и
N
в лемме 3, показывается, что для всех 1У к Ez N
Tt.f* Vn (х) < Vv (x).
Отсюда получаем
?У2_*7 (х) < V (х).
Пусть теперь t ее [0, оо). Выберем последовательность
двоично-рациональных чисел {rt} таких, что rt | t, i —>
—> оо, и положим
Последовательность {г|г} сходится Px-n. н.,
Лг < МхГ| ^ (Жво) < V (хг.),
и в силу замечания к теоремам 1.2—1.4 и п. а)
V (х) > lim Tr.V (x) - lim M,F (хч) >^x]\m V (xr.) >
> Мя lim V (xt+n) > M,F fe) = TtV (x). C.104)
с) Установим теперь ^-непрерывность сверху
функции V (х). Для этого достаточно показать, что для любой
последовательности марковских моментов {тп},
являющихся моментами первого достижения компактных множеств,
содержащихся в открытой окрестности точки х, и таких,
что Рх {тп I 0} = 1, выполняется неравенство
Ш ж V (х,п) < V (х).

186 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Пусть марковский момент т принимает значения в
множестве {Z«2~n, Ie ^}. Установим неравенство
МХ7 (хх) < V (х).
С этой целью покажем сначала, что
где Vb (х) = min (ft, V (х)) и Ъ > 0,— равномерно
интегрируемый супермартингал.
Так как Fb(xb3_«)<ft и
.2_„) >-hr (xurn) = M,je_n (- Л- («„)) =
где последовательность {т1г.2-п}, I & У, равномерно
интегрируема, то последовательность {Vb (х[2-п)}, I e У,
также равномерно интегрируема. В силу C.104)
Мж \Vb (xt^n+t) | <f ,.2-n] = r(F6 (xM_n) =
= MXj 2_n min [ft, F («,)] < min [ft, M,^ V (x,)] =
= min [ft, TtV (x^_n)] < min [ft, F(*,.,_„)] = Fb(^.2_n).
Оююда вытекает, что последовательность
-п), Г(.2-п,Рж) ^eJ,
есть (равномерно интегрируемый) супермартингал, из
известных свойств которого (теорема 1.9) следует, что
с Рд-вероятностью 1 существует lim Vb(xt 2_n), причем
. | lim Vb (xh2~n) | <C °° и P«"n- н- Для любого
Мж [lim F" (^.2_n
Из теоремы 1.11 (см. A.28)) следует:
Mr [Vb (*) | f J < Vb (xa) (Ря-п. н.), (ЗЛ05)
где т и а «^ т) принимают значения в множестве {Z.2"n,
}. Отсюда, полагая, a = 0 и 6 ->оо, получаем]
MjcFfoXF». C.106)

§ 6] ПОСТРОЕНИЕ РЕГУЛЯРНЫХ МАЖОРАНТ 187
Установим теперь, что это неравенство остается
верным и для любых т ЕЕ 9R. С этой целью положим
• 2-п, если (Z — 1J-п < т < Z-2~n,
f- оо, если т = + °°-
Ясно, что тп | т, и поскольку для ^-непрерывных
снизу функций V (х) имеет место неравенство
V (xx+h) > V (хх) (Ря-п. н., хЕЙ)
(ср. с [39], следствие 3 к теореме 4.9; стр. 177), то
(Ря-п.н., хЕгЕ)
lim V (хХп) = lira inf V (x,s) > lim inf V (x,+t) >
> lim
Поскольку V (^rn) > АЛ,, [—hr(Xoo) \ fxj = r)n, то
согласно замечанию к теоремам 1.2—1.4 и (?.1О6)
lim V (ач„
п
)< lim M
П
1* " \^п
)<У{х)
C.107)
(для любых т е 9R).
Пусть теперь {тп} — последовательность марковских
моментов со свойством Р^. {хп | 0} = 1. Тогда, как уже
показано,
и, значит, lim M^F (^Tn) ^ F (ж), что достаточно (см. до-
п
казательство п. с)) для ^-непрерывности сверху
функции V (х).
d) Из а) и с) следует, что функция V (х)
^-непрерывна. Из Ь) следует, что V (х) эксцессивна (см. определение
2 в § 2). Ясно также, что V (х) > G (х), т. е. V (х) — экс-
цессивная мажоранта G (х). Осталось показать, что она
является наименьшей эксцессивной мажорантой G (х).

188 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. Ш
Пусть ф (х) — также эксцессивная мажоранта G (х).
Тогда, в частности, Г2_пф (х) ^ ф (#), и значит,
QnV (х) = Qn'1 max {ф (х), Г2_пф (х)} = (?ГХФ (х) = . . .
. . . = Ф (я).
Так как ф (х) > G (ж), то ф (*) = <?пФ (х) > <?п& (ж).
Поэтому
Ф (х) > lim lim Q™G (x) = F (ж).
п ЛГ
Лемма доказана.
3. Доказательство теоремы 11. В
силу леммы 20 достаточно показать, что
V (х) = s (x) = Sq (x).
Докажем, что Sg (#) ^ V (х).
Поскольку G (х%) < V (хх), теЖ, то из C.107)
находим
М^ (ж.) < hhxV (xx) < V (х),
и, значит,
SG(x) =
Установим теперь неравенство Sg (#) > V (х).
Пусть 8 ]> 0 и
теп = inf {к. 2-*: Fn (^.2_п) < G (а:л#2_п) + е}, /с е iV.
Предположим, сначала, что функция G (х) ^ Ъ < о
Функция G (#) ^0-непрерывна и МЛС (^г2-п) > ~о
Поэтому Fn (ж)—наименьшая эксцессивная мажоранта G
относительно Г2_п *) (лемма И.6). Ясно также, что G
ЕЕ L (A+) и, значит (лемма 1.8),
1Ш Vn (а п) =ТшСт (хК^п) (Рж-п. н., xg?)
И
РхК<оо} = 1 C.108)
*) Т. е. FnEg и удовлетворяет неравенству C.7) для t =

б] ПОСТРОЕНИЕ РЕГУЛЯРНЫХ МАЖОРАНТ 189
По лемме 1.7
Vn (х)
и поскольку Vn (ж) <; Ь < оо, то по лемме Фату
Vn (а?) < МжШп / ^<к -П) Vn
С учетом C.108) отсюда получаем неравенство
Vn (х) < M,Fn (х „), е > 0. C.109)
Освободимся теперь от предположения G ^ Ъ < оо.
Для этого введем величины
G6 (ж) = min {&, G (x)}9 Vbn (х) = lim Q»Gb (x)
и докажем, что lim Vn (x) = Vn (x).
Ясно, что величины Vn (я) при й -> оо не убывают.
Положим Vn (х) = lina Vn (x) и установим, что функция
Vn (x) — наименьшая эксцессивная мажоранта функции
G (х) относительно Т2-п.
Функция Vn {x) является наименьшей эксцессивной
мажорантой функции Gb (x) относительно Г2_п. Значит,
Г2_п Vn (х) = Т2.п lim Vbn С*) = lim TnF^ (я:) >
^(a:)S=P;i (x),
т. е. Fn (л:) —- эксцессивная функция относительно Тг-п*
Так как Vl(p) > Gb (x) и Gb (x) f G (х), то Fn (a:) >
> G (ж), т. е. Fn (x) — эксцессивная мажоранта функции
G(x).
Если теперь ср (д;) — также эксцессивная мажоранта
Gb (х), то ф (х) > Gb (x), и так как Vn (я) — наименьшая
эксцессивная мажоранта, то Vn (я) ^ Ф (х)9 и,
следовательно, Vn (х) = lim Fn (x) < ф (#).
Ь

190 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Таким образом, Vn (х) — наименьшая эксцессивная
мажоранта функции G (х) относительно Г2_п. Значит,
Vn (х) = Vn (х) и lira Vl (x) = Vn (x).
b—»-oo
Из неравенства C.109) (выполненного для Vn (#))
вытекает, что,
Vbn (х) < МЖУ* (жя)< M,Gb (хп)+ 8<M^G (х п)
т т ^
^ sup Мд-G (хх) + 8 = 5g (я) + е,
и, следовательно,
V (х) = lim Vn (х) = ljm lira F? (ж) < ^G fe).
Итак, F (x) < 5b (ж).
Далее, неравенство
s(x)^SG(x) C.110)
очевидно. Для полного доказательства осталось лишь
установить, что
Sg(x)<s{x). C.111)
Заметим, что до сих пор мы не использовали
предположения, что функция g e Lo (использовалось лишь
предположение gEL) и что h (x) ^ s (х). Воспользуемся
теперь ими.
Положим
Gb (х) = rain [ft, G(x)],
SbG (x) = sup M*Gb fa), b > 0.
Функция gb (x) = min [b, g (x)] удовлетворяет условию
A+, и из теоремы 5 (доказанной для функций g ЕЕ Lo (A+))
получаем
^fr), те!?, rrei?, C.112)
где sb (x) — цена для gb (x).

6] ПОСТРОЕНИЕ РЕГУЛЯРНЫХ МАЖОРАНТ 191
Далее, поскольку h (х) <^ s (х), то
МЛСЬ (яч) — М,, min [max (g (xx), h (xx)), b] =
< Mx max И*ч), й
Значит, в силу C.112)
b (x,) < sup Ma5b (.тт) < <?b (яг)
Полагая Ь->оо, получаем
что и доказывает C.111).
Итак, Sq (х) = s (х) = V (х) и F (х) — наименьшая
эксцессивная мажоранта G (х).
Теорема полностью доказана.
5. В следующей теореме рассматривается специальный
класс функций h = h (x)y что дает возможность ослабить
предположения, сделанные в теореме И относительно
функции g (х).
Теорема 12. Пусть функция ?ЕВ (а"). Тогда
1) s (х) — наименьшая эксцессивная мажоранта
функции G (х) = max [g (x)f —М )]
2)() S()
3) s(x) =lim VimQnG (x).
n N
Доказательство. Положим
и покажем, что функция АбВ.
Ясно, что h (х) ^>—оо, х^Е. Для доказательства
почти борелевости функции h (x) достаточно установить
([39], теорема 5.13), что эта функция является
^-измеримой ($5 — пополнение сг-алгебры 3d относительно
семейства всех вероятностных мер на S), и что для каждого
х ЕЕ Е lim Tth (x) = h (х). Последнее непосредственно еле-
дует из марковского свойства:
Tth (х) = М, [- ЛЦГ Ы]= - toJAxlg-(x»)\ft]=b (x).

192 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Далее, случайная величина g (xt) является при каждом
t > О ff-измеримой *) и в силу сепарабельности
процесса {g (xt), t > 0} величина g (#«,) является f ^-измеримой.
Отсюда и из теоремы 3.1 в [39] следует, что функция h (х)
^-измерима. Вместе со свойством lim Tth (х) = h (x) это
**-*¦„'•»• t [ о
доказывает почти борелевость функции h (x).
Пусть теперь {гп} — последовательность марковских
моментов с Рх {хп \ 0} = 1. Тогда из строго
марковского свойства вытекает:
(xXn) s {^
- - Jim М^М,, [f (Хоо) \§гХп] = - МХГ (Хоо) = h (x),
п
и из теоремы 4.9 в [39] следует, что функция h (x)
^-непрерывна.
Итак, функция h (x) почти борелевская и
^-непрерывная. Из теоремы 4.11 в [39] вытекает, что случайная
функция {h (xt), t > 0} непрерывна справа и, следовательно,
процесс {h (xt), t > 0} сепарабелен. Таким образом,
функция ЛбВ.
Покажем, что h(x) = Mxh (#<x). В силу
сепарабельности процесса {h (xt), t > 0} для любого счетного
множества s е [о, оо) х
limh (xt) =* lim h (x8).
Поэтому
hAxh (ггоо) = Мж ilm h (xs) = -Мл lim M^f (*<„) =
= -Мя HE M Jr (ж»)| Г.] = -M.M, fr (яг.IГ.1 =
e-»oo, ses
Заметим теперь, что в доказательстве теоремы И
условие g €E Lo использовалось лишь при установлении
неравенства Sq {x) ^ s (х). Поэтому для доказательства теоре-
*) ^^-пополнение а-алгебры &f- = с {о: х81 s ^ t} по системе
всех вероятностных мер Р^ (.) = ^ Р^ (•) р (dx)\ Wx = о (U ^f).

§ 6] ПОСТРОЕНИЕ РЕГУЛЯРНЫХ МАЖОРАНТ 193
мы можно воспользоваться утверждением теоремы 11,
если показать, что указанное неравенство остается в силе
и в предположении gEB(a").
Если s (х) = оо, то и Sq (я) = оо, поэтому будем
считать s (х) < оо.
Положим для т ЕЕ ЗЙ
А = {со: т ((о) < оо, — M^g" Or*,) < g (ят)},
J9 =- {со: т (со) < оо, — Млч#- (ж») > g (я*)},
т (ю), о)ЕЛ,
и покажем, что
cet). C.114)
Множество В ЕВ tf х. Поэтому
Мл/{т<оо} G (^) = Ма./{т<оо} шах fg (rT), — M^g~ (#«>)] =
(^) - МЛ/БМ Jg~ (Хоо)\ grz] <
(.rT) 4 tAxIBg (Xoo) = Мл/{т<оо} g (XaJ. C.115)
Из C.113) A (.Too) = — g~ (^oo) (Р*-п.н.), и, значит,
G (xeo) = max {g (x^), —g~ (x^)} = ^ (^oo),
что вместе с C.115) доказывает C.114).
Покажем еще, что для любого теЗК момент ах е $}#.
Из C.115) и f т-измеримости функции /{т<«>} (со)
получаем
/{т<00} g (л:От) + Мх/{т===оо} g (л:От) >
{т<оо> G (хт) + M3C/{T=oo}g (#«,) >
— Мх/{т<оо} М
g^oo) ()> — оо.
Следовательно,
7 А. Н. Ширяев

194 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Наконец, из C.114) находим
SG (х) = sup M^G (хх) < sup M^g (аах) <
< sup Mxg{xa) = s(x),
что, как уже отмечалось, выше, доказывает справедливость
всех утверждений теоремы 11.
Итак, теорема доказана.
6. Из теоремы 7 следует, что если g e Lo» то для
любых двух марковских моментов а и т Е 38^ со свойством
Р* {<* ^ ^ } = 1> х ?= ?", цена s (#) удовлетворяет
неравенству
C.116)
Развитые выше методы настоящего параграфа
позволяют распространить этот результат и на моменты класса 59?.
Теорема 13. Пусть выполнено одно из следующих
двух условий:
a) g e Lo и существует функция АбВ такая, что
h (х) = tAxh (я») и h (x) <; s (х)\
b) *еВ(а-).
Тогда для любых марковских моментов а итЕ®!
таких, что Рх {а <^ т} = 1, х ?Е Е, выполнено неравенство
C.116), и, следовательно, цена s (x) является наименьшей
регулярной мажорантой функции g (x).
Доказательство. Рассмотрим опять функции
v (х) и vb (х) — mill {6, v (x)}. По лемме 20 они являются
эксцессивными.
Из теоремы 4.11 [39] следует, что процесс {vb (xt), t >
!> 0} непрерывен справа. Далее, как и в лемме 20,
показывается, что процесс {vb (xt), t > 0} является равномерно
интегрируемым супермартингалом. Поэтому из теоремы
1.9 следует существование интегрируемого предела
lim vb (xt)9 такого, что
t—»оо
Мж Him vb(xt) I f,\ < vb (x.) (?x-n. h., x e E).
Из теоремы 1.11 для любых марковских моментов а и

§ 7] в (х)-ОПТИМАЛЬНЫЕ МАРКОВСКИЕ МОМЕНТЫ 195
теЖс Рх {а < %} = 1 получаем
М* [г?ь (жг) | f а] < г;5 (яв) (Р*-п.я., х е Я),
а значит, и Mxvb (хх) <^ Мхг;ь (ха). Отсюда, полагая, Ь
-> сю, находим, что
Утверждения доказываемой теоремы теперь
непосредственно вытекают из теорем И и 12, в которых было
соответственно установлено, что при условиях а) и Ь) цена
s (х) =¦- v (х).
§ 7. 8 (яс)-оптимальные марковские моменты
1. Если функция g G Lo (A+), то согласно теореме 6
для всякого е ^> 0 моменты
Те = inf {t > 0: s (xt) < g (xt) + 8} C.117)
являются е-оптимальными, т. е.
e. C.118)
Однако при нарушении условия А+ моменты т? могут,
вообще говоря, и не быть е-оптимальными (см. пример 6
в § 6 гл. II).
Чтобы изучить вопрос об е-оптимальности в случае
нарушения условия А+, введем следующее
Определение. Марковский момент т будем
называть 8 (х)-оптималъным на множестве Ео (Ео с: ?),
если для всех х е Ео математические ожидания M^g (xx)
определены и
s (х) < toxg (xj + 8 (*), х <= Ео. C.119)
Если е (х) == 8, Ео = Е% то это определение
превращается в данное в § 1 определение 8-оптимальности момента
т. Однако, как уже отмечалось, е-оптимальные моменты,
вообще говоря, отсутствуют. В настоящем параграфе
будут рассмотрены случаи, в которых можно утверждать
существование 8 (я)-оптимальных марковских моментов
с функцией 8 (х) = 8 s (х).

196 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Теорема 14. Пусть функция geL0, e (х) =
= es (х) и для всех жб^- {я: s (х) < оо}
Рх {lim g (xt) > 0} = 1.
Тогда для всякого е ]> 0 моменты
а; = inf {* > 0: s (*,)<? (я,) + 8.9 (я,)} .
являются е - s (х)-оптималъными марковскими моментами
на множестве Ео, т. е.
*xg{xj>s(x)[l-b\, xe^E0. C.120)
е
2. Доказательству теоремы предпошлем две леммы.
Будем говорить, что марковский момент т ?Е 9Kg
принадлежит классу 91 (х; б, е), где х ЕЕ Е, б > 0, е > 0,
если
8 C.121)
(ср. с определением класса 9К (#; б, е) в п. 2 § 3).
Лемма 21. Пусть g е Lo- Тогда для х е Ео =
= {ж: s (#) < оо}, б ^> 0, е > 0 класс 31 (#; б, е) является
достаточным классом марковских моментов для х е Ео:
$ (х) = sup M^
^ (х; 5, е)
Доказательство. По определению момента
el на множестве {со: т <С aj} справедливо неравенство
g (#т) < S (Хх) — 85
Вместе с очевидным неравенством g (ят) ^ $ (хт) отсюда
получаем (т е 3Rg)
{т<в|} C.122)
В силу C.82) для всех а, т? 3R* со свойством
{<} 1
Из определения класса 91 (х; б, г) и C.122) вытекает,

§ 7] е (х)-ОПТИМАЛЬНЫЕ МАРКОВСКИЕ МОМЕНТЫ 197
что для всех т е $TOg \ 31 (х; б, е)
M*g (хх) < 9 (ж) — еб,
и, значит,
sup Mjcg (#-) <; 5 (x) — еб.
-cegj^NJK (ос; 5, 6)
Но s (х) = sup Mxg (#т). Поэтому, в силу того, что
е > 0 и б > 0, находим, что если я; е ^о> то
s(x) = sup
З? (х;8, с)
Лемма 22. Пусть ?eL0 m Px {Jim g (^) > 0} = 1,
Зля
* (г) = Мя/о,<во) * (*„,) 4-Мя/ o,=ooj lim g (xt). C.123)
Доказательство, Поскольку Рх {lim?(ж
zEo, то Mxg (хоо)^> — оо, ie?0« Из теоремы 8
получаем
7о< »»s
? (*>' C.124)
Докажем обратное неравенство.
Пусть б„ = 2"" иже ^0' ^ силу леммы 21 можно
найти такую последовательность т„ €= 91 (ж; б, е), что
s (ж) = lim hAxg (r,n).
П
Применим неравенство C.84) с т_= хп и а = min {тш at}.
Учитывая, что s(x) =s (х) > Мх lim g (xt) > 0, получаем
t
s (x) = lim M^g (^Tn) < lim Мж 1{Хп< ^ s (xXn) <
n n
< lim Mx/

198 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
+ Thn Mx [/ 5 (я )] C.125)
Поскольку tn e= 91 (#; б, е), то
limMx/ . s(^J<limSn = 0. C.126)
Заметим, что
{о: < oo) П К > ai} с {ае*< оо}, C.127)
В силу C.125) — C.127) и условия Рх {fim g (*«) > 0} = 1
. (*) < Мх/{о.<оо) , (*о.) + Мх/о,>те( Пт g (х,),
что вместе с C.124) доказывает C.123).
3. Доказательство теоремы 14.
Покажем, что интеграл МЛ? (ха*) существует для всех
х е Ео.
На множестве Ео функция s (x) является
^^непрерывной (теорема 9) и процессы {g (xt)y t > 0} и {s (xt)f t >
> 0} непрерывны справа.
Из определения момента ol следует
Отсюда видно, что при 0 < 8 ^ 1
Мж?(яо.)>0.
Если же е > 1, то
g(хо.) >(в- 1){-/{о.<оо}«(^) - / e.=oo) Timg(»,)>,
и из C.84) (поскольку 5 (д:) < оо, х GE ?"о) находим, что
М*? (х J >(е - 1) (- ^ (х)) > - оо.
Итак, для всех х е Ео tAxg (xa*) определено.
Установим теперь неравенство C.120). В силу
леммы 22 и непрерывности справа процессов {g (xt), J>0}

§ 7] 8 <*)-ОПТИМАЛЬНЫЕ МАРКОВСКИЕ МОМЕНТЫ 199
и <*(*«), t>0}
s(х) = Мж/ s(* ф) + М»7 ТШ
{ое<оо} og {о?=оо}
Но Pjc (lim g (xt) > 0} = 1, x e iE0. Поэтому
и из той же леммы 22 вытекает, что
Значит, из C.128) получаем
s(x)^hAxg(x J 4 69
Теорема доказана.
Замечание 1. Условие Рх {lim g(xt)^Q} = l, xEz
e ?"о> входящее в формулировку теоремы 14, можно
заменить условием —-оо < Мг. lim g* {xt), xEEE0. В этом слу-
t
чае вместо функции е (х) = е s (x) следует взять
8 (х) = е U (аг) — M^Timg (^)l.
Замечание 2. Теорема 14 останется
справедливой и в случае дискретного времени (в предположении
gEL и ?х {И^ ? (*п) > 0} = 1, о: е ^о = {^ * («) <
п
< оо}). Применительно к примеру 6 § 6 гл. II отсюда
следует, что момент первого попадания в множество Г =
= {0} U {п: п > A — *0/8} является 8 (х) — е s
(^-оптимальным (е > 0).

200 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. Ill
§ 8. Уравнения для цены и обобщенная задача Стефана.
Условия «гладкого склеивания»
1. В случае дискретного времени п = 0, 1, 2, . . .
цена s (х) удовлетворяет рекуррентному уравнению
s(x) = max {g(x), Ts(x)}, C.129)
которое можно использовать для ее отыскания.
Естественно желание получить аналог этого уравнения и для
случая непрерывного времени.
Если функция gEB (А~), то в силу теоремы 1 s (x) >
> g (х) и s (x) > Tts(x), t > 0. Следовательно,
s (x) > max {g (х), Tts (x)}. C.130)
По аналогии со случаем дискретного времени можно
было бы думать, что, по крайней мере для некоторых t ^>
>¦ 0, в C.130) имеет место знак равенства. Однако, это,
вообще говоря, не так. Но, тем не менее, если в C.130)
момент t заменить на специальным образом подобранный
(нетривиальный) марковский момент т, то можно
получить соотношение, в определенном смысле аналогичное
C.129).
С этой целью обозначим
Го= {х: g(x) = *(*)}, Со = ?\Г0.
Из теоремы 3 мы знаем, что если функция g ЕЕ Во (А",
А+) непрерывна сверху, то момент т0, являющийся
моментом первого попадания в множество Го, является
оптимальным марковским моментом. Таким образом, знание
цены s (х) позволяет в этом случае полностью описать оп-
тималъное правило остановки. Понятно, что в области
«остановки наблюдений» Го цена s (x) совпадает с
функцией g(x).
Следующая теорема показывает, каким свойством
обладает цена s(x) в области «продолжения наблюдений) Со.
Теорема 15. Пусть функция g E: Lo« Тогда для
каждой точки х GE Co f] {x: s (х) <С оо} цена s (x)
принадлежит области определения характеристического
оператора 91 (в топологии $0) и является решением обобщенной
задачи Стефана:
%s (х) = 0, х е Со П {*• * (х) < оо}, C.131)
s(x) = g (x), х(=ЕТ0 = Е\С0.

§ 8] УРАВНЕНИЯ ДЛЯ ЦЕНЫ И ЗАДАЧА СТЕФАНА 201
Доказательство. В силу определения
оператора Ч достаточно показать, что для каждой точки х GE
ECof| {х: s (х) <С оо } существует окрестность U Е= $0 f] 3&
точки х такая, что для любых окрестностей V ЕЕ
Е 5?о П ®> FCP, выполнено равенство
s (х) = Мж* (яв(У)), C.132)
где a (F) — момент первого выхода из F.
Пусть жЕС0 и ^ (л:) < оо. Тогда найдутся а <^ 0 и
е' > 0 такие, что
где ga (ж) = max {a, g (я)}, s1 а\ (х) = sup
gl°l (д:) = min { | а |, g (х)}, причем 51а> (ж) | s (x), а\
\ —оо (см. доказательство теоремы 7). Из
^-непрерывности функций gu (x) и 5'a I (я) (теорема 5) следует, что
U Е= ^о- На основании следствия к теореме 4.8 из [391
^о П ® является базой топологии ^0. Значит,
существует окрестность С/ е ^0 П ЗВ такая, что х ЕЕ U Q^U.
Положим для 8 > 0, Ъ > 0
т?Ь = inf {^ > 0: 9b (xt)
В силу леммы 19 и теоремы 5 для 8 ]> 0 и Ь !> 0
x ь). C.133)
Ясно, что а (С/) < TV для всех Ъ > | а |, причем Рх {v <
< оо} = 1, е' ]> 0. Поэтому из SRg-регулярности цены
5Ь (ж) (теорема 5) следует
где F с [[, 7 g ^о П ^« Вместе с C.134) это дает
соотношение
sb (х) = toxsb (xa{V)) = M^ (xa{U)), C.134)
из которого предельным переходом (Ь ->¦ оо) получаем
требуемое равенство C.132).
Из определения оператора 9t и C.132) следует, что
4s (х) =0, а:е«0П{^ s (х) < оо}.

202 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Ясно также, что
5 (х) = g (х), х<=Т0 = Е \С0
что и доказывает теорему.
Замечание 1. Если рассматриваемый процесс
X = (zt, ft, Px) является Z-мерным винеровским
процессом и a priori известно, что s (x) дважды непрерывно диф-
ференцир^ема, то оператор % превращается в дифферен-
циальный оператор Лапласа -«-\ —г-,[39], и (в предпо-
2 Ы dxi
2 Ы
2 Ы
ложении g ЕЕ Lo) цена s (x) является одним из решений
(дифференциальной) задачи Стефана:
I
i=l
9
da
S
г
— s (
j. >
(X)
'.*) =
= 8
o,
}
@.100)
Св.
Это оправдывает то, что задача C.131) была названа выше
обобщенной задачей Стефана.
Замечание 2. Важно подчеркнуть, что, в
отличие от обычных граничных задач, в рассматриваемых нами
задачах Стефана область «продолжения наблюдений» $0
(где справедливо «уравнение» 9E (х) = 0) является
неизвестной и должна быть найдена одновременно с самой
функцией s (х). В связи с этим задачи Стефана называют
также задачами с подвижными (или неизвестными)
границами.
Замечание 3. До сих пор (в этой главе) мы
рассматривали лишь задачи, в которых плата за наблюдения
равна нулю. По аналогии с § 14 гл. II может быть изучен
и тот случай, когда цена определяется, например,
следующим выражением:
s(х) = sup Mx\g (xx) — ^c(xB)ds] ,
L о J
где плата за наблюдения с (х) > 0, с (х), g (x) e Lo и sup
берется по тем моментам остановки, для которых опреде-

§ 8] УРАВНЕНИЯ ДЛЯ ЦЕНЫ И ЗАДАЧА СТЕФАНА 203
лены математические ожидания
т
Мое \g (Жх) — $ с (xs) ds\, # <= Е.
1 о J
Используя методы настоящей главы и методы § 14
гл. II (см. теорему 24 и замечание 2 к ней), нетрудно
установить, что при сделанных предположениях о функциях
с (х) и g (х) цена s (x) принадлежит области определения
характеристического оператора (в топологии $0) и
является решением обобщенной задачи Стефана:
%s (х) = —с (х), х е {*: g (ж) < 9 (*)< оо},
5 (ж) = g (х), х е {ж: gr (ж) = 5 (ж)}.
2. Самые простые примеры *) показывают, что задача
Стефана C.131), как правило, имеет неединственное
решение. Поэтому для выделения единственного решения
(совпадающего с ценой 5 (х)) приходится отыскивать
дополнительные условия, которым необходимо должна
удовлетворять искомая функция s (#).
Ниже рассмотрен один случай, где удается найти
дополнительные условия, которым удовлетворяет функция
s (х) на границе дТ0 области «остановки наблюдений»
Го = {х: s (х) = g (x)}. Этих условий также может не
хватить для нахождения цены s (x). Однако в тех задачах,
которые будут рассмотрены в гл. IV, эти условия
позволяют полностью определить цену s (x) и структуру
оптимального правила остановки.
Пусть X = (xt, ft, Рл), t > 0,— одномерный
непрерывный (стандартный) марковский процесс в фазовом
пространстве (Е, «©), где Ecz R и функция ?gL0 (А"", А+).
Положим s (х) = supM^g (хт), Го = {х 6= Е: s (х) =
= 8 (#)}> Со = Е \ Го, и пусть дГ0 — граница
множества Го. Будем предполагать, что для каждой точки у е дГ0
и достаточно малых р>0 множество YI (у)]=
= {х-: у-р<х<у}с:С0, a V\(y)^{xi y + p>
> х >гу} с Го. Ясно, что s (р) = g(y), если у е ЗГ0
и V-(y) \jVt(a) = Fp (у), где Fp (.у) - {х: \х - у |< р}.
¦) См., например [95].

204 ОПТИМАЛЬНАЯ ОСТАНОВКА ПРОЦЕССОВ [ГЛ. III
Обозначим
(Хр (у) = inf {г> 0: xt&E\ Vp (у)}.
Теорема 16. Пусть X = (xt, $t, Рл), t >
0,—одномерный непрерывный (стандартный) марковский процесс
в фазовом пространстве Е с: R и g ЕЕ Lo (A~, А+).
Предположим, что *)
Aj: g (у) = TOp(y)g(y) + о (р), # е 5Г0;
А2: в некоторой окрестности V? (у) \J {у} точки
У ЕЕ #Г0 существуют и непрерывны «левые» производные
A* ft л а ж# /г дмг л ^^ О Р / т1 / ч —- II _ л \ ^^» /• \ О
3» UJlib JVUlJiOlJU у) ^^ \J \y \A>q (y\ — у ^^ fJ I ^& \* ^^ V/.
Тогда в точке у е дТ0 имеет место условие «гладкого
склеивания»:
ds(x) _d-g(x)\ (ЗЛ36)
dx ~~ dx
Доказательство. Обозначим / (х) = s (x) —
g (x) и покажем, что
C.137)
Действительно, в силу теоремы 1 и леммы 1 s (у) ;>
> ^op(vM (^/)- Используя условие Alt отсюда находим
g (у) - TOp(u)g(y) + о (р) = s (у) > ГОр(у) 9 (у),
значит,
^> (Р) = Tap{y)s (у) - TOp{y)g(y) = ГОр(у)/ (у) > 0,
что и доказывает C.137).
В силу C.32) и теоремы 1
lim .9 (xt) = lim g (xt) (Рх~п. н., х е ^).
Поэтому
{w: ep(y) я о»}
4 S
to er (Xi) d?y.

* 8J УРАВНЕНИЯ ДЛЯ ЦЕНЫ И ЗАДАЧА СТЕФАНА 205
Разлагая функцию / (х) в окрестности точки у в ряд
Тейлора и используя непрерывность процесса X, находим,
что для достаточно малых р > 0
{со: Ор(у)<оо}
\
{«о:
р(,/
\
где i?x (p) = о (р) в силу условия А2.
Согласно условию А3 для достаточно малых р
вероятность Ру{хар(У) = у — р}>е>>0. Поэтому требуемое
соотношение C.136) непосредственно вытекает из C.137) и
C.138).
Замечание 3. Если Vp (у) cz Co, то
соотношение C.136) заменяется равенством «правых» производных:
C.139)
(В этом случае очевидным образом надо видоизменить
предположение Д2.)
Замечание 4. Приведенный вывод условий
«гладкого склеирания» C.136) и C.139) распространяетря и на
случай /-мерных процессов (подробнее см. [26]).
Из теорем 15 и 16 непосредственно вытекает
следующий результат.
Теорема 17. Пусть выполнены предположения
теоремы 16. Тогда цена $ (х) есть решение следующей обоб-
щенцой щдачи Стефана:
%s (х) = 0, жЕС0 = й\ Го,
9 (jc) = g (х), х е Го,
C.140)
ds(x) ^d-g(x)\
dx dx

ГЛАВА IV
НЕКОТОРЫЕ ПРИМЕНЕНИЯ К ЗАДАЧАМ
МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
§ 1. Последовательное различение
двух простых гипотез (дискретное время)
1. Цель настоящей главы — показать, как развитые
выше методы отыскания оптимальных правил остановки
могут быть применены для решения некоторых задач
статистического последовательного анализа.
В § 1 и 2 рассматривается задача последовательного
различения двух простых гипотез. В § 3 и 4 изучается
задача скорейшего обнаружения изменения вероятностных
характеристик наблюдаемого процесса (задача о
«разладке»).
2. В общих чертах задача проверки двух
статистических гипотез формулируется следующим образом.
На некотором измеримом пространстве (Q, f) заданы
две вероятностные меры Р°, Р1 и последовательность
случайных величин glf ?2> • • •> совместное распределение
которых есть Ре, где параметр 0, принимающий два
значения 0 и 1, неизвестен. Интересующая нас задача состоит
в том, чтобы с наименьшими «потерями» определить
истинное значение параметра 6 по наблюдениям 11У ?2> • • • •
Далее будет рассматриваться тот случай, когда
относительно каждой из мер Ре, 0 = 0, 1, величины Ei> Ёг> - • •
образуют последовательность независимых одинаково
распределенных случайных величин, одномерная плотность
вероятности которых (по некоторой мере ц) есть *) рв (х).
*) Последнее предположение не является ограничением,
поскольку всегда можно взять, например, |* = у (Р° + Р1)-

§ U ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 207
При этом в зависимости от характера предположений о
структуре неизвестного параметра будут изучаться
следующие две постановки (байесовская и условно
экстремальная) этой задачи.
3. Байесовская постановка. Пусть на
измеримом пространстве (Q, <?) заданы случайные
величины 0, J*!, ?2» • • • и вероятностная мера Рп такая, что:
1°) Р" {е = 1} = я, Ря {0 = 0} - 1 — я D.1)
(я — некоторое фиксированное число из [0, 1]);
2°) для каждого множества A Ez ?*> = о {со: ?х, |2> • • •}
?«{А П 1в =/]} — яР> (A), j = 0, 1, D.2)
где Р1 и Р° — две вероятностные меры на (Q, f *), не
зависящие от я и обладающие тем свойством, что для любого
3°)
Заметим, что из 1°и2°следует, что для каждого
Р»(А) = яР1 (А) + A - я)
Иначе говоря (ср. с B.206), B.207)), будем
предполагать, что случайная величина 0 принимает два значения,
1 и 0, с априорными вероятностями я и 1 — я
соответственно, а при условии, что случайная величина 0 равна /,
величины ?19 ?2> • • • (условно) независимы и одинаково
распределены (с функциями распределения Fj (х) =
= PJ" {2i ^ #}> не зависящими от я).
Пусть 5RS = {г} — совокупность марковских
моментов т = т (со) со значениями в Ж = {0, 1, . . .}
(относительно системы а-алгебр {^n}> wG J, §\ = о {со:
Ъг, • • •, ?Л, п > 1, f I = {0, Й}, а т\ = {d} —
совокупность ^^-измеримых функций d = d (со), принимающих
два значения, 0 и 1.
Применительно к задаче различения двух гипотез
«Но: 0 = 0» и «Нг: 0 = 1» выбор момента т означает выбор
правила прекращения процесса наблюдений над
величинами |х, |2> • • •> а функция заключительного (терми-

208 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ 1ГЛ. IV
нального) решения d = d (со) показывает, какую из
гипотез #0 или Нг следует принять. Если d (со) = 1, то будем
считать, что принимается гипотеза Н1У если же d (со) = 0,
то гипотеза Но.
Определение 1. Пару функций б = (т, d), где
т ЕЕ 9К^, d Ez 25т> назовем решающей функцией, или /?е-
шающим правилом. Через А = {6} обозначим
совокупность таких правил.
С каждым решающим правилом б = (т, d) естественно
связать потери двух типов: потери, связанные со
«стоимостью» наблюдений, и потери, вызванные ошибочностью
заключительного решения. Будем считать стоимость
одного наблюдения равной с > 0. Тогда средние потери
первого типа естественно характеризовать величиной с Мкт,
где Мят — математическое ожидание длительности
наблюдений т. Чтобы описать потери второго типа, введем
функцию
а (9 = 1, d = 0),
W (в, d) =
b (Q = O,d = 1),
0 (в = i, d = i; i = 0; 1),
где а > 0, b > 0.
Тогда средние потери от принятия решения d = d @)
равны
МяИЧе(ю), d(co)) = лР71 {9-1, d = 0} +
+ ЬРП{9 = 0, d= 1} = аяР71{й = 0|6 = 1} +
+ fc (J - л) Р* {d = 1 | 6 = 0}. D.4)
Вероятность Рп {d = 0 | 9 = 1} = Р1 {d = 0}
называется вероятностью ошибки первого рода и будет
обозначаться а" (б). Аналогично, Рп (б) = Р71 {d = 1|9 == 0} =
= Р° {d = 1} называется вероятностью ошибки второго
рода.
Пусть, наконец,
р« (б) = сМ*т + М*И7 @, d) D.5)
— суммарные потери (или «риск») решающего правила
б = (т, d).
Определение 2. Пусть п — фиксированное
число из [0, 1]. Решающее правило 8*п = (т?, d*n) нашем

§ 1] ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 209
п-байесовским, если
р-(б;> = infp-(S). D.6)
5Д
Покажем, что отыскание я-байесовского решающего
правила может быть сведено к решению некоторой задачи
об оптимальной остановке для специальным образом
построенной марковской случайной функции.
Пусть Пп = Рл {Э = 1 \fn} — апостериорная
вероятность гипотезы Н1 : 0 = 1. Поскольку <jf\ = {ф, Q}, то
Рл {я? = я} = 1. По формуле Байеса легко находим, что
для всех п > 1 (Р*-п. н.)
у - я)
Отсюда
и, следовательно, система статистик {Яп}, /г = 0, 1, . . .,
является транзитивной.
В рассматриваемом случае выполнено условие B.186)
(см. соответствующую проверку в B.215)). Поэтому
система П* = (я", fn, Ря), п = 0, 1, . . ., образует (для
данного я) марковскую случайную функцию.
Обозначим
ря = т!р*F). D.9)
бед
Лемма 1. Пусть б = (г, д) — некоторое решающее
правило, а б = (т, с?) — решающее правило такое, что
момент х тот же, что и в б, а
и, «:>бA*).
|0, <т?<ЬA-я:).
Тогда
р«(в)<р"(в); С4-11)
р« (8) = М"[ст+ *«)], D.12)
р»= inf М"[ст + г(я?)]. D.13)
5
(я) = min {ал, Ь A — я)};

210 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Доказательство. Если я = 0 или я = 1, то
утверждения леммы очевидны. Поэтому будем считать
0<я<1.
Рассмотрим на (Q, fl) меры Р°, Р1 и Рл. Поскольку для
Рл(А) = пР^А) + (i -n)P°(A),
то при 0 < я < 1 каждая из мер Р1, Р° абсолютно непре-
рывна относительно меры Рл. Пусть —- (со) — производ-
ная Радона — Никодима меры Р* по мере Р" (i = 0, 1)
г
и —- (fn) (со) — производная Радона — Никодима су-
е?Р
жения мер Рг и Р* на а-алгебру $\.
Нетрудно видеть, что Ря-п. н.
< (со) = я ^- (fl) (со) = яМ" ^ (со) | §гЦ .
Отсюда следует, что для всякого момента остановки т
(относительно системы F*> = {?^}, п > 0)
я^ (со) = яМя [^ (со) | ?*] (Р«-п. н.),
поскольку *)
я? (со) = я" (со) ({т = п); Р"-п. н.)
оо
(по определению я™ = \ Лп-/"{т=п}) и
0
(см. лемму 1.9 в [60]).
*) Напомним, что случайные величины ? и tj, заданные на (Й,
&, Р), называются совпадающими Р-п. н. на множестве Л (что за_
писывают в виде «? = rj (Л; Р-п. н.)»), если Р {Л П № ф т)]} = 0.

§ 1] ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 211
Тем самым
Ря{9 = 1, d = 0} = яР1^ = 0} = яМ1 [1 -d(co)] =
= М*[A-<*(со))М*(я ^-
и аналогично
Р*{8 = 0, d = 1} =M"[d (и) A -я? (со))].
В силу D.4) и D.5) отсюда заключаем, что
ря (б) = сМ"т + WW @, d) =
- М" {ст 4 ая" [1 - d («)] + & [1 - я*1 d (со)} >
> М" {ст 4- min [аях", 6 A - я?)]} =
Лемма доказана.
Из этой леммы вытекает, в частности, что при
отыскании я-байесовских решающих правил достаточно
ограничиться рассмотрением лишь правил вида б = (т, d),
где т G Ш, а
D.14)
и что задача отыскания я-байесовского решающего
правила свелась к задаче нахождения (для данного я)
момента %п такого, что
Мп [ст; + g (я»] = inf Мя [сх+ g (я?)]. D.15)
В свою очередь нам уже известно (§ 15, гл. II), что
решение этой задачи может быть получено из решения
соответствующей задачи для (специальным образом
построенного) марковского процесса
П - (я„, f п, Ря), п > 0,

212 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
со значениями в фазовом пространстве (Е, 33) =
= ([0,1], $& ([0, 1])) и определенного на «расширенном»
пространстве (Q, f) = (Q X [0, 1], f X Ш ([0, 1]))
следующим образом: для C = (со, я) с w G Q, я Е [0, 1]
яоC) ==я, пп (to) = я* (со),
fn == а {ш : 10 (со), 1Х (©),. . ., fn (со)}, где f0 E) «я,
fn (to) = ln (to), n = 1,2, . . .; для множества А е
e f oo = s(Uf n) мера Ря (Л) = РЯ(Л„) /А-> (я), где
Ап = {to: (to, я) е ^}, ^w = {я: (to, я) е Л}.
Итак, пусть П = (яп, tfn, Р„), п>0, я е [0,1],—
построенный марковский процесс и
= inf Mn[cx + g(nx)]. D.16)
SK[F]
Нетрудно показать *), что inf в D.16) достаточно
брать лишь по классу моментов остановки 3R1 [F] =
= {т е SR [Л: Млт < оо, 0 < я < 1}. Тогда в силу
теоремы 11.23 получаем**), что риск р (я) удовлетворяет
рекуррентному уравнению
р (я) = min {g (я), с + Тр (я)} D.17)
и момент
т0 = inf {п > 0: р (яд) = g (яп)} D.18)
является оптимальным моментом остановки (в классе
Ж1 IF") cz Ж1 [F]).
Изучим подробнее структуру функции р (я). Пусть
0<1,с)*(я) = min {g (я), с + Г^ (я)}.
Из D.7) и выпуклости вверх функции g (я) нетрудно
вывести, что функция
*) Ср. с§ 1 гл. II.
**) Переформулировка результатов теоремы 11.23 на случай
«риска» не вызывает, очевидно, никаких затруднений.

§ 1]
ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ
213
также выпукла вверх. Отсюда следует, что этим же
свойством обладают функции Q(Uc)g (я), Q2a>c) g (я), ....
Следовательно, функция р (я) = lim Q^c) g (я) (теорема 11.23)
п
выпукла вверх. Из выпуклости (вверх) функций р (я) и
Тр (я) вытекает, что на интервале @,1) они непрерывны
-/г
S i
ч
•г ¦—5
С+Тр(П)
1 >J
о
1 п
Рис. 6.
([39], теорема 0.8). Поэтому в силу D.18) область
«продолжения наблюдений» С*о = {я: р (я) < g (я)} имеет
следующий вид
С*о = {я: А*< я< Б'},
где 0 < А* < В* < 1 (рис. 6).
Легко заметить, что если р (я) = g (я), то ^4* =
= В* = —ц-7 и, следовательно, область продолжения
наблюдений Со = 0- Если же хотя бы в одной точке
р (я)< g (я), то А* < В*.
Итак, структура оптимального правила остановки в
«задаче D.15)» установлена. В соответствии с § 15 гл. II
знание этого оптимального правила позволяет для любого
заданного я, 0 <, я <; 1, описать и структуру
оптимального правила остановки в «задаче 4.13». А именно,
оптимальный момент т^ (см. D.15)) имеет следующий вид:
т* = min {п >0:Яп
где
Го* - [0,1] \ (А\ В*) = [0, A*] (J [В\ 1],
что вместе с D.14) доказывает следующий результат.

214
ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ
1.ГЛ. IV
Теорема 1. В задаче последовательного различения
двух гипотез п-байесовское правило 8* = (т?, d*n) имеет
следующую структуру:
т; = min {п > 0: я? ф (А*, В*)},
о,
DЛ9)
где А* и В* — некоторые константы, Q <^ А* <^ В* < 1.
Замечание 1. Заключительное решение d? может
быть записано в таком виде:
Г\ ТЕ
т
Замечание 2. Обозначим
D.21)
Тогда для всех л<1 и п
—лг
Переходя от статистик я" к статистике cpn, находим, что
(для данного я, 0 < я < 1) область продолжения
наблюдений Со — может быть записана в следующем виде:
А*
в*
Для полного описания я-байесовского правила бя
нужно еще определить неизвестные константы 4* и В*,
входящие в D.19). Однако в общем случае их отыскание
представляется весьма трудной задачей. В § 2 мы
рассмотрим сходную задачу последовательного различения двух
простых гипотез для винеровского процесса. В этом слу-

§ 1] ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 215
чае, опираясь на результаты, изложенные в гл. III,
удается найти систему уравнений, из которой константы А* и
В* определяются однозначно.
4. Условно экстремальная постанов-
к а. В этой постановке не делается никаких
вероятностных предположений о неизвестном параметре 6.
Пусть на измеримом пространстве (й, <?) заданы две
вероятностные меры Ро, Рх и последовательность
независимых (по каждой из мер ?t, i = О, 1) случайных величин
?i» ?2> • • • • Обозначим
fl={<p, Q}, #1 = с{а>: &,...,&„}. п>1>
®* = (т} — класс моментов остановки т = т (со)
(относительно F* = {fn}> п > 0), 25т = {d} — совокупность
$г ^-измеримых функций d = d (со), принимающих два
значения 0 и 1. Пусть, далее Д? (а, |3) — класс решающих
правил 8 = (т, d) таких, что Мот < сх>, Mxx < оо и
вероятности ошибок
а (б) = ?x{d (со) = 0} < а, р (S) = Ро {d (со) = 0} < C,
где неотрицательные числа а и [3 подчинены условию
а + р<1.
Следуя А. Вальду, задачу различения двух простых
гипотез можно сформулировать следующим образом, [19].
Пусть заданы два неотрицательных числа а и C,
а + р < 1. Требуется в классе А^ (а, Р) найти правило
б = ft, d) такое, что одновременно
Мот < Мот, M2t < Мхт D.22^
для всех б = (т, d) e A5 (a, P).
Следует заметить, что сам факт существования такого
решающего правила, одновременно минимизирующего два
математических ожидания, является далеко не
очевидным; именно поэтому большой удачей А. Вальда была
догадка о существовании такого правила и его
конструкция.
Рассмотрим статистики ф0 = 1 и

216 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
и обозначим
Яо = In ф0 = О,
»—¦*•-?'¦ ?
к=1
Понятно, что в терминах этих статистик область
продолжения наблюдений в я-байесовской постановке задачи
может быть записана в следующем виде:
^ )<х<1„ (
или
С*0={Х: А* (п)<Х<В*(л},
где
А*/ \ 1 ( А* 1 — Я\ D*/ ч 1 В* 1—-Я\
А* (п) =1п т . ), В* (л)= In г • ).
Оказывается, что эта структура области продолжения
наблюдений сохраняется и для оптимального решающего
правила в условно экстремальной постановке.
Теорема 2. Пусть неотрицательные числа а и р
таковы, что а + р < 1, и найдутся числа Ж и Б, А <С 0 <
< Л, обладающие тем свойством, что для правила б =
= (t, d) с
i = inf {*>0: Х
. Jl, h>B,
(
вероятности ошибок a (S) w р (8) в точности равны а w P
соответственно.
Тогда правило *) б = (т, d) б классе А^ (а, |3) является
оптимальным в том смысле, что для любого б = (т, d) e
S А* (а, р)
Мот<Мот, М1т<М1т. D.24)
¦) Если от А,п перейти к статистике фп = е п, то получим
правило, которое называется последовательным критерием отношений
вероятностей.

§ U ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 217
Доказательство оптимальности правила
б = (т, d), существенно основанное на свойствах я-байесов-
ских правил б^ = (Тя, d*n) (см. теорему 1), приведено
в книге [57] (гл. 3, § 12) и здесь воспроизводиться не
будет.
Замечание 1. Выше мы предполагали, что
а + Э < 1. Случай, когда а + Р > 1» не представляет
особого интереса в силу следующего обстоятельства.
Рассмотрим рандомизированное решающее правило,
состоящее в том, что без наблюдений принимается
гипотеза #0 с вероятностью 1 — а и Н1 — с вероятностью а.
Более точно, пусть (Q, f, Р) — некоторое вспомогательное
вероятностное пространство и г) = г) E), 5GQ,—
случайная величина, принимающая два значения, 0 и 1, с
вероятностями 1 — а и а соответственно. Тогда, если г] = 0,
то будем принимать гипотезу Яо. Если же х\ = 1, то
примем гипотезу ff1. Для такого рандомизированного
решающего правила длительность наблюдения равна нулю и
вероятности ошибок удовлетворяют заданным
ограничениям.
Замечание 2. Теорема 2 дает условия
оптимальности правила б = (т, d) в классе тех правил б =
= (т, d) е= Д? (а, Р), у которых Мо т < оо, Мгт < оо.
В действительности можно показать [15], что правило б
является оптимальным и в более широком классе правил
б = (т, d), для которых Мот и h\x% могут принимать и
бесконечные значения.
Замечание 3. Может случиться, что при
заданных а и р ни при каком выборе порогов А и В мы не
добьемся того, чтобы вероятности ошибок первого и второго
рода были в точности равны а и р. В этом случае теорема 2
не гарантирует, что среди правил б(А> В) = (т(А, в), d(Ay в>) е
ЕЕ Д? (а, Р) таких, что
т(А, в) = inf {п > 0: Кф. {А, В)},
<1,%,АВ)>в, <4-25)
Й(А, В) = | 0 л ( >> < А
{ U, Ат(А ?) ^ Л,
найдется оптимальное. Более того, существуют примеры,
показывающие, что правила вида D.25) действительно не
являются оптимальными.

218 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Вот один пример такого типа.
Пусть плотности (по лебеговской мере) р0 (х) и рг (х)
задаются формулами
, re [0,11,
Pi . il
I о,
= Гя, а 4- 1],
где 0 < а < 1. Тогда для всех х, 0 < х ^ а + 1,
оо, х GE [") я),
0, х е la, 1], D.26)
-оо, ^еA,1 + о].
Л)
Из D.26) ясно, что при любом выборе порогов А < 0<
< В вероятности ошибок
Ро {d(A fB) = 1} = 0, Pt {d(Af Б) = 0} = 0;
при этом
М0Т(А, В) ^ MiT(A, В) = -- .
Поэтому если а > 0 и Р > 0, то ни при каком выборе
констант А и В, А < 0 < Z?, мы не сможем добиться, чтобы
вероятности ошибок первого и второго рода были в
точности равны а ^> 0 и |3 ^> 0.
В то же время правила, отличные от 6(А, в)> Для которых
вероятности ошибок равны заданным значениям а ^> 0
и р ^> 0, существуют, и для них математические ожидания
времени наблюдения (при каждой из гипотез Но и Н^
меньше а.
Так, например, пусть правило 6h = (xh1 dh) таково,
что
xh = inf {n > 1: ln ф (а + Л, 1 - А)},
м, gThe[i-ft, a + l],
где 0 < h < 1 — а/2. Тогда
a («0 = Р, {4 = 1} = К р (S,) = Ро {4 = 0} = h

§ ij ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 219
л
5. В связи с теоремой 2 естественно возникает вопрос,
как по числам а и р найти «пороги» Л, Б и математические
ожидания длительности наблюдений Мот и М^. Так же
как и в я-байесовской задаче, отыскание этих величин
является весьма сложным делом. Однако для них можно
дать оценки, которые для приложений оказываются, как
правило, вполне удовлетворительными.
Пусть 6(А, в) = (^(А, в), d(A, в)) — решающее правило
такое, что
т(А, в) = inf {п > 1: Хп §Ё (А. /?)},
н К{АВ)>В, D2?)
d(A, В) — 1 q «
I ' Т(А, В)
где
Как следует из теоремы 2, оптимальное правило 6
является правилом типа D.27). Будем обозначать
а(А,В)=а (б(л.в)) = Pt №a,b) = 0}
и
Р(Л.Д) = PF(A,B)) = PO{d(A,B) =1}-
Теорема 3. Если при заданных константах А и В
Р«{т(а,в)<оо} = 1, « = 0,1, D.28)
и а (А, В)< 1, р (л,Б)< 1, то

220 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Доказательство. При заданных А и В
вероятность
'V.
(А'В)
откуда вытекает первое неравенство D.29). Аналогичным
образом устанавливается справедливость и второго
неравенства в D.29).
Теорема доказана.
В нижеследующей лемме приведены условия, которые,
в частности, гарантируют выполнение требований D.28),
входящих в формулировку теоремы 3.
Лемма 2. Пусть — оо<.А^0^В<оо и
Тогда Pt {т(а+в) < °° } = 1 и существует t0 > 0 такое,
что для всех t <^ t0
М{е(т<А-в><оо, i = 0,1. D.30)
Доказательство. Пусть
и С = В — А. Предположим сначала, что Рг- {\z± | <; С} =
= рг- < 1. Тогда
(со: Т(А, в) > /^} = {со: А < 5ft < В, 1 < /г < п — 1} с:
Q {со: |zkl<C, 1</г<п~1},
и, следовательно,
Pi {т(А,в)>/г}<^-1, D.31)

§ i] ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 221
откуда
оо
{т(л, в) = к) <
Л-в)
если только е'рь < 1.
Пусть теперь ?t {| ^ | <; С) = 1. Тогда найдется
такое конечное /п > 1, что
и поэтому
Рг {т(а, в) > тк) < pj
Рг{Т(А, Б)
Следовательно,
если только ^'/>Vm < 1.
Из неравенства D.30) вытекает, конечно, что не только
Pj {f(A, В) < °°} = 1> НО ЧТО И МОМвНТЫ МгТ^А, В) < °° При
всех дг > 1.
6. Вывод оценок (снизу) для среднего числа
необходимых наблюдений будет существенно опираться на один
общий результат, известный под названием тождества
Валъда.
Пусть (Й, if, Р) — некоторое вероятностное
пространство и ?, ?1? ?2> • • •—последовательность
независимых одинаково распределенных случайных величин.
Обозначим fn = б {со: ?1Э . . ., %п}, sn = 1г + . . . + 1п и
т — марковский момент (относительно системы F = {^п}»
п ;> 1), принимающий значения 1,2, ... .
Лемма 3 (тождество Вальда). Если М | ? | < оо,
Мт< оо, то
М5т = М|.Мт. D.33)

222 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Если к тому же М?2 < оо, то
М [sx — Мбт12 = Щ.Мт, D.34)
где D? - М Ц - М|]2.
Доказательство. Пусть Tiv = min (т, N), где
ЛГ < оо. Обозначим r\n = sn — ггМ^. Нетрудно видеть,
что элементы (г]п, fn, P), гс > 1, образуют мартингал.
Очевидно, что
M|riTiV|<oo, lim J hn|dP-0. D.35)
Поэтому применима теорема 1.12, в силу которой Mr)TN =
= Mr)! = 0, и, следовательно,
MsTjV = M?.MTiV. D.36)
Таким образом, для марковских моментов,
ограниченных с вероятностью единица, тождество Вальда
установлено. Перейдем к рассмотрению общего случая.
Из D.33) имеем
Поскольку с верояггностью единица
то из D.37) получаем, что
= limM {|E1| + ... + |Ixjv|}<M|||-Mt<«,.
N->oo
Следовательно,
м | л, К м | *, | + мт-м | Б |< м {| ы + ... +
+ ||Т|}4-Мт-М \1 |<сх>. D.38)
Покажем теперь, что
lim J |T]n|dP = O. D.39)
Имеем
\r\n К ! Si - м|х | + ... ¦+ ! ln
< I 5, I + ... 4 I In I + вм I i

§ 1] ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 223
На множестве {со: т ]> п}
И» К 15, 1 + ... + |& 1 + тм ш.
Поэтому, так как М (| |х | + ... + I Ет I) < оо и Мт < оо,
+ M|?|.
что и доказывает D.39).
В силу условий D.38) и D.39), к мартингалу (r\n, fn, Р),
п !> 1, применима теорема 1.12. Поэтому Мт]т = 0 или,
что то же М {sx — тМ?) = 0. Но так как М | sx \ < оо,
Мт < оо, М | | | < оо, то, -следовательно, Msx = Мт X
X М?, что и доказывает первое утверждение леммы.
Замечая, что процесс (т? — nDg, f П9 Р), п > 1,
является мартингалом, подобным же образом доказываем
справедливость формулы D.34).
Приведенные выше соображения, основанные на
применении теоремы 1.12, позволяют получить также
соотношения (аналогичные D.33), D.34)), включающие
моменты старших порядков. Для случая ограниченных
марковских моментов т (Р (т <; N) = 1, N < оо) проще всего
их получать из фундаментального тождества
последовательного анализа:
(Я)]"* = 1, D.40)
где комплексное X таково, что ср (X) = Мех? существует и
не обращается в нуль.
Формула D.40) непосредственно следует из теоремы
1.11, если заметить, что элементы (еХ{?п [ф (Я)]~п, ^П,Р),
п > 1, образуют мартингал, причем
MeX8licp (Я)]'1 * 1. D.41)
Предельным переходом от «урезанных» моментов т# =
= min (т, N) тождество D.40) иногда удается установить
и для марковских моментов т, принадлежащих классу 9R.
7. Приведем теперь оценки для среднего числа
необходимых наблюдений в задачах различения N
конкурирующих гипотез, где, вообще говоря, будем считать iV > 2.
Поскольку выше рассматривался случай лишь двух

224 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
гипотез, нам придется ввести некоторые дополнительные
обозначения, вызванные этим предположением.
Пусть на измеримом пространстве (Q, f) заданы меры
Ре, 0 = 0, 1, . . ., N — 1, и последовательность
независимых одинаково распределенных (по каждой мере Р0,
0 = 0, 1, . . ., N — 1) случайных величин ?lt ?2> • • • .
Без ограничения общности можно предполагать, что
распределения вероятностей Р$ (х) = Ре {со: ?х ^ х) имеют
плотности /?е (#) относительно некоторой (а-конечной)
меры [г.
Положим fn=a {со: glf . . ., gn}, n > 1, и пусть
т = т (со) — марковский момент (относительно системы
F = {fn}) такой, что Ре {т < оо} = 1 при всех 0 = 0,
1, . . ., N — 1, Пусть также d = d (со) есть ^-измеримая
функция, принимающая N значений d0, . . ., dN-i-
Значение d = dt будет интерпретироваться как принятие
гипотезы «Ht: 0 = г».
Пусть
Q-ij = Pi {^(со) = dj}, 0 ^< г, / ^ N — \,
— вероятность принять гипотезу Яу, когда 0 = г, и
применяется решающее правило б = (т, d).
Теорема 4. Пусть i @ ^ i ^ N — 1) фиксировано
и aih = 0 всякий раз, когда при некотором j Ф i
вероятность <Xjk = 0. Пусть также |х {а:: /?^ (а:) ^= /?;- (х)} ^> 0,
г ^= /, Тогда
ЛГ-1
Mit > max « -7ГГ , D.42)
M1 ^S
г5^ выражения вида 0 • 1п?- считаются равными нулю при
любом с ;> 0.
Доказательство. Если М?т = оо, то
неравенство D.42) очевидно, поэтому в дальнейшем будем
считать М^т < оо.
Наряду с i зафиксируем также некоторое / Ф i. Тогда
в силу неравенства Иенсена и предположения |Л {х: Piix) Ф
(}0
*) D.43)

§ 1] ПОСЛЕДОВАТЕЛЬНОЕ РАЗЛИЧЕНИЕ ГИПОТЕЗ 225
(см. [54], стр. 25—26). Если Md In ^41т" = °°> т0 неРа"
венство D.42) становится тривиальным.
Пусть М| In г <*оо. Согласно лемме 3
| In —г-77-\ /g ч = М лг • М$ In ' t
P(li)Pj(t)
„ = ;;g;;;;;gj и Di = {o < * < м - и
. В'силу неравенства Иенсена для In tj получим
/с=0
= - V Р
где множество
^kn = {т = «} П (Pi (ii) - Pi <ln) > 0} П
Ho
P, (dec). D.45)
3 A. H. Ширяев

226 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Поэтому из D.44) и D.45) следует, что
N-l
I -^. . D.46)
Сопоставляя это неравенство с D.43), получаем оценку
N
7 (X., Ill
M.ln-
D.47)
из которой сразу следует D.42).
Следствие 1. Пусть N = 2. Обозначая а = а10
Р = а01, из D.42) находим
kk ^
где функция
Следствие 2. Пусть Л/" > 2, аи = а при всех i =
= 0,1,..., N — 1 и ai;- = yy^Tj-, г =т^ /• Тогда
«^-1 1ц a(^-l)
min M, In
8. Завершая рассмотрение условно экстремальной
задачи различения двух простых гипотез, заметим, что
согласно теореме 3
lnT^3"<^ 5<ln±=^, D.50)

§ 2] РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 227
а математические ожидания Мот и М^ оцениваются по
формулам D.48). Интересно отметить, что все эти
неравенства превращаются в точные равенства в
рассматриваемой в следующем параграфе задаче различения двух
простых гипотез для винеровского процесса.
§ 2. Последовательное различение двух простых гипотез
о среднем значении винеровского процесса
1. Байесовская постановка.
Предположим, что на вероятностном пространстве (Q, <f, Рл)
заданы: независимые между собой случайная величина
0 = 0 (со) и стандартный винеровский процесс w = (wt,
t ;> 0) такие, что
р* {е = 1} = я, Р71 {0 = 0} = 1 - я, D.51)
где 0 ^ я ^ 1 и
и?0 = 0, NCwt = 0, Мя [wt — w8]2 = t — s; t > 5 > 0,
Будем предполагать, что наблюдению подлежит
случайный процесс
It = rQi 4- owt, о2 > 0, г ф 0. D.52)
По аналогии с рассмотренным выше случаем
дискретного времени (§ 1) вводятся понятия решающих правил
б = (т, d), риска р71 (б) = Мя [ст + W @, d)\ и я-байесов-
ского решающего правила б„.
Чтобы показать, что задача отыскания правила б«
сводится к некоторой задаче об оптимальной остановке,
введем ряд необходимых понятий.
Пусть А е #*% где ?* = а {со: ?s, s > 0}. Обозначим
ро (А) = р* (^ | в = 0) и Р1 (Л) = Р» (Л | в = 1). (Если
(С, 3$) — измеримое пространство непрерывных
функций на [0, оо), то меры Р{ (В) = Р°{^?} и Р\ (В) =
= Рг{^ ЕЕ В}, В Ez 33, будут ничем иным, как
соответственно винеровской мерой с нулевым локальным сносом и
коэффициентом диффузии а2 и винеровской мерой с
локальным сносом, равным г, и тем же самым коэффициентом
диффузии а2; см. § 9, гл. 7 в [60]).
Обозначим я? = Рп {0 = 1 | f}}, ff=--o {со: %8, s<
<; t), п пусть ср, = -Tp^ifhi®)- Хорошо известно (см.,
8*

228 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
например, формулу G.5) в [60]), что Р*-п. н.
{?(?)} D.53)
и поскольку (я < 1)
* ' <454>
D.55)
то
Стохастически дифференцируя по формуле Ито (§ 3,
гл. 4 в [60]) правые части в D.53) и D.55), находим, что
^о= 1» D.56)
= - -J- КJ A - я?) d^ + -^ я? D ~ *П d5o D-57)
(Заметим, что в рассматриваемом нами случае яГ =
= Рл{6 = 1 | §r}} =M"L0 |f?]).
Рассмотрим теперь процесс
t
^ds. D.58)
Согласно теореме 7.12 из [60] процесс (с непрерывными
траекториями)
™ = (wu fh р71), * > о,
является квадратично интегрируемым мартингалом,
М* [щ | f 5J = ^8 (Рл-п. н.), t > .9,
с
*Ап[(щ ~^J | f5] = t - 5 (Ря-п. н.), t > s.
Следовательно (см. теорему 4.1 в [60]), процесс w =
= (^t> t > 0) является винеровским.

2] РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 229
Из D.57) и D.58) находим, что
йяГ = -?- я* A — я?) dS,, По = я. D.59)
?
Из результатов работы [77] вытекает, что процесс Пп =
= (я*, <^J, Рл), имеющий дифференциал D.59), является
(строго) марковской случайной функцией. Так же, как и
в случае дискретного времени (§1), с семейством
марковских случайных функций {П*, 0<;я<;1},
определенных на вероятностных пространствах (Q, $", Рп), 0 <; я^
^ 1, естественным образом связывается марковский
процесс П = (я*, $ и Р„), t > О, имеющий нулевой
коэффициент сноса и коэффициент диффузии, равный а2 (я) =
о аналогии с § 1 показывается, что заключительное
решение dn в я-байесовском решающем правиле 6^ =
= (т^, dn) определяется формулой
Тл Т" D.60)
0, аяя<&A \)
а для нахождения момента т^ достаточно решить
следующую задачу об оптимальной остановке:
р (я) = inf М„ [сх + g (я,)], D.61)
где inf берется по классу моментов остановки
l^ftEl [F*]: Мят < оо, 0 < я < 1}.
Чтобы найти функцию р (я) и показать, что момент
т0 = inf {t > 0: р (я,) = g (nt)} D.62)
является оптимальным, воспользуемся результатами § 8
гл. III о связи задач об оптимальной остановке с
обобщенными задачами Стефана.
Так же, как и в случае дискретного времени,
показывается, что существуют такие два числа А* яВ*,0^А* ^
^ В* <^ 1, что область продолжения наблюдений
С*о = {я: А*<п< В*}.

230 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Тогда в соответствии с§8гл. III в области С*о
функция риска р (я) принадлежит области определения
оператора 31 и
«р (п) = -с, я GE Cl D.63)
При этом
р (А*) = g (A*), p (В*) = g (В*). D.64)
Если к тому же выполнены условия теоремы III.16,
то в точках А* и 2?*
р' (А*) = g' (А*), р' (В*) = g' E*). D.65)
Применяемый ниже метод отыскания функции р (я) и
граничных точек А* и 5* состоит в следующем.
Рассмотрим решение задачи D.63) — D.65) в классе
дважды непрерывно дифференцируемых функций / = / (я).
На таких функциях оператор % процесса П совпадает
(теорема 5.7 в [39]) с дифференциальным оператором
и, следовательно, задача D.63) — D.65) превращается
в задачу
<?*, D.67)
f(n) = g(n), п&(А*,В*), D.68)
/' D*) = g' (A*) = а, /' E*) = g' (B*)= - Ъ. D.69)
A priori, конечно, неясно, что в интервале D*, 5*)
функция риска р (я) принадлежит классу дважды непрерывно
дифференцируемых функций. Однако мы покажем, что,
во-первых, в этом классе решение задачи D.67) — D.69)
существует и единственно и, во-вторых, что это решение
совпадает с риском р (я).
Итак, рассмотрим задачу D.67). Зафиксируем
некоторое число Л, 0 ^ А ^ . Нетрудно показать, что
решение /(я) уравнения D.67) в области я> Л,
удовлетворяющее условиям / (А) = аА, f (A) = а, задается
формулой
/ (я) = аА + (я - А) {а - Сур (А)} + с {W (я) -У (А)}у
D.70)

§ 2] РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 231
где С = (^)
Т(я) = A-2яIпт^1Г, D.71)
D.72)
Если теперь использовать краевые условия в точке В
(/ (В) = ЪA—В), f (В) = — 6), то из D.70) получим
следующую систему уравнений для (неизвестных) точек
А и В:
Ъ + а = С{Ц(А)-Ц(В)}, D.73)
Ь A - 5) = аА + (В — 4){а — Cty (Л)} +
+ с {Т E) -JF (Л)}. D.74)
Покажем, что из D.73) и D.74) неизвестные константы
А и В @ ^ А <; В ^ 1) определяются единственным
образом. ш
С этой целью преобразуем систему D.73) — D.74)
к следующему виду:
F - а) + (а + Ся|) (В)) = -(а - Сг|> (А)), D.75)
6 + Шг|) (В) - Т E)] = С Ыг|5 (Л) - Y (А)]. D.76)
Обозначим ж = Л/1 — Л, г/= В/1 — Б. Тогда из D.75)
и D.76) с учетом D.71) и D.72) получим
D.77)
Ь — С [у + In у] = — С [х + In х]. D.78)
Из D.78) следует, что каждому значению х, 0 ^ х < оо,
соответствует единственное значение г/ = ух (ж) > 0,
причем ух @) = 0 и для всех х ^> 0
1+
Следовательно, у = уг (х) есть [неубывающая функция
0

232 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Аналогично, из D.77) следует, что каждому х
соответствует единственное значение у = у2 (х)у причем
у2 @) = оо, у2 (оо) = 0 и для всех х ^> 0
dy%{x) = a*
dx J_ _2_
Следовательно, существует единственное значение
х* > 0, для которого уг (х*) = 1/2 («*)• Отсюда очевидным
образом следует, что система уравнений D.75) — D.76)
имеет и притом единственное решение (Л*, В*) с 0 < -4* ^
<; #* < 1. Таким образом, решение задачи D.67) -—
D.69) в классе дважды непрерывно дифференцируемых
функций и констант 0 ^ А <; В ^ 1 существует и
единственно. Обозначим/* (я) решение этой задачи и покажем,
что р (я) = /* (я).
Ясно, что
р (я) = inf Mn [сх + g (я,)] > inf Мл [сх + /* (ят)] +
+ inf МЛ?(Ят)-/*(ят)]. D.79)
Пусть я е (А*, В*). Поскольку 25/* (я) — —с, то (см.
следствие к теореме 5.1 в [39]) для всякого марковского
момента т с Мят < оо
- /* (я) = - сМят, D.80)
т. е.
Мя icx + /* (ят)] = /* (я). D.81)
Заметим теперь, что для всех я ЕЕ [0, 1] g (я) >/* (я).
Поэтому
inf M* [g (ят) - /* (ятI > 0 D.82)
теш**
и, значит,
р (я) > inf Мя [сх + f (я,)]. D.83)
Вместе с D.81) отсюда находимд что для всякого я
(**) р(я)>/*(я).

§ 2J РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 233
Нетрудно подсчитать (см. теорему 13.16 в [39]), что
для любого я ? [0, 1) момент
т* = inf {t >0: я, QE (Л*, В*)}, 0 < А* < В* < 1,
имеет конечное математическое ожидание М„ т*.
Следовательно, т* ЕЕ 9К1.
Заметим, что для этого момента т*
М„ \сч* + g (jv)] = Мя [ст* + /* (я,.)] = /* (я).
Вместе с D.83) отсюда находим, что для я б И*, В*}
Р (я) > /* (я) = Мте [гг* + g (я,.)!,
и поскольку, с другой стороны,
Р (я) < М, [ст* + g (я*)],
то
Р (я) = /• (я) = Мя 1ст* + g (Ml, я е И*, 5*).
Поскольку на интервалах [О, А*] и [Б*, 1] функция
g (я) линейна, функция р (я) на интервале [О, 1J выпукла
кверху и р (А*) = g D*), р (В*) = g (В*), то вне
интервала (А*, В*) р (я) = g (я) и, следовательно, р (я) =
= /* (я).
Таким образом, найденное нами решение задачи
Стефана /* (я) совпадает с функцией риска р (я).
Отсюда, так же как и в случае дискретного времени,
непосредственно выводится следующий результат о
структуре я-байесовского решающего правила.
Теорема 5. В задаче различения двух простых
гипотез Но: 0 = 0 и Н±: 0 = 1 по результатам
наблюдений за процессом D.52) п-байесовское решающее правило
б„ = (тл, dn) существует и имеет следующий вид:
1, ny>B*, Dg4)

234 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
где константы А* и В* однозначно определяются из
системы трансцендентных уравнений
Ъ + а=С ®(А*)-У(В*)},
D.85)
Ъ A — В*) = аЛ*-+ (В - А*) {а — С^ {А*)} +
+ с {? (#*) -W (А*)}
с С — с (г2'2G2)", а функции г|з (аг) ц? (я) определены в
<4.71) гг D.72).
Замечание. В симметричном случае (а = Ь)
j5* = l — А* и Л* определяется как (единственный)
корень уравнения
а
С
1
^4*
А*
1
А*
А*
¦f2 In
1-
-л*
2. Условно-экстремальная
постановка. Пусть w = (wt, t > 0) — стандартный вине-
ровский процесс, заданный на вероятностном пространстве
(Q, f, P). Будем считать, что наблюдению доступен
процесс
It = rdt + awu a2 > 0, гфО,
где 9 — неизвестный параметр, принимающий одно из
двух значений: 0 = 1 (гипотеза Н^) или 0=0
(гипотеза Но). Пусть $\ = { ф ,Q}, gr} = а {со : ?я, 5 < *},
^5> = or (U .^<) и Pj~ вероятностные меры на (Q, ^L),
индуцированные процессом (^, t > 0) при 0 = г,
г = 0, 1. Через 9DJ? = {т} обозначаем класс моментов
остановки (относительно F*> = {^^}, t ;> 0), а через
i0? = {d} — совокупность ^-измеримых функций d =
= d (со), принимающих два значения, 0 и 1. Как и в § 1,
пусть Д? (а, |3) — класс тех решающих правил б =
= (т, d) с те 3RS, d е 25^, для которых Мот < оо,
Мхт < оо и вероятности ошибок первого и второго рода
а (б) = ?г {d (со) = 0}< а, р FI= Ро{ d (со) = 1}< р.
Следующий результат аналогичен теореме 2
предшествующего параграфа.
Теорема 6. Пусть положительные числа а и |3
таковы, что а + |3 < 1. Тогда в классе А^ (а, р) сущест-

§ 2] РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 235
еует {оптимальное) решающее правило б = (т, d) такое,
что для всех 8 = (т, й) е Д5 (а, Р)
Мот<Мот, MjT-^Mix. D.86)
При этом
T = inf {t>0: kt&(I
A, Х~>В
D.88)
D.89)
Математические ожидания
7 lEJl, D.90)
со (х, у) = A - ж) In i=? + x In ^ D.91)
p /
Для доказательства этой теоремы нам понадобятся
некоторые вспомогательные предложения, которые
сформулированы в следующих ниже леммах.
3. Пусть
и
а (х) = Рг {Л - Л}, р (а;) = Ро {\% ^ В},
Т(А, В) (А, В)
где же[4, В].
Лемма 4. Для д: е Ы, 5]
D.92)
Доказательство. Известно (см., например,
теорему 13.16 в [39] иди лемму 17.8 в [60]), что a (x) есть

236 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
решение дифференциального уравнения
а" (х) + а' (х) = О, А < х < Я,
удовлетворяющее граничным условиям а (А) = 1 и
а (В) = 0. Аналогично, ^ (х) удовлетворяет уравнению
Р" (ж) - Р' (ж) = 0, Л < ж < 5,
с р (fi) = 1, Р (Л) = 0. Решая эти уравнения, получаем
формулы D.92).
Лемма 5. Пусть mt (х) = М$Т(д б), х Ez Ы, 5].
д
Доказательство. Для вывода формул D.93)
и D.94) достаточно заметить, что функции тг (х), i =
= 0, 1, есть решения уравнений
IL щ {х) + (_ I/- IL щ {х) = _ it
удовлетворяющие граничным условиям wij D) = /w-j E) =
= 0 (см. [39], теорема 13.16; [60], лемма 17.9).
Лемма 6 (тождества Вальда для винеровского
процесса). Пусть W = (wt, cft), t > 0,— стандартный вине-
ровский процесс их — марковский момент {относительно
F = {?ft}, t ;> 0). Тогда, если Мт < оо, то
x = 0, D.95)
! = Мт. D.96)
Доказательство. Поскольку [с вероятностью
едиг*
ница \ /{^<т} (о))dt = т(со)<[ оо, [то определен стохастиче-
ский интеграл Ито ^ I{t^\((u)dwt1 причем
о

§ 2] РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 237
В силу условий леммы
Поэтому из известных свойств стохастических интегралов
(см. D.48) и D.49) в [60], а также лемму 4.8 там же)
находим, что
tAwx = М § /{,<т} (со) dwt = 0,
о
м^! = м \
(со) da;,]2 = ^ M/f<<T} (со) dt = Мт.
о
Лемма доказана.
Замечание 1. Для справедливости D.95)
достаточно потребовать лишь условия М}Лг < оо (см. [69]).
Замечание 2. Условие Мт < оо
обеспечивающее равенство Мш? = Мт, ослабить, вообще говоря,
нельзя, что показывает следующий пример.
Пусть т = inf {t > 0 : wt = 1}. Тогда Р {т < оо} =
= 1, Мт = оо, но 1 = Мм;? ф Мт = оо.
Замечание 3. Пусть т = inf {t > 0 : | w;^ | =
= А}, где Л < оо. Тогда Мт = А2.
В самом деле, положим т^ = min (т, N). Тогда по
лемме 6 Мг#?^ = Mt^v, откуда Мт^ ^ А2 и, значит,
Мт = lim Мтлт ^ Л2 < оо. Снова применяя лемму 6,
находим, что tAwx = Мт. Поскольку Р (т < оо) = 1,
то Мт = Ми;? = А2.
Замечание 4. Пусть т = inf {t > 0 : | wt | =
= aYt + 6}, где 0 < Ь < оо, 0 < а < 1. Тогда
Мт =
Для доказательства положим %N = min (т, N). Тогда
^а2М (tn + Ь), т. е, Mtn -< а__ 2.
Следовательно, Мт = lim Мт„ <г -. s" <Г °°-
jv п 1 —а

238 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Поэтому
Мт = Мм;* = М [w4{x<oo}] = а2М [(т + Ъ) 1{х<оо)] =
Отсюда получаем требуемую формулу для Мт.
Замечание 5. Пусть марковский момент т
(относительно системы F = {tft}i t > 0) таков, что
-g-1| < оо, где — оо < К < оо и гг7 = (wf, .f,),
? > 0, — стандартный винеровский процесс.
Тогда
М ехр ^ктх ~- -у- т} = 1. D.97)
(Ср. с фундаментальным тождеством последовательного
анализа D.40).)
Доказательство см. в [60], теорема 6.1. В частности,
D.97) справедливо для любого Я, — оо < X < оо, в
случае ограниченных марковских моментов (P{x^iV} = 1,
N<oo).
Лемма 7. Для любого решающего правила б = (т,
d) е А^ (а, Р)
Мот > ^ ; , Мхт > v p р\ D.98)
функция со (#, i/) определена в D.91), а р = г2/2а2
Доказательство. В силу D.53) и D.96),
С другой стороны *),
*) Если Рх (с? (со) = i} = 0, то произведение
Рх {d (со) = 0 . [ In ^o Pi (to | rf (со) = i)
полагается равным нулю.

§ 2] РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 239
{d(co)=i} i <d(o>)=0>
- Px {d (со) = 0} In ^^ Px (dco | d (со) == 0), D.100)
где мы воспользовались неравенством Иенсена
In Mr| > М In т),
справедливым для любой неотрицательной случайной
величины г].
Преобразуя правую часть в D.100), находим
Mx In фт >
(co)|=o}
_ а inlri = (l_a)iniz^+ain_^_ = «(а, р). D.101)
Сравнив D.99) и D.101), приходим ко второй формуле
в D.98).
Аналогично доказывается и первое неравенство в D.98).
4. Доказательство теоремы 6.
Рассмотрим решающее правило б = (т, d), определенное в D.87).

240 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Согласно лемме 4
Р1 {?(©)> 0} = а @) = еУ~-1} = а, D.102)
= р. D.103)
е" — ел
Далее, в силу леммы 5
1 Вев A — еА) л-Аел (<>в — 1) 1 . Q. ., .п/ч
-- S ?±^= '- = — со (а, р), D.104)
н ев — еА р
D.105)
Из формул D.102) — D.105) следует, что решающее
правило 8 = (r,d)EA^ (a, P). А из сравнения неравенств
D.98) с D.104) и D.105) вытекает, что для любого
решающего правила 8 = (т, d) G А^ (а, р)
Мот > Мот, Мхт > MiT,
что и доказывает оптимальность решающего правила
5 = (iT, d) в условно экстремальной постановке.
5. На примере задачи проверки двух простых гипотез
в случае винеровского процесса сравним средние времена
Mxf и Мот, отвечающие оптимальному решающему
правилу 8 = (т, ^ G Д^ (а, Р), с фиксированным временем
наблюдения t (а, р), необходимым для различения
гипотез Н1 : 0 = 1 и Но : Э = 0, если при этом пользоваться
наиболее мощным классическим правилом [57], для
которого вероятности ошибок первого и второго рода не
превышают соответственно а и р.
Пусть $\ = {ф, Q}, $} = а {со: gs (со), s< t).
Обозначим Tt (со) произвольную Соизмеримую функцию та-

§ 2] РАЗЛИЧЕНИЕ ДВУХ ГИПОТЕЗ 241
кую, что %t (со) = t, и пусть dt (со) — любая
^-измеримая функция, принимающая два значения, 1 и 0.
Каждая пара функций 8t = (xt (со), dt (со)) задает
некоторое классическое правило с длительностью
наблюдения, равной it (со) = t, и заключительным решением
dt (о). Если dt (со) = 1, то принимается гипотеза Нг;
в случае dt (») = 0 — гипотеза Яо.
Пусть До (а, Р) — совокупность тех классических
правил 6t = (%t (со), dt (со)), t > 0, для которых
вероятности ошибок
Рг {d, (со) = 0} < а, Ро {dt (со) = 1} < р.
Очевидно, что До (а, Р) Q Д5 (а, р).
Согласно фундаментальной лемме Неймана —
Пирсона [57], для наиболее мощного классического правила
б* (а, Э) = (* fe, Р), ^ (а, з)) G До («, Р)
заключительное решение с1ца,&) определяется формулой
1» h(*, з) >^(a, ,3),
0, ^(a
где длительность наблюдений ? (a, P) и «порог» h (a, P)
выбираются так, чтобы правило 6f(aJ3) принадлежало
Д^ (а, Р).
Покажем, что
h(a,$)= 32 a, D.108)
где CY — корень уравнения
В самом деле, для всякого правила 8t = (t, dt (со))
такого, что
0, X,<A,
9 Л. Н. Ширяев

242 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
вероятность (а = + |/а2)
Ро {dt (со) = 1} = Ро {kt > h) =
Ф/^\, D.109)
с»
1 (*
где Ф(х) = -7=-\ e-v4*du. Точно так же
у 2я «з
7
у 2
Р, {J, (о>) = 0} = 1 - Ф fc?\ . D.110)
Приравнивая правые части формул D.109) и D.110)
соответственно Р и а, для t = t (а, $) и h = h (а, Р)
получаем систему двух уравнений
h+pt __ г fe—pf _ г
из которых сразу следуют формулы D.107) и D.108;.
Таким образом, для заданных а и C, а + р<1,
в силу D.90) и D.107) получаем
Мот о (о(р,а) /
ГЙЧ = 2 /Л I Л 42 ' DЛ12)
t (а, Р)
Численный расчет [1] показывает, что при а, р <; 0,03
Более того, если а = р, то (см. [1])
т Мпт т MiT 1
lim -т"^ = ijm ч — х •

§ 3] ЗАДАЧА О РАЗЛАДКЕ (ДИСКРЕТНОЕ ВРЕМЯ) 243
§ 3. Задача о разладке (дискретное время)
1. В рассмотренной выше задаче различения двух
простых гипотез одномерное распределение вероятностей
случайных величин ?2, ?2» • • • оставалось неизменным
(хотя и не известным) в течение всего процесса
наблюдения.
В теории обнаружения, статистическом контроле часто
приходится сталкиваться также с задачами, в которых
вероятностные характеристики наблюдаемых величин
могут измениться в случайный момент времени 6 = Э (со)
(момент появления «разладки»). Ниже приводится ряд
постановок таких задач и предлагаются способы их
решения, основанные на изложенной в предшествующих
двух главах общей теории оптимальных правил остановки.
2. Байесовская постановка. Будем
предполагать, что на некотором измеримом пространстве
(Q, f) заданы случайные величины Э, En Е2» • • • и ве"
роятностная мера Рк такие, что
Рп {в = 0} = я, Ря {0 = п) = A- п) A — рП, п>1,
D.ИЗ)
где р и я — известные постоянные, 0 < /> <J 1 и я ЕЕ
ЕЕ [0, 1], и для каждого множества А = {со : ?х <; хг, . . .
n—1
x P1 {ii+i < xl+1,..., ?n < xn) + A - я) A - p)nP° (A), D.114)
где Р1 и Р° — две вероятностные меры на (Q, f s), ff ^ =
= а {со : ?1? ^2> • • •}» не зависящие от я и обладающие
тем свойством, что
D.115)
Без ограничения общности можно считать, что
функции распределения Р' (х) = Р? {^ < я} имеют
плотности /?j (#), / = 0, 1 (по некоторой сг-конечной мере (л).
9*

244 ПРИМЕНЕНИЯ ЭК ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Наглядный смысл условий D.113) — D.115) состоит
в следующем. Если 0 = 0, то наблюдается последователь
ность независимых одинаково распределенных
случайных величин ?i> g2» • • • с плотностью вероятности рг (х).
При условии же 6 = i случайные величины ?х, ...
..•9E<-itEi> . . . независимы в совокупности, причем |1э . . .
. . ., ^i_x одинаково распределены с плотностью
вероятности р0 (х), а ?$, |г+1, . . . также одинаково
распределены, но с плотностью вероятности рг (х). Рассматриваемая
ниже постановка задачи скорейшего обнаружения
момента появления «разладки» сохраняет свой смысл и для более
общих, нежели D.113), распределений. Геометрический
характер распределения вероятностей для момента
появления «разладки» принят нами лишь ради простоты
изложения.
Пусть т — момент остановки (относительно системы
а-алгебр F* = {,f ?}, п > 0), где §\ = {0, й}иЙ =
= о {со : ?i» . . ., ?п}. Применительно к рассматриваемой
нами задаче скорейшего обнаружения момента появления
разладки удобно представлять момент т как тот момент,
в который объявляется «тревога» о появлении изменений
в вероятностных характеристиках наблюдаемого процесса.
Понятно, что желательно так выбирать момент объявления
«тревоги» т, чтобы этот момент был «ближе» всего к
моменту 6. В качестве величины, характеризующей «риск»
от использования момента т, мы будем рассматривать
величину (с > 0)
р*(т) =* р* {т < 0} + сМ* max {т — 0, 0}, D.116)
где Рп {т < 0} естественно интерпретировать как
вероятность ложной тревоги, а М71 шах {т — 0, 0} — как
среднее время запаздывания в обнаружении момента
появления разладки, когда тревога подается правильно, т. е.
когда т > 0.
Определение 1. Для данного я е [0, 1]
момент остановки %*п будем называть п-байесовским, если
рМО = inf р*(т), DЛ7)
где inf берется по классу всех моментов остановки
т ?= gj){ [Ft] (относительно системы F*>).

§ 3] ЗАДАЧА О РАЗЛАДКЕ (ДИСКРЕТНОЕ ВРЕМЯ) 245
Теорема 7. Пусть с > 0, р > О
ппп = Р» {6 < п | ^} D.118)
— апостериорная вероятность наличия разладки к
моменту времени щ щ = я. Тогда момент
т* = inf {п > 0: nl > Л*}, D.119)
гд«? Л* — некоторая постоянная, является п-байесовским.
Доказательство. Как и в § 1, мы сначала
покажем, что отыскание я-байесовского момента остановки
можно свести к решению специальной задачи об
оптимальной остановке для некоторой марковской
последовательности.
По формуле Байеса (Рл-п. н.)
я* A En+i) + A - <) рРг Aп+1) + A - <) A -
D.120)
Отсюда следует (ср. с § 15 гл. II), что система Пя =
= (ли, ^п, Рл), л > 0, образует (для данного я)
марковскую случайную функцию.
Преобразуем теперь риск D.116) к более удобной для
наших целей форме.
Прежде всего заметим, что для каждого т G 9K IF4
Р"{т<е} - Мл[1 - я?]. D.121)
Далее, для каждого п ^> 0
П—1 П—1
{в < А; | f ?} =
n—1
n—l n—l
=0 fc=0

246 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
обозначим
п
/с=о
Последовательность (г|),}, $\, Рл), п > 0, для каждого
я ЕЕ [0, 1] образует мартингал. В самом деле, очевидно,
М* | -фп | < оо и
" {й < AI JU - Р" F < к | si}],
откуда следует, что (Рл-п. н.)
Поскольку
где (в силу предположения р ^> 0)
оо оо
м" У,ря @ >/с I .f п) = V.р* @ >fc) ^ M"e < °°
/с=о /г=0
И
то для те®} [F4
lim f |^"|dP" = O. D.122)
« {т>п}
Ясно также, что
D.123)
Из условий D.122) и D.123) следует (см. теорему
1.12), что для всякого т е 3R [ЁЦ

§ 3] ЗАДАЧА О РАЗЛАДКЕ (ДИСКРЕТНОЕ ВРЕМЯ) 247
Поэтому если tt=:3R[F*], то
р« (т) = Рп {х < 0} + с№ max {х — 6,0} =
= M"{(l-jt?)
т—1
/С=0
т—1
и следовательно, для рл = inf pTl(t) находим, что
т—1
= inf М«{A--я!?) + сУлЕ}. D.124)
Процесс Пте = (я", fn, P71), л > 0, образует
субмартингал (Мя [яп+1 | f nl > яЛ Р"-п. н.). Поэтому (см.
теорему 1.9) с Ря-вероятностыо единица существует предел
Km я*. При этом очевидно, что lim я^ ^ 1, lim Мя я" = 1.
n
В силу леммы Фату 1 = lim Мпя" <^ Мте lim я", а сле-
п п
довательно, lim я? = 1 с Р"-вероятностью единица для
п
любого я е [0, 1]. Отсюда вытекает, что
? = oo (Р*-п.н., яе[0,1]). D.125)
Как и в § 1, с семейством марковских случайных
функций {П*, 0 <; я <; 1} можно связать марковский
случайный процесс с дискретным временем П = (пп, $fn, Pn),
п > 0, имеющий те же самые переходные вероятности,
что и каждая из марковских случайных функций II71,
я ЕЕ [0, 1].
В соответствии с результатами § 15 гл. II для
нахождения я-байесовского момента т* достаточно найти
оптимальный момент остановки в задаче
т—1
р(я) = inf Мл ГA - ят) + с^%], D.126)

248
ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ
[ГЛ. IV
где inf берется по классу моментов остановки
т—1
/с=о
. D.127)
Пусть g (я) = 1 — я,
Qg (я) = min {g (я), en + Tg (я)}, D.128)
где Tg (я) = Мл g" (ях).
Из теоремы 11.23 вытекает, что функция риска
р (я) = lim Qng (я),
п
р (я) = min {A — я), en -f Tp (я)},
и момент
т0 = inf {п > 0 : р (яп) = 1 — яп}
является оптимальным моментом остановки.
Простая проверка показывает, что каждая из функций
Qng (тс) является выпуклой кверху. Поэтому функция
риска р (я) также выпукла
кверху и, значит, найдется
(рис. 7) такая константа Л*,
что
т0 = inf {n ^ 0:
р(я„) = 1 -ял} = Ы {гс>0:
D.129)
РИС# 7.
Итак, оптимальный момент
остановки в задаче D.126)
найден. В силу § 15 гл. II отсюда
вытекает, что момент т* = inf {п > 0: я? > А*} будет
я-байесовским для любого я G [0, 1] (при этом порог Л*
от я не зависит).
Теорема 7 доказана.
3. Условно экстремальная
постановка. Пусть я е [0, 1), р е @, 1]. Обозначим через
3R? (а; я) тот класс моментов остановки т ее $} [F4,
для которых
Рп{т< 6}<а, D.130)
где ее — некоторая заданная константа, ае [0, 1).

§ 3] ЗАДАЧА О РАЗЛАДКЕ (ДИСКРЕТНОЕ ВРЕМЯ) 249
Определение 2. Момент т (ЕЕ 9RS (а; я)
назовем оптимальным (в условно экстремальной постановке),
если для всех т ее 9R^ (а; я)
M«max {т — Э, 0} < M*max {т — 0, 0}. D.131)
Прежде чем переходить к описанию структуры
оптимальных моментов 'т, заметим, что при заданном я основной
интерес представляют лишь значения а < 1 — я.
В самом деле, если а !> 1 — я, то, положив т = 0,
получим
Р« {т < 0} = Р* {0 > 0} = 1 - я < а
и Мл max {т — 0, 0} = 0. Отсюда вытекает, что при
а > 1 — я момент т ^ 0 является оптимальным в классе
№ (а; я).
Итак, будем предполагать, что а < 1 — я. Обозначим
та= inf {w>0: я^>Л)
Ы = Рп {та < 0} = Мя [1 - я*я ]. D.132)
Ясно, что ao^l— я, а1=0и функция а а не убывает
с ростом А, 0 <; Л ^ 1. Будем рассматривать далее лишь
тот случай, когда а\ является непрерывной функцией
от А,
Пусть а< 1 — я и А (а) — то наименьшее из А,
для которых а а = а. Рассмотрим риск
Рс - inf [Р* (т < 0) + сМ« max {т — 0, 0}], D.133)
где индекс сур" введен сейчас для того, чтобы
подчеркнуть зависимость риска от с.
Обозначим А* = А* (с) значение порога Л*
(зависящее от с), которое входит в определение я-байесовского
момента D.119). При фиксированном я функция р™
выпукла вверх (это непосредственно вытекает из D.133)),
и, следовательно, непрерывна по с на @, оо).
Отсюда вытекает, что функция Л* (с) является
непрерывной невозрастающей функцией от с, причем А* @) = 1

250 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ ГЛ. IV
и lim А* (с) = 0. Будем обозначать с* (А*) то минималь-
С->оо
яое с, при котором А* (с) равно А*.
Пусть 0 < а < 1 — я и са = с* (А (а)). Рассмотрим
риск
р?а = inf [Р* (т < 6} + саМ* щах {г - 0, 0}]. D.134)
-се^(а;тх)
Согласно теореме 7 я-байесовский момент в задаче D.134)
имеет следующий вид:
т; - inf {л > 0: я*> Л* (с«)}. D.135)
При этом в силу определения са
Пусть теперь т — некоторый момент из класса
№ (а, я). Из D.134) и D.135) получаем
Р* {т<е}4 саМ*тах {т — в, 0} > Р* {т*< 0} +
+ саМ*тах {т* - 9, 0} =
=-- а + саМятах {т* — 6, 0}. D.136)
По определению класса № (а; я) Рп {т < 8} ^ а.
Поэтому из D.136) находим, что
саМяшах {т — Э, 0} > сл№ max {т* — 9, 0}. D.137)
Заметим теперь, что если 0 < а < 1 — я, то са =f= 0.
Действительно, если са =- 0, то ^4* @) = 1 и
Рл {т^< 9} = М [1 - я**] = 0.
Итак, ^а=^0, и из D.137) получаем, что
М"шах {с — 8, 0} > М« max {т^ - 9, 0}. D.138)
Следовательно, доказана
Теорема 8. Пусть 0 < а < 1, 0<я<1, ?>0
zi 3R^(a; я) — совокупность тех моментов остановки
т g 3R [f^l, 5угл которых ?к {т < 8} ^ а. Тогда, если
функция а\ непрерывна по А, то марковский момент
х = inf {n > 0: я"

§ 4] РАЗЛАДКА ДЛЯ ВИНЕРОВСКОГО ПРОЦЕССА 251
где Я а = А* (са), является оптимальным в том смысле,
что для всякого т е= 3R* (а; я)
M*max {т - 6, 0} > M«max {т - в, 0}. D.139)
Замечание 1. Нахождение для каждого а, 0 <
< а < 1, точного значения порога Аа = А* (са)
является весьма трудной задачей. Поэтому полезной может
оказаться следующая оценка для Ла'
Я«< 1 -а. D.140)
Для доказательства D.140) надо лишь заметить, что
для каждого А, 0 <^ А <; 1, и %\ = inf {п > 0: Яп > ^4}
и, значит,
а = М*[1 — Я;] < 1 - ^а-
Замечание 2. Теорема остается справедливой,
если требование непрерывности по А функции а\
заменить предположением, что для данного а е @, 1) найдется
такой порог Аа, что величина Мя [1 - яя„ 1 в точности
равна а (ср. с формулировкой теоремы 2).
Замечание 3. Функция а\ будет непрерывной
по А, если при каждом п функция распределения
Fn (х) = Р71 {я" < л:} является непрерывной по х. Это
условие в свою очередь выполнено, если, скажем,
плотности р0 (х) и рг (х) (относительно леб!еговской меры)
являются гауссовскими.
§ 4. Задача о разладке для винеровского процесса
1. Будем предполагать, что на некотором
вероятностном пространстве (Q, tf, ?п) заданы: независимые между
собой случайная величина 0 со значениями в [0, оо) и
стандартный винеровский процесс w = (wt, t > 0) такие,
что
D.141)

252 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
где К — известная константа, 0<^<сх>, 0 <; я <; 1,
и
w0 == 0, h\nwt = О, М* [wt — ws]2 = t — s * > .9 > 0.
D.142)
Будем предполагать также, что наблюдению
подлежит случайный процесс ? = (?*, ? > 0), допускающий
стохастический дифференциал
<*6f = ПС (* ~ 9) * + odwu Ео = 0, D.143)
где
Иначе говоря, структура наблюдаемого процесса такова,
что
[ow t<e 4144
По аналогии со случаем дискретного времени,
рассмотрим задачу скорейшего обнаружения момента 0 в
байесовской и условной постановках.
2. Байесовская постановка. Пусть
р» = inf {Р* {т < 9} 4 сМ* max {т — 6,0}], D.145)
где inf берется по классу всех моментов остановки
т е 3R [F4. Как и в § 3, будем] говорить, что момент %*п
является я-байесовским, если его функция риска
рп (Т;) =, р« {Т;< 0} + см« max {т; - 6, 0} D.146)
совпадает с р".
Теорема 9. п-байесовский момент
т„= inf {*>0: я?-
где щ = Рте{9 ^ t \ f}}, а порог А* есть (единственный)
корень уравнения
А*
D.147)

§ 4] РАЗЛАДКА ДЛЯ ВИНЕРОВСКОГО ПРОЦЕССА 253
Более того,
D.148)
Доказательство. Рассмотрим для данного
яб[0,11 случайную функцию П" = (я?, ff, Ря), t > 0.
Из результатов гл. 9 в [60] (см. там уравнение (9.84))
следует, что процесс (я*, t > 0) допускает стохастический
дифференциал
dsii = X A - я?) dt + -^ я? A - я") (dg, — гя?А), D.149)
где я? = я.
Процесс w = (wt, ff, Ря), ^ > 0, с
о
является винеровским (теорема 7.12 в [60]), и поэтому
йяГ = % A — я?) d* + -j- nt (I — л") dii;t, я? = я. D.150)
Так же, как и в § 2 (см. D.59)), из D.150) вытекает, что
процесс Ип = (я", ^ь РЛ), ? ;> 0, является (строго)
марковской случайной функцией.
По семейству марковских случайных функций {Пя,
0 <^ я ^ 1}, определенных на вероятностных
пространствах (Q, <f, Ря), 0 ^ я ^ 1, можно построить
соответствующий марковский процесс П = (я*, #%, Ря), я е=
^ [0, 1], у которого коэффициент сноса
а (я) = А, A - я), D.151)
а коэффициент диффузии
-Г*(*-я)]*- D.152)

254 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
По аналогии с доказательством в теореме 7, нетрудно
показать, что для А > О и т е= 9R [F4
р* (t) = Р* {х<0} + сМ" тах{т - 6, 0} =
Отсюда вытекает (ср. с § 15 гл. II), что для отыскания
я-байесовского момента %п достаточно найти оптимальный
момент остановки в задаче
т
р (я) = inf Мя {A - ят) + с J я5Ц , D.153)
1 о
где П = (яь f ь Рп), я ЕЕ [0, 1],— диффузионный
марковский процесс с локальными характеристиками а (я)
и а2 (я), задаваемыми формулами D.151) и D.152), a inf
в D.153) достаточно брать по классу
} D.154)
о J
Так же как и при решении задачи различения двух
простых гипотез о среднем значении винеровского
процесса (§ 2), для отыскания функции риска р (я) и
доказательства того, что момент
т0 = inf {t > 0: р (я*) = 1 — я,}
является оптимальным, рассмотрим следующую задачу
Стефана:
= —от, 0<я<Л,
/(я)-1-я, Л<я<1, D.155)
где Ж —- дифференциальный оператор
Л — неизвестная константа из интервала [0, 1], а / (я) —
неизвестная функция из класса F неотрицательных
выпуклых вверх, дважды непрерывно дифференцируемых
функций.

§ 4J РАЗЛАДКА ДЛЯ ВИНЕРОНС,;ОГО ПРОЦЕССА 255
Общее решение уравнения ?1. / (л) = —ел содержит
две неопределенные констапты, и к тому же у нас еще
неизвестна точка А, определяющая область [О, А), где
«действует» уравнение 30 f (я) -= —ст. Таким образом,
двух условий [/ (л) = 1 — я, я е. U, 1] и /' (А) = —1]
недостаточно для однозначного решения задачи Стефана
D.155). Оказывается, однако, что в классе F решение
существует, единственно и обладает тем свойством, что
/' @) = 0.
Обозначим С = с/р, Л •= Х/р и я}) (я) = /' (я). Из
уравнения 3)f (я) = —ел находим, что
Это уравнение имеет особую точку я = 0 и сепаратрису
г|)* (я), входящую в эту точку (г|>* @) = 0). Нетрудно
найти, что
, D.1Г>7)
где Я (у) = In-
Пусть А* — корень уравнения
ф* (А*) = -1, D.158)
/*(я) =
D.159)
1-я, яе[4*,1],
Функция /* (я) неотрицательна, выпукла вверх и
является решением задачи D.155). Покажем, что в классе F
это решение единственно.
С этой целью рассмотрим семейство интегральных
кривых уравнения D.156).
Пусть точка А ^> А* и ф^ (я) — решение этого
уравнения, удовлетворяющее условию г))д (А) = — 1. Тогда
ур.\ @) = + оо, и, следовательно, решение системы
D.155) с / (А) = 1 - А и /' (А) = фА (А) = -1, не
является функцией, выпуклой вверх.

256 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Пусть теперь точка А <С А* и iju (я) — решение
уравнения D.156) с ^а (А) = —1. Тогда орл @) = — оо и
решение системы D.155) с/ (А) = 1 — A, f (A) = tyA (A) =
= — 1 таково, что / @) < 0.
Итак, пара D*, /* (я)) есть единственное решение
задачи D.155) (в классе функций / (я) ее F)-
Покажем теперь, что найденная функция /* (я)
совпадает с риском р (я). Для этого воспользуемся тем же
самым приемом, который был применен для
доказательства аналогичного утверждения в теореме 5.
Из D.151) и D.152) (см. также D.150)) ясно, что для
любого момента остановки т (относительно F = {ft}*
t>0)
xAN
М*ятЛ# = я + Шп (х Д N) —
и, значит,
Отсюда ясно, что если Мте^я8&<;оо, то и Мл т < оо
о
(обратное очевидно). Поэтому если момент т таков, что
я5Й5 < оо, то согласно следствию к теореме 5.1 в [39]
Мя/* (ях) - /* (я) = - сМл 5 njs, я е [0, Л*).
о
Следовательно,
р(я)= ш!М»|1-я,) +
т
!> inf Мл |/*(ят) + с\ Tt8ds\ -f- inf MU{A — ят) — /*(ят)}=
тез»» J tgsjji
= /* (я) + inf Мл {A - я,) - /*(ят)}.

§ 4] РАЗЛАДКА ДЛЯ ВИНЕРОВСКОГО ПРОЦЕССА 257
Но 1 — я > /* (я) для всех я ЕЕ [0, 1], поэтому р (я) >
>/* (я) для яе= [О, Л*).
Далее, момент т* = inf {t > 0: я* ЕЕ А*}
принадлежит классу Ж1 (в силу теоремы 13.16 в [39]) и
{A
1 - ят*) + с 5 jvfe} = Мл {/¦ (ях*) + с
о
Поэтому для всех я ЕЕ [0, А*) риск р (я) совпадает
с /* (я). Из выпуклости кверху функции р (я) вытекает,
что р (я) = /* (я) = 1 — я и для я > Л*.
Итак, структура оптимального момента остановки в
задаче D.153), а также функция р (я) найдены. Отсюда, как
уже отмечалось выше, непосредственно следуют
утверждения теоремы 9.
3. Условно экстремальная
постановка. Пусть 9К (а; я) — класс моментов остановки,
для которых
Р*{т<6}<а.
Теорема 10. Пусть 0 < а < 1, 0<я<1,
0 < К < оо. Тогда момент остановки
та = inf {t > 0: я? > Аа), D.160)
где Aol = 1 — а, является оптимальным в том смысле,
что для всякого т G 3R (а; л)
MKmax {fa— G, 0} < Мя max {т — 9, 0}.
Доказательство этой теоремы проводится так
же, как и доказательство теоремы 8. Заметим лишь, что
равенство Аа = 1 — а следует из того, что для всех
Я
и если п ^> А а, то
М* [1 _ яу - 1 - я.
4. Остановимся еще на вопросе о том, чему при
заданной вероятности ложной тревоги а равно время
запаздывания
R (а; X) = М° {Та - 0 | Та > 6} D.161)
(ограничиваясь для простоты лишь случаем я = 0).

2П8 ПРИМЕНЕНИЯ К ЗАДАЧАМ СТАТИСТИКИ [ГЛ. IV
Пусть са есть та константа с, входящая в D.145), для
которой О-байесовский момент т^ совпадает с моментом
та, определенным в D.160). (Существование са вытекает
из рассуждений, аналогичных приведенным при
доказательстве теоремы 8.)
Тогда согласно D.148)
С другой стороны,
р° = inf
= Р° {та < 6} + саР° {ха > 6} R (а; К) =
= а + са A — a) R (а; Я,). D.163)
Сравнивая D.162) и D.163), находим
рр е-Л«и
Li {u-if^d
. D.164)
^"""' (l-a)p
Проведем исследование этой формулы в практически
наиболее интересном случае, X ->¦ 0. Естественно, что при
X -> 0, т. е. когда среднее время появления разладки
M°G = Х-1 стремится к бесконечности, разумно
предполагать, что a —>- 1. Будем считать А,-^0, a-> 1, но так,
л „
что отношение —г-— = Т, где Т фиксировано. Тогда из
D.164) при а->1, X ->¦ 0 и фиксированном отношении
1 —а -п-
—г— = у находим
л \ -?¦
= lim R(a;X,)= lim "lu"a;
= — lim Л/1—a [ 4-ft— dz)dy =

§ 4] РАЗЛАДКА ДЛЯ ВИНЕРОВСКОГО ПРОЦЕССА 259
где Ъ = (рТ) и
- Ei (- y)=
— интегральная показательная функция.
После несложных преобразований, [98], получим
Но
откуда
оо оо оо
Следовательно,
D.165)
где b = (рТ).
В случае больших Т.из формулы D.165) получаем,
[98],
R (Т) = ~ {in (рТ) - 1 - С + О (-^г)} , D.166)
где С = 0,577 ... — константа Эйлера.

ИСТОРИКО-БИБЛИОГРАФИЧЕСКАЯ СПРАВКА
Глава I. Случайные процессы. Марковские моменты
§ 1. Аксиоматика теории вероятностей изложена в
основополагающей работе А. Н. Колмогорова «Основные понятия теории
вероятностей», [48]. Вопросы, связанные с измеримостью и
прогрессивной измеримостью случайных процессов см. в монографиях Дынки-
на [39], Мейера[63].
§ 2. Дополнительные сведения о свойствах марковских
моментов можно найти в монографиях Блюменталя и Гетура [12], Гих-
мана и Скорохода [24], Дынкина [39], Мейера [63], Липцера и
Ширяева [60]. По поводу результатов и доказательств утверждений
пп. 3—5 см. также статью Куррежа и Приуре [55].
§ 3. Доказательства приводимых теорем о мартингалах и
полумартингалах см. у Гихмана и Скорохода [24], Дуба [36], Мейера
[63], Липцера и Ширяева [60]. Обобщенные мартингалы и
полумартингалы изучались в статье Снелла [75].
§ 4. Основные определения и факты из теории марковских
процессов здесь приводятся, следуя монографиям Блюменталя и
Гетура [12], Гихмана и Скорохода [24], Дынкина [39].
Глава П. Оптимальная остановка марковских
случайных последовательностей
§ 1. Впервые исследование вопросов существования и способов
отыскания оптимальных моментов остановки в байесовских
решающих процедурах было дано в работах Вальда [18], [19], Вальда и
Волфовица [17], Арроу, Блекувлла и Гиршика [3]. Вскоре после
появления этих работ и под их влиянием Снеллом [75] была
сформулирована общая задача об оптимальной остановке случайных
процессов с дискретным временем. Дальнейшее развитие результатов
Снелла было дано в работах Чао и Роббинса [87], Хаггстрёма [86],
Сигмунда [73]. Результаты исследования в этом направлении,
которые естественно назвать «мартингальными», подытожены (для
случая дискретного времени) в монографии Чао, Роббинса и Сигмунда
[92].
Другое направление исследований в теории оптимальных
правил остановки связано с предположением, что наблюдаемый
процесс является марковским.
Изучение задач этого направления было начато в работе Дып-
кина |40], который рассматривал цену s (x) = sup Meg (a?t) для
случая неотрицательных функций я (х) (полагая $ (tJ) — 0). В первом

ИСТОРИКОБИБЛИОГРАФИЧЕСКАЯ СПРАВКА 261
издании настоящей книги были введены цены s (х) и 1 (х) для случая
произвольных функций g (а?), причем выяснилось, что удобно
доопределять функцию g (а:^), полагая g (х^) = lim g (xt).
t-*oo
Хотя этот марковский случай формально укладывается в
схему Снелла, однако предположение марковости дает возможность
получить более глубокие и конструктивные результаты (особенно для
случая непрерывного времени). С другой стороны, хорошо
известно, что всякий процесс можно сделать марковским (считая все
«прошлое» за новое состояние). Поэтому из результатов «марковской»
теории оптимальных правил остановки можно получать
соответствующие результаты и для произвольных случайных
последовательностей.
§ 2. Уравнения sn (х) = max {g (x), T^i-i (x)} в связи с
разными задачами и при разной общности предположений возникали
в работах Вальда [19], Арроу, Блекуэлла, Гиршика [3], Беллмана
[8] и др. Их называют часто уравнениями Вальда — Беллмана и
выводят с помощью принципов динамического программирования
(индукция «назад»). Доказательства теорем 1 и 2 близки к
доказательствам Чао, Роббинса, Сигмунда [92], Хаггстрёма [85].
§ 3. Задача о выборе наилучшего объекта, известная также под
названием задачи о «разборчивой невесте», рассматривалась (в
разных постановках) многими авторами: Гарднер [21], Дынкин [40],
Чао, Моригути, Роббинс, Самуэлс [89], Джилберт, Мостеллер [34],
Гусейн-заде [31], Пресман и Сонин [70], Де Гроот [33].
§ 4. Роль эксцессивных функций при описании структуры
цены s (х) была впервые отмечена Дынкиным [40]. Лемма 3, играющая
фундаментальную роль при выяснении структуры цены s (x), есть
следствие того факта, что последовательность (/ (а?п), ^П1 Рх)
образует супермартингал и / ^ L (А~) (см. Мейер [63]). Лемма 4
содержится в статье Дынкина [40]. Лемма 5, доказанная в статье Григелио-
ниса и Ширяева [26], показывает, что наименьшая эксцессивная
мажоранта v (х) функции g {x) удовлетворяет уравнению Вальда —
Беллмана v (x) = max {g (x), Tv (x)}. Способ построения
наименьших эксцессивных мажорант и (х) для (неотрицательных) функций
g (x) (лемма 6) был указан А. Д. Вентцелем. Лемма 7 есть, в
сущности, один из вариантов известной теоремы теории мартингалов о
«преобразовании свободного выбора» (Дуб [36], теорема 2.2 гл. VII).
Доказательство леммы 8 заимствовано у Снелла [75]. Способ
построения наименьших эксцессивных мажорант, указанный в леммах
9 и 11, приводится впервые. Сходные построения содержатся также
в статье Сигмунда [73].
§ 5. В случае g (x) ^ 0 иное доказательство утверждения
теоремы 3 о том, что цена s (x) есть наименьшая эксцессивная
мажоранта g (x), дано Дынкиным [40]. (е, ?)-оптимальные моменты
рассматриваются впервые, (е, ^-оптимальность момента т€ (см.
теорему 4) в случае 0 ^ g (х) < С < оо была установлена Дынкиным
[40]. Утверждения 2) и 3) теоремы 4 близки к соответствующим
результатам статей Сигмунда [73] и Чао'и Роббинса [91].
§ в. По поводу примеров, близких к приводимым в этом
параграфе, см. также книгу Дынкина и Юшкевича [41]. Пример 7
приведен в статье Хаггстрёма 185]*

262 ИСТОРИКО-БИБЛИОГРАФИЧЕСКАЯ СПРАВКА
§ 7. Вопросам структуры цены для функций класса g e В (а~)
посвящены статьи Г. Ю. Энгельберта [112] и Лазриевой [56].
§§ 8, 9. ^-регулярные функции в задачах об оптимальных
остановках изучались Чао и Роббинсом [91], Ширяевым [106] (в
первом издании этой книги). Доказательство теорем 7 и 9 следует
доказательству теоремы 3 гл. II книги Ширяева [106] и статье
Г. Ю. Энгельберта [110].
§ 10. Утверждения теоремы 11 для случая произвольных
последовательностей получены Чао и Роббинсом [87], [88], [91] и Хаг-
гстрёмом [85].
§11. Вопросы единственности решения рекуррентных
уравнений / (х) = max {g (x), Tf (x)} рассматривались Беллманом [8],
Григелионисом и Ширяевым [26], Григелионисом [28]. Теорема 15
доказана Сигмундом [73], теоремы 16 и 17 принадлежат Лазриевой
[56]. Теорема 18 содержится в статье Г. 10. Энгельберта [112].
§ 12. Результаты, изложенные в этом параграфе, получены
Рэем [72], Григелионисом и Ширяевым [25]. В этих работах можно
найти примеры применения критериев «урезанности».
§ 13. Рандомизированные и достаточные классы моментов
остановки рассматривались в работах Сигмунда [73], Ширяева
[100], Дынкина [42], Григелиониса [29].
§ 14. Функционалы типа B.169) изучались в статье
Крылова [50]. Приведенный в конце параграфа пример для случая а = 1
рассматривался в Чао, Роббинсом и Сигмундом [92].
§ 15. Вопросы редукции и свойства транзитивных статистик
изучались в работах Бахадура [6], Ширяева [100], [103],
Григелиониса [29], Чао, Роббинса и Сигмунда [92].
Глава III. Оптимальная остановка марковских
случайных процессов
§§ 1,2. Как и в случае дискретного времени, развитие теории
оптимальных правил остановки для непрерывного временного
параметра также идет в двух направлениях: «мартингальном» и
«марковском». К первому направлению относятся, например, работы Фа-
кеева [84], Дочвири [35], Томпсона [80].
Результаты настоящей главы относятся ко второму
(«марковскому») направлению, дальнейшее развитие которого для
последовательно управляемых марковских процессов можно найти в статье
Звонкина [47]. Определения и свойства эксцессивных функций
содержатся у Ханта [86], Дынкина [39], Блюменталя и Гетура [12],
Мейера [63]. Лемма 2 доказана А. Энгельбертом [109]. Способ
построения наименьшей эксцессивной мажоранты функции g (x),
указанный в лемме 3, дан Григелионисом и Ширяевым [26]. Иной
способ был ранее предложен Дынкиным [40].
§ 3. В случае g (х) 1> 0 утверждение теоремы 1 о том, что цена
s (х) есть наименьшая эксцессивная мажоранта g (x) доказано
Дынкиным [40]. Цена s (х) в случае марковских процессов с непрерывным
временем ранее не рассматривалась. Пример, приведенный в п. 1,
содержится в статье Тейлора [78]. Теоремы 2 и 3 доказаны
Г. Ю.Энгельбертом [НО]. При более сильных допущениях
утверждения этих теорем можно найти у Дынкина [40], Ширяева [106].

ЙСТОРИКОБИЁЛИОГРАФИЧЕСКАЯ СПРАВКА 263
§ 4. Теоремы 4, 5 и вспомогательные утверждения этого
параграфа принадлежат Л. Энгельберту [109]. ^-регулярность при
исследовании структуры цен s (х) и § (х) введена для марковских
процессов с непрерывным временем Ширяевым [106J. По поводу
утверждений теоремы 6 см. § 4 гл. III книги Ширяева [106] и статьи
Г. Ю. Энгельберта [111] и А. Энгельберта [109].
§ 5. Теоремы 7—10 содержатся в статье А. Энгельберта [109].
§ 6. Изложение в этом параграфе следует работе А.
Энгельберта [108].
§ 7. е (я)-оптимальные моменты изучались П. Катышевым и
А. Энгельбертом [107].
§ 8. Изложение в этом параграфе следует статье Григелиошт-
са и Ширяева [26], книге Ширяева [106], статьям Г. 10.
Энгельберта [111] и А. Энгельберта [109]. Условие «гладкого склеивания»
применялось при решении конкретных задач в работах Михалеви-
ча [66], Чернова [93], Линдли [58], Батера [5], Ширяева [103], Уит-
тла [81], Стратоновича [76]. Теорема 16 принадлежит Григелионису
и Ширяеву [26]. По поводу вывода условий склеивания на границе
области остановки см. также Григелионис [27] и Крылов [51].
Глава IV. Некоторые применения к задачам
математической статистики
§ 1. Байесовская и условная постановки задач
последовательного различения двух простых гипотез принадлежат Валь-
ду [19]. Приведенное доказательство теоремы 1 следует статьям
Чао и Роббинса [88] и Ширяева [104]. Теорема 2 доказана Вальдом
и Волфовицем [16]. По поводу ее доказательства см. также книги
Лемана [57] и Закса [44]. Оценки D.29) в теореме 3 получены
Вальдом [19]. Лемма 2 принадлежит Стейну (см. Вальд [19]). Тождества
Вальда (леммы 3 и 6) были предметом исследования многих авторов:
Вальд [19], Блекуэлл [10], Дуб [36], Чао, Роббинс, Тейчер [90],
Шепп [94], Броун, Иглсон [14]. Теорема 4 для случая N = 2 найдепа
Вальдом [19]. В общем случае она была установлена В. Хефдингом
(сообщена им автору в 1965 г.). См. также статью Симонса [74] и
книгу Бечхофера, Кифера и Собела [9] (теорема 3.5.1).
§ 2. Уравнения D.85) в теореме 5 впервые были найдены Ми-
халевичем [66]. Несколько иное доказательство теоремы 5
приведено в статье Ширяева [104]. Теорема 6 и лемма 7 принадлежат Вальду
[19]. Доказательство леммы 6 следует статье Шеппа [94]. Сравнение
оптимальных свойств метода Неймана — Пирсона и
последовательного критерия отношений вероятностей Вальда было проведено
Айвазяном [1].
§ 3. Задача о разладке впервые была рассмотрена в докладе
Колмогорова и Ширяева на VI Всесоюзном совещании по теории
вероятностей и математической статистике (г. Вильнюс, 1960 г.).
Приводимые здесь результаты содержатся в статьях Ширяева [96],
[98], [100].
§ 4. Задача о разладке для винеровского процесса изучалась
Ширяевым в [97], [98], [101], [104]. В этих работах рассматривались
и другие постановки задач скорейшего обнаружения момента
появления разладки. Задача о разладке разбиралась также Стратокови
чем [76] и Батсром [5]. Формулы D.165) — D.166) получены
Ширяевым [98].

ЛИТЕРАТУРА
[1] А и в а з я н С. А., Сравнение оптимальных свойств
критериев Неймана — Пирсона и Вальда, Теория вероятн. и ее
примен. IV, 1 A959), 86—93.
[2] Александров П. С, Введение в общую теорию
множеств и функций, М., Гостехиздат, 1948.
[3]Арроу, Блекуэлл, Гиршик (Arrow К. I.,
Blackwell DM Girshick M. A.), Bayes and mini-
max solutions of sequential decision problems, Econometrica
17 A949), 213-214.
[4] Батер (Bather I. A.), Bayes procedures for deciding the
sing of a normal mean, Proc. Cambr. Phil. Soc. 58, 4 A962),
226-229.
[5J Батер (Bather I. A.), On a quickest detection problem,
Ann. Math. Statist. 38, 3 A967), 711-724.
[6] Бахадур (Bahadur R. R.). Sufficiency and
statistical decision functions, Ann. Math. Statist. 25, 3 A954), 423—
462.
[7] Башаринов А. Е., Флейшман B.C., Методы
статистического последовательного анализа и их
радиотехнические приложения, М., «Советское радио», 1962.
[8] Б е л л м а н Р., Динамическое программирование, М., ИЛ,
1960.
[9J Б е ч х о ф е р, Кифер, Собел (BechhoferR. E.,
Kieferl., SobelM.), Sequential identification and
Ranking Procedures, Univ. of Chicago Press, USA, 1968.
[10] Блекуэлл (Blackwell D.), On an equation of
Wald, Ann. Math. Statist. 17, 1 A946), 84—87.
[И] Блекуэлл Д., Гиршик М. А., Теория игр и
статистических решений, М., ИЛ, 1958.
[12] Блюменталь, Гетур (BlumentalR. M., G е-
t о о г R. К.), Markov processes and potential theory,
Academic Press, New York and London, 1968.
[13] Брейман (Breiman L.), Задачи о правилах
остановки, сб. «Прикладная комбинаторная математика», М., «Мир»,
1968, 159-202.
[14]Броун, Иглсон (Brown В. М., Eagleson
G. К.), Simpler conditions for Wald equations, J. Appl.
Prob. 10 A973), 451—455.
[15] Буркхольдер, Уишмен (BurkholderD. L.
and W i j s m a n R. A.), Optimum properties and admissibi-
lity of sequential tests, Ann. Math. Statist. 34, 1 A963), 1—17.

ЛИТЕРАТУРА 2(M
[16] Вальд, Волфовиц (W а 1 d A., Wolfowitz J.),
Optimum character of the sequential probability ratio test, Ann.
Math. Statist. 19, 3 A948), 326—339.
[17] Вальд, Волфовиц (Wald A., Wolfowitz J.),
Bayes solutions of sequential decision problems, Ann. Math.
Statist. 21, 1 A950), 82—99.
[18] Вальд (Wald A.), Statistical decision function, J.
Wiley, New York, 1950. (Русский перевод: Статистические
решающие функции, сб. «Позиционные игры», М., «Наука», 1967,
300—522.)
[19J Вальд А., Последовательный анализ, М., Физматгиз,
1960.
[20] Ветер и лл (WetherillG. В.), Sequential Methods
in Statistics, London, 1966.
[21J Гарднер (Gardner M.), Mathematical games, Sci.
Amer. 202, 1 A960), 150—156; 202, 3 A960), 173—182.
[22] ГихманИ. И., Скороход А. В., Введение в теорию
случайных процессов, М., «Наука», 1965.
[23] ГихманИ. И., Скороход А. В., Стохастические
дифференциальные уравнения, Киев, «Наукова думка», 1968.
[24] ГихманИ. И., Скороход А. В., Теория случайных
процессов, т. I, II, III, M., «Наука», 1971, 1973, 1975.
[25] Григелионис Б. И., Ширяев А. Н., Критерии
«урезанности» оптимального момента остановки в
последовательном анализе, Теория вероятн. и ее примея. X, 4 A965),
601-613.
[26] Г р и г е л и о н и с Б. И., Ш и р я е в А. Н., О задаче
Стефана и оптимальных правилах остановки марковских
процессов, Теория вероятн. и ее примен. XI, 4 A966), 612—631.
[27] Григелионис Б.И., Об оптимальной остановке
марковских процессов, Литовский математ. сб. VII, 2 A967),
265-279.
[28] Григелионис Б. И., Об условиях единственности
решения уравнения Беллмана, Литовский математ. сб. VIII,
1 A968), 47—52.
[29J Григелионис Б. И., Достаточность в задачах
оптимальной остановки, Литовский математ. сб. IX, 3 A969),
471-480.
[30] Грэйвс (Graves L. M.), The theory of functions of
real variables, McGraw-Hill, New York and London, 1946.
[31] Гусейн-заде СМ., Задача выбора и оптимальное
правило остановки последовательности независимых
испытаний, Теория вероятн. и ее примен. XI, 3 A966), 534—537.
[32] Дворецкий, Кифер, Волфовиц (Dvoretzky A.,
Kiefer J., Wolfowitz J.), Sequential decision processes with
continuous time parameter; testing hypotheses, Ann. Math.
Statist. 24, 2 A953), 254—264.
[33] Де Гроот (De GrootM.H.). Оптимальные статистические
решения, М., «Мир», 1974.
[34] Джилберт, Мостеллер (G i I b e r t J. P., Mos-
teller F.), Recognizing the maximum of a sequence, J,
Amer. Statist. Assoc. 61, 313 A966), 35—73.

266 ЛИТЕРАТУРА
[35] ДочвириВ., О супермартингальной характеризации
цены в задаче оптимальной остановки марковских процессов,
Сообщения АН Груз. ССР 59, 1 A970), 29-31.
[36] Дуб Дж. Л., Вероятностные процессы, М., ИЛ, 1956.
[37] Дьедонне Ж., Основы современного анализа, М.,
«Мир», 1964.
[38] ДынкинЕ. Б., Основания теории марковских
процессов, М., Физматгиз, 1959.
[39] Дынкин Е. Б., Марковские процессы, М., Физматгиз,
1963.
[40] ДынкинЕ. Б., Оптимальный выбор момента остановки
марковского процесса, ДАН СССР 150, 2 A963), 238—240.
[41] Дынкин Е. Б., Юшкевич А. А., Теоремы и задачи
0 процессах Маркова, М., «Наука», 1967.
[42] Д ы п к и н Е. Б., Достаточные статистики для задачи об
оптимальной остановке. Теория вероятн. и ее примен. XIII,
1 A968), 150-151.
[431 Дэвис (Davis M. H. A.), A Note on the Poisson
Disorder Problem, Proc. of International Conference on Control
Theory, Zakopane, Poland, 1974.
[44] 3 а к с Ш., Теория статистических выводов, М., «Мир», 1975.
[45] И то К., Об одной формуле, касающейся стохастических
дифференциалов, Математика, сб. перев. иностр. статей 3 : 5
A959), 131-141.
[46J И т о К., Вероятностные процессы, вып. I, II. М., ИЛ,
1960, 1963.
[47] Звонкий А. К., О последовательно управляемых
марковских процессах, Матем. сб. 86 A08) A971), 611—621.
[48] Колмогоров А. Н., Основные понятия теории
вероятностей, М., ОНТИ, 1936; М., «Наука», 1974.
[49] Колмогоров А. Н., Фомин С. В., Элементы
теории функций и функционального анализа, М., «Наука», 1968.
[50] Крылов И. В., Об оптимальной остановке управляемой
цепи, сб. «Оптимальное управление и теория информации»
(тезисы докладов на VII Всесоюзном совещании по теории
вероятностей и математической статистике, Тбилиси, 1963),
изд-во Ин-та математики АН УССР, Киев, 1963, 11—15.
[51] Крылов Н. В., Задача с двумя свободными границами
для эллиптического уравнения и оптимальная остановка
марковского процесса, ДАН СССР 194, 6 A970), 1263—1265.
[52] Крылов Н.В. Об управлении решением
стохастического интегрального уравнения при наличии вырождения, Изв.
АН СССР 36, 1 A972), 248-261.
[53] Куджма Р., Оптимальная остановка полуустойчивых
марковских процессов, Литовский математ. сб. 13, 3 A973),
113—117.
[54] Кульбак С, Теория информации и статистика, М.,
«Наука», 1967.
[55] Курреж, Приуре (P. CourregeetP. Priou-
r e t), Temps (Tarrat d une fonction aleatoire: Relations
d'equivalence associees et proprietes de decomposition, Publ. Inst.
Statist. Univ. Paris. 14 A965), 245-274.

ЛИТЕРАТУРА 207
[56] Л азриева Н. Л., О решениях уравнения Валь-
да — Беллмана, Литовский матем. сб. XIX, 2 A974), 79—
88.
[57] Леман Э., Проверка статистических гипотез, М.,
«Наука», 1964.
[58J Линдли (LindleyD. V.). Dynamic programming and
decision theory, Appl. Statist. 10 A961), 39—51.
[59] ЛипцерР. Ш., Ширяев А. Н., Нелинейная
фильтрация диффузионных марковских процессов, Труды Матем.
ин-та им. В. А. Стеклова CIV A968), 135—180.
[60] ЛипцерР. Ш., Ширяев А. Н., Статистика
случайных процессов, М., «Наука», 1974.
[61] Л о э в М., Теория вероятностей, М., ИЛ, 1962.
[62] Мацкявичус В., Об оптимальной остановке
марковской цепи с переоценкой, Литовский математ. сб. XI, 1 A971),
153-157.
[63] М е й е р П. А., Вероятность и потенциалы, М., «Мир»,
1973.
[64] Мей ер (Meyer P. A.), Processus de Markov, Springer,
Berlin, 1967.
[65J Мирошниченко Т. П., Оптимальная остановка
интеграла от винеровского процесса, Теория вероятн. и ее при-
мен. XX, 2 A975), 397-401.
[66] Михалевич.В. С, Байесовский Bn6ip шж двома ri-
потезами про середне значения нормального процессу, Bic-
ник Кишського ушверситету I, 1 A958), 101—104.
[67J Натансон И. П., Теория функций вещественной
переменной, М., Гостехиздат, 1957.
[68] Неве Ж., Математические основы теории вероятностей,
М., «Мир», 1969.
[69] Новикова. А., О моментных неравенствах для
стохастических интегралов, Теория вероятн. и ее примен. XVI,
3 A971), 548-550.
[70] Пресман Э. Л., С о н и н И. М., Задача наилучшего
выбора при случайном числе объектов, Теория вероятп. и
ее примен. XVII, 4 A972), 695-706.
[71] Рубинштейн Л. И., Проблема Стефана, Рига, «Звайгз-
не», 1967.
[72] Р эй (Ray S. N.), Bounds on the maximum sample size of
a Bayes sequential procedure, Ann. Math. Statist. 36,
3 A965), 859—878.
[73] GnrMyHfl(Siegmund D. O.), Some problems in the
theory of optimal stopping rules, Ann. Math. Statist. 38, 6
A967), 1627—1640.
[74] Симоне (Simons G.), Lower bounds for average
sample number of sequential multihypothesis tests, Ann. Math.
Statist. 38, 5 A967), 1343—1364.
[75] С н е л л (Snell I. L.), Applications of martingale system
theorems, Trans, Amer. Math. Soc. 73 A953), 293—312.
[76] Стратонович Р. Л., Условные марковские процессы
и их применение к теории оптимального управления, М.,
изд-во МГУ, 1966.

268 Литература
[77] С т р у к, Варадан (StroockD. W., Varadhan
S. R. S.), Diffusion processes with continuous coefficients, I,
II, Comm. Pure Appl. Math. 12 A969), 345—400, 479—530.
[78J Тейлор (Taylor H. M.), Optimal stopping in Markov
processes, Ann. Math. Statist. 39, 4 A968), 1333—1344.
[79J T о б и а с Т., Оптимальная остановка диффузионных
процессов и параболические вариационные неравенства. Диффер.
уравнения IX, 4 A973), 702—708.
[80] Томпсон (Thompson M. E.), Continuous parameter
optimal stopping problems, Z. Wahrscheinlichkeitstheorie
und verw. Gebiete, 19 A971), 302—318.
[81] Уит;л (Whittle P.), Some general results in sequential
design, J. Royal Statist. Soc, Ser. B. 27, 3 A965), 371—387.
[82] Уолкер {Walker L. H.), Optimal stopping variables
for stochastic processes with independent increments. Ann. of
Probability 2, 2 A974), 309-316.
[831 Уолкер (WalkerL.H.), Optimal stopping variables
for Browinian motion, Ann. of Probability, 2, 2 A974), 317—
320.
[84J Ф а к е е в А. Г., Об оптимальной остановке случайных
процессов с непрерывным временем, Теория вероятн. и ее примен.
XV, 2 A970), 336—344.
[851 Хаггстрём (Haggstrom G. W.), Optimal stopping and
experimental design, Ann. Math. Statist. 37, 1 A966), 7—29.
[861 X а н т Дж. А., Марковские процессы и потенциалы, М., ИЛ,
1962.
[87] Чао, Роббинс (ChowY.S., RobbinsH.), A
martingal system theorem and applications, Proc. Fourth
Berkeley Symp. Math. Statist. Prob., Univ. Calif. Press. USA, v. I
A961), 93-104.
[881 Чао, Роббинс (ChowY.S., RobbinsH.), On
optimal stopping rules, Z. Wahrscheinlichkeitstheorie und verw.
Gebiete 2 A963), 33—49.
[89] Чао, Моригути, Роббинс, Самуэлс (ChowY.S.,
MorigutiS., R о b b i ns H., S a m u e Is S. M.),
Optimal selection based on relative rank (the «secretary
problem»), Israel J. Math. 2, 2 A964), 81—90.
[901 Чао, Роббинс, Тейчер (ChowY.S., Robbins
H., TeicherH.), Moments of randomly stopped sums,
Ann. Math. Statist. 36, 4 A965), 789—799.
[91] Чао, Р об б инс (Ch ow Y. S., RobbinsH.), On
values associated with a stochastic sequence, Proc. Fifth
Berkeley Symp. Math. Statist, Prob., Univ. Calif. Press, USA, v.
I A967), 427—440.
[92] Чао, Роббино, Сигмунд(С1ю? Y. S., Robbins
H., S i e g m u n d D.), Great Expectations: The Theory of
Optimal Stopping, Houghton Mifflin Сотр., Boston, 1971.
[931 Чернов (Chernoff H.), Sequential tests for the mean
of a normal distribution, Proc Fourth Berkeley Symp. Math.
Statist. Prob., Univ. Calif. Press, v. I A961), 79—92.
[941 Шепп (Shepp L. A.), A first passage problem for the
Wiener process, Ann. Math. Statist. 38, 6 A967), 1912—1914.

ЛИТЕРАТУРА 269
t95] Шепп (Shepp L. A.), Explicit solutions of some
problems of optimal stopping, Ann. Math. Statist. 40, 3 A969), 993—
1010.
[96] Ширяев А. Н., Обнаружение спонтанно возникающих
эффектов, ДАН СССР 138, 4 A961), 794—801.
[97] Ширяев А. Н., Задача скорейшего обнаружения
нарушения стационарного режима, ДАН СССР 138, 5 A961), 1039—
1042.
[98] Шир яев А. А., Об оптимальных методах в задачах
скорейшего обнаружения, Теория вероятн. и ее примен. VIII,
1 A963), 26-51.
[99] Ширяев А. Н., К теории решающих функций и
управлению процессом наблюдения по неполным данным, Trans. Third
Prague Conferense on Inform. Theory, Statistical Decision
Functions, Random Processes, Prague, 1964, 557—581.
[100J Ширяев А. Н., О марковских достаточных статистиках
в неаддитивных байесовских задачах последовательного
анализа, Теория вероятн. и ее примен, IX, 4 A964), 670—686.
[101J Ширяев А. Нм Некоторые точные формулы в задаче о
«разладке», Теория вероятн. и ее примен. X, 2 A965), 380—
385.
[1021 Ш и р я е в А. Н., Стохастические уравнения нелинейной
фильтрации скачкообразных марковских процессов,
Проблемы передачи информации II, 3 A966), 3—22.
[103] Ширяев А. Н., Некоторые новые результаты в теории
управляемых случайных процессов, Trans. Fourth Prague
Conference on Inform, Theory, Statistical Decision Functions,
Random Processes, Prague, 1967, 131—203.
[104] Ш и р я е в А. Н., О двух задачах последовательного
анализа, Кибернетика 2 A967), 79—80.
[1051 Ширяев А. Н., Исследования по статистическому
последовательному анализу, Матем. заметки 3, 6 A968), 739—754.
[106] Ширяев А. Н., Статистический последовательный
анализ, М., «Наука», 1969.
[107]ЭнгельбертА., Об 8-оптимальности марковских
моментов в задаче остановки марковских процессов с
непрерывным временем, Mathematische Nachrichten70 A975), 251—257.
[108] Энгельберт A. (Engelbert A.), Uber die Konstruktion
des «Wertes» s (x) beim optimalen Stoppen von Standard-Mar-
kow-Prozessen, Препринт, Ун-т, г. Иена, ГДР, 1975.
[109] Энгельберт A. (Engelbert A.), Optimal Stopping
Problems in a Standard Markov Process, Препринт, Ун-т г. Иена,
ГДР, 1975.
[110] Энгельберт Г.Ю., К теории оптимальных правил
остановки марковских процессов, Теория вероятн. и ее примен.
XVIII, 2 A973), 312-320.
[111] Энгельберт Г. Ю., Об оптимальных правилах
остановки марковских случайных процессов с непрерывным временем,
Теория вероятн. и ее примен. XIX, 2 A974), 289—307.
[112] Энгельберт Г. Ю., О построении цены s (х) в задаче
об оптимальной остановке марковской последовательности,
Mathematische Operationsforschung und Statistik 3, 6 A975),
493-498.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Абсолютно измеримое множество 12
(а, с)-оксцессивность 124
(а, с)-супермартингал 126
Апостериорная вероятность 144, 209,
" 245
Байеса формула 144
Борелевское множество 12
Вальда тождество 221, 236
Вероятности ошибок 208
Вероятностная мера 11
Вероятностное пространство 11
Вероятность 11
Винеровский процесс 227
Выигрыш от остановки 54
— от продолжения 54
— средний 41
Динамическое программирование 53
Достаточная система 122
е-оптимальный момент 45, 148
е (х)-оптимальный момент 195
(е, ?)-оптимальный момент 44, 148
(е, s)-оптимальный момент 45, 148
Задача о выборе наилучшего объекта
54
— о разладке 243, 251
— с платой 123
— Стефана 200
Измеримое пространство 11
Изхмеримый случайный процесс 15
Индикатор множества 12
Индукция назад 53
Интеграл Лебега 12
Инфиыитезимальный оператор 37
Квазинепрерывность слева 33
Критерии «урезанности» 115
Лемма Фату 14
Марковская последовательность (цепь)
33
— случайная функция 38
Марковский момент 16
— процесс 32
Марковское семейство случайных
функций 38
Мартингал 29
Модификация случайного процесса
16
Момент остановки 16
— достижения множества 21
Наименьшая регулярная мажоранта
94
— эксцессивная мажоранта 59
Необрывающийся процесс 32
Неоднородный марковский процесс 39
Непрерывная справа система а-ал-
гебр 17
Область остановки 49
— продолжения 50
Обобщенный супермартингал 30
Обрывающийся марковский процесс
39
Оператор Т^ 35
— Qt 36
— вт 36
Оптимальный марковский момент 45
— момент остановки 45
Остановленный процесс 22
Переходная функция 33
Полное вероятностное пространство
Полугруппа операторов 35
Полукомпакт 34
Полумартингал 29
Последовательный анализ 5
— критерий отношений
вероятностей 216
Почти борелевская функция 35
— борелевское множество 35
Правило остановки 4 5
Прогрессивно измеримый процесс 15
Равномерная интегрируемость 14
Рандомизированный момент
остановки 119
Регулярная функция 94
^-регулярная функция 93

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
271
Случайная величина 12
— последовательность 15
Случайный процесс 15
— элемент 12
Согласованный процесс 15
Стандартный марковский процесс 34
Строго марковский процесс 33
Субмартингал 29
Супермартингал 29
Сходимость по вероятности 13
— почти наверное 13
— с вероятностью единица 13
— цен 103
а-аддитивность 11
Урезанный момент остановки 115
Условия А-, А+, а~ 59, 149
— гладкого склеивания 204
Условное математическое ожидание
13
Фазовое пространство 32
Феллеровская полугруппа 35
Феллеровский процесс 35
Фундаментальная лемма Неймана —
Пирсона 241
Фундаментальное тождество
последовательного анализа 223
Теорема Лебега о мажорируемой
сходимости 14
— о монотонной сходимости 13
Траектория 15
Транзитивная статистика 135
t-эквивалентные точки 23
т-эквивалентные точки 25
Характеристическая функция
множества 12
Характеристический оператор 37
^о-непрерывность 150
— сверху 147
— снизу 147
Уравнение Колмогорова — Чэпмена
34
Оксцессивная мажоранта 59, 153
— функция 59, 150

УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ
0 ii
а Л b = min (a, b
а V b = max (а, Ь
а- = — min (а, О
а+ = max (а, 0)
lim 14
lim 14
Уо- Ит
ess sup 52
Sn-? 13
^ - 5 13
?п-+? (Р-п.н.) 13
A- 59
A+ 59
a-^59
etf* 15
etf/ (x) 37
91/ (x) 37
[A]t 23
[A]T 26
В 41
a 12
В 147
<g& (T) 15
^([0, /]) IG
m 34
<&35
<^A 39
В (А-) 59
В (А+) 59
В (a-) 59
В (А-, A+) 59
В <А-) 149
В (А+) 149
В (а~) 149
В (А-, А+) 149
В» (А-, А+) 164
С 77
50
37
СЕ,
? 11
& и
<5Гр 11
^ 16
32
17
12
rf 15
} 23
а 99
ь 99
99
(л») 44
'f (x) 67
n/ (л) 68
А(«) 12
Ко 150
45
(А-) 59
(А+) 59
k (A-, А+) 59
L 149
Lo 149, 150
L (A-) 149
L (A+) 149
L (^-, A+) 149
м^ 12
M (? | G) 13
M (^; A) 12
E 43
8Й 43
2Й (/V) 41
9R (m; n) 48
mg 44
% (ЛГ) 42
Wg (m; n) 48
Wg 44
W^ (?n; oo) 78
Wg (m; oo) 78
9» E, s) 162
9Й (x; 5, s) 1G2
9K \F] 119
^15
JV 15
?R (n) 154
5ft (л; 5, s) 196
P 11-
p
px
Q 63
x, Г) 33
Q 64, 156
1 93
(X) 71
(x) 71
N (ас) 42
m n (x) 52
a (*) 94
s b (x) 72
s, (x) 95
s^ (x) 110
sT (со) 178
Г 15
T 15
Tf 45
Г«/ 35
w); 227
Z 15
«к (л-) 115
CLt B3)
3/, (x) 115
Г 77
Гп 50
Гт> n («) 137
С (а>) 40
9/ 36
9T 36
° A 21
ах 92
°? 95
ер 22
тЛ21
x?a95
ts 95
R 11
a, &) и
:q. <^, P) и
a ~to' 23
со - со' 25