<
§
ί
Χ
б
и
w
О
си
О
S
<3
га
w
ад
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
Е.Б. ДЫНКИН, А.А.ЮШКЕВИЧ
ТЕОРЕМЫ И ЗАДАЧИ
О ПРОЦЕССАХ
МАРКОВА
ш
Марковские процессы
представляют собий наиболее
изученный и имеющий
многочисленные применении класс
случайных процессов. В
последние 10—12 лет в теории
марковских процессов
широкое развитие получили новые
идеи и методы, были открыты
новые связи между
марковскими процессами и
математическим анализом. Эти новые
направления (потенциалы,
гармонические и эксцесенвные
функции, вероятностное
решение дифференциальных
уравнении, граница Мартина,
граничные условия для
марковских процессов и др.)
излагаются в книге на типичных
примерах и задачах,
выбранных так, чтобы наиболее
выпукло показать вероятностные
пдеи, не загроможденные
второстепенными техническими
трудностями.
Книга рассчитана как на
студентов,
специализирующихся по теории вероятностей,
так и на научных работников
в этой области и в смежных
областях.
А

- - \^Уг^шшш -.^ш^&мш^:шщ
i*i

ТЕОРИЯ ВЕРОЯТНОСТЕЙ
И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
Е. Б. ДЫНКИН, А. А. ЮШКЕВИЧ
ТЕОРЕМЫ И ЗАДАЧИ
О ПРОЦЕССАХ
МАРКОВА
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА 1967

517.8
Д89
УДК 519.217
101-57

ОГЛАВЛЕНИЕ
Предисловие 5
Литература 7
Глава I. Критерий массивности 9
§ 1. Симметричное случайное блуждание 9
§ 2. Переходная функция 10
§ 3. Поведение траектории при п->со 13
§ 4. Гармонические функции 15
§ 5. Потенциал 18
§ 6. Эксцессивные функции 22
§ 7. Емкость 24
§ 8. Критерий массивности 26
t9. Массивность множества, лежащего на оси 31
адачи 37
Глава II. Вероятностное решение некоторых уравнений . 46
§ 1. Определение винеровского процесса 46
§ 2. Распределение в момент выхода из круга и среднее
время выхода 50
§ 3. Марковское и строго марковское свойства 53
§ 4. Гармоничность вероятностей выхода 54
§ 5. Регулярные и нерегулярные точки границы .... 58
§ 6. Закон нуля или единицы. Достаточный признак
регулярности 62
§ 7. Задача Дирихле 66
§ 8. Вероятностное решение уравнения Пуассона .... 73
§ 9. Инфинитезимальный и характеристический операторы 75
Задачи 80
Глава III. Задача об оптимальной остановке 91
§ 1. Задача о наилучшем выборе 91
§ 2. Задача об оптимальной остановке цепи Маркова . . 102
§ 3. Эксцессивные функции 107
§ 4. Цена игры 109
§ 5. Оптимальная стратегия 111
§ 6. Приложение к случайному блужданию с поглощением
и к задаче о наилучшем выборе 114
1*

4 ОГЛАВЛЕНИЕ
§ 7. Оптимальная остановка винеровского процесса ... 116
§ 8. Доказательство основного свойства выпуклых
функций 123
Задачи 130
Глава IV. Граничные условия 148
§ 1. Введение 148
§ 2. Процесс размножения и гибели 152
§ 3. Каноническая шкала и вероятности выхода .... 155
§ 4. Отталкивающая и притягивающая границы 162
§ 5. Характеристика, среднее время выхода и мера
скорости 163
§ 6. Достижимая и недостижимая граница 171
§ 7. Продолжения процесса размножения и гибели.
Постановка задачи 173
§ 8. Мера скачков и коэффициент отражения 180
§ 9. Коэффициент поглощения. Проходимость границы
внутрь 187
§ 10. Граничные условия 196
§ 11. Теорема единственности 200
Задачи 208
Добавление 218
§ 1. Оценка функции g (х, у) 218
§ 2. Некоторые свойства выпуклых функций 222
§ 3. Решение уравнения ρ (s) ρ (t) = ρ (s +1) 226
Алфавитный указатель 228

ПРЕДИСЛОВИЕ
Идеи и методы теории вероятностей все шире
применяются в естествознании и технике, все глубже проникают
в различные области самой математики. Владеть этими
методами полезно и математикам разных специальностей, и
физикам, и инженерам. Между тем элементарные учебники могут
дать лишь ограниченное представление о современном развитии
предмета, а монографии, освещающие новые направления,
обычно пишутся для специалистов и используют громоздкий
теоретико-множественный и аналитический аппарат.
Чтобы овладеть новыми математическими идеями, надо
почувствовать их силу, увидеть, как они работают. Для этого
лучше всего начинать не с общих теорем, а с конкретных
задач. Задачи должны быть естественны, ситуация—типичной,
но не осложненной второстепенными техническими
трудностями, возникающими при педантичном систематическом
изложении.
Цель этой книги — ввести читателя именно таким путем
в новейшие направления теории марковских процессов.
Марковские процессы, представляют собой наиболее
изученный и имеющий многочисленные применения класс
случайных процессов. Ветви теории марковских процессов,
ставшие уже классическими, изложены в ряде прекрасно
написанных книг (см., например, [1] и [2]). Однако за
последние годы возникли новые важные направления, были открыты
новые связи между марковскими процессами и математическим
анализом. Эти вопросы получили освещение в нескольких
монографиях (см. [3]—[11]), которые, однако, мало
приспособлены для первоначального ознакомления с предметом.
Между тем, по существу в основе всего лежат весьма
прозрачные и наглядные идеи, изучение которых является
благодарным материалом для тренировки вероятностного мышления.

6
ПРЕДИСЛОВИЕ
Книга содержит четыре главы, каждая из которых вводит
читателя в определенный круг проблем: потенциалы,
гармонические и эксцессивные функции и предельное поведение
траекторий процесса (гл. I), вероятностное решение
дифференциальных уравнений (гл. II), некоторые вопросы
оптимального управления (гл. III), вероятностный аспект граничных
задач анализа (гл. IV).
В первой главе рассматривается простейшая цепь Маркова:
симметричное случайное блуждание по решетке. Выясняется,
что известные из классического анализа понятия гармонической
функции, потенциала, емкости и др. находят свои аналоги
в этой дискретной модели и могут быть использованы для
решения таких чисто вероятностных вопросов, как задача
о числе попаданий в заданное множество. Основой для этой
главы послужила работа Ито и Маккина [12].
В главе II показано, как вероятностные идеи применяются
для получения аналитических результатов. В частности, этим
путем доказано существование решения задачи Дирихле для
уравнения Лапласа в широком классе областей *).
Связи между марковскими процессами и потенциалами
находят неожиданное применение в третьей главе при
изучении задачи об оптимальной остановке марковского процесса.
Источником для этой главы была работа [13].
За последнее время внимание многих исследователей было
привлечено к проблеме о наиболее широких классах
граничных условий для дифференциальных и других уравнений.
В гл. IV эти вопросы трактуются с вероятностных позиций.
Рассмотрение простейшей дискретной модели (процессов
размножения и гибели) позволяет ограничиться при этом вполне
элементарными средствами. Пионером в применении
вероятностного подхода к граничным задачам является Феллер.
Процессы размножения и гибели рассмотрены им в работе [14].
*) Связь между теорией вероятностей и задачей Дирихле была
замечена задолго до возникновения общей теории марковских
процессов (работы Г. Филипса и Н. Винера (1923), Р. Куранта,
К. Фридрихса и X. Леви (1928)). Эта идея получила глубокое
развитие в работах А. Я. Хинчина (1933) и И. Г. Петровского (1934).
Формула, выражающая решение задачи Дирихле через траектории
винеровского процесса, была выведена Дж. Дубом (1954). Однако
Дуб использовал ее в направлении, противоположном нашему: для
вывода свойств траекторий из теорем анализа.

ПРЕДИСЛОВИЕ
7
Однако Феллер, хотя и руководствуется вероятностной
интуицией, но ведет все построения чисто аналитически. Наш
подход основан на рассмотрении свойств траекторий и
опирается на понятие характеристического оператора (краткое
изложение гл. IV имеется в работе [15]).
В конце каждой главы помещены задачи, которые служат
не просто материалом для упражнений, а дополняют основной
текст и содержат некоторые новые сведения. Так, в форме
задач в гл. III рассказано о границе Мартина для счетной
цепи Маркова.
Чтобы не прерывать основного хода вероятностных
рассуждений, вспомогательные аналитические вопросы вынесены
в Добавление.
Помимо упомянутых выше основных источников, в книге
использованы (чаще всего в задачах и примерах) и некоторые
другие работы. Ссылки на них приводятся в сносках.
От читателя предполагается знакомство лишь с основами
теории вероятностей и классическим анализом. Однако
некоторые задачи требуют большей подготовки. Мы сознательно
избегали в основном тексте ссылок на теорию меры и
измеримость. Читателю, владеющему этими поьятиями, не составит
труда воспринимать изложение на более строгом теоретико-
множественном уровне.
Книга возникла на основе лекций, прочитанных первым
из авторов в Московском университете в 1962—1963 гг.
(запись лекций вели М. Б. Малютов, С. А. Молчанов и
М. И. Фрейдлин). В дальнейшем этот материал был дополнен
и коренным образом переработан и в книгу были включены
задачи.
Авторы благодарят И. Л. Генис, оказавшую большую
помощь при подготовке рукописи к печати.
ЛИТЕРАТУРА
Для ознакомления с более классическими аспектами теории
процессов Маркова рекомендуем в первую очередь книги:
[1] В. Феллер, Введение в теорию вероятностей и ее
приложения, «Мир», М., 1964 (2-е дополненное издание).
[2] J. G. Kemeny and J. L. Snell, Finite Markov Chains,
Van Nostrand, Princeton, I960.

8
ПРЕДИСЛОВИЕ
Новым направлениям в этой теории посвящены монографии:
[3] Е. Б. Дынкин, Основания теории марковских
процессов, Физматгиз, М., 1959.
[4] Е. Б. Дынкин, Марковские процессы, Физматгиз, М.,
1963.
[5] Дж. А. Хант, Марковские процессы и потенциалы, ИЛ,
М., 1962.
[6] Чжун Кай-лай, Однородные цепи Маркова, «Мир»,
М., 1964.
[7] F. Spitzer, Principles of Random Walk, Van Nostrand,
Princeton, 1964.
[8] K. Ho and H. P. McKean, Diffusion Processes and
Their Sample Paths, Springer, Berlin, 1965.
(Из них [6] находится несколько в стороне от тематики
настоящей книги.)
Близким вопросам много внимания уделено также в книгах:
[9] К. И τ о, Вероятностные процессы, вып. I и II, ИЛ, М.,
I960 и 1963.
[10] М. Лоэв, Теория вероятностей, ИЛ, М., 1962.
[И] И. И. Гихман и А. В. Скороход, Введение в
теорию случайных процессов, «Наука», М., 1965.
В основном тексте этой книги использованы работы:
[12] К. По and Η. P. McKean, Potentials and the Random
Walk, Illinois J. of Math. 4 (I960), 119—132.
[13] E. Б. Дынкин, Оптимальный выбор момента остановки
марковского процесса, ДАН 150, 1963, 238—240.
[14] W. Feller, The Birth and Death Processes as Diffusion
Processes, J. de Math. Pures et Appl. 38 (1959), 301—345.
[15] А. А. Юшкевич, Некоторые замечания о граничных
условиях для процессов размножения и гибели, Trans,
of the Fourth Prague Conference on Inform. Theory,
Stat. Decision F., Random Processes, Prague, 1967,
381—387.
22 января 1966 r.
E. Б. Дынкин
А. А. Юшкевич

ГЛАВА I
КРИТЕРИЙ МАССИВНОСТИ
§ 1. Симметричное случайное блуждание
Рассмотрим частицу, которая перемещается по целым
точкам 0, ±1, ±2, ... оси х, совершая через равные
промежутки времени скачки на единицу влево или вправо. Если
каждый раз, независимо от прошлого поведения частицы,
вероятности шагнуть направо или налево одинаковы и равны 1/2,
то говорят, что частица совершает симметричное случайное
блуждание по прямой.
Точки 0, +1, —1, .... в которые может попадать
частица, называют состояниями.
Покажем, что при произвольном начальном положении
частица с вероятностью 1 рано или поздно побывает в любом
возможном состоянии. Так как все состояния, очевидно,
равноправны, то достаточно доказать, что частица,
выходящая из любого состояния, когда-нибудь попадет в 0.
Обозначим через π (л;) вероятность попадания в 0 из точки х.
Тогда π(0)=1, и по формуле полной вероятности
п(х) = -^п(х— \)-\-γπ(χ+\) (1)
при χ Φ 0. Рассмотрим график функции π (л:), л; = 0, 1,
2, ..., k, ... Равенство (1) означает, что любые три
соседние точки этого графика лежат на одной прямой.
Следовательно, все точки графика функции π (л;) при лг^>0 лежат
на одном луче. Поскольку π (0)=1, этот луч выходит из
точки (0, 1). Если бы π (л;) оказалось меньше 1 при
каком-нибудь положительном х, то луч обязательно пересекал бы
ось χ и π (л;) было бы отрицательным при достаточно
больших х. Это невозможно, и, значит, л(х)= 1 при всех χ ^ 0.

10
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
В силу симметрии случайного блуждания л(х)=\ и при
χ < 0. Итак, при любом начальном состоянии вероятность
достижения нуля равна 1.
Естественным обобщением случайного блуждания по
прямой является случайное блуждание по /-мерной
целочисленной решетке Н1. Эта решетка состоит из точек (векторов)
вида
X = Χ\6γ -\- ... -f- Χ^ι,
где ev . .., el — ортонормированный базис /-мерного
пространства, а координаты xv ..., хх — произвольные целые
числа. Увеличивая или уменьшая одну из координат точки χ
на единицу и оставляя остальные координаты неизменными,
мы получим 2/ точек решетки, соседних с χ (так, в
двумерном случае каждая точка решетки имеет четырех соседей:
справа, слева, сверху и снизу). На каждом шаге частица
1
с равными, вероятностями -^т- перескакивает в одно из
соседних состояний, независимо от своего положения в
предыдущие моменты времени.
Оказывается, что в двумерном случае, так же как и
в одномерном, частица из любой точки решетки с
вероятностью 1 попадет в любую другую ее точку (см. задачи
в конце главы). Наоборот, для решеток трех и большего
числа измерений вероятность достижения одного состояния
из другого, как мы увидим, меньше 1. Вероятность
достижения не одной точки, а какого-либо множества В может
быть как равна 1, так и меньше 1. Обозначим эту
вероятность через пв(х), где χ — начальное состояние частицы.
Множество В назовем массивным, если πβ(χ)=\ для всех
точек χ решетки, и немассивным, если пв(х)< 1 хотя бы
для одной точки х. В настоящей главе мы выведем критерий,
позволяющий различать массивные и немассивные множества.
§ 2. Переходная функция
Условимся обозначать через л;(0) начальное положение
блуждающей частицы и через χ (η) (η= 1, 2, 3, . . .) ее
положение после η шагов.
Вероятность какого-либо события Л, связанного со
случайным блужданием, естественно, зависит от той точки х,

§2]
ПЕРЕХОДНАЯ ФУНКЦИЯ
И
из которой началось блуждание. Эту вероятность мы будем
обозначать через Р^{Л}, а математическое ожидание
случайной величины ξ, отвечающее распределению Р^., — через Μνξ.
Далее обозначим через ρ (/г, х, у) вероятность того, что
частица, выходящая из точки х, после η шагов окажется
в точке у:
р(п, х, у) = Рх{х(п) = у].
Функция ρ (η, χ, у) является важной характеристикой
случайного блуждания и называется его переходной функцией.
Очевидно, ρ (О, х, *)=1, /?(0, х, у) = 0 при χ Φ у. Ясно
также, что 2 р(п* х> У) = 1 *)· Величину
у
Σρ(η, χ, у) = Р, {*(*)€*}.
где В — какое-то множество в /-мерном пространстве,
называют вероятностью перехода из χ в В за η шагов.
Существенным свойством случайного блуждания,
облегчающим его изучение, является взаимная независимость
скачков £Л = л;(&) — x(k—1) (k=\, 2, ...). Векторы \k не
зависят также от начального состояния частицы и все имеют
одно и то же распределение. Именно, любой из векторов lk
принимает с равными вероятностями каждое из значений
± ех% ..., ± е{. Пользуясь этим, выведем удобное
интегральное представление для переходной функции ρ (η, х, у).
Обозначим через Θ(λ;) линейную форму, принимающую
значение ΘΛ на векторе ek. Это значит, что если χ =
= xle1 +.. . . -f- xtev то θ (χ) = θλχλ + . . . + θ^.
Рассмотрим функцию
ΡΦ)=Σρ (л. *. У)*/θiy) = ЛМ'в<*<л», (2)
У
т. е. характеристическую функцию случайного вектора х(п).
[На самом деле ряд в формуле (2) содержит лишь конечное
число членов, отличных от нуля, так как за η шагов частица
может попасть из χ не более чем в (2/)Л различных состояний.]
*) Здесь и в дальнейшем запись 2 означает, что суммирова-
у ;
пие производится по всем точкам решетки /У\

12 КРИТЕРИЙ МАССИВНОСТИ [ГЛ. ι
Через функцию F(Q) легко выразить переходную функцию
ρ (η, χ, у). В самом деле, пусть Q — множество всех
линейных форм θ (ζ) = θ^! + ... + θιζι с коэффициентами
0lt .... 6j, по абсолютной величине не превосходящими π.
Умножим (2) на e~iQ^ (z — точка решетки И1) и
проинтегрируем по Q. Так как у и ζ — векторы с целыми
координатами, то
Г ^θ (у)-/8(2)^/0 _
= Д |^θΗ^-^)^ = ((2π)/
при ^ = £,
при у =£ г,
и, следовательно,
ρ (η, χ, z) = -±j ( F(B)e-'*WdB. (3)
(2π)' J
Найдем функцию F(Q). Поскольку
л
где \k—скачок на k-м шаге, то
F(Q)=tAxeMi*W)=lHxel*l*M) Цеш$к).
Так как здесь с вероятностью 1 л;(0) = л;, а случайные
векторы lk независимы и одинаково распределены, то
F(Q) = eiB{x)On@)9 (4)
где Φ(Θ) = Μ^£/Θ(£ι). Вектор ξχ принимает с вероятностью
2J- любое из значений ± ev .... ± elt и поэтому
ф <п = ж Σ («"- +е' *т)=τ Σcos θ-· (5)
/w = l /я = 1

§3]
ПОВЕДЕНИЕ ТРАЕКТОРИИ
13
Подставляя полученные выражения в формулу (3) и заменяя
ζ на у, получаем
Ρ (*· *· У) = -tL· \ е^*-У)Фп (Θ) dQ. (6)
§ 3. Поведение траектории при »->оо
Предположим теперь, что /^>3, и покажем, что с
вероятностью 1 длина вектора х(п) стремится к бесконечности
при п—>оо. Мы увидим, что отсюда вытекает немассивность
любого ограниченного множества.
Заметим, что если проводится какая-то последовательность
испытаний, причем вероятность успеха в /г-м испытании
равна рп, то сумма Р\-\-p%-\- . .. -\~Рп~\~ ··· выражает
математическое ожидание числа успехов. (В самом деле, число
успехов η равно сумме т^ + ЛгЧ- · · · +ЛЛ+ · · ·» ГДе Ήλ = 1»
если /г-е испытание приводит к успеху и ^ = 0 в
противоположном случае.)
Рассмотрим теперь случайное блуждание, начинающееся
из точки х, и будем считать, что /г-е испытание дает успех,
если х(п) = у. Тогда рп = р(п, х, у) и сумма
оо
g(x. У)= Σ Ρ (п. х, у) (7)
л = 0
представляет собой математическое ожидание числа
попаданий в точку у.
Докажем, что
£(*. У)<оо. (8)
[Можно доказать, что в одномерном и двумерном
случаях g(x, y) = oo при всех х, у (см. задачи).]
Функция Φ(θ), определенная формулой (5), непрерывна
и |Φ(Θ)| < 1 на всем Q, кроме точки (0, .... 0) и 21 точек
вида (±π, ..., ± π), в которых |Φ(Θ)| = 1. Поэтому,
согласно (6),
оо
(2n)lg(x, у)< J J |Φ"(Θ)|</Θ= J ι_fo(θ)( · (9)
л-0 Q Q

14
КРИТЕРИЙ МАССИВНОСТИ
(ГЛ. I
Так как cosa—1—a2/2 при a—>0, то найдется
окрестность U точки θ = (0, .. ., 0), в которой
4
и по формуле (5)
θ
0 < cos вот < 1 f (m=l I),
|φ(θ)| = Φ(θ)<1—Ι-(θ?+ ...+θ?)·
Следовательно,
Γ rf9 Г 4/rf6
J 1—|Φ(Θ)| < J
θ?+...+θ?
< oo
при / ^> 3. Аналогично проверяется сходимость интеграла (9)
в окрестностях точек θ = (± π, ..., ± π). Итак,
d& <co, (10)
I
1 — | Φ (Θ) |
Q
и неравенство (8) доказано.
Из этого неравенства вытекает, что число попаданий
частицы в точку у конечно с вероятностью 1. Следовательно,
частица с вероятностью 1 посетит любую заданную точку
решетки лишь конечное число раз. Так как пересечение
счетного числа достоверных событий—снова достоверное
событие, то с вероятностью 1 частица ни в одной точке
решетки не побывает бесконечное число раз. Поэтому с
вероятностью 1 для любого ограниченного множества точек решетки
наступит момент, начиная с которого частица ни разу не
попадет в это множество.
Теперь легко доказать немассивность любого
ограниченного множества В. Действительно, допустим, что В массивно.
Тогда вероятность события Лп= (частица побывает в В после
/г-го шага} при любом начальном состоянии χ и любом η
по формуле полных вероятностей равна
Σ/г (я. *. У) *2? (у) = Σ Ρ (л. *. У)=1·
У У
Следовательно, с вероятностью 1 осуществятся все
события Ап% т. е. частица побывает в В в сколь угодно далекие
моменты времени. Это противоречит тому, что с
вероятностью 1 частица в какой-то момент навсегда покинет В.

§ 4] ГАРМОНИЧЕСКИЕ ФУНКЦИИ 15
Из соотношений (9) и (10) вытекает, что ряд
eiQ(x~y) |«φπ(θ)
можно почленно интегрировать по Θ. Следовательно,
оо
*(*' у) = Σ 7^7 J е" {х~У)фП (θ) αθ =
<2π)' J 1-Φ(Θ) Kll)
Q
Последняя формула позволяет вывести следующую
асимптотическую оценку для функции g(x, у) при />>3:
£(*. у)~-—£Чгт при II* —у11-*°°. (12)
II* — У\\
где |[ л: || обозначает длину вектора л;, а с1 — некоторые
положительные константы (см. Добавление, § 1). Эта оценка
будет использована нами при выводе критерия массивности.
§ 4. Гармонические функции
Пусть f(x) — функция на точках решетки Н1. Положим
Я/(*) = М,/(*(1))= 2/>(1. х, у)/(у). (13)
У
Естественно назвать Ρ оператором сдвига функции (за
один шаг).
Поскольку р(\, х, x-\-ek)= -^, то Ρ является также
оператором осреднения
1 Υ4
P/M = if^f(x + ek)
(k пробегает значения ±1, ..., ±/ и e_k= — ek). Давно
замечено, что линейный оператор
А = Р — Е,

16
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
где Ρ — оператор осреднения, Ε — единичный оператор,
1 д
является дискретным аналогом оператора γΔ, где
дх\ dxj
■оператор Лапласа.
Известно, что для достаточно гладких функций / (х\ заданных
во всем пространстве,
л,, ч г Ц/С*+Л**>-2//(*)
Δ/(*) = hm -== j-2 ,
так что оператор Лапласа получается предельным переходом из
оператора Ρ — Ε при неограниченном измельчении решетки.
Сходство между операторами -^-Δ и А простирается
очень далеко. Руководствуясь этим сходством, будем к ряду
понятий, связанных со случайным блужданием, применять
названия их аналогов в теории дифференциальных уравнений.
Функцию f (х) на решетке Н1 назовем гармонической,
если Af(x)=0, и супергармонической, если Af (x) ^ О
(для всех х). Иными словами, функция / гармонична, если
Pf = f> супергармонична, если Pf^.f.
Любая постоянная, очевидно, является гармонической
функцией. Покажем, что всякая ограниченная
гармоническая функция f является константой.
Это доказывается совсем легко, если функция /
достигает своего наибольшего значения в некоторой точке у0.
Действительно, если yv у2, ..., y2i—соседи точки у0, то
среднее арифметическое чисел / (у0) — /(Уи) равно 0 [ибо
Я/(у0) = /(Уо)]· Поскольку эти числа неотрицательны, то они
равны 0. Поэтому множество, где функция / достигает своего
наибольшего значения, содержит вместе с каждой своей
точкой всех ее соседей. Ясно, что эта функция постоянна.
Для любой ограниченной функции φ существует точная
верхняя грань М. Вообще говоря, эта грань нигде не
достигается, но для всякого ε > 0 найдется точка у, в которой
(p(y).>M — ε. Повторяя рассуждения предыдущего абзаца,
нетрудно показать, что если φ гармонична, то в любой точке у',
соседней с у, выполняется оценка φ(у')^>Μ — 2/ε. Значит,

§41
ГАРМОНИЧЕСКИЕ ФУНКЦИИ
17
если Μ > О, то можно выбрать цепочку точек у0, уг =
= Уо + *1. 3>2 = 3>ι + *ι. ···. Уя = Уя-1 + *1. для которых
сумма
* = φ(Λ))+φ(>Ί)+ .·· +ф(Уя)
будет больше любого наперед заданного числа N.
Если теперь / — произвольная ограниченная гармоническая
функция, то функция ср(л:) = f(x-\-ex)— f(x) тоже является
гармонической и ограниченной. Для нее сумма
s = f{yn + el) — /(Уо)
и не превосходит удвоенной верхней грани /. Поэтому
точная верхняя грань функции φ не может быть
положительной. Это означает, что для любого χ
φ(*) = /(* + *ι) —/(*)<ο.
В приведенном рассуждении вместо вектора ех можно взят
вектор — ev Поэтому
f(x + ej = f(x).
Аналогично доказывается, что f(x-\-ek) = f (x) для любого k.
Примером гармонической функции может служить
функция лв(х), выражающая вероятность, выходя из х, побывать
бесконечно много раз в множестве В. Действительно,
Рпв{х) = ^Р(1> х. У)лв(у)
у
равно вероятности, выходя из х, побывать в В бесконечно
много раз после первого шага. Очевидно, эта вероятность
равна пв(х).
Так как функция лв(х) ограничена, то по доказанному
она постоянна. Покажем, что она равна 1 или 0 в
зависимости от того, массивно или немассивно множество В. Пусть
сперва множество В немассивно. Обозначим через д(п, у)
вероятность, выходя из х, впервые попасть в В на /г-м шаге
и оказаться при этом в состоянии у, и через лв(х), как и
прежде, вероятность, выходя из х, когда-либо попасть в В.
Очевидно,
сю
Μ*)=Σ 2 д(п, у)
я=0 у£В
2 Е. Б. Дынкин, А. А. Юшкевич

18
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
Чтобы побывать в В бесконечно много раз, частица должна
на каком-то шаге попасть в В впервые, а затег^ попасть
в В бесконечно много раз. Вычисляя вероятность этого
события по формуле полных вероятностей, получаем
оо
λ* = Μ*)=Σ Σ q(n, у)пв(у) = пв-пв(х), (14)
где χ — любая точка решетки. Поскольку В немассивно, то
найдется х, при котором πΒ(χ)< 1, и, значит, лв=0.
Если множество В массивно, то, очевидно, вероятность
события Сп «частица ни разу не попадет в В после /г-го
шага» равна 0 при любом /ί^Ο и любом начальном
состоянии х. Поэтому
1—Яв(х) = Рх (частица попадет в В лишь конечное число
раз}=Рх{С0иС1иС2и . · )<Р, \С0) +Р^{С1) +
+ Рх{с2)+... =о
и, следовательно, пв=\.
Таким образом, можно дать еще одно определение
массивности. Множество В массивно, если частица, исходя
из любой точки решетки, с вероятностью 1 побывает
в В бесконечно много раз. Если же вероятность этого
события при каком-нибудь χ меньше 1, то она равна 0
для всех χ и В немассивно.
В заключение параграфа отметим, что не только
ограниченные гармонические функции, но и ограниченные снизу
(или сверху) гармонические функции постоянны на всей
решетке Н1 (см. задачи). Класс неограниченных с обеих
сторон гармонических функций существенно шире.
Например, любая линейная функция от координат χν ..., xt
вектора χ удовлетворяет уравнению Pf = f и, стало быть,
гармонична.
§ 5. Потенциал
С оператором Лапласа Δ тесно связано понятие
ньютоновского потенциала. Пусть в трехмерном пространстве /?3
распределена масса с плотностью φ (у). Согласно закону
всемирного тяготения Ньютона эта масса воздействует на еди-

§ 5] ПОТЕНЦИАЛ 19
иичную массу, помещенную в точку х, с силой,
пропорциональной градиенту функции
где || л: — у\\ обозначает расстояние между точками χ и у.
Функцию f(x) называют потенциалом распределения φ (у).
Ее можно также интерпретировать как потенциал
электростатического поля, созданного распределением зарядов φ.
Оказывается, при весьма слабых ограничениях на
функцию φ потенциал / является решением уравнения Пуассона
1δ/(*) = -Φ(*). (16)
Совершенно аналогично решением уравнения ("16) в /-мерном
пространстве R1 (/^> 3) является интеграл
Rl
где bt— некоторая положительная константа. Этот интеграл
называется потенциалом распределения φ в /-мерном
пространстве.
В дискретном случае уравнение (16) переходит в
уравнение
л/(*) = -<р(*). (is)
где / и φ — функции на решетке Н1. Рассмотрим оператор
Οφ = φ + Ρφ + Ρ2φ + ... +ΡΛφ+ ♦ ·., (19)
где φ ^ 0. Пусть
/ = Οφ. (20)
Согласно (19)
Ρϋφ = ΰφ — φ
и, следовательно,
Af = (P — E)f = (P — E)Gy=Gy — φ— βφ= — φ.
Таким образом, оператор G аналогичен интегральному
оператору, заданному формулой (17). Поэтому функцию Gcp мы
будем называть потенциалом функции φ(φ^0).

20 КРИТЕРИИ МАССИВНОСТИ [ГЛ. I
Дискретный потенциал имеет простой вероятностный смысл.
Дело в том, что
Ρηφ(χ)=Σρ(η, х, У)Ч>(У) = Мх<р(х(п)). (21)
у
При п=0 формула (21) сводится к равенству ср(л;) = (р(л;),
при п=\—к определению оператора Ρ [см. формулу (13)].
Для остальных значений η формула (21) доказывается по
индукции.
По формуле полных вероятностей
p(n+ltxt У) = 2/?(1' ■*· г)Р(п> *. У)·
ζ
Считая, что формула (21) уже доказана для /г, получаем, что
у
= 2 ρ о. ■*. *) \Σ ρ <*■ ^ у) φ оо] =
= 2/^(1. ■*. *) [Ρηφ (ζ)] = ΡΛ+1φ (χ),
ζ
т. е. что (21) верно и для /г + 1.
Из (21) следует, что
оо оо
Οφ (*) = Σ Μ^φ (х (») ) = Μχ 2 φ (* («) )· (23)
Эта формула приводит к следующему важному истолкованию
потенциала. Пусть каждое попадание в точку у приносит
доход φ (у). Тогда Оср(л;) — средняя величина дохода, который
будет получен за все время блуждания частицы, вышедшей
из точки х.
Пользуясь обозначением
оо
g(x. ϊ)=Σ Ρ (η, х, У),
введенным в § 3, можно переписать выражение для
потенциала в виде
Οφ(χ) = Σ$(Χ> У) φ 0»· (23)

§ 5] ПОТЕНЦИАЛ 21
Как было отмечено в конце § 3, при больших \\х— у||
\\x—y\\l
Значит,
при ||λγ||->οο, во всяком случае, если φ (у) отлична от нуля лишь
в конечном числе точек. Таким образом, при больших ||л:||
дискретный потенциал ведет себя так же, как ньютоновский потенциал (17).
Покажем, что если f = Οφ и τ — момент первого
попадания частицы в множество В, то
f (χ) - b\J (χ (τ)) = м/2 φ (χ (k)) (24)
Λ = 0
[если частица никогда не попадает в В, то мы считаем τ = оо,
/(*СО) = 0].
Пусть
/ (χ) = Οφ (χ) = М^[ φ (χ (0) ) +
+ <р(*(1))+ ... +<р(*(л))+ ...]. (25)
Разбивая траекторию частицы на две части: до момента τ и
после момента τ, можем написать, что
/(*) = М,[<р(*(0))+ ... +φ(*(τ-1))] +
+ Μ,[φ(*(τ)) + φ(*(τ+1))+ ...]· (26)
Наглядно первое слагаемое в (26) представляет собой
среднюю величину дохода за время блуждания до попадания в В,
второе слагаемое — среднюю величину дохода после первого
попадания в В. Чтобы получить из (26) формулу (24), остается
проверить, что
Μ^φ(*(τ) + φ(*(τ+1))+ ••·]=Μ,/(*(τ)).
Используя вероятность q(/г, у) = Рх[х = п, х(п) = у), можем
написать, что
Μ*φ (х (τ + ft)) = Σ Я (η, У) Μνφ (χ (ft)),
л, У
Σ 9(п. y) = Px[xW = y].

22
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. 1
где η меняется от 0 до оо, а у пробегает значения из В.
Следовательно,
оо сю
Μ,Σ <Ρ(*(τ+Α))=Σ Σ?(«. У)Мур(*(А)) =
k=0 k=0 n, у
= Σ?(». у) Σ м,ф(*(*))=2?(«.й/(у)=
//ν Λ=0 л, у
= Σ / (У) Ρ* {* (τ) = Уj = Мх/ (* (τ)).
У
§ 6. Эксцессивные функции
Напомним, что функция f(x) (χ ζ-Η1) называется
супергармонической, если Pf-^f. Важную роль в теории
марковских процессов играют неотрицательные супергармонические
функции; такие функции принято называть эксцессивными.
Так как для гармонической функции Я/ = /, то
гармоническая функция эксцессивна, если она неотрицательна.
Далее, если / = Οφ(φ^>0), то
/-/γ = (φ + Αρ + /*φ + ...)-
_Ρ(φ + Αρ+/*φ+ ...) = φ>0.
Поэтому потенциал любой неотрицательной функции эксцес-
сивен.
Покажем, что любая эксцессивная функция равна
сумме неотрицательной гармонической функции и
потенциала неотрицательной функции, (Этот результат является
дискретным аналогом известной теоремы Рисса в теории
дифференциальных уравнений.)
Пусть / — эксцессивная функция. Положим / — Ρ/ = φ,
заметим, что φ^Ο и напишем очевидное тождество
/ = φ + Ар + · · · + Р"-\ + P"f- (27)
Из оценки
φ+Αρ+ ... +Я»-1ф = /_Я"/</
вытекает, что
Gq> = cp-f Ар+- ... -f Ρ"φ+ ... < со.

§ 6] ЭКСЦЕССИВНЫЕ ФУНКЦИИ 23
Поэтому из (27) следует, что существует предел h = lim Pnf и
/=Οφ + Α. (28)
Очевидно, Ph = h и, следовательно, h — гармоническая
функция.
Примером эксцессивной функции является вероятность лв(х)
достижения множества В. В самом деле, рассмотрим
последовательность событий
Ап= (частица побывает в множестве В после /г-го шага].
Ясно, что Л0 3 Ах ^ ... 3 Ап ^ .... Заметим, что Р^ {Л0) =
= ял(л:). Согласно формуле (21)
РуИя) =Σρ(λ. *> У)π*(у) = />%(*). (29)
у
В частности, ΡπΒ(χ) = Ρχ{Αι] <·ζ.Ρχ{Α0] =πΒ(χ) и,
следовательно, функция пв{х) эксцессивна.
Напишем для функции пв(х) разложение (27)
πΒ (χ) = ϋφΒ (χ) + π5 (*), (30)
где πΒ(χ)= lim ΡηπΒ(χ), φΒ (χ) = πΒ (χ) — ΡπΒ{χ). Co-
Λ->οο
гласно формуле (29) πβ(χ) = lim Ρ^ \Αη) = Ρ Л Ρ| Α Λ .
_ Λ->°° Ι я J
Таким образом, тсв(х) — это вероятность того, что частица
побывает в В в сколь угодно далекие моменты времени, т. е.
побывает в В бесконечно много раз. С этой вероятностью
мы уже встречались в § 4 и показали там, что она
тождественно равна 0, если В немассивно, и тождественно равна 1,
если В массивно. Таким образом, для немассивного
множества
nB(x)=G<pB(x),
т. е. вероятность пв{х) является потенциалом
неотрицательной функции φΒ. При этом, согласно формуле (29),
φβ(χ) = ηβ(χ)-Ρηβ(χ)=Ρχ{Α0)-Ρχ{Αι}=Ρχ{Α0\Αι}
есть вероятность, выходя из х, в начальный момент времени
находиться в множестве В и первым же шагом навсегда уйти
из В. Ясно, что эта вероятность может быть отлична от
нуля только при χ £ В, и, значит, вне множества В
функция φΒ равна 0.

24
КРИТЕРИИ МАССИВНОСТИ
[ГЛ. I
Первое слагаемое в формуле (30) — это вероятность
побывать в В положительное конечное число раз. Повторяя
рассуждение предыдущего абзаца, нетрудно показать, что
Рпув(х) = Рх{Ап\Ап+1} и, значит, разложение
сю
соответствует разложению этой вероятности на сумму
вероятностей побывать в В последний раз на /г-м шаге.
Из соотношения (24), выведенного в конце предыдущего
параграфа, видно, что если /=Gcp((p^0) и τ—момент
первого попадания в множество В, то
М,/(* (τ)) </(*). (31)
Из разложения (28) вытекает, что это неравенство
справедливо для любой ограниченной эксцессивной функции (ибо,
согласно результатам § 4, ограниченная гармоническая
функция h постоянна). Впоследствии мы увидим, что допущение
об ограниченности функции / является излишним и что
неравенство (31) выполняется для более широкого класса
моментов τ (см. § 3 гл. III). Формула (31) напоминает
неравенство Mxf (х (1)) = Pf (х) ^/ (х), входящее в определение
эксцессивной функции, с тем отличием, что теперь
τ—случайный момент времени.
§ 7. Емкость
С ньютоновским потенциалом тесно связано понятие
емкости. Емкость тела В определяется в электростатике
следующим образом. Рассмотрим все распределения φ
положительных зарядов на В, потенциалы которых в любой точке
пространства не превосходят 1. Доказывается, что среди этих
потенциалов существует наибольший. Он называется
потенциалом равновесия, а соответствующее распределение зарядов
φ — равновесным распределением. Суммарный заряд
С(В)= jy(y)dy
в
при равновесном распределении φ называется емкостью тела В.
Исходя из формулы (17), можно получить определение

§7]
ЕМКОСТЬ
25
емкости и в /-мерном пространстве при / > 3. Емкость
является одним из центральных понятий в теории уравнения
Лапласа.
Отправляясь от дискретных потенциалов /=Οφ,
попытаемся провести аналогичные построения для функций,
определенных на решетке И1. Фиксируем подмножество В такой
решетки и рассмотрим класс Кв всех функций φ ^> 0, равных
нулю вне В и таких, что £?φ<^ 1.
Для функций /=Οφ, где φζ/Сд, формула (24) из § 5
принимает вид
/(*) = Μ,/(*(τ)). (32)
где τ — момент первого попадания частицы в множество В.
Из неравенства/^ 1 вытекает, что f\xf(x(x))^.Vx {т<со} =
= яв(х). Поэтому из формулы (32) получаем, что
/(*)<М*). (33)
Если множество В немассивно, то, как мы видели в
предыдущем параграфе, nB=G<pB, где φΒ = πΒ—Рпв£Кв.
Следовательно, естественно назвать лв потенциалом
равновесия, φΒ—равновесным распределением и емкость
множества В определить формулой
С (Я) = Σ φ* GO- (34)
у
Для массивных множеств понятие емкости не употребляется.
Напомним, что все конечные множества немассивны.
Установим одно экстремальное свойство равновесного
распределения срд, являющееся дискретным аналогом теоремы
Гаусса в теории ньютоновского потенциала. Пусть множество В
немассивно. Покажем, что тогда для любой функции φ£ΚΒ
21<р(у)<21<р*(у) = С(Я)· (35)
У У
Величину 2 Φ (У) естественно назвать полным зарядом,
у
отвечающим распределению φ. Неравенство (35) показывает, что
емкость немассивного множества В можно определить

26
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
как максимальный полный заряд, сосредоточенный на Д
потенциал которого не превосходит 1.
Для доказательства соотношения (35) введем сокращенное
обозначение
(/ι./2)=Σ/ι№/2№
В силу симметрии случайного блуждания ρ (η, χ, у) =
= р(п, у, х) и, следовательно, g(x, y) = g(y, χ). Поэтому
(O/i. Λ) = (/ι. G/2)·
Пользуясь тем, что яв (х) = 1 для χ £ В и Οφ <; 1 при
φζΚβ, получаем, ч о
Σ φ (У) = (Φ. ηΒ) = (φ, Οφβ) = (Οφ, φΒ)< (1, φβ) = С (В).
у
§ 8. Критерий массивности
Установим теперь необходимое и достаточное условие
массивности подмножества В трехмерной решетки. Это условие
формулируется в терминах емкостей и очень похоже как по
существу, так и по формулировке на критерий Винера
регулярности граничных точек, известный в теории
дифференциальных уравнений *). Читатель без труда распространит
последующие рассуждения на случай / > 3.
Поскольку любое ограниченное множество немассивно, то
массивность множества В не зависит от строения В внутри
любой фиксированной сферы. Оказывается, массивность В
зависит от того, как быстро увеличивается число точек В,
попадающих в сферу радиуса г при г—>оо.
Рассмотрим расширяющуюся последовательность сфер
2 k
с центрами в нуле и радиусами г = 1, 2, 2 , . . ., 2 , . . .,
растущими по геометрической прогрессии. Обозначим через Bk
ту часть множества В, которая расположена между &-й и
(&+1)-й сферами (точнее, множество тех χ из Д для
которых 2Λ_1 < ||λ:|Κ;2Λ; см. рис. l). Множество Bk конечно
и, следовательно, для него определена емкость С (Bk). Имеет
место следующий критерий.
*) См., например, Р. Курант, Уравнения с частными
производными, «Мир», Мм 1964, гл. IV, § 4, п. 4а.

§8]
КРИТЕРИЙ МАССИВНОСТИ
27
Для массивности множества В необходимо и
достаточно, чтобы расходился ряд
Σ€(ΒΛ)
2k
(36)
Докажем сперва необходимость этого условия, т. е.
покажем, что из сходимости ряда (36) вытекает немассивность
множества В.
Рие. 1.
Убедимся вначале, что вместе с рядом (36) сходится
также ряд
(37)
2 π (0).
к к
Воспользуемся для этого приведенной в конце § 3
асимптотической оценкой
О
£(*. У)'
\х — У\
(||*-У||->оо), (38)
где Q = c3 (см. формулу (12)). В силу (38) найдется N > 0
такое, что при у £ Bk, k > Ν, выполняется неравенство
*<*>'»<&·
(39)
Так как лЙ (х) — это потенциал равновесия для множе·
к
ства Bk, то
пч (0) = оФ/?л (0) = Σ g (о. у) yBk (у),

28
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
где φΒ —равновесное распределение на множестве/^.
Пользуясь оценкой (39), равенством нулю φβ вне Bk и тем
фактом, что ||у || > 2 ~ при y£Bk, получаем
Значит, ряд (37) с точностью до постоянного множителя
мажорируется рядом (36) и тоже сходится.
Заметим теперь, что поскольку событие / частица попадет
в множество Вп = [J Bk \ является объединением событий
{частица попадет в Bk), k = n, /г+1, ..., то
оо
я-в (0) < Σ πΒ (0).
п k = n k
Значит, при достаточно большом η пъ (0)<1, и поэтому
_. — п
множество В = Вп немассивно. Так как конечное множество
В = В\В тоже немассивно, то нам остается доказать, что
соединение двух немассивных множеств немассивно.
Вспомним для этого второе определение массивности,
согласно которому множество немассивно, если с вероятностью 1
частица попадет в это множество конечное число раз (см. § 4).
Так как пересечение двух событий вероятности 1 снова
является событием вероятности 1, то в нашем случае частица
с вероятностью 1 побывает конечное число раз как_в В, так
и в В, а стало быть, и в их соединении В = В()В.
Следовательно, множество В немассивно.
Достаточность условия массивности доказывается сложнее
Пусть ряд (36) расходится. Разобьем его на четыре ряда
каждый из которых содержит слагаемые ряда (36) с
номерами, дающими при делении на 4 одинаковые остатки. По
крайней мере один из этих четырех рядов расходится. Будем
считать для определенности, что расходится ряд

§8]
КРИТЕРИЙ МАССИВНОСТИ
29
Обозначим через Sk множество точек решетки,
лежащих в шаровом слое, ограниченном сферами радиусов
24Л~2 и 24Л~2 -|-1 (множество всех у из Я3, для которых
Рис. 2.
тогда заключено между слоями Sk и Sk+l, причем
значительно ближе к Sk, чем к Sk+l.
Так как за один шаг расстояние частицы от начала
координат меняется не более чем на 1, то частица не может
перескочить через слой Sk, не пересекая его. Частица с
вероятностью 1 уходит в бесконечность, и поэтому с
вероятностью 1 она пройдет через все слои Sk, охватывающие
начальное состояние х. Рассмотрим событие Ak, состоящее
в том, что на пути от слоя Sk до слоя Sk+l (точнее,
между моментами первого попадания в Sk и в Sk+1) частица
зайдет в множество BAk. Покажем, что для всех
достаточно больших k
PyMft}><?i-^&^ при у б 5*. (41)
где <?! > 0 не зависит от у и k.
Если частица, вышедшая из у £ Sk, побывает в 54Л, то
произойдет либо событие ЛЛ, либо событие Dk= (частица

30 КРИТЕРИЙ МАССИВНОСТИ [ГЛ. I
попадет в BAk после попадания в слой 5Λ+1}. Поэтому
Ясно, что
Р,{°*}< "" яв^*)
(формально это неравенство доказывается посредством
введения вероятностей q(n, ζ) попадания в слой Sk+l впервые
в момент η в точке ζ — ср. рассуждения в конце § 5).
Следовательно,
Py[Ak}>nBbW- max **,(*)· (42)
k+l
Остается оценить функцию πβ . Поскольку эта функция —
4/?
потенциал равновесного распределения φβ , функция φβ
равна 0 вне BAk и полный заряд равновесного распределения
равен емкости C(B4k), то из неравенства (42) следует, что
при y£Sk
VMk)>?>g(y> u)VB (и)— max 2 ff (*. «) Φ* 00 >
^,C{BAk)\ min g(y, u)— max
Г min g(y, u)— max g(z, u)! .
UiBAk u£BAk J
Применяя здесь асимптотическую оценку (38), видим, что при
достаточно больших k и у £ Sk
>УК)>с(/Щ1- 2Q.),
где rk — наибольшее расстояние между точками у £Sk и
u£BAk, a Rr — наименьшее расстояние между z^Sk+l и
#6^4*· И3 взаимного расположения множеств Sk, BAk и Sk+l
следует, что
^<24*-2+1 + 24*<2.24*,
/?Λ>24*+2-24* = 3·24*.
Следовательно, при достаточно больших k
РУИ*)>|-£|И- (у €«*).
и неравенство (41) доказано.

§ 9] МАССИВНОСТЬ МНОЖЕСТВА, ЛЕЖАЩЕГО НА ОСИ 31
Имея неравенство (41), уже нетрудно доказать
массивность множества В. Возьмем такой номер /я, что начальное
состояние χ лежит внутри слоя Sm и неравенство (41)
выполняется для всех k ^> т.. Обозначим через xk момент
первого попадания в слой Sk. Противоположным для Ak
является событие Лл={за время [τΛ, τΛ+1] частица не задела
B4k). Из оценки (41) вытекает, что независимо от значений
xk и х(тк), а также от характера движения до момента τΛ,
вероятность Ak не больше чем
ι η с №*ώ
Поэтому для любого 5
m + s
В самом деле, пусть
Тогда
?х {ЛтΠ ... Π М-\ П Ak) = J] 4k ("> У) Ру Ш <
η, у
< (l -Οι ^Щ^-) *х МтП · · · η^-ι
Переходя к пределу при s^oo и принимая во внимание,
Σ^ С (Вль)
Qx —v4/?4/g/ расходится, заключаем, что
рх{Ат[)Ат+1[)...[)Ат+п[)..^) =
= 1 - Р^ {Ат П Лт+1 П ... П Ап+п П · . ·} = 1
и, значит, с вероятностью 1 частица попадет в одно из
множеств BAk, принадлежащих В. Итак, множество В массивно.
§ 9. Массивность множества, лежащего на оси
Используя полученный в предыдущем параграфе критерий
массивности, попытаемся представить себе, как выглядят
массивные и немассивные множества трехмерной решетки.

32
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
Ясно, что любое подмножество немассивного множества
тоже немассивно, и что если множество содержит массивное
подмножество, то оно само массивно. Кроме того, мы знаем,
что любое ограниченное множество немассивно.
Обозначим координаты точки χ (η) через xl(n)1 x2W*
лг3(/г). Покажем, что координатная плоскость лг3=0 —
массивное множество. Очевидно, величина х3(п) изменяется по
следующему закону: за единицу времени она увеличивается
или уменьшается на 1 с вероятностями 1/6 и сохраняет свое
значение с вероятностью 2/3. Вероятность того, что вели-
"3") '
Она стремится к 0 при k—>oo, и поэтому с вероятностью 1
рано или поздно значение х3{п) изменится. Из соображений
симметрии ясно, что первое приращение величины х3(п) с
вероятностями 1/2 будет равно —1 или 1. Поэтому закон
случайного изменения хг(п) отличается от одномерного
симметричного случайного блуждания, описанного в начале § 1,
лишь возможностью на какое-то конечное время застревать
в каждом состоянии, в котором она находится. Ясно, что
такие задержки во времени не меняют вероятности достижения
значения 0, влияя лишь на скорость движения, а не на форму
траектории. Так как при простейшем случайном блуждании
точка О достижима из любой другой точки с вероятностью 1,
то и х3(п) с вероятностью 1 когда-либо достигнет нуля. Итак,
координатная плоскость лг3=0 является массивным множеством.
Опираясь на тот факт, что при двумерном симметричном
случайном блуждании точка О также с вероятностью 1
достигается из любой другой точки (см. задачи), можно было бы
аналогично доказать, что координатная ось х2 = х3 = 0
образует массивное множество. Пользуясь критерием Винера,
можно не только доказать этот сравнительно простой факт,
но и получить следующий признак массивности множества В,
состоящего из точек [Ьп, 0, 0), где 0 < bY < b2 < ...
(разумеется, bn — целые числа):
Если ряд 2j-t- сходится, то множество В немас-
сивно, а если ряд 2j1T Расхо^ится и пРи больших η
bn+\ — bn>c Ιο&> bn (S = const > 0), (43)
то множество В массивно.

§ 9] МАССИВНОСТЬ МНОЖЕСТВА, ЛЕЖАЩЕГО НА ОСИ 33
Связь массивности множества В с расходимостью ряда
/j -г- вполне естественна: расходимость этого ряда говорит
о том, что точки [Ьп, О, 0} расположены близко друг к другу,
а сходимость его — о том, что Ъп быстро возрастают.
Условие (43) связано с применяемым в доказательстве способом
оценки емкостей *). Ему удовлетворяют только весьма
медленно расходящиеся ряды. Например, если bn = [nlog2n]
([χ] обозначает целую часть х), то при большом η
bn+\ — bn >(п + Оlog2(я+ 1) — 1 — ηlog2 η > log2η — 1 =
= log2 γ ^ log2 Vn log2 η > γ log2 bn
и неравенство (43) выполняется. Таким образом, при Ьп =
= [/zlog2fl] множество В массивно. Если же bn = \n logg /г],
где α> 1, то ряд 2j~h~ СХ°ДИТСЯ и В немассивно.
Итак, пусть ряд V -г- сходится. Заметим, что емкость
конечного множества не превосходит числа элементов этого
*) Условие (43) можно ослабить, потребовав, чтобы существо-
вала подпоследовательность Ьп такая, что У, τ— = оо и для всех k
τ Ч
4+.-4>clog24·
В этом случае множество В содержит массивное подмножество и,
следовательно, само массивно. Естественно спросить, нельзя ли из
каждой последовательности Ьп, для которой />-т— = оо, выбрать
η
подпоследовательность Ьп , для которой / гг—— оо и выполняется
k nk
условие (43). Примеры, построенные С. М. Гусейн-заде и Л» А.
Ивановым, показывают, что это можно сделать не всегда.
Является ли расходимость ряда /.-т— достаточным условием
^" о η
η
для массивности множества В7 В работе R. S. Bucy, Recurrent
sets, Ann. Math. Statistics 36:2 (1965), 535—545 приводится пример,
опровергающий такое предположение. С другой стороны, в этой
работе показано, что дополнительное условие (43) можно заменить
требованием, чтобы разности bn+l — Ьп возрастали.
3 Е. Б. Дынкин, А. А. Юшкевич

34 КРИТЕРИЙ МАССИВНОСТИ [ГЛ. I
множества. Это видно из определения емкости
С{В)= Σ Ψβ(χ).
χζΒ
где φ β, как вероятность, не может быть больше 1. Оценим
число элементов множества Bk, фигурирующего в критерии
массивности. Обозначим это число через \Bk\. Если bn£Bk*),
то 2 < Ъп ^ 2 , откуда тт ^ — · Суммируя эти неравен-
2 Ьп
ства по всем точкам, принадлежащим данному Bk% получим
\В*\ ^ V х
л4- k
и, следовательно,
C(Bk)
<Σ±·
2*
Таким образом, ряд (36) мажорируется рядом V -т— и тоже
сходится. По критерию массивности множество В немассивно.
Предположим теперь, что ряд 2л~1Г Расх°Дится- Если
выполнены неравенства (43), то, как мы покажем, при
любом χ
Σ g(x.y)<M, (44)
где Μ — какое-то фиксированное число. Используя это
неравенство, оценим C(Bk) снизу. Рассмотрим функцию φ (у),
равную \/М при y£Bk и равную 0 в остальных точках.
Потенциал этой функции равен
/(*) = 2г(*' >0ф(>0=-^- J] g(x. у)
у y£Bk
и в силу (44) не превосходит 1. Вспоминая приведенное
в конце § 7 определение емкости как максимального полного
*) Здесь и дальше для краткости вместо {Ьп, О, 0} мы пишем
просто Ьп. Читатель легко отличит, когда Ьп обозначает число и
когда — точку решетки /У3.

§9]
МАССИВНОСТЬ МНОЖЕСТВА, ЛЕЖАЩЕГО НА ОСИ
35
заряда, потенциал которого не превосходит 1, получаем, что
c(fi*)>2(p<y)=ilr·
Если Ьп £ Bk, то 2*"1 < Ъп < 2*. откуда -L<-J~
bn λ
руя эти неравенства по bn£Bk, получим
Сумми-
*****
*л
Следовательно, ряд ^j-τ- мажорируется, с точностью до
множителя 2Ж, рядом (36). Из расходимости ряда 2j-t-
вытекает расходимость ряда (36) и массивность множества В.
Нам осталось доказать неравенство (44). Очевидно, мы
можем считать, что k ^> 2. Заметим, что в силу
асимптотической оценки (12) величины g(x, у) и Ц* — у\\ g(x, у)
+~х.
Рис. 3.
ограничены каким-то числом Q. Пусть Ъп и bn+l—две
ближайшие к χ точки множества Bk и bn_v bn__2* ···» bn_t и
bn+2> ^/i+з» ···» bn+j — остальные точки этого множества
(рис. 3).
Согласно сделанному сейчас замечанию
]£ 8(х* У)<
yiBk

36 КРИТЕРИЙ МАССИВНОСТИ [ГЛ. I
Из условия (43) следует, что в пределах множества Bk
*ί+ι — bi > с · 1о&2 bi > с log2 2*'1 = с (ft — 1).
Поэтому (см. рис. 3)
II*-*«-ill >*„-*«-!>*<*-1).
Н*-*я-2И>*я-*1.-а>2с(Л-1).
II* —Vill> *я — *я-/>fc(*-i).
II* — *n+2ll>*«+2 — bn+l>c(k — ι),
II* — *я+з11>*«+з — bn+l>2c{k— 1),
II *-WI>*«+,-^+i> (У-1) <K*-i)·
Следовательно,
+ с-(ЙгТ)(1+¥+ -+T+ 1 + Τ+-·+Τ=τ)·
Поскольку / и у не превосходят числа точек оси абсцисс,
лежащих между сферами радиусов 2к~1 и 2k, равного 2*"1, то
2 *(*. *)<2<?+Fo&T)(1+j+i+... +·^γ).
Так как
л-1
то
1
-* + Α**"-*>[*+")·

ЗАДАЧИ
37
ЗАДАЧИ
Двумерная решетка
1. При симметричном случайном блуждании по
двумерной решетке g (х, д;)=со.
Указание. Так как ρ(2k + 1, χ, χ) = 0, το
οο
g (χ, χ) = 2 Ρ (2&. χ* *)·
В представлении (б) для ρ (2k, χ, χ) подынтегральная
функция положительна. Поэтому возможно почленное
интегрирование и
л л
g(*> X) — П2 J J 4__(0Οδθι + ,
COS θ2)2
Полученный интеграл оценивается с помощью нера-
ct2
венства cos α ^> 1 — -γ- (| α | < α0).
2. Обозначим через г (х) вероятность того, что
частица, выходящая из состояния х, когда-нибудь снова
вернется в это состояние. Тогда
сю
g(Xt Х)=^Г(Х)П.
Указание. Рассмотрим случайную величину ξΛ,
равную 1, если частица возвращается в точку χ не менее
k раз, и равную 0 в противном случае (£= 1, 2, . . .).
Тогда
g(x, x)=i+«ixai+h+ .··).
3. При симметричном случайном блуждании по
двумерной решетке одноточечное множество χ массивно.
Указание. Из задач 1 и 2 следует, что г(х)=\.
С другой стороны, 1 — r(x)^s(x, у)[\—Яд.(у)], где
s(x, у) — вероятность попасть из χ в у до первого
возвращения в х.

38
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
Крайние точки выпуклого множества
Пусть Η — конечное или счетное пространство и Ε—
некоторое множество функций, заданных на Н. Будем
говорить, что последовательность функций [fn] сходится к
функции /, если fn{x)->f(x) при каждом х£Н. Множество £
называется замкнутым, если из fn —> /, fn£E следует,
что /££. и называется компактным, если оно замкнуто
и из любой последовательности {/л}, Jп£Е можно выбрать
сходящуюся подпоследовательность. Если из fx£E, f2£E
следует, что ρ/ι + ^/гб^ ПРИ любых ρ > О, q > О,
p-\-q — 1, то говорят, что множество Ε является выпуклым.
4. Замкнутое множество Ε является компактным
тогда и только тогда, когда найдется такая функция с(х),
что | / (х) | <; с (х) для / £ Ε и х£Н.
Указание. Для доказательства достаточности
занумеровать все точки пространства Η и воспользоваться
диагональным процессом.
Компактное подмножество А множества Ε назовем
крайним, если из /£ A, f = pfl-\-qf2, fv f2£E, ρ > О,
?>0, p-\-~q=i следует, что fv f2^A.
б. Если А — крайнее множество, /£Л и
/ = <*ι/ι+ ··· +<*«/„.
где /1§ .... /п£Е; аг ап > 0, ах + . . . -f an = 1,
то /lf .... fn^A.
Будем говорить, что функционал /(/) линеен, если
/ (afx -f- bf2) = al (7Ί) + Ы (f2) при любых числах а, £ и
функциях fx и /2 и если из /„—►/ следует, что l(fn)->l(f)·
Примером линейного функционала является l(f) = f (х0),
где л:0 — фиксированная точка пространства Я.
6. Пусть А — крайнее множество, / — линейный
функционал и
Μ = max / (/).
Тогда множество Αλ функций /£ А, для которых
l(f) = M, тоже является крайним множеством.
7. Пусть A1zd A2zd ... з Лл з ... —
последовательность компактных крайних множеств. Тогда
множество А^ = ПЛЛ тоже является крайним»
η

ЗАДАЧИ
39
Крайнее множество, состоящее из одной точки,
называется крайней точкой.
8. Любое компактное выпуклое множество Ε имеет
крайнюю точку.
/ Указание. Согласно задаче 4 функционал
nx(f) = f(x), где χ — фиксированная точка Я, на
любом компакте достигает своего максимума, и с его
помощью можно «сузить» уже имеющееся крайнее
множество (см. задачу 6). Начав со всего множества Ε и
перебирая в каком-либо определенном порядке все
функционалы 1Х, в пределе получим крайнее
множество А^ (см. задачу 7). Это множество состоит
из единственной функции.
Доказывается, что любое компактное выпуклое множество
состоит из всех функций вида oti/j-f . . . +-αΛ/Λ, где
αν . ... αη > 0, αχ-j- ··· +ал=1» /ι· ···» /Λ — крайние
точки, и всех пределов таких функций (теорема Крейна —
Мильмана) *). Нам достаточно частного случая этой теоремы,
когда Ε имеет только одну крайнюю точку.
9. Если компактное выпуклое множество Ε имеет
только одну крайнюю точку g, то Ε состоит из
единственной функции g.
Указание. Допустим, что h £ Ε, h Φ g- Тогда
при некотором χ £ Η для одного из линейных
функционалов 1(f) = ± f (χ) выполняется неравенство
/ (h) > / (g). Согласно задаче 6 найдется компактное
выпуклое крайнее множество А не содержащее g.
Множество А имеет крайнюю точку gl Φ g, которая
является крайней точкой и для всего Е.
Положительные гармонические функции
10· Если неотрицательная гармоническая функция
обращается в нуль в какой-нибудь точке, то она равна
нулю всюду.
11. Предел последовательности гармонических
функций является гармонической функцией.
*) См., например, Μ. Α. Η а й м а р к, Нормированные кольца,
Гостехиздат, М., 1956, § 3, п. 9.

40
КРИТЕРИИ МАССИВНОСТИ
[ГЛ. I
12. Если / — положительная гармоническая
функция, то
f(x±ek)<2lf(x)t
где /—размерность решетки.
Обозначим через Ε класс положительных гармонических
функций, равных 1 в точке χ = 0.
13. Множество Ε является выпуклым и компактным.
Указание. Использовать задачи 12, 11 и 4.
14. Если /£Е, то для любого целочисленного
вектора а функция g(x)= * f Г\ принадлежит Е.
15. Если g— крайняя точка множества Е, то
g(x±ek) = g(ek)±lg(x).
Указание. Использовать равенство g = Pg и
задачи 14 и 5.
16. В условиях предыдущей задачи g(x)=l при
всех х£Н1.
Указание. Так как g (ek) -\- g (ek)~l ^2и
равенство возможно только при g(ek)=\, то из формулы
g = Pg следует, что g(ek)=l.
Из задач 9, 13 и 16 вытекает, что множество Ε состоит
из единственной функции 1, и поэтому любая положительная
гармоническая функция постоянна.
17. Если гармоническая функция ограничена снизу
(сверху), то она постоянна.
Задана Дирихле
Пусть В— подмножество точек решения Н1. Точку χ £ В
назовем граничной для множества В, если хотя бы одна
из точек вида χ ± ek принадлежит В. Совокупность
граничных точек множества В назовем границей В и будем
обозначать дВ. Скажем, что функция f (х), х£В()дВ, является
гармонической (супергармонической) на В, если равенство
f (x) = Pf(x) [неравенство f(x)^Pf(x)] выполняется при
всех χ £ В. Множество В назовем связным, если
для любых двух точек х, у £В найдется цепочка точек
χλ = χ, лг2, х& .... хп = у из В таких, что каждая из
разностей х1 — х^ совпадает с одним из векторов dzek.

ЗАДАЧИ
41
18. Если множество В связно, / —
супергармоническая функция на В и / достигает своего наименьшего
значения на В (J дВ в точке χ £ В, то / постоянна
на В U дВ.
19. Если множество В конечно и гармонические
на В функции Д и /2 совпадают на дВ, то они
совпадают и на В.
Указание. Применить задачу 18 к функциям
/ι—/г и /2 —Л-
В задачах 20—24 τ обозначает момент первого
попадания в множество дВ и φ — произвольную функцию,
заданную на дВ.
20. Если множество В связно, то математическое
ожидание Μ^.φ(Λ:(τ)) существует или не существует
одновременно для всех χ £ Β,
21. Функция / (χ) = Μ^φ (χ (τ)) является
гармонической функцией на В, совпадающей с φ на дВ
(в предположении, что это математическое ожидание
существует при всех χ ζ Β).
Из задач 19 и 21 следует, что для любого множества В,
отличного от всей решетки, и любой ограниченной функции φ
на дВ найдется функция /, гармоническая на В и
совпадающая с φ на дВ (задача Дирихле имеет решение) и что
в случае конечного множества В это решение единственно.
Достаточное условие единственности ограниченного решения
задачи Дирихле для бесконечного множества В дается
в задаче 22.
22. Если граница дВ множества В массивна и
функция φ ограничена, то единственной ограниченной
гармонической на В функцией, совпадающей с φ на дВ,
является функция / (х) = Жх/ {.χ (τ)).
Указание. Пусть g(x)—ограниченная
гармоническая на В функция, равная φ на дВ, К — /-мерный
куб с центром в нуле и стороной α, χλ — момент первого
попадания на д(В()К). Тогда g (χ) = Mxg (x (tj)) для
χ £ Β П /С, и при а -> оо это равенство переходит
в g (χ) = Μ^φ (χ (τ)) = / (χ) (ввиду массивности дВ
вероятность равенства τ1 = τ стремится к 1 при а—>со).
23. Если множество дВ немассивно, то
утверждение задачи 22, вообще говоря, неверно.

42
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
Указание. Рассмотреть функции / = 1 и
g = лов (*).
24. Функции, гармонические на всей решетке, можно
определить следующим образом: / является
гармонической, если для любого χ и любого конечного
множества В, содержащего х, выполняется равенство
/(*) = Μ,/(*(τ)).
Свойства потенциалов
В задачах 25 —31 термин «потенциал» (символ Οφ)
обозначает, если не сделано специальной оговорки, конечный
потенциал неотрицательной функции.
26. Найдутся точки, в которых потенциал принимает
значения, сколь угодно близкие к нулю.
Указание. К неравенству Οφ ^> h (h = const > 0)
применить оператор Рп и устремить η к со.
26. Если φ(Λ;)^>ε на некотором массивном
множестве В (ε—положительное число), то потенциал Οφ
бесконечен.
27. Если эксцессивная функция не превосходит
некоторого потенциала, то она сама является
потенциалом.
Указание. Использовать формулу / = Οφ + Λ
и задачу 26.
28. (Принцип огибающей.) Для любого
семейства потенциалов {/а} функция / (дг) ^ inf /а (л:)
а
тоже является потенциалом.
Назовем носителем потенциала Οφ множество тех
точек х, в которых ср(л;)>0.
29. (Принцип доминирования.) Если
Οφ1 ^> Οφ2 на носителе Οφ2, то Ocpj !> Οφ2 всюду.
Указание. Воспользоваться формулой (24),
приняв за τ момент первого попадания в носитель Оср2.
30. (Принцип выметания.) Функция f(x) =
= Мд-Οφ (χ (τ)), где τ — момент первого попадания
в множество В, обладает следующими свойствами:
1) / является потенциалом; 2) / совпадает с Οφ на В;
3) / не превосходит Οφ; 4) носитель / не выходит за
пределы В. Условиями 1) —4) функция / задается
однозначно.

ЗАДАЧИ
43
31. Справедливо ли утверждение: если G^ ^ 6φ2,
то (Р!>(р2?
Указание. Положим φχ (0) = φχ (е{) = 1, cpj (χ) = 0
при остальных л: и φ2(0) = 1 + ε, φ2 (χ) = 0 при л: Ф 0.
При больших значениях ||*|| неравенство Gcpl^G(p2
выполняется одновременно для всех ε из промежутка
10, -ή-Ι в силу асимптотической оценки (12). При
остальных χ нужного неравенства можно добиться,
уменьшая ε, так как при ε = 0 имеем Οφχ > Οφ2 и (/φ2
непрерывно зависит от ε.
Эксцессивные функции
32. Представление эксцессивной функции в виде
f =Gq>-\- h, где φ, h^>0 и h — гармоническая
функция, единственно.
33. При /= 1 или 2 все эксцессивные функции —
константы.
34. Эксцессивные функции можно определить
следующим образом: / эксцессивна, если для любого
состояния χ и любого (в том числе пустого) множества В
выполняется неравенство /00 = M^/(;e(t)), где
τ — момент первого попадания в В.
Свойства емкости
В задачах 36—41 все рассматриваемые множества
предполагаются немассивными, дВ обозначает границу множества В
(см. текст перед задачей 18).
36. Если А с Я, то С(Л)<С(£).
36. С(ЛиЯ)<С(Л)-г-С(£).
Указание. Рассмотреть сперва непересекающиеся
множества.
37. Равновесное распределение для множества В (J дВ
целиком сосредоточено на дВ.
38. Равновесные распределения на множествах
В[)дВ и дВ совпадают и, в частности, С(В[)дВ) =
= С(дВ).
Указание. Попав в В, частица с вероятностью 1
выйдет на дВ, потому что множество Н1\В массивно.

44
КРИТЕРИЙ МАССИВНОСТИ
[ГЛ. I
39. Емкость точки χ равна —-. г-·
40. Емкость множества, состоящего из η точек,
η
стремится к —ttwu" пРи неограниченном увеличении
попарных расстояний между точками этого множества.
Указание. Воспользоваться асимптотической
оценкой (12) и задачами 36 и 39.
41. Емкость немассивного бесконечного множества
бесконечна.
Несимметричное случайное блуждание
Пусть при блуждании частицы по точкам решетки Н2
вероятности шагнуть направо, налево, вверх и вниз равны
соответственно р, q, r w s(p, q, г, 5 > 0, ρ -\-q-\- r-\-s= 1),
независимо от характера предшествующего движения. Положим
Pf(x)=pf(xJi.el) + qf(x — el)-\-rf(x-\-e2)-^sf(x-e2)
и назовем функцию / гармонической, если Pf = /. Как и
в симметричном случае, легко установить, что класс Ε
положительных гармонических функций, равных 1 в нуле, является
выпуклым компактом (ср. задачи 11—13). Найдем крайние
точки множества Е.
42. Если Λ (л;) — крайняя точка множества Е, то
Λ (хгег + х2е2) = λΧιμχ\ (45)
где λ и μ — положительные числа, удовлетворяющие
уравнению
рк + ± + ф + ±=1. (46)
Указание. Ср. задачу 16.
В задачах 43—47 доказывается, что функция Λ (л:),
заданная формулой (45), действительно является крайней
точкой (ср. рассуждения на стр. 16—17, § 4).
43. Пусть для гармонической функции φ

если в точке у
то
ЗАДАЧИ 45
-*<>1>л_е,
л (у)
где
44. Если в предыдущей задаче Ж > 0, то для любого
числа N найдется такая цепочка состояний у0, у1 = у0-\-
+ *1 Уя = Уя-1 + в1. ЧТО
Ф(Уо)-+^+...+^->^Л(Уо).
46. Если /££ и
то при всех л:
/(* + *ι)< */(*)·
Указание. В задаче 44 положить
<P(x) = f(x + ei) — Xf(x).
46. В условиях предыдущей задачи / = Л.
Указание. Применить те же рассуждения к
векторам — ev е2 и — е2>
47. Функция Л является крайней точкой
множества Е.
Из задач 42 и 47 следует, что крайние точки множества Ε
находятся во взаимно однозначном соответствии с
положительными решениями (λ, μ) уравнения (46). Нетрудно
убедиться, что при p = q, r = s это уравнение имеет
единственное положительное решение λ = μ=1, во всех же
остальных случаях оно задает некоторый овал в квадранте λ > О,
μ>0.

ГЛАВА II
ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ
§ 1. Определение винеровского процесса
В предыдущей главе мы изучали случайное блуждание по
целочисленной /-мерной решетке. Представим себе теперь,
что длина отрезка между соседними узлами решетки равна
не 1, а некоторому числу δ (эту величину мы будем
называть параметром решетки). Естественно, что в таком
случае расстояние, на которое переместится частица за η шагов,
станет пропорциональным δ. Будем поэтому менять частоту
переходов в зависимости от δ так, чтобы при любом δ
частица уходила за одинаковое время в среднем на одно и то же
расстояние. Можно ожидать, что в пределе при δ->0
получится непрерывное случайное блуждание, напоминающее по
своим свойствам блуждание по решетке.
Чтобы найти правильное соотношение между
уменьшающимся параметром δ и растущей частотой скачков и получить
предельное распределение сдвига частицы за время t,
воспользуемся центральной предельной теоремой для сумм
независимых случайных векторов. В частном случае, когда
векторы \t (/= 1, 2, ...) взаимно независимы, одинаково
распределены и имеют нулевые математические ожидания и
конечные вторые моменты, эта теорема утверждает, что
распределение нормированной суммы
Ει + ^1 + Ε" (1)
У η
при /г->оо сходится к нормальному распределению с
нулевым математическим ожиданием и той же матрицей вторых
моментов, что и у случайного вектора ξχ·.

§ 1] ОПРЕДЕЛЕНИЕ ВИНЕРОВСКОГО ПРОЦЕССА
47
Обозначим через ξ/ перемещение за /-й шаг частицы,
блуждающей по единичной решетке. В силу симметрии
случайного блуждания Mli = 0. Найдем вторые моменты случайного
вектора ξ/. Пусть χν . .., хь — координаты этого вектора.
Так как только одна из координат xv ..., xt может быть
отлична от нуля, то все смешанные моменты IAXjXk (/ φ k)
равны нулю. Поскольку Xj с вероятностью 1/2/ принимает
значения ±1 и с вероятностью 1 — 1// равно нулю, то
Мл:2 = ... = Мл;2 = у. Таким образом, в ι а тем случае
вектор (1) в пределе имеет сферически симметричное
нормальное распределение с дисперсией по любому направлению,
равной 1//.
Заметим теперь, что при случайном блуждании по решетке
с параметром δ перемещение частицы за η шагов равно
δ(6ι+ '··· +!„)· (2)
Сравнивая (1) и (2), видим, что для получения разумного
предельного распределения параметр δ должен иметь порядок
l/Yn, или, что то же самое, число шагов η должно иметь
порядок l/δ2. Будем поэтому считать, что интервалы во
времени между последовательными скачками частицы равны δ2//
(коэффициент 1// вводится для упрощения окончательной
формулы). Положение частицы в момент t при таком
случайном блуждании обозначим через x(t) [разумеется, x(t)
определено пока не для всех t, а лишь для t, кратных δ2//].
К моменту t частица совершит я = т2 скачков. Это значит, что
χ(0-*(0) = ]/|-(11+ ··· +U. где « = !-.
Таким образом, вектор χ (έ) — л:(0) получается из вектора (1)
умножением на постоянный коэффициент Υ It. Следовательно,
в пределе при δ -> 0 приращение χ (t) — χ (0) имеет
симметричное нормальное распределение с дисперсией по любому
направлению, равной γ(Υίί) =t. Плотность этого
распределения равна у2+ ... +у2
P(t, У) = p(t, yv .. ., У|)=-
1 21 _
(2π/)//2
~~ (2π/)
w*-*fit· (3)

48 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
(если y^ylel-\- ...' -\-ytev то мы полагаем у2 = у21-\~ ...
• · · + yf)· ^ пределе t может быть уже любым
положительным числом, а х (/) и л;(0) — любыми точками /-мерного
пространства.
Как видно из формулы (3), координаты приращения
χ(έ)— л: (0) в пределе взаимно независимы. Отметим, что
координаты слагаемых ^ зависят друг от друга: если одна
из них отлична от нуля, то другие равны 0. Предельное
распределение каждой из координат x{t)—лг(0), независимо от
размерности пространства, является нормальным распределением
с нулевым математическим ожиданием и дисперсией, равной t.
Итак, можно думать, что в пределе блуждание по
решетке превращается в непрерывный процесс, у которого
случайный сдвиг частицы за время t имеет плотность (3). К этому
процессу приводит также математическая теория
обнаруженного в 1828 г. ботаником Броуном хаотического движения
взвешенных в жидкости мелких частиц. Теория броуновского
движения была создана в 1906 г. Эйнштейном и Смолухов-
ским. Математически корректное построение
соответствующего случайного процесса впервые было выполнено Винером
в 1923 г. Сам этот процесс принято называть винеровским
процессом. Дадим его определение.
Рассмотрим пространство X, состоящее из функций x(t),
/ ^ 0, принимающих значения в /-мерном векторном
пространстве R. Эти функции интерпретируются как всевозможные
траектории броуновской частицы. Пусть на X задано
семейство распределений (т. е. вероятностных мер) Р^., где л:—любая
точка R. Меру Р^. следует понимать как распределение
случайных траекторий частицы, начинающей свое движение в
момент / = 0 из точки х. Соответствующее мере Р^.
математическое ожидание условимся обозначать через М^. (В тех
случаях, когда Р^. или М^ не зависит от х, будем писать
просто Ρ или Μ *).)
*) Иногда нам встретятся такие случайные величины |,
которые определены не для всех траекторий.
Математическим ожиданием подобных случайных величин мы
называем обычное выражение, в котором интегрирование или
суммирование распространяется не на все пространство элементарных
событий Ω, а лишь на область задания Ωξ величины ξ.
Равносильное определение математического ожидания Мх1 можно получить,
полагая ξ*=0 в тех случаях, когда ξ не определено.

§ 1] ОПРЕДЕЛЕНИЕ ВИНЕРОВСКОГО ПРОЦЕССА 49
Говорят, что набор вероятностных мер Vx на X
определяет винеровский процесс x(t), если выполняются
следующие условия:
а) пространство X содержит только непрерывные
функции\
б) Px[x(0)=x} = U
в) случайное приращение x(t-\-s)—χ (s) при s^>0,
t > 0 имеет симметричное нормальное распределение
с плотностью (3), и это приращение не зависит от любых
событий и любых случайных величин, определяемых по
поведению траектории χ (t) до момента s *).
В частности, для любой области Г £/?
РЛ*(О€Г} = Р,{*(О-*(0)€Г-*} =
= J P(t. y)dy= J p(t, z — x)dz (4)
Г-* Г
(t > 0, x£ R).
Эту вероятность обозначают через Р (t, xt Г) и называют
переходной вероятностью винеровского процесса.
Иногда бывает полезно рассматривать траекторию,
начинающуюся не из фиксированной точки х, а из случайной
точки, имеющей распределение μ. При этом вероятность любого
события А вычисляется по формуле
/?
Такой процесс мы будем называть винеровским процессом
с начальным распределением μ. Отметим, что для любой
случайной величины ξ
Μμξ= |Μ,ξμ(Ακ). (δ)
R
*) Под такими событиями и случайными величинами понимаются
множества и функции, измеримые относительно минимальной
σ-алгебры в пространстве X, содержащей все множества вида
{л: (и) ζ Г}, где Г — область из R, u4^s. В дальнейшем мы не будем
уделять внимание вопросам измеримости.
Читателю, которого волнует эта сторона дела, можно
посоветовать обратиться, например, к гл. 3 книги [4].
4 Е. Б. Дынкин, А. А. Юшкевич

50 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
§ 2. Распределение в момент выхода из круга
и среднее время выхода
В главе I мы установили, какие множества при
случайном блуждании по решетке Н1 достигаются с вероятностью 1.
Поскольку достижение множества А означает выход из
дополнительного множества Н1\А, то тем самым было
исследовано, из каких множеств с вероятностью 1 частица когда-
нибудь выходит. Естественно поставить тот же вопрос для
винеровского процесса. Пусть
^^-*"~* ν . G — произвольная область и
/S ^Х^ τ — момент первого выхода
/ ~г \ траектории χ (t) из этой области
/ G 9/ ) (рис. 4). Мы будем интересо-
I ъ$**^ / ваться не только вероятностью
\ £ / выхода Ρ^{τ<οο}, χ £ G, но
I ^/ и средним значением Μ^τ, а
^-— также распределением
положения л: (τ) частицы в момент τ.
Рис· 4· Можно было бы
рассмотреть аналогичные задачи и для
блуждания по решетке, но в непрерывном случае процесс
обладает большей симметрией, и поэтому решения принимают
более простую аналитическую форму. Как мы увидим,
поставленные вопросы приводят к краевым задачам для уравнения
Лапласа Δ# = 0 и уравнения Пуассона Ди = — 2. Появляется
возможность, с одной стороны, воспользоваться
аналитическими средствами для изучения характера случайного
блуждания, а с другой — применить вероятностные рассмотрения для
решения аналитических задач.
Мы будем рассматривать в дальнейшем винеровский
процесс на плоскости. Все результаты легко переносятся на
пространство любого числа измерений *).
В качестве первого шага изучим момент τ первого
выхода из круга К радиуса г в предположении, что частица
начинает движение из центра этого круга. Поскольку
приращения χ (t) — л;(0) не зависят от начальной точки л;(0),
то положение круга на плоскости роли не играет, и мы
*) Особенно простые формулы получаются в одномерном
случае (см. задачи в конце главы).

§ 2] РАСПРЕДЕЛЕНИЕ В МОМЕНТ ВЫХОДА ИЗ КРУГА 51
будем считать, что его центр совпадает с началом координат
(рис. 5).
Прежде всего убедимся, что частица с вероятностью 1
выйдет из круга К. Очевидно, если траектория χ (t) остается
внутри К до момента t = η, то все приращения х(\)—х(0),
х(2) — х(\), .... х(п) — х(п—1) по модулю меньше 2г.
Эти приращения независимы и имеют одно и то же
нормальное распределение. Поэтому
P0{r>n}<lP{\x(l)-x(0)\<2r}]n = an,
(6)
где α строго меньше 1. Значит Р0 (τ = οο} <^ап при любом /г,
так что Ρ0{τ = οο} = 0.
Найдем теперь распределение точки χ (τ). Очевидно, χ (τ)
расположено на окружности С, ограничивающей круг К.
Поскольку плотность
распределения любого приращения
x(t)—χ (s) зависит только от
t — sh длины вектора χ(t) — χ(s),
то распределение винеровской
траектории не изменится при
вращении плоскости на любой угол I
вокруг точки 0. Поэтому
распределение случайной точки л: (τ)
инвариантно относительно всех
вращений окружности С.
Единственным распределением,
обладающим этим свойством, является
равномерное распределение, при
котором вероятность попадания на
циональна длине этой дуги. Итак,
пределено по окружности С.
Наконец, покажем, что среднее время Μ0τ
пропорционально квадрату радиуса круга К. Для этого
воспользуемся следующим свойством винеровского процесса {авто-
модельность): при растяжении плоскости R в г раз, а
временной оси в г2 раз (г > 0), из винеровского процесса снова
получается винеровский процесс. В самом деле, при таком
преобразовании, очевидно, сохраняются непрерывность
траекторий и независимость приращений и не меняется нормальное
распределение с плотностью (3).
Рдс. 5.
любую дугу Г пропор-
х(х) равномерно рас-
4*

52 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
Рассмотрим два круга с центрами в начале координат:
круг Кг радиуса г и круг Κγ радиуса 1 (рис. 6). Выпустим
из нуля винеровскую траекторию x(t) и обозначим через хг
и Tj моменты первого ее
выхода из Кг и Kv Имея кривую
x(t), построим траекторию
x(t)=rx(t')9 где t=r4' и
обозначим через хт момент
первого выхода x(t) из
круга Кг Ясно, что тогда хг = г2х1
и поэтому Μ0τΓ = г2М0т1.
С другой стороны, по свойству
автомодельности процесс χ (t)
также является винеровским
процессом, и, следовательно,
M0xr = M0xr = cr*t (7)
где с = М0хх — некоторая
константа.
Правда, мы не знаем пока,
не равно ли с бесконечности.
Конечность величины MqTj легко выводится из оценки (6).
В самом деле, если F (t) — функция распределения τ, то
Μ0τ= pdF(0<5] jtdF(t)^^n jdF(t)<C
0 λ-1 λ-1 λ-1 λ-1
οο οο
< 2 η?0 {χ > η — 1} < J /ια*-ι <
Рис. 6.
CO.
л = 1
/2-1
Полученные результаты справедливы для винеровского
процесса в пространстве любого числа измерений. Заметьте,
что при любом / формула (7) действует с показателем 2
(а не /!). Константа с в формуле (7), естественно, зависит
от размерности / пространства. Более тонкие рассмотрения
показывают, что с= 1// (см. задачи). Таким образом, в
двумерном случае
М0тг = |г2. (8)

§ 3] МАРКОВСКОЕ И СТРОГО МАРКОВСКОЕ СВОЙСТВА 53
Равномерность распределения х(%) в одномерном случае
означает, что частица, начинающая двигаться из середины
отрезка, попадает в каждый из его концов (прежде, нежели
в другой конец) с вероятностью 1/2.
§ 3. Марковское и строго марковское свойства
Нам потребуется теперь одно общее свойство винеров-
ского процесса x(t), начинающегося из произвольной точки х.
Заметим, что сумма какого-либо случайного вектора с
распределением μ и независимого от него винеровского
процесса, начинающегося из нуля, представляет собой винеровский
процесс с начальным распределением μ. С другой стороны,
разность χ (s-\-1) — x(s), где 5 фиксировано, a t меняется от О
до +оо, является, согласно определению, винеровским
процессом, начинающимся из нуля, не зависящим от поведения
x{t) до момента s. Значение x(s) определяется поведением x{t)
до момента s. Поэтому, представляя случайную траекторию
x(s-\-t), 0<^<+оо, как сумму x(s-\-t) — x(s) и x(s),
получим, что при любых условиях Л на поведение вине-
ров с кого процесса до момента s > О процесс у (*)=*($+"0.
является винеровским процессом с начальным
распределением μ(Γ) = Ρ^{,4, χ (s) £ Γ} [марковское свойство
процесса x{t)\. В широком плане марковское свойство означает
независимость будущего x(s-\-t) процесса от его прошлого
χ (s — f) при известном настоящем x(s). Впервые случайные
последовательности л;(0), л:(1), х(2), ..., обладающие таким
свойством, были изучены Марковым в 1907 г. Отметим, что
если не ставить никаких условий Л, то μ (Г) обратится в
переходную вероятность P(s, χ, Г)=РХ {x(s)£r}.
Для широкого класса вероятностных процессов, в том
числе для винеровского процесса, марковское свойство
сохраняется, если под настоящим понимать не только χ (s) при
фиксированном s, но и л: (τ) при некотором случайном τ.
Например, винеровский процесс на прямой, начинающийся
в точке χ > 0, ведет себя после первого попадания в нуль
точно так же, как процесс, начинающийся из нуля. Это
утверждение, несмотря на его кажущуюся очевидность, нуждается
в доказательстве, и оно действительно доказано. Вообще
доказано, что если χ (έ) — винеровский процесс в
пространстве л/обой размерности и τ — момент первого выхода

54 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
х (t) из произвольной области (рис. 7), то при любых
условиях Л на поведение x(t) до момента τ процесс
y(t) = x(x-\-t), 0<^.t <-|-oof является винеровским
процессом с начальным распределением μ(Γ)= Р^. {Л, х(х) £Г}
Рис. 7.
(строго марковское свойство*)). Если опустить условия Л,
то мерой μ будет просто распределение вектора л: (τ).
Строго марковское свойство выполняется не только для
момента первого выхода, но вообще для любого случайного
момента τ, наступление или ненаступление которого
определяется поведением процесса на отрезке времени [0, τ]
(например, для τ = σ-ί--1, где σ — момент первого выхода). Все
такие случайные величины мы будем называть марковскими
моментами.
§ 4. Гармоничность вероятностей выхода
В § 2 мы исследовали момент τ первого выхода вине-
ровского процесса из круга, считая, что движение частицы
начинается в центре этого круга. Если начальная точка χ
не совпадает с центром круга, то симметрия блуждания до
момента τ нарушается и для круга задача оказывается
ненамного проще, чем для произвольной области. К этому общему
случаю мы и перейдем.
Пусть G — какая-либо область на плоскости и χ (0) = χ £ G
(рис. 8). В момент τ первого выхода из G частица находится
на границе L области G. Вероятность того, что х(х)
принадлежит определенному участку Г границы L, является
функцией начальной точки л:. Обозначим эту функцию через / (х).
*) Систематическое изучение строго марковского свойства
начато в работах Е. Б. Дынкина и А. А. Юшкевича (1956) и Р. Блю-
менталя (1957). Доказательство этого свойства см., например, в [3]
гл. 5, § 6.

§ 4] ГАРМОНИЧНОСТЬ ВЕРОЯТНОСТЕЙ ВЫХОДА 55
Заметим, что
/(*) = Μ,φ(*(τ)).
(9)
*ft)
где φ (у) — функция, определенная на L, равная 1 на Г и
равная 0 вне Г. При исследовании функции / (х) специальный
характер функции φ не имеет
никакого значения. Достаточно
предположить, что функция φ
ограничена (и измерима).
В этом параграфе мы
докажем, что функция f(x)
является гармонической в
области G, т. е. удовлетворяет
уравнению Лапласа Δ/ = 0.
В дальнейшем мы увидим, что
при широких предположениях
функция f(x) на границе
области обращается в φ()')» так
что формула (9) восстанавливает гармоническую функцию
внутри области по ее значениям на границе области (дает
решение задачи Дирихле).
Покажем, что для любого круга /С, лежащего в области G,
значение функции / в центре а этого круга равно среднему
значению / вдоль
окружности С, ограничивающей К:
Рис. 8.
f(a)= j /(χ)μ(άχ), (10)
f(t)
где μ — единичная мера,
равномерно распределенная по С
(рис. 9).
Действительно, пустьдви-
жение частицы начинается
в точке а. Тогда прежде чем
попасть на L, траектория должна выйти из круга /С. В
момент xk первого выхода из /С, как мы знаем, частица
равномерно распределена по окружности С. По строго марковскому
свойству отсюда следует, что начиная с момента xk
процесс χ (t) можно считать винеровским процессом с
равномерным начальным распределением μ, «забыв» о поведении

56 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
x(t) до момента xk. Поэтому, согласно (5),
Mflcp (χ (τ)) = Μμορ (χ (τ)) = J Μ,νφ (χ (τ)) μ (dx),
с
а это и есть формула (10).
Проверим теперь, что всякая функция, обладающая
свойством (10) (для любого круга К), удовлетворяет уравнению
Лапласа.
Убедимся, что функция f(x) дифференцируема в G любое число
раз*). Доопределим функцию /(х), положив ее равной 0 вне G.
«Сгладим» функцию / (х), осреднив ее посредством бесконечно
дифференцируемой положительной в точке 0, равной 0 вне
ε-окрестности нуля и инвариантной относительно вращений функции g (x)
f(x)= J f(x + y)g(y)dy. (11)
Делая замену переменной у = ζ — χ, получим
/(*)= j f(z)g(* — *)dz-
Последний интеграл можно дифференцировать по χ любое число
раз, так что f (χ) — бесконечно дифференцируемая функция.
Если точка χ ζ G находится на расстоянии, большем ε, от
границы L области G, то интеграл (11) легко подсчитать, перейдя к
полярным координатам с полюсом в точке х. Интегрируя сначала по
окружности радиуса ρ < ε, можем вынести за знак внутреннего
интеграла постоянные вдоль этой окружности якобиан
преобразования ρ и вес g (у); оставшийся интеграл по окружности от f (х-\-у)
даст, с точностью до константы, зависящей от р, среднее значение
функции / по этой окружности, которое равно значению / в центре
окружности, т. е. равно f(x). Вынося затем / (х) из-под знака
наружного интеграла по р, получим, что / (х), с точностью до
постоянного положительного множителя, равно / (х) для всех точек х%
принадлежащих G вместе со своей ε-окрестностью. Стало быть,
в таких точках функция / (х) дифференцируема любое число раз.
Ввиду произвольности ε этот факт верен для всех точек области G.
*) Измеримость / (х) вытекает из общих свойств марковских
процессов (см. сноску на стр. 49).

§ 4] ГАРМОНИЧНОСТЬ ВЕРОЯТНОСТЕЙ ВЫХОДА 57
Разложим функцию f (х) в окрестности произвольной
точки α £ G в строку Тейлора:
/ (*) = / (а) + 1L (*, - а{) + -щ (*2 ~ в2) +
+1 ίτ4 (*ι - βι>2 + 2 T^f- <*ι - βι> (χ2 - «a) +
дхг дх2
. ^2/
■ J(^-^)2] + «(4 (12)
где производные берутся в точке а с координатами (alf α2),
а |α(*)|^Λρ3,(ρ = |*— а|)при достаточно малом р.
Проинтегрируем обе части формулы (12) вдоль окружности С с
центром а по единичной равномерной мере μ. Если радиус ρ
окружности С выбрать так, чтобы она оказалась целиком
внутри области G, то при этом в левой части, согласно (10),
получим / (а). В правой части интегралы от членов хг — αν
х2 — #2 и (*ι — а\)(х2—а2) обратятся в нуль, так как в силу
симметрии интегралы по верхней и нижней (либо по правой
и левой) полуокружностям взаимно уничтожаются. Ввиду
инвариантности при вращениях
/ (*i — Ό2 μ (dx) = J o*2 — Д2)2 μ (βχ) =
с с
= γ J K*l — ^l)2 + (*2 — a2?\ ^ ^X) = -g- p2.
С
Итак, мы получим, что при достаточно малом ρ
откуда
d2f . d*f
дх\ дх\
Г α (χ) μ (dx)
<4·*ρ?=4*ρ·
д2 д2
Устремляя ρ к нулю и обозначая оператор Лапласа —s" + -—«
дх{ дх2
буквой Δ, найдем отсюда, что
Δ/ = 0
в точке а» Гармоничность функции f(x) доказана.

58 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
§ б. Регулярные и нерегулярные точки границы
Изучим теперь поведение гармонической функции
/(*) = Μ,φ(*(τ)),
когда χ стремится к некоторой точке а, принадлежащей
границе L области G. При этом мы будем считать, что
граничная функция φ непрерывна в точке а и ограничена.
Заметим, что если х = а, т. е. если движение начинается
из самой точки а, то τ = 0, χ(τ) = α и /(χ) = φ(α).
Будет доказано, что если граница L устроена «достаточно
хорошо» в окрестности точки а, то
Нт/(*) = <р(а). (13)
х->а
Это соотношение будет выведено из того наглядного факта,
что траектория, начинающаяся из точки х, близкой к а,
с большой вероятностью быстро
0 выйдет на границу. За это время
ft) частица не успеет далеко отойти
от начальной точки χ и,
следовательно, достигнет границы L
вблизи точки а. Однако не всегда эта
наглядная картина соответствует
действительности. Например, если
G представляет собой единичный
круг с выколотым центром а
(рис. 10), то, как бы близко от
Рис 10 а ни начиналась траектория, с
вероятностью 1 она выйдет из G
в точку границы, отличную от а (это будет доказано в § 7).
Таким образом, здесь τ не будет стремиться к 0 при х->а.
Эти соображения приводят к следующему определению.
Точка а, принадлежащая границе, называется регулярной,
если для любого h > 0
Р^{т>/г}->0 при х->а (14)
(τ по вероятности сходится к 0 при χ —> а).
Докажем, что граничное условие (13) выполняется в
любой регулярной точке.

§ 5] РЕГУЛЯРНЫЕ И НЕРЕГУЛЯРНЫЕ ТОЧКИ ГРАНИЦЫ 59
Пусть Г — участок границы L, лежащий внутри круга К
радиуса 2р с центром в регулярной граничной точке α (рис. 11).
Покажем, что при любом ρ > О
НтР^{*(т)бГ} = 1 (15)
х-*а
[точ*ка х(х) по вероятности сходится к а].
Заметим, что максимальное смещение броуновской
частицы за время h
z(h)= max \x(t) — x(0)\
не зависит от начальной точки х = х(0). Для каждой
фиксированной траектории ζ (ft) при h j О станет меньше числа р.
Это значит, что событие {z(h)< ρ} при h \ О в пределе дает
достоверное событие. Поэтому
НшР{*(А)<р} = 1 (16)
ΛψΟ
[ζ (ft) сходится по вероятности к 0].
Задавшись произвольным
числом ε > 0, выберем такое h > 0,
что
P{s(A)<p}>l—ε. (17)
Для этого /г, согласно (14),
найдется такое δ > 0, что при
\х — а\<Ь
Ρ,{τ<Α}>1-ε. (18)
Рис. 11.
Очевидно, можно считать δ < р.
Если одновременно ζ (ft) < ρ и τ </г при \х — α|<δ,
χ £ G, то траектория за время h успевает попасть на L, не
отклонившись от χ больше чем на р, т. е. попадает на L до
своего выхода из круга К. Следовательно, тогда х(х)£Г и,
значит,
Р* Ит)€П>Р^ [z(h)< ρ, %<h).
Из этого неравенства и оценок (17) и (18) получаем
ΡΛ.{*(τ)6Γ}>1-2ε
при \х — α|<δ, Λ:ζΟ. Формула (15) доказана.

60 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
Теперь уже совсем просто проверить, что в регулярной
граничной точке а условие (13) выполняется для любой
ограниченной функции φ (у), непрерывной в а. Пусть μ^. —
распределение случайной точки л:(τ) при условии χ(0) = χζΩ.
Тогда
/(*) —φ(α) =
= / φ (у) μ* №0 — φ (я) = j [φ 00 — φ (*)] μ* №0 f
L V
+ J φ ω μ, №0 - φ («Μ ι - μ, (01.
где по-прежнему Г — участок границы L, вырезаемый
кругом К с центром в точке а. Поскольку функция φ (у)
непрерывна в точке а, то круг К можно выбрать так, чтобы внутри
него φ (у) отличалась от φ (α) меньше чем на произвольное
число ε > 0. Тогда получим
|/(*)-φ(α)|<εμ^(Γ) + λμ^(Ζ.\Γ)+λ[1-μ^(Γ)],
где λ—число, ограничивающее |ср(у)|. Так как μ^.(Γ)->1
при л;->а, а μ^(Ζ,\Γ)->0, то при х, достаточно близких
к а, правая часть неравенства окажется меньше 2ε. Это
значит, что f (х) стремится к φ (α) при х-+а, л; £ G.
В условии (14), определяющем регулярность граничной
точки а, участвуют траектории, начинающиеся из
бесконечного числа различных х, и непосредственная проверка этого
условия затруднительна. Распознавание регулярных точек
границы облегчается критерием регулярности, который удается
сформулировать в терминах траекторий, начинающихся из самой
точки а. Для этого вместо момента τ первого выхода из G,
тождественно равного 0 при χ = α, нужно рассмотреть
первый среди строго положительных моментов времени, когда
траектория находится вне G (момент σ первого после 0
выхода из G). Если из моментов t > 0, при которых x(t)£G,
ни один не является самым первым (так будет, когда
траектория оказывается вне G при сколь угодно малых
положительных значениях t), то σ считается равным 0. (Соотношения
между моментами τ и σ для различных траекторий показаны
на рис. 12.)

§ 5] РЕГУЛЯРНЫЕ И НЕРЕГУЛЯРНЫЕ ТОЧКИ ГРАНИЦЫ 61
Оказывается, граничная точка а регулярна, если
Ра{о = 0} = 1. (19)
Для доказательства этого критерия рассмотрим событие Аи
«на отрезке времени [и, h] траектория находится внутри О»
Рис. 12.
(О < и < И). Очевидно, события Аи с уменьшением и сужаются
и их пересечение совпадает с событием {σ>Λ}.
Следовательно, при любом χ из R
Vx{o> h) = \imVx[Au)t
причем функция Р^. [Аи) монотонно убывает при и | 0.
Покажем, что при фиксированном и > 0 вероятность
Ρ* [Αα) непрерывна по х. Действительно, событие Аи
зависит только от значений x{t-\-u), t^O и для процесса
y(t) = x(u-{~ t) сводится к событию {τ > h — и). По
марковскому свойству y(t) является винеровским процессом с
начальным распределением μ(Γ) = Ρ (и, χ, Γ). Следовательно,
Ρχ{Αα)= jvy{x>h— u}P(u, x, dy) =
= J Py {τ > h — u) ρ (и, x — y)dy
R
[см. формулу (4)]. Так как плотность р {и, χ — у) непрерывна
по л: и интеграл сходится равномерно в любой конечной
области, то интеграл тоже непрерывен по х.
Поскольку вероятность Рх{о> h), зависящая от х,
является пределом монотонно убывающей последовательности
непрерывных функций Рд.{^4ц}, то для любой точки а и

62 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
любого ε > 0 найдется такое δ > 0, что
Px[o>h)^Pa[o>h)+e (20)
при \х— а\ < 6.
В самом деле, в силу монотонной сходимости Ра {Аа} к Ра {σ > η)
можно выбрать такое и > 0, что
ΡαΜ«}<Ρβ{σ>Λ} + γ.
Фиксировав это и, найдем для непрерывной функции Р^. {Аи}
такое σ > 0, что
Рх{Ла}<Ра{Аа}+±.
при \х — а | < δ. Так как Р^ {σ > h) <P^ {Au},то, значит, при
| jc — α | < δ выполняется неравенство (20).
Если в точке а выполнено условие (19), то Ра {σ > h) =0
и из неравенства (20) вытекает, что
lim Ρ^{σ> h} = 0.
х-±а
Поскольку τ<!σ, то
Ρχ{τ>Α}<Ρχ{σ>Α)
и, значит, Р^. {τ > h) тоже стремится к 0. Регулярность
точки а доказана.
Можно показать, что справедливо и обратное: если для
любой непрерывной в точке а ограниченной функции φ (у)
выполняется граничное условие (13), то точка а регулярна
и в этой точке σ = 0 с вероятностью 1 (см. задачи).
Опираясь на критерий (19), мы в следующем параграфе
выведем простой геометрический признак регулярности
граничной точки.
§ 6. Закон нуля или единицы. Достаточный признак
регулярности
Покажем, что вероятность Ра [о > 0} не может
принимать значений, отличных от 0 или 1 {закон нуля или
единицы).
Для этого надо сперва проверить, что при любом
фиксированном h > 0 случайная точка χ (h) не зависит от насту-

§6]
ЗАКОН НУЛЯ ИЛИ ЕДИНИЦЫ
63
пления или ненаступления события σ > 0. Этот факт
объясняется тем, что появление события σ > 0 определяется
поведением траектории на сколь угодно малом промежутке
времени [0, s]. Так как траектории процесса непрерывны, то
при малом 5 точка χ (s), хотя ее распределение и зависит
от события {σ > 0}, с большой вероятностью будет близка
к начальной точке а. Смещение же частицы за оставшийся
промежуток времени [s, h] не зависит от поведения процесса
до момента 5 и, в частности, от того, какое из событий
{σ>0} или {σ = 0} имело место. Случайный вектор x(h),
как сумма «почти постоянного» вектора χ (s) и не
зависящего от события {σ>0} вектора x(h)—χ(s), тоже «почти
не зависит» от события {σ>0}. Переходя к пределу при
5—>0, получим «полную» независимость точки χ {к) от
события {σ > 0).
Чтобы перевести это наглядное рассуждение на точный
математический язык, заметим, что для произвольной области Г в силу
марковского свойства
Ρα{σ>0, *(Λ)ζΓ}= f P(hs, y,T)v(dy), (21)
R
где μ — распределение частицы в момент s при дополнительном
требовании σ > 0:
μ(Γ,) = Ρβ{α>0ιχ(ί)ζΓ').
В интеграле (21) нужно перейти к пределу при s|0.
Подынтегральная функция интеграла (21) ограничена и из формулы (4) видно,
что она непрерывна по совокупности переменных у и s при h > s.
Мера μ (Г7) не превосходит Ρ (s, а, Г') и потому при s|0
стремится к 0 для внешности любого круга К с центром я.
Следовательно, это же мера для самого круга К стремится к полной мере
μ (R), т. е. к числу Ра {σ > 0}. Выбрав достаточно малый круг К,
а затем число 5 > 0, разобьем интеграл (21) на два интеграла по
КРУГУ К и его дополнению К. В интеграле по К подынтегральная
функция сколь угодно мало отличается от числа Ρ (Λ, α, Γ),
а мера μ (К) почти равна Ра {о > 0}. Интеграл по К не
превосходит μ (К) и поэтому близок к 0. Таким образом, весь интеграл (21)
сколь угодно мало отличается от произведения Ра {о > 0} · Ρ (Λ, at Г)
и, значит, просто равен этому произведению. Итак,
Ρα{σ>0, ^(Λ)ζΓ}«Ρβ{σ>0}.Ρβ{^(Λ)ζΓ}. (22)
т. е. вектор χ (Λ) и событие {σ > 0} независимы.

64 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
Далее, из марковского принципа независимости будущего
от прошлого при известном настоящем вытекает, что раз
«настоящее» x(h) не зависит от «прошлого события» {σ > 0},
то от этого события не зависит и «будущее», т. е. не
зависит любое событие, определяемое по течению процесса после
момента h.
Формально по марковскому свойству любое событие А для
процесса у (t) = χ (h +1), t > 0, имеет вероятность
j Py{A}P(h, atdy),
R
а вместе с событием {σ > 0}, в силу (22), вероятность
J Ру {А} Ра {о > 0} Ρ (Λ, a, dy) = Pfl {σ > 0}. J* Py {A} P (Λ, a, dy).
R R
Значит, вероятности события {σ > 0} и события А для процесса у (t)
перемножаются, и эти события независимы.
Благодаря тому, что h можно брать сколь угодно малым,
из «будущих» событий, не зависящих от события (σ > 0},
удается сконструировать само событие {σ>0} и получить,
что это событие не зависит от самого себя, т. е. получить
закон нуля или единицы.
Именно, рассмотрим событие A{h> t)= {траектория
находится в области G в течение промежутка времени [Λ, t]}. По
доказанному при /г > 0 события A(h, t) и (σ > 0}
независимы, т. е.
Ρα {σ > 0, А (А, 0} = Ра {σ > 0) · Ра {A (A, t)}. (23)
Очевидно, при уменьшении h события А (/г, t) сужаются, и
их пределом при h | 0 служит событие {траектория находится
в области G в течение любого отрезка времени [/г, t], где
0 </*</}, равносильное событию {σ>/}. Значит, устремив
в формуле (23) h к 0 и учитывая, что (σ>0, σ > t) =
= {σ > t], получим
Ρα{σ>/} = Ρα{σ>0}.Ρα{σ>/}.
Устремив теперь / к 0, найдем
ΡΛ{σ>0) = [Ρα{σ>0}ΐ2.
Отсюда видно, что Ра [о > 0} может равняться только 0
или 1.

§6)
ЗАКОН НУЛЯ ИЛИ ЕДИНИЦЫ
65
Отметим, что доказанный нами закон нуля или единицы
для события {σ>0} является частным случаем следующего
результата, установленного Блюменталем *): если наступление
или ненаступление события А определяется по течению вине-
ровского процесса на сколь угодно малом отрезке времени
[О, t] (t > 0), то вероятность А равна 0 или 1.
Доказательство этого закона в его общей формулировке
проводится по тому же плану, что и для события {σ > 0}. Сперва
устанавливают, что любое событие А/г, зависящее от поведения
винеровской частицы только после момента А, не зависит от А.
Затем, аппроксимируя А событиями вида А^ (здесь приходится
обращаться к вопросам измеримости событий), получают, что
Р^. {А} = [Р^. {А}]2, и поэтому Р^ {А} = 0 или 1.
Пусть а — нерегулярная точка. Из критерия регулярности,
установленного в предыдущем параграфе, следует, что
вероятность Pfl {σ > 0} > 0. В силу закона нуля или единицы на
самом деле в такой точке
Ρβ{σ>0} = 1.
Это позволяет вывести следующий достаточный признак
регулярности: точка а границы L области G регулярна,
если этой тонки можно коснуться
снаружи области вершиной
некоторого треугольника S (рис. 13).
Действительно, если бы точка а
была нерегулярна, то с
вероятностью 1 частица, выходящая из
точки а, в течение какого-то
положительного промежутка времени (0, σ)
находилась бы внутри G и, значит,
строго вне треугольника 5.
Вследствие инвариантности винеровского процесса относительно
вращений этот же результат был бы справедлив для любого
треугольника, полученного вращением 5 вокруг точки а. Но
конечное число таких треугольников покрывают некоторую
окрестность точки а. Поэтому из нашего предположения
вытекает, что с вероятностью 1 частица, находившаяся
в точке а, мгновенно оказывается вне окрестности точки а.
Это противоречит непрерывности винеровской траектории.
Значит, на самом деле точка а регулярна.
*) См.. например, [3], гл. 5, § 6.
Рис. 13.
5 Е. Б. Дынкин, А. А. Юшкевич

66 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
Из доказанного признака вытекает регулярность
граничных точек для весьма широкого класса областей, в частности
для любых областей, ограниченных гладкими кривыми.
В трехмерном пространстве для регулярности граничной
точки достаточно, чтобы ее можно было коснуться извне
области вершиной некоторого тетраэдра, в одномерном
случае — концом отрезка.
§ 7. Задача Дирихле
Подведем теперь некоторые итоги. Мы доказали, что
если G — область с регулярной границей и если
φ—любая непрерывная ограниченная функция на границе, то
формула
/(*) = Μ,φ(*(τ)) (24)
определяет гармоническую функцию в области G,
принимающую на границе значения φ.
Таким образом, мы не только доказали существование
решения задачи Дирихле для весьма широкого класса
областей, но и получили явную формулу, задающую такое
решение. Эта формула может быть использована как для
качественного исследования решения, так и для численных
расчетов. При этом винеровский процесс моделируется с
помощью таблиц случайных чисел, и затем подсчитываем
среднее от значений функции φ в случайной точке выхода на
границу. Один из способов моделирования броуновского
движения состоит в замене его случайным блужданием по решетке.
Впрочем, возможны и другие приемы моделирования.
Достоинством развитого здесь метода является также то, что он
позволяет говорить о решении задачи Дирихле для разрывных
граничных функций и областей с нерегулярными границами.
С другой стороны, формулу (24) можно использовать,
конечно, и для аналитического изучения вероятностей выхода.
В ряде случаев решение задачи Дирихле находится
непосредственно, и это позволяет получать ценную информацию
о поведении траекторий винеровского процесса.
Как известно, в ограниченной области G задача Дирихле
не может иметь двух различных решений. (Это вытекает из
того, что гармоническая функция достигает своего максимума
и минимума на границе области.) Для неограниченной
области G задача Дирихле, вообще говоря, имеет не единственное

§ 7] ЗАДАЧА ДИРИХЛЕ 67
решение (при / ^ 3 даже не единственное ограниченное
решение). Заранее неясно, какое из этих решений совпадает с f(x).
Можно показать, что если непрерывная граничная
функция φ (у) неотрицательна и граница регулярна, то формула (24)
дает минимальное неотрицательное решение задачи Дирихле.
В самом деле, пусть S — окружность с центром в начале
координат, G' — часть области G, лежащая внутри S (рис. 14) *). Так
как любой точки окружности S
можно коснуться снаружи G' вершиной
треугольника, то граница области G*
тоже регулярна. Обозначим через τ'
момент первого выхода винеровской
траектории из G' и рассмотрим на
границе Gr функцию φ', равную φ
там, где границы областей G' к G
совпадают, и равную 0 в остальных
точках границы области G'. Положим
f'(x) = Mx<p'(x(x')) <*£G'). (25)
Пусть g (χ) — неотрицательная Рис. 14.
гармоническая функция в области (7,
обращающаяся на границе в φ (у). В силу единственности
решения задачи Дирихле для ограниченной области G',
g(x) = Mxg(x(x')) (x£G').
Так как φ' (у) < g (у) всюду на границе области G\ то из
написанных равенств вытекает, что
f'(x)<g(x) (x£G'). (26)
Заметим теперь, что если траектория χ (t) выходит из области G
до выхода за пределы окружности S, то для нее τ' = τ < оо и
значения функций φ' и φ в точке χ (τ') равны друг другу. Для всех же
остальных траекторий φ' (χ (τ7)) либо равно 0 (если τ/ < оо, х'фх),
либо не определено (если τ' = оо). Поэтому вместо равенства (25)
можем написать
/' (χ) = Μ^φ (χ (τ)),
где штрих над буквой Μ означает, что интегрирование ведется не
по всем траекториям, для которых τ < оо, а лишь по множеству
тех траекторий, для которых χ' = τ < оо. Очевидно, событие
{τ' = χ < оо} при неограниченном раздувании окружности S,
расширяясь, переходит в событие {τ < оо}. Отсюда вытекает, что
*) Вообще говоря, G' может состоять из нескольких не
связанных друг с другом компонент. Это никак не сказывается на
нашем рассуждении.
5*

68 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
Μ^.φ(Λ:(τ)) при любом χζϋ стремится к Μχφ(χ(χ)). Значит,
переходя в неравенстве (26) к пределу, получим, что / (х) <^ g (x)
во всей области (7.
Рассмотрим теперь примеры, в которых формула (24)
используется либо для исследования винеровского процесса
с помощью дифференциальных уравнений, либо для получения
решения задачи Дирихле из
вероятностных соображений.
Заметим прежде всего, что
функция In | л: | удовлетворяет уравнению
Лапласа всюду, кроме точки χ = 0.
На любой окружности с центром
в точке 0 эта функция постоянна.
Поэтому нетрудно выбрать
константы сг и с2 так, чтобы функция
/(*) = <?! 1п|лг| + с2
была равна 0 на внешней границе
кольца G= [г < |л:| < R] и равна
1 на его внутренней границе
(рис. 15). Обозначая через τ момент первого выхода
траектории из кольца G, по формуле (24) получим
f(x) = Mxf(x(x))=\'Px{\^^)\ = r} + 0'Px{\x(x)\ = R}
(*€0).
т. е. что /(л;) представляет собой вероятность выйти из
кольца G через внутреннюю окружность. Подбирая нужным
образом сг и с2, найдем, что
Рис. 15.
1 w ~~ In R — In r
(27)
Аналогично обстоит дело и в пространстве / ^ 3
измерений. При этом вместо функции 1η | χ | следует взять
функцию 1/|л:|~. Тогда для вероятности выхода из шарового
слоя {а*<|лг|</?} через его внутреннюю границу получим
формулу
1 1
/(*) = ■
Ι/-2
* -2
1
J
(28)

§7]
ЗАДАЧА ДИРИХЛЕ
69
Из формул (27) и (28) можно вывести ряд интересных
следствий.
Так, оказывается, что винеровская траектория на
плоскости или в пространстве с вероятностью 1 никогда
не попадет в фиксированную точку а, отличную от на-
чальной точки траектории *).
Для определенности рассмотрим плоский случай. Ясно,
что при любых R > | χ \ > г > 0 вероятность из точки χ
попасть в нуль прежде, чем на внешнюю границу, меньше
или равна вероятности f(x) попасть из χ на внутреннюю
окружность раньше, чем на внешнюю. Формула (27)
показывает, что при фиксированных R > | χ | > 0 и достаточно
малом г > О вероятность / (х) будет сколь угодно близка
к 0. Следовательно, при любом начальном положении χ Φ 0
вероятность попадания частицы в точку 0 до выхода из круга
радиуса R > | χ | с центром в нуле равна 0.
Но если частица, выходящая из точки χ Φ 0, с
вероятностью 1 пересечет до попадания в 0 любую фиксированную
окружность радиуса R > | χ |, то с вероятностью 1 она
пересечет до попадания в 0 и все окружности с радиусами п\х\
(/г = 2, 3, ...). Однако ни за какое конечное время частица
не может пересечь все эти окружности, ибо ее траектория
непрерывна. Стало быть, с вероятностью 1 частица,
вышедшая из точки χ Φ 0, никогда не попадет в точку 0. Этот же
результат, конечно, справедлив и для любой другой
фиксированной точки а на плоскости.
Пользуясь терминологией гл. I, можем сказать, что для
винеровского процесса на плоскости и в пространстве
одноточечное множество немассивно. Нетрудно показать, что
в одномерном случае, наоборот, каждая точка массивна (см*
задачи). Для сравнения напомним, что при случайном
блуждании по решетке одноточечное множество было массивно
на прямой и на плоскости, и немассивно в пространстве.
Отмеченное сейчас различие между непрерывным и
дискретным случайным блужданием на плоскости объясняется
тем, что на непрерывной плоскости одна точка представляет
собой гораздо более «тощее» множество, чем на
дискретной решетке. Аналогия между дискретным и непрерывным
*) Из этого результата легко вывести, что с вероятностью 1
она также никогда не вернется в исходную точку.

70 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II.
случаем восстановится, если вместо попадания в точку
рассмотреть попадание в произвольный круг: с вероятностью 1
винеровская частица на плоскости попадет в любой круг
положительного радиуса.
Действительно, вернемся к кольцу, изображенному на
рис. 15. Вероятность, исходя из х, когда-нибудь попасть
в круг ралиуса г больше или равна вероятности f(x)
попасть в этот круг до выхода на окружность радиуса R.
Но по формуле (27) / (х) -> 1 при R -> оо. Следовательно,
вероятность попадания во внутренний круг равна 1.
Разместив на плоскости счетное число окружностей так,
чтобы любая точка плоскости попадала в окружность сколь
угодно малого радиуса, найдем, что с вероятностью 1
траектория x(t) всюду плотна на плоскости.
В пространстве / ^ 3 измерений по формуле (28)
г/-2
lim f(x) = τζο-·
Этот предел равен вероятности, выйдя из х, когда-нибудь
попасть в шар U радиуса г. В самом деле, событие
«траектория попадет в шар U до первого выхода из шара
радиуса R» монотонно сходится при R -> оо к событию
«траектория попадет в шар U».
Зная, что вероятность попадания траектории в любой
шар меньше 1, можно вывести, что с вероятностью 1
|л:/|->оо при ^->оо (аналогичный результат для дискретного
случая был получен в § 3 гл. I).
В качестве другого примера найдем, исходя из
вероятностных соображений, распределение положения блуждающей
по плоскости броуновской частицы в момент ее первого
выхода на данную прямую. Это позволит нам вывести формулу,
дающую решение задачи Дирихле для полуплоскости.
Прежде всего заметим, что если частица начинает
движение в точке, расположенной на биссектрисе данного угла
(рис. 16), то в силу симметрии она с равными вероятностями
впервые выйдет из угла через любую из его сторон. Так как
частица с вероятностью 1 попадет в любой круг /С
расположенный вне угла, то вероятность выхода из угла равна 1,
и, значит, вероятность первого выхода на каждую из сторон
угла равна 1/2 (вероятность попадания в вершину угла, как
мы знаем, равна 0).

§7]
ЗАДАЧА ДИРИХЛЕ
71
Пользуясь этим простым замечанием, нетрудно найти
вероятность выхода частицы на выбранную сторону данного
угла прежде, чем на другую его сторону, при любом
начальном положении частицы. Рассмотрим какой-нибудь угол АОВ,
равный α (0 < α < 2π).
Пусть χ — произвольная
точка, принадлежащая этому
углу, и р(х)— вероятность,
отправляясь из точки х,
выйти из угла АОВ через
сторону ОВ (рис. 17).
Докажем, что вероятность/? (л;)
постоянна на каждом луче,
выходящем из точки О, и
равна отношению θ/α, где
θ — угол АОх. Это
утверждение очевидно при Θ,
равном 0 и а. Из сделанного выше замечания вытекает, что если
формула ρ (χ) = θ/α верна при θ = 0j и θ = θ2, то она верна и
ft —I— ft
при θ = 1 у 2 ; в самом деле, по формуле полных вероятно-
1 1 θ
стей для точек χ с θ=-2-(θ1 + θ2) имеем ρ (χ) = -*- —- -\-
Таким образом, последовательно
, 1 θ2 Τ<°'+θ'>
~г~ 2 α ~~ α
устанавливаем, что формула ρ(χ) = θ/α справедлива при
1 3
θ = α/2, затем при 0 = —α и θ = -^α, .... т. е. верна при
любом θ = ^-α (* = 0. 1, 2, 2п\ п=\, 2, 3, ...).
2я

72
ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. И
Произвольную точку χ угла ЛОВ при любом η можно
заключить между двумя лучами θι = — α и θ2 = ~Σ α.
Обозначая вероятности выхода из точки χ на каждый из этих
лучей через qx и q2 (ql-\-q2 = 1), можем написать
ρ (Χ) — ql—-^~q2 -_— — __(__ — _ _j_ __ #
При п->оо получаем отсюда, что
р(х)= lim (iL + |i.\= нга ii- = l.
Рассмотрим теперь момент τ первого выхода винеровской
траектории, начинающейся в верхней полуплоскости, на
ось χλ (рис. 18). Абсциссу точки л: (τ) обозначим через ξ.
х(хпхг)
Рис. 18.
При любом фиксированном у событие ξ <у означает, что
траектория выходит из развернутого угла ΝΜΡ с
вершиной в точке Μ (у, 0) на его сторону MP, Следовательно,
θ
РХ[1<У)=Т'
(29)
где θ — угол ΝΜχ. Через координаты χν χ2 точки χ этот
угол выражается формулой
θ = arctg
х2
Xi — У

§ 8] ВЕРОЯТНОСТНОЕ РЕШЕНИЕ УРАВНЕНИЯ ПУАССОНА 73
дифференцируя равенство (29) по у, найдем плотность
распределения точки ξ:
1 Х2
Ρ(χν х2\ у) =
π Х2 + (У— х02
Это плотность распределения Коши,
Зная плотность p(xv х2\ У), легко написать выражение
для гармонической в верхней полуплоскости функции f(x),
принимающей заданные значения φ (у) на оси χλ:
+ оо сю
/(*)= Г <p(y)/>(*i. x2;y)dy = ±- f *j№(y)dy (Щ
Пользуясь тем, что при конформном отображении
гармонические функции переходят в гармонические, можно из формулы (30),
получать решение задачи Дирихле для различных областей на
плоскости и, в частности, вывести формулу Пуассона, дающую
решение задачи Дирихле для круга.
Считая, что плоскость хь х2 — это плоскость комплексного
переменного ζ = х{ -f- /лг2, можем переписать формулу (30) в виде
сю
— сю
Верхняя полуплоскость х2 > 0 отображается в единичный круг
с помощью функции w = —χ^~· Делая это преобразование, после
некоторых выкладок получим, что гармоническая в круге | w \ < 1
функция и (w), принимающая на границе этого круга значения φ (у)
дается формулой
2π
о ' '
(интеграл Пуассона в комплексной записи).
§ 8. Вероятностное решение уравнения Пуассона
Обратимся, наконец, к вычислению среднего времени
т(х) = 1\хх до выхода траектории из области G. Покажем,
что при широких условиях функция т(х) является в
области G решением уравнения Пуассона
Д/я = —2, (31)

74 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
обращающимся на границе области в нуль. Ввиду аналогии
с задачей о вероятностях выхода, мы лишь кратко наметим
ход рассуждений.
Окружим начальную точку а кругом К радиуса р,
лежащим целиком в G (рис. 9), и разобьем время τ на два
слагаемых: время хк до первого выхода из К и время τ — %к,
которое требуется траектории, чтобы с окружности С достичь
границы L области G. Из строго марковского свойства легко
выводится, что
Μα (τ—хк) = j т (*) μ (<**)·
с
где μ — равномерное распределение на окружности С [ср.
вывод формулы (10) в § 4]. В § 2 мы видели, что Ματ^ =
= -^-р2. Следовательно,
т (а)'= j ρ2 + I rn (χ) μ (dx). (32)
с
Пусть область G ограничена. Тогда из результатов § 2
вытекает, что функция т(х) конечна. Непосредственная
проверка показывает, что уравнению (32) удовлетворяет
функция —γ х2= — у (*? + ·*!)· Значит, функция п(х) =
X2
— т(х)-\--сг- удовлетворяет уравнению
п(х)= J ηψ)μ№),
с
совпадающему с уравнением (10) для функции /(*) =
= ΙΑχφ(χ(χ)). Следовательно, функция η (χ) гармоническая
в области G. Так как ΔΙ — уд;2 = — 2, то среднее время
т (х) удовлетворяет внутри G уравнению (31). Для точек
границы области G, очевидно, т = 0. Поэтому можно
ожидать, что т(х) стремится к 0 при приближении χ к границе.
Это утверждение верно для регулярных точек границы и
доказывается методом, развитым в § 5.
Итак, для ограниченной области G с регулярной
границей функция т(х) является решением уравнения
Пуассона (31), обращающимся β нуль на границе. Известно,
что такое решение единственно.

§9]
ЙНФИНИТЕЗИМАЛЬНЫЙ ОПЕРАТОР
75
В случае неограниченной области G с регулярной
границей L можно показать, повторяя рассуждение § 7 с
расширяющимся кругом, что т(х) является минимальным среди
положительных решений уравнения (31) в области G,
обращающихся на L в нуль, если такие решения существуют.
§ 9· Инфинитезимальный и характеристический
операторы *)
Мы обнаружили тесную связь между винеровским про-
цессом x(t) и оператором Лапласа Δ= V—~~. Постараемся
глубже разобраться в характере этой связи.
Начнем с примеров. Пусть некоторое явление описывается
функцией χ (t), где t меняется в интервале (а, Ь). Существует
необозримое множество различных вариантов течения такого
процесса. Однако если мы интересуемся только приращением
функции χ (t) в течение малого промежутка времени (t0,
^0-|-Δ^) и готовы пренебречь бесконечно малыми высшего
порядка (относительно Δ^), то мы можем вместо χ (t) — x(t0)
рассматривать линейную функцию х' (t0) (t —10), которая
задается одним числом х' (t0). Это число полностью
определяется поведением χ (t) в сколь угодно малой окрестности t0
и является поэтому инфинитезимальной характеристикой
нашего процесса в момент t0. Фундаментальную важность
имеет тот факт, что явление в целом можно восстановить,
зная такие инфинитезимальные характеристики при всех t.
Рассмотрим далее на плоскости стационарный
(неизменный во времени) плавный поток жидкости. Плоскость
заполняется траекториями частиц жидкости, причем из каждой
точки выходит только одна траектория (рис. 19). Зная
положение частицы в некоторый момент времени, мы можем
так же хорошо предсказать ее будущий путь, как если бы
знали всю предшествующую траекторию частицы. (С этим
свойством мы уже сталкивались, изучая винеровский процесс,
и называли его марковским свойством.) Инфинитезимальной
характеристикой нашего потока служит поле скоростей
*) Более подробное изложение вопросов, затронутых в этом
параграфе, читатель найдет в [4].

76 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
(векторное поле, которое получается, если в каждую точку
плоскости поместить вектор скорости в данной точке). Иногда,
впрочем, удобнее вместо поля скоростей рассмотреть
отвечающий ему оператор А,
который получается следующим
образом. Пусть χ (t) —
траектория частицы, находящейся
в момент /=0 в данной
точке х. Будем следить за
изменением вдоль траектории не
только координат χλ (t) и x2(t)9
а произвольной (гладкой)
функции f(x) = f(xv x2). Спустя
время t частица из χ придет
в точку χ (t) и функция / (х (0)
получит приращение / (х (t)) —
—/(*(0)) = /(*(0)-/(*)-
Стало быть, скорость Af (x)
траектории в точке χ равна
изменения функции / вдоль
lim
t dt ~
df ^ dxx df dx,
dxi ' dt ' dx2
df
-7ΓΓ = νΐΤ77 + ν'
dxi
df
dx2
(33)
где vx и v2 — проекции вектора скорости ν на оси χγ и х2
в данной точке χ и производные берутся в этой же точке.
Оператор Α =τ>1-τ \~v2~a— называется инфинитезимальным
оператором процесса. Очевидно, задание А равносильно
заданию вектора ckopqcth v. Решая уравнение
У—Af
dt ~AJ
при различных начальных условиях, можно по А
восстановить изменение во времени любой (гладкой) функции /,
а значит, и весь поток в целом.
Попробуем с этой точки зрения подойти к винеровскому
процессу. Для винеровского процесса смещение у (t) = χ (t) —
— x(0)=x(t) — х частицы за время t является случайным

§ 9] ИНФИНИТЕЗИМАЛЬНЫЙ ОПЕРАТОР 77
и имеет (на плоскости) плотность вероятности
2 2
[см. формулу (3)]. Поэтому и отношение /
является случайной величиной, а его предел, вообще говоря,
с вероятностью 1 не существует (см. задачи). Таким
образом, буквальное перенесение предыдущих рассуждений на
винеровский процесс, приводящее к понятию случайной
скорости и случайного оператора Л, не имеет смысла.
Положение меняется, если случайную величину -r[f{x(t)) — /(χ)]
заменить ее математическим ожиданием. Тогда мы приходим
к инфинитезимальному оператору винеровского процесса *)
= lim
ί->0
Л+А
с» с»
ι Γ Γ ~'1"2
Ш J J /(*ι+3Ί· ^г + Уг)* 2' ^1^2 —
— OO — OO
— /(*i. *2)]. (34)
Во многих случаях удобнее другой предельный переход:
не по времени, а по пространству. Вернемся к примеру со
стационарным плоским потоком жидкости. Фиксируем
окрестность U точки χ и рассмотрим положение частицы в момент τ
ее первого выхода из U (рис. 19). Это определенная
точка л: (τ) на границе U. Стало быть, за время τ функция
*) Чтобы полностью задать инфинитезимальный оператор А
нужно указать его область определения D . Пусть С обозначает
множество непрерывных ограниченных функций. Полагая f£D.t
если /ζ С, А/£ С и -j- [Mxf (x (*)) — / (x)] сходится к А/(х)
равномерно по х, получим так называемый сильный
инфинитезимальный оператор А. Если включить в DА все функции /£ С, для
которых А/£С, предел существует в каждой точке и величина
γ [Mxf (х (t)) — f(x)\ ограничена при всех χ и t > 0, то получим
слабый инфинитезимальный оператор А.

78 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ: II
f(x(t)) получает приращение f(x (τ)) — f(x)· Стягивая
окрестность U к точке х, мы получим, что скорость
изменения функции / в точке χ может быть определена, как
причем этот предел, очевидно, совпадает с пределом,
найденным в формуле (33). В случае винеровского процесса момент
первого выхода из U уже случаен. Положение частицы
в момент τ также случайно. Беря, как и при построении
оператора А математические ожидания случайных величин и
стягивая U к х, придем к оператору
Я/(х) = Пп, Μ*/(*(τ))-/(*) f
который называется характеристическим оператором
процесса *). Если U — круг радиуса ρ с центром в точке х, то,
как мы знаем,
Μ,/(*(τ))= \ f(y)\i(dy)> (36)
с
где μ — равномерное распределение на границе С круга U', a
М^т = ур2.
Как было показано в конце § 4, интеграл (36) равен
где | α | <; &р3 (функция / предполагается достаточно гладкой).
Подставляя эти значения в формулу (35), получим
™-£(3 + {£)-ίΔ/(* (37,
*) К области определения D3l характеристического оператора Ж
относят все функции /, для которых предел (35) существует и
конечен в каждой точке х. Иногда удобнее бывает сузить D?i,
потребовав дополнительно, чтобы / и 2Т/ были непрерывны и
ограничены.

§ 9] ИНФИНИТЕЗИМАЛЬНЫИ ОПЕРАТОР 79
Более тонкий анализ показывает, что предел (35) существует
и равен -^ Δ/ для дважды непрерывно дифференцируемых
функций / и окрестностей U произвольной формы.
Итак, характеристический оператор винеровского
процесса, описывающий поведение процесса вблизи данной
точки, совпадает, с точностью до постоянного
множителя, с оператором Лапласа *).
Если вычислить предел в формуле (34), то окажется, что
он также равен -^-Δ/(λ;). Это совпадение не случайно.
Доказано, что оно имеет место для весьма широкого класса
марковских процессов.
Мы видели, что изучение вероятностных свойств
винеровского процесса тесно связано с исследованием оператора
Лапласа Δ. Естественно спросить, для каких
дифференциальных операторов, кроме оператора Лапласа, может быть
построена аналогичная теория. Иными словами, какие
дифференциальные операторы являются характеристическими (инфи-
нитезимальными) операторами марковских процессов?
Пусть χ (0= {*ι (О» *2(0} -винеровский процесс на
плоскости, и пусть
У ι (0 = *ι (0) + с п [х, (0 - хх (0)] +
+ cl2[x2(t) — x2(0)]-\-b1t,
У2 (0 = *2 (0) + с21 [х, (0 — хх (0)] +
+ c22[x2(t) — *2(0)] + *2f.
где Cij и Ъь — произвольные действительные постоянные.
Тогда можно показать, что характеристический (инфинитези-
мальный) оператор процесса у (0= {>Ί(0. Уг(0} совпадает
с дифференциальным оператором
1 Г ^2 $2 $2
(38)
дхх дх2 дх\
где
а\\ αΐ2\ I си сп
а2\ #221 \ С2\ ^22 / V С\2
♦-»'£-
«")■
с22 1
Ь*2 —·
дх2
(39)
(40)
*) При этом оператор 5С рассматривается лишь на дважды
непрерывно дифференцируемых функциях,

80 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
Предположим теперь, что с^ и bl являются гладкими *)
функциями от х. Используя более сложный аппарат, удается
и в этом случае построить марковский процесс, для которого
характеристический оператор (на дважды непрерывно
дифференцируемых функциях) задается формулой (39). Такой
процесс называется диффузионным процессом с
производящим оператором L. Стационарный поток жидкости, который
рассматривался в начале этого параграфа, можно также
истолковать как частный случай диффузионного процесса
(при а1} = 0).
Легко видеть, что матрица {#/у}, определенная
формулой (40), симметрична и удовлетворяет условию
αΐ1^1 + 2αΐ2^1^2+α22^2^° ДЛЯ ЛюбыХ \* \·
Если выполнено более сильное условие
αηλ\ + 2α12λχλ2 + а22%\ > 0 при λ\ + λ2? > 0,
то оператор L называется эллиптическим. Вероятностная
теория оператора Лапласа, построенная в этой главе,
распространяется на произвольные эллиптические
дифференциальные операторы с достаточно гладкими коэффициентами.
ЗАДАЧИ
Уравнение Колмогорова — Чепмена
1. Проверить, что плотность p(t, у), заданная
формулой (3), удовлетворяет уравнению
P(t + s> У)= j P(t% x)p(s, y — x)dx
R
при любых s, t > 0, у £R. Вывести это уравнение из
вероятностных соображений.
Указание. Представить приращение x(t-\-s)—л;(0)
в виде [x(s) — x(0)]-)-[x(t + s) — x(s)].
*) В действительности достаточно, чтобы коэффициенты были
непрерывны по Гёльдеру.

ЗАДАЧИ
81
Вероятности выхода и среднее время выхода
в одномерном случае
В задачах 2—6 ρ (а; х) и q(a; x) обозначают
вероятности того, что винеровская частица, начавшая движение
в точке χ £ [0, а], в момент первого выхода из интервала (0, а)
будет находиться соответственно на его правом или левом
конце, а т(а; х) — среднее время, нужное такой частице до
выхода из интервала (0, а). Решения этих задач не
опираются на общие результаты §§ 4—8.
2. Точки графика функции ρ (а; х), отвечающие
равноотстоящим значениям 0 = χλ < х2 < ... < хп = а,
лежат на одной прямой.
Указание. Ср. рассуждение из § 1 гл. I.
3. Функция ρ (а, х) монотонна по х.
Указание. При 0<Сх<у<Са имеем р (а; х) =
= р (у; χ) ρ (я; у)-
4. ρ (а; *) = ^> Я{а\ Х) = ^Г~^
5. Зная, что т \а\ γ) = сх (у) (см. § 2), вывести
формулу т{а\ x) = cYx(a—χ)-
Указание. Считая, что χ < -о-, выпустить траек-
а
торию из точки уи от среднего времени до выхода из
(О, а) отнять среднее время до выхода из (х, а — х).
6. Вероятность попадания частицы из точки χ Φ О
в точку 0 равна 1, а среднее время до попадания в О
бесконечно.
Указание. В задачах 4 и б перейти к пределу
при а->оо.
Одномерные винеровские процессы с отражением
и поглощением
Если те участки траектории винеровского процесса x(t)
на прямой, на которых x(t) < α, симметрично отразить
относительно точки а, оставив участки траектории с x(t)^a
неизменными, то на луче [а, +со) получится винеровский
процесс y{t) с отражением слева в точке а. Аналогично
определяется отражение в точке а справа. При а < Ъ траекторию,
б Е. Б. Дынкин, А. А. Юшкевич

82 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
начинающуюся в точке χ £[а, Ь], можно сперва
отразить слева в точке а, получившуюся траекторию отразить
справа в точке Ъ, получившуюся после этого траекторию
снова отразить слева в точке а, затем получившуюся
траекторию опять отразить справа в точке Ъ и т. д. до
бесконечности. В результате получится винеровский процесс y(t) на
отрезке [а, Ь] с отражением в точках а и Ь. Если после
первого попадания винеровской траектории в точку а (в одну
из точек а или Ь) частица навсегда остается в этой точке,
то получается винеровский процесс z(t) с поглощением
в точке а (в точках а и Ь).
Если частица, выходящая из х, попадет через время t > О
в любой интервал Г, не содержащий поглощающих граничных
точек, с вероятностью P(t, χ, Γ), равной
P(t, χ, Γ)= Jp(/, χ, y)dy,
то функция p(t, χ, у) называется переходной плотностью
процесса. Для винеровского процесса на всей прямой
переходная плотность дается формулой
ι (-г-у)2
p{t*x'y)=vme " (41)
(см. § 1).
7. Переходная плотность винеровского процесса
с отражением слева в нуле равна
ι Г {у~х)2 (у+х)21
p(t>x>y)=vk[e~ 2t +e~ 2i J
(X У>0).
Указание. Для любого промежутка Г £ [0, +оо)
имеем {у(0€г) = {^(0€гиГ/}, где Г' получается
из Г отражением в нуле.
8. Переходная плотность винеровского процесса
с отражением слева в точке 0 и справа в точке а равна
Ί ^ι Γ (У--У+2/Ш)2 (у+х+2па)*Л
(*. У6Ю. а)).

ЗАДАЧИ
83
Указание. Рассуждая, как в предыдущей задаче,
получим для Px{y(t)£T} представление в виде ряда
из интегралов от переходной плотности (41). Замена
переменных позволяет все интегрирования свести к
одному промежутку Г, после чего, пользуясь
положительностью всех подынтегральных функций, можно поменять
порядок суммирования и интегрирования.
При вычислении переходной плотности для винеровского
процесса с поглощением используется следующее интуитивно
очевидное утверждение: если τ — марковский момент, для
которого х\х) = а, и μ—распределение случайного момента τ,
то для любого />0 и любого промежутка Г
t
Ρ*{τ<*. *(0€Г} = \ P(t — s, а, Г) μ (Л). (42)
о
Это утверждение сродни строго марковскому свойству и может
быть аккуратно доказано.
9. Если точка χ и промежуток Г расположены по
одну сторону от нуля их — момент первого попадания
в нуль, то
Ρ,{τ<*. *(0€Γ} = Ρ(*. -х.Г).
Указание. При начальном состоянии — χ события
{τ<;Λ x(t)£T] и [x(t)£T] совпадают. Дальше
воспользоваться формулой (42).
10. Переходная плотность винеровского процесса z(t)
на луче [0, +оо) с поглощением в нуле равна
(χ, у > 0).
Указание. В обозначениях предыдущей задачи
(промежуток Г не содержит нуля).
6*

84 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. И
11. При начальном состоянии χ > О момент τ
первого попадания в нуль распределен с плотностью
р(х, f) = y^e-W (ί>0). (43)
Указание. В обозначениях задачи 9
сю
Ρχ{τ<<} = Ρχ {*(<) = <>} = 1-J p{t, x.y)dy.
О
В полученном интеграле сделать подстановки у ± χ =
= j/*2/# и дифференцировать по t.
С помощью формулы (43) можно посредством
интегрирования заново получить результаты задачи 6.
12. Пусть τ0 — момент первого попадания χ (t)
в нуль, σχ — момент первого после τ0 попадания в а > О,
хх— момент первого после аг попадания в нуль, σ2—
момент первого после χλ попадания в α и т. д. При
начальном состоянии л;> О момент хп распределен так же,
как момент первого попадания из точки — 2 па — χ
в нуль, а момент оп — как момент первого попадания
из 2па-\-х в а.
Указание. Все разности ai+l — xluxl — о1 взаимно
независимы и каждая из них имеет такое же
распределение, как время, необходимое для смещения частицы
на а единиц вправо (или влево). Случайная величина τ0
не зависит от этих разностей и распределена, как время,
необходимое для смещения частицы на χ единиц вправо
(или влево). Поэтому, не нарушая распределения суммы
τΛ = τ0 + (σ1 — τ0) + (τ1 — σχ)+ ··· +(*л — <*„) или
аналогичной суммы для σΛ, можно считать, что все
смещения направлены в одну сторону.
13. Если τ0, alt xlf σ2, τ2, . . . —последовательность
случайных моментов из задачи 12 и р0, πν plt π2,
р2, ... — аналогичная последовательность моментов
попадания в точки α и 0, начинающаяся с момента
первого попадания в а, то
{xn<t и ρΛ<*} = {σΛ+1</ или πΛ+1</},
{σΛ</ и ля</} = {тя</ или рл<*}.

ЗАДАЧИ
85
14. В обозначениях задач 12 и 13 для любого
события Л
Рл-И' (τ0<* или Ро<0} =
- Σ [Ρχ Μ. σ„ < ί} + Ρχ Μ. π„ < ί)].
λ = 1
Указание. Пользуясь результатом предыдущей
задачи, η раз применить формулу Ρ {В[)С} =Р [В}-{-
—|— Ρ {С} — Ρ {В П С) и устремить η к бесконечности.
Предельный переход законен, так как из-за
непрерывности траектории за конечное время возможно лишь
конечное число переходов из 0 в а, и, значит,
вероятности ΡΛ·{τΛ</} и ΡΛ·{σΛ</} стремятся к 0.
16. Переходная плотность винеровского процесса z(f)
с поглощением в точках 0 и α равна
p(t, χ. у) =
00 г (у-х+2па)* (у+х+2па)* Ί
-τη· Σ L«" * —' " J <«>
Λ»-00
(χ, у 6(0. α)).
Указание. Имеем
РжИ0€П = Р.Л*(0€Г. τ0>ί. Ро>;}
(промежуток Г не содержит точек 0 и а). Затем нужно
последовательно использовать задачу 14, формулу (42),
задачу 12 и аналогичный результат для моментов р^
и πΛ, указание к задаче 9 (сформулированный в этом
указании результат переносится на случай, когда
начальная точка и множество Г разграничены не нулем, а
точкой а). В выражении для Рх [z (t) £ Γ} можно поменять
порядок суммирования и интегрирования, так как ряд (44)
при любых t > 0, 0 < χ < α, сходится равномерно по у.
16. При начальном состоянии л;£(0, а) момент τ
первого выхода из интервала (0, а) распределен

86 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
С ПЛОТНОСТЬЮ
00 Г (х+2па)2
р(х, 0 = у==- 2 [{х + 2па)е- 2< +
Л=-СО
(2ηα+α-χ)*Ί
-\-(2па + а — х)е 2t J. (45)
В частности,
ρ (|,ί )=_« 2(-1)*(2А+1)Г 8< (46)
(* > 0).
Указание. Ср. задачу 11. Почленное
дифференцирование по t возможно, так как ряд (45) сходится
равномерно при t ^ t0 > 0.
Вычисление констант ct
С помощью формулы (46) можно аналитическим путем
найти среднее время до выхода частицы из интервала и таким
образом определить значение константы сх (см. конец § 2).
Зная cv нетрудно вычислить с1 при любом /. Однако
непосредственно подсчитать
/*(!·')
dt
с помощью почленного интегрирования нельзя, так как каждый
из интегралов-слагаемых расходится.
17· Пользуясь известным интегралом *)
со
Г е-**-Я*dx = \W'lLe-*v°fi (α, β> 0),
о
вычислить
со
[ **-λ/ρ(γ. t}dt (λ>0),
о
где плотность ρ задана формулой (46).
*) См. Г. М. Фихте н голь ц, Курс дифференциального и
интегрального исчисления, т. II, п. 460, Гостехиздат, М. — Л., 1948.

ЗАДАЧИ
87
Ответ.
18. Среднее время до попадания винеровской
траектории на прямой из точки -ψ в одну из точек 0 или а
равно —т-, и, стало быть, с1=\.
19. Среднее время до выхода винеровской частицы
на плоскости из центра окружности радиуса г на са\:у
эту окружность равно г2/2, и, стало быть, с2=1/2.
Указание. Пусть χλ — момент первого выхода χ(t)
на окружность х\-\-х\ = г2 и τ2 — момент первого
выхода χ (t) на одну из прямых хх = ± г.
Тогда
Μ0χι = Μ0τ2 — М0 (τ2 — τ^ = Μ0τ2 — Μμτ2,
где μ — равномерное распределение на окружности х\-\-
-]~χ2 = г2. Поскольку координата хг (t) представляет
собой одномерный винеровский процесс, для
вычисления M^t2 можно воспользоваться задачами б и 18.
20. Обобщив рассуждения задачи 19 на /-мерный
случай, убедиться, что с1=\/1.
Указание. Как и в задаче 19, дело сводится
к осреднению величины χλ (2г — х{) по (/—1)-мерной
сфере. Это среднее легко вычислить, например, с помощью
приема, примененного в конце § 4.
Недифференцируемость винеровской траектории
Достаточно рассмотреть винеровский процесс на прямой.
21. Пусть каждому t из промежутка (0, Г), Τ > 0,
соответствует интервал Г, на оси х. Если
Ρο{*(0€Γ,}>ε>0 при 0<*<7\
то для траектории x(t), выходящей из нуля, с
вероятностью 1 найдутся сколь угодно близкие к 0
положительные моменты t такие, что x(t)£Ft.
Указание. Использовать закон нуля или единицы.

88 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
22. Отношение
*(*)-*(0)
t
с вероятностью 1 принимает все действительные
значения в любом интервале 0 < t < ε (ε > 0).
Указание. Применить предыдущую задачу к
интервалам
Г, = (У7, + оо) и Г, = ( — оо,— ΥΤ).
Необходимые и достаточные условия регулярности
В § 5 мы видели, что достаточным условием регулярности
граничной точки а является равенство
P«W=0} = 1 (47)
(σ — момент первого после нуля выхода из области G), а
необходимым условием — равенство
ИтМл>(*(т)) = <р(а) (48)
х->а
для любой непрерывной в точке а ограниченной функции φ,
заданной на границе области (τ — момент первого выхода из G).
В задачах 23—26 доказывается, что оба эти условия
необходимы и достаточны. Для этого из равенства (47) выводится
формула (48). Все рассуждения справедливы в пространстве
любого числа измерений / ^ 2, но для большей наглядности
рассматривается случай 1 = 2.
23. Траектория x(t), начинающаяся в точке а, с
вероятностью 1 ни разу не попадет в а при t > 0.
Указание. Рассмотреть сперва промежуток
времени [έ0, + оо), где £0>0, и учесть, что вероятность
когда-либо попасть из л: в α равна 0 при χ Φ а.
24. Если Ρα{σ = 0} = 0, то найдется круг К
положительного радиуса с центром в точке а, для которого
РаИ*)€К}<4·
Указание. Ра [χ (σ) £ Κ) стремится к Ρβ {л: (σ) = а)
при стягивании круга К к точке а.

ЗАДАЧИ
89
25. В условиях предыдущей задачи на любой
окружности С, лежащей внутри круга К и охватывающей точку
а, найдется точка х, для которой
Ρ*{*(τ)€*}<4·.
Указание. Если μ — распределение в момент
первого попадания из точки а на окружность С, то
Pfl [х (σ) 6 *} > J Ρ, {* (τ) 6 Κ} μ (<**)·
с
26. Если Ρα{σ = 0}<1, то найдется непрерывная
ограниченная функция φ, для которой нарушается
равенство (48).
Указание. В силу закона нуля или единицы
Ρβ{σ = 0}=0.
и достаточно взять функцию φ, равную 0 вне круга К*
не превосходящую 1 внутри К и равную 1 в точке а.
Усиление достаточного признака регулярности
27. Если граничной точки а плоской области G можно
коснуться извне области концом отрезка, то точка а
регулярна.
Указание. Использовать закон нуля или единицы.
Если бы вероятность пересечения за сколь угодно малое
положительное время луча, проведенного из точки лг(0),
равнялась 0, то с вероятностью 1 траектория какое-то
положительное время находилась бы по одну сторону
от прямой л;2 = л;2(0).
28. Если граничной точки а трехмерной области G
можно коснуться извне области вершиной треугольника,
то точка а регулярна.
29. Найти ошибку в следующем рассуждении.
Вероятность события ЛГ= {траектория x(t) на плоскости
попадет в круг Кг радиуса г с центром в точке О}, равна
1 при любом г > 0, и эти события вложены друг в друга.
Переходя к пределу при г \ 0, получаем, что с
вероятностью 1 траектория побывает в точке 0.

90 ВЕРОЯТНОСТНОЕ РЕШЕНИЕ НЕКОТОРЫХ УРАВНЕНИЙ [ГЛ. II
Среднее время до выхода из области
В задачах 30—33 т{х) обозначает среднее время до
выхода из точки χ за пределы плоской области G, а —
регулярную точку границы области G.
30. Если область G ограничена, то и функция т (х)
ограничена.
31. Если область G ограничена, то т(х)->0 при
х->а.
Указание. Ρ^.{τ>ε}->0 при х-+а и
ηι(χ)<ζ.ε-\-Ρχ (τ > ε} . sup m(x)
X
(τ — момент первого выхода из области G).
32. Среднее время до выхода из круга К равно
половине произведения максимального и минимального
расстояний от начальной точки χ £ К до окружности этого
круга (ср. задачу б).
33. Если т(х) = оо хотя бы в одной точке, то
т(х) = оо во всей области G.
Указание. Из интеграла Пуассона (см. § 7)
следует, что для любой окружности CdG и любых точек
xt у, расположенных внутри С, найдется такая
положительная постоянная с, что
μ, (Г) = Ру {χ (τ) £ Г} > сРх {χ (τ) ζ Γ} = c\ix (Г),
где τ — момент первого попадания траектории на С,
а Г — любая дуга этой окружности. Поэтому
т (у) = Мут+ J m (z) μy (dz) >c j т (ζ) μχ (dz) =
с с
= с[т(х)— Mjpt],
где Μ^τ < оо.

ГЛАВА. Ill
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
§ 1. Задача о наилучшем выборе
Начнем со следующей задачи. Пусть мы в случайном
порядке знакомимся с η объектами и хотим выбрать среди
этих объектов наилучший. После ознакомления с очередным
объектом мы должны либо остановить на нем свой выбор,
либо отвергнуть его; вернуться к ранее отвергнутому
объекту нельзя.
Последнее условие является, конечно, ограничением,
которое не всегда естественно. Оно естественно, например, если
речь идет об автотуристе, желающем остановиться в самой
комфортабельной или самой дешевой из расположенных вдоль
шоссе гостиниц, но не намерен возвращаться обратно
(предполагается, что путешественнику известно число гостиниц, но
заранее неизвестно их качество). Или можно представить себе
разборчивую невесту, которая хочет остановить свой выбор
непременно на наилучшем из всех сватающихся к ней
женихов. При этой второй интерпретации наше предположение о
невозможности вернуться к отвергнутому объекту опять-таки
достаточно оправдано. Напротив, условие, что выбирающему
наперед известно общее число объектов я, выглядит здесь
довольно искусственным.
Уточним постановку задачи. Имеется η объектов, которые
упорядочены определенным образом по качеству. Можно
представить себе, например, что эти объекты изображаются
точками прямой, причем лучшим объектам соответствуют более
правые точки. Обозначим через ах объект, с которым мы
знакомимся вначале. Так как знакомство с объектами
происходит в случайном порядке, то с одинаковыми вероятностями
точкой а, может оказаться любая из имеющихся η точек.

92
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
Точно так же вторая точка а2 может быть с равными
вероятностями любой из оставшихся η—1 точек. Продолжая
нумеровать объекты в том порядке, как мы знакомимся с ними,
придем в конце концов к некоторому набору at , at , . . ., α,- ,
причем любая из мыслимых п\ перестановок появится с
одинаковой вероятностью. Эта перестановка становится известной
постепенно: после второго испытания мы знаем только
относительное расположение ах и αν после &-го испытания —
относительное расположение ах, а2, ...,ak (читатель может
представить себе, что одна за другой вспыхивают лампочки в
точках av а2, . .., αΛ, .. ., ап). Задача состоит в том, чтобы
распознать самую правую из всех η точек в тот момент, как
она впервые появляется. Требуется указать метод, приводящий
к такому результату с максимальной вероятностью.
Чтобы лучше понять задачу, рассмотрим простейшие
способы выбора· Можно, например, остановиться на первой же
точке αν Очевидно, вероятность угадать самую правую точку
равна при этом \\п (и, значит, стремится к 0 при /г->со).
Тот же результат получится, если остановиться на а2 или
на а3 и т. д.
На первый взгляд может показаться, что вообще при
любой системе выбора вероятность успеха будет стремиться к О
при /г->со. На самом деле это не так. Допустим для
простоты, что число точек η четное. Предположим, что мы
пропускаем первые /г/2 точек, а затем выбираем первую точку,
которая окажется правее всех предыдущих. При такой
стратегии мы наверняка добьемся цели, если наилучший объект
окажется во второй половине последовательности αν . . ., αΛ,
а второй по качеству объект—в первой ее половине.
Вероятность подобной расстановки двух лучших объектов равна
л/2 /г/2 _ 1 0 л
—— · —^—=- >-т-. Значит, при сколь угодно большом четном
η существует стратегия, обеспечивающая успех с вероятностью,
большей 1/4.
Пусть уже известно расположение на прямой точек αν ...
.. ., ak (см. рис. 20, где & = 4). Определим, с какой
вероятностью следующая точка ak+l попадет в каждый из k-\-1
интервалов, на которые точки av . . ., ak разбивают прямую.
Попаданию ak+l в фиксированный интервал соответствует
определенная перестановка k-\-\ точек av ..., ak, ak+l. Так как
все точки равноправны, то вероятность любой такой пере-

§ 1] ЗАДАЧА О НАИЛУЧШЕМ ВЫБОРЕ 93
становки обратна числу всех перестановок из k-\-\
элементов и равна (. , П1 . Аналогично вероятность перестановки
точек av . .., ak, отвечающей данному их расположению на
прямой, равна -rj-. Следовательно, условная вероятность
попадания точки ял+1 в любой из k-\-\ интервалов при
условии, что известно взаимное расположение точек яр .... ял,
ρ =7/5 ρ=7/5 ρ=7/5 ρ =7/5 ρ=7 15
-00 — 1 1 1 1 +00
аг α, α< α.
Рис. 20.
1 1 1
равна йи\\\\ : ~ьГ =ίγίγτ » как °ы ни расположились точки
яр .... ял. Итак, очередная наблюдаемая тонка с
равными вероятностями окажется в любом из интервалов,
на которые разбивают прямую уже имеющиеся точки,
независимо от того, в какой последовательности
появились эти тонки.
Если очередная точка ak оказывается левее какой-либо
ранее появившейся точки, то она заведомо не является
крайней правой. Таким образом, выбирать нужно только среди тех
точек ял, которые располагаются правее всех предыдущих
точек яр . . ., ak_v Будем называть такие точки
максимальными. Ясно, что точка ах всегда максимальна, так же как
максимальна самая правая из всех точек яр ..., ап. Эта
искомая точка является последней по счету максимальной точкой.
Когда появляется очередная максимальная точка ял,
нужно принимать решение: останавливаться на этой точке или
ждать дальше. При этом известно взаимное расположение
точек #р ..., ял, среди которых ak находится правее всех.
Так как теперь выбирать можно только среди точек ял,
ak+l, . .., ял, то решение может зависеть лишь от
прогноза относительно взаимного расположения точек ял, ak+v .. .
. .., ап. Ничто, кроме условных вероятностей различных
перестановок точек ak, ak+l, . .., ап при условии, что известны
точки Яр .... ял, не может влиять на это решение. Покажем,
что интересующие нас условные вероятности в действительности

94
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
зависят только от номера k и на них никак не влияет
взаимное расположение точек а{, ..., ак_х. Тем самым мы
установим, что при появлении максимальной тонки ak
следует принимать то или иное решение лишь на основа-
рии номера k этой точки (учитывая, конечно, число η
всех точек).
Точки αν ..., ап занумерованы в порядке их появления
на прямой. Перенумеруем появившиеся уже точки αν . . ., ak
в порядке их расположения на прямой слева направо: Av . . ., Ak.
Поскольку точка ak максимальна, то ak совпадает с Ak
(рис. 21). Задание взаимного расположения точек av ..., ak
о< а, а3 q2 o5
I I 1 ■ I ■ ■ I >*
А, Аг А3 А4 Αξ
Рис. 21.
равносильно заданию порядка появления точек Αν ..., Аг
Независимость любой перестановки точек Ak, ак+1, . .., αη
от того, в какой последовательности появились точки Αν ...
...,Ak_v будет установлена, если мы обнаружим, что от
порядка появления точек Αν . . ., Ак_х не зависят более мелкие
события, а именно не только взаимное расположение точек Ak,
ak-\\> ···» ап> но и их расположение по отношению к
точкам Av ..., Ak_x. Последний факт вытекает из того, что,
как мы установили раньше, каждая очередная точка с
равными вероятностями попадает в любой из интервалов, на
которые разбивают прямую предыдущие точки. Именно, точка ak+l
с вероятностью , , « попадает в любой из интервалов (— оо,
А{), (Av Л2), .... (Ak, +00) независимо от порядка
появления точек Av ..., Ak_v точка ak+2 с вероятностью 2
попадет на любой из интервалов, образованных точками
Av .... Ak и ak+i, независимо от порядка появления точек
Av ...» Ak_x и т. д. Перемножая эти вероятности,
получим, что вероятность любой перестановки точек Ах Лл,
ak+\> · · ·» ап (совместимой с естественным порядком точек
Av ..., Ak) равна
1 1 J_
k+l' k+2'"n

§ Π
ЗАДАЧА О НАИЛУЧШЕМ ВЫБОРЕ
95
независимо от порядка появления точек Av .... Ak_v Наше
утверждение доказано.
Пусть, например, /г =10 и точки αν ..., α10
расположились, как на рис. 22. Тогда максимальными точками будут
αν аз» ав и α8· При появлении точки ах нужно принять
решение, учитывая лишь, что ее номер равен 1, при
появлении точки а3— принять решение, учитывая лишь, что ее номер
равен 3 (конечно, если мы не остановились раньше), и т. д.
Итак, чтобы принять оптимальное решение *), достаточно
следить только за номерами максимальных точек. Обозначим
эти номера в порядке возрастания через л:(0), *(1), *(2), . . .
as o? а+ а2 а, а, а6 а/0 а9 о8
- ■■>■ · ■ ■ ■ · I I \ ■ ■ Ι 1 μι | , | ■ >»
Рис. 22.
Как уже отмечалось, л;(0)=1. Номера *(1), х(2), ...
случайны, так же как случайно и число этих номеров. Ни один
из этих номеров не превосходит /г. Последний (самый
больший) из номеров x(i) является номером самой правой точки
αΛ, и его необходимо угадать с максимальной возможной
вероятностью. Процедура угадывания состоит в том, что при
появлении очередной случайной величины χ{ί) нужно только
на основании ее значения либо объявить, что это χ (ι) —
последнее, либо ждать дальше. (В частности, для оптимального
выбора не требуется знать, ни каковы были предыдущие
номера максимальных точек х(0), ..., х(1—1), ни сколько
было этих номеров).
Чтобы полностью перевести задачу на язык
последовательности [x(i)}> нам остается еще найти вероятностный закон
этой случайной последовательности. Прежде всего покажем,
что случайные величины л; (0), л:(1), ... образуют цепь
Маркова. Это означает, что условная вероятность события
x(i-\- 1)= / при условии, что известны значения всех
предыдущих случайных величин χ (0), . . ., χ (/), в действительности
зависит только от значения &, принятого непосредственно
*) Так как существует лишь конечное число вариантов выбора,
среди них заведомо найдется оптимальный.

96 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ (ГЛ. III
предшествующей величиной χ (/)*). В самом деле, пусть
известно, что л:(0) = 1, х(\) = Ь, . . ., x(J) = k. Это равносильно
утверждению, что среди точек av а2, . . ., ak максимальными
являются точки av ab, . .., ak. Иными словами, известно,
что точка ak максимальна, а также нечто о взаимном
расположении точек av а2, ..., cik_v Событие χ(ί-\-\)=1 при
этом означает, что точки ak+v ..., αι_ι расположены левее
ak, а точка at — правее ak. Следовательно, если известно, что
л;(0)=1, х(\) = Ь, ..., x(i)=k, то событие χ{ί-{-\)=1
можно описать в терминах взаимного расположения точек ak,
ak+v · · ·· al· · · ·» αη· ^° выше мы установили, что если
точка ak максимальна, то условная вероятность любого
события, относящегося к взаимному расположению точек akt . . ., αΛ,
при условии, что известно нечто о взаимном расположении
точек αν а2, · · ·, ak_v на самом деле зависит только от числа k.
Итак, условная вероятность
Р{х(1-\-\)=1/х(0)=\1 х(\) = Ь *(/) = *},
кроме /, зависит лишь от k (а также, быть может, от числа η
всех точек). Она называется переходной вероятностью цепи
Маркова и обозначается через ρ (k, I).
Рис. 23.
Величины λ;(0), χ (Ι), .. . принимают значения 1, 2, .. ., п.
Этот набор значений (его называют фазовым пространством)
удобно представлять себе в виде точек, по которым
перемещается блуждающая частица (рис. 23). В начальный момент
частица находится в точке 1, затем перескакивает в точку j
*) Точнее, это есть определение однородной цепи Маркова.
В общем, неоднородном, случае названная условная вероятность
зависит еще от момента времени /. Неоднородные цепи Маркова
в этой книге не рассматриваются.

§ И
ЗАДАЧА О НАИЛУЧШЕМ ВЫБОРЕ
97
с вероятностью p(l, у). Вообще, если частица оказалась
в какой-то момент в точке k, то следующим шагом она
с вероятностью ρ (k, I) переходит в точку / независимо от
того, как она блуждала до попадания в точку k. В нашем
случае 2 Ρ (к* 0 может оказаться меньше 1. Естественно
истолковать разность 1—2(&» 0 как вероятность исчезно-
вения частицы. Переход частицы из k в / означает, что
следующей за максимальной точкой ak будет максимальная
точка av Исчезновение частицы означает, что максимальных
точек больше не будет.
Вычислим переходные вероятности ρ (к, /). По
определению условной вероятности
Очевидно, ρ (к, /) = 0 при / >^ k (скачки на рис. 23
возможны лишь слева направо). При / > k событие {x(i) = k,
x(i-\-\) = l) означает, что среди точек αν ..., αι правее
всех оказались точки ak и а1 (причем а1 правее ak).
Вероятность этого события в силу равноправия всех точек равна
. . . Совершенно аналогично Ρ {x(i) = k) =-г*
Следовательно,
Р(Ь /)=/(Д1) (1<Λ<ί<«).
Перейдем теперь к построению оптимального метода
выбора.
Как уже говорилось, такой метод можно получить,
указав для каждого номера k, останавливаться ли на этом номере
или ждать дальше. Достаточно, очевидно, задать
подмножество Г тех номеров, на которых следует останавливаться.
Множество номеров 1, 2, . . ., η имеет 2п подмножеств
(включая пустое подмножество и все множество). Каждому из них
соответствует некоторая стратегия, и наша цель выбрать среди
этих 2п стратегий наилучшую.
Конечно, кроме перечисленных способов поведения,
существует много других стратегий. Например, обозначим через ξ
первое из значений л:(0), *(1), *(2), ..., большее или
равное k [так что l=x(i) при χ (0)< . . . < x(l— 1)< k, x(i)$>k\.
7 Ε. Б. Дынкин, А. А. Юшкевич

98 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ (ГЛ. 111
Можно рассмотреть стратегию, предписывающую остановиться
на номере, следующем за ξ, τ. е. на л:(/+1). Подобного
рода стратегии заведомо не оптимальны, но они будут
использованы нами при изучении наилучшего способа выбора.
Вычислим условную вероятность q(k) выигрыша при
остановке в точке χ (/) = k\
η η
q{k)=\- ^(Μ=1-ϊτ^
1)
/=ft+l l-k+l
η
Для сравнения найдем условную вероятность выигрыша q'(k),
если в той же ситуации подождать ровно один шаг, т. е.
остановиться на номере *(/+1). По формуле полных
вероятностей
η η
<f(k)= Σ ρ (к. 0-7(0= 2 TTF=X)ln =
= Λ(±_|__! μ. . . +_L_\ =
η \k ' fc-f-1 ' ^ η-\)
q'(k)=0 (k = n).
Так как сумма -г-+ · · · Ч ζττ монотонно убывает с уве-
и q'(k) *
личением #, то отношение * :' тоже монотонно убывает,
q(k) J ·
обращаясь при k = η в нуль. Следовательно, условию q (k)^
^q(k) удовлетворяет какой-то отрезок kn, Лл+1,..., η
ряда чисел 1, 2, . . ., /г.
Покажем, что множеству Г=[кп, ..., п) отвечает
оптимальная стратегия (иными словами, что следует
продолжить наблюдение, пока x(i)<kni и остановиться,
когда впервые x(i)^kn).
Мы будем считать в дальнейшем, что число объектов
/г^>3. При /г=1 вообще нет выбора, а при η = 2 можно
с равными шансами на успех остановиться на любом из двух
объектов. Непосредственно видно, что в обоих этих случаях

§ η
ЗАДАЧА О НАИЛУЧШЕМ ВЫБОРЕ
99
множество Г = [kn, ..., η] приводит к оптимальной
стратегии, но последующее рассуждение к этим случаям
неприменимо, потому что kn= 1 при п=\ или 2.
При я!> 3
^(ΐ) = ^(ΐ)(ι + ^+...+^τΓ)>^(ΐ)
и, стало быть, kn > 1. Отсюда следует, что стратегия,
требующая остановки на номере 1 = л;(0), не оптимальна;
действительно, такая стратегия приводит к успеху с вероятностью
#(1), тогда как стратегия, предписывающая выбрать номер
л:(1), обеспечивает выигрыш с большей вероятностью qr {\).
Итак, мы можем искать оптимальный способ выбора только
среди тех стратегий, которые требуют пропустить первый
номер. Так как p(l, k) > О при 2<^&<^/г, то, применяя
такую стратегию Л, мы с положительной вероятностью pA(k)
дождемся любого номера k. Допустим, что стратегия Л
в номере k < kn предписывает остановку. Тогда стратегия А',
совпадающая с Л, пока частица не попадет в k, а при
попадании в k требующая остановиться спустя ровно один шаг,
будет заведомо лучше А. В самом деле, при стратегии А1
вероятность успеха будет больше, чем при стратегии Л, на
величину PA(k)[q'(k) — q(k)]. Таким образом, оптимальная
стратегия исключает остановку в точках 1, ..., kn—1.
Покажем индукцией от большего значения k к меньшему,
что в точках отрезка [kn-\-\, ..., η) оптимальная
стратегия А требует немедленной остановки. Очевидно, в точках
этого отрезка имеем строгое неравенство q' (k) <q(k). Если
бы стратегия А требовала пропустить номер /г, то
стратегия А', предписывающая остановку в точке η и в остальном
совпадающая с А, увеличила бы по сравнению с А
вероятность успеха на величину рА(п) и стратегия А не была бы
оптимальной. Значит, при k = n наше утверждение
справедливо. Пусть оно уже доказано для точек /г —|— 1, k-\-2, ...,/г
(k^>kn-\-l)· Если бы А предписывала пропустить номер/г,
то стратегия А', требующая остановки в точке k и в
остальном совпадающая с Л, была бы лучше, чем Л. Действительно,
при попадании в точку k стратегия А' привела бы к
немедленной остановке, а стратегия Л, по предположению
индукции, — к остановке ровно на следующем шаге. Поэтому
вероятность успеха при А' была бы больше, чем при Л, на величину
7*

100
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
/*д(*)[#(*)—Q'(k)] и стратегия А не была бы наилучшей.
Следовательно, А требует остановки и в точке k.
Мы установили, что в точках 1, ..., kn—1 оптимальная
стратегия А запрещает остановку, а в точках kn-\- 1, . . ., η—
наоборот требует остановки. Если при k = kn имеем
строгое неравенство q'(kn) < q(kn), то можно продолжить
индукцию вплоть до k = kn и убедиться, что стратегия А
требует остановки также в точке kn. Если же при каком-то η
окажется, что q'(kn)= q(kn), то в силу тех же рассуждений
будет безразлично, как поступить в точке kn. Для
определенности мы и в этом случае присоединим точку kn к
множеству Г *).
Итак, наилучший способ выбора заключается в том,
чтобы пропустить первые kn — 1 объектов, а затем
выбрать первый объект, лучший всех предыдущих.
Число kn — это наименьшее целое число, при котором
q' (k) ·< q (&), т. е. при котором
т+т+т + · · · + т=пг < L
Следовательно, kn находится из двойного неравенства
Определим теперь вероятность удачи при использовании
оптимальной стратегии. Сперва вычислим вероятность sm того,
что первый после пропущенных kn—1 объектов, лучший,
чем все предыдущие, будет иметь номер т. Это событие
означает, что среди точек av . . ., ат самой правой будет ат,
а ближайшей к ней — любая из точек αν ..., α* _ь В силу
равноправия объектов вероятность такого события равна
*) В действительности равенство q'(k) = q(k) имеет место только
при /г = 2, /г=1. В самом деле, среди чисел /г, k-\-\, ..., η—1
ровно одно делится на максимальную степень числа 2, не
превышающую η — 1, и поэтому после приведения суммы
к общему знаменателю в числителе получится нечетное число. При
η > 2 знаменатель будет четным, и, значит, сумма 5 будет отлична
от единицы.

§ η
m m-
1
ЗАДАЧА О НАИЛУЧШЕМ ВЫБОРЕ
.Таким образом,
_ kn— 1
Sm ~ т{т — 1) '
101
Условная вероятность успеха в этом случае равна д(т) = —.
Значит, в целом вероятность правильного выбора равна
η η
m=k„
m=*k„
(m — l) η
Например, при п =10 имеем следующую таблицу
k
^
8
7
б
5
1
k
0,111
0,125
0,143
0,167
0,200
1 1
k ' "· ' /ι-1
0,111
0,236
0,379
0,546
0,746
k
4
3
2
1
1
k
0,250
0,333
0,500
1,000
1 ι
—+.,.+—_
k n~\
0,996
1,329
...
• . .
Из этой таблицы видно, что kn = 4. Следовательно, сперва
надо пропустить три объекта, а затем выбрать первый объект,
лучший всех предыдущих. Вероятность успеха при этом будет
р10=0,3 · 1,329 = 0,399.
Подобные расчеты легко провести для любого /г, если
оно не слишком велико. Выведем теперь формулы, даюшие
хорошее приближение для kn и рп при больших п. При
любом /я^>2 имеем
/л+1 т
= lnm — 1п(/гг — 1).
Суммируя эти неравенства от m = k до т = п— 1, получим,
что
1
1 П ^ 1 I
1пТ<Т+1Г+Т
п -1
<1п
п — 1
Λ-1

102
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ \ГЛ. III
Из этих оценок и из (1) вытекает, что
ι η ^ ι ^ ι п — 1
]ητ;<ι<]ητ^2·
откуда
7<*.<Т+(2-т)·
Так как в интервал длины 2 может попасть не
больше двух целых чисел, то полученные неравенства позволяют
при любом η найти kn с погрешностью, не превышающей 1.
Для больших η ошибка в одну единицу при вычислении kn
мало влияет на вероятность правильного выбора.
Из неравенств (1) видно, что сумма г г + т—Ь · ··
Rn — 1 Кп
... -\ =- отличается от 1 меньше чем на -г г· Так как
1 η — 1 kn — 1
kn->oo при /г->оо, то
iimL ι ι +-J-+ ·--ч—Ц-)=1·
Поэтому из (2) находим
lim Pn = iim ^LlJ_ = 1 ~ 0,368.
«->оо л^оо п е
§ 2. Задача об оптимальной остановке цепи Маркова
В предыдущем параграфе мы решили задачу о наилучшем
выборе, построив некоторую специальную цепь Маркова. Теперь
мы изучим общую задачу об оптимальной остановке
произвольной цепи Маркова.
Пусть некоторая частица (или система) может находиться
в каждый момент времени в одном из состояний, образующих
конечное или счетное множество Ε {фазовое пространство).
При этом, если частица в какой-то момент находится в
состоянии х, то через единицу времени она оказывается в
состоянии у с вероятностью ρ(χ, у)(независимо от того, когда и
каким путем она попала в точку х). Тогда говорят, что задана
цепь Маркова с переходными вероятностями ρ (χ, у).

§ 2] ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ ЦЕПИ МАРКОВА ЮЗ
Вероятности ρ (χ, у) могут быть любыми неотрицательными
числами, подчиненными условию
У
Если для какого-то χ V/?(;e, y)< 1, то величина д(х) =
у
= 1 — 2 /* («*» У) представляет собой вероятность исчезнове-
у
ния частицы, находящейся в х, на очередном шаге.
Исчезнувшая частица возродиться не может, так что цепь в этом
случае раз и навсегда обрывается.
Примерами цепей Маркова являются случайное блуждание
по решетке, изученное в гл. I, и последовательность
номеров максимальных точек в задаче о выборе наилучшего
объекта. В первом из этих примеров цепь никогда не
обрывается, во втором — с вероятностью 1 обрывается не позже
чем через η шагов.
Обозначим через χ (η) положение частицы в момент п.
Предположим, что мы наблюдаем за траекторией л:(0), x(l), ...
..., χ (/г), ... и в любой момент η можем остановить
блуждание частицы. Если в момент остановки частица находится
в точке х, то мы получаем выигрыш /(л:), где
/—известная функция. Если мы не останавливаем процесса (потому
что он успел оборваться или потому что мы ждем бесконечно
долго), то выигрыш равен 0. Спрашивается, как добиться
наибольшего выигрыша.
Уточним постановку задачи. Опишем прежде всего класс
возможных моментов остановки τ. Момент τ, вообще говоря,
случаен, так как зависит от случайной траектории частицы.
Но он не является произвольной целочисленной случайной
величиной. Дело в том, что в момент τ мы не знаем, как вел бы
себя процесс после τ, и должны решать вопрос об остановке
по течению процесса до момента τ. Поэтому мы будем
рассматривать только такие целочисленные случайные величины τ,
для которых наступление или ненаступление события {i—t}
однозначно определяется по значениям л;(0), л;(1), ...,x(t).
Такие случайные моменты принято называть марковскими
моментами (о марковских моментах для винеровского
процесса уже говорилось в § 4 гл. II).

104
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
сю
Сумма 2 Vx \τ> = ί) может быть меньше 1 (и даже равна 0).
/=о
Вместо того чтобы говорить, что τ для соответствующих
траекторий частицы не определено, мы будем иногда писать
τ= со.
Типичным марковским моментом является момент первого
попадания в какое-либо подмножество Г множества £ (впрочем,
существуют и другие марковские моменты, например τ=5
или τ=τ1-[-2, где хх—марковский момент и т. д.).
Если момент τ выбран (иначе говоря, выбрана стратегия
лица, останавливающего процесс), то выигрыш оказывается
случайной величиной /(х(т)). Требуется выбрать τ так, чтобы
среднее значение.Mxf (χ(τ)) было, по возможности,
наибольшим (как обычно, М^. обозначает математическое ожидание
при начальном положении частицы в точке л:*)). Для того
чтобы математическое ожидание Мд./(л:(т)) имело смысл
при любом τ, нужно наложить некоторые ограничения на
функцию /. Достаточно потребовать, чтобы / была
ограничена.
В итоге задача ставится следующим образом: на
конечном или счетном множестве Ε заданы цепь Маркова
с переходными вероятностями р(х, у) и ограниченная
функция /(*). Требуется: 1) вычислить величину v(x) =
= supМ^/(л:(τ)), где χ— всевозможные марковские мо-
X
менты, 2) найти такой марковский момент τ0, при кото-
ром Mxf(x(x0)) = v(x).
По аналогии с теорией игр величину v(x) мы назовем
ценой игры, а марковский момент τ0 — оптимальной
стратегией.
Чтобы лучше представить себе задачу, обратимся к
некоторым частным случаям· и примерам.
Если /^0 на всем фазовом пространстве £, то задача
имеет тривиальное решение: очевидно, в качестве
оптимальной стратегии можно взять τ0=οο (т. е. никогда не
останавливать процесс), и ν(χ) = 0. Впредь мы исключим этот
неинтересный случай и будем предполагать, что sup/(;e)> 0.
X
*) При вычислении математического ожидания Mxf(x(x))
суммирование распространяется только на те элементарные исходы,
для которых τ конечно (ср. сноску на стр. 48).

§2] ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ ЦЕПИ iWAPKOBA Ю5
Рассмотрим, далее, случайное блуждание по одномерной
решетке. Как мы знаем (см. § 1 гл. I), при таком блуждании
частица с вероятностью 1 рано или поздно побывает в любом
состоянии х. Следовательно, здесь ν (χ) = с, где с = sup / (л:)»
X
так как можно дождаться, пока частица достигнет такого
состояния, в котором f(x) сколь угодно близка к с. Если
значение с достигается на подмножестве точек Г решетки,
то для получения оптимальной стратегии достаточно положить
τ0 равным моменту первого попадания в Г. Если же с не
достигается ни в одной точке, то оптимальной стратегии не
существует, хотя и можно добиться выигрыша, как угодно
мало отличающегося от с.
Ясно, что та же картина будет наблюдаться в любой цепи
Маркова, в которой частица с вероятностью 1 посещает все
состояния (такие цепи называются возвратными).
Рассмотрим далее одномерное случайное блуждание на
отрезке с поглощением на концах (рис. 24). Из состояний
Рис. 24.
1 — 11 частица с вероятностью 1/2 перескакивает в
ближайшую слева или справа точку, а попав в состояния 0 или 12,
навсегда там остается. График функции f(x) изображен на
рис. 24 (для наглядности соседние точки графика соединены
отрезками).
Так как из точек 0 и 12 выйти нельзя, то τ/(0) = /(0) = О,
<и(12) = /(12) = 0. В этих точках ждать нечего и можно
сразу останавливаться. Точно так же следует сразу
останавливаться в состоянии 9: в этом состоянии f (х) достигает

106 ЗЛДЛЧЛ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
абсолютного максимума, и поэтому продолжение процесса
может лишь уменьшить выигрыш. Значит, ν (9) = / (9). В точке 5,
где f(x) имеет относительный минимум, наоборот,
останавливаться невыгодно: уже через один шаг удастся получить
выигрыш, больший чем /(s). Поэтому τ/(5)>/(5). Как
обстоит дело в остальных состояниях? Например, в точке 3,
где f(x) имеет относительный максимум, отсрочка на один
или два шага, очевидно, уменьшает средний выигрыш. Если
ждать дольше, то можно надеяться попасть в область второго,
более высокого пика, где выигрыш значительно больше /(3).
Но при этом появляется опасность застрять в точке 0 и
ничего не выиграть.
Забегая вперед, укажем, что в этом примере цена игры
v(x) является наименьшей из выпуклых функций, больших
или равных f(x). Иначе говоря, чтобы получить график ν (χ),
нужно между точками 0 и 12 натянуть нитку поверх графика
f(x) (на рис. 24 график v(x) показан пунктиром).
Оптимальной стратегией является остановка цепи в момент τ0 первого
попадания частицы в такую точку, где / (χ) = ν (χ).
Будет показано, что аналогичное решение задача имеет
и в общем случае цепи с конечным числом состояний. Роль
выпуклых функций играет при этом класс эксцессивных
функций, связанных с данной цепью Маркова.
Задача о наилучшем выборе, разобранная в § 1, является
частным случаем нашей общей задачи. Действительно, в § 1
была построена цепь Маркова x(i) с состояниями 1, 2, . . ., /г,
и задача наилучшего выбора свелась к тому, чтобы с
наибольшей вероятностью остановить эту цепь в момент,
непосредственно предшествующий обрыву. Если частица находится
в состоянии &, то цепь обрывается в следующий момент
времени с вероятностью q(k) = k/n. Поэтому вероятность успеха
при стратегии τ равна
я
2 Ρ, {χ (τ) = /г) · | = М, ig- = Щд (χ (τ)).
Л> = 1
[Индекс 1 при Ρ и Μ указывает на то, что траектория
л;(0), л;(1), ... начинается из точки 1.] Следовательно,
задача о наилучшем выборе сводится к задаче об оптимальной
остановке при функции выигрыша f(x) = q(x) и начальном
состоянии χ = 1,

§3]
ЭКСЦЕССИВНЫЕ ФУНКЦИИ
107
§ 3. Эксцессивные функции
Исследование задачи об оптимальной остановке
произвольной цепи Маркова мы начнем с изучения тех функций
выигрыша /, для которых оптимальная стратегия заключается в
немедленной остановке. Очевидно, это такие функции /, которые
при любом марковском моменте τ удовлетворяют неравенству
/(*)>Μ,/(*(τ)) (*€£)· (3)
Так как марковских моментов, вообще говоря, бесконечно
много, то непосредственно проверять условие (3) для каждого
марковского момента τ было бы затруднительно. Как мы увидим,
достаточно, чтобы (3) имело место для τ = οο и τ= 1; тогда
это условие будет выполнено и для всех других марковских
моментов.
При τ = оо условие (3) приводит к неравенству
/(*)>0 (*6£)· (4)
При τ= 1 оно обращается в условие
f{*)>Pf{x\ (5)
где Ρ обозначает оператор, действующий по формуле Pf(x) =
= ^р(х, y)f(y) (оператор сдвига за один шаг).
у
Требования (4) и (5) хорошо знакомы нам по гл. I: они
составляли определение эксцессивной функции для
симметричного блуждания по решетке. Естественно ввести аналогичные
определения и в случае произвольной цепи Маркова.
Неотрицательные функции /, для которых Pf^f, будем
называть эксцессивными функциями.
Докажем, что если функция / эксцессивна, то неравенство
(3) выполняется для любого марковского момента τ *).
Для случайного блуждания по решетке это утверждение
уже было доказано в § б гл. I. Правда, при этом под τ
понимался момент первого попадания в некоторое множество,
но, как легко видеть, проведенные рассуждения полностью
применимы и к произвольным марковским моментам.
Основная идея доказательства состояла в том, что эксцессивная
функция / представлялась в виде суммы неотрицательной
*) Этот факт (в более общей ситуации) установлен Хантом
(см. [5]).

108 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
постоянной, для которой (3) очевидно, и потенциала
Οφ(χ) = φ(χ) + Ρφ(χ)+Ρ2φ(χ)+ ...=
= МЛ<Р(*(0)) + <Р(*(1))+ ...] (6)
неотрицательной функции φ = / — Pf. Для потенциала
неравенство (3) было получено из формулы
Μ^Οφ(χ(τ)) = Μ^φ(*(τ))+φ(*(τ+1))+ ...J. (7)
правая часть которой меньше или равна правой части
равенства (6).
В случае произвольной цепи Маркова ряд (6) может
расходиться. С этой трудностью удается справиться, введя
«поправочный коэффициент» а< 1, а затем устремив α к 1.
Полагая φ(χ) = /(χ) — aPf(x), 0<α<1, можем
написать очевидное тождество
/ = φ+ αΑρ + α2Ρ2φ+... ±αηΡηφ + αη+ λΡη '!/,
причем в силу (5) по-прежнему φ!>0. Пользуясь тем, что
0^pnf = pn-l(Pf)^pn-lft и, значит, anPnf->0 при
/г—>со, получаем отсюда представление / в виде
бесконечного ряда
/(χ) = ψ(Χ)+αΡψ(χ) + α2Ρ2φ(χ)-{- . . . =
= Мх [φ(χ(0))+αφ(χ(\)) + α2φ(χ(2))+ . . .] (8)
[формула Ρηφ(χ) = Ν[χφ(χ(η)) в общем случае выводится
точно так же, как для блуждания по решетке]. Как из
равенства (6) следует формула (7), так и из (8) вытекает, что
Μ//(^(τ))-Μ,[αΤφ(χ(τ)) + αΐ+1φ(χ(τ +- 1))+ . . .] (9)
(предоставляем читателю самому убедиться в этом). Из
сравнения (8) и (9) заключаем, что
f(x)>Mxaxf(x(x)).
Чтобы получить отсюда неравенство (3), остается лишь
устремить α к 1 *).
*) Неосторожный предельный переход под знаком
математического ожидания может легко привести к неверным формулам. Однако
из L· -> I вытекает, что Μξα -» Μξ в двух следующих важных
случаях:
1) если 11а | < η при всех α и Μη < оо;
2) если £а>0 и ξ0->ξ, монотонно возрастая.

§ 4] ЦЕНА ИГРЫ 109
Аналогично доказывается следующее более общее свойство
эксцессивных функций: если f эксцессивна и τ'^τ — два
марковских момента, то
Mxf (* СО) > Μ,/ (χ (τ')) (х£Е). (10)
Для доказательства этого свойства надо написать формулу
(9) для каждого из моментов τ и %'. Поскольку τ</τ', то
ряд (9) для τ будет содержать все те же члены, что и ряд
(9) для τ', а так же, может быть, еще дополнительные
положительные слагаемые. Следовательно, при 0 < α < 1
М//(^(т))>М/7(^(т0),
При а->1 получаем отсюда формулу (10).
Из неравенства (10) легко вынести, что если функция ν
эксцессивна и τ — момент первого попадания в какое-то
множество Г, то функция
h (χ) = Μχν (χ (τ))
тоже эксцессивна.
В самом деле, обозначим через %' первый из моментов
^^>1, когда частица находится в множестве Г. Ясно, что
τ'^τ и, следовательно,
Μ,/(*(τΟ)<Μ,/(*(τ)) = Α(*).
Но если первый шаг привел частицу из χ в у, то при этом
условии N[xf (χ(%')) будет равно Му/(х(x)) = h(у).
Следовательно,
Μ,/(*(τ0)= 2 Р(*. У)Ь(у) = РЬ(х).
Итак, Р/г</г.
§ 4. Цена игры
Если функция выигрыша / эксцессивна, то, как легко
видеть, цена игры ν совпадает с /.
Заметим, что в общем случае, если эксцессивная
функция g мажорирует функцию выигрыша /, то она
мажорирует и цену игры v.
В самом деле, если g^fug эксцессивна, то для любой
стратегии τ
Μ,/ (* (τ) )< Nixg (χ (τ) )< g (x)

по
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. Ш
и, стало быть,
ν (х) = sup №J (χ (τ) )< g* (хУ
τ
Далее, покажем, что цена игры ν сама является эксцес-
сизной функцией.
Очевидно, функция ν неотрицательна: нулевой выигрыш
всегда можно получить при стратегии τ = со.
Чтобы проверить условие Ρν<ζ.ν, построим стратегию τ,
обеспечивающую средний выигрыш М^/(лг(т)), сколь угодно
близкий к величине Ρν(χ), а затем воспользуемся
неравенством Nixf (χ (τ)) < ν (χ).
Зададимся произвольным числом ε > 0 и обозначим через
хггУ такую стратегию, при которой
Μ,/(*(τει3,))>«Ο0 —ε (ye E).
(Существование марковского момента τε> у при любом у
вытекает из самого определения цены игры). Пусть стратегия τ
заключается в том, чтобы сперва сделать один шаг, а затем,
если этот шаг привел частицу в состояние у, воспользоваться
стратегией те>у. Точнее, если лг(1) = <у, то τ=1+τει>Μ
где те>у находится по траектории х(\), x(2), ...,
начинающейся не в момент 0, а в момент 1. Нетрудно сообразить,
что τ является марковским моментом. Для этого τ имеем
Μ,/(*(τ))= Σρ(*. У)Му/(*(те|У))>
у£Е
> Σ Р(х> y)[v(y) — e] = Pv(x) — e Σ Р(*. У)>
уеЕ у£Е
^>Ρν(χ) — ε.
Следовательно, ν (χ) ^ Ρν (χ) — ε при любом ε> 0, и потому
Ρν(χ)^ν(χ). Эксцессивность функции ν доказана.
Поскольку одной из возможных стратегий является
мгновенная остановка, то ν (χ) ^ f (x).
В итоге мы получили, что цена игры ν — это
наименьшая из всех эксцессивных функций, больших или равных
функции выигрыша f (естественно назвать подобную
функцию эксцессивной мажорантой /).
Отметим, что попутно мы доказали существование
эксцессивной мажоранты у любой функции / (a priori это не
очевидно).

§5]
ОПТИМАЛЬНАЯ СТРАТЕГИЯ
111
Полученный результат позволяет в случае конечного числа
состояний находить цену игры методами линейного
программирования. Действительно, цена игры v(x)— это
минимальная функция, удовлетворяющая системе 3/г линейных неравенств
v(x)>0. j
где η — число состояний цепи Маркова.
§ б. Оптимальная стратегия
Обозначим через Г множество тех состояний х, в которых
функция выигрыша f(x) равна своей эксцессивной
мажоранте v(x). Назовем это множество опорным множеством
(на рис. 24 опорное множество состоит из точек 0, 9, 10, 11
и 12; график функции / в этих точках «поддерживает»
нитку, изображающую функцию ν).
Пусть частица начинает движение в точке χ опорного
множества. Тогда немедленная остановка в этой точке
обеспечит выигрыш, равный ν(χ), и никакая другая стратегия
лучшего дать не сможет. Наоборот, остановка в начальном
состоянии х, расположенном вне Г, приводит к выигрышу
f (х), строго меньшему цены игры v(x). Поэтому, если бы
мы заранее знали, во-первых, что оптимальная стратегия
существует, и, во-вторых, что эта стратегия предписывает делать
остановку или продолжать наблюдение только в зависимости
от положения частицы в настоящий момент времени (именно
так обстоит дело в задаче о выборе наилучшего объекта),
то мы могли бы заключить, что оптимальная стратегия
задается моментом τ первого попадания частицы в Г. Пока же
мы можем принять это лишь в качестве правдоподобной
гипотезы.
Не всегда, однако, эта гипотеза оказывается справедливой.
Рассмотрим, например, цепь Маркова с бесконечным числом
состояний 1, 2, .. ., /г,..., в которой из точки η частица с веро-
1 л п2-\
ятностью —j переходит в точку 1, и с вероятностью 5
в точку л+1 (рис. 25). Пусть /(/г)=1 при η > 1
(*£Е).

112
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
и / (1)= 1. Очевидно, здесь всегда можно дождаться
выигрыша, сколь угодно близкого к 1, но не большего 1, и,
значит, v(n)= 1. Опорное множество Г состоит в этом примере
из единственной точки 1. Поскольку /(1)= 1, то для момента
τ первого попадания в Г средний выигрыщ Мл/(д:(т)) равен
Рис. 25.
вероятности π (η) из η когда-либо попасть в 1. Вероятность
противоположного события, т. е. ухода частицы бесконечно
далеко вправо, равна
сю
Ь2 1
-^И- (И)
II
Так как
т
п
k2 — 1
k2
II
№-1)(Н1)
(n-l)(m + l)
пт
/г —1
то бесконечное произведение (11) сходится и равно
Стало быть, я(/г)= 1//г, тогда как τ;(/ζ)= 1.
Нарушение нашей гипотезы в этом примере связано с тем,
что фазовое пространство бесконечно. Покажем, что в
случае конечного фазового пространства момент х0 первого
попадания в опорное множество является оптимальной
стратегией.
Рассмотрим средний выигрыш
Α(*) = Μ,/(*(τ0)). (12)
отвечающий стратегии τ0. Нужно доказать, что h = v. По
самому определению цены игры h^v. Так как Λ:(τ0)£Γ

§5]
ОПТИМАЛЬНАЯ СТРАТЕГИЯ
113
и на Г функции / и ν совпадают, то в формуле (12)
функцию / можно заменить эксцессивной функцией ν; тогда из
этой формулы будет следовать, что h тоже эксцессивна (см. § 3).
Поскольку ν — наименьшая из всех эксцессивных функций,
мажорирующих /, то для получения обратного неравенства
h^v достаточно убедиться, что h^f.
В точках опорного множества Г h(x) = f(x), потому
что в этих точках стратегия τ0 предписывает немедленную
остановку. Допустим, что где-то вне Г выполняется
неравенство h{x)<i f (x). Обозначим через а ту точку, в которой
разность f(x) — h (x) достигает наибольшего значения. Тогда
функция кх(х) = h (x) -\- [f (a) — h (a) ] мажорирует /, в точке
а совпадает с / и, как сумма эксцессивной функции h (x)
и положительной константы f(a)—h (α), тоже эксцессивна.
Следовательно, hx мажорирует ν и f (a) = hx(a)^v(a). Это
значит, что точка а, взятая вне опорного множества Г,
принадлежит Г. Полученное противоречие показывает, что
неравенство h(x)<if(x) невозможно. Оптимальность стратегии
τ0 доказана.
Обратимся, далее, к случаю цепи Маркова со счетным
фазовым пространством. Здесь, как мы знаем, остановка в
момент первого попадания в опорное множество Г может
оказаться весьма неудачной стратегией. Однако можно показать,
что если вместо множества Г = {х: f (χ) = ν (χ)} взять
«ε-опорное» множество Γε={χ: ν (χ) — /W<Ce) и рассмотреть
момент τε первого попадания в Γε, то при любом ε > О
Μ*/(*(τε))>τ/(*)-ε. (13)
Таким образом, ε-опорные множества позволяют находить
стратегии, обеспечивающие выигрыш, сколь угодно близкий
к цене игры.
Доказательство неравенства (13) проводится, с небольшими
отличиями, по тому же плану, что и в случае конечного фазового
пространства, когда ε = 0. Так как f(x)^v(x) — ε на Γε, то
Мд-/ (χ (τε)) > Μχν (χ (τε)) — ε?χ {τε < οο} > Νίχυ (χ (τε)) — ε.
Функция h (χ) = Μχν (χ (τε)) вместе с ν эксцессивна. Покажем,
что /г (л:) > / (χ). Если sup [/ (χ) — h (χ)] = с > 0, то функция
h(x)-\-c эксцессивна и мажорирует / (х). Следовательно, h (χ) +
+ с ;> υ (χ) при всех х. Поскольку с > 0, найдется такое
состояние а, в котором / (а) — h (а) > 0 и одновременно / (а) — /г (а) >
> с—ε. Тогда / (а) = / (а) — h (a) +h(a)^ с—ε + ν (а)—с = ν (α)—ε,
8 Ε. Б. Дынкин, А. А. Юшкевич

114
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. Ill
1. 2,
fU-il
fix}
fU+П
\ ffx-/)+f(x*tX
x-i
z+/
и, стало быть, я£Ге. Но в точках из Γε функции h и ν равны друг
Другу, так что h (а) = ν (а) > / (я). Это противоречит неравенству
f (a) — h(a)>0. Значит, с не может быть положительным, и
поэтому h (х) мажорирует / (х). Но тогда эксцессивная функция h (x)
мажорирует и ν (χ) и, следовательно,
М.г/ (х (τε)) > /г (х) — ε > υ (χ) — ε.
§ 6. Приложение к случайному блужданию
с поглощением и к задаче о наилучшем выборе
При случайном блуждании по отрезку [0, а] с
поглощением на концах частица, находящаяся в любой из точек
а—1, с вероятностями 1/2 переходит за один
шаг на единицу влево или
вправо, а попав в точку О
или а, навсегда там остается
(см. рис. 24; где α =12).
Решение задачи об
оптимальной остановке такой цепи
Маркова было приведено нами
без доказательства в конце § 2.
В соответствии с общими
построениями §§ 3—5 для
обоснования этого решения нужно
лишь проверить, что эксцессивными функциями являются
неотрицательные выпуклые вверх функции.
По определению, функция / эксцессивна, если / > О
и Pf ^ /. Условие Pf ^ / сводится в данном случае к не-
рав?исгвам
/<*-!>+·/<* + !> </(jc) {х=и 2 а_1) (М)
и тривиальным соотношениям
/(0)</(0), /(α)</(α).
Неравенства (14) означают, что если соединить соседние точки
графика функции f(x) отрезками, то вершина получившейся
ломаной в любой внутренней точке χ будет расположена
не ниже хорды, соединяющей вершины в точках χ — 1
их-\- 1 (рис. 26). Таким образом, условие Pf <[/ равносильно
выпуклости функции f(x) вверх, что и требовалось доказать.
Посмотрим, как работают введенные нами понятия в
задаче о выборе наилучшего объекта. Как мы знаем, эта задача
Рис. 26.

§ 6] ПРИЛОЖЕНИЕ К БЛУЖДАНИЮ С ПОГЛОЩЕНИЕМ Ц5
сводится к оптимальной остановке цепи с состояниями 1,
2, ..., /г, переходными вероятностями
I -777 гГпРи l> k*
I о при /<;&,
и функцией выигрыша f(k)=k/n (см. § 2).
Найдем эксцессивную мажоранту ν (k) функции
выигрыша f(k) и опорное множество Г= [k : f{k) = v{k)\. По
определению, ν — это минимальная функция,
удовлетворяющая неравенствам ν^> /, Ρν<^ν, ν $> 0. В данном случае
эти неравенства принимают вид
«(*)>4··
η
*= 1, 2 /г.
Значит, если ν(ί) при / > k уже известно, то
/1.4 \ k U V «(/)
( /-Λ+1 J
Мы получили рекуррентную формулу для определения v(k).
По этой формуле последовательно находим
т>(я)=тах|-2-|= ι=^(Λ)§
т;(/г-1)=тах{^,(/г-1)1ГТ^} =
ί /г— 1 1 1 /г — 1 х/ 1Ч
= тах< , —> = = f(n—I).
(η η ) η J ν '
'k + i ' ' ' k + 2
ν φ)
= max J —, k
н-
/г
+
η
η
( η · "ί <*+!>* ' (Λ + 2)(Λ + 1)
Ι
! = max < — - —\^-\--r—
η (η — 1> J j — "ιαΛ \ η ' л Ι Λ "ί" ΑΓ+ Ι

Нб ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
до тех пор, пока сохраняется неравенство
k ^ k + \ Τ · · · Τ „_!
<1. (15)
Как только с убыванием k сумма -г+ · · · Ч ^Т ста'
k
нет больше 1, так v(k) окажется строго больше — — /(&).
При дальнейшем уменьшении k сумма -г + ··· Ч ζττ
будет оставаться больше 1, и, следовательно, в этих точках
1 = к-\1 l = k-\-\
=τ(τ+τττ+···+ώ-)>4=/^·
Значит, опорное множество Г имеет вид {&„, kn-\- 1, .. ., /г},
где kn — наименьшее целое число, удовлетворяющее
неравенству (15). Этот результат нам уже знаком.
k
При k ^kn цена игры равна ν (k) = f (k) = —, а при k <
< kn последовательно вычисляется по формуле *)
·»)-* Σ i0w
k = l+l
§ 7. Оптимальная остановка винеровского процесса
Задачу об оптимальной остановке можно изучать не только
для цепей Маркова, но и для процессов с несчетным фазовым
пространством и непрерывным временем. Мы рассмотрим
один из простейших таких процессов, а именно винеровский
процесс x(t) на отрезке [0, а] с поглощением в
граничных точках. По определению, при любом начальном
положении х, 0 <;.*<; а, частица совершает точно такое же
движение, как в обычном винеровском процессе на
бесконечной прямой, пока она впервые не попадет на конец отрезка;
*) Нетрудно показать, что на самом деле ν {k) при k < kn
не зависит от k и находится по формуле (2).

§ 7] ОПТИМАЛЬНАЯ ОСТАНОВКА ВИНЕРОВСКОГО ПРОЦЕССА Ц7
оказавшись в точке 0 или в точке а, частица навсегда
застревает в этой точке *).
Пусть на отрезке [0, а] задана функция выигрыша f (х).
Требуется найти цену игры
ν (х) = sup Nixf (χ (τ)) (0 < χ < α),
τ
где τ — всевозможные марковские моменты, и построить
такой марковский момент τ0, при котором
(найти оптимальную стратегию).
Интересующий нас процесс является непрерывным
аналогом симметричного случайного блуждания по отрезку с
поглощением на концах,
разобранного в §§ 2 и 6. Мы
увидим, что решение задачи
в непрерывном случае
остается таким же, только
вместо выпуклых функций
целочисленного аргумента
нужно брать выпуклые
функции, заданные на всем от- о <7
резке [0, а].
Напомним, что функция Рнс· 27
f(x), заданная на отрезке
[О, а], называется выпуклой, если любая хорда, соединяющая
две точки графика функции /, располагается целиком не выше
графика / (рис. 27). Отметим, что выпуклая на отрезке
функция непрерывна внутри отрезка и на концах отрезка
имеет конечные пределы, которые не меньше значений
функции в конечных точках (см. Добавление, § 2). Например,
на рис. 27
Hm/(*) = /(0). Hm/(*)>/(a).
х->0 χ->α
*) Мы не рассматриваем винеровский процесс на всей
бесконечной прямой, потому что в этом случае частица с вероятностью 1
попадает в любую точку, и задача об оптимальной остановке
процесса имеет такое же тривиальное решение, как для возвратной
цепи Маркова.

118 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
Особая роль, которую играют выпуклые функции для
нашего процесса, объясняется тем, что неотрицательные
выпуклые функции {и только они) удовлетворяют
неравенству
М,/(* (τ) )</(*) (16)
при любом марковском моменте τ. Доказательство этого
факта сравнительно громоздкое, и оно выделено нами в
отдельный параграф (§ 8).
После того как описан класс функций, удовлетворяющих
условию (16), цена игры и оптимальная стратегия находятся
примерно так же, как эго было сделано в §§ 4 и 5 для
произвольной цепи Маркова.
Вычислим предварительно вероятность q(x)= q(x; xv х2),
исходя из х, попасть в точку χλ прежде, чем в лг2, и ве"
роятность ρ (χ) = ρ (χ; χν χ2) попасть в х2 прежде,
чем в χι (О <! χλ <! χ <! χ2 <; а). Из результатов гл. II следует,
что функция q(x) является решением задачи Дирихле на
отрезке [xv x2], принимающим значение 1 в точке хх и
значение 0 в точке х2. Так как уравнение Лапласа Δ# = О
в одномерном случае принимает вид q" = 0, то все его
решения линейны, т. е. имеют вид q(x) = cx-\-d. Определяя
значения постоянных с и d из граничных условий q(xl) =
= 1, q(x2) = 0, получим
(ч Хо — X
Х\ ΛΓρ *2)='- '
х2 х\
р(х\ xv x2)=\—q(x\ xv x2) = Χχ~_?χχχ - (ΙΌ
Найдем теперь цену игры ν(χ), считая пока функцию
выигрыша f(x) только ограниченной, но не обязательно
непрерывной*). Заметим, что если g(x) — неотрицательная
выпуклая функция, мажорирующая /(л:), то при любом τ
Μ,/(*(τ))<Μ,£(*(τ))<£(*)
и, стало быть, g(x) мажорирует v(x).
Сама функция v(x) неотрицательна (ибо существует
стратегия τ = οο, приводящая к нулевому выигрышу) и, кроме
*) Ограниченность функции / (вместе с измеримостью, которую
мы условились каждый раз не оговаривать) обеспечивает
существование математического ожидания Mxf(x(t)).

§ 7] ОПТИМАЛЬНАЯ ОСТАНОВКА ВИНЕРОВСКОГО ПРОЦЕССА 119
того, выпукла. В самом деле, пусть [xv х2]— какой-либо
отрезок, содержащийся в [0, а], а хх и τ2 — стратегии,
приводящие соответственно при начальных состояниях хх и х2
к среднему выигрышу, большему чем ν(χχ)— ε и ν(χ2)— ε
(существование таких стратегий при любом ε > 0 вытекает
из самого понятия верхней грани). Рассмотрим стратегию τ,
предписывающую сперва дождаться момента первого
попадания в одну из точек хх или лг2, а затем воспользоваться
соответствующей стратегией хх или х2. Тогда, согласно
формуле (17),
Μχ/(χ(τ)) = -^^ΜΛ/(Λ(τι)) + ^=^-ΜΧι/(χ(τ2))>
л2 — Х\ Λ2 — Х\
и, значит,
υ (Χ2-χ)ν(χ)+(χ-Χι)ν{Χ2Ϊ _ ε χ
·*2 ·*1
Поскольку ε может быть сколь угодно малым
положительным числом, то последнее неравенство справедливо и при
ε = 0. Так как функция
(χ2 — X)v(Xl) + (X — Xl)v (χ2)
Х2 Х\
линейна на [xv х2\ и в точках хх и х2 совпадает с ν, то
это значит, что график ν на отрезке [хх, х2] проходит
не ниже стягивающей его хорды. Стало быть, функция ν(χ)
выпукла.
Следовательно, цена игры — это наименьшая из всех
неотрицательных выпуклых функций, больших или равных
функции выигрыша / или, короче, цена игры ν — это
неотрицательная выпуклая мажоранта функции f (см.
рис. 28, где изображена разрывная функция /).
Покажем далее, что если функция f непрерывна, то,
как и в дискретном случае, оптимальной стратегией
служит остановка процесса в момент τ0 первого
попадания в опорное множество Г, на котором / (χ) = ν (χ).
Заметим, что для разрывной функции выигрыша / это
утверждение уже неверно. Так, в примере, показанном на рис. 28,

120 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
множество Г состоит из единственной точки а. Значит,
дожидаясь попадания в Г, мы никогда не получим выигрыша,
большего чем /(я), тогда как v(x) в некоторых точках
намного больше /(#).
Прежде всего убедимся, что из непрерывности функции
выигрыша / вытекает непрерывность цены игры v. Так как
функция ν выпукла, то она
непрерывна во всех
внутренних точках отрезка
[0, а] и limu(jc)>ti(0),
\\mv(x)^v (а). Рассмот-
а χ->α
рим для определенности
точку 0 и покажем, что
Пптг;(л;)О(0). (18)
Рис. 28. Положим с (#)=тах/(л;),
0<Сх<Си
0<Си^а· Ясно, что
функция с (и) непрерывна вместе с / (х). При х(х) < и выигрыш,
очевидно, не может превзойти величины с (#), а при χ (τ) ^ и —
величины с (а). Далее, неравенство χ (τ) ^ и при χ = χ (0) < и
может наступить только в том случае, если частица из точки χ
попадет в и прежде, чем в точку 0. Вероятность этого
события по формуле (17) равна χ /и. Таким образом, при
0 < χ < и для любого τ
Если с(и)^0, то первое слагаемое здесь не превосходит
с (и), если же с(#)<0, то оно не превосходит 0; значит,
в любом случае
Мх/(*(т))<тах[с(|0, 0] + с(а)-£,
и, стало быть,
*(*)<max[c(i0, 0] + с(а)-£.
Полагая здесь х->0, получаем
l\mv(x)^mw[c(u)9 0] (и > 0),
лг->0

§ 7] ОПТИМАЛЬНАЯ ОСТАНОВКА ВИНЕРОВСКОГО ПРОЦЕССА 121
а устремляя затем и к 0, что
lim u(*)< max [c(0)f 0] = тах[/(0), 0].
Так как 0 <; ν (0) и / (0) <; ν (0), το неравенство (18) доказано.
Поскольку обе функции / и ν непрерывны, то опорное
множество Г, состоящее из тех точек х, в которых f(x) =
= v(x), замкнуто (a priori Г может быть и пустым
множеством). Пусть χ — момент
первого попадания в Г и у В
h(x) = Mxf(x(x))
— средний выигрыш при
стратегии τ. Поскольку
/ = ν на Г, то £
h(x) = Mxv(x(%)).(\9)
Заметим теперь, что функ- ϋ Ι ζι гг f о
ция h, определенная форму- Рис. 29
лой (19), так же, как и ν,
выпукла, непрерывна и неотрицательна. В самом деле, если
λ: = λ;(0)£Γ, то τ = 0 и h (χ) = ν (χ). Точки х, не
принадлежащие замкнутому множеству Г, образуют систему
интервалов, концы которых либо принадлежат Г, либо совпадают
с одной из точек 0, а (рис. 29). Если концы хх и х2 такого
интервала принадлежат Г, то на отрезке [χν χ2] функция h,
согласно формулам (17), равна
f4.x)=^z^^^)-\-^=~v^. (20)
Из этой формулы видно, что графиком /ι на отрезке [χν χ2]
служит хорда АВ, стягивающая точки графика функции v.
Если же какой-то конец интервала (xv x2) совпадает с
концом отрезка [0, а] и не принадлежит Г, то в формуле (20)
значение ν в соответствующей точке хх или х2 заменится
числом 0, и графиком h окажется отрезок прямой линии
такой, как CD на рис. 29. Этот отрезок тоже можно
назвать хордой графика ν, если включить в этот график
вертикальные участки СЕ и FG. Итак, график h получается из
графика ν «срезанием выпуклостей» по хордам на некоторой
системе интервалов. Геометрически очевидно, что при такой

122 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ (ГЛ. 111
операции снова получится график непрерывной выпуклой
неотрицательной функции (см. Добавление).
Так как ν — минимальная среди неотрицательных выпуклых
функций, мажорирующих /, то для доказательства
неравенства h^v (и, следовательно, оптимальности стратегии τ)
достаточно проверить, что h ^> /. Допустим, что разность
/ — h принимает где-то положительное значение. Тогда
непрерывная функция /—h в какой-то точке х0 достигает
своего наибольшего значения с > 0. Неотрицательная
выпуклая функция h (χ) -f- с мажорирует /, а значит, мажорирует
и v. Стало быть, h(x0)-\-c^v(x0), что вместе с
равенством c = f(x0)—h(x0) приводит к соотношению f(x0)^
>τ/(Λ:0). Поэтому х0£Г, откуда h (х0) = ν (х0) = f (х0) и
c = f (х0) — h (л:0) = 0. Это противоречит предположению,
что с > 0. Оптимальность стратегии τ доказана.
В заключение скажем несколько слов о многомерном
случае. Рассмотрим задачу об оптимальной остановке /-мерного
винеровского процесса в замкнутой области G с поглощением
на границе. Цена игры находится здесь так же, как и в
одномерном случае, только вместо неотрицательных выпуклых
функций нужно использовать неотрицательные функции /,
удовлетворяющие следующим двум условиям:
1) для любой /-мерной сферы SczG с центром χ среднее
значение / вдоль 5 не превосходит f (х)\
2) для любого χ £ G и любого ε > 0 найдется такое δ > 0,
что
/ω>/(*)-ε.
если только
\у — *1<а. y£G.
[Отметим, что условие 1) есть частный случай
неравенства Μχ/(χ(τ))^./(χ), когда τ — момент первого выхода
из S]. Условия 1) и 2) составляют определение
супергармонической функции в области G, принятое в современной
теории потенциала*). Следовательно, можно сказать, что цена
игры — это неотрицательная супергармоническая мажоранта
функции выигрыша. Что касается оптимальной стратегии, то
*) Если функция / непрерывна и имеет непрерывные вторые
частные производные, то 2) выполняется автоматически, а 1)
сводится к неравенству Δ/ < 0, где Δ — оператор Лапласа (ср. вывод
уравнения Δ/ — 0 в § 4 гл. II).

§ 8] ОСНОВНОЕ СВОЙСТВО ВЫПУКЛЫХ ФУНКЦИЙ 123
она существует далеко не всегда. В любом случае, однако,
удается построить ε-оптимальные стратегии с помощью
ε-опорных множеств, подобно тому как это сделано для счетных
цепей Маркова в конце § 6.
Заметим еще, что поскольку при /^3 винеровская
траектория уже не попадает с вероятностью 1 в любую область,
то при / ^ 3 задача об оптимальной остановке представляет
интерес и в том частном случае, когда G совпадает со всем
пространством (ср. сноску на стр. 117).
§ 8. Доказательство основного свойства выпуклых
функций
Нам остается доказать, что в случае винеровского
процесса на отрезке [0, а] с поглощением в граничных точках
класс функций /(л:), χ £ [0, а], удовлетворяющих условию
/(*)>Μ,/(*(τ)) (21)
для любого марковского момента τ, совпадает с классом
неотрицательных выпуклых функций.
В одну сторону это делается совсем просто. Полагая в
(21) τ = οο, найдем, что /^0. Пусть, далее, отрезок [χν х2]
содержится в [0, а] и τ — момент первого выхода χ (t) из
[xv x2]. Согласно формуле (17) для этого τ
Μ,/(*(τ)) = /(*,)-ί^ + /(*2)-£=§-
Х2 х\ х2 х\
при хх <; χ <; х2. Следовательно, графиком функции Μ^/(*(τ))
при χ£[χν χ2] является отрезок прямой линии, соединяющий
точки графика функции f(x) с абсциссами хх и х2. Поэтому из
неравенства (21) вытекает, что любая хорда графика/ проходит
не выше самого этого графика, т. е. что функция / выпукла.
Значительно сложнее доказать, что всякая выпуклая
неотрицательная функция удовлетворяет условию (21), хотя по
существу рассуждение остается таким же, как при выводе
условия (21) в дискретном случае для эксцессивных функций.
Разобьем доказательство на б пунктов.
Г. Определим оператор Pt (t > 0) на ограниченных
функциях / (л:), 0 <; χ <; а, формулой
а
Ptf (χ) = Μ,/ (χ (/)) = / / (у) μ, (dy), (22)
о

124
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. Ill
где μ,(Γ) = Ρ^. {*(/)£ Г}, и положим
P00f(x) = hmPtf(x).
ί->οο
В силу марковского свойства процесс y(s) = x(s-\-t)
при любом фиксированном t > О является винеровским
процессом с поглощением на границах и начальным распределением
μ,(Γ). Поэтому, дважды пользуясь формулой (22), можем на*
писать, что
а
М,/ (У (*)) = j Му/ (х (*)) μ, (dy) =
о
а
О
С другой стороны,
м,/ (у (*)) = м,/ (х (t + s)) =-- pi+sf (s).
Следовательно, операторы Pt перемножаются по правилу
PtPs = Pi+s- (23)
Напомним для сравнения, что в случае дискретной цепи
Маркова
Mxf(x(n)) = Pnf(x),
где Ρ — оператор сдвига на один шаг. Таким образом, в
случае дискретного времени формула (23) сводится к обычному
правилу умножения степеней. Отметим, что семейства
операторов Pt (t > 0), перемножающихся по формуле (23),
называют однопараметрическими полугруппами.
Из определения оператора Pt непосредственно видно, что
если /^0, то и Я,/^>0 (оператор Pt положителен).
Применяя это свойство к разности функций / — g, получим, что
если f^g, то и Ptf^Ptg (оператор Pt сохраняет
неравенство между функциями).
Далее вычислим Pmf (χ). Мы знаем, что с вероятностью 1
частица из любой точки отрезка рано или поздно попадет
на конец отрезка и навсегда там останется. Следовательно,
при t->oo мера μ, интервала (0, а) стремится к 0, а мера
μ, точек 0 и α стремится соответственно к P^{a:(t) = 0} и

ОСНОВНОЕ СВОЙСТВО ВЫПУКЛЫХ ФУНКЦИЙ
125
Рх[х(т) = а}, где τ—момент первого выхода траектории из
интервала (0, а). Таким образом,
Λ*/ (*) = f (0) · Ρ, {х (τ) = 0} + / (а) Рх {* (τ) = а]
или, согласно формуле (17),
Л»/(*) = / (0)-^ + / (a)-J ·
Из полученного выражения видно, что P^f — это
линейная функция, значения которой в точках 0 и а совпа·
дают со значениями f (рис. 30).
2°. Для линейных функций f
Ptf = f. (24)
Согласно п. 1°, если / линейна,
то f = Poof. Переходя в
тождестве
Рис. 30.
к пределу при s->co, получим
(24). Нетрудно показать, что
справедливо и обратное утверждение (доказательство
предоставляем читателю).
3°. Если функция f выпукла, то
л/</.
При х = 0 и х = а с
вероятностью 1 л;(^)=л;(0), и потому
ptf(x) = mxf(x(t)) =
= М,/(*(0)) = /(*).
Пусть χ — внутренняя точка отрезка
[0, а]. Так как функция / выпукла,
то можно построить такую
линейную функцию /, что в данной
точке χ f(x) = f(x), а в остальных точках />>/ (рис. 31)
(доказательство этого свойства выпуклых функций приводится
в § 2 Добавления). Согласно п. 2°
pj=7.
*) См. сноску на стр. 108,

126 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
Так как /.">-/ на всем отрезке, а в точке χ значения / и /
совпадают, то
ρ J (χ) < ρ J (.*) = /(*) = / (χ)-
4°. Пусть α — какое-то число из интервала (0, 1).
Функции hy представимые в виде
сю сю
h (χ) = J a'Ptg (χ) dt = Mx j a!g (χ (/)) dt,
о о
где g^O, условимся называть α-потенциалами
[α-потенциалы играют в непрерывном случае ту же роль, что ряды
вида (8) в дискретном случае].
Покажем, что если />0, Ρ J></ при всех t и
функция f непрерывна во внутренних точках отрезка [О, а],
то, каково бы ни было а, 0 < а < 1, функцию f можно
представить в виде предела неубывающих а-потенциалов.
Пользуясь тождеством PtPs = Pi+S, можем написать, что
5 СЮ ОО
J a'Ptf dt = J α'/y dt — J ο! Ρ J dt =
0 0 5
со со
= \o}PJdt-\^tPs,Jdt =
о о
со
= \atPt{f-asPJ)dt,
или
где
J" α'Ρ,/tfi = J a'Ptgdt, (25)
о о
Β = 1=2&ί.. (26)
написанные интегралы сходятся, так как |α| < 1 и |/^/(л;)| =
= | М^./(д- (0) I ограничен числом sup |/(л:) |. Поскольку
X
0<Р,/></ и 0 < α < 1, то из (26) следует, что £>0. Таким
образом, в правой части формулы (25) стоит α-потенциал.

§ 8] ОСНОВНОЕ СВОЙСТВО ВЫПУКЛЫХ ФУНКЦИЙ 127
Очевидно, мы установим, что этот α-потенциал, не убывая,
сходится к / при 5->0, если проверим, что
Нт/у = / (27)
и что o!Ptf — невозрастающая функция аргумента /. Нужная
нам монотонность ofPtf вытекает из цепочки соотношений
a'+B/W < α'Ρί+Β/ = α'Ρ, (Puf) < ufPtf
{и > 0).
Чтобы доказать (27), вспомним, что
Ptf(x) = Nixf(x{f)).
При /->0 с вероятностью 1 x(t)—.>х, так как траектории
процесса χ(έ) непрерывны. Это значит, что с вероятностью 1
и f(x(t))->f(x) в тех точках х, где / непрерывна, т. е.
во всех внутренних точках (0, а). Но если случайная
величина f(x(t)) с вероятностью 1 сходится к константе /(л:),
то ее математическое ожидание сходится к математическому
ожиданию константы /(л:), т. е. к самому числу f(x)
[предельный переход под знаком математического ожидания
законен, так как при любом t случайная величина f(x(t))
ограничена одним и тем же числом k = sup | / (χ) |]. Таким образом,
χ
11mofPJ(χ) = 11m a' · 11m MJ(x (/)) = /(*)
(0 < χ < a).
Что же касается точек х = 0 и χ = α, где / может быть
разрывна, то в них Ptf (x) = f (x) при всех t\ отсюда сразу
следует (27).
5°. Если h(x) — а-потенциал и τ — любой марковский
момент, то
mxaxh(x(x))^h(x).
По условию
А (*)= М, jcfe (*(*)) Λ.

128 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
где g^O. Поэтому
сю сю
А(*)>М, jafg(x(t))dt = lAxax j asg(x(T + s))ds =
τ 0
оо
= Nijflx fasg(y(s))ds, (28)
о
где у (s) = χ (τ + s). По строго марковскому свойству
процесс у (s) при условии τ = ί, лг(т) = 1у является точно таким
же процессом, как χ(s), начинающимся в точке у*).
Следовательно,
оо
М,(<*т jasg(y(s))ds\T=t. х(т) = у) =
о
оо
= а'Му J asg (x (s)) ds = а'А (у),
о
Обозначая через F(t, у) совместную функцию распределения
пары случайных величин τ и л: (τ), можем поэтому написать,
что
оо оо α
Μ.νατ J* a*g (у (s)) ds = f J* αΆ (y) dF (t, y) = №xaxh (χ (τ)).
0 0 0
Подставляя это значение в формулу (28), получим искомый
результат.
6°. Теперь, наконец, мы можем доказать, что
неотрицательная выпуклая функция / удовлетворяет условию (21).
Из непрерывности выпуклой функции внутри отрезка [0, а]
и пп. 3° и 4° следует, что / при любом а£(0, 1) является
пределом неубывающей последовательности α-потенциалов Ар
А2, . .., hnt . . . Согласно п. 5°, каков бы ни был марковский
момент τ,
ΜΧΜ*(τ))<Μ*)</(*)·
*) Приводимым здесь интуитивно оправданным, но несколько
больным рассуждениям о том, что происходит при условии τ = t,
х (τ) = у, имеющем вероятность 0, можно придать вполне
корректную форму.

§8] ОСНОВНОЕ СВОЙСТВО ВЫПУКЛЫХ ФУНКЦИЙ 129
Поскольку hn монотонно сходится к /, в этом неравенстве
можно перейти к пределу при п->оо под знаком М^.. Таким
образом,
M//(iW)</W
при любом положительном а< 1. Еще раз переходя к
пределу при α —> 1, получим Жх/ (χ (τ)) <; / (χ).
В какой мере приведенное доказательство распространяется
на многомерный винеровский процесс? Как уже говорилось
в конце § 7, в общем случае роль выпуклых функций играют
супергармонические функции. Определяя по-прежнему
оператор Pt формулой
Ptf(x) = MJ(x(t)),
назовем неотрицательные функции /, удовлетворяющие
условиям
Ptf<f.
Ilm/V/-/. (29)
эксцессивными функциями (ср. определение эксцессивных
функций для цепей Маркова в § 3). По существу в
настоящем параграфе сначала было доказано, что неотрицательные
выпуклые функции эксцессивны, а затем установлено, что
эксцессивные функции удовлетворяют неравенству
Μ,/(*(τ))</(*)
при любом марковском моменте τ. Читатель легко проверит,
что эта вторая половина доказательства носит вполне общий
характер и' применима к многомерному случаю. Наоборот,
доказательство эксцессивности супергармонических
неотрицательных функций в многомерном случае сложнее, чем в
одномерном (мы не раз пользовались специфическими свойствами
выпуклых функций, например их непрерывностью во
внутренних точках отрезка). Кроме того, одномерный характер
задачи позволил нам в § 7 избежать вопросов, связанных с
измеримостью цены игры.
9 Е. Б. Дынкин, А. А. Юшкевич

130
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. Ill
ЗАДАЧИ
Выбор одного из двух лучших объектов
Пусть требуется выбрать один из двух лучших
(безразлично, какой именно) среди η объектов. Как и в случае,
разобранном в § 1, дело сводится к оптимальной остановке
некоторой цепи Маркова лг(0), х(\), х (2), ... В § 1
элементы этой цепи означали порядковые номера максимальных
объектов (точек), т. е. объектов, лучших, чем все уже
осмотренные. Ясно, что в новой задаче максимальность
следует понимать в более слабом смысле, считая объект ak
«максимальным», если среди уже осмотренных объектов
Р(кЛ)
Рис. 32.
av a2, ..., ak он является наилучшим или вторым по
качеству. Но этого мало. Значение χ {ι) должно
указывать не только порядковый номер соответствующего
«максимального» объекта, но и отмечать, является ли этот
объект наилучшим (т. е. максимальным в прежнем смысле)
или вторым по качеству. Поэтому фазовое пространство
цепи χ(ί) удобно представить в виде двух параллельных
строк из η точек, считая, что верхняя строка отвечает
объектам, лучшим всех предыдущих, а нижняя строка —
объектам, которые хуже ровно одного из предыдущих
(рис. 32).
1. Найти переходные вероятности цепи χ (/).
Ответ. Независимо от того, находятся ли точки
k и / в верхней или нижней строке,
^■о=,(/*Л7/-2) (Ζ>Λ)
k π
при /=2; k=\ дробь следует считать равной .
2. Найти вероятность успеха (функцию выигрыша) /
при остановке цепи в данной точке.

ЗАДАЧИ 131
Ответ. Обозначая индексом 1 величину,
относящуюся к точкам верхней, а индексом 2 — к точкам
нижней строки, имеем
гш- k(2n-k-\)
/iW— „(„_i) ·
hW— n(il_i)·
Те же соображения, которыми мы пользовались в § 6,
показывают, что цена игры ν последовательно находится по
формуле
*,(*)= max {/,(Л). Σ ρ (к, I)[г>,(/) + ?2(Oil (30)
(vx отвечает верхним точкам, v2— нижним). Обозначим
через Гу множество точек у'-й строки, в которых функции /
и ν совпадают (/=1, 2).
3. Множество Г2 имеет вид [т2, т2-\-\, .... п],
где т2 — наименьшее целое число, большее или рав-
2/2+1
Множество Г, также содержит все числа т2,
т2-\- 1. .... л·
Указание. Убедиться, что
η
Σ Ρ(*.0[/ι(0+/2(0]=2^Γη
и использовать формулу (30).
Обозначим через Bk множество, состоящее из Г2 и точек
/г+1, &-f-2, . .., η верхней строки {k < т2) и через
xk — момент первого попадания в Bk.
4. Если fi(k) < М^/(л; (τΛ)), то k не
принадлежит Гг Если k-\-\, £ + 2, ..., /г принадлежит Г{
и Л (*) ^ МЛ/(* (τΛ)), то /г тоже принадлежит Гг
Указание. При любом начальном состоянии
остановка в момент первого попадания в Гх (J Г2 является
оптимальной стратегией (см. § 5).
б. Найти распределение χ(τΛ) при начальном
состоянии k.
9*

132
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
Указание. Описать событие x(xk) = l в
терминах объектов ak+v ak+2, . ... av При k < / < т2
k
имеем Pk [χ(xk) = l) = ι/, ιν для точек / верхней
строки, при т2<^1^п имеем Pk { χ(xk) = I} =
= —γ ρ (m2 — 1. /) для точек / обеих строк.
6. Множество Tj имеет вид [mv тх-\-\, .... /г},
где тх — наименьшее положительное целое число, при
котором
VwT-1" /Я! + 1 "·" ' ' ' "■ т2 — 2/^ 2(/г— 1)
7. При неограниченном увеличении числа объектов η
,. /tci ,. tn2 2
hm—L = a, lim—- = -^-,
η η 3
3
где α — корень уравнения α — In α = 1 + In -g-,
меньший 1 (α ^0,347).
8. Вероятность успеха при оптимальной стратегии
стремится к α (2 — α) ж 0,574 при п->со.
Указание. Распределение в момент первого
попадания в множество Tj (J Г2 при любом начальном
состоянии 5 < пгх будет таким же, как распределение x(xk)
при k = тх — 1 в задаче б.
Дальнейшее обобщение задачи о выборе
Пусть теперь нужно с максимальной вероятностью
выбрать один из 5 первых по качеству объектов (при общем
числе η объектов (s < /г)). Фазовое пространство цепи χ (ι)
состоит в этом случае из s строк по η точек, и попадание
частицы в точку k у-й строки означает, что объект ak
занимает в группе av а2, ..., ak по качеству у'-е место.
Обозначим через fj(k) функцию выигрыша (вероятность
успеха) при остановке цепи в точке k у-й строки через
Vj(k)—цену игры в этой точке, через Гу — часть опорного
множества Г, расположенную в у-й строке.
9. Переходные вероятности p(k, I) цепи χ (ι) не
зависят от того, в каких строках находятся точки
с номерами k и /.

ЗАДАЧИ 133
Нетрудно показать, что
t>y(ft) = raaxf/y(ft). Σ Ρ(*. θΣ^(θ) (31)
[ср. формулу (30)].
10. Функция fj{k) монотонно возрастает по
аргументу k и монотонно убывает по аргументу у.
11. Двойная сумма в формуле (31) монотонно
убывает с ростом k.
Указание. Эта сумма равна ожидаемому
выигрышу при оптимальной стратегии, если запрещено
останавливаться на первых k объектах.
12. Множество Гу имеет вид {/Яу, ntj+v ..., п]ш
причем 1 <; тх <; т2 <! ,. . <; ms <! п.
S
13. Вычислить 2 //(*)·
7-1
Указание. Введем обозначения
А = [ak является одним из 5 лучших объектов},
Bj={ak является у-м по качеству среди объектов
αν α2, ..., ak].
Тогда
5 S
=*2ри/^р{^}=*р(А)=т·
7 = 1
14. В обозначениях задачи 12 при s^2
ί-1
lim
η ->оо
Указание. Вычислив
m5 _^/ s ~~
л ~" V 2s — Г
Js\K) — п(п — 1) ... (/г —5 + 1)
*(*-!).■■(S-S+l)

134
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ, III
использовать формулу (31) и задачу 12 (ср. случаи
s=\ и 5 = 2). При вычислении суммы в формуле (31)
применить тождество
со
LL (/-l)(/-2)...(/-s) =
l^k + l
_ 1 Ι
~5 —1 '(Λ—1)(Λ —2)... (* —s + 1)'
справедливое при 5^2.
Оптимальное правило остановки последовательности
независимых случайных величин
Пусть ξρ ξ2» ···» £л— независимые случайные величины,
принимающие значения из некоторого числового множества X,
и пусть f(k, χ) (k=\, 2, ..., η; χ ζ Χ) —
неотрицательная функция. Мы узнаем сначала |р потом ξ2» L· и т· Д·
Наблюдения могут быть прекращены в лнрбой момент k.
При этом выигрыш составляет /(&, ξΛ). Требуется найти
оптимальное правило остановки, при котором средний
выигрыш максимален.
Как и в задаче о выборе наилучшего объекта, можно
индукцией от конца к началу построить цену игры v(kt x)
и убедиться, что оптимальной является остановка в момент
первого попадания точки (&, ξΛ) в опорное множество Г,
состоящее из тех пар (&, х), для которых /(&, x)=v(k, x).
Постановка задачи сохраняется без изменений и для
зависимых случайных величин, но решение значительно осложняется тем,
что оптимальное правило остановки, вообще говоря, требует учета
всех наблюденных значений, а не только последнего. Интересно,
что, по-видимому, впервые задача об оптимальной остановке была
сформулирована как раз для зависимого случая. Именно, в 1874 г.
А. Кэли поставил следующую задачу *).
«Лотерея устроена следующим образом: имеется k билетов
стоимостью соответственно а, Ь, с, ... фунтов. Некто тянет один
билет; смотрит свой билет и, если угодно, тянет снова (из
оставшихся k—1 билетов); смотрит свой билет и, если угодно, тянет
*) The Educational Times 27 (1874), 189, Problem № 4528.
Решение там же 27 (1875), 237.

ЗАДАЧИ
135
снова (из оставшихся k — 2 билетов); и так далее, но всего не
более η раз, после чего получает стоимость последнего вытянутого
билета. Чему равны ожидания этого лица, если оно придерживается
способа действий, наиболее выгодного для него согласно теории
вероятностей?»
Кели сформулировал алгоритм для решения задачи,
использующий индукцию от конца к началу, и вычислил ответ для случая
k = 4, а = 1, Ь = 2, с = 3, d = 4 и η = 1, 2, 3, 4.
Выбор одного из 5 первых по качеству объектов (см.
задачи 9 —12) следующим образом сводится к выбору из
последовательности независимых случайных величин *).
16. Если объект ak занимает в группе αν α2, ..., ak
y'-e по качеству место, то положим
l-U+i.
ι < У < 5,
Случайные величины |,, ξ2, ..., |„ независимы и
вероятность /(/г, J) успеха при выборе объекта ak и
условии |ft = j равна
ПЬЛ=\ о, s+l</.
где fj (k)— функция из задачи 10.
16. Если f (k, x) — неубывающая функция
аргумента k и / ^> 0, то существует такая целочисленная
функция т (л:), χ ζ Χ, что множество Г задается
неравенствами m(x)<^.k<^.n. Если, кроме того, /(&, х)—
невозрастающая (неубывающая) функция х, то т (х)—
неубывающая (невозрастающая) функция х.
17**). Пусть ξΛ распределены равномерно на
отрезке [0, 1] и f (k, x) = x.
Тогда
т(х) = п — k при Хь^х <xk+v
*) См. Гусейн-заде, Задача выбора и оптимальное
правило остановки последовательности независимых испытаний,
Теория вероятностей и ее применения, 11:3(1966), 534—537. В этой
работе получены также результаты, другим способом изложенные
в предыдущих циклах задач.
**) См. L. Moser, On a Problem of Cayley, Scripta Math.
22 (1956), 289—292.

136 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ (ГЛ. Ill
где числа xk находятся из соотношений
1+4 _п
xk+\— 2 * Х° —
Указание. Индукция по k показывает, что
дл_/ х» °<x<xk>
~ \ х, лгл<л:<1.
18. В предыдущей задаче при &->оо
л 2
\-χ*~Ύ.
Указание. Полагая
ι 2
x*=l— ίΓ'
получим, что
Д*+1 = Д*+1-т- ak_i » α0=2·
Отсюда последовательно находим, что ak -> оо,
aki.x — ak->\, -γ—>\. Лучшую оценку
/5+(1+τ + ···+τ)+1<^<
<*+(1+τ+··· + τ)+2
и дальнейшие уточнения можно найти в цитированной
работе Мозера.
Оптимальная остановка общей цепи Маркова
19. Если в цепи со счетным числом состояний
опорное множество Г достижимо с вероятностью 1 из любого
состояния х, то остановка в момент первого попадания
в Г является оптимальной стратегией.
Указание. Рассмотреть момент τε первого
попадания в ε-опорное множество Γε и устремить ε к 0.
20. Состояние а принадлежит опорному множеству Г
тогда и только тогда, когда существует эксцессивная
функция h всюду большая или равная функции
выигрыша / и совпадающая с / в точке а.

ЗАДАЧИ 137
21. (Метод последовательных приближений*).)
Пусть /+ — функция, равная функции выигрыша /
там, где / >- 0, и равная 0 там, где / < 0, и пусть
оператор Q задан формулой
<?/(*) = max {/(*), Ρf{x)}.
Тогда Qnf+ монотонно сходится к цене игры ν при
Указание. Функция Q°°/ = lim Qnf является
эксцессивной мажорантой /.
Плата за игру
Пусть за каждый переход из χ в у взимается плата
Φ (л:, у). Если при любом начальном состоянии χ
математическое ожидание платы до момента обрыва цепи ζ
F(x)=IAx Σ ®(x(t— 1), x(t))
конечно, то задача об оптимальной остановке сводится
к случаю, когда платы за игру нет.
22. Для любого марковского момента τ
τ
t = l
Указание. Ср. доказательство формулы (24) из
§ 5 гл. I.
23. Величина
М,
[/(*(τ))- Σ Ф(*(^-1). *(0)]
достигает своего наибольшего значения при марковском
моменте τ в том и только в том случае, если τ
является оптимальной стратегией в задаче об
остановке цепи x(t) с функцией выигрыша / (х) -f- F (χ).
*) Предложен А. Д. Вентцелем.

138
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
Неограниченные функции выигрыша
В главе III предполагалось, что функция выигрыша /
ограничена. Откажемся от этого предположения, считая,
что / неотрицательна (тогда всегда будет существовать
конечное или бесконечное математическое ожидание №xf (χ (τ))).
Определим цену игры и класс эксцессивных функций так же,
как в §§ 2 и 3, но допуская для этих функций
значение -|-оо.
24. Любая эксцессивная функция / является
пределом неубывающей последовательности ограниченных
эксцессивных функций.
Указание. Рассмотреть fn(x)= min {/г, /(χ)}.
25. Распространить неравенство Mxf (χ (τ) )<;/ (χ)
(τ — любой марковский момент) на эксцессивные
функции, принимающие значение -j-00·
26. Цена игры ν является эксцессивной
мажорантой функции выигрыша /.
Указание. Функция ν является пределом
неубывающей последовательности {νη)> где νη — цена игры,
отвечающая функции выигрыша fn из задачи 24.
27. Цена игры ν может быть бесконечной при
конечной функции выигрыша /.
28. Средний выигрыш при остановке в момент
первого попадания в ε-опорное множество Γε
необязательно стремится к цене игры при ε | О, когда цена
игры конечна.
Указание. Рассмотреть случайное блуждание по
целым точкам луча χ ^ 0 с поглощением в нуле и
взять функцию выигрыша /(0)=1, f(k) = k (&^1).
Граница Мартина
Метод Мартина (развитый далее Дубом *)) позволяет
вскрыть строение множества всех эксцессивных функций,
связанных со счетной цепью Маркова.
Пусть χ(έ) — цепь Маркова на счетном фазовом
пространстве Е, у которой при любом начальном состоянии χ
*) J. L. Doob, Discrete Potential Theory and Boundaries, J. of
Math, and Mech. 8 (1959), 433—458,

ЗАДАЧИ
139
вероятность возвращения в χ меньше 1. Обозначим через
g(x, У) математическое ожидание числа попаданий в точку у
при начальном состоянии χ {функция Грина; ср. § 5 гл. I).
29. Доказать, что
g(x, y) = ny(x)g(y, у),
где яу(х) — вероятность, выйдя из х, когда-нибудь
попасть в у.
Из задач 29 и 2 гл. I вытекает, что
g(x, y)<co
для любых х, у.
Распространим на случай цепи x(t) определения
потенциала и гармонической функции, данные в гл. I для
симметричного случайного блуждания: потенциалом
неотрицательной функции φ называется функция
αφ = φ+.Αρ + ^2φ+ . . . + Ρ"φ-μ
гармонической функцией называется функция /г, для которой
Как и в § 5 гл. I, устанавливается, что
Οφ(χ)= Σ g(*> У)Ч>(У)>
что потенциал эксцессивен и что любая эксцессивная
функция / записывается в виде Οφ-|-Λ, где φ = / — Pft
h= lim Pnf — неотрицательная гармоническая функция.
η -> оо
30. Эксцессивная функция / является потенциалом
тогда и только тогда, когда Pnf—>0 при /г—>оо.
31. Минимум из эксцессивной функции и потенциала
является потенциалом.
32. Любая эксцессивная функция является пределом
неубывающей последовательности потенциалов.
Указание. Занумеруем точки пространства £ и
обозначим через Вп множество первых η точек. Тогда
функции
fn = mm {nG% , /}
βη
образуют нужную последовательность потенциалов (χβ—
характеристическая функция множества В).

140 ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
Предположим дополнительно, что для некоторого
состояния 0£Е вероятность яу(0) положительна при всех у£Е*).
Тогда и g(0, у) > 0. Согласно задаче 32 для эксцессивной
функции / найдется последовательность функций φΛ ^ 0
такая, что
/(*)= Um 2ff(*. у)фя(у). (32)
Вводя ядро Мартина
ч _ g (*, У) _ fly W
Λ(Λβ У)—^(0,у) _яу(0)
(см. задачу 29), перепишем (32) в виде
/(*)= Нт Σ Нх9 y)μn(y), (33)
где μΛ — последовательность мер на Ε, заданных формулой
μΛω = £(θ, у)фя(у). (34)
В тех случаях, когда требуется подчеркнуть, что k (x, у)
рассматривается как функция х£Е при фиксированном
значении у, будем вместо k (χ, у) писать ky(x).
33. Различным состояниям у£Е отвечают
различные функции ky (χ).
Указание. Функция ky (χ) — Pky{x) отлична от
нуля в единственной точке х = у.
34. Значения всех функций ky (x) в данной точке
х£Е ограничены числом—γττ-*
Пх (U)
Указание. Использовать задачу 29 и неравенство
яу(0)>я^(0)яу(л:).
Задача 33 показывает, что функции ky{x) (y£E)
находятся во взаимно однозначном соответствии с точками у
пространства Е. Присоединим к семейству функций \ky)
всевозможные пределы этих функций (иными словами,
замкнем набор функций ky, исходя из покоординатной
сходимости). Согласно задаче 34 и задаче 4 к гл. I полученное
*) В общем случае те же построения применимы к цепи
Маркова, которая получится, если ограничиться множеством 5
состояний, достижимых из состояния 0 (очевидно, нз 5 нельзя попасть
в E\S).

ЗАДАЧИ
141
множество функций К будет компактом. Отождествляя точки
у£Е с соответствующими функциями kyt можем сказать, что
пространство Ε вложено в компакт К. Множество В = К\Е
называется границей Мартина для цепи Маркова x(t).
Элементы множества В, как и элементы Е, будем обозначать
либо буквой у, либо, если нужно подчеркнуть, что они
являются функциями на пространстве Е, символом ky(x).
35. Функция ky{x) является эксцессивной при
любом у ζ К.
Если функция ρ (χ, у) при каждом χ отлична от нуля
лишь для конечного числа значений у, то ky(x)
является гармонической функцией при у£В.
Указание. Остановимся на случае у £ В. Если
у = Hm yn (уп £Е), то, согласно указанию к задаче 33,
П ->оо
при любом х£Е
ky(x)= lim ky (x)= lim Pky (x) =
Я -» OO П /1 -> OO П
= lim 2 P(*. *)*Уя(*)>
> 2 lim p(x, z)L· (z) = Pky(x).
z£En->oo n
(Нетрудно проверить, что если величины ип {ζ)
неотрицательны и un(z)-> u(z), то
lim ΣΜ<ζ)>Σ^0ζ)·)
η ->οο ζ ζ
Если суммы конечны, то имеет место знак
равенства.
36. Для мер μΛ, заданных формулой (34),
последовательность μη (Ε) ограничена.
Указание. Положить в (33) л; = 0.
Продолжим меры μη на весь компакт /С, полагая μη(Β)=0.
Тогда формулу (33) можно переписать в виде
/(*)= lim
η -> оо
ΪΣε k (х. У) μ„ (У) Ι- J А (х. У) μ„ (<*У)1 =
= lim f k (χ, у) μ„ (dy), (35)
n + coJ
где k (at, y) = ky(x) (x£E, y£K).

142
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. Ill
По самому построению компакта К функция k (χ, у)
непрерывна по у при любом х. По теореме Хелли *),
если {μΛ} — последовательность мер на компакте К такая,
что значения μΛ (К) ограничены, то можно построить на К
меру μ и выбрать из {μΛ} подпоследовательность (μΛ } так,
k
чтобы для любой непрерывной функции F (у) (у£К)
lim Г ?ψ)μη (dy)= f F(y)V>(dy).
* + <»* k к
В применении к формуле (35) это приводит к равенству
/(*)= f k(x, y)μ(dy), (36)
к
где μ — конечная мера на /С, зависящая от эксцессивной
функции /.
37. Любая функция /, представимая в виде
интеграла (36) с μ(/0<οο, является эксцессивной.
Указание. В. случае неотрицательных функций
можно менять порядок суммирования и интегрирования.
Обозначим через V множество всех эксцессивных
функций, удовлетворяющих условию /(0)= 1. Легко видеть,
что V—выпуклое множество (см. задачи к гл. I).
38. Любая эксцессивная функция, кроме
тождественно равной 0, записывается в виде cf(x), где
/€^. оо.
Указание. Нужно проверить, что если / эксцес-
сивна и /(0) = 0, то / = 0 всюду. Это легко выводится
из достижимости всех состояний из 0 и неравенства
Мд./ (χ (τ)) < / (χ) (τ — любой марковский момент).
*) Хелли доказал эту теорему в случае, когда К — отрезок.
Это доказательство можно найти в любом университетском курсе
теории вероятностей (см., например, [10], гл. IV, § 11.2). Общее
доказательство нетрудно получить, сопоставляя следующие два
факта: 1) в банаховом пространстве С всех непрерывных функций
на компакте К любой неотрицательный линейный функционал /
выражается как интеграл по некоторой конечной мере ν; при этом
||/|| = ν(/0 (см., например, X а л м о ш, Теория меры, ИЛ, М., 1953,
§ 56); 2) из всякой последовательности линейных функционалов
с ограниченными нормами можно выбрать слабо сходящуюся
подпоследовательность (см., например, Л. А. ЛюстерникиВ. И.
Соболев, Элементы функционального анализа, Гостехиздат М.—Л.,
1951, гл. III, § 24).

ЗАДАЧИ
143
39. Все крайние точки множества V содержатся
среди функций ky (χ) (у £ Κ).
Указание. Пусть /—крайняя точка множества V.
Полагая в (36) х = 0, получим, что ц(/С)=1.
Поскольку К — компакт, найдется такая точка ζ£Κ, что
μ(£/)>0 для любой окрестности U точки ζ. Если
μ(ί/)< 1, то из представления
j k(xt y)\Kdy)
J k (χ, y)v{dy)
+ \^k\u)k^{K_U)
следует, что
и
(см. задачу 37). Очевидно, это же верно и при μ(ϋ) = 1.
Стягивая U к точке ζ, получим, что f(x)=kz(x).
40. При у £ Ε функция ky (x) является крайней
точкой множества V.
Указание. При у £ Ε
ky(x) = G<p(x),
причем φ (λ:) отлична от 0 в единственной точке у.
Если
ky(x) = afx(x)-\-$f2{x)y
где /Р /2€V, α>0, β > 0, α + β=1, το fx и /3
тоже являются потенциалами некоторых функций φ, >0
и φ2^0 (см. задачу 31). Нетрудно проверить, что
αψι +■ βφ2= Φ» откуда следует, что (рг и φ2
пропорциональны φ, и поэтому /1 = /2=&у.
Легко видеть, что подмножество Η гармонических
функций из V также является выпуклым множеством.
41. Все крайние точки множества Η содержатся
среди функций ky (x) (у £ В).
Указание. Из представления эксцессивной
функции в виде Gcp-f/* вывести, что крайняя точка
множества Η является также крайней точкой множества V,

144
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. Ill
Обозначим через Ве множество тех точек границы В,
которым отвечают крайние функции из Н. По теореме
Шоке*), если Η — компактное выпуклое множество в
пространстве последовательностей и Ве—множество крайних
точек Ht то любой элемент h£H представляется в виде
интеграла из крайних функций по некоторой конечной мере ν
на Ве.
Таким образом, любая гармоническая положительная
функция h записывается в виде
h(x) = J k(x. y)v(rfy). (37)
Записывая потенциал Οφ (φ ^ 0) в виде
Gq>(*)= Sff(*. i»q>0»= Σ*(*. у) ν (у),
У£Е у^Е
где v(y) = g*(0, у) φ (у), получаем для произвольной эксцес-
сивной функции / = Gcp-f- h представление
f(x)= 2*(*. y)v(y)+ \ k(x, y)\(dy) =
У£Е <
Be
= J k(x, y)x(dy).
E[)Be
Из другой теоремы Шоке выводится, что полученное
представление для f(x) единственно.
По существу мы уже имели дело с границей Мартина
в задачах к гл. I, где было вычислено множество Ве для
несимметричного случайного блуждания на плоскости (см.
задачи 42—47). Другой поучительный пример вычисления
границы Мартина дается в следующем цикле задач.
*) См., например, О. С h о q u e t et P. A. Meyer, Existence et
unicite des representations integrates dans les convexes compacts
quelconques, Ann. Inst. Fourier, Grenoble, 13 (1963), 139—154, где
эта теорема доказана для любого локально выпуклого линейного
топологического пространства.

ЗАДАЧИ
145
Случайное блуждание на свободной группе с конечным
числом образующих*)
Свободная группа G с образующими av a2, .... ат
строится следующим образом. Рассматриваются слова
αιχ αι2 . . . α/ произвольной длины /г, причем индексы
принимают значения ±1, ± 2, . . ., ± т. Приписывая одно
слово к другому, получаем произведение этих слов.
Обратный элемент определяется формулой (ai at ... at \~x =
= α-ι ... α_/ α_/ . Единицей является «слово» е, не со-
П 2 *1
держащее ни одной буквы. Два слова задают один и тот
же элемент группы тогда и только тогда, когда одно из них
можно получить из другого, вписывая или стирая
произвольное число раз произведения вида #7·#_7· Для каждого
элемента существует однозначно определенная запись из
минимального числа букв.
Пусть ρν ..., рт, ρ_ν ..., р_т — положительные числа,
составляющие в сумме единицу. Предположим, что за
единицу времени слово g превращается с вероятностью рь
в слово gal (если g = ai{ ... α^, то gai = ai{ ... aifi_i
при / = — in). Определенную таким образом цепь Маркова
мы будем называть случайным блужданием на группе G.
42. Вероятность г(х), исходя из х, когда-нибудь
снова попасть в это состояние, одна и та же для всех
χ 6 О.
43. Если рьФ ρ_ι хотя бы при одном /, то
г(*)< 1.
Указание. Если /?/>/?_/. то с вероятностью 1,
начиная с некоторого момента, число появлений буквы аь
будет превосходить число появлений буквы a_t (это
следует из невозвратности несимметричного случайного
блуждания на прямой — см. гл. IV, § 4).
44. Если все pt равны друг другу и число
образующих w^2, то г(л:)<1.
Указание. С вероятностью — ~ минимальная
запись слова χ Φ е удлиняется на одну букву, с вероят-
*) См. Е. Б. Д ы н к и н и М. Б. Μ а л ю τ о в, Случайное
блуждание на группах с конечным числом образующих, ДАН 137
(1961), 1042—1045.
10 Е- Б. Дынкин, А. А. Юшкевич

146
ЗАДАЧА ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ [ГЛ. III
ностью 1/2/я — укорачивается на одну букву, и дело
сводится к несимметричному случайному блужданию на
полупрямой (см. гл. IV, § 4).
Более тонкие соображения показывают, что г (х) = 1
в единственном случае т=1, Рх = Р-\ = -$ - В дальнейшем
мы будем предполагать, что г(л:)< 1, и будем пользоваться
только минимальной записью элементов группы.
45. Выразить ядро Мартина k (χ, у) = ky (x) через
вероятности ut когда-либо из е попасть в at (i= ±1,
± 2, .... ±т).
Ответ. Если χ = αι . .. αι , y = aj .. . aj и
в этих двух словах совпадают буквы от первой до &-й,
а h+ι Φ Λ+ι· το
*(*. У) = ""W'„""'"· (38>
11 ; . . . И i
h h
46. Последовательность ky (χ), ky2(x), ..., ky (χ), ...
сходится при каждом χ £ G тогда и только тогда,
когда число совпадающих с начала букв в словах
Уп* Уп + v Уп+2> · · · стремится к бесконечности при
/г->оо.
Указание. Предварительно убедиться, что uiu_l< 1
(ί = 1, .. ., m).
В силу задачи 46 точки границы Мартина
естественным образом отождествляются с бесконечными словами
y=aiai2 ... ain .. ., где /* + /Λ+1¥=0 (*=1, 2, ...)·
Граница Мартина Б состоит из всех таких слов. В силу
задачи 35 функция ky (χ) является гармонической при у £ В.
47. Функции ky (x) при у £ В являются крайними
точками множества Η (см. задачу 41).
Указание. Пусть y = ajaj2...aj ... и
Μ*) = α/ι(*)+βΛ(*) (*€0).
где /lf /26#. α>0, β > 0, α-|-β=1. Положим
ys=aj aj2 ... а у (5=1,2,...). Из неравенства
/|(*)>М^(*Сс)) (см. § 3) следует, что
/| (*) > /< (У*) *у, (*) (ί = 1. 2), (39)

ЗАДАЧИ 147
где nz(x)— вероятность когда-нибудь попасть из χ
в ζ (χ, z£G). Если слово χ содержит п. букв и n^s,
то в силу (38)
ky(x) = nys(x)ky(ys). (40)
Поэтому при η ^s
ky (χ) = α/, (χ) + β/2 (x)>nys (*) [α/ι (У,) + β/2 (У,)1 =
= Яу5(*)Ау(у5) = Ау(*).
и, значит, в (39) при /1^5 на самом деле имеем знак
равенства. Вместе с (40) это дает пропорцию
//(*) _fi(ys) (n<*\
T^)~ky(ys) W<*s>'
откуда без труда выводится, что /iW=/2W=^W·
Таким образом, в рассматриваемом случае Ве = В.
48. Все положительные гармонические функции
получаются по формулам
/00 = ν,
/(в/ ...a, )=v(f"···■'«>+
где ν и v(/lf ..., ίη) — произвольные неотрицательные
числа, удовлетворяющие соотношениям
т
ν(*ι. ·... ln)= 2 v(/lf .... /я, /Λ+ι) +
^/ι+ι"11
— m
+ 2 v(/j,.... /я, /я+1)
(я = 0. 1. 2, ...)
[при п = 0 под v(/lt ..., in) подразумевается число ν].
Указание. Использовать формулы (37) и (38).
10*

ГЛАВА IV
ГРАНИЧНЫЕ УСЛОВИЯ
§ 1. Введение
Вероятностный подход к задачам анализа оказался весьма
плодотворным при изучении одного из центральных
вопросов теории дифференциальных уравнений — исследования
краевых задач для таких уравнений. С вероятностной точки
зрения речь идет о поведении траекторий диффузионных
процессов на границе области. Чтобы объяснить суть дела,
рассмотрим винеровский процесс в плоской области G,
ограниченной некоторой кривой (рис. 33). Пока частица
остается внутри области G, ее
движение управляется характери-
1 А
стическим оператором -^ Δ, где
Δ — оператор Лапласа (см. § 9
гл. II). Что может произойти при
выходе частицы на границу
области?
Можно представить себе, что,
достигнув границы, частица
отскакивает внутрь области в фиксированную точку у.
Дальнейшее течение процесса полностью определено, так как
внутри G закон движения известен. Очевидным обобщением
этого случая является отскок частицы внутрь G с
некоторым распределением вероятностей π (вообще говоря,
зависящим от граничной точки г). Другие возможности, знакомые
нам по гл.. III,—это поглощение (частица навсегда остается
в той точке границы, в которую она впервые попала) и
исчезновение в момент первого выхода на границу. Наконец,
одним из основных граничных эффектов является отраже-
Рис. 33.

§ И
ВВЕДЕНИЕ
149
ние. Наиболее просто отражение определяется для процесса,
протекающего в полуплоскости. Например, если G —
полуплоскость χλ > 0, то нужно сперва рассмотреть траекторию
x{t) на всей плоскости, а затем часть траектории, попавшую
на левую полуплоскость χλ < 0, симметрично отразить
относительно оси х2 (рис. 34).
В то время как внутри области G процесс задается
оператором -~-Δ, различные продолжения процесса после выхода
на границу аналитически описы- х,
ваются с помощью граничных
условий. Эти условия появляются
при вычислении
характеристического оператора 51 в точках
границы области.
Напомним, что по
определению
Mxf(x(r))-f(x)
%f(x)= lim
Μ, (τ)
где τ — момент первого выхода рис. 34.
из окрестности U точки х.
Если в граничной точке г происходит поглощение, то
при х=г знаменатель в формуле (1) обращается в оо, и
мы получаем граничное условие
91/(г) = 0. (2)
Чтобы получить граничное условие для отскока в точку у,
сначала допустим, что перед скачком в у частица проводит
в граничной точке г случайное время ξ с распределением
Рг {I > *} =e~at *). Тогда для окрестности U точки г, не
содержащей у, момент τ совпадает с ξ и
При этом / (дг (τ)) = / (у) и из (1) вытекает, что
χ Я/(г) = /(у)-/(г).
*) Только при таком распределении процесс может обладать
марковским свойством — см. § 2 (петит).

150
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
Если устремить а к бесконечности, то в пределе ξ
обратится в нуль, и мы получим мгновенный отскок из г в у.
Предыдущее равенство перейдет при этом в граничное
условие
/С)-/(у) = о.
Если отскок из г происходит в случайную точку у с
распределением π (Г), то аналогичные соображения приводят
к более общему граничному условию
fir)— \ / (у) π №0 = 0. (3)
о
или, что то же самое,
j[/(r)-f(y)]n(dy) = 0. (4)
о
Процесс с исчезновением на границе можно считать
вырожденным случаем процесса с отскоком, когда мера π
равна 0. Из (3) получаем для этого случая граничное условие
/(Ό = 0. (5)
Наконец, отражению на границе χλ = 0 области G
(рис. 34) соответствует граничное условие
ϋ£<η=ο. (6)
Для пояснения этого условия заметим, что отражение можно
получить предельным переходом из отскока, считая, что из
граничной точки г частица отскакивает на расстояние h
в направлении оси xv a затем устремив h к 0. При отскоке
вправо на расстояние h граничное условие (3) принимает вид
/(А. *2> —/(0. *2) = 0,
где х2 — ордината граничной точки г. Поделив это
равенство на h и перейдя к пределу при h | 0, получим
граничное условие (6).
Помимо перечисленных простейших граничных условий,
можно вводить и более сложные условия. Задача описания
самых общих граничных условий в настоящее время далеко
продвинута. Однако ее исчерпывающее решение получено

§ И
ВВЕДЕНИЕ
151
лишь в одномерном случае. Пусть χ(έ)— винеровский
процесс на полупрямой (—оо, 0]. Самое общее граничное
условие для x(t) в точке 0 имеет вид
о
β31/(0)+α/'(0) + γ/(0)+ J[/(/-)-/(y)]*(rfy) = 0. (7)
— ОО
где α, β, ν — неотрицательные константы и л — мера на
полупрямой (—оо, 0) такая, что
о
π((—оо, —1))— Г ул(с1у)<оо .
-1
При этом числа α, β, γ и δ = π((—оо, 0)) не должны
одновременно равняться 0. Если а = γ = δ = 0, β Φ 0, то (7)
обращается в условие (2) и мы имеем поглощение. При
афО, β=γ=δ=0 получаем условие, аналогичное
условию (6), т. е. отражение. Случай γ Φ 0, α = β = δ=0
приводит к условию вида (5) и отвечает исчезновению. Если
α = β = γ — 0 и 0<6<оо, то, поделив уравнение (7) на δ,
придем к условию вида (4), т. е. получим отскок с
распределением π/δ. В общем случае имеем комбинацию всех этих
эффектов. (Наглядный смысл граничного условия с
бесконечной мерой будет разъяснен в § 8.)
Переход от винеровского процесса к диффузионному
процессу, отвечающему дифференциальному оператору
L = a(x)-^2 + l>(x)±
(ср. § 9, гл. II), приводит к новым интересным явлениям:
в зависимости от поведения коэффициентов а (х) и b (χ)
становятся невозможными некоторые из граничных условий (7).
С вероятностной точки зрения дело заключается в том, что
точка 0 может оказаться недостижимой для траектории, и
тогда процесс определяется оператором 31 однозначно без
всяких граничных условий. Но даже если граница достижима,
то не всегда возможно отражение.
В этой главе мы изучим граничные условия не для
диффузионных процессов, а для их дискретного аналога —

152
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
процессов размножения и гибели. Не меняя принципиальной
картины, это позволит исследовать траектории процесса более
элементарными средствами (вместо дифференциальных
операторов мы будем иметь дело с разностными операторами) *).
§ 2. Процесс размножения и гибели
Дискретной моделью винеровского процесса служит
симметричное случайное блуждание по целочисленной решетке,
хорошо знакомое нам по первой главе. Чтобы получить
дискретный аналог x(t) произвольного одномерного
диффузионного процесса, нужно отказаться от симметрии
блуждания и допустить, что вероятности скачков из точки η в
соседние состояния η—1 и /г —|— 1 равны не 1/2, а произвольным
числам qn и рп, удовлетворяющим условиям
Ря>0. ?л>0, pn + qn=l (8)
(рис. 35). Однако и после такого допущения модель, в
которой время между двумя последовательными перемещениями
± j_
*; / , чп"» Рп
о / г n-t n n+j
Рис. 35.
частицы фиксировано и равно 1, еще слишком груба, чтобы
передать ряд важных эффектов, встречающихся в теории
диффузии. Поэтому будем предполагать, что временной
параметр t меняется непрерывно, как в случае винеровского
процесса, а не принимает только целочисленные значения.
Можно показать, что если время \п от попадания
в точку η до выхода из этой тонки распределено по
показательному закону
P{ln>t}=e-an' (f>0). (9)
где
0<а„<схэ, (10)
*) С иной точки зрения этот же вопрос рассмотрен в работе
Ван Цзы-куна, Классификация всех процессов размножения и
гибели, Научные доклады высшей школы, физ.-мат. науки (1958),
№ 4, 19—25. В неопубликованной диссертации Ван Цзы-куна
осуществлено построение этих процессов предельным переходом от
случая отскока с данным распределением.

§2]
ПРОЦЕСС РАЗМНОЖЕНИЯ И ГИБЕЛИ
153
(а также не зависит от предшествующего поведения частицы),
то случайная траектория x(t) обладает марковским
свойством. Это значит, что при условии χ (s) = n процесс
y(t) = x(s-\-t) не зависит от поведения x(t) до момента 5
и имеет то же распределение вероятностей, что и процесс
x(t)t начинающийся в момент 0 в состоянии п.
У читателя может возникнуть вопрос, нельзя ли рассмотреть
другой закон распределения для времени ξΛ до выхода из
состояния η при условии, что χ (0) = п. Покажем, что если процесс χ (t)
марковский, то ξΛ обязательно распределено по показательному
закону.
В самом деле, пусть ρ (t) (t > 0) — вероятность события
{х(и) = п, 0<ы<;/} при условии χ (0) = п. При любых 5, t > 0
событие {лг(и)==/г, 0< ы< 5 + 0 равно пересечению событий
{л:(и)==/г, 0<w<s} и {у(и)==/г, 0<и<^}, где у (и) = x(s + и).
Поэтому, если марковское свойство выполняется, то
P{s + t) = p(s)p{t) (5, *>0). (11)
Все ограниченные решения уравнения (11) имеют вид
P(t) = e
где ап—константа, 0<!дл< + оо (см. Добавление, § 3). Из
включения событий
{х(и) = п, 0<w</}cz{gw>/} a{x(u) = n, 0<ы</ — h)
(0 < h < t)
вытекает, что
P(t)<*n{ln>t)<P(t-h) (0 < h < 0,
откуда при /г ψ 0 получаем Рп {£„>/} = p(t). Итак, ξΛ имеет
показательное распределение (9) с 0 < ап ■< + °° ·
Если ап = + оо, то с вероятностью 1 время ξΛ = 0 и частица
мгновенно выскакивает из состояния п. Напротив, если ап — 0, то
с вероятностью 1 время ξΛ = +οο и частица никогда не выходит
из /г. Оба этих крайних случая возможны, но не представляют для
нас интереса и поэтому исключены из рассмотрения.
Из (9) вытекает, что математическое ожидание времени ξΛ
равно \\ап.
Чтобы не иметь дела с комбинациями двух граничных
условий (в точках — со и -\- со), мы предположим, что
блуждание происходит только по состояниям 0, 1,2,..., /г, ...
так, что
<7о = °> Ро=1· (12>

154
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
Кроме того, вместо (8) мы допустим, что
<7л>0, рл>0, рп + дп=\ (я>0). (13)
так что из любого состояния, отличного от 0, можно пойти
как налево, так и направо.
Наконец, будем считать, что в самый момент перескока
из η в η ± 1 частица находится в точке η ± 1, а не
в точке /г. Это значит, что траектория x(t) частицы
предполагается непрерывной справа функцией t. Доказывается,
что в таком случае наш процесс обладает не только
марковским, но и строго марковским свойством; последнее
получается заменой в марковском свойстве фиксированного
момента 5 любым марковским моментом τ (ср.
соответствующие определения в § 3 гл. II и § 2 гл. III).
Итак, интересующий нас процесс x(t) задается набором
констант рп% qn и ап (/г = 0, 1, 2, ...), удовлетворяющих
условиям (10), (12) и (13), и выглядит следующим образом.
В начальный момент времени частица находится в некотором
состоянии х0. В момент τ^ имеющий показательное
распределение с параметром аХо, она переходит в новое
состояние ху При этом хх = х0—1 с вероятностью дХо, χλ = х0-\- 1
с вероятностью рХй. Частица остается в состоянии хх до
момента τ2, когда она переходит в следующее состояние х2.
При этом τ2 — tj имеет показательное распределение с
параметром αΧχ и х2 = хг—1 с вероятностью qXx и х2 = х1-\-\
с вероятностью ρΧχ. Вообще, в момент хп частица переходит
из хп_г в хп. При этом хп — тя-1 имеет показательное
распределение с параметром ах _ и xn = xn-i— 1 с
вероятностью qx _ t xn = xn-i -\- 1 с вероятностью рх и т. д.
до бесконечности. Построенная таким образом траектория
x(t) определена на случайном полуинтервале [0, Г), где
Т= lim xn (14)
η ->оо
— момент накопления скачкое.
Описанный сейчас процесс x{t) называют процессом
размножения и гибели. Это название связано с
интерпретацией χ (t) как числа особей в момент t. Перескок частицы
на 1 вправо отвечает рождению новой особи, перескок на
1 влево — гибели одной из особей. Так как из состояния η
скачки возможны только в соседние состояния п-\- 1 и η— 1,

§ 3] КАНОНИЧЕСКАЯ ШКАЛА И ВЕРОЯТНОСТИ ВЫХОДА 155
то при такой модели одновременное рождение (или гибель)
двух и более особей имеет вероятность 0. С точки зрения
приложений к биологии это ограничение может показаться
стеснительным. Однако именно оно обеспечивает аналогию
между процессом с пространством состояний (0, 1, 2,.... /г, ...}
и диффузионным процессом на полупрямой [0, оо) с
непрерывными траекториями: переход из точки χ в точку у
возможен только через все промежуточные состояния.
Отвлекаясь от биологического смысла процесса
размножения и гибели, мы можем состояния этого процесса
переместить из целых точек 0, 1,2, .. ., /г, ... в точки любой
монотонной последовательности и0 ^ их ^ . . . ^ ип ^ . . . Тогда
процесс размножения и гибели окажется дискретным
аналогом диффузионного процесса на промежутке [и0, г), где
г= lim un. При этом точка г будет играть роль
единственной граничной точки фазового пространства
{и0, и19 ..., ип% ...}.
Мы будем искать продолжения процесса x(t) после
момента накопления скачков Τ (в случае, когда Τ < оо).
Окажется, что дело сводится к изучению граничных условий
в точке г. Предварительно придется выяснить, в каких
случаях с положительной вероятностью Τ < оо. В начальных
параграфах мы, кроме того, научимся вычислять
вероятности выхода и средние времена выхода частицы из
интервалов: это также пригодится при исследовании граничных
условий.
§ 3. Каноническая шкала и вероятности выхода
Из описания процесса размножения и гибели, данного
в § 2, видно, что последовательность х0, χν .... хп, ...
состояний, поочередно посещаемых частицей,
представляет собой цепь Маркова с фазовым пространством
{0, 1, 2, .. ., /г, . . .} и переходными вероятностями
р(п, п— \) = дп,
р(п, п+\)=рп%
р(п, т) = 0 (\т — п\ф\).
Если мы изучим строение этой цепи, то сможем ответить на
целый ряд вопросов, относящихся к процессу размножения

156
ГРАНИЧНЫЕ УСЛОВИЯ
(ГЛ. IV
и гибели χ(έ). Так, мы найдем вероятность попасть в одно
состояние прежде, чем в другое, вероятность побывать
когда-нибудь в данном состоянии и т. п. Конечно, все
вопросы, связанные со скоростью перемещения частицы по
состояниям, останутся при этом открытыми: для ответа на
них нужно учесть также значения констант ап.
Предположим, что pn = qll = -7r при всех п^\. Тогда
цепь хп представляет собой дискретный двойник винеров-
ского процесса на луче [0, оо) с отражением в нуле.
{Чтобы получить винеровский процесс с отражением в
нуле, достаточно рассмотреть процесс \x(t)\ где χ(t) —
винеровский процесс на всей прямой.] Более того, цепь хп
можно и непосредственно получить из винеровского
процесса с отражением: точно такую же цепь образуют
последовательные отличные друг от друга целые точки, в которые
заходит винеровская траектория. Действительно, после любой
целой точки η ^ 1 винеровская траектория с вероятностью 1/2
попадет в целую точку η—1 и с вероятностью 1/2—в точку
п-\- 1 (а из 0 обязательно придет в 1). Впрочем, не
обязательно следить за винеровской траекторией именно в целых
-+-*~и
и0=0 и, иг ив и* ··· ипч ап ип+г..г
Рис. 36,
точках; цепь Маркова с теми же вероятностями перехода
получится, если следить за попаданиями винеровской частицы
в любые равноотстоящие друг от друга точки и0 = О <
< ах < и2 < . . . < ип < . . .
Что будет, если взять эти точки на разных расстояниях
(рис. 36)? Получится цепь Маркова с фазовым
пространством #0 = 0, иг, .... ип\ ... и вероятностями qn и рп
переходов из ип налево и направо, равными
"·■"—-' (15)
_ ип — ип_х
Рп ип+1 — ип_1

§ 3) КАНОНИЧЕСКАЯ ШКАЛА И ВЕРОЯТНОСТИ ВЫХОДА 157
(см. формулу (17) из § 7 гл. III). Если расположить точки ип
так, чтобы вероятности дп и рп> вычисленные по формулам
(15), совпали с вероятностями дп и рп в данном процессе
размножения и гибели, то винеровский процесс с отражением
будет индуцировать на состояниях {и0, uv ..., utV ...}
точно такую же цепь Маркова, какую процесс размножения
и гибели порождает на состояниях {0, 1 /г, ...}.
Полагая для определенности Hj—1, последовательно
найдем ип из формул (15). Пусть
δ„ = ^+ι-"« (л>0) (16)
— расстояние между двумя соседними точками. Из (15)
следует, что
и, значит,
Р\ · · · Рп
Ьп = ^^ (п>1). (17)
Таким образом,
и0 = 0, «ι=1. «η = δ0Η- ...+δ„-ι =
= 1 + ^-+···+^'···^-' (">1)·(18)
Ρι Ρ\-·-Ρη-\
Мы будем называть число ип канонической координатой
состояния /г, а ось и с отмеченными на ней точками и0,
u[t ..., ип, ...—канонической шкалой данного процесса
размножения и гибели. Впредь мы будем рассматривать этот
процесс только в канонической шкале и считать, что
частица x{t) или хп перемещается не по целым точкам, а по
точкам ип. Фазовое пространство {и0, uv .. ., ип, . . .} условимся
обозначать через Е. Отметим, что задание канонической шкалы
равносильно заданию констант qn и рп.
В прежней целочисленной шкале состояния имели
предельную точку +оо. В канонической шкале этой предельной.
точке отвечает число
оо
r = lim«„=l + 2-^L, (19)
Λ->οο -*■* Pi' · -Рп
которое мы будем называть границей фазового пространства Е.
Граница г может быть как бесконечной, так и конечной.

158
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
Например, если рп = р, qn = q для всех /г^>1, то ряд
(19) представляет собой геометрическую прогрессию и,
значит, г — —^— при ρ > q и г = оо при ρ <] q. В первона-
г Ч
чальной шкале при ρ <q частица имела тенденцию двигаться
влево, а при ρ > q — вправо. В канонической шкале в обоих
случаях частица в среднем совершает равные по длине
колебания направо и налево, но зато при ρ > q состояния
расположены гуще справа, а при ρ <q — слева.
Перейдем теперь к нахождению вероятностей выхода для
цепи Маркова х0, лгр .. ., хп, ... Конечно, их можно легко
получить, зная вероятности выхода из интервала для вине-
ровского процесса. Мы, однако, вычислим эти вероятности
независимо от винеровского процесса, так как получаемое при
этом общее решение уравнения (20) все равно понадобится
в дальнейшем.
Условимся под интервалом / в фазовом пространстве Ε
понимать любое множество состояний, удовлетворяющих
неравенству вида α < яЛ < β (α и β — заданные числа). Под
расширенным интервалом / будем понимать тот интервал,
который получается присоединением к / слева и справа одного
ближайшего к / состояния (если такое состояние найдется).
Например, если_/={#3. ^}» то / = ("2, и3, и4, и5}, если
/={и0, их), то 7= {и0, uv и2}> если / совпадает со всем
фазовым пространством Е9 то 1 = 1.
Пусть р(и){и£1) — вероятность того, что частица,
начинающая движение в состоянии н, в момент первого выхода
из интервала / окажется в некотором фиксированном
состоянии. По формуле полных вероятностей
Ρ (Цп) = ЯпР Κ-ι) + РпР (un+i) («л 6 О- (20)
Исследуем решения уравнения (20). Если η Φ 0, то,
согласно формулам (15) и (16),
qn= δη., + δη · Рп= Ь„Л+Ь„ ' (21)
и уравнение (20) принимает вид
p(Un+i) — p(Un) _ /»(Μ/ι)·—P(ttit-i) . /9ОЧ

КАНОНИЧЕСКАЯ ШКАЛА И ВЕРОЯТНОСТИ ВЫХОДА
159
при п = 0 имеем #л = О, рп=1 и, следовательно, р(их) =
= р(и0) или, для единообразия,
р(Ц\) — Ρ Μ =Q>
δ0
(23)
Функция ρ (и) определена только в дискретной
последовательности точек ип£1. Доопределим эту функцию линейно
на кажлом из промежутков (ип, ипЛ j), где ип, ип и £ / (рис. 37).
р(и)
Тогда дробь p\Un+"—Р\ип) ПОЛуЧает простой геометриче-
ский смысл: она равна угловому коэффициенту графика ρ (и)
на промежутке (ип, ип+1), т. е. равна р'(#)при и£(ип, ип + 1).
Подчеркивая зависимость этой производной от канонической
шкалы и, условимся обозначать ее через Dup. В точках и = ип
производная Dup не определена.
Уравнение (22) означает, что у ломаной, изображающей
на графике функцию ρ (и), соседние звенья, примыкающие
к точке ип% имеют равный наклон. Уравнение (23) говорит
о том, что первое звено этой ломаной направлено
горизонтально. Следовательно, если н0 = 0£/, то решениями
уравнения (20) служат все функции, линейные на /, а если
0£/— то функции, постоянные на L
Пусть интервал / не содержит нуля и состоит из
конечного числа состояний. Тогда в момент τ выхода из / частица
может находиться в одном из двух состояний а < Ъ,
окаймляющих / и образующих вместе с / расширенный интервал /
(мы считаем, что начальное состояние и принадлежит /).
Вероятности событий х(х)= а и х(т) = Ь обозначим
соответственно д(и; а, Ь) и ρ (и; а, Ь). По доказанному обе эти
функции линейны на отрезке а^и^Ь. Кроме того, известны

160
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
их значения на концах отрезка: q(a; a, b)=p(b; α, b) =
= 1, q(b; a, b) = p(a; a, b)=0. Поэтому
b — и
q(u; а, b) = ~r^,
(а<и<£)
ρ {и; а, £) =
b — а
(24)
(рис. 38). Как и следовало ожидать, мы получили те же
формулы, что и для винеровского процесса на прямой.
tr*&b
ЬЬ,'
О а
Если интервал / содержит состояние 0 и ограничен справа
состоянием Ь, то вероятность р(и\ Ь) выхода в точку b
постоянна на отрезке 0 <;#<£. Так как при и = Ь она
обращается в 1, то
ρ (и; Ь)=\ (25)
(рис. 39). Следовательно, с вероятностью 1 частица
побывает в сколь угодно далеких состояниях Ь.
1 ρ(α;ύ)
Рис. 39.
Наконец, рассмотрим интервал /, включающий все
состояния, расположенные правее данного состояния а, т. е.
интервал, ограниченный состоянием а и предельной точкой
фазового пространства г. Для вероятности q(u; α, г)
выхода из / в а мы имеем здесь лишь одно граничное условие

§ 3] КАНОНИЧЕСКАЯ ШКАЛА И ВЕРОЯТНОСТИ ВЫХОДА 161
в точке а*). Поэтому найдем д(и; а, г) предельным
переходом. Заметим, что события Аь = {в последовательности х0=и,
xv х2, .... хп, ... состояние а встретится прежде, чем Ь)
расширяются с увеличением Ъ и их объединение дает
событие А = {в последовательности xQ = u, xlt x2, .... хп% ...
Рис. 40.
встретится состояние а). Следовательно, д(и; а, г) = Ри {А} =
= \imPu [Ab] — lim q{u\ a, b) и из (24) получаем**)
b^r b^r
[ r — u ^
I при r < со,
g(u; a, r) = j r~a (26)
[ 1 при r = oo
(рис. 40). Совершенно аналогично, если понимать под р{и\
а, г) вероятность, выйдя из и, побывать в сколь угодно
Рис. 41.
далеких состояниях, не попав ни разу в а, то ρ (и; а, г) =
= \'\тр(и\ а, Ь) и, стало быть,
Ь^г
(и — а .
при г <
г-а
I 0
(рис. 41).
ρ(ι
оо,
при г = оо
(27)
*) Если г = оо, то роль граничного условия в точке г играет
требование ограниченности функции q\ при г < оо, однако,
ограниченности недостаточно для однозначного определения q.
**) Как обычно, Ри и М„ обозначают вероятность и
математическое ожидание при начальном состоянии и.
11 Е. Б. Дынкин, А. А. Юшкевич

162
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
§ 4. Отталкивающая и притягивающая границы
Поведение цепи Маркова
х0, χν λγ2» · · ·» χιν · · · (28)
при η—>οο [и, следовательно, поведение траектории
процесса размножения и гибели x(t) при t f T] существенно
зависит от того, конечно или бесконечно число г.
Пусть сначала г = оо. Тогда из формул (25) и (26)
следует, что из любого состояния и частица с вероятностью 1
когда-нибудь попадет в любое другое состояние. Попав из и
в ν, частица затем с вероятностью 1 из ν попадет в и.
Следовательно, вероятность возвращения из и в и равна 1
(как говорят, цепь возвратна). Очевидно,.если цепь возвратна,
то любое фиксированное состояние, например и0 = 0, с
вероятностью 1 встретится в последовательности (28)
бесконечное число раз (за каждым выходом из 0 последует
возвращение в 0). Так как бесконечное число возвращений в 0
исключает стремление последовательности (28) к пределу а\
то вероятность стремления хп к г равна 0. Условимся
говорить, что в таком случае граница г отталкивает частицу.
Если г < оо, то из формулы (26) следует, что
вероятность попасть в данное состояние а из любого состояния,
расположенного правее а, меньше 1. Так как из а можно
с положительной вероятностью пойти направо, то, значит, и
вероятность β возвращения из α в α меньше 1 (цепь \хп)
невозвратна). Вероятность возвращения из α в α не менее
т раз равна β™ (вероятности перемножаются, так как
соответствующие события независимы). Следовательно, вероятность
бесконечного числа возвращений в аравнаПт β'" = 0. Таким
/л->оо
образом, состояние а с вероятностью 1 встречается в
последовательности (28) конечное число раз. Так как число
состояний счетное, то с вероятностью 1 это верно сразу для всех
состояний а. Но если каждое состояние встречается в
последовательности (28) конечное число раз, то эта
последовательность неизбежно стремится к пределу г. Стало быть,
Р{Нтд:я = г} = 1, (29)
/7->СО
или, как мы будем говорить, граница г притягивает частицу.

§5]
СРЕДНЕЕ ВРЕМЯ ВЫХОДА И МЕРА СКОРОСТИ
163
Итак, при г = оо процесс возвратен и имеет
отталкивающую границу у а при г < оо он невозвратен и имеет
притягивающую границу.
Дальнейшая классификация границ зависит уже от
скорости перемещения частицы по состояниям. Поэтому от цепи
хп (лг = 0, 1, 2, ...) мы должны вернуться к
первоначальному процессу размножения и гибели x(t) (0<^<Г).
§ б. Характеристика, среднее время выхода
и мера скорости
Напомним, как находится среднее время выхода из
интервала в случае винеровского процесса на прямой. Согласно-
результатам § 8 гл. II, среднее время т(х\ а, Ь) до выхода
♦-JZ7
Рис. 42.
из л: в одну из точек а или Ъ (α^χ-^b) получается
прибавлением к раз навсегда выбранной функции — х2 такой
линейной функции, чтобы т{х\ а, Ь) в точках х = а и х = £
обратилось в 0. Геометрически это время выражается
вертикальным отрезком между параболой у = — х2 и хордой,
стягивающей точки параболы с абсциссами χ = а и х = Ь
(рис. 42). Можно сказать также, что т(х; а, Ь) — это
решение уравнения Пуассона
d2
dx2
т = — 2
11*

164
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
с нулевыми граничными условиями в точках а и Ъ (в
одномерном случае Δ = -г-А · Мы увидим, что аналогично
обстоит дело и в случае процесса размножения и гибели,
только роль параболы у = — х2 играют некоторые ломаные
линии, различные для разных процессов. ,
Пусть /— какой-то интервал состояний процесса
размножения и гибели x{t) и т{и)— математическое ожидание
времени τ до выхода из / при условии, что в начальный момент
частица находилась в состоянии //. При этом мы считаем,
что τ = 0, если χ(0)ς/ и τ==7\ если x(t)£f при всех
t < Т. В частности, Τ является моментом первого выхода
Ή3 всего фазового пространства Ε = [и0, и{, ..., ип, ...}.
Прежде всего покажем, что для интервала /,
содержащего конечное число состояний, среднее время т(и)
конечно. Действительно, за любое фиксированное время t > О
можно с положительной вероятностью из любого данного
состояния и попасть в любое другое состояние а (это
вытекает из приведенного в § 2 определения процесса
размножения и гибели). Выбирая а вне /, получаем, что при
каждом и £ /
Ри (τ < t) > 0.
Поскольку число состояний интервала / конечно, то и
a=minP„{x < t) > 0.
Неравенство т(и)< со вытекает теперь из следующего
общего замечания.
Пусть Ϊ — любой набор состояний и τ — момент
первого выхода из [. Если при каком-то t < оо
Ρ„{τ <'}><*> 0
для всех состояний u£f, то Ри {х < оо} = 1 и Мих < оо
при и£/.
Для доказательства этого замечания обозначим через
ρ (и, ν) (и, ν£ί) вероятность такого перехода за время t
из // в ν, при котором частица все это время остается в
множестве /. По предположению,
Hp(M)-Ps(t>i)<i-« («€')·
νξ./

§ 5] СРЕДНЕЕ ВРЕМЯ бЫХОДА И МЕРА СКОРОСТИ 165
Пользуясь этой оценкой, получаем
Pu{t>2*} = 2p(«. «)Ρ„{τ>*}<
νζΐ
<(1— α) 2 Ρ (и, ν)<(1— α)2
и вообще по индукции
Ρ„{τ>^}<(1-α)Λ (г/ζ/)· (30)
Так как α > 0, то из (30) при п->оо следует, что
Ри {τ = оо} = 0. Далее,
сю
ΜΒτ<2(η+1)ίΡ;ι{«ί<τ<(«+1)ί}<
сю сю
<* Σ («+ О Ри {«/ <t)<<2 (»+ 1)(1 - а)" < оо
я=0 л=0
Выведем теперь уравнение для функции т(и), считая, что
т(и)<оо. Поскольку среднее время пребывания в ип
равно 1/#л, после чего частица с вероятностями qn и р.п
переходит соответственно в ип_х и ия+1, и в дальнейшем
процесс протекает так же, как если бы он начинался в этих
состояниях, то
тЮ= д—htf^-il+WK+i) (31)
при каждом ип £ /.
Очевидно, разность двух решений уравнения (31) на
интервале / удовлетворяет на / соответствующему однородному
уравнению, а именно уравнению (20), изученному в § 3.
Напомним, что решениями последнего уравнения служат
функции, линейные на расширенном промежутке, а если
интервал / содержит точку 0, то только функции, постоянные
на /. Достаточно поэтому найти какое-нибудь одно решение
уравнения (31) на всем фазовом пространстве Е, чтобы знать
все его решения на любом интервале /.
Рассмотрим подробнее решение Sn = S(un) уравнения (31),
удовлетворяющее начальному условию
50=0. (32)
12 Е. Б. Дынкин, А. А. Юшкевич

166
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
Перепишем уравнение (31) для Sn в виде
(Sn+\ — sn) Ρ η = (sn — Sn-0 Qn — -7T-
(33)
При η Φ О вероятности qn и рп выражаются через
расстояния Ьп = ип+1 — ип следующим образом:
/7»=νΤΤδ7· ?» = ов_,+вя (34)
[см. формулы (21) из § 3]. Подставляя эти выражения в (33),
получаем
Sn + i — Sn Sn — S/i-l L_ &n-i +^/z
δΛ
δ/2-ι
Я/2 δΛ_! δΛ
(35)
Первые два отношения, входящие в уравнение (35),
представляют собой значения производной DUS на соседних
промежутках (ип, ип+1) и (un_v ип) [как и в § 3, мы считаем,
ип-, ип им
Рис. 43.
что функции т{и) и S(u) доопределены линейно на
промежутках между состояниями] (рис. 43). Для сокращения
записи положим
DuS(u) = -v(u) (36)
и значение ν (и) на промежутке (ип, ип + 1) обозначим через νη.
Уравнение (35) означает, что
«« = ««-ι + 2μΛ (λ>1). (37)
где
2μ= J-**»-» + *»
^п α η δΛ_! δΛ
(38)

§ 5J СРЕДНЕЕ ВРЕМЯ ВЫХОДА И МЕРА СКОРОСТИ 167
— известная величина (коэффициент 2 поставлен для того,
чтобы в дальнейшем μη получило более простой наглядный
смысл). Точно так же при й = 0 из (33) получаем
ν0=2μ0, (39)
где
2μ0 = ^-· (40)
а{
о
Из уравнений (37) и (36) и начальных условий (39) и (32)
вытекает, что
η
rt-Л
Поскольку
δ0=1
[см. формулу (17)
и,
2μ*
окончательно,
1
6m = -2 Σ
0<£ <ГЯ<Л
Ι. δ« =
из § 31,
_ 1 Ρ\
ak q
" 1
Υ ι Ρ\
ft = l *
0<£<т<л-1
Ρ\
το
ι '·
1
·■· Pm
в силу
Рк-Х
■ Чь
Pk-x
■ Ik
Pk--·
i***«
(«>0
(38)
(*>1)
(я
■ia («
(я>0).
(">!)·
>0). (41)
> 1)· (42)
Функцию S(#) мы будем называть характеристикой
процесса размножения и гибели χ(έ). Из формулы (42) видно,
что S(u) отрицательна при н>0 и монотонно убывает.
Формула (37) показывает, что ее производная —ν (и) при
переходе через каждое состояние ип тоже убывает, и, стало
быть, S{u) выпукла вверх.
Поскольку функции S(u) и v(u) монотонны, то они имеют
конечные или бесконечные пределы при и | г. Эти пределы
мы будем обозначать через 5 (г) и ν (г). Геометрически
12*

168
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
очевидно, что если г = оо, то S(r)= — oo [нетрудно
усмотреть это и из сравнения формул (41) и (42)].
Обозначим через т(и; а, Ь) среднее время до выхода
из состояния и в одно из состояний а или Ъ (а^и^Ъ)
и через т(и\ Ь) — среднее время до попадания частицы
из состояния и в состояние Ъ (и<^.Ь). Функция т(и\ а, Ь)
удовлетворяет уравнению (31) при а < и = ип<Ь и в
точках а и Ъ обращается в 0. В силу свойств того же
уравнения разность т(и; a, b) — S(u) линейна на расширенном
Рис. 44. Рис. 45.
промежутке а^и^Ь. В точках а и Ъ эта разность равна
соответственно —S(a) и —S(b). Построив такую линейную
функцию, получаем
(а<н<£). (43)
Геометрически т(и; а, Ь) выражается расстоянием по
вертикали между графиком характеристики S(u) и его хордой АВ
(рис. 44)*). Функция т(и; Ь) удовлетворяет уравнению (31)
при всех и < £, включая точку м = 0 и поэтому отличается
от S(u) на расширенном промежутке 0<^#<^£ на константу.
Поскольку т(Ъ\ £) = 0, то
т (и; b) = S (и) — S (р) {и < *) (44)
(рис. 45).
*) На рис. 44 и 45 характеристика изображена не ломаной,
а плавной кривой, так как для нас важна оэщая картина, а не
детали изломов.

§ 5] СРЕДНЕЕ ВРЕМЯ ВЫХОДА И МЕРА СКОРОСТИ 169
Если интервал / содержит бесконечно много состояний
(т. е. его правым концом является предельная точка г), то
непосредственно предыдущие рассмотрения неприменимы, так
как неизвестно, конечно ли среднее время выхода т(и).
В этом случае нужно перейти к пределу при Ъ \ г в
формулах (43) и (44). Покажем, что при таком предельном
переходе из формулы (44) действительно получится среднее
время т(и; г) = МиТ до выхода из всего фазового
пространства [предельный переход в формуле (43)
обосновывается совершенно аналогично]. Пусть хь— момент первого
попадания частицы в точку Ь. Тогда т(и; Ь) = 1Аихь при
и-^b. С ростом Ъ величины хъ монотонно возрастают.
Поэтому законен предельный переход под знаком
математического ожидания *), и мы получаем
limMllxft = Mll/liniTft}.
b^r Ib^r J
Согласно формуле (25) xb < Τ с вероятностью 1 при всех
Ъ > я. В то же время \\тхь^Т, так как к моменту \\mxb
b^r b^r
частица должна сделать бесконечно много скачков.
Следовательно, \imxb=T с вероятностью 1. Поэтому
Ь+г
\imm(u; b) = m(u\ г),
Ь + г
и мы получаем
m(u; r) = S(u)—S(r). (45)
Переходя к пределу в формуле (43), получим, что при г < оо,
когда точка г притягивает частицу, среднее время до
попадания из и в а или до момента накопления скачков Τ равно
/ \ с/ \ (г— u)S(a)4-(u — a) S (r) /ACS
т(и; a, r) = S(u) — - -—v '_ -——. (46)
Если г = оо (граница отталкивает частицу), то для
вычисления т{и\ а, г) нужно воспользоваться правилом Лопиталя.
Величину μΛ, рассмотренную при построении
характеристики 5, удобно считать мерой (массой), сосредоточенной
в точке ип. Эта мера характеризует быстроту перемещения
*) См. сноску на стр. 108.

170
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ, IV
частицы и поэтому называется мерой скорости. В самом
деле, в состоянии ип частица в среднем проводит время 1/ал,
а спустя это время оказывается с вероятностью qn на
расстоянии Ъп_х и с вероятностью рп на расстоянии Ьп от
точки ип. Значит, в среднем за время \\ап частица
проделывает путь qnbn_x-\-рпЬп. Деля средний путь на среднее
время, получим, с учетом формул (34),
*п(яЛ>-1 + РпК) = %^=-};.
Значит, чем больше μ={μ0, μρ ..., μΛ, ...}, тем медленнее
движение частицы по канонической шкале.
Уравнению (35) можно придать более простой вид, если
ввести понятие производной ϋμ по мере μ. Пусть ν {и) —
функция, постоянная на каждом из промежутков (ип, ип+х)
и не определенная в точках ип. Производной этой функции
по мере μ в точке ип мы назовем число
D»v(ttn) = j£ >
где
«'€(«„-Р «я)· «"€(««· «я + l)·
В новых обозначениях уравнение (37) принимает вид Ωμν = 2*
и так как τ/== — DuSt то для 5 получаем уравнение
DllDaS(u„) = -2.
Читатель легко проверит, что если положить DUS (и) = 0
при и < 0 [т. е. считать график S(u) горизонтальным левее 0],
то это уравнение будет справедливо не только при /г^>1,
но и при /г = 0.
Совершенно так же уравнение (31) для т{и) приводится
к виду
ОД,т(«я) = -2. («,€')·
Сравнивая это уравнение с уравнением Пуассона А/гс== — 2
для среднего времени т(х) в случае винеровского процесса,
видим, что оператор ΟμΩα является аналогом оператора
Лапласа Δ.
Как было отмечено в § 3, задание канонической шкалы
[и0 = 0 < их < и2 < ... < ип < . . .} равносильно заданию
вероятностей скачков qn и рп. Из формулы, определяющей μ„,

§ 6] ДОСТИЖИМАЯ И НЕДОСТИЖИМАЯ ГРАНИЦА 171
видно, что при известных числах qk и pk по μη однозначно
восстанавливается параметр ап. Таким образом, для
определения процесса размножения гибели можно вместо констант
qn, pn и ап задавать каноническую шкалу и меру скорости.
В качестве канонической шкалы можно брать произвольную
возрастающую последовательность 0=и0<^и1<^ . . . <#л<
в качестве меры скорости — произвольную последовательность
положительных чисел μ0, μρ ..., μΛ, ...
Так как числа канонической шкалы — это точки излома
графика S(u), то по известной характеристике находится
каноническая шкала процесса, а затем и постоянные ап. Стало
быть, процесс размножения и гибели полиостью задается также
своей характеристикой S(u). Характеристикой может служить
любая убывающая выпуклая кусочно-линейная непрерывная
функция на полуинтервале [0, г), равная 0 при и = О,
имеющая счетное число звеньев и единственную предельную точку
изломов г.
§ 6. Достижимая и недостижимая граница
Посмотрим, каким образом поведение траектории процесса
размножения и гибели x(t) зависит от того, конечна или
бесконечна величина S(r).
Если 5(г)>—оо, то по формуле (45) конечна и
величина МиТ при любом начальном состоянии и. Следовательно,
Ри {Т < оо} = 1 для всех и.
Пусть теперь S(r) = — оо. Покажем, что в этом случае
Ри{Т = оо} = \ для всех и. (47)
Допустим, что при каком-то и
Ра{Т<схэ}>0. (48)
Так как из состояния и0 = 0 можно попасть в и за конечное
время, то и
Р0{Г<с*э}>0.
Стало быть, найдется такое t < оо, что
a = PQ{T<t}>0.

172
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
Так как вероятность попадания из 0 в любое состояние и
равна 1, то с Р0-вероятностью 1
Т = х-\-Т',
где τ—время до попадания из 0 в н, а Тг — время до
накопления бесконечного числа скачков, начиная с момента
попадания в и. По строго марковскому свойству Тг не зависит
от τ и имеет такое же распределение, как и 7\ при условии
х(0) = и. Поэтому, обозначая через F(s) функцию
распределения случайной величины τ, можем написать
t
α = Ρ0{Γ</} = Jpe{7'<i-s}d^(s)<
О
t
< J Ρβ {Г </}<*/>(*) <Ρβ|Γ<*}. (49)
О
Согласно замечанию, сделанному в начале § 5, из оценки (49)
вытекает, что МиТ < оо (при всех и). Из предположения
S(r) = — оо и формулы (45), наоборот, следует, что МиГ = оо.
Стало быть, допущение (48) противоречит условию S(r) =
= — оо, и формула (47) доказана.
Итак, мы обнаружили, что в зависимости от того, конечна
или бесконечна 5 (г), рассматриваемые процессы распадаются
на два класса; в одном из них при любом начальном
состоянии и момент Τ накопления скачков с вероятностью 1
конечен, в другом — момент Τ при любом и с вероятностью 1
бесконечен. Условимся говорить, что в первом случае
граница г достижима, во втором — недостижима.
Сопоставим эту классификацию с делением границ на
притягивающие и отталкивающие (см. § 4). Так как из г = оо
следует, что 5(г) = — оо, то отталкивающая граница
недостижима. Поэтому на самом деле имеем три различных
типа границ:
I. Достижимая граница [г < оо, 5(г)>—со]. С
вероятностью 1 момент Τ конечен и \\mx(t) = r.
П. Притягивающая недостижимая граница [г < оо, 5(г) =
= — оо]. С вероятностью 1 Т = оо и Ηιηχ(Υ) = Λ

§ 7] ПРОДОЛЖЕНИЯ ПРОЦЕССА РАЗМНОЖЕНИЯ И ГИБЕЛИ 173
III. Отталкивающая граница [r = oo, S(r) = — оо]. С
вероятностью 1 Τ = оо, при t f T частица пробегает бесконечно
много раз все состояния.
Аналитически условие достижимости границы заключается
в сходимости двойного ряда
1 Як + \---Ят
-5(r)= £
<*k Pk-"Pm
0<Л<т<оо
получающегося из выражения (42) для Sn при /г->оо. Напри-
мер, пусть рп = р, qn = q не зависят от /г(/г^1). Как уже
говорилось в § 3, при ρ <С~2 имеем г = оо, при ρ > γ имеем
г = _ . Значит, если /; <^-, то имеем отталкивающую
границу, а если ρ > γ — притягивающую границу. Пусть
ρ > γ. Найдем, при каких ап граница г достижима.
Поскольку при фиксированном k здесь
оо
я* Pk'--Pm akP^Kpi ak(p-
TO
*<'>=^Σ^·
p — q —i ak
Таким образом, для достижимости границы необходимо и
достаточно, чтобы сходился ряд V —. Нетрудно проверить,
что это условие сохраняется и в вырожденном случае, когда
9 = 0, /7=1*)
§ 7. Продолжения процесса размножения и гибели.
Постановка задачи
Теперь мы достаточно подготовлены к тому, чтобы
изучать продолжения процесса размножения и гибели после
момента Τ первого накопления скачков. Очевидно, задача лишена
*) Этот пример подробно рассматривается в книге В. Φ е л-
лера [1].

174
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
смысла, когда граница г недостижима (в этом случае Τ = оо
с вероятностью 1). Поэтому мы можем считать, что г и S(r)
конечны. При этом
PJT < оо, \\mx(t) = г\ = 1, (50)
I t+τ J
т. е. почти все траектории процесса входят в момент Τ < со
в точку г. Исключительным событием вероятности 0 можно
пренебречь и считать, что этим свойством обладают все
траектории процесса.
Присоединим точку г к фазовому пространству. Таким
образом, фазовое пространство Ε у нас состоит теперь из
последовательности изолированных точек 0 = и0 < и1 < ...
. · · < ип < · · · и точки г, которая является их пределом.
Функция f(u)(u£E) является непрерывной тогда и только
тогда, когда f(un)->f(r).
Предположим, что имеется некоторое продолжение
процесса размножения и гибели. Это значит, что:
1) Траектория χ (t), первоначально определенная для
t £ [0, Г), продолжается на некоторый промежуток [0, ζ) (Τ<ζ
<£<С°°)*) При этом значениями x(t) наряду с точками ип
может быть и точка г.
2) Распределения вероятностей Ра распространяются на
более широкий класс событий, задаваемых всем течением
продолженного процесса. При этом они остаются
неизменными для событий, которые определяются по поведению
траектории до момента Т. Кроме того, вводится
дополнительное распределение Рг, отвечающее начальной точке г.
3) Продолженный процесс является строго марковским,
т. е. для любого марковского момента г <ζ процесс у(/) =
^χ(τ-\--έ) при условии х(х)=и (и£Е)не зависит от
поведения x(t) до момента τ и имеет то же распределение
вероятностей, что и процесс x(t), начинающийся в момент 0
в точке и.
Мы несколько сузим задачу, предполагая дополнительно,
что
4) Траектория продолженного процесса остается
непрерывной справа, т. е. χ (t-f- h) -> χ (t) при h \ 0. (Это
означает, что частица, находящаяся в момент t в состоянии и Φ г,
*) ζ—момент обрыва траектории (блуждающая частица
исчезает). Если процесс не обрывается, то ζ = οο,

§ 7] ПРОДОЛЖЕНИЯ ПРОЦЕССА РАЗМНОЖЕНИЯ И ГИБЕЛИ 175
остается в точке и в течение некоторого положительного
времени; частица, находящаяся в точке г, за малое время
не может уйти далеко от г.)
5) х(Т) = г. (Это вполне естественно в силу (50).)
Отметим, что благодаря условию 5) и условию Τ < оо
вероятности
q(u\ α, r) = j—^> ρ (и; a, r) = j—^t (51)
найденные в конце § 3, превращаются в вероятности
попадания траектории, вышедшей из и, в точку а раньше, чем
в г, и в точку г раньше, чем в а.
Процессы, продолженные после момента Τ с соблюдением
условий 1)—5), мы иногда будем называть процессами класса Л.
Оказывается, процесс класса А однозначно задается своим
характеристическим оператором 31 (доказательство этого
факта, относящегося к общей теории марковских процессов,
приводится в § И). Мы увидим, что во всех состояниях,
кроме г, оператор 21 полностью определяется по течению
процесса до момента Т. Таким образом, различные
продолжения процесса x(t) однозначно описываются видом
характеристического оператора в граничной точке (граничным
условием).
Как уже говорилось, характеристический оператор 21
определяется формулой
91/(И)^ПтМ"/(-у(^))-/(ц) (и£Е). (52)
где U— окрестность состояния и, стягивающаяся к и, а τ —
момент первого выхода траектории из U. При этом, если
x{t)£U для всех ^< ζ, то τ полагается равным ζ, и это
значение учитывается при подсчете Мит; при подсчете же
Ми/(л:(т)) траектории, для которых τ = ζ, наоборот, не
учитываются, так как χ (ζ) не имеет смысла. В том случае,
когда Мит = оо, вся дробь в формуле (52) полагается
равной 0. Мы будем считать, что оператор 21 определен для
всех ограниченных функций f(u) на Е, для которых предел
в правой части формулы (52) существует и конечен при любом
*) См. сноску на стр. 78.

176 ГРАНИЧНЫЕ УСЛОВИЯ [ГЛ. IV
Для любого ип окрестность U можно взять настолько малой,
чтобы она не содержала других состояний, кроме ип. При
этом τ будет моментом первого выхода из ип, математиче-
ское ожидание которого равно — , ад; (τ)—с вероятностью qn
ап
точкой ип_х и с вероятностью рп точкой ип+1. Дробь в
формуле (52) обратится тогда в
Qnf (Ц/i-i) + Pnf (u>n+\)—f(Un)
_L (53)
ап
и при дальнейшем уменьшении окрестности U меняться не
будет. Следовательно, выражение (53) и есть 51/(#л).
Формуле для %f(un) можно придать изящный вид, если
воспользоваться производными Du и Ζ)μ, введенными в §§ 3 и 5.
Поскольку
дп=ьа-1 + Ьп' Рп=ьп_"+Ьп (п>1)·
то из (53) после несложных выкладок находим
*' (ϋ">= бл ι «»_,+». '"' =
α η δ/ζ _! δΛ
1 bn-\+bn
где
"'€("л-1. "n)> «"6 ("я· «л + l)·
Так как в знаменателе мы получили 2μΛ (см. формулу 38)),
то окончательно
Я/(««) =γΟμΟα/(αη). (54)
Эта формула справедлива и при /г=0, если положить Duf(u)=0
при и < 0, т. е. считать функцию / постоянной слева от нуля.
Теперь понятна аналогия между оператором Лапласа Δ и
оператором DYlDUy отмеченная в § 5 при нахождении среднего
времени выхода т (и). В самом деле, уравнения Δ/rc =—2 и
D^Dum = — 2, которые мы имели в случае винеровского процесса
и в случае процесса размножения и гибели, могут быть
единообразно записаны в виде
%т = - 1. (55)

§7) ПРОДОЛЖЕНИЯ ПРОЦЕССА РАЗМНОЖЕНИЯ И ГИБЕЛИ 177
Уравнение (55) справедливо при весьма общих
предположениях о процессе χ (t). В самом деле, пусть т (х) = Муг, где τ —
момент первого выхода траектории из некоторого множества /.
Допустим, что т (у) < оо при всех у, и пусть χ—внутренняя точка
множества /. Окружив χ окрестностью Ut содержащейся в /, можем
написать
τ = τ„ + τ'. (56)
где хц — момент первого выхода из U, а τ'— время от первого
выхода из U до первого выхода из /. Если процесс обладает строго
марковским свойством, то при условии х(1ц) = У условное
математическое ожидание τ' равно т (у) = т (х(Ъц)) *)· Поэтому
Μχτ' = Μχηι(χ(τυ)), и из (56) мы получаем
т (х) = М^ + Мхт(х (χυ) ).
Отсюда, по определению характеристического оператора,
Μ т (х(г..)) — mix)
%т(х)= lim х к \лип — = нт (—1) = — 1.
и ψ χ тххи υ ΐ( χ
Отметим, что к виду -^ D^D^ приводится также оператор
L=a(x)£i+b{x)JL, (57)
отвечающий произвольному диффузионному процессу на прямой
(напомним, что процесс размножения и гибели был введен нами
как дискретный аналог диффузионного процесса). Обозначим через
Duf производную функции / (х) относительно возрастающей
функции и (х):
Пусть, далее, D^f обозначает производную функции f (х)
относительно функции υ (л:), заданной формулой
χ
v(x) = J* μ (у) dy, μ (у) > 0.
о
Предположим, что функции и и / дважды дифференцируемы и
плотность μ непрерывна. Тогда
*) См. сноску на стр. 128.

178 граничные условия [гл. ιν
Поэтому
1 л л f "Г-иУ
и для того чтобы выполнялось равенство
достаточно положить
у
'W-/
β dy.
χ
1 ό' α w
Если функции и (х) и t/ (л:) не дифференцируемы, то оператор
-к DODa не записывается в виде (57). Однако и в этом случае
такому оператору отвечает марковский процесс с непрерывными
траекториями (достаточно потребовать, чтобы и и υ строго
возрастали и и была непрерывна).
Вероятности выхода из интервала и среднее время выхода
выражаются через функции и (х) и
S(x)=- j v(y)du(y)
в непрерывном случае по тем же формулам, что и в случае
процесса размножения и гибели.
Переходим к исследованию вида характеристического
оператора в граничной точке г. Полный анализ всех
возможностей будет проведен в §§ 8—10. Здесь же мы
сделаем только некоторые предварительные замечания.
Окрестность U точки г удобно задавать, указывая самое
правое из состояний ап% не вошедшее в U'. Обозначим это
состояние через у, отвечающую ему окрестность точки г
через Uу, момент первого выхода из Uy через ху и положим
Ь(") = Рг {*(Уу) = «}. т(у) = Μ,τ„. (58)

§ 7] ПРОДОЛЖЕНИЯ ПРОЦЕССА РАЗМНОЖЕНИЯ И ГИБЕЛИ 179
Тогда формула для характеристического оператора в точке г
принимает вид
2 /(и)яу(и) —/(г)
21/ (г) = lim <><"<> т^ . (59)
У+г
т(у)
Таким образом, задача отыскания всех возможных форм
оператора 21 в точке г, а стало быть и всех интересующих
нас процессов, будет решена, если мы найдем все
распределения
яу={яу(н0), пу(и{), .... пу(у)}
и все средние времена т(у), совместимые с требованиями
1)— 5), предъявляемыми к продолженному процессу.
Несколько особое положение занимает случай, когда
граница г поглощающая, т. е. частица, попавшая в г, никогда
не выходит из г. В этом случае т(у) = -\-оо, пу(и) = 0 и
по формуле (59)
21/(г) = 0. (60)
Покажем, что если граница г не является
поглощающей, то при всех у
Рг [ху < оо} = 1
и
Мгту < со.
Очевидно, достаточно рассмотреть только момент τ0. так
как ту<[То при всех у. Мы снова воспользуемся
замечанием, сделанным в начале § 5. Согласно формуле (45)
среднее время до попадания из и в г равно
т
(и; r) = S(«) —S(r) = |S(r)| —|S(«)|<|S(r)|
(напомним, что £(#)<;0). По неравенству Чебышева отсюда
следует, что
Рц{7->/}<1^И
и, стало быть, при каком-то t0 < оо
Рц [Т < t0) > у (61)
одновременно для всех и. Если граница г не является
поглощающей, то ς положительной вероятностью частица

180
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
выходит из г, а значит, и из некоторой окрестности Uy
точки г. В момент выхода из Uy частица либо находится
в одном из состояний и ^ у, либо исчезает. В первом
случае частица может с положительной вероятностью прийти
из у в 0 и, таким образом, выйти из U0, во втором — она
одновременно выходит и из Uy и из U0. Следовательно,
если граница г не поглощает частицу, то вероятность выхода
из U0 положительна, и поэтому
Рг{*о<М=а>0 <62>
при некотором tx < со. Из (61) и (62) вытекает, что, где
бы внутри U0 ни находилась частица, она с вероятностью,
большей а/2, успеет за время έ0 попасть в г, а после
попадания в г за время tx успеет выйти из U0. Но в таком
случае, начав движение в точке и, она успеет за время
^o + ^i выйти из U0, и мы получаем, что при всех u£U0
и из этой оценки следует наше утверждение.
§ 8. Мера скачков и коэффициент отражения
Займемся сначала распределением лу. Это распределение
точки х(ху), где ту — момент первого выхода траектории
из Uу.
По определению в момент ху частица либо находится
в одном из состояний #0 = 0, их, ..., у, либо исчезает из
фазового пространства Ε (последний случай имеет место,
если частица все время до момента обрыва ζ оставалась
правее точки у). Чтобы избежать громоздких оборотов речи и
упростить запись формул, будем считать, что в момент обрыва
траектории ζ частица не исчезает, а попадает в фиктивное
состояние —1, из которого уже не может выйти. В
соответствии с этим положим
яу(-1) = Рг{ту = С}
и включим вероятность π^(—1) в набор вероятностей пу.

§ 8] МЕРА СКАЧКОВ И КОЭФФИЦИЕНТ ОТРАЖЕНИЯ 181
Допустим, что частица, пробыв в точке г какое-то
время *), выскакивает в момент ξ из этой точки с
распределением
π={π(—1), π(0) η (и), ...},
где
3π(ιΟ=1. (63)
и
Покажем, что через π однозначно выражаются все
распределения пу
Если *(£) = #<; у, то ту = £ и х(ху) = и (рис. 46).
Если же χ (ξ) = ζ > у, то из точки ζ частица может
попасть либо сперва в у, либо сперва в г. В первом случае
■*»(£
Ί О и
x(ty) = y* B0 втором, по строго марковскому свойству,
история начинается сначала. Вероятности выйти из ζ в у или
в г известны: они равны соответственно r~z и 2~У
* г—у г—у
(см. формулы (51)). Учитывая все это, получаем
пу(и) = п(и)+ J ^iz)jEjnyW (и<У)> (64)
у <z<r
У<г<г
Из (64) и (65) находим
л (и)
лу(я)=
1
7=7 Σ <*-?>*(*)
лу(у) = -
y<z <г
и(У) + и(У)
1
7^7 Σ ('-««W1
(й<У). (66)
(67)
y<z <r
*) Как было показано в § 2 (петит), это время может быть
распределено только по показательному закону.
13 Е. Б. Дынкин, А. А. Юшкевич

182
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
где
α (У) = 7=7 Σ ('-*>*(*)· (68)
у <г<г
Если из знаменателя формул (66) и (67) вычесть а (у), то
в силу (63) получится
1_т=7 Σ (/--y)jt^)=i- Σ *ο*)=Σπ^·
у <z<r у<z<r ы<у
Поэтому формулы для яу можно переписать в более
компактном виде:
лу(и)-= Л(и) (Жу). (69)
и<У
М*> = "W + aW · (70)
2^ π (и) + а (у)
«<у
Чтобы уяснить себе наглядный смысл полученных
формул, рассмотрим событие С: «частица, покинув точку г, не
вернется в нее, не побывав прежде вне множества U ».
В знаменателе формул (69) — (70) стоит вероятность РГ{С},
и эти формулы означают, что безусловное распределение
точки х{ху) совпадает с условным распределением при
условии С.
Выбирая различные распределения π, мы будем
получать различные продолженные процессы x{t). Однако все
возможности этим не исчерпываются. Дело в том, что
первого скачка, выводящего частицу из состояния г, может не
существовать: возможен и такой случай, когда за сколь
угодно малое время t частица совершает бесконечно много
скачков, возвращаясь каждый раз в исходное состояние
(разумеется, для каждого ε > 0 может быть лишь конечное
число скачков, превышающих ε). К этому случаю
приведенные рассуждения, конечно, неприменимы. Тем не менее
формулы (69) — (70) сохраняются и в общем случае, только π
уже не является вероятностной мерой (ряд (63) расходится)
и наглядное истолкование π несколько сложнее. Кроме того,

§ 8) МЕРА СКАЧКОВ И КОЭФФИЦИЕНТ ОТРАЖЕНИЯ 183
в формуле (68) появляется дополнительное слагаемое а,
характеризующее отражение.
Заметим, что если умножить все числа л (и) на одну и
ту же положительную константу, то формулы (68) — (70)
дадут прежние значения для распределения лу. Поэтому
можно считать, что π определено с точностью до
положительного множителя.
Сформулируем теперь, как обстоит дело в общем случае.
Для любого процесса класса А существуют
определенные с точностью до положительного множителя
неотрицательные константа а (коэффициент отражения) и
последовательность π={π(—1), π(0), . .., π(#), ...}
(мера скачков) такие, что
1) Σ(/· — и)п(и)<оо; (71)
и
2) если хотя бы одно из чисел а, п (и) (и=—1,0, #lf...)
отлично от 0, то яу при каждом у ^>0 выражается
через а и π по формулам (69)— (70) с
а(У) = 7=7[а+ Σ ('-*)*(*)]: (72)
L y<z<r J
3) если все числа α, η (и) равны Ό, то и все числа
zxy (и) (и <; у) равны 0.
В случае, когда граница г поглощающая, достаточно
положить α=0, π = 0. При этом из формул (69)—(70) и
(72) видно, что никакой другой выбор чисел α и π не
годится. В остальных случаях, как было показано в конце
предыдущего параграфа,
π,(-1) + π,(0)+...+π,Ο0=1 (73)
для любого состояния у из промежутка [0, г).
Считая выполненным равенство (73), рассмотрим две
окрестности точки г, Ux и Uу(х> у). Тогда ту^т^,
причем если χ (хх)<^.у, то χ (ху) = χ (хх). Если же х(хх) = z>y,
то из ζ можно попасть либо сперва в у (и тогда наступит
момент ху), либо сперва в г. После возвращения в г
случайная величина х(ху) снова имеет распределение яу.
Поэтому для пу(и) (и^у) получаем уравнения, совершенно
13*

184 ГРАНИЧНЫЕ УСЛОВИЯ [ГЛ. IV
аналогичные уравнениям (64) — (65), только теперь вместо
п(и) и π (ζ) в этих уравнениях стоит пх(и) и лх (ζ) и
суммирование распространяется на состояния ζ из промежутка
y<z<^x. Повторяя те же выкладки, которые привели от
уравнений (64) — (65) к формулам (69) — (70), получим
Ζ я*(и) + ах(У)
где
а* СО = т=7 Σ (г —*)**(*)· (76)
У<г<£х
[при упрощении знаменателя вместо равенства (63)
используется формула (73)].
Из формулы (74) следует, что при любых фиксированных
состояниях у < χ два конечных набора неотрицательных
чисел
яу(«) (и<у) (77)
и
М«) («<У)
отличаются только положительным множителем.
Следовательно, существует такая бесконечная последовательность
π={π(—Ι), π(0) π (ιι). ...} (78)
неотрицательных чисел, что каждый из наборов (77)
получается из соответствующего отрезка последовательности π
умножением на положительную константу.
Если все наборы (77) состоят из н улей, то следует взять π = 0.
Если же nw (ν) > 0 для какой-то пары состояний ν < w, то доста-
π, (и)
точно рассмотреть ; ч , где χ > и, χ > ν, и заметить, что это
πχ(ν)
отношение не зависит от χ (поскольку знаменатель лх отличен от
нуля при χ = w, то он отличен от нуля при любом χ > ν).
В том частном случае, когда п(и) = 0 при всех и, имеем
пу(и)=0 при любых и < у и, стало быть, пу(у)=\ при

§ 8] МЕРА СКАЧКОВ И КОЭФФИЦИЕНТ ОТРАЖЕНИЯ 185
всех у ^ 0. Поэтому формулы (69) — (72) справедливы,
если положить α > 0.
Допустим теперь, что мера π отлична от нуля, и τ/~
первое слева состояние, для которого π(τ/)>0. Пусть
х > у > v. Умножая числители и знаменатели дробей в
формулах (74) — (75) на тот множитель λ(χ), которым набор
ях(и) отличается от соответствующего отрезка
последовательности (78), получим
Σ
и<у
π
π (и) -f-'
(У) + ах
α* (У) λ (*)
(У) λ (χ)
Так как, по предположению, π(ν)Φ0, то из формулы (79)
при и = νχ однозначно определяется произведение ах(у)К(х).
Следовательно, ах(у)^(х) не зависит от х% и мы имеем
право положить
Μ3»λ(*) = α()» (х>У).
Тогда формулы (79)—(80) принимают требуемый вид (69)—
(70). Из этих формул видно, что набор η (и) (я < у)
получается из набора пу(и)(и < у) умножением на Σπ(Ό + αΟ0·
Стало быть,
Му) = Σ *(«)+<* (У). (81)
«<у
и формулы (69)—(70) можно переписать в виде
я>м=Ш (и<у)>
«у (Л- Щ '
Подставляя эти выражения при у = л: в формулу (76) и
умножая затем обе части на λ(Λ;), приходим к равенству
ct(y) = 1r!-r\a(x)(r-x)-^ Σ n{z){r-z)\ (82)

186
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
При увеличении χ сумма членов я (ζ) (г — ζ) в этой
формуле не убывает, так как к ней добавляются новые
неотрицательные слагаемые; с другой стороны, она ограничена
сверху числом а (у) (г — у). Следовательно, ряд
2 π (*)(/· — *),
ζ
т. е. ряд (71), сходится, и из (82) вытекает, что
произведение а(х)(г— х) при χ f r имеет конечный предел а.
Этот предел, очевидно, неотрицателен; он и является
коэффициентом отражения. Перейдя в (82) к пределу при χ f r,
получаем формулу (72).
Значит, при у > ν (ν—самое левое из состояний, в
которых мера π положительна) распределение яу записывается
через параметры α и π в нужном нам виде. Для состояний у
из промежутка 0 ^ у <[ ν (если такие состояния найдутся)
формулы (69)—(70), (72) также справедливы. В самом деле,
при таких у распределение яу сосредоточено в единственной
точке у, и легко видеть, что формулы (69), (70), (72)
приводят к этому же самому распределению. (Знаменатель
формул (69), (70) при у <^ν содержит слагаемое η (ν) с
положительным коэффициентом и потому не равен 0.) Итак,
представимость распределения яу через α и π по формулам (69)—
(72) установлена во Есех случаях.
При умножении α и л (и) на общий положительный
множитель связь этих характеристик с распределениями яу не
нарушается. И наоборот, из формул (69), (70) и (72) следует,
что если распределения яу получаются из двух различных
пар α*1), πθ) и α<2), я^ по этим формулам, то α(ιΚ π*1)
и а(2>, π<2) пропорциональны. Стало быть, мера скачков π
и коэффициент отражения α определены однозначно с
точностью до положительного множителя.
Остановимся в заключение на характере траекторий x{t)
в различных случаях. Если а=0 и ряд ^я(и) сходится,
то, нормируя меру π, может считать, что 2π(#)= 1· Тогда
мы получаем случай, разобранный в начале этого параграфа,
когда π — это распределение частицы в момент ее первого
скачка из г.
Если α > 0, π = 0, то скачки из г в другие состояния
невозможны, но частица с вероятностью 1 выходит из г.

§9]
КОЭФФИЦИЕНТ ПОГЛОЩЕНИЯ
187
В этом случае траектория частицы не имеет разрыва в
момент выхода из г. Для непрерывного (например, винеровского)
процесса аналогичный эффект имеет место при отражении.
Естественно и в нашем дискретном случае сказать, что
происходит отражение. Находясь вблизи г, частица с
вероятностью, близкой к 1, вернется в г прежде, чем удалится
от г на значительное расстояние. Поэтому следует ожидать,
что при отражении частица не монотонно отходит от точки г,
а «бьется» о точку г, бесконечное число раз возвращаясь
в г до попадания в фиксированное состояние а < г . Так
на самом деле и происходит.
Если ряд 2π(*0 расходится и а = 0, то до скачка в
фиксированную точку а происходит бесконечно много скачков
в состояния, заключенные между и и г. Отчасти картина
похожа на отражение, только выходы из г происходят не
непрерывно, а скачками. Ряд 2π(Ό не может расходиться
слишком быстро. Иначе частица, выходящая из г, должна
была бы совершить до попадания в любое фиксированное
состояние и < г скачки в более близкие состояния, которые
заняли бы вместе с возвращением в г бесконечно большое
время. Условие (71) необходимо, чтобы исключить такую
возможность. Для некоторых процессов размножения и
гибели оно является и достаточным. В общем случае его
приходится заменить более сильным условием, которое будет
выведено в § 9.
Если α и π отличны от 0, то мы имеем комбинацию
скачков из г и отражения. Сравнительная величина α по
отношению к π характеризует «удельный вес» отражения среди
скачков. Именно, как подсказывают формулы (69), (70)
и (72), вероятности выхода из Uy в результате скачка в
состояние а (—1^#^у), скачка в состояние ζ (у < ζ < г)
и отражения пропорциональны числам π(#), η(ζ)——- и ———
(см. задачи).
§ 9. Коэффициент поглощения. Проходимость
границы внутрь
Наглядно мера скачков π и коэффициент отражения α
определяют, куда выходит частица из точки г. Для задания
продолженного процесса x(t) нужно еще охарактеризовать

188
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
время, проводимое частицей в г. Например, если а = 0 и
π — вероятностная мера, то частица выскакивает из г с
распределением π. Время от первого попадания в г до первого
выхода из г естественно считать распределенным по
показательному закону, так же как время пребывания в остальных
состояниях. Параметр этого показательного закона является
произвольным и представляет собой новую характеристику
продолженного процесса, которую нужно присоединить к α
и π. Трудно представить себе какие-либо иные возможности
при а=0 и 2π(*/)<°°· и их на самом деле нет.
Примерно так же обстоит дело и в общем случае, когда а=£0
или 2π(*/) = °°· Несмотря на то, что теперь частица за
конечное время бесконечно много раз выходит из г, время
пребывания ее в г по-прежнему описывается одной
константой β. Эта константа появляется при исследовании
знаменателя т(у) = Мг%у в формуле (59) для характеристического
оператора 21. Кроме того, при вычислении т(у) возникает
новое ограничение на меру π и обнаруживается, что не от
всякой границы возможно отражение.
Пусть x(t) — процесс класса Л, Будет показано, что
при любом у ^> О
т(у) =
р + (ш(г)+ 2 *<*)[S<*)-S<r)]-a(y)[S<y)-S<r)]
y<z<r (83)
~ λ<)0
где β— неотрицательная константа, определенная вместе
с мерой скачков π и коэффициентом отражения а с
точностью до общего положительного множителя, и не
равная О при π=0, a = 0; S(u) и ν (и) — характеристика
процесса размножения и гибели и ее производная по и;
av(r) = 0 при a=0, v(r) = oo;
а (у) и λ (у) — величины, определенные формулами (72)
и (81). При этом
cw(r)<oo (84)
и
2 π (и) [S (и) — S (г)] < оо. (85)
и
Постоянную β условимся называть коэффициентом
поглощения.

§9]
КОЭФФИЦИЕНТ ПОГЛОЩЕНИЯ
189
Если г — поглощающая граница, то α = 0, π = 0, и
формула (83) дает для т(у) правильное значение +оо при
любом β > 0.
В остальных случаях, как было показано в конце § 7,
т(у) < оо. Считая выполненным это условие, рассмотрим снова
две окрестности точки г: Uх и Uy{x> у). В момент хх
первого выхода из U v частица имеет распределение πχ. Если
х(хх)^СУ* т0 ху = хх- Если же χ (%х) = ζ > у, то ху > хх,
причем частица из точки ζ может попасть либо сперва в у,
Рис. 47.
либо сперва в г (рис. 47). Среднее время, которое для этого
требуется, нам известно:
m(z\ у, r) = S(z) у^
= lS(z)-S(r)]-^j[S(y)-S(r)} (86)
[см. формулу (46) из § 5]. Вероятности попаданий в у и г
равны соответственно ^~^ и ^~у . При попадании в у
наступает момент ту, при попадании же в г для выхода из
Uу снова требуется в среднем время т(у). Таким образом,
для функции т(у) имеем уравнение
т(у) = т{х)+ Σ nx(z)\m(z) у, r) + I^zl. m(y)]. (87)
y<*<* L r — У J
Выражая из этого уравнения т(у) и подставляя вместо
чисел nx{z) их значения, взятые из формул (69)—(70), получаем
т(у) =
λ (χ) т(х)+ 2 π (*) т (^ У> г) + а (χ) т (■*"» У· г)
y<z<x (88)
λ (χ) 1
г —У
Г 2] «(*>(*-у)+ «<■*> С*-у>1
1.У<г<х J

190 ГРАНИЧНЫЕ УСЛОВИЯ [ГЛ. IV
где
λ(*) = %п(и) + а(х).
Знаменатель формулы (88) равен
= Σπ(^+Τ=τί Σ n(*)(r — z)-\-a(x)(r — x)\ =
= Σ ^ + 7=7 Γ Σ *(*)(/· —*) + α +
-Г<2<Г J U<y
[мы дважды воспользовались формулой (72), сначала для
состояния х, затем для состояния у]. Подставив в числитель
формулы (88) значения m(z\ у, г) и α (л:), взятые из равенств
(86) и (72), находим
Чу)т{у) = Х{х)т{х)+ 2 *(s)[S(s) — S(r)] —
~ S(^Iy (Г) Σ «(«)('·-«) + «(*)[5(*)-5(г)1-
5 (у)-5 (г)
г —у
L х<г<т J
По формуле (72) отрицательные члены дают здесь в сумме
— а (у) [S(у) — 5(г)]. Поэтому
^(у)т(у) + а(у)[5(у)-5(г)] = Я(*)т(л) +
-faW[SW-5(r)]+ 2 «(*)[S(*)-S(r)]. (89)
Перейдем в формуле (89) к пределу при χ f г. Левая часть
этой формулы не зависит от х\ в правой части все члены
одного знака. Поэтому сумма ^n(z)[S(z)— S(r)] при χ f г
остается ограниченной и, следовательно, ряд (85) сходится.

§9]
КОЭФФИЦИЕНТ ПОГЛОЩЕНИЯ
191
Рассмотрим, далее, слагаемое α (χ) [S(χ)—5 (г)].
Согласно (72) имеем
a(x)[S(x)-S(r)] =
= aS(x)-S(r) SM-Sjr) у n(z)(r-z).
г — χ ■ г — χ *+ ν /ν '
лг<г<г
Из выпуклости функции 5 следует, что наклон хорды,
стягивающей точки графика 5 с абсциссами гиг, при увеличении ζ
Рис. 48.
возрастает по абсолютной величине (рис. 48). Значит,
S (■*)-$ (г) < SJz)-S (г)
г —л:
при л; < 2 < г, и поэтому
г — ζ
Λ·<2<Γ
< Σ πωι5^)-5(0].
Мы получили в правой части остаток сходящегося ряда (85),
и, стало быть,
,. S(x) — S(r) v / w
Х^Г
X<Zr<T

192 ГРАНИЧНЫЕ УСЛОВИЯ [ГЛ. IV
Следовательно,
\ima(x)[S(x)—S(r)] = a\\m s (*> ~s (r) =av(r), (90)
х^г х^т г х
причем при а = 0, v(r) = oo этот предел равен 0.
Поскольку S (и) — ломаная, а не дифференцируемая кривая, то
равенство
lim s(x) — s(r) = нт sn — sr= v (r)> (91)
Х^Г Г — Χ Λ->ςο Г — Un
вообще говоря, требует доказательства. Из формул § 5 следует, что
гп-1
k = n
т-\ (т>п).
Поскольку Vk возрастает с увеличением £, то
vn ("т — "η) < Sn — Sm < г/т_, (wm — w„)< г/т_, (г — ип).
При т->со получаем отсюда, что
Vn(r — un)<Sn — S(r)<O{r)(r — ua)
или
г — ип
Так как г; (г) = lim vn, то формула (91) доказана.
л->оо
Наконец, раз остальные члены формулы (89) имеют при
χ | г конечные пределы, то существует также конечный
неотрицательный предел
β = lim λ (χ) m {x). (92)
χ^τ
Учитывая (90) и (92), в пределе из равенства (89)
получаем нужную нам формулу (83). Условие (84) вытекает из (83)
и конечности т (у) при α > 0. Из формулы (83) видно, что
при заданных α и π, не равных одновременно нулю,
коэффициент β определен однозначно и что при умножении α и π
на положительный множитель коэффициент β умножается на
этот же множитель (или остается нулем, если он был равен 0).
Если а = 0 и л = 0, то, как уже говорилось, β —
произвольное положительное число. Таким образом, в любом слу-

§9]
КОЭФФИЦИЕНТ ПОГЛОЩЕНИЯ
193
чае коэффициенты α, β и мера π определены однозначно
с точностью до общего положительного множителя.
Выясним, каким образом коэффициент поглощения β
связан со временем нахождения частицы в граничной точке г.
Допустим, что граница г не поглощающая. Заметим, что
время ху до выхода из U у слагается из времени |у,
проведенного в точке г, и времени ау, проведенного в состояниях ζ
из промежутка у < ζ < г. Поэтому
m(y) = Mrly-\-Mrey. (93)
Чтобы найти Мгау, рассмотрим окрестность Uх точки г {у <
< χ < г). До момента ху частица может несколько раз
выходить из Uх. Каждый раз, оказавшись вне Uх, но внутри Uyt
она тратит какое-то время на возвращение в г или выход
в точку у. Пусть η* обозначает сумму всех этих
промежутков времени. Очевидно, 0у<^Лу^0у. где ох—время,
проведенное частицей до момента τ в состояниях ζ из
промежутка y<z^.x. Поскольку ох возрастая, сходится к σ
при χ f г, то JArOy f Мгау и, значит *),
Мгау = ПтМгт]£. (94)
х^г
Величину М/Пу нетрудно вычислить. В самом деле,
рассуждая, как при выводе уравнения (87), получаем
ΜΓηί= J] nx(z)[m(z; у, г) +-^7 Мгт£]. (95>
у <z<x
Последнее уравнение отличается от уравнения (87) для т (у)
только тем, что вместо члена т (х) в правой части стоит 0.
Поэтому, повторяя с уравнением (95) те же преобразования,
что и с уравнением (87), получим для величины ПтМгт]у =
х^г
= Мгоу такую же формулу, как формула (83) для т (у), но
без члена β. Сравнивая (83) и (93), находим
м^=ж· (96)
*) См. сноску на стр. 108.

194
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
Таким образом, математическое ожидание времени,
проведенного в точке /' до выхода из данной окрестности,
пропорционально β.
При у \ г случайные величины £у, убывая, сходятся к
времени ξ непрерывного пребывания частицы в точке г. Из
формул (72) и (81) видно, что
!У\п(и) при а = 0,
(97)
со при а > 0.
Значит, если ^ = 0 и ряд 2π(Ό сходится, то
Мг|=^— >0.
2>(и)
и
Состояние г похоже при этом на все остальные состояния:
время пребывания в нем распределено по показательному
закону с параметром
aCo=JL-p < с^-
Если α>0 или ряд 2π(*0 расходится, то из (97)
следует, что ΜΓξ = 0. В этом случае множество R тех
моментов времени t, при которых x(t) = r, не содержит ни одного
промежутка положительной длины. Тем не менее при β > 0
суммарное время, проводимое частицей в г, положительно.
Множество R устроено в этом случае наподобие канторова
совершенного множества положительной меры *).
Для поглощающей границы λ(^) = 0 при всех у < г и
формула (96) тоже справедлива.
Рассмотрим теперь подробнее условия (84) и (85). Из (84)
следует, что коэффициент отражения α может быть отличен
от 0 только в том случае, когда т/(г)<оо. Наглядно, в
случае притягивающей границы (г < со) от конечности или
бесконечности ν (г) зависит возможность за конечное время
пробежать от г до любого другого состояния у (см. задачи).
Условимся поэтому говорить, что при т/(г)<со
притягивающая граница г проходима внутрь, а при ν (г) = со — не-
*) См., например, X а л м о ш, Теория меры, ИЛ, М., 1953, § 15.

§9]
КОЭФФИЦИЕНТ ПОГЛОЩЕНИЯ
195
проходима внутрь. Итак, для отражения необходимо,
чтобы граница была проходима внутрь.
От проходимости границы внутрь зависит соотношение
между условиями на меру скачков π
^п(и)(г — и)<оо
%п(и) [S(и)-S(г)] <оо,
(98)
(99)
полученными в последних двух параграфах. Из выпуклости
функции 5 следует, что при и < г
S(u)-S(r) ^ \S(r)\
(см. рис. 48, на котором хорда АВ имеет более крутой
наклон, чем ОВ). Поэтому
r-u<lsJn\ls(u)-sW
и из сходимости ряда (99) вытекает сходимость ряда (98).
Таким образом, в любом случае из условий (98) и (99)
О
1 j ^
(ρ-υ)υ(ηύ
\
\\rvfr)
f^-wV
I *-
S(r)
Рис. 49.
достаточно сохранить только второе. Однако если
граница г проходима внутрь, то и, наоборот, из (98) следует
(99), и эти условия становятся равносильными. В самом
деле, при т/(г)<оо можем воспользоваться геометрически
очевидной оценкой S(u) — S(r)<;(r— u)v(r) (рис. 49).
Для достижимой границы, у которой г и S(r) конечны,
проходимость внутрь является довольно сильным дополнительным

196
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
ограничением. Например, если рп = р* Яп = 9 ПРИ всех
п% 1 и ρ > q, то по формуле (41)
•w-i+'li(f)'· <1W>
Сходимость полученного ряда представляет собой гораздо
более жесткое требование к параметрам ап, чем сходимость ряда
1 °° 1
_5(г) = —[—Σ —
Ρ - Я Λ=ο ап
(см. § 6).
Геометрически очевидно (см. рис. 49), что из условий
г < оо и ^(г)<со следует конечность 5 (г). С другой
стороны, одного условия т/(г)<оо недостаточно для
достижимости границы: ν (г) может быть конечным при бесконечных г
и S(r) [например, ряд (100) может благополучно сходиться
при ρ < q]. Таким образом, достижимая проходимая внутрь
граница характеризуется условиями
г < со, ν (г) < оо.
(Подробнее о связях между различными типами границ см.
в задачах.)
§ 10. Граничные условия
Подведем теперь некоторые итоги. В §§ 8 и 9 мы
показали, что каждому продолжению процесса размножения
и гибели, относящемуся к классу Л, отвечают определенные
с точностью до общего положительного множителя мера
скачков π, коэффициент отражения α и коэффициент
поглощения β. Зная α, β и π, можно по формулам (69), (70), (72)
и (83) найти распределение яу и среднее время т(у) при
любом у^О, а значит, и характеристический оператор в точке г,
равный
«/(,) = !.* «Х-О т(у) (101)
[см. формулу (59)]. В остальных точках оператор 31
известен: согласно формуле (54)
VfCn)=iD*Duf(un) (я = 0. 1. 2, ...). (102)

§ Ю]
ГРАНИЧНЫЕ УСЛОВИЯ
197
Поскольку характеристический оператор полностью
определяет процесс класса Л, то это значит, что рассматриваемые
продолжения процесса размножения и гибели однозначно
восстанавливаются по мере скачков π и коэффициентам α и β.
Напомним, что при построении меры скачков π мы
заменили исчезновение частицы попаданием в фиктивное
состояние — 1. Вернемся теперь к прежней терминологии, введем
для числа π (—1) специальное обозначение
π(-1) = γ (103)
и назовем γ коэффициентом исчезновения. Остальные числа
к (и) (и = и0, ul9 ...) будем по-прежнему называть мерой
скачков. Таким образом, теперь мы имеем три
коэффициента α, β и γ и меру скачков π.
Вместо того чтобы перечислять величины α, β, γ и π
каждую в отдельности, можно написать одно содержащее их
уравнение. Это уравнение получается при переходе к
пределу в формуле (101).
Пусть граница г — не поглощающая. Подставляя в
формулу (101) значения чисел яу(и), взятые из равенств (69)—
(70), и пользуясь обозначением
Ш= Σ π(Ό+αΟ0 = γ+ 2 π(*)4αΟ0
-1<«<у 0<и<у
[см. (81)], получаем
2 n(u)f(u) + a(y)f(y)-X(y)f(r)
5I/(r) = l!m°<«<v
;;; λ оо т (у) —
Σ π (и) If (и) - / (г)] + α (у) [/ (у) - f (г)] - γ/ (г)
= lim^^ w ч / ч О04)
Согласно формуле (92) в последнем выражении знаменатель
при у \ г стремится к коэффициенту β. Если функция / имеет
в точке г конечную производную /'(г), то в силу формулы
(72) и условия (71)
rima(y)[/(y) —/(г)] =
= \\ma(y)(r-y)f(y)-f(!± = -af'(r).
у+r г —у J v

198
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
Кроме того, из существования f\r) следует, что f(u)— f(r) —
~ — f'(r)(r — и) при и | г, и поэтому из сходимости ряда
2я(#)(г — и) вытекает сходимость ряда 2^W[/(и)— /(г)].
Следовательно, числитель в формуле (104) стремится к
Σ η (и) [/ (и) - f (г)] - а/' (г) - γ/ (г). (105)
U
Таким образом, если β > 0, то получаем
a/(r)=!{S«(«)[/(")-/<Ol-«/'(Ο-γ/(О},
ИЛИ
β*/(Γ)+α/'(Γ) + γ/(0 + Σ«<«)[/(0—/<«)] = о. (106)
Если β = 0, то из конечности fr\r) еще не следует
существования предела (104), но для конечности 21/(г) во
всяком случае необходимо, чтобы предел числителя равнялся 0.
Приравнивая выражение (105) к 0, получаем снова
уравнение (106) с β = 0. Наконец, уравнение (106) справедливо
и для поглощающей границы г, так как в этом случае
α = у = π (и) = 21/ (г) = 0.
Итак, в любом случае уравнение (106) является
необходимым условием того, чтобы функция /, имеющая конечную
производную в точке г, входила в область определения
характеристического оператора 21. Это уравнение принято
называть граничным условием для процесса x(t) или для
оператора 21. Очевидно, задание уравнения вида (106)
равносильно заданию набора неотрицательных чисел α, β, у и π (и)
с точностью до положительного множителя. Следовательно,
каждому продолжению данного процесса размножения
и гибели из класса А отвечает одно определенное
граничное условие, и по этому граничному условию
продолженный процесс восстанавливается однозначно.
Иными словами, процесс класса А описывается оператором
-^ £>μ£)„. определяющим процесс во внутренних точках, и
граничным условием (106).

§ Ю]
ГРАНИЧНЫЕ УСЛОВИЯ
199
В §§ 8 и 9 было установлено, что коэффициенты α, β,
γ = π(—1) и мера π должны удовлетворять условиям
α>0, β>0, γ>0, π(ι0>0. α2 + β2 + γ2 + Σπ(")2 > 0,
и
а<а(г)<со, 2π(ι/)[5(ι/) — 5(r)] < со. (107)
u
Мы пока не знаем, достаточно ли этих условий для
существования процесса x{t) с заранее выбранными
параметрами α, β, у и π. Для ответа на этот вопрос приходится
использовать другой математический аппарат, и мы
ограничимся здесь лишь формулировкой результатов и наглядными
пояснениями. Оказывается, граничному условию (106) с
коэффициентами, подчиненными неравенствам (107), всегда
отвечает марковский процесс x(t), но иногда этот процесс не
принадлежит классу А. Дело в том, что при некоторых
значениях параметров α, β, у и л частица, попав в момент Τ
в граничную точку г, мгновенно выскакивает из нее на
большое расстояние. В результате нарушается требование
l\mx(T + h) = r9 (108)
ΛψΟ
вытекающее из предположений 4) и 5), сделанных в § 7 при
определении класса Л. Если β > 0, то частица, оказавшись
в г, до выхода из любой окрестности U^r проводит в
состоянии г (в среднем) положительное время. Слова «в
среднем» в действительности можно заменить словами «с
вероятностью 1», и поэтому условие (108) при β > 0 выполняется.
Точно так же оно выполняется, если ряд 2π(Ό расходится,
так как в этом случае первому скачку из г за пределы
фиксированной окрестности U предшествует бесконечно много
скачков в более близкие к г точки. Если β = 0 и ряд Σπ(#)
сходится, то для условия (108) достаточно, чтобы α было
положительным. В самом деле, из формулы (72) следует,
что в этом случае а(у)->оо при у f r, тогда как Σπ(*0
остается ограниченной. Поэтому при у, близком к г, прямой
скачок из г в состояния—1, 0, uv ..., у намного менее
вероятен, чем попадание из г в у через ближайшее к у
справа состояние. В пределе получается, что первому скачку
из г предшествует многократное отражение в точке г, и условие

200
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
(108) выполняется. Остается случай, когда
α = β = 0, Σπ(Ό<°ο. (109)
и
В этом случае в момент Τ частица совершает скачок с
распределением π, и условие (108) нарушается. Граничному
условию с такими параметрами не отвечает ни один процесс
класса А. В случае (109) естественно вообще не
присоединять точку г к фазовому пространству.
§ 11. Теорема единственности
Докажем теперь сформулированную в § 7 теорему о
единственности процесса класса А с данным характеристическим
оператором.
Прежде всего уточним постановку вопроса. Рассмотрим
переходную функцию
p(t. a. v) = Pu{x(t) = v] (*>0)
процесса x(t)t где и и ν — любые точки фазового
пространства E=[uQ, uv . .., ип, ...,г}. Переходная функция
p(t, и, ν) играет в случае непрерывного времени ту же
роль, что переходные вероятности р(х, у) для цепи
Маркова с дискретным временем. В силу марковского свойства
вероятность события
A = {x(tl) = vv x(t2) = v2, . ... x(tn) = vn)
(0<tx<t2<...<tn) (110)
выражается через ρ (t, u, v) по формуле
Pu{A} = P(ti> ti,vx)p{t2—tvvv v2)...p(tn — tn_lt vn_v va).
Значит, если у двух процессов совпадают переходные функции,
то для них совпадают вероятности всех событий вида (НО).
Следовательно, совпадают и вероятности всех событий,
получающихся из событий (НО) с помощью сложения
(непересекающихся событий), вычитания и монотонного предельного
перехода. Можно показать, что для процессов класса А
таким образом получаются (с точностью до событий
вероятности 0) все события, зависящие от поведения траектории.
Поэтому различие между двумя процессами класса Л,
обладающими, одинаковыми переходными функциями, несущест-

§ И] ТЕОРЕМА ЕДИНСТВЕННОСТИ 201
венно *). Таким образом, хотя процесс класса Л, как набор
вероятностных мер Ри на множестве траекторий, и не
определяется однозначно по переходной функции, практически
процессы с одной и той же переходной функцией ρ (t, и, ν)
неотличимы друг от друга. Мы покажем, что по
характеристическому оператору 21 однозначно восстанавливается
переходная функция процесса класса А.
Рассмотрим на непрерывных функциях f{u) (u£E)
оператор /?λ, определенной формулой
сю
RJ(«) = J *->·' м„/(*(0)dt (λ > 0). (in)
0
Этот оператор называют резольвентой процесса x(t).
(Заметим, что если /^>0, то /?λ/ превращается в α-потенциал
функции / с а = е~к—см. § 8 гл. III.)
В частном случае, когда f(u)=\ в точке ν Φ г и равно 0
в остальных точках, lftuf(x(t)) = p(tt и, ν) и
сю
#*/(")= j e-u p(t. и, v)dt.
о
Если / = 1 во всех состояниях и, то Ми/(х (0) = Р« {ζ > ^} и
сю
R,J(u)=fe-uPu£>t}dt.
0
Мы получили в правой части преобразование Лапласа
функций p(t, и, ν) и ΡΜ{ζ>*}. В анализе доказывается, что
если функция <p(t) (t^O) ограничена и непрерывна справа
и при любом λ >0
сю
J е-*-' φ(t)dt=0,
о
то φ тождественно равна нулю (см., например, [4], стр. 46).
Вероятность Ри {ζ > t) непрерывна справа по t, потому
что при /г J 0 события {ζ>έ-\-Η} монотонно сходятся к
*) Два таких процесса всегда могут быть получены один из
другого добавлением к множеству траекторий некоторого множества
В и удалением из него множества С таких, что Ри {В} = Ри {С} = 0
для всех и£Е.
14 Е. Б. Дынкин, А. А. Юшкевич

202 ГРАНИЧНЫЕ УСЛОВИЯ [ГЛ. IV
событию {ζ>/}. Из того, что траектории процесса
непрерывны справа, следует, что функции ρ (t, и, ν) также
непрерывны справа по t при νφτ*). Поэтому процессы класа А
с одинаковыми резольвентами имеют равные функции ρ (t, и, ν)
(рфг) и Ρα[ζ>ί]. Так как
p(t, и, Γ) = Ρ,|ζ>/]-2ρ(<, и, ν\
то при этом равны функции ρ (t, и, г), т. е. переходные
функции полностью совпадают. Итак, достаточно
проверить, что по характеристическому оператору 21 можно
однозначно восстановить резольвенту RK.
Предварительно преобразуем формулу (111), определяющую
RK. Функция f(x(t)) задана лишь при t < ζ. Обозначим
через η(έ) функцию, равную f(x(t)) при /<ζ и равную нулю
при остальных t. Имеем
оо оо
**/(«)= J e-utlij(x(t))dt=j e-**tiLuT\(t)dt =
о о
сю
= lAttfe-Mr\(t)dt**).
о
*) В самом деле, для любой пары состояний χφυ множество
Afj траекторий, начинающихся из χ и успевающих за время h > О
побывать в ν, при ΛψΟ монотонно сходится к пустому множеству.
Так как из условий χ (0) = χ, χ (Λ) = ν вытекает событие А^ то
ρ (Λ, χ, у)<С?х {Ah} и из стремления Pr {Ah} к нулю следует, что
Нт/?(/г, χ, ν) = 0 (χφυ). Если υ = и^ το согласно формуле (9),
Λψο
ρ (Λ, г/, v)^e-anh И| значит, lim/?(//, υ, ν) = 1 (νφτ). Заметив
это, остается перейти к пределу при /г ψ 0 в равенстве
p(t + h, и, ν) = ΣΡ(*> и> x)P(h> x* v)>
непосредственно вытекающем из марковского свойства (почленный
переход к пределу в бесконечном ряде законен, так как вторые
множители ограничены числом 1, а ряд из первых множителей
абсолютно сходится).
**) Мы изменили порядок интегрирования по t и по множеству
всех траекторий. Это законно, если интегралы абсолютно сходятся
(теорема Фубини). Величина η (t) была введена для того, чтобы
получить функцию, определенную при каждом t на всем множестве
траекторий.

§ И] ТЕОРЕМА ЕДИНСТВЕННОСТИ 203
Отсюда
Я*/(«) = МИ j e->-*f(x(t))dt. (112)
о
Докажем теперь, что оператор /?λ переводит непрерывные
функции в непрерывные функции, т. е. что
»«η/?λ/(ιι) = /?λ/(Γ).
Поскольку обрыв процесса не может наступить до момента Τ
первого попадания траектории в состояние г, то из
формулы (112) находим, что
τ ζ
RJ (и) = МЛ JV*</ (x (0) dt + Mtt fe-Vf (x(t))dt =
ο τ
Τ ζ-Τ
— Mu fe-Mf(x(t))dt + Mu*-^ J e-bsf(x(T + s))rfs. (113)
о о
Так как Г—марковский момент и х(Т) = г, то по строго
марковскому свойству процесс
y(s) = x(T^ s)
имеет точно такое же распределение вероятностей, как и
процесс χ(s), начинающийся в точке г. При этом процесс у(s)
не зависит от случайной величины Τ и, очевидно, ζ-Τ
является моментом обрыва траектории у (s). Следовательно,
второе слагаемое в формуле (113) равно
ΛΙβ*-λΓΜΓ J* e-}sf(x(s))ds = RJ(r). Μβ*-λΓ.
о
и формула (113) принимает вид
τ
RJ(u) = Muj e-Uf(x(t))dt + Rkf(r)lAtte-Kr.
о
Поскольку функция/непрерывна, то |/(#)| ограничен какой-то
константой С. Вычитая из обеих частей последнего
равенства R\f(r) и пользуясь неравенством 1—е~*^х(х^0),
14*

204
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
получаем
τ
IR%f (») - *л/ (О |< |м„ Г'«-"/ (х (0)л I +
I * I
о
+ \RJ (л) I MB(1 - е-") < СМ„Г + \RJ (r) | · λΜ„7'.
Согласно формуле (45) N[uT = S(u) — S(r)->0 при и f г,
и наше утверждение доказано.
Следующим шагом будет доказательство равенства
^λ-#μ = (μ-λ)/ν?λ (λ,μ>0). (114)
Заметим, что формулу (111) для /?λ можно переписать в виде
сю
/?λ= fe-HPtdt9
о
где оператор Я, определен соотношением
Я//(«) = Мв/(*(0) (*>0).
В § 8 гл. III было показано, что
PsPt = Ps+t (s, ί>0)
(читатель легко убедится, что в этом доказательстве
использовалось только марковское свойство, а не специфические
особенности винеровского процесса). Поэтому *)
сю сю сю
#μ#λ = J* e-**PsRkds = J* e-**Ps j e~uPtdt ds =
0 0 0
oo oo
= j j e-vs-ups+tdtds.
о о
Переходя к новым переменным 5 и z = s-\-1, получаем
λ — μ J ν ' * λ —μ
*) См. сноску на стр. 202.

§ II] ТЕОРЕМА ЕДИНСТВЕННОСТИ 205
Далее покажем, что если f непрерывна и F = /?λ/, то
f = KF—%F. (115)
Проверим сначала, что равенство (115) выполняется в точке
г, если эта точка является поглощающей границей.
Действительно, в этом случае 91/(г) = 0 и
оо оо
F(r)=je-bMrf(x(t))dt = f(r)je-"dt=±f(r).
о о
Во всех остальных случаях Μ„τ < со для достаточно
малой окрестности U точки и, где τ — момент первого выхода
из U (при и=ип можно положить U=un, и тогда Μ„τ =— ;
ап
для и = г конечность Мит была установлена в конце § 7).
Пользуясь непрерывностью функций / и F = /?λ/, выберем такую
окрестность U точки и, в пределах которой колебание
функции XF — / остается меньше данного числа ε > 0. С помощью
равенства (114) представим функцию /? = /?λ/ в виде
P = ^g (μ>ο),
где
Вставляя между 0 и ζ момент τ первого выхода траектории
из U и пользуясь представлением R^g в виде (112), можем
написать
τ ζ-χ
F(u) = N[u$ e-^g(x(t))dt^IAue-^ | e-»sg(x(x-\-s))ds
о о
(H6)
[ср. вывод формулы (113)]. По строго марковскому свойству
процесс у (s) = лг(т + s) при условии χ(χ) = ν не зависит
от случайной величины τ и имеет такое же распределение,
как процесс x(s), начинающийся в точке v. Момент ζ — τ
служит для у (s) моментом обрыва. Поэтому условное

206 ГРАНИЧНЫЕ УСЛОВИЯ [ГЛ. IV
математическое ожидание
С-т
Μ„(*~μτ | e~^g(x (x + s))ds I χ (τ) = ν) =
ο
ζ
= Μ„ (*-*" Ι α: (τ) = ν) = Μ* J *-^g* (л: (5)) ds =
о
=NLu{e-v\x(x)=v)R»g(v)=!Aa(e-^R^g(χ(τ)) \χ(χ) = ν) .
Умножая полученное выражение на Pu{x(x) = v] и суммируя
по ν £ Е, получаем
1-х
1Лие-*" J e-\isg (д. (τ _|_5)) ds = JAue'^R^g (χ (τ)) =
= ΜΒ*-»"77(*(τ)).
Поэтому формула (116) принимает вид
τ
/?(^)=Μ„|^-^[/(^(0)+(μ-λ)/7(^(0)]^+Μ^-^/7(χ(τ))
о
и при μ | 0 переходит в равенство
τ
F (и) = Ми j [/ (χ (0) - № (х (0)] <tt +■ fAuF (χ (τ)) (117)
о
(предельный переход под знаками математического ожидания
и интеграла законен, так как функции / и F ограничены и
Mwt < оо). Из (117) получаем
MS(*M)-rw = _L_Ma J [λΡ(х(0)_ f {x(0Mdt
"о
Вычитая из обеих частей величину
τ
λ/7 («) - / («) = -L.M. J [λ/> (и) - / («)] dt

§ ill
ТЕОРЕМА ЕДИНСТВЕННОСТИ
207
и пользуясь тем, что в пределах U колебание функции λΡ — f
остается меньше ε, находим, что
о
Это значит, что
т. е. что tyLF (и) = λΡ (и) — /(и). Формула (115) доказана.
Теперь, наконец, мы можем доказать, что оператор /?λ
однозначно восстанавливается по характеристическому
оператору 91 и тем самым установить единственность процесса
класса А с данным характеристическим оператором. Мы
показали, что функция Ρ = RKf непрерывна и удовлетворяет
уравнению λΡ—%Р = /. Таким образом, достаточно
проверить, что уравнение λΡ—%F = f ни при какой правой
части не имеет более одного непрерывного решения. Если
бы это уравнение имело два различных непрерывных
решения, то их разность была бы непрерывным ненулевым
решением однородного уравнения
χρ_%Ρ = 0. (118)
Итак, остается доказать, что уравнение (118) имеет только
нулевое решение в классе непрерывных функций Р.
Непрерывное решение Ρ (и) уравнения (118) в какой-то
точке ν достигает своего наибольшего значения Μ = Ρ (ν). В
самом деле, непрерывность Ρ (и) означает, что Ρ (r) = \\mF(un).
η -> оо
Если Ρ (un)<^.F(r) при всех η, то наибольшее значение
достигается в точке г. Если же F(un)> Ρ (г) при каком-то /г, то
в силу непрерывности Р(ип)> Р(ит) при всех т> начиная
с какого-то т0. Ясно, что в таком случае наибольшее среди
чисел F(Uq), F(Ui), ···. F(um<) и является максимальным
значением функции Р. Допустим, что Μ > 0. Поскольку в
момент τ первого выхода из окрестности U точки υ
Ρ(χ(τ))<Μ = Ρ(ν),
то

208
ГРАНИЧНЫЕ УСЛОВИЯ
(ГЛ. IV
и, значит,
%F{v) = limM°Flx{l))-FlO) <0.
С другой стороны, из уравнения (118) следует, что
Я/7 (v) = IF (v) = λΑί > 0.
Полученное противоречие показывает, что Μ <^. 0. Точно так
же проверяется, что наименьшее значение т функции F(u)
неотрицательно. Следовательно, F = 0, и единственность
доказана.
ЗАДАЧИ
Среднее время выхода
В задачах 1 и 2 другим способом выводятся формулы для
среднего времени выхода, полученные в § 5.
1. Пусть тп — среднее время до попадания в ип+1
для частицы, находящейся в ип. Доказать соотношение
юя = —+ ?я0ия-1 -Мл)·
ап
Вывести отсюда равенство
JL.3±LdlL+J-3ll^lL + ...+-L-. (119)
п а0р0 р{...рп ' а>\Р\ Рг---Рп ' ' апРп
2. Из равенства (119) получить формулы (44) и (43).
Указание. В канонической шкале
т(и\ b) = m{u\ a, b)-\- ^~^ m(a\ b).
Классификация границ
Назовем границу г финитной, если т(и; а, г) < со при
всех а < и < г, и нефинитной, если /я(#; а, г) = оо при
всех а < и < г. Финитную границу назовем слабо финитной,
если /я(#; а, г)-»со при # f г, и сильно финитной, если
функция /я(#; а, г) ограничена (см. [4]).
3. Притягивающая граница сильно финитна при
|5(г)|<со и нефинитна при |S(r)| = oo.
4. Отталкивающая граница сильно финитна, если
f(r)<oo и график S(u) имеет асимптоту при u\rt

ЗАДАЧИ
209
слабо финитна, если ν (г) < оо и 5 (и) не имеет
асимптоты, нефинитна, если v(r) = oo.
Поставим между состояниями uk и uk+l отражающий
барьер, т. е. будем считать, что каждый раз вместо перехода
из uk в иклл частица снова попадает в uk. Обозначим через
mk(u) среднее время, которое при этом требуется для
попадания из и в 0 (0 ^ и ^ uk). Скажем, что граница г про-
ходила внутрь, если mk(uk) остается ограниченным при
&—>оо, и непроходима внутрь, если mk(uk)->oo при k->oo.
(Из задачи 6 видно, что это определение согласуется с
определением из § 9).
б. Функция mk(u) удовлетворяет уравнению (31) при
всех ип, расположенных между 0 и uk. Как надо
доопределить mk(u) в точке u = uk+v чтобы это уравнение
выполнялось и в точке uk?
6. Притягивающая граница проходима внутрь при
т/(г)<со и непроходима внутрь при v(r)=oo.
Указание. Найти решение уравнения (31) при
граничных условиях тЛ(0) = 0 и w>k(uk)= mk(uk+i)-
7. Отталкивающая граница проходима внутрь, если
она сильно финитна, и непроходима внутрь, если она
слабо финитна или нефинитна.
8. Сильная финитность границы эквивалентна ее
достижимости или проходимости внутрь.
Скачки траектории x(t)
В последующих задачах x{t) обозначает процесс класса Л,
начинающийся в точке г, причем граница г предполагается
не поглощающей. Как и в §§ 8 и 9, считается, что частица
в момент исчезновения попадает в состояние —1. Напомним,
что траектории x{t) непрерывны справа при έ^Ο.
9. С вероятностью 1 при всех t > 0 существуют
конечные пределы χ (t — 0).
Указание. С вероятностью 1 в течение конечного
промежутка времени [0, έ] траектория не более чем
конечное число раз входит в любое состояние и,
отличное от г.
Условимся говорить, что в момент t происходит ска-
чок из состояния χ в состояние у, если x(t — 0) = лг,

210
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
x(t-\-0) = x(t) = у(у Φ χ). Из задачи 9 следует, что с
вероятностью 1 траектория χ (έ) не имеет других разрывов,
кроме скачков.
10. С вероятностью 1 на всей траектории x{t) нет
других скачков, кроме скачков в соседние состояния
и скачков из г.
Указание. Рассмотреть первое, второе и т. д.
попадания частицы в состояние χ Φ г и воспользоваться
строго марковским свойством и указанием к задаче 9.
Пусть ху — момент первого попадания траектории в
отрезок состояний [—1, 0, ..., у] и г\у— момент последнего
перед ху выхода из г (т]у — верхняя грань тех έ <^xyi для
которых χ (έ — 0) = г). Из задачи 9 легко выводится, что
с вероятностью 1 х(цу— 0) = г.
11. В момент ту с вероятностью , ' происходит
/ ^ \ α(ν)
скачок в и из г (и ^ у) w с вероятностью γγ-γ
происходит скачок в у из состояния, ближайшего справа.
Указание. Для состояний и < у это следует из
задачи 10 и формулы (69). Вероятность скачка из г
в точку у в момент ху можно вычислить, сложив
вероятности скачка из г в у впервые в момент χζ% впервые в
момент второго попадания из г в [—1, ζ] и т. д. и
используя формулу (82) (ζ — любое состояние между у и г).
12. Распределение частицы в момент цу дается
формулой
п(и), #<у,
λΟ0Ρ{*(ην) = "}={
π0*07=7' У<и<г>
г —у
и = г.
Указание. Для и<^у это вытекает из
предыдущей задачи. В случае у < и < г можно взять
состояние ζ между и и г и сложить вероятности того, что
скачок из г в и представляет собой первый, второй
и т. д. момент попадания из г в отрезок [—1, ζ].
Для и = г достаточно вычесть уже найденные
вероятности из 1.

ЗАДАЧИ
211
13. Если π(#) = 0, то вероятность скачка из г в и
равна 0. Если π(#)>0, и Φ— ΐ,γ = π(—1)>0, то
вероятность скачка из г в и положительна и меньше 1.
Еслия(#)>0 и v=0 или и =—1, то эта вероятность
равна 1.
Введем сокращенное обозначение π (£/) = 2 л (и), где
сумма распространяется на состояния u£U (π(г) считается
равным 0). Обозначим через Аи событие «когда-нибудь частица
прыгнет из точки г в U».
14. Пусть U конечно и π(U) > 0. Тогда вероятность
того, что первым скачком из г в U частица прыгнет
в u£U, равна —^- (речь идет об условной
вероятности при условии Αυ).
Указание. Взять состояние ζ, лежащее правее
всех u£U, и рассмотреть возможности скачка из г в и
в моменты первого, второго и т. д. попаданий из г в
отрезок [—1, ζ].
16. Если π(£)>0, то с вероятностью —-ηβ- при
первом скачке из г частица попадет в точку и.
Указание. В предыдущей задаче перейти к
пределу при U | Ε и фиксированном и.
16. При 0<π(£)<οο с вероятностью 1
существует первый скачок из г, при π(£) = οο с
вероятностью 1 не существует первого скачка из г.
17. Если π(£') = οο, то с вероятностью 1 до
первого скачка из г в фиксированное состояние и
произойдет бесконечно много других скачков из г.
Отражения траектории χ (t) от границы г
Если в момент 5 происходит скачок из г, то χ (s — 0) = r,
л;($) = x(s -f-0) Φ г. Предположим теперь, что x{t — 0) =
= л;(^ + 0) = г. Может случиться, что частица возвращается
в г в любом промежутке {t% £ + δ)(δ>0). Если это не так,
то условимся говорить, что t — момент отражения, а
наибольший интервал (t, t'), в течение которого частица
находится вне г, будем называть интервалом отражения (см. рис.
50, где для наглядности вместо ступенчатой ломаной
нарисована непрерывная кривая). Если в течение этого интервала

212
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
частица побывала в состоянии х, то мы скажем, что
произошло х-отражение.
18. Пусть χ — любое состояние, отличное от г. С
вероятностью 1 на любом конечном промежутке времени
произойдет не более чем конечное число лг-отражений.
Из задачи 18 следует, что с вероятностью 1 либо суще-
твует первое лг-отражение, либо не существует ни одного
Рис. 50.
л>отражения. Момент первого лг-отражения условимся
обозначать через Ьх (при этом положим 6^ = + оо, если лг-от-
ражений не существует).
19. Если а= 0, то
Рг{6^ = + оо для всех х) = 1
) 1 не произойдет ни одн<
. Использовать включени
[Ьх<хх} = {х(У)х) = г}
(с вероятностью 1 не произойдет ни одного отражения).
Указание. Использовать включение
(см. задачу 12).
20. Если а>0, то
Рг {йдг < °° Для всех ■*) > 0
(при а>0 и у = 0 эта вероятность равна 1).

ЗАДАЧИ 213
Указание. См. задачу 12.
21. При а>0 и 0<л;<у<г
Рг{6у = о,|6у<ао}=^.
22. При а > 0 с вероятностью 1 не существует
первого отражения.
Указание. Если δ — момент первого отражения,
то для некоторого состояния χ
δχ = δ < оо.
Ясно, что тогда 6у = 6Х < оо для всех χ < у < г и
в силу задачи 21
ΡΓ{δ, = δ<οο}<-^.
23. Если а>0 и π(£) = οο, то с вероятностью 1
не существует л:-отражения, которому не
предшествовал бы какой-нибудь скачок из г.
Указание. Положим
ру = Рг {до момента δ^. < оо не было ни одного скачка из г
в отрезок [— 1, у])
С помощью задачи 12 при у > χ получается уравнение
α / г — у . у—χ \
РУ~ (г —у) λ (у) \г — х "■" г — х рУ)'
что вместе с формулой (72) приводит к оценке
^ α
/>у^ (r_x)jl([_if y]) ·
24. Если а>0, то в обозначениях задачи 12
\[т?г{цу = Ьу} = \
у+г
(при у, близком г, вероятность впервые попасть в
отрезок [— 1, у] посредством ^-отражения, а не скачка,
близка к 1).
Указание. Из сходимости ряда У\п(и)(г — и)
следует, что
lim (г — у) 2 π (и) = 0.
у^г и<у
Поэтому λ (у) (г — у)-> а при у f г.

214
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
26. Если α > 0, то с вероятностью 1 не существует
скачка из г, которому не предшествовало бы
какое-нибудь отражение.
Указание. Использовать задачу 24.
Локальное время в граничной точке г
В задачах 26—31 дополнительно предполагается, что
β > 0 и ν = 0 (среднее время, проводимое в точке г,
положительно, и исчезновение невозможно)*). Функция s(t)
обозначает время, проведенное частицей в точке г до момента /
(график этой функции показан на рис. 51).
Sk
s(t)
x(t)
t
и
Рис. 51.
26. Функция s(t) непрерывна, не убывает и с
вероятностью 1 стремится к со при t -> оо.
Указание. Чтобы прийти к равенству
Pr{lims(0 = oo} = l
для непоглошающей границы г (остальные утверждения
задачи доказываются совсем просто), заметим, что с
вероятностью 1 частица бесконечно много раз попадает
*) Можно ввести локальное время и в случае β = 0. См. по этому
поводу, например, Ито и Маккин [8], гл. 2 Идеи этого цикла задач
восходят к работам Леви (P. Levy, Processus stociiastiques et mou-
vement Brownien, Gaulher Villars, Paris, 1S48).

ЗАДАЧИ
215
из г в 0 и обратно (см. конец § 7). Пусть sn — время,
проведенное в г в течение /г-го такого цикла. Тогда
сю
lims(f) = 2 sn>
причем случайные величины sn взаимно независимы,
одинаково распределены, неотрицательны и с
положительной вероятностью положительны [см. формулу (96)].
Из задачи 26 следует, что с вероятностью 1 существует
обратная к s(t) возрастающая непрерывная слева функция
t (s) = min [t : s(t) = s], заданная на всей полуоси 0 ^ s < оо.
При этом t (0) = 0 и t (s) является марковским моментом для
любого s^O. Пользуясь задачей 9, мы можем исключить
из рассмотрения множество тех траекторий x(t), вдоль
которых пределы χ (t — 0) не всегда существуют. Тогда по самому
определению t(s) при каждом s>0 будем иметь равенство
χ (t(s) — 0) = г. Можно доказать, что при любом
фиксированном 5>0 с вероятностью 1 траектория x(t) непрерывна
слева в момент t (s), и поэтому *)
Pr{x(t(s)) = r} = \ (s>0).
27. При начальном состоянии г время |у,
проведенное в точке г до первого попадания в отрезок [0, у],
распределено по показательному закону со средним
значением β/λ (у).
Указание. Рассматривая марковские моменты t(s),
вывести соотношение
Рг {1у > *1 + S2) = Pr [iy > SX) · Pr Uy > S2]
(sv s2>0)
и использовать § 3 Добавления и формулу (96).
Отметим на оси 5 локального времени в состоянии г точки
sv s2, s3, . .., отвечающие попаданиям частицы в отрезок
[0, у]. Из известных свойств показательного распределения
следует, что точки {st} образуют пуассоновский поток с
параметром β/λ (у). Это значит, что число точек, попавших на
*) Процесс x(t) класса А квазинепрерывен слева (см. [4],
теорему 3.1о), т. е. если хп — марковские моменты и Р^ [хп f τ < оо} = 1,
го РЛ- [х(х — 0) = лг(т)} = 1. В качестве хп здесь можно взять
t (s — 1/п).

216
ГРАНИЧНЫЕ УСЛОВИЯ
[ГЛ. IV
интервал длины s, распределено по закону Пуассона с
параметром β s и что для неперекрывающихся интервалов времени
количества попавших на них точек взаимно независимы.
28. Пусть {^} — пуассоновский поток с параметром
l/μ, и пусть каждая из точек ^ независимо от
предыдущих точек с вероятностью ρ отмечается звездочкой.
Тогда отмеченные звездочкой точки образуют
пуассоновский поток с параметром \/μρ.
Указание. Время ξ до первой отмеченной точки
удовлетворяет соотношению
Р{&>« + *} = Р{*>«}Р{Б>*}
(а, *>0).
Математическое ожидание номера первой точки s/f
отмеченной звездочкой, равно \\р.
29. Время σΛ, проведенное в точке г до первого
скачка из г в а, распределено по показательному
закону со средним значением β/π(#).
Указание. См. задачи 12 и 28.
30. Время р^., проведенное в точке г до первого
лг-отражения, распределено по показательному закону
β (г — х)
со средним значением — -·.
31. Видоизменим задачу 28, отмечая точку sit
независимо от предыдущих, с вероятностью ρλ звездочкой
и с вероятностью р2 — крестиком (Р\~\-Р2*С 0· Тогда
для любого интервала времени число точек, отмеченных
звездочкой, не зависит от числа точек, отмеченных
крестиком.
Указание. Пусть 5 — длина интервала, тх — число
точек, отмеченных звездочкой, т2—число точек,
отмеченных крестиком на этом интервале. Согласно задаче 28
P{m1=ft}=j£^*-'.«\

ЗАДАЧИ
217
Независимо от того, где располагаются отмеченные
точки, число точек со звездочкой среди подряд взятых
k + / отмеченных точек распределено по биномиальному
закону с ρ = —^ц— (звездочки и крестики чередуются,
как успехи и неуспехи в схеме Бернулли). Поэтому
P[ml = k, т2 = I) = Ρ [щ-\- т2 = k-\-l] · Ρ [ml =
= k\ml + m2=k + l} = 1(Ρι+($ΐ>}**1 *-{ρ'+ρ*)δμΧ
(k + l)\ Ι Ρι γ Ι ρ2 У
Α kill \ρί+Ρ2) \Ρι+Ρ2)
= p{ml = k} . P{m2 = l].
Задача 31 легко обобщается на случай η вероятностей
Ρν Ρ» ···· Ρα (Ρι + Ρ2+···+Ρ«<1)·
Выделим среди точек {st·} (см. текст перед задачей 28)
точки, отвечающие скачкам в и0; затем точки, отвечающие
скачкам в ιιλ\ . . .; затем точки, отвечающие скачкам в ип = у;
наконец, точки, отвечающие ^-отражениям (х —
фиксированное состояние из отрезка [0, у}). Из задачи 31 следует,
что они образуют п-\-2 независимых друг от друга пуассо-
новских потока (параметры этих потоков найдены в задачах
29 и 30). Так как η можно брать сколь угодно большим,
то моменты скачков из г в любые различные состояния тоже
образуют на оси 5 независимые пуассоновские потоки. Моменты
л:-отражений (х фиксировано) образуют пуассоновский поток,
не зависящий от всех скачков из г. Моменты л:-отражений
и ^-отражений, конечно, зависимы между собой. Но
отражения тоже можно расщепить на независимые потоки, если
рассмотреть л:-отражения, не являющиеся «-отражениями ни при
каком и < χ (их можно назвать ^-отражениями в узком смысле).
Из задач 28 и 31, точно так же как для скачков, выводится,
что ^-отражения в узком смысле при разных χ образуют
независимые пуассоновские потоки на оси локального времени
5, и эти потоки не зависят от потоков скачков из г. Все это
позволяет более наглядно представить себе поведение
частицы в точке г.
15 Е. Б. Дынкин. А. А. Юшкевич

ДОБАВЛЕНИЕ
§ 1. Оценка функции g(x, у)
Докажем, следуя Дуффину *), приведенную в § 3 гл, I
асимптотическую оценку для функции g(x, у). Как и при
выводе критерия массивности, ограничимся случаем трех
измерений.
Поскольку g(x, у) зависит только от разности χ— у,
то достаточно исследовать g (x, 0). Введем сокращенные
обозначения
β={βι· θ2· езЬ II* 11 = ^*?+^+4
dQ = dQi d% d%, ρ = уЩ+Щ+Щ%
Θλ: = Θ1λ:1 + Θ2λ:2 + Θ3*3
и, как прежде, обозначим через Q куб IOJ^jt, |θ2|^π,
|θ3|<π. Тогда
где Q
F ^ = 3 — cos Θ, — cos θ2 — cos θ3 " ^
Покажем, что
Hm \\x\\g(x, 0) = -Д-. (3)
IUi!->oo ZJl
Формула (1) означает, что с точностью до константы
g(x, 0) является для периодической функции F (Θ)
коэффициентом Фурье с номером χ = [xv x2, x3) (xv x2> *з—
целые числа).
*) R. J. Duff in, Discrete Potential Theory, Duke Math. J. 20
(1953), 233-251.

§ и
ОЦЕНКА ФУНКЦИИ g (x, у)
219
Заметим, что если периодическая функция #(θ)
^периода 2π по каждому аргументу) имеет непрерывные вторые
производные, то ее коэффициенты Фурье
h(x) = f H(Q)eiQxdQ (4)
Q
удовлетворяют условию
h(x)=°(iw) (5)
(здесь и в дальнейшем О (а) обозначает величину, которая
не превосходит произведения α на некоторую константу).
В самом деле, пусть Δ — оператор Лапласа в пространстве
переменных Θ. По формуле Грина
j Η . ^e^** dQ = J Δ# . e*** dQ, (6)
Q Q
так как из-за периодичности интегрируемых функций
поверхностные интегралы по противоположным граням куба Q
взаимно уничтожаются. Поскольку keiQx=—||Ar||2£/0jr, то
из (6) следует, что
iAwi=wl/A/f-^d9l<wJ|A/firf9· (7)
Q Q
и мы приходим к оценке (5).
Оценка (5) сохраняется и в том случае, когда
производные функции Η имеют в нуле особенность не слишком
высокого порядка (а в остальных точках куба Q функция
Η дважды непрерывно дифференцируема). Именно, достаточно
потребовать, чтобы функция Η была ограничена, ее первые
частные производные равнялись О 1 — 1 и ее вторые частные
д2Н д2Н д2Н Р п ( 1 \ π н
производные—γ, —γ-, —γ равнялись (J 1—γ . Действи-
d0j д&2 dQ% V р /
тельно, применим формулу Грина к области Q\/C, где К —
малый куб, охватывающий точку 0. При стягивании куба К
к точке 0 интеграл по его поверхности в силу оценки произ-
дН дН дН л
водных -sg-· "Λ0~» ~ш~ обратится в 0, и в пределе мы
получим формулу (6). Благодаря оценке вторых производных,
15*

220 ДОБАВЛЕНИЕ
интегралы в (7) сходятся, и поэтому мы снова приходим
к формуле (5).
Интересующая нас функция F(Q) имеет в нуле особенность
более высокого порядка. В самом деле, дифференцируя
нужное число раз формулу (2) и выписывая два-три первых
члена разложения синуса или косинуса в ряд Тейлора,
получаем при малых ρ
2 )
/7(θ) = Ρ2 + 0(Ρ4)ί
dF _ ~4fy + 0(P3)
щ— р4 + 0(рб) '
#F __ 16Θ^-4Ρ2 + 0(Ρ4)
дЪ]~ р6+0(р8)
(8)
Эту особенность можно ослабить, если вычесть из F(Q)
2
похожую на нее вблизи нуля функцию —. Из формул (8)
2
легко выводится, что функция F(Q) $ Уже удовлетворяет
ограничениям, наложенным в предыдущем абзаце на //(Θ).
Например,
J_(F 2\ -4Θ, + 0(Ρ3) , 49/ _ Q(p7) _п(1\
аэ, V 92)~ р4 + 0(р6) -^ Р4 -p8 + 0(pio)-^\pJ·
Однако оценкой (5) еще нельзя воспользоваться, потому что
2
вычитаемая функция —-2, если ее продолжить по периодич-
ности за пределы куба Q, не будет иметь на гранях этого
куба непрерывных первых и вторых производных. Чтобы
устранить это неудобство, умножим —j на невозрастающую
дважды непрерывно дифференцируемую функцию 5(р),
равную 1 при 0<р<;-2" и равную 0 при 1<;р<оо. Ясно,
что функция ψ^- по-прежнему будет «гасить» особенность
функции F(Q) в нуле, и при интегрировании по кубу Q эту
функцию, не нарушая ее гладкости, можно считать
периодической с периодом 2π. Поэтому к функции
Нф) = Рф)-Щ^-

§ 1] ОЦЕНКА ФУНКЦИИ g (x, у) 221
оценка (5) применима, и мы получаем, что коэффициенты
Фурье функций F (Θ) и ^- отличаются друг от друга
на величину Ol-jj—ρ). Итак,
Переходим теперь к вычислению интеграла в формуле (9).
Так как вне куба Q функция 5 равна 0, то интегрирование
по области Q мы можем заменить интегрированием по всему
пространству R3. После этого повернем оси координат 0lf
θ2, θ3 так, чтобы ось 6j прошла через точку χ=[χν χ2>
х3). Величины р, 5(р) и dQ при этом не изменятся, а
скалярное произведение Θλ; = θιχι -f- θ2χ2 ~l· Оз-^з перейдет в θλ \\χ \\,
ибо вектор х в новой системе будет иметь координаты
{||л:||, 0, 0}. Далее, заменим £ίθιΙΙ*ΙΙ через cos61||a:|| +
+ /sin01||^||; так как —ψϊ четная функция аргумента 61э
то интеграл, содержащий синус, будет равен 0. В
результате окажется, что
сю сю сю
f_^p).e/errfe= j J J s(P>cops29'»*'i dQlde2d%
-сю —сю —сю
В последнем интеграле перейдем к сферическим координатам
по формулам
0! = ρ cos ψ, θ2 = ρ sin ψ cos φ, θ3 = ρ sin ψ sin φ.
Учитывая, что якобиан преобразования равен ρ2 sin ψ, получаем
сю 2π π
Γ SM£JLd§= j dp j ώφ Г5(р)со8(||л:||рсо8ф)81пфй?ф =
Q 0 0 0
_ 4π Γ 5 (ρ) sin (|| χ || ρ) ^ 4π ? S (ΐΓ^ΐΤ) Sln λ ..
-li^lfj ρ dp = Jn J λ αλ·
ο ο
(10)

222
ДОБАВЛЕНИЕ
сю
Поскольку интеграл —г—άλ сходится и функция 51-—-)
о
монотонна по λ и ограничена при всех χ одним и тем же
числом, то полученный в формуле (10) интеграл сходится
равномерно χ *). Поэтому возможен предельный переход
под знаком интеграла, и мы получаем
сю
im
\ιι*ιι)
sin λ
■ώλ
-J
sin λ ,. π
υ ο
Возвращаясь к формулам (9) и (10), находим
lim \\x\\g(x. 0)=-fL·
||jr||->oo \Δπ)
л π 3
§ 2. Некоторые свойства выпуклых функций
Функция f(x), *£[#, b]t называется выпуклой на этом
отрезке, если любая хорда, соединяющая две точки графика /,
целиком расположена не выше самого этого графика (рис. 52).
Аналитически, при любых
значениях хх < х2 из отрезка [а, Ь]
и любых числах ρ w q,
удовлетворяющих условиям ρ ^ 0,
<7^>0» Р-\гЯ= 1» выполняется
неравенство
f{pxx+qx2)>
>pf(Xi) + qf(*2)- (Π)
Докажем следующие
свойства выпуклых функций,
используемые в главе III.
I. Функция / непрерывна во всех внутренних точках
отрезка [а, Ь] и имеет конечные пределы при χ \ а и χ f Ъ,
причем /(а + 0)>/(а), /(£-0) >/(£).
Пусть сперва χ — внутренняя точка отрезка, и А —
соответствующая точка графика (рис. 53). Фиксируем на гра-
Рис. 52.
*) См. Г. М. Фихтенгольц, Курс дифференциального и
интегрального исчисления, т. II, п. 477 (Гостехиздат, М. — Л., 1948).

§ 2] НЕКОТОРЫЕ СВОЙСТВА ВЫПУКЛЫХ ФУНКЦИЙ 223
фике / слева и справа от А точки В и С и рассмотрим
на графике переменную точку D с абсциссой х\ стремящейся
справа к х. Проведем хорду АС и луч АЕ, являющийся
продолжением хорды В А. Точка D не может выйти вверх
за луч АЕ, так как иначе хорда BD прошла бы выше
χ х' х
Рис. 53.
точки Л. С другой стороны, после того как D окажется
левее С, точка D не может спуститься ниже хорды АС.
Значит, при хг | χ точка D не будет выходить из угла Ε АС
Рис. 54.
и ее ордината будет стремиться к ординате точки А. Поэтому
функция / непрерывна справа в точке х. Аналогично
доказывается, что функция / непрерывна в точке χ слева.
Рассмотрим теперь левую граничную точку А графика
функции (случай правой граничной точки исследуется
аналогично). Фиксируем на графике точку В, отличную от Л,
проведем хорду АВ и вертикальный луч АС (рис. 54).

224
ДОБАВЛЕНИЕ
Пусть D — переменная точка на графике, абсцисса которой х'
стремится справа к а. Продолжим хорду DB до пересечения
с лучом АС в точке Е. По тем же соображениям, что и в
предыдущем абзаце, точка Dx графика, расположенная левее D,
не может лежать выше отрезка ED. Поэтому при χ1 \ а
точка Ε перемещается по лучу АС монотонно вниз, не
переходя за точку А. В пределе точка Ε займет какое-то
положение /\ причем OF^OA. Так как отрезки FE и ED
стягиваются к нулю при χ' \ α, то ордината точки D
стремится к ординате точки F и, значит, f(a-\-0)=OF^
>0A = f(a).
II. Для любой внутренней точки χ можно подобрать
линейную функцию /, совпадающую с / в точке χ и
большую или равную / в остальных точках.
Возьмем на графике функции / слева и справа от
фиксированной внутренней точки А переменные точки В и С
Рис. 55.
(рис. 55). Рассуждая, как выше, нетрудно убедиться, что
луч АВ мажорирует график функции слева от точки В,
луч АС—справа от точки С и что при стремлении В и С
к А эти лучи монотонно поднимаются вверх. Так как
хорда ВС не может проходить выше точки А, то угол ВАС
не превосходит 180° (углы в точке А измеряются против
часовой стрелки). Поэтому в пределе лучи АВ и АС
займут какие-то положения AD и АЕ, причем угол DAE
по-прежнему не будет превосходить 180°. Если этот угол
равен 180°, то прямая DE и будет графиком искомой
функции /. Если же угол DAE меньше 180°, то графиком /

§ 2] НЕКОТОРЫЕ СВОЙСТВА ВЫПУКЛЫХ ФУНКЦИЙ 225
может служить любая прямая, проходящая через точку Л
вне угла DAE.
III. Пусть выбрана произвольная система не налегающих
друг на друга отрезков ία, принадлежащих промежутку [а, Ь].
На каждом отрезке /а заменим функцию / линейной
функцией /0, совпадающей с / на концах отрезка /а, с тем
исключением, что если конец /а совпадает с точкой а
[точкой Ь], то функция /0 в точке а [Ь] может быть не только
равна /(а) [/(£)], но и меньше f (а) [/(*)]. В остальных
Рис. 56.
точках оставим функцию / неизменной. Тогда получившаяся
функция / будет по-прежнему выпуклой на отрезке [а, Ь]
(рис. 56).
Из предыдущих рассмотрений следует, что fa^f вне
отрезка /а. Поэтому если x£fa, то /р (х) > / (х) ^ /а (х) =
= f(x) при всех β =£ а, а если л: не принадлежит ни одному
из отрезков /а, то fa(x)^f(x)^-f(x) при всех а. Значит,
функция / является нижней гранью функций / и /0 (а
пробегает все возможные значения). Так как функции / и fa
выпуклы, то остается доказать, что нижняя грань / любого
семейства \fa) выпуклых функций тоже является выпуклой
функцией. Для этого достаточно сослаться на аналитическое
условие выпуклости функций (11) и заметить, что при любом α
fa(P*i + Я*2>> Р/и(х0±Я/Лх2) > Р/(х{) + ?/(*2)·

226 ДОБАВЛЕНИЕ
§ 3. Решение уравнения p(s) p(t) = p(s-{-t)
Покажем, что любое ограниченное решение
функционального уравнения
p(s)p(t) = p(s + t) (s, *>0), (12)
рассмотренного в § 2 гл. IV, имеет вид
p{t) = e-at, (13)
где 0^а^+оо (мы считаем, что £~°°=0).
Заметим, что если ρ (t) обращается в 0 в какой-нибудь
точке ^0>0, то, согласно (12), p(t) = 0 при всех t^t0.
Далее, из соотношения
p(?J = p(t) (14)
следует, что ρ (-£-) = 0, и, значит, p(t)=0 при всех t^-^.
Повторяя это рассуждение, получаем p(t)=0 при всех t > 0,
и формула (13) справедлива с а = -\-оо.
Остается рассмотреть случай, когда ρ (t) Φ 0 при всех
t > 0. Из (14) следует, что в этом случае /?(О>0, и мы
можем положить
f(t) = \np(t).
При этом уравнение (12) переходит в уравнение
/ω+/(ο=/(*+ο (5, t>o), (is)
и задача сводится к отысканию всех ограниченных сверху
решений этого уравнения.
Из уравнения (15) с помощью индукции легко выводится,
что при любом натуральном η
f(nt)=nf(t). (16)
Выбирая число а из условия
f(tl) = -at1,
где tx — фиксированное положительное число, с помощью
формулы (16) получаем

§3J РЕШЕНИЕ УРАВНЕНИЯ p{s)p{t)=p{s + t) 227
Снова применяя формулу (16), находим, что при любых
натуральных тип
Таким образом, при всех t > О, соизмеримых с tv имеем
f{t)=-at. (17)
Если бы при каком-то t2 > О оказалось, что j'(έ2) φ—at2>
то, определяя число Ъ из условия / (t2) = — bt2, мы
совершенно аналогично нашли бы, что
/(*) = -«
при всех t > О, соизмеримых с t2, причем Ъ Φ а. Пусть
для определенности £> а. Если 5 соизмеримо с £2» a s + ^
с £р то
f(t) = f(s-\-t)-f(s) = -a(s-i t)+bs =
= (b — a)s—at. (18)
Поскольку числа, соизмеримые с данным числом, расположены
всюду плотно, то 5 в этой формуле можно выбрать сколь
угодно большим, a s-\-t сколь угодно близким к s. При
этом t будет мало, и формула (18) даст сколь угодно
большие значения для f(t). Мы пришли к противоречию с
требованием ограниченности f(t) сверху. Значит, формула (17)
для функции f(t) справедлива при всех t > 0. Так как f(t)
ограничена сверху и t может быть сколь угодно большим
числом, то в этой формуле а ^> 0 *).
Возвращаясь к функции /?(£) = £^ ('), получаем для нее
представление (13).
*) Отметим, что формула (18) позволяет получить сколь угодно
большие значения для /(0, когда t меняется в любом наперед
выбранном промежутке. Поэтому для вывода из уравнения (15)
формулы (17) достаточно потребовать, чтобы функция f (t) была
ограничена сверху в каком-нибудь промежутке изменения t (число а
при этом может быть любого знака).

АЛФАВИТНЫ
Блюменталь Р. 54, 65
Браун Р. 48
Броуновское движение 48
Буси Р. 33
Ван Цзы-кун 152
Вентцель А. Д. 137
Вероятности выхода 51, 54—57,
66, 68—73, 81, 158—161, 164,
178
Вероятностные меры 11, 48
Вероятность бесконечного числа
попаданий 17—18, 23, 25—26,
70
— возвращения 37, 69—70
— достижения 9, 10, 23, 69—70
— исчезновения 97, 103
— перехода 11, 49, 96, 102—103
Винер Н. 6, 26, 48
Винеровский процесс 48—49
, автомодельность 51
.вероятности выхода 51,
54—57, 66, 68—73, 85—86
.граничные условия 148—
151
, инфинитезимальный
оператор 76—77
, марковское и строго
марковское свойство 53—54
, момент первого выхода из
интервала 85—86
, попадания в 0 83—
84
, недифференцируемость
траекторий 87
.оптимальная остановка
116—123
, переходная вероятность 49
УКАЗАТЕЛЬ
Винеровский процесс, поведение
траектории в бесконечности 70
с данным начальным
распределением 49
с отражением 81—82
с поглощением 81—86, 116
, среднее время выхода
51—52, 73—75, 81, 86—87, 90,
163
, характеристический
оператор 79
, эксцессивные функции
123-129
Возвратные цепи 105, 162
Выпуклые множества 38—39,
44-45
— функции 117, 123—129, 222—
225
Гармонические функции 16—18,
22, 39-42, 44—45, 55—57, 66,
68, 73, 139, 143
Генис И. Л. 7
Гихман И. И. 8
Граница Мартина 44—45, 138—
147
— множества 40
Граничные точки 40
— условия 148—151, 198
Гусейн-заде С. М. 33, 135
Диффузионные процессы 80, 151,
177
Достижимая граница 172
Дуб Дж. 6, 138
Дуффин Р. 218
Дынкин Е. Б. 8, 54, 145

АЛФАВИТНЫЙ УКАЗАТЕЛЬ
229
Емкость 24—26, 43—44
Задача Дирихле 6, 40—42, 55,
66—73
— Кэли 134
— об оптимальной остановке ви-
неровского процесса 116—123
— последовательности
независимых случайных
величин 134—136
цепи Маркова 104
, метод
последовательных приближений 137
-— — — — — —, оптимальная
стратегия 104, 111—114, 119,
136
, плата за игру
137
, стратегия 104
, цена игры 104,
109—111', 119, 138
— —, эксцессивные
функции 107—109, 129
— о наилучшем выборе 91—102,
106, 114—116, 130—134
Закон нуля или единицы 62—65,
87, 89
Замкнутые множества 38
Иванов Л. А. 33
Интеграл Пуассона 73
Интервал отражения 211
Инфинитезимальный оператор
75—77, 79
Исчезновение 97, 103, 148, 150
Ито К. 6, 7, 214
Квазинепрерывность слева 215
Кемени Дж. 7
Классификация границ 162—163,
172—173, 179, 194—196, 208—
209
Компактные множества 38
Коэффициент исчезновения 197
— отражения 183, 186
— поглощения 188, 192—194
Крайние множества 38
— точки 38—40, 44—45, 143, 146
Критерий Винера 26
— массивности 26—31 32—36
— регулярности 61, 65, 88—89
Кэли А. 134
Леви П. 214
Леви X. 6
Линейные функционалы 38
Локальное время 214—217
Лоэв М. 8
Люстерник Л. А. 142
Маккин X. 6, 7, 214
Максимальные точки 93
Малютов М. Б. 7, 145
Марков А. А. 53
Марковские моменты 54, 103
Марковское свойство 53, 75, 153
Мартин Р. 138
Массивные множества 10, 14, 18,
25, 26, 32, 33, 41, 42, 69
Математическое ожидание 11, 48,
104
, предельный переход 108
числа попаданий 13, 15,
37, 44
Мейер А. 144
Мера скачков 183—184, 197,
210—211
Мозер Л. 135, 136
Молчанов С А. 7
Момент первого выхода 50—52,
54—55, 58—60, 66—68, 164
попадания 21—22, 24, 41—
43, 107—109
после 0 выхода 60—65
Невозвратные цепи 162
Недостижимая граница 208
Непроходимая внутрь граница
195, 209
Несимметричное случайное
блуждание 44—45
Нефинитная граница 208
Носитель потенциала 42
Однопараметрические
полугруппы 124
Оператор D„ 159, 177
- Ωμ 170, 177

230 АЛФАВИТНЫЙ
Оператор D^Du 170, 176—178
— Лапласа 16, 57, 75, 79, 132,
170, 176
— сдвига 15, 107, 123-124
Опорное множество 111
Оптимальная стратегия 104,
111—114, 119, 136
Отражающий барьер 209
Отражение 149, 150, 187, 195,
211-214
Отскок 148—150
Отталкивающая граница 162—
163, 172, 173
Переходная вероятность 49, 96,
102-103
— плотность 82
— функция 11, 20, 200—201
Петровский И. Г. 6
Плата за игру 137
Поглощение 148—149, 179
Полный заряд 25
Положительный оператор 124
Потенциал 19—21. 22, 23, 42—43,
108, 126, 139, 201
— равновесия 24—25
Принцип выметания 42
— доминирования 42
— огибающей 42
Притягивающая граница 162—
163, 172
Производная по канонической
шкале 159, 177
мере 170
Проходимая внутрь граница
194—195, 209
Процесс размножения и гибели
154
,вероятности выхода
158-161, 164, 178
, граница 157
, граничные условия
198
, интервал отражения
211
,— состояний 158
, каноническая шкала
157
, марковское свойство
152-153, 215-216
УКАЗАТЕЛЬ
Процесс размножения и гибели,
мера скорости 170
, момент накопления
скачков 154
,— отражения 211—
213
,— последнего
выхода 210
.переходная функция
200-201
, процессы класса А
175, 198-199
, расширенный
интервал состояний 158
, скачки траектории
209-211, 213—214
,среднее время
выхода 163—165, 168—170, 178,
208
, строго марковское
свойство 154
.характеристика 167,
171
— —.характеристический
оператор 175—176. 179. 201.
205-206
Пуассоновские потоки 215—217
Равновесное распределение 24—
25. 43
Распределение Коши 73
Регулярные точки границы 58—
62. 65-66. 88-89
Резольвента 201—205
Свободная группа 145
Связные множества 40
Сильно финитная граница 208
Симметричное случайное
блуждание 10
, вероятность
бесконечного числа попаданий 17—18,
23
, — возвращения 37
,— достижения 9, 10,
23, 25—26
, гармонические функции
16—18, 22, 39—42, 44—45
.емкость 24—26, 43—44

АЛФАВИТНЫЙ УКАЗАТЕЛЬ
231
Симметричное случайное блуж-
дение, задача Дирихле 40—42
, интегральное
представление переходной функции
11—13
.критерий массивности
26—31, 32—36
.математическое
ожидание числа попаданий 13—15,
37
на плоскости 37
прямой 9
, оптимальная
остановка 105, 114
.оператор осреднения 15
, переходная функция
11, 20
, поведение траекторий в
бесконечности 13—15
, потенциал 19—23, 42—
43
, предельный переход к
непрерывному процессу 46—48
,соседние состояния 10
, средний доход 20
, супергармонические
функции 16, 41
,эксцессивные функции
22—24, 42—43
Скороход А. В. 8
Слабо финитная граница 208
Случайное блуждание на
свободной группе с конечным
числом образующих 145—146
Смолуховский М. 48
Снелл Дж. 7
Соболев В. И. 142
Состояния 9
Спитцер Ф. 8
Среднее время выхода 51—52,
73—75, 81, 86—87, 90, 163—
165, 168—170, 178, 208
Строго марковское свойство 54,
83, 154
Супергармонические функции 16,
41, 122
Теорема Гаусса 25
— Крейна — Мильмана 39
— Рисса 22
Теорема Фубини 203
— Хелли 142
— Шоке 144
Уравнение Колмогорова — Чеп-
мена 80
— Лапласа 50, 55, 56, 68
— Пуассона 19, 50, 73—75, 163,
170
Фазовое пространство 96, 102
Феллер В. 6, 7, 8, 173
Филипс Г. 6
Финитная граница 208
Формула Пуассона 73
Фрейдлин М. И. 7
Фридрихе К. 6
Функция Грина 139
Халмош П. 142
Хант Дж. 8, 107
Характеристический оператор
77—80, 149, 175, 176, 179, 201,
205—206
Хинчин А. Я. 6
Цена игры 104, 109-111, 17
138
Цепь Маркова 95—96, 102, 155
Чжун Кай-лай 8
Шоке Ж. 144
Эйнштейн А. 48
Эксцессивная мажоранта ПО
Эксцессивные функции 22—24,
42-43, 107—109, 129, 139—144
Эллиптические операторы 80
Юшкевич А. А. 8, 54
Ядро Мартина 140

Ε. Б. Дынкин, Α. Α. Юшкевич
ТЕОРЕМЫ И ЗАДАЧИ О ПРОЦЕССАХ
МАРКОВА
М., 1967 г., 232 стр. с илл.
Редактор А. Л. Розенталь
Техн. редактор С. Я. Шкляр
Корректор О. А. Сигал
Сдано в набор 18/1 1967 г. Подписано к печати
28/1V 1957 г. Бумага 84Х108/32. Физ. печ. л. 7,25.
Условн. печ. л. 12,18. Уч.-изд. л. 11,24. Тираж 11500 экз.
Т-06907. Цена книги 93 коп. Заказ № 538.
Издательство «Наука».
Главная редакция
физико математической литературы.
Москва, В-71, Ленинский проспект, 15.
Ленинградская типография № 2
имени Евгении Соколовой Главполиграфпрома
Комитета по печати при Совете Министров СССР.
Измайловский проспект, 29.

'
Цена 93 коп.
<
§
i
б
и
ω
Я"
О

ΡΕ
О
К
S
S
w
ё
ад
Быстрое развитие теории
вероятностей и
математической статистики и расширение
применении
вероятностно-статистических методов в
различных областях науки π
производства вызывают и
необходимость увеличить
выпуск литературы по этим
математическим дисциплинам.
С этой целью Издательство
выпускает серию «Теория
вероятностен н математическая
статистика», составленную из
оригинальных монографий,
написанных видными
советскими специалистами.
Книги ЭТОЙ серии
посвящены наиболее актуальным
для теории и практики
областям современной теории
вероятностей и математической
статистики.
4
!
L