Дж. Л. ДУБ
ВЕРОЯТНОСТНЫЕ
ПРОЦЕССЫ
Перевод с английского
Р. Л. ДОЕРУШИНА и А. М. ЯГЛОМА
Под редакцией
А. М. ЯГЛОМА
ИЗДАТЕЛЬСТВО
ИНОСТРАННОЙ ЛИТЕРАТУРЫ
Москва — (956

Книга представляет собой единственное в мировой литера-
литературе систематическое и строго научное изложение теории
вероятностных (стохастических) процессов—новой ветви теории
вероятностей, имеющей весьма важные применения в физике
и технике. В книге собран обширный материал, разбросанный
по журнальный статьям, дано новое изложение многих во-
вопросов и приведены ранее не опубликованные результаты
автора.
Книга предназначена в основном для студентов старших
курсов университетов и аспирантов, специализирующихся
по теории вероятностей и смежным дисциплинам, но может
быть полезной также и физнкам-теоретикаы н механикам.
Редакция литературы по математическим наукам
Заведующий редакцией профессор А. Г. КУРОШ

ПРЕДИСЛОВИЕ ПЕРЕВОДЧИКОВ
Теория вероятностных процессов—сравнительно молодая ветвь теории
вероятностей, имеющая важные приложения в целом ряде разделов механики,
физики и техники; именно запросы со стороны этих дпсцпплпн и привели
к бурному развитию рассматриваемой теории в течение последних десяти-
десятилетий. Книга Дуба—крупнейшего американского специалиста в области
вероптностных процессов—представляет собой первое сводное изложение
этой теории.
Несмотря на физическую наглядность основных понятий и результатов,
всякая попытка* математически аккуратного изложения теории вероятност-
вероятностных процессов во всей ее широте неизбежно приводит к необходимости широ-
широко использовать абстрактный математический аппарат (в первую очередь—
теорию меры): это ведет к известной громоздкости изложения, которой не
избежал и автор настоящей книги. При этом высокий уровень строгости, на
котором написана книга, предъявляет значительные требования к математи-
математической культуре читателя: книгу вряд ли сможет полностью прочесть тот,
кто не овладел математикой (в частности, теорией функций действительного
переменного и теорией вероятностей) в объеме университетского курса.
Однако достаточно подготовленным читателям очень содержательная книга
Дуба безусловно принесет большую пользу. Следует только иметь в виду,
что принятый автором общий план изложения привел к тому, что конкрет-
конкретным приложениям теории вероятностных процессов в книге уделено очень
мало места. С этими вопросами читателю придется знакомиться по другим
источникам; некоторые из них указаны в прило'жении переводчиков.
Приложение переводчиков было написано в первую очередь в связи с тем,
что за три года, прошедшие после написания книги, было опубликовано много
новых важных результатов по теории вероятностных процессов. В приложе-
приложении дается краткое изложение некоторых из этих результатов (включая,
в частности, и интересные новые результаты самого автора книги). Кроме
того, в книге особое внимание уделено, естественно, тем разделам теории
вероятностных процессов, которые особенно близки американской школ&
теориилероятностей. В связи с этим переводчики рассмотрели в приложении
и некоторые из более старых результатов, не включенные в основной текст
книги; большинство этих результатов относится к областям теории, тради-
традиционно входящим в сферу интересов советских математиков. Там же приЕв-
ден краткий обзор советских д иностранных книг по теории вероятностных
процессов, появившихся за последние годы, и указаны важнейшие обзоры
отдельных вопросов этой теории, имеющиеся на русском языке. На выборе
материала, включенного в приложение переводчиков, сказались, конечно,
научные интересы его составителей, которые могут лишь повторить извине-
извинения по поводу неполноты приведенных ссылок, содержащиеся в предисловии
автора книги.
Молодость теории вероятностных процессов как научной дисциплины
проявляется, в частности, в том, что в этой области до сих пор нет общепри-
общепринятой терминологии; даже для основного понятия вероятностного процесса
в литературе употребляются три равноправных термина (вероятностный про-
процесс, случайный процесс и стохастический процесс). При выборе термино-

ПРЕДИСЛОВИЕ ПЕРЕВОДЧИКОВ
логии, принятой в настоящем переводе, переводчики пользовались компе-
компетентными советами А. Н. Колмогорова. При составлении приложения боль-
большую пользу принесло обсуждение его содержания с А. Н. Колмогоровым
и Е. Б. Дынкиным. Окончательное редактирование рукописи провел
А. А. Юшкевнч. Всем им переводчики выражают свою искреннюю
признательность.
Из-за того, что американское издание книги выходило в свет в отсут-
отсутствие автора, в нем оказалось много Опечаток. Автор проявил большой
интерес к русскому изданию своей кндги; Он несколько раз любезно присылал
списки необходимых исправлений и поддерживал постоянный контакт с пере-
переводчиками в процессе их работы. Переводчики приносят автору большую бла-
благодарность за проявленное внимание.
А. М. Яглом,
Р. Л. Добрушин.

ИЗ ПРЕДИСЛОВИЯ АВТОРА
Вероятностный процесс—это математическая абстракция реального про-
процесса, течение которого управляется вероятностными законами. Изучение
таких процессов велось за последние двадцать лет столь интенсивно, что
в настоящее время многие ощущают острую потребность в пособии, систе-
систематически излагающем накопившиеся сведения; настоящая книга является
попыткой удовлетворить эту потребность. Читатель должен быть предупреж-
предупрежден, что эта книга не охватывает всего предмета полностью и что особое вни-
внимание уделено в ней вопросам, наиболее привлекательным для автора.
Было бы абсурдным писать книгу о вероятностных процессах, не пред-
предполагающую у читателя знания основ теории вероятностей. К сожалению,
однако, пока все еще не существует единого стандартного учебника, который
можно было бы использовать для всех необходимых ссылок. Чтобы несколь-
несколько восполнить этот пробел, в книге дается сравнительно подробное изложение
основных определений и теорем, что, однако, еще не делает ее пригодной
для первоначального ознакомления с теорией вероятностей даже для мате-
математически наиболее подготовленных читателей.
Невозможен никакой компромисс в вопросе о взаимоотношении теории
вероятностей с другими разделами математики. Теория вероятностей—это
просто одна из ветвей теории меры, отличающаяся особым вниманием к неко-
некоторым специальным понятиям этой теории и своей особой областью прило-
приложений; в настоящей книге не делается никаких попыток затушевать этот
основной факт. Используя различные остроумные приемы, можно обойтись
¦без интерпретации выборочных последовательностей и функций как обычных,
известных из анализа, последовательностей й функций, и свести теорию
вероятностей к изучению совокупности функций распределения. В течение
короткого промежутка времени это был единственный известный способ
строгого изложения некоторых частей предмета (таких, как, например, уси-
усиленный закон больших чисел). Однако такое изложение, приводящее к ка-
кажущемуся упрощению некоторых разделов теории, но зато и к искажению
всей теории в целом, теперь не является уже больше необходимым.
Теория вероятностей—это, наверное, единственная математическая дис-
дисциплина, обладающая следующими особенностями: многие из ее даже наибо-
наиболее элементарных теорем фактически опираются на весьма глубокие мате-
математические факты, но и они и даже многие из наиболее сложных теорем
этой теории могут быть усвоены и использованы специалистами (статисти-
(статистиками и другими) без вникания в математические основы соответствующих
доказательств. Любому строгому изложению теории вероятностей грозит по-
поэтому обвинение в том, что оно излишне перегружено математическими тон-
тонкостями. Против этих обвинении у меня есть простая защита. Первоначальные
варианты этой книги содержали много попыток обойтп те или иные мате-
математические идеп и тем самым облегчить изложение. Однако читатели этих ран-
ранних вариантов жаловались, что такие ухищрения сильно затемняют содер-
содержание книгп. Поэтому все эти ухищрения были в конце концов ликвидированы.
Введение дополнительных математических рассмотрений сделало целесооб-
целесообразным включение в книгу приложения, посвященного теории меры; в этом

ИЗ ПРЕДИСЛОВИЯ АВТОРА
приложении дается изложение тех вопросов теории меры, с которыми может
быть незнаком рядовой читатель.
Литературные ссылки и исторические замечания сосредоточены в допол-
дополнении автора в конце книги. Каждому, кто почувствует себя незаслуженно
обойденным в этом дополнении, заранее приносятся извинения вместе с заве-
заверениями, что он будет далеко не одинок и что невнимание к нему не было
намеренным. Статьи и книги, указанные в дополнении, собраны в отдельной
библиографии.
Хотя значительная часть материала, включенного в книгу, была пере-
переработана автором так, чтобы она лучше согласовалась с принятым здесь ха-
характером изложения, а другая часть материала нова, следует подчеркнуть,
что даже там, где не делается ссылок на имеющуюся литературу, ни Один
из результатов не должен рассматриваться как новый, если только это прямо
ие сказано в дополнении. Вспомогательные результаты, как правило, даются
без указания источников.
Глава XII, посвященсая теории линейного прогнозирования, занимает
в книге несколько особое место, так как в ней изучаются вопросы доволь-
довольно специального характера. Эта глава была включена в книгу из-за важности
рассматриваемых в ней вопросов и из-за отсутствия Относящейся сюда лите-
литературы, излагающей предмет на обычном языке теории аероятностей и легко
доступной американскому читателю. Большую помощь мне принесли беседы
по этим вопросам с Норбертом Винером.
Иллинойсский университет
Сентябрь 1952 г.
Дж. Л. Дуб.

Глава I
ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
§ 1. Необходимый запас математических званий
Хотя в этой книге используются современные весьма специальные мате-
математические методы, однако результаты формулируются всегда на языке теории
вероятностей, п поэтому автор надеется, что книга будет доступна всем чита-
читателям, твердо усвоившим правила обращения со случайными величинам,
условными распределениями вероятностей и условными математическими
ожиданиями. Необходимые для дальнейшего основы теории вероятностей
будут кратко намечены в настоящей главе.
Существует неизбежная дилемма, с которой сталкивается любой автор,
пишущий книгу повышенвого типа по теории вероятностей. Теория вероят-
вероятностей—это только один из аспектов теории меры, при котором особое внима-
внимание уделяется некоторым специальным задачам. Книга повышенного типа
по теории вероятностей, следовательно, должна или включать раздел, посвя-
посвященный теории меры, или же предполагать у читателя знание основных фак-
фактов теории меры, изложение которых разбросано по различным публика-
публикациям. Для того чтобы сделать книгу менее объемистой, автор первоначально
выбрал вторую возможность, но влияние критики и естественные логические
соображения привели его к компромиссу, который непоследователен, как
и большинство компромиссов. Автор надеется, что книга осталась, по крайней
мере в значительной своей части, доступной статистикам и другим читателям,
не являющимся профессиональными математиками, но знакомым с формаль-
формальными правилами теории вероятностей.
§ 2. Основное пространство
Теперь, когда теория вероятностей стала полноправной частью мате-
математики, в изложении ее можно обойтись совсем без употребления таких
терминов, как «случай», «событие», «урна», «кость» и т. д. Однако эти термины
и обозначаемые ими понятия попрежнему ломогают интуитивно, представить
себе предмет и подсказывают тем самым аналитические методы и направление
дальнейших исследований. По этой причине подобные термины используются
в теории вероятностей даже при чисто теоретических исследованиях.
В 1филожеииях вероятности связываются обычно с осуществлением
таких событий, как выпадение пяти очков при одном бросании кости, пере-
перемещение частицы, совершающей брауновское движение, на расстояние хA)
сантиметров в данном направлении за время t секунд н т. п. Вероятности—¦
это числа, связываемые с такими событиями. Например, вероятность выпаде-
выпадения пяти очков при бросании костн считается обычно равной 1/„, а вероят-
вероятность выпадения четного числа очков—равной Уг; в примере с брауновским
движением вероятность неравенства х C) >7 находится при помошп правила,
Которое будет подробно описано в гл. VIII. Точный математический анализ
проводится для примера с костью следующим образом: каждому возможному
исходу, т. е. каждому из чисел 1, ..., 6, приписывается вероятность 1/в;
с любой совокупностью из п таких исходов связывается вероятность га/6.
Утверждение, что вероятность выпадения четного числа очков равна }4=3/с,
получается тогда просто из этой формулы прп п='3. Для случая брауновского
движения положение намного сложнее, и его анализ будет проведен позже,

10 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Но и в этом случае задача сводится к сопоставлению некоторых чисел мате-
математическим образам реальных событий. Во всей этой книге в качестве мате-
математических образов событий будут использоваться точечные множества.
Теорпя вероятностей имеет дело со свойствами мер в различных простран-
пространствах и с соотношениями между измеримыми функциями, определенными
на этих пространствах. По аналогии с терминологией, употребляемой в при-
приложениях, эти пространства называют часто (но не всегда) выборочными про-
пространствами, а измеримые подмножества этих пространств—событиями1).
Придадим теперь изложенным выше соображениям точную математи-
математическую форму. (Необходимые для этой цели сведения из теории множеств
и теории меры см. в дополнении в конце книги.) Предположим, что
имеется основное пространство 2, состоящее пз точек «>, и некоторый
основной набор подмножеств пространства 2. Подмножества из этого
набора будут называться измеримыми множествами; предполагается,
что класс измеримых множеств образует борелевское поле. Предпо-
Предположим далее, что имеется функция Р{-}, Которая определена на всех
измеримых множествах и является вероятностной мерой, т. е. является
вполне аддитивной_ неотрицательной функцией множества, принимающей
~на~Ъсем пространстве значение 1. Величина ?{Л} называется вероятностью
или мерой множества Л. Измеримость функции от <о определяется обычным
образом при помощи измеримых множеств; интеграл от измеримой функ-
функции <р по измеримому множеству Л будет обозначаться
\ <р (ш) dP или \ <р <fP.
О свойстве, верном для всех точек из 2, за исключением^некоторого мно-
множества хочек вероятности (V, мы будем говорить, что~оно верно почти всюду,
или верно для почти всех точек ш, или верно с вероятностью^!^
Проанализируем, например, однократное бросание кости. Для этого
примера простейшее возможное пространство 2 состоит из шести точек
1, ..., 6, причем точка / идентифицируется с событием «при бросании
хости выпало число /». В этом случае каждое подмножество множества 2
измеримо и ему приписывается в качестве меры одна шестая от числа
входящих в него точек. Здесь имеется простое соответствие между точками
пространства 2 и возможными исходами опыта, и поэтому естественно
назвать пространство Q выборочным пространством. Рассмотрим теперь
другую математическую модель того же самого опыта. В этой модели
пространство 2 состоит из всех действительных чисел, и точки 1, 2,..., 6
из Я идентифицируются с теми Же событиями, что и выше; никаких дру-
других идентификаций не делается. Снова все подмножества множества Q
объявляются измеримыми и каждому из множеств приписывается мера,
равная одной шестой от числа содержащихся в нем точек 1,-..., 6. Эта
математическая модель практически совпадает с предыдущей; но теперь
название «выборочное пространство» подходпт к 2 несколько меньше, так
как соответствие между точками 2 и событиями менее просто. Рассмотрим,
наконец, третью математическую модель того же опыта. В этой модели
пространство 2 состоит из всех чисел, содержащихся в полузамкнутом
интервале [1, 7), причем с событием «при бросании кости выпало число /»
на этот раз идентифицируется интервал [/, /¦-. 1). Измеримыми множест-
множествами являются в этом случае интервалы [/, /+1) и суммы таких интер-
интервалов, и мера любого измеримого множества равна одной шестой от числа
содержащихся в нем интервалов указанного вида. Эта модель столь же
а) В русской литературе наиболее распространенным является термин «простран-
«пространство элементарных событий». Встречаются также терцины «л рост ранет во выборок» и
-«пространство реализаций*. — Прим. ред.

§ 2. ОСНОВНОЕ ПРОСТРАНСТВО Ц
пригодна, как и две предыдущие, однако название «выборочное простран-
пространство» теперь уже совсем не подходит к 2. Естественное возражение, что
вторая и в особенности третья модель непригодны и должны быть отбро-
отброшены, так как они излишне усложнены, легко опровергнуть. В действи-
действительности такие «излишне усложненные» модели не могут быть исключены
даже при практическом изучении. Выбор модели зависит от того, какие
параметры взяты за основные. В первой модели были выбраны как основ-
основные действительные исходы бросания. Если, однако, представлять себе
кость как куб, брошенный в воздух и затем падающий на одну из граней,
то положение куба в пространстве будет определяться шестью параметрами,
и наиболее естественным пространством Q будет двенадцатимерное про-
пространство начальных положений и скоростей. Точка пространства Q опре-
определяет, в частности, на какую грань упадет кость. Пусть Aj — множе-
множество тех точек пз 2, которые приводят к исходу /. Тогда допускаемая
обычно гипотеза состоит в том, что при сопоставлении подмножествам
•пространства 2 вероятностей каждому множеству Л^ приписывается веро-
вероятность */б- Если мы интересуемся только вероятностями выпавшего числа
очков, то это все, что нам нужно знать о вероятностях на 2, и мы полу-
получаем тогда модель, аналогичную нашей третьей модели. Вообще говоря,
всегда (и при теоретическом, и при практическом изучении событий), если
даже вначале пространство Q было выбрано так, чтобы оно удовлетворяло
некоторым требованиям простоты (например, чтобы его можно было назвать
«выборочным пространством»), эти требования придется, вероятно, отбросить
в процессе дальнейшего исследования, когда появятся распределения,
выводимые каким-нибудь способом из первоначального. В соответствии
с этим мы не наложили на пространство 2 никаких других условий,
кроме существования функции множества Р {Л}; существование этой функ-
функции множества влечет за собой непустоту множества 2, ио не накладывает
на него никаких других ограничений. В этой книге пространство 2 _является_
обычно просто некоторым абстрактным пространством. Однако в ряде слу-
случаев в качестве 2 мы будем брать интервал 0<Г5;-<1, двумерную пло-
плоскость, совокупность всех действительных функций от t, — оо < 2< оо,
принимающих только конечные значения или также и значения ± оо,
и многие другие специальные пространства. Единственным специфически
вероятностным требованием, налагаемым на меру Р {Л}, является условие
нормировки Р{2} = 1. Вне теории вероятностей очень часто нет никаких
оснований требовать, чтобы мера всего пространства была конечной, или
если она даже и конечна, то ограничиваться мерами, принимающими на
всем пространстве значение 1. ¦
Мы проанализируем теперь бросание кости несколько глубже, с тем
чтобы иллюстрировать при этом важность использования в качестве основ-
основного пространства произведения пространств. Если кость бросают неогра-
неограниченное число раз, то соответствующим естественным основным простран-
пространством 2 будет, очевидно, выборочное пространство, точками _ которого
являются последовательности ?г %„,..., где ?,. — одно из чисел 1, . . ., 6.
Таким образом, каждая точка пространства является одним из принци-
принципиально возможных исходов Опыта, состоящего в бросанпи кости бесконеч-
бесконечное число раз. Если класс всех последовательностей, начинающихся с /,
идентифицировать с событием «при первом бросании кости выпало число /»
и каждому из этих классов приписать вероятность 1/й, то мы получим
еще одну математическую модель для одного бросания кости. Преимуще-
Преимущество этой модели перед приведенными раньше состоит в том, что она
пригодна и для описания любого числа бросаний; для этого нужно только
идентифицировать класс всех последовательностей, начинающихся с /1;
/г> • • • > /n> c событием «при первых п бросаниях последовательно выпали
числа }\, /2, ..., /п». В соответствии с обычными гипотезами этому классу

12 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
приписывают меру (V6)n- Хотя и верно, что для многих приложений не
нужно рассматривать бесконечных последовательностей такого вида, так
как в этих приложениях, изучается лишь конечное число опытов, однако-
без бесконечных последовательностей нельзя обойтись даже в некоторых
задачах очень простого характера. Например, изучение момента первого-
появления какого-нибудь события (скажем, первого появления шести очков
в последовательности выпадений кости) не может быть проведено удовлет-
удовлетворительным образом без пространства бесконечных выборочных последо-
последовательностей, так как число испытаний до осуществления рассматриваемого-
события ивляется величиной, которая заранее не может быть ограничена.
Это число является неограниченной целозначной функцией на S. В при-
примере с костью пространство ?2 является произведением бесконечного числа
пространств-сомножителей, каждое из которых содержит шесть точек. Для
повторных испытаний естественным выборочным пространством является
всегда произведение пространств.
Если С — это условия, наложенные на точки 2, то через {С} будет
обозначаться множество точек этого пространства, удовлетворяющих усло-
условиям С. Например, если X - множество на числовой прямой и ж —неко-
—некоторая функция от (о, то {х (со) 6 X] — это множество точек ю, для которых
х(и>) является числом, содержащимся в X.
Мы не предполагали до сих пор, что наша основная мера является
полной (см. дополнение). Таким образом, если Ло — измеримое множество,
имеющее меру нуль, и если Л — подмножество множества Ао, то Л не
должно быть обязательно измеримым. На языке теории вероятностей это
означает, что могут существовать два события Л и Ло'такие, что осуще-
осуществление Л влечет за собой осуществление Ло,
Р{Л0} = 0,
и, несмотря на это, вероятность Р {Л} не определена (ясно, что если веро-
вероятность Р{Л} определена, то она равна 0). Эта возможность может не-
несколько обеспокоить математика, желающею сохранить имеющееся у него
интуитивное представление о вероятности. Для того чтобы добить_ся_Лодее-
близкого соответствия! между__этим^ представлением и математической мо-
моделью, нужно изменить или то, или другое. Эти изменения не слишком
существенны, и во всех случаях математическую ^Д?ль_^1е^г^дно^ц1доиз-
менить так, чтобы она согласовалась с нашей интуицией. В самом деле
(см. дополнение, § 2), люёая вероятностная мера может быть однозначным
образом пополнена путем расширения класса измеримых множеств. Чтобы
избежать некоторых не очень существенных осложнений в § 2 гл. II, везде-
в этой книге мы будем предполагать, что мера Р является полной.
§ 3. Случайные величины и распределения вероятностей
Функцию х (принимающую действительные значения), определенную-
на пространстве точек ш, мы будем называть (действительной) случайной,
величиной, если на этом пространстве задана вероятностная мера и если
для каждого действительного числа X неравенство х(ш) <Х определяет
множество точек ш, вероятность которого имеет смысл, т.е. измеримое ш-мно-
жество. Таким образом, функция.
C.1)
определена для всех действительных X. На обычном математическом языке
(действительная)^ случайная _вшщзлна_— это просто (действительная) изме-
измеримая .функция, "комплексная случайная велййна —это" комплексная
функция от ш, у которой измеримы ее действительная п мнимая части.

S 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 1з
В настоящей книге всюду, где рассматриваются одновременно несколько
случайных величии, будет предполагаться (если только явно не будет ого-
оговорено обратное), что все эти случайные__величиды^определены на одном
и том же пространстве точек ю^
В теории 'вероятностей поТштие случайной величины применялось за-
задолго до того, как было обнаружено, что оно является частным случаем
более общего понятия измеримой функции, и даже задолго до того, как
была создана сама теория меры. Поэтому в теории вероятностей возник
свой собственный язык, который может быть теперь переведен на язык
теории меры. Мы, однако, не будем отказываться от вероятностной терми-
терминологии, так как эта терминология лучше передает эмпирическое содер-
содержание соответствующих понятий и делает изложение более доступным для
специалистов в прикладных областях.
В анализе обычно используют одно и то же обозначение для функции
и для ее значения в заданной точке из области ее определения; в резуль-
результате иногда возникают недоразумения. Когда мы будем иметь дело с функ-
функциями в этой книге, нам придется быть несколько более точными. Функция
будет обозначаться чаще всего одной буквой, а обычное обозначение функ-
функции будет сохранено для значения функции в заданной точке. Таким
образом, х (to) — 3fо значение функции х в точке <о. Иногда нам будет
также удобно обозначать функцию х как х(-).
Функция F, определенная равенством C.1), называется функцией рас-
распределения случайной величины х. Эта функция является монотонно неубы-
неубывающей, непрерывной справа и такой, что
lim F(\) = 0, lim ^(Х) = 1. C.2)
I-* — oo Х-^ + оо
Любая функция F, удовлетворяющая всем этим условиям, называется
функцией распределения. Каждая функция распределения определяет рас-
распределение вероятностей, т. е. вероятностную меру ~~
на множествах А_ (это обычная мера Лебега —Стильтьеса, определяемая
"функц и еТГТУГ — ' "~~"
Если /"—функция распределения и если для некоторой измеримой
по Лебегу и интегрируемой функции /
х
^М= \ f<&)*?, -со<Х<оо, C.3)
—оо
то / называется плотностью распределения, соответствующей F. В этом
случае для почти всех (по мере Лебега) X имеет .место равенство
Мы будем говорить, что F имеет плотность, если существует функция /,
удовлетворяющая C.3). Таким образом, плотность имеется тогда и только
тогда, когда F —абсолютно непрерывная функция.
Если хх, х„, . . ., хп — действительные случайные величины, то функ-
функция F, определенная равенством
F(\lt ...,Хп) = Р{ж).(«))<Х)., /=1,2 л}, C.4)
называется их совместной функцией распределения. Эта функция является
монотонно неубывающей н непрерывной справа по каждому переменному

14 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
ц такой, что
lim
lim
i, ...i Xn-*- + oo
Кроме того, если Х;--<ря / = 1, .. ., л, то
п
2i, ¦ • ¦. Сы. V СЛ1' •-•'!in)
Величина в левой части этого неравенства, очевидно, равна
Любая функция F, удовлетворяющая всем перечисленным здесь условиям,
будет называться л-мерной функцией распределения. Такая функция опре-
определяет вероятностную меру
являющуюся мерой Лебега — Стильтьеса в пространстве п измерений (см.
дополнение, пример 2.2). Если для некоторой измеримой и интегрируемой
по Лебегу функции /
для всех Xlt ..., X,,, то / называется плотностью распределения, соответ-
соответствующей функции распределения F.
Действительные случайные величины xv ...,xn называют взаимно не-
независимыми, если
Р {х, (и.)?X,., / = 1 «}=ПР {*, (ш) еZ } C.6)
для любых одномерных борелевских множеств Хх, ..., Хп. Это условие
эквивалентно требованию, чтобы C.6) было выполнено только для откры-
открытых множеств X] ала только для интервалов, или даже только для полу-
полубесконечных интервалов (—со, Ъ}\. Отсюда следует, что случайные вели-
чины являются взаимно независимыми тогда и только тогда, jKgrja.nxjGQft-
местная функция распределения является произведением соответствующих
индивидуальных функции распределения.
Если мы будем понимать под величинами ж;. предыдущего абзаца сово-
совокупности т] величин xfl, . .., Жут., а под Х^ соответственно 7И;-мерные
множества, то предыдущее определение обратится в определение взаимной
независимости конечного числа совокупностей из конечного числа случай-
случайных велпчпн. Пусть теперь совокупности х}- могут состоять из бесконеч-
бесконечного чпсла величин. Такие совокупности называются взаимно независи-
независимыми, если при любом выборе из каждой из них конечного числа вели-

§ 4. РАЗЛИЧНЫЕ ПОНЯТИЯ СХОДИМОСТИ IS
чин выбранные конечные совокупности окажутся взаимно независимыми.
О бесконечной последовательности совокупностей случайных величин гово-
говорят, что она состоит из взаимно независимых совокупностей, если для
любой конечной подпоследовательности Av Л2, ... этой последовательности
совокупности Alt А%, ¦ . . взаимно независимы.
Предыдущие определения применимы и к комплексным случайным ве-
величинам, если считать Х; в C.6) двумерными борелевскими множествами,
а именно борелевскими множествами комплексной плоскости, и сделать
соответствующие изменения в дальнейших рассуждениях. Предыдущие
определения можно и непосредственно приложить к комплексным величи-
величинам, если условиться рассматривать комплексную случайную величину как
пару действительных случайных величин, являющихся ее действительной
и мнимой частями.
Пусть х — случайная величина, т. е. измеримая функция от ш. Интег-
Интеграл от этой фувкции по всему пространству будет обозначаться (если он
существует) через Е {х} или Е {х (<о)} и называться математическим ожи-
ожиданием величины х:
E{x}*=\xdP. C.7}
a
Напоминаем, что этот интеграл существует тогтта и только тогда, кпгда
конечен интеграл от величины | х\.
§ 4. Различные понятия сходимости
Пусть х, xv хг, ... — случайные величины. Если для почти всех и>
то мы будем говорить, что
с вероятностью \. Такая сходимость имеет место тогда и только тогда,
когда
lim P {sup | хт (») -хя (»)|>«} = О D.1)
для каждого s > 0.
Последовательность хп называется стохастически сходящейся к ж.
если выполнено более слабое условие: для каждого s > 0
НтР{|а;„(ш)-а;((о)|>е} = 0. D.2)
Стохастическую сходимость, обозначаемую символом
plima;n = a;, D.3y
П-*ОО
называют также сходимостью по вероятности или сходимостью__по_ мере_.
Следующие соотношения между сходимостью с ВёроятпосТыо 1 и схо-
сходимостью по вероятности хорошо известны и не будут здесь доказываться:
а) из сходимости с вероятностью 1 следует сходимость по вероятности;
б) -р lim xn = x тогда и только тогда, когда каждая подпоследователь-
п — оо
ность {хап} последовательности величин х} содержит другую подпоследо-
подпоследовательность, сходящуюся к ж с вероятностью 1.

1J1. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Последовательность {хп} называется сходящейся к х в среднем1),
если Е{|гп|2}< оо для всех п, Е{|ж|2} < оо и
liEt|-a;J2} = 0. D.4)
Такая сходимость обозначается символом2)
l.i.m. xn — x. D.5)
п~юа
Из сходимости в среднем следует сходимость по вероятности. В самом
деле, если выполнено D.5), то в силу неравенства Чебышева^
ПтР {| жп(ш) —ж(ш) | >е} <lim z"~х = 0 D-6)
для всех е > 0.
Пусть {/"„}—последовательность одномерных функций распределения.
Удобнее всего определить сходимость этой последовательности к функции
распределения F требованием, чтобы lim Fn (X) = F (X) в каждой точке не-
71 —СО
прерывности функции F. Если это условие выполнено, то сходимость
обязательно будет равномерной в любом (конечном или бесконечном) замк-
замкнутом интервале, в котором функция F непрерывна. Следующее определе-
определение расстояния между двумя функциями распределения Gs и (?2 порож-
порождает эту сходимость? Дополним графики Gx и <?3 в точках разрыва верти-
вертикальными отрезками и примем за расстояние между Gx и G2 максимум
расстояния между их дополненными графиками в направлении прямой с
угловым коэффициентом —1. При таком определении пространство функ-
функций распределения становится полным метрическим пространством и
limFn (X) = F (X) во всех точках непрерывности F тогда и только тогда,
когда расстояние между Fn и F стремится к нулю при п —> оо.
• Если члены последовательности {Fn} являются функциями распределе-
распределения случайных величин {хп} и если эта последовательность функций рас-
распределения сходится в только что описанном смысле к некоторой функции
распределения, то о последовательности случайных величин {хп} говорят
иногда, что она сходится по распределению. Эта терминология является
не совсем удачной, так как такая последовательность случайных величин
может не сходиться ни в каком обычном смысле. Например, если функции
распределения всех хп одинаковы, а в других отношениях последователь-
последовательность хп произвольна (например, состоит из взаимно независимых вели-
величин), то эта последовательность случайных величин будет сходиться по
распределению.
§ 5. Семейства случайных величин
В некоторых задачах случайные величины задаются явным образом.
Например, если пространство Q—прямая линия, измеримыми о>-множе-
ствами являются множества, измеримые по Лебегу, и если вероятностная
мера определена формулой
К E.1)
х) Точнее говоря, сходящейся к а: в среднем квадратичном. Иногда наряду с этим
рассматривается также «сходимость в среднем р-то порядка», когда Е { | хп р} < оо,
Б{|х|Р}<оо и Шп Е{|*—х„р} = 0.
п~*со
Так как в настоящей книге эта последняя сходимость почти нигде не фигури-
фигурирует, то сходимость в среднем квадратичвои автор называет просто сходимостью
в среднем. — Прим. ред.
s) Сокращение «limit in the mean»— предел в среднем.—Прим. ред.

§ 5. СЕМЕЙСТВА СЛУЧАЙНЫХ ВЕЛИЧИН
то последовательность функций 1, ш, ш2, ... является последовательностью
случайных величин. Однако во многих других задачах какое-либо опре-
определенное пространство Q не играет существенной роли; в этих задачах
требуется лишь существование семейства случайных величин, обладающего
определенными свойствами. В таких случаях обычно задается совместное
распределение вероятностей для конечных совокупностей случайных вели-
величин, причем подразумевается, что существует семейство случайных вели-
величин с этими распределениями. Настоящий параграф посвящен обсужде-
обсуждению описанной здесь ситуации. В § 2 гл. II мы снова встретимся с этим
вопросом, но уже в более сложной обстановке.
Заметим, прежде всего, что, например, любая теорема, начинающаяся
словами «пусть xv ..., хп - взаимно независимые случайные величины
с функциями распределения Fv . . ., Fn» была бы бессодержательной без
теоремы, утверждающей существование некоторого пространства 2, на ко-
котором можно определить п случайных величин с указанными свойствами.
Для того чтобы пояснить дальнейшие общие рассмотрения, мы наметим
сейчас доказательство этой теоремы существования. Возьмем в качестве Q
я-мервое пространство точек и> с координатами (?lf ...,?n). Определим
вероятностную меру на борелевских множествах пространства Q формулой
(см. § 3). Положим х} равным /-й координатной функции, т. е. положим
xf(<D) — ij, если ш имеет координаты (^ ?п). Величины z;. оказываются
тогда взаимно независимыми случайными величинами, причем xt имеет
функцию распределения Fj. Мы доказали, таким образом, что существуют
случайные величины xlt ..., хп с желаемыми свойствами, и показали по-
попутно, что за эти случайные величины могут быть взяты координатные
функции га-мерного пространства. Сейчас мы покажем, что использованный
в этом рассуждении метод применим к значительно более общим совокуп-
совокупностям случайных величин.
Итак, пусть имеется произвольное множество индексов Т и требуется
определить класс случайных величин [xlt t?T}, причем для каждой ко-
конечной совокупности /1? ..., tn индексов t дана заранее совместная функ-
функции распределения F,ti...>(n величин xti, ,..,xtn. Очевидно, что заданные
функции распределения должны быть согласованы друг с другом в том
смысле, что если а1? ..., ап — некоторая перестановка чисел 1, ..., п, то
и что если m < n, то
Ftl (m(X1( . ...bjs-lim/1,, („(^ XJ.
j=m + i n
Колмогоров доказал (см. дополнение, пример 2.3), что этими условиями
исчерпываются все ограничения, которые нужно наложить на функции
распределения Ftl !п. Величины х, строятся следующим образом. За про-
пространство Q берем пространство точек ш вида (?,, t?T), где f, —любые
действительные числа, т. е., иначе говоря, пространство функций от t?T,
или, с другой точки зрения, координатное пространство, размерность ко-
которого равна кардинальному числу множества Т. Функцию х, от о>
определим, как значение функции &, при l — s, т. е. положим хл (со) = ?,,
когда ш—это функция ?(•)• Множеству точек ш

18 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
припишем меру, равную
¦^ii /n(^i> ¦ • -1 Ю>
более общему множеству точек
КМ,...,^^)]^}
(где А — га-мерное борелевское множество) припишем меру
Можно показать, что такое задание меры на ш-множествах специального
вида определяет вероятностную меру на борелевском поле «-множеств,
порожденном множествами этого вида. Семейство функций {х„ t?T] от и>
оказывается тогда семейством случайных величин с заданными распреде-
распределениями.
Основное пространство 2 было здесь сконструировано нами как про-
пространство Qt всех функций от t ? T, причем построенное семейство случай-
случайных величин оказалось семейством координатных функций этого декартова
пространства. Как мы увидим в § 6, если основное пространство, на ко-
котором определено семейство случайных величин {x^t^T}, дано заранее
и не является таким декартовым пространством, то все же во многих
случаях заданное на нем семейство случайных величин может быть заме-
заменено семейством, заданным на декартовом пространстве.
Пусть {xt, t?T) — семейство случайных величин. Тогда при фиксиро-
фиксированном <в значения х, (<в) определяют некоторую функцию от t. Определен-
Определенные таким способом функции от t называются выборочными функциями1)
данного семейства случайных величин. В частности, если 2 — декартово
координатное пространство 2т, а х, — это t-я координатная функция, то
выборочной функцией является сама точка о> основного пространства.
Часто оказывается удобным употреблять выражения, включающие одно-
одновременно и понятие меры и понятие выборочной функции, такие, как
«почти все выборочные функции»; во всех подобных случаях уславливают-
уславливаются использовать в качестве меры соответствующую меру в пространстве 2.
Например, выражение «почти все выборочные функции» означает «почти
все (о». Если множество Т значений параметра конечно или счетно, то
мы, как правило, будем говорить «выборочная последовательность» вместо
«выборочная функция».
Отметим, наконец, что если семейство функций распределения исполь-
вуется для того, чтобы определить меру на пространстве Qt (как это было,
например, в начале настоящего параграфа), то иногда бывает полезным
взять за 2г не пространство всех функций от t, а потребовать еще допол-
дополнительно, чтобы значения функции принадлежали заданному множеству
X. (В этой книге нам не придется иметь дело с более сложными случая-
случаями, когда удобно считать, что X=Xt, т. е. что X зависит от парамет-
параметра t.) Тогда все приведенные выше рассуждения остаются верными, если
только X — некоторое борелевское множество на бесконечной прямой
— оо <! х < оо и если из заданных распределений следует, что значения
каждой из случайных величин принадлежат множеству X с вероятностью 1.
Иллюстрируем предыдущие рассмотрения на примере с повторным
бросанием кости. Предположим, что кость бросают п раз. Тогда за со-
совокупность Т значений параметра следует взять множество целых чисел
1, ..., п. Пространство 2 у является здесь га-мерным пространством точек
[\v ..., Еп). Каждой точке, все координаты которой являются целыми
числами от 1 до 6 включительно, приписывается мера ('/б)"» и мера лю-
J) Ср. сноску на стр. 49.—Прим. ред.

§ в. ИЗОБРАЖЕНИИ В ПРОИЗВЕДЕНИЯХ ПРОСТРАНСТВ 19
бого множества равна числу таких точек, содержащихся в этом множестве,
деленному на 6". Таким ijjieM мы получаем математическую модель, при-
пригодную для описания совокупности из п бросаний (симметричной) кости
(см. также рассмотрения § 2), причем /-я координата -точки из Sr оказы-
оказывается случайной величиной, соответствующей числу очков, полученному
в результате /-го бросания. Ясно, однако, что пространство 2у содержит
много излишних точек. Точка @, ..., 0), например, не' отвечает никакому
результату эксперимента и лишь осложняет нашу математическую модель.
Для того чтобы избежать таких ненужных осложнений, и было введено
выше множество X. Если мы возьмем в качестве X множество целых
чисел 1, 2, 3, 4, 5, 6, то пространство S окажется множеством 6П точек
и-мерного пространства, все координаты которых являются целыми числа-
числами от 1 до 6 включительно. Мера, приписываемая любому множеству,
равна числу точек этого множества, деленному на 6".
§ 6. Изображения в произведениях пространств
Пусть х — случайная величина с функцией распределения F. Тогда
(см. дополнение, пример 2.1) F задает на одномерных множествах меру
Лебега— Стильтьеса, определяемую равенством
Измеримыми одномерными множествами оказываются при этом множества,
измеримые относительно F. Такими множествами являются, в частности,
все борелевские множества. Любое событие, определяемое условиями, нало-
наложенными на х, скажем условием х (ш) ? А, мы можем интерпретировать как
одномерное точечное множество А, вместо того чтобы рассматривать его как
ш-множество (i(i»)?i); наше определение меры на прямой подобрано так,
что в обоих случаях мы придем к одинаковым вероятностям. Формально
это делается посредством сохраняющего меру отображения пространства
точек ш на действительную прямую. Такие отображения .подробно изучены
в дополнении (см. в особенности пример 3.1). Основную идею этого пара-
параграфа можно, однако, уяснить и без этих детальных рассмотрений. Пусть
х — координатная случайная величина на действительной прямой, т. е.
функция, которая принимает значение % в точке с координатой \. Пред-
Предположим, что при некотором исследовании приходится иметь дело лишь
со случайными величинами, определенными на пространстве Q и имеющими
вид Ф (х), где Ф — беровская функция действительного переменного или,
в более общем случае, функция, измеримая относительно F. Тогда оказы-
оказывается возможным, а зачастую и удобным заменить первоначальное основ-
основное пространство точек ш прямой линией, использовав меру F, определен-
определенную выше. При этом, например, любая зависящая от ш случайная вели-
величина вида Ф (х) переходит в случайную величину Ф (х), определенную
на прямой линии, и эти две случайные величины, определенные на раз-
различных пространствах, имеют одинаковое распределение. И вообще, если
Фх (х), ..., Фп (х) являются случайными величинами такого вида, завися-
зависящими от ш, то они переходят в случайные величины, определенные на пря-
прямой линии, причем совместные распределения для соответствующих сово-
совокупностей случайных величин, определенных на различных пространствах,
оказываются одинаковыми. В качестве одного из приложений этой идеи
рассмотрим, вопрос о вычислении математического ожидания величины Ф (х).
С точки зрения пространства Q математическое ожидание Е {Ф (z)} опре-
2*

20 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫВ ОСНОВЫ
деляется как
{ Ф (х (<в)) dP.
С точки зрения нового основного пространства & (оси ?), рассматриваемой
случайной величиной является величина Ф (х) и ее математическое ожида-
ожидание определяется как
(Равенство этих двух выражений доказано в дополнении, § 3.) Таким
образом, не нужно обязательно возвращаться к первоначальному основному
пространству, для того чтобы вычислять математические ожидания слу-
случайных величин.
Пусть х, у — действительные случайные величины с совместной функ-
функцией распределения F. Тогда, так же как и в одномерном случае, F опре-
определяет вероятностную меру
на множествах А плоскости, измеримых относительно F. Предположим
опять, что при некотором исследовании приходится иметь дело только
со случайными величинами вида Ф (х, у), где Ф — измеримая относительно F
функция двух действительных переменных. Тогда, как и в одномерном
случае, часто оказывается удобным заменить первоначальное основное про-
пространство Q пространством 2, являющимся плоскостью Е, ц. Первоначальные
вероятности, заданные на 2, индуцируют в результате сохраняющего меру
точечного отображения вероятностную меру на пространстве 2, и для многих
целей новое пространство является более удобным, чем старое. Так же,
как и в предыдущем абзаце, математическим ожиданием Е{Ф(ж, у)}, опре-
определенным в терминах пространства 2 и меры на нем, является интеграл
Ф[х(<о),у(ш)]с1Р,
а тем же математическим ожиданием, определенным в терминах простран-
пространства 2 и его меры, является
Ф($,1) <*;.,* ($,1|),
¦оо
и Эти два выражения равны.
В общем случае пусть {xt, t? T] — любое семейство случайных величин
и 38 {xt, t?T) — наименьшэе борелевское поле ш-множеств, относительно
которого измеримы все величины xt. Другими словами, 38 (хь t? T) — это
борелевскоа поле . множеств, порожденное классом ш-множеств вида
(ж, (ш) ? X}, где t?T и X — интервал. Тогда часто оказывается удоб-
удобным заменить первоначальное основное пространство 2 пространством
Q = 2T функций от t ?7". В § 3 дополнения показано, что на этом простран-
пространстве функций может быть определена (так же как это было описано в § 5
настоящей главы} вероятностная мера, такая, что если {х,, t ? Т] — семейство
координатных функций этого пространства, то каждый конечный набор
величин xt имеет то же самое совместное распределение, что и соответ-
соответствующий набор величин хг Действительно, существует отображение.

S 6. ИЗОБРАЖЕНИЯ В ПРОИЗВЕДЕНИЯХ ПРОСТРАНСТВ 21
переводящее зависящие от ш измеримые относительно &?{xt,t?T) случай-
случайные величины в случайные величины, зависящие от ш, причем это отобра-
отображение взаимно однозначно (если считать совпадающими случайные вели-
величины, равные друг другу с вероятностью 1) и удовлетворяет следующим
условиям:
(I) Отображение переводит величины xt в величины xt и любые беров-
беровские функции от конечной совокупности велнчин xt в те же самые беровские
функции от соответствующих величин xt.
(И) Если зависящая от ш случайная величина а: переходит в зависящую
от ш случайную величину х и если существует математическое ожидание
одной из этих случайных величин, то существует и математическое ожида-
ожидание другой величины и эти математические ожидания равны.
(III) Если зависящая от <о случайная величина х принимает значение 1
на множестве X^SS (xt, t ? Т) и значение 0 на дополнении к А, то наше
отображение переводит х в зависящую от <о случайную величину х, при-
принимающую значение 1 иа измеримом окмножестве Л и 0 на дополнении^
к этому- множеству; возникающее при этом отображение множеств взаимно
однозначно (если считать идентичными множества, отличающиеся друг
от друга на множество меры 0) и сохраняет меру.
Таким образом, любая задача, в которой изучаются случайные
величины, зависящие от ш и измеримые относительно & (х,, t ? Т),
или множества из этого поля, может быть заменена соответствующей
задачей о случайных величинах, зависящих от ш. Класс задач, к которым
применим этот способ, можно несколько расширить, пополнив вероят-
вероятностную меру, определенную на 3? (xt, t ? Т). Использованные здесь
отображения детально изучены в дополнении. Частные случаи, ко-
когда Т состоит только из одной или только из двух точек, были рас-
рассмотрены отдельно в начале этого параграфа. Задачи, в которых изучаются
п случайных величин, могут быть сведены к задачам, в которых рассматри-
рассматривается га-мерное координатное пространство, а задачи, в которых изучается
бесконечная совокупность случайных величин, —г к задачам, в которых рас-
рассматривается бесконечномерное координатное пространство. В каждом случае
первоначальные случайные величины переходят в координатные функции
нового пространства.
В качестве примера приложения этих идей в случае, когда Т состоит
из двух точек, рассмотрим теорему о том, что если х и у — взаимно независи-
независимые случайные величины, имеющие математические ожидания E{z} и Е{у),
то Е {ху} также существует и
Б{*у} = Е{а;}Е{у}. F.1)
С первого взгляда эта теорема не кажется обычной теоремой об интегралах,
и, действительно, она иногда излагается .как весьма специальная теорема
теории вероятностей. Заметим, однако, что в этой теореме рассматриваются
лишь две случайные величины х ж у ж что поэтому можно применить
отображение соответствующего основного пространства на плоскость. При
таком отображении наша теорема превращается в классическую теорему
из теории интеграла. Если х и у имеют функции распределения G и, соот-
соответственно, Н и если F — их совместная функция распределения, то
так как случайные величины независимы; поэтому после отображения
основного пространства на плоскость равенство F.1) принимает вид
lrldG(l)dH(rl)= J J tdGftdllft) J J vdGftdHin). F.2)
— CO —OO

22 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Двойные интегралы в правой части равенства сводятся к однократным
интегралам, так что F.2) эквивалентно соотношению
F.3)
Таким образом, F.1) сводится к теореме о равенстве двойного и повтор-
повторного интегралов.
До сих пор мы предполагали, что случайные величины являются дей-
действительными. Обобщение теории на случай комплексных величин совер-
совершенно очевидно, и детали такого обобщения мы поэтому опускаем.
§ 7. Условные вероятности и математические ожидания
Пусть у — случайная величина и М — измеримое ш-множество. Мы хотим
теперь определить условную вероятность М и условное математическое
ожидание у при различных специальных условиях. Прежде чем сделать
это, рассмотрим два частных случая.
Случай 1. Предположим, что случайная величина х принимает только
конечное или счетное число значений av аг Условная вероятность М
при условии x(w) = ajt которую мы будем обозначать через Р {М|а:(ш) = а^},
определяется при Р {х (ш) = а;} > 0 как
P{M|,W = ai} = ^|gtol. G.1)
В частности, если у принимает только значения Ьх, Ъ%, ..., то мы получим
таким способом условное распределение величины у при условии х (ш) = а у
Условная вероятность Р {М | х (ш) = а^} зависит от ар т. е. является
функцией от значений, принимаемых случайной величиной. Если вместо
этих значений мы подставим в определение условной вероятности саму
величину г(ш), то мы получим случайную величину 2, определяемую
равенством
г (ш) = Р {М | х (ш) = п]} при х (ш) = at,
если ?{х(и>) = а1} > 0." Если ш-множество {х^ — а^ имеет вероятность О,
мы определим случайную величину z(u>) на этом множестве произвольным
образом. Случайная величина z определяется таким образом однозначно,
если только пренебрегать ее значениями на множестве вероятности 0.
Условной вероятностью события М относительно случайной величины х
называется случайная величина 2 или, точнее, любой из ее возможных
вариантов. Эта условная вероятность обозначается через Р{М|я}. Тогда,
если Р{г((о) = а/} > 0, то
Р№}1х(ш)=О/ = Р{М|х(ш) = а;.}. G.3)
Пусть А—любая совокупность чисел а;.. Положим
Л = {:г(шNЛ}= U {хМ-а,}.
Заметим теперь, что
Р{АМ}= SP{M|*H = oJ}P{«(a))-ol}

I 7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 23
Это соотношение может быть записано в виде
Аналогично условное математическое ожидание случайной величины у
относительно случайной величины х, обозначаемое через Е{г/|а;}, опреде-
определяется как случайная величина, для которой
Е [У I *} I, (ш)=в. = Е [у | * Н = а,.} = S bk Р {у («,) = bk I х (а>) = а,},
если Р {я (ш) =• а^} > 0. Соотношение
следует немедленно из наших определений. Это соотношение может быть
записано также в виде
\\dP. G.5)
Равенства G.4) и G.5) приводят к общим определениям условной вероят-
вероятности и условного математического ожидания, которые будут даны ниже.
Случай 2. Предположим, что пространство 2 — это плоскость (S, т]),
что измеримыми ш-множествами являются множества, измеримые по Лебегу,
и что заданная вероятностная мера определяется плотностью распределе-
распределения / (;, т]), так что
Тогда абсцисса и ордината точки определяют координатные функции х и у,
принимающие в точке (Е, т)) соответственно значения 5 и т). Эти функции
являются случайными величинами, и их совместное распределение имеет
плотность /. Определим новую плотность (по переменной -ц) как
7?F, ч)
—со
при каждом ?> j^ra которого знаменатель этой дроби не обращается в нуль.
По аналогии со случаем 1 естественно назвать полученное таким способом
распределение условным распределением величины у при условии х (ш) = ?
и назвать условным математическим ожиданием величины у при том же
условии х (ш) = 5 отношение
Г 1/(
(Мы предположили, что Е{|г/|} < оо.) Эти определения согласуются с теми
общими определениями, которые будут даны ниже.
Общий случай. Вместо того чтобы определять условные вероятности
и условные математические ожидания относительно заданной случайной
величины, мы введем несколько более общее понятие и затем конкретизи-
конкретизируем его для этого частного случая. Как мы увидим, условвая вероятность
представляет собой частный случай условного математического ожидания,
и поэтому мы определим сначала математическое ожидание.

24 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Пусть у — случайная величина, имеющая конечное математическое
ожидание, и пусть Jf — борелевское поле измеримых со-множеств. Пусть,
далее, &' 3 & — борелевское поле тех ш-множеств, которые или входят в JF,
или отличаются от некоторого множества из 3- на множество вероятности 0.
Напомним (см. дополнение, теорема 2.3), что если некоторая случайная
величина измерима относительно 3F', то она совпадает с вероятностью 1
с некоторой случайной величиной, измеримой относительно 3F. Условной
математическое ожидание случайной величины у относительно 3-, обозна-
обозначаемое Efj/I^}, определяется как любая функция от со, измеримая отно-
относительно JF', интегрируемая и удовлетворяющая соотношению
G.6)
(Из соотношения между 3* и &' следует, что условное математическое ожида-
ожидание будет удовлетворять этому соотношению и при A?JF'. Таким образом,
определения условных математических ожидавий Е {у [ 3^} и 'E{y\J:'}
одинаковы.) Заметим, что правая часть G.6) определяет функцию от А ? &,
являющуюся вполне аддитивной функцией множества и обращающуюся
в нуль при Р {А} = 0. Следовательно, согласно теореме Радона—Никодима
(см. дополнение, § 2), эта функция от А может быть представлена как
интеграл по А от некоторой измеримой относительно 3- функции от ш.
Полученная таким образом функция от ш является одним из возможных
вариантов Efj/I^}. Однако в силу нашего определения любая функция
от со, равная почти всюду этой функции, является также одним из возмож-
возможных вариантов условного математического ожидания. Обратно, согласно
теореме Радона—Никодима, любые два варианта условного математического
ожидания совпадают почти всюду. Таким образом, нашему определению
Е{у|^} удовлетворяет любаи случайная величина из некоторого класса
случайных величин. Любые две случайные величины из этого класса сов-
совпадают почти всюду, и наоборот, любая случайная величина, совпадающая
почти всюду с некоторым элементом из этого класса, и сама принадлежит
этому классу. В дальнейшем о любом выражении, содержащем условное-
математическое ожидание, будет подразумеваться, если только явно не утвер-
утверждается противоположное, что в нем может быть использован любой из ва-
вариантов этого условвого математического ожидания.
Пусть М—измеримое ш-множество, &¦ — борелевское поле ю-множеств
и у — случайная неличина, такая, что
1, «ем,
o, .6Q-M.
Тогда условная вероятность М относительно 3^ определяется как H[y\3:]
(точнее, как любой из вариантов этого условного математического ожида-
ожидания). Эта условная вероятность обозначается через P{M|.jF}. Таким обра-
образом, условная вероятность — это любая интегрируемая функция от ш, изме-
измеримая относительно 3- или же совпадающая почти всюду с функцией,
измеримой относительно JF, и удовлетворяющая соотношению
G.7)
Предыдущие определения несколько упрощаются, если в SF входят все
множества меры нуль, так как в этом случае jF = 3-' и условные веро-
вероятности и математические ожидания относительно & являются обязательно
измеримыми относительно &. Мы видели, однако, что в любом случае
существует вариант Е{у[.^}, измеримый относительно 3-.

§ 7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 25
Пусть теперь [х,, 1? Т] —некоторое семейство случайных величин,
3* — J& (xt, if T) — наименьшее борелевское поле ш-множеств, относительно
которого измеримы все xt (т. е. 3- — борелевское поле, порожденное клас-
классом множеств вида {х, (ш)? А), где А — борелевское множество), и Jf-'—
борелевское поле со-множеств, которые или сами принадлежат 3-, илиже
отличаются от множеств из 3- на множество вероятности нуль. В этой
книге мы будем называть любое со-мпожество из 3' измеримым множе-
множеством выборочного пространства семейства х, и любую функцию от ю,
измеримую относительно 3' (т. е. равную почти всюду функции, изме-
измеримой относительно 3-), — случайной величиной, измеримой относительно
семейства величин х,. В частности, если Т состоит из целых чисел 1,...,в,
то со-множество А является измеримым множеством выборочного простран-
пространства нашего семейства тогда и только тогда, когда оно отличается не более,
чем на ш-множество меры 0 от одного из множеств вида
{&(«),..., *„(«)]€4}.
где А — борелевское множество (п-мерное в действительном случае, 2и-мер-
ное в комплексном); функция х от ш является случайной величиной, изме-
измеримой относительно семейства х, тогда и только тогда, когда х совпа-
совпадает почти всюду с беровской функцией от хх хп. (См. дополнение,
теорема 1.5.)
Пусть у — случайная величина, имеющая математическое ожидание,
и пусть М — измеримое ш-множество. Условное математическое ожидание
(соответственно условная вероятность) случайной величины у (события
или множества М) относительно семейства х, обозначается через
Е {у | х„ t е Г} (соответственно Р {М | х„ 16 Т}),
и определяется как
Е{у\3] (соответственно P{M|jF}),
т. е. как любой вариант этого последнего условного математического ожи-
ожидания (условной вероятности). Поле 3: определяется здесь так же, как
и в предыдущем абзаце. Как и всегда, мы можем заменить в этом опре-
определении &¦ на 3-'. Таким образом, мы определили рассматриваемое
условное математическое ожидание как любую случайную величину,
измеримую относительно выборочного пространства семейства xt, интеграл
которой по каждому измеримому множеству выборочного пространства
этфго семейства совпадает с интегралом величины у по тому же множеству.
Если & определено таким способом, то можно придать соотношениям
G.6) и G.7) несколько более удобную форму, ограничив класс тех ш-мно-
ш-множеств, для которых должны быть выполнены эти соотношения. Левая
и пра'вая части этих соотношений являются вполне аддитивными функ-
функциями от А, а такие функции вполне определяются их значениями
на любом подполе ^0 поля J2", порождающем все поле & (см. дополне-
дополнение, теорема 2.1). В нашем случае в качестве &0 может быть выбрав
класс св-множеств, являющихся конечными суммами множеств вида
где (tlt ..., tn) — любое конечное подмножество множества Г и Xs — боре-
левские множества. Таким образом, достаточно, чтобы G.6) [или же G.7)]
удовлетворялось для множеств А указанного вида. Так как правая и ле-
левая части G.6) и G.7) аддитивны относительно множеств, по которым
производится интегрирование, то достаточно проверить эти соотношения
для указанных выше отдельных слагаемых. Мы можем даже считать, если
это у 1 Оно, что Xj являются правыми полузамкнутыми интервалами (или
открытыми интервалами, или замквутьши интервалами).

.26 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Предположим,в частности, что введенное выше множество Т состоит
из чисел 1, ..., к. Тогда данные нами определения условного математи-
математического ожидания и условной вероятности
•согласуются с определениями, предложенными ранее для случаев 1 и 2,
В самом деле, выведенное при рассмотрении случая 1 соотношение G.5)
в общем случае переходит в определяющее условие G.6). Рассмотрим тот
вариант условного математического ожидания, который измерим относительно
JF = SS (хх, . .., хк). Тогда, как мы уже видели, этот вариант может быть
записан в виде
Е{у\х1,...,хк} = Ф{х1, ...,хк),
где Ф —беровская функция от А переменных (см. дополнение, теорема 1.5).
Используя этот вариант, мы можем ввести обозначение
Е {2/!*,» = $,, /=1 *}
для
Е [у |х1 хк] \Xj (ш)=^, /=1, 2 н = Ф ($х У-
В частности, используя тот из вариантов PfM(x1F .. .,а^}, который
является беровской функцией от х1г ..., хк, мы будем иногда применять
¦обозначение
Р{М|^(ш) = 5;, /=1 к}
для
Р{М| хх хк] \х. (ю)=;/, ,=1 к.
Приведенные рассуждения оправдывают естеатвенность обычного понима-
понимания случайных величин
Е{у|*„ ПТ), V{U\xt, t€T]
как условного математического ожидания величины у и условной веро-
вероятности события М при заданных значениях величин xt или при заданном
()t€T
§ 8. Условные вероятности и математические ожидания:
общие свойства
Пусть у — случайная величина, имеющая математическое ожидание,
и пусть & и Ъ— два борелевских поля измеримых ш-множеств. Пусть,
далее, &¦' (соответственно S') — борелевское поле, состоящее из тех ш-мно-
ш-множеств, которые или являются множествами из JF (соответственно из S),
или же отличаются от таких множеств на множество вероятности 0.
Предположим, что S'CZ^F'- Тогда E{j/|.fj и Е{г/|?} вовсе не должны
быть равны с вероатностью 1. Второе условное математическое ожидание
дает осреднение более грубое, чем первое. Точнеэ, оба условных матема-
математических ожидания имеют те же интегралы, что и у, по любому множе-
множеству из S', но первое из них может оказаться неизмеримым относительно "&'.
Однако если первое условное математическое- ожидание измеримо относи-
относительно S', то оба этих математических ожидания равны с вероятностью 1
в силу следующей теоремы:
Теорема 8.1. Предположим, что fi'd-F' и что некоторый (а сле-
следовательно, и любой) вариант Е{у\^} измерим относительно S'. Тогда

I 8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 27
е вероятностью 1
Е{у\Щ. (8.1)
Для доказательства (8.1) достаточно заметить, что E{y\JF], по пред-
предположению, измеримо относительно 3' и имеет тот же самый .интеграл, что
и у, по любому множеству из S', так как оно имеет такой же интеграл, что
и у, даже по любому множеству из JF'. Таким образом, E}j/|j^} удо-
удовлетворяет условиям, определяющим Е{г/|3}.
Теорема 8.2. Пусть [х,, t?T] — семейство случайных величин,
и пусть множество Т несчетно. Тогда для любой случайной величины у,
имеющей математическое ожидание, найдется {зависящее от у) счетное
подмножество {tnt п>1} множестёа Т такое, что с вероятностью 1
E{y\xt,t^T} = E{y\xtv x,t,...}. (8.2)
Для любого подмножества S множества Т обозначим через ^s —
= 28 (xlt t? S) наименьшее борелевское поле, относительно которого изме-
измеримы все xt с f? S. В левой части (8.2) стоит, по определению, любой
из вариантов Efj/IJ^r}- Будем, начиная с этого места, обозначать через
Efj/I^r} тот частный вариант условного математического ожидания,
который измерим относительно &т. Тогда, в силу теоремы 1.6 дополне-
дополнения, существует счетное подмножество S множества Т такое, что
Е{г/|з^т} измеримо относительной Ci^r- По теореме 8.1 отсюда следует,
что с вероятностью 1
что и требовалось доказать.
Если ^—борелевское поле измеримых ш-множеств и 2 —некоторая
функция от ш, измеримая относительно JF, и если E{|z[} < оо, то
с вероятностью 1. В самом деле, z обладает всеми свойствами, фигури-
фигурирующими в определении указанного условного математического ожидания.
Мы докажем следующую, более общую теорему:
Теорема 8.3. Если у — случайная величина и z —некоторая функция,
измеримая относительно борелевского поля JF измеримых w-множеств,
и если
E{|2/|}<oo,E{|Z2/|}<oo,
то
E{zy\?} = zE{y\&} (8.3)
с вероятностью 1 и
E{h/-E{j/|.F}]Z} = 0. (8.3')
Равенство (8.3') является тривиальным следствием (8.3). Для функции z,
принимающей только два значения 0 и 1, (8.3) сводится к определению
условного математического ожидания Е[г/|^}. Для того чтобы получить
(8.3), мы должны в соответствии с определением условного математиче-
математического ожидания только доказать, что
\ zy dP = \ z E [у | &} dP, A e 3s. (8.4)
л л
Если теперь z (ш) принимает значение 1 на множестве М ? 3F и значение О
на дополнении к М, то (8.4) сводится к соотношению
M ДМ

28 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
справедливому в силу определения E{y\JF\. Отсюда сразу вытекает, что
(8.4) верно, если z является линейной комбинацией функций только что
рассмотренного типа, т. е. если z принимает лишь конечное число значе-
значений, каждое на некотором множестве из 3-. Общий случай легко доказы-
доказывается с помощью предельного перехода.
Наиболее полезный частный случай. (8.3) состоит в том, что с вероят-
вероятностью 1
Е{Ф(х)у\х} = Ф{х) Е{у\х}, (8.3">
где х и у— случайные величины, Ф —беровская функция и
Е{|г/|}<оо, Е{|Ф(*)у|}<оо.
В § 7 условное математическое ожидание было определено в двух
простейших случаях (случаи 1 и 2) как интеграл от у по некоторой услов-
условной вероятностной мере. Хотя, как мы увидим позже, такое определение
не всегда возможно в общем случае, так как Р {М |,?} не всегда можно
рассматривать при фиксированном со как вероятностную меру множеств М,
тем не менее величина Ejj/Ij?}, рассматриваемая как функционал от у,
обладает многими свойствами интеграла. Следующие результаты хорошо
иллюстрируют это утверждение. (Здесь у — случайная величина и У — не-
некоторое борелевское поле ш-множеств.)
CEj. Е A ] ^"} = 1 с вероятностью 1.
СЕ2. Если у > 0, то Е {у | jf] > 0 с вероятностью 1.
СЕ3. Если Cj, ..., сп — постоянные, то с вероятностью 1
i—I j—l
СЕ4. |Е{г/|^}|<Е{|г/||^} с вероятностью 1.
СЕ5. Если lim уп = у с вероятностью 1 и если существует случайная ве-
личина 1>0с математическим ожиданием Е {х} < оо такая, что с вероят-
вероятностью 1
то с вероятностью 1
В § 9 будет показано, как, используя теорию, развитую в § 6, можно
получить эти результаты из соответствующих теорем теории интегриро-
интегрирования. Однако, быть может, будет поучительно вывести эти свойства
и прямым способом. Свойства СЕ1, СЕ2 и СЕ3 сразу вытекают из опреде-
определения условного математического ожидания. Для того чтобы доказать
СЕ4, предположим сначала, что у действительно. Тогда в силу СЕа с веро-
вероятностью 1
Следовательно, благодаря СЕ3, с вероятностью 1
так что СЕ4 справедливо для действительного у. Если у — комплексная
величина, выберем случайную величину z, удовлетворяющую соотноше-
соотношениям
z (<о)=-. О, если Е{у\&} = 0,
если Е{у\3?}Ф0

I 8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 29
(здесь Е {у\ .#¦} — некоторый частный вариант условного математического
ожидания, который считается в дальнейшем фиксированным). Пусть
Zj — действительная часть zy. Тогда, пользуясь тем, что z измеримо отно-
относительно JF, получаем, что с вероятностью 1
Так как z1 действительно, то, применив свойство СЕ4, уже доказанное
для действительного случая, к E{z1|J^r} и восцользовавшпсь тем, что
мы приходим к искомому неравенству
{с вероятностью 1). Для того чтобы доказать СЕ5, определим уп как
Уп (<")= SUP |у, (<!))-У (<0)|.
Тогда с вероятностью 1
yiiu>)>k{u>)> ¦¦¦>0, у„ (ш) < 2г (ш),
и с вероятностью 1
lim?n(<i>) = 0.
Из СЕа, СЕ3 и СЕ4 следует, что с вероятностью 1
Следовательно, достаточно доказать, что с вероятностью 1
limE{yn |^1 = 0.
п-»со
Но из СЕа и СЕ3 следует, что с вероятностью 1
так что с вероятностью 1 существует предел
Кроме того, по определению условного математического ожидания
при Л = 2]
причем правая часть этого соотношения стремится к 0 при п—>¦ оз, так
как она представляет собой интеграл от уп, а—последовательность уп
мажорируется величиной 2х и стремится к 0 с вероятностью 1 при п —* оо.
Таким образом, Е{а;}=0, так что w - 0 с вероятностью 1, что и требова-
требовалось доказать.
Из перечисленных свойств условных математических ожиданий выте-
вытекают следующие свойства условных вероятностей (здесь М — измеримые
<1)-множества и ,*Р — борелевское поле измеримых «.-множеств):
СРГ С вероятностью 1
СР2. Если Р {М} = 0, то с вероятностью-1

30ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Если Р{М} = 1, то с вероятностью 1
P{M|jFj = l.
СР3. Если
ИЛИ Жв
то с вероятностью 1
СР4. Если Mlt M2, ... — конечная или счетная последовательность не-
непересекающихся множеств, то с вероятностью 1
С помощью перечисленных свойств условных вероятностей мы можем
вывести следующее поучительное выражение для условного математиче-
математического ожидания:
Теорема 8.4. Пусть у—случайная величина, имеющая математи-
математическое ожидание, 3F — борелевское поле измеримых ю-множеств а 8 — поло-
положительное число. Тогда ряд
5| &}
с вероятностью 1 абсолютно сходится, и если Нтб^сгО, то с вероятно-
етью 1
Заметим, что эта теорема не утверждает, что условные вероятноств
относительно SF образуют при фиксированном «в условную вероятностную
меру и что Е {у | ,S^} представляет собой интеграл от у по этой вероят-
вероятностной мере. Возможность такой интерпретации будет рассмотрена в § 9.
Для того чтобы доказать нашу теорему, определим уь и упЛ как
у8(ш) = /8 при /8 < у (<«)-<(/+1) S, /= 0, ±1
. ( 2/аМ при—п8<г/(ш)
г/в а(ш) = {
v I 0 в остальных случаях
Тогда
lim yn,5 = jfii, limj/j = jf, |г/п.г(«>)| < |г/и(и
п-»оо 8-*0
В силу СЕ5 с вероятностью 1
Но так как с вероятностью 1
Е{г/п.5|^}=2 /8Р{/8 <?(«>)<(/+1M1
—п
то мы доказали тем самым, что с вероятностью 1
lim 2 /6Р {/-8 < у (•) < (/+ 1) 81 ^} = Е {у,

S 9. УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 31'
Применяя этот результат к \у\, мы" получаем, что бесконечный ряд, п-я.
частная сумма которого входит в левую часть предыдущего равенства,
с вероятностью 1 абсолютно сходится и что, следовательно, с вероятностью 1
2 /8 Р {/8 < У («К (/ + 1) 31 ^} = Е {у,
Последнее утверждение теоремы 8.4 оказывается теперь немедленным след-
следствием свойства СЕ5, примененного к последовательности {уьк}-
§ 9. Условные распределения вероятностей
Для теории вероятностей было бы очень удобно, если бы каждому
борелевскому полю JF измеримых и>-множеств удалось сопоставить функ-
функцию Р (М, ш), определенную на всех измеримых ш-множествах М и всех
точках ш, такую, что
CDj. При каждом фиксированном ш, Р(М, ш) как функция от М оп-
определяет некоторую вероятностную меру, и при каждом фиксированном М,
Р (М, ш) как функция от ш совпадает почти всюду с некоторой функцией,,
измеримой относительно &.
CDj. Для каждого М с вероятностью 1
Из этих двух свойств вытекают и все свойства СР2 — СР4 § 8, но послед-
последние свойства могут иметь место и без того, чтобы существовала функция-
Р (М, ш), удовлетворяющая CDX — CD2.
Если нужная нам функция от М, ш существует, то она может и не
быть единственной, однако любые две такие функции при любом фиксиро-
фиксированном М совпадают с вероятностью 1. Существование функции, удовлет-
удовлетворяющей условиям CDj и CD2, означает, что условные вероятности
(условные относительно jF) могут быть определены таким образбм,
чтобы при каждом ш они задавали вероятностную меру; в этом слу-
случае указанная вероятностная мера, зависящая от параметра ш, называет-
называется условным распределением вероятностей относительно 3F. К сожале-
сожалению, такое условное распределение вероятностей может и не существовать.
Рассмотрим в качестве примера один случай, когда такое распределе-
распределение существует. Пусть Л1( ..., Ап — непересекающиеся измеримые ш-мно-
жества такие, что
Р{Л.}>0, LJA^Q.-
Пусть 3F — класс множеств, являющихся суммами множеств А.. Тогда,
одним из возможных вариантов P{M|,F} является
Определенная таким образом функция Р(М,ш) удовлетворяет условиям
СВ CD
д
и CD2
г 2
Теорема 9.1. Если существует условное распределение вероятностей
относительно ?¦, то для любой случайной величины у, имеющей матема-
математическое ожидание, один из вариантов ~E{y\SF\ задается {как функция от
параметра ш) интегралом от у по этому условному распределению, так
что, при очевидных соглашениях об обозначениях,

32 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Пусть 3€ — класс случайных величин у, для которых утверждение
теоремы справедливо. Тогда, в силу свойства CD2, в Ш' входят все слу-
случайные величины, принимающие значение 1 на некотором измеримом
ш-множестве М и обращающиеся в нуль вне этого множества. Очевидно,
§в является линейным классом функций, т. е. в этот класс входят все
линейные комбинации его элементов. Такпм образом, в Щ входят все слу-
случайные величины, принимающие конечное число значений. Наконец, осно-
основываясь на свойстве СЕ5 § 8, мы заключаем, что в -%? входит любая слу-
случайная величина, являющаяся пределом последовательности ух, уй, ...
случайных величин, входящих в ?$', если для этой последовательности
существует мажорирующая случайная величина х, такая, что
Но отсюда следует, что в 36' входит любая случайная величина у, обла-
обладающая математическим ожиданием, что и требовалось доказать.
Пусть ух, ..., уп — случайные величины, и пусть jfy = $5 (ух, .. ., уп) —
наименьшее борелевское поле ш-множеств, относительно которого измеримы
величины ylt .. ., уп. Предположим, что существует функция Р{М, ш), оп-
определенная для Mf.iFj, и всех ш и удовлетворяющая условиям CDX и CD2
при Мб«^и- Если Y— некоторое n-мерное борелевское множество Bп-мер-
ное, если величины yi — комплексные), то положим
Тогда р (У, ш) определяет на борелевских множествах вероятностную меру,
зависящую от параметра ш. Вероятностная мера на множествах jFv, опре-
определяемая функцией Р (М, ш), называется условным распределением вероят-
вероятностей величин yi относительно JF.
Теорема 9.2. Предположим, что существует условное распределе-
распределение величин yv ..., уп относительно 3-, и пусть Ф — беровская функция
от п переменных, для которой Е {| Ф (уи ..., уп) |} < со. Тогда один из ва-
вариантов Е {Ф (ylt ..., уп) | Jf\ задается интегралом от Ф (ylt ..., уп) по
условному распределению вероятностей величин у{ относительно 3-'.
Обозначим через Jp класс беровских функций Ф, для которых выпол-
выполнено утверждение теоремы. Тогда, по определению условного распределе-
ления, в зЮ входит любая функция, равная 1 на некотором п-мерном
Bл-мерном в комплексном случае) борелевском множестве и равная 0 вне
этого множества, и доказательство проводится дальше точно так же, как
и в предыдущей теореме. Для частного случая п = 1, Ф (х) =х наш резуль-
результат является также тривиальным следствием теоремы 8.4.
Теорема 9.3. Пусть каждая из функций /I(М, ш) в Рй (М, ш) за-
задает условное распределение вероятностей величин ух, ..., уп относительно
JF, и пусть pi{Y, а>), г=1, 2, определены, как и выше, т. е.
Тогда существует (не зависящее от Y) w-множество Ао вероятности О
такое, что
Если Y—борелевское множество, то с вероятностью 1
Р{[»,(»), •••,»«(«)]бУ1^}-л(Г,«) = л(У.«).
Следовательно, существует ш-множество Л (У) вероятности 0, такое, что

S 9. УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 33
Пусть теперь У1? У2, ... —последовательность, состоящая нз всех интер-
интервалов с рациональными концами, занумерованных в каком-нибудь порядке.
(Эти интервалы n-мерны, если yi действительны, и 2л-мерны в комплекс-
СО
ном случае.) Положим Ао = [ | А(УЯ). Тогда
p1{Y,u)=:p,(Y,a>), ш<?А0,
если У—какое-нибудь из множеств Yj, а следовательно, и если Y—любой
интервал. Теорема вытекает теперь нз того факта, что любые две меры,
заданные на борелевских множествах, совпадают, если они равны друг
другу на всех интервалах.
Мы еще не обсуждали условий, необходимых для того, чтобы обеспе-
обеспечить существование условного распределения вероятностей случайных ве-
величин ?/,, ..., уп относительно борелевского поля .'F. Получим слерва один
предварительный результат. Пусть .f-v—наименьшее борелевское поле
ю-множеств, относительно которого измеримы величины у}. В дальнейшем
Y будет обозначать n-мерное борелевское множество (или 2и-мерное мно-
множество, если величины yt комплексны). Мы будем называть функцию
p(Y, ш) условным распределением вероятностей величин у;- относительно ЗР
в широком смысле, если р определяет при фиксированном Y функцию от
(в, равную почти всюду некоторой функции, измеримой относительно 3-,
а при фиксированном ш—вероятностную меру на множествах У, и если при
каждом У с вероятностью 1
Р {[&(«), ¦••.Уп(«)]бУ|^}=РAг,«). (9.1)
Так как входящее в левую часть этой формулы ш-множество не определяет
однозначно множество У, то и функция р не определяет прп каждом <о
вероятностную меру на множествах S- у. Поэтому существование функции р
еще не гарантирует существования условного распределения величин
yv ..., уп относительно -f. Однако если р существует и если Ф—любая
беровская функция п переменных такая, что
то с вероятностью 1
со оо
•). (9.2)
— со —оо
где интеграл справа является при каждом ш обычным интегралом по «-мер-
«-мерному пространству. Этот результат доказывается точно так же, как
и теорема 9.2. Он отличается от теоремы 9.2 тем, что в теореме интег-
интегрирование проводплось по пространству точек ш. Мы увидим, что существо-
существование условного распределения величин yv ..., уп в широком смысле почти
столь же полезно, как и существование обычного условного распределения.
Так же как и обычное условное распределение, условное распределение
yv ..., уп в широком смысле определено не однозначно. Однако если
рх и />2 — два условных распределения е широком смысле, то существует
«в-множество вероятности 0 такое, что для каждого ш, не входящего в это
ыножество,
при всех У; доказательство этого утверждения аналогично доказательству
теоремы 9.3.

34 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Теорема 9.4. Пусть уи ...,уп—случайные величины и jf—любое
борелевское поле измеримых ш-множеств. Тогда существует условное рас-
распределение р величин yv ...,yn относительно 3F в широком смысле та-
такое, что р (У, ш) определяет при фиксированном У функцию, измеримую
относительно jP.
Заметим, что в силу этой теоремы в качестве условного распределе-
распределения относительно любых случайных величин хх, ..., хп может быть выб-
выбрана функция от У и х,, являющаяся при фиксированном У беровскоп
функцией от переменных х}. Это вытекает из нашей теоремы, если принять
за jf наименьшее борелевское поле ш-множеств, относительно которого
измеримы величины xjt так как при таком выборе ./• функции, измери-
измеримые относительно jF, окажутся беровскими функциями от х^.
Для определенности мы проведем доказательство для действитель-
действительных у.. Формулировка и доказательство теоремы очевидным образом пере-
переносятся на случай счетного числа величин у.. В дальнейшем F обозна-
обозначает некоторую произвольную фиксированную n-мерную функцию распре-
распределения. Мы должны определить функцию р (У, ш) для любого и-мерного
борелевского множества У и любого ш?У. Определим ее сперва для У,
являющихся интервалами вида
Для каждой совокупности п рациональных чисел (>4, . ..,Х^) выберем ва-
вариант условной вероятности Р {yf (шL >-,-. /=1> ¦¦-,n\J:), измеримый
относительно ,F. Из свойств СР, — СР4 § 8 легко получить, что сущест-
существует ш-множество Л? & вероятности 0, такое, что если ш(?Л, то опреде-
определяемая этими условными вероятностями функция от (рациональных)
\х, ....Хд совпадает на множестве рациональных точек пространства п из-
измерений с некоторой п-мерной функцией распределения. Это значит, что
для ш $ Л эта функция от рациональных Ц, ..., Хп является монотонной
неубывающей и непрерывной справа функцией по каждому из переменных
и т. д. (см. § 3). Положим теперь при рациональных Х;.
используя при этом выбранные выше варианты условных вероятностей.
Еслд не все числа Xj рациональны, то положим
(где [ij рациональны). Тогда р{А^ Хп, ш) определяет при фиксирован-
фиксированном ш функцию распределения по Х1( :.., 'кп и тем самым определяет веро-
вероятностную меру на л-мерных борелевских множествах У. Пусть p(Y, u>)—мера,
приписываемая при этом множеству У. Нам остается показать, что р (У, ш)
при каждом У определяет функцию от ш, измеримую относительно J-',
и что с вероятностью 1 выполнено (9.1) (исключительное ш-множество
в (9.1) будет зависеть от У и от выбора варианта условной вероятности).
Это утверждение верно, по определению р, если У—один из интервалов
AXl \п- Применив СР4 из §8, мы получаем, что утверждение верно,
если У—правый полузамкнутый интервал, конечный пли бесконечный, а
следовательно, и если У—конечная сумма таких интервалов. Наконец,
класс множеств У, для которых верно это утверждение, включает в себя,
согласно СР3 из § 8, пределы монотонных последовательностей множеств
из этого класса. Следовательно, в этот класс входят все борелевские мно-
множества У, что и нужно было доказать.

I 9. УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 35
Докажем теперь, что при довольно широких .предположениях сущест-
существует условное распределение вероятностей величин ух, . ¦ ¦, уп относитель-
относительно JF. Этп предположения относятся к множеству значений R величин
У\< •¦¦'Уп' являющемуся я-мерным множеством Bп-мерныкГ в комплексном
случае) точек вида [ух(®), . ..,з/„(ш)], где ш принимает все возможные
значения.
Теорема 9.5. Пусть уи ..., уп—случайные величины, и пусть г?—
борелевское поле измеримых ш-множеств. Тогда, если множество значений
величин yv . .., уп является борелевским множеством, то существует ус-
условное распределение yv .. ., уп относительно гР такое, что Р (М, ш) оп-
определяет при фиксированном М функцию, измеримую относительно ^.
Мы дадим доказательство для случая действительных уу В дальней-
дальнейшем J- определено, как и выше, a q обозначает произвольную фиксиро-
фиксированную вероятностную меру на JPу. Факт существования хотя бы одной
такой меры q будет получен в ходе доказательства. Пусть р— условное
распределение (в широком смысле) величин yv ...,?/„ относительно jf,
найденное в теореме 9.4. Тогда, применяя (9.1), получаем, что с вероят-
вероятностью 1
1 = Р{2|^)=Р{[г/1(Ч ¦•.,»„(«)]€Я|^} = Р(Л,«). (9.3)
Если MgJ^y и если существуют два борелевских множества Ylt Уй таких,
что
М = {[у, («) 2/„ («)] € Ух} = {[У, («),-••.», (ш) € Y,},
то Fj — FxYj, и Y2 — YyY2 являются подмножествами дополнения к множе-
множеству R. Следовательно, если p{R, ш) = 1, то
Поэтому определение Р (М, ш) при помощи равенства
Р(М, ш) = р(У,ш), (9.4)
М = {ЫЧ ••-.УпНеУ), если ^ (Л, ш)=1,
является однозначным. Это определение задает Р(М, ш) как вероятностнуи>
меру по М при фиксированном ш и показывает вместе с Teii, что сущест-
существует хотя бы одна вероятностная мера на JFy. Положим, наконец,
Р{М, (i)) = g(M), если р(Л,ш)<1. (9.5)
Определенная таким способом функция Р и оказывается искомым услов-
условным распределением вероятностей.
Условие теоремы 9.5, требующее, чтобы область значений величин
Уи ¦¦'¦' Уп была борелевским множеством, является очень полезным. Оно
удовлетворяется, например, всегда, когда уи ..., уп — дискретные случай-
случайные величины, т. е. когда R — конечное или счетвое множество. (В этом
случае, конечно, доказательство упрощается и становится трпвпальным.)
С другой стороны, это условие. выполнено, если R совпадает со всем п-
мерным пространством Bп-мерным пространством в ^комплексном случае).
Это наиболее важный частный случай; он особенно полезен потому, что
когда применяется теория, изложенная в § 6, то все рассматриваемые слу-
случайные величины становятся координатными переменными многомерного
координатного пространства и R является всем пространством. Для того
чтобы в связп с этим полностью использовать теорему 9.5, мы изучим
теперь преобразование условных вероятностей и математических ожиданий
при переходе от случайных величин к их изображениям. Так как услов-
условные вероятности являются частным случаем условных математических ож!Г-
дашш, то мы рассмотрим только последние. Пусть случайные пеллчнныг/ их,,
где t? T изображаются при помощи координатных переменных у, х, коорди-

\'5В ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
натного пространства. Предположим, что Е{\у\}<со. Если Т состоит из
целых чисел 1, ..., п, то мы имеем, таким образом, изображение случай-'
ных величин у, хх, ...,хп как координатных переменных у, хх хп
(п т- 1)-мерного пространства [Bл + 2)-мерного в комплексном случае].
Мы видели, что условное математическое ожидание Eiyl^, ...,xn]
можно считать беровской функцией Ф от х1г ...,хп. Случайная ве-
лпчина у, определенная на пространстве точек ш, имеет то же самое
распределение, что и у. Следовательно, Ё{|у |} < оо, и можно рассмотреть
."условное математическое ожидание Ej?/^, ...,хп]. Пусть теперь jf =
— 3}(хх, ¦ • •, хп) [соответственно JF — $?{xv ..., хп)] —наименьшее борелев-
борелевское поле ш-множеств (соответственно ш-множеств), относительно которого
измеримы величины х^ (соответственно величины ж.). Тогда, по определе-
определению условного математического ожидания,
Далее, из свойств отображения ш в ш, перечисленных в § 6, вытекает, что
и, следовательно, Ф (хх, ..., хп) является одним из вариантов Ё {у | xv ..., хп}.
В общем случае при произвольном Т соответствие, устанавливаемое
между случайными величинами, зависящими от ю, и случайными ве-
величинами, зависящими от ш, таково, что отвечающие друг другу величи-
величины имеют одинаковые интегралы по соответствующим множествам и что
величина xt отвечает величине /х±. Если & (соответственно j^) — наимень-
наименьшее борелевское поле, относительно которого измеримы величины х, (со-
(соответственно х,), то множествам из & отвечают множества из аГ. Функ-
Функции E{t/|x() t?T}, Е{г/|х(, t?T} определяются равенствами
Так как о>-интегралы функций от ш по ш-множествам равны ш-интегралам
•соответствующих функций от ш по соответствующим ш-множеетвам, то
я эти два условных математических ожидания отвечают друг другу при
отображении ш в ш.
Пусть теперь у — любая случайная величина, имеющая математическое
ожидание, и гР — произвольное борелевское поле ш-множеств. Мы еще не
объяснили, как "применять теорию изображений н изучению Е {у | ¦&} в
том случае, когда jF не является наименьшим борелевским полем, отно-
относительно которого измеримы случайные величины некоторого семейства.
Однако самое общее борелевское поле может быть представлено, как такое
поле; действительно, в качестве случайных величин порождающего его
семейства можно взять функции, принимающие значение 1 на некотором
множестве из jf и 0 вне этого множества.
Мы продемонстрируем применение приведенных выше рассуждений на
доказательстве одного важного неравенства. Пусть у — действительная слу-
случайная величина, и пусть / — непрерывная выпуклая функция одного дей-

S 9. УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 37
ствительного переменного, определенная на некотором интервале. Тогда
в соответствии с неравенством Иенсена')
(9.6)
если только величина в правой части существует. Пусть теперь JF — бо-
релевское поле измеримых ш-множеств. Тогда, если бы условные матема-
математические ожидания вели себя так же, как и обычные математические
ожидания, то с вероятностью 1 мы имели бы
/(ЕЫ •*=})<Е{/(у)|.П (9.7)
если только у и f (у) имеют математические ожидания. Это неравен-
неравенство может быть выведено и прямо из определения условных математи-
математических ожиданий, однако поучительнее использовать только что раз-
развитые методы. Мы будем предполагать, что / определено на интерва-
интервале /, содержащем множество значений величины у. Тогда тривиальным
образом доказывается, что и Е {г/1 j^} также лежит ¦ с вероятностью 1 в
интервале I. Простейшее доказательство искомого неравенства основано
на рассмотрении условного распределения ра величины у относительно JF
в широком смысле. С помощью ра неравенство (9.7) записывается следующим
образом:
для всех ш, для которых р0 (/, ш) = 1, т. е. для почти всех ш. Мы свели,
таким образом, неравенство (9.7) к неравенству Иенсена, примененному
к условному распределению в широком смысле. Мы дадим также доказа-
доказательство (9.7) при помощи теории изображений, чтобы показать, как в
вопросах такого рода можно использовать два различных подхода: или,
как мы только что сделали, использовать условные распределения в ши-
широком смысле, или же после перехода к изображениям применить настоя-
настоящие условные распределения. Применив теорию изображении, мы полу-
получим представление у и jF в координатном пространстве; при этом мы
будем иметь следующие три пары соответствующих друг другу функций:
Е{у\ ?), Ё(у1#],
Так как неравенства сохраняются при переходе к изображенпям, то (9.7)
эквивалентно неравенству
/(Ё{у|#})<Ё{/6)|?} (9.8)
(которое должно выполняться с вероятностью 1). Но поскольку у~ коорди-
координатная переменная и ее множеством значений является вся действительная
прямая, то условные математические ожидания в (9.8) могут быть пред-
представлены, в силу теорем 9.2 и 9.5, как интегралы относительно условно-
условного распределения. Таким образом, (9.8) сводится к неравенству Иенсена,
примененному к условным вероятностным мерам.
Только что проведенное нами доказательство иллюстрирует тот факт,
что несмотря на существование патологических примеров, из-за которых
нельзя утверждать, что всегда условные вероятности могут быть исполь-
вованы для определения условного распределения вероятностей и что
') Относительно неравенства Иенсена для выпуклых функций см., например,
Г. Г. Харди, Д. Е. Литтльвуд, Г. Полна [1], теорема "86. — Прим. ред.

38 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
условные математические ожидания могут всегда вычисляться как
обычные интегралы по пространству точек ш, тем не менее для многих
целей с условными вероятностями и математическим ожиданиями можно
обращаться так, как будто бы таких примеров не существовало.
Однако остается справедливым и то, что некоторые теоремы об услов-
условных вероятностях и математических ожиданиях могут быть выведены пря-
прямыми методами так же легко, как и при помощи теорип изображений.
Теория изображений делает в таких случаях эти теоремы a priori очевид-
очевидными. Следующая теорема дает пример такой возможности.
Пусть 30 — поле ш-множеств, и пусть 3 - борелевское поле, порожден-
порожденное 3„. Тогда любые две меры на множествах 3, совпадающие на множе-
множествах из So, совпадают и на S (см. дополнение, теорема 2.1) и, следова-
следовательно, определяют одинаковые интегралы от функций, зависящих от ш.
Для условных вероятностей этот факт менее очевиден, однако все же
остается верным.
Теорема 9.6. Пусть 3-1У Я-г — борелевские поля ю-множеств, "Sa —
поле и>-множеств и S—борелевское поле, порожденное So. Тогда, если при
любом М б 3„ с вероятностью 1
2), (9.9)
то для любой функции у(и>), измеримой относительно "& или же равной
с вероятностью 1 функции, измеримой относительно ?, и такой, что
Е{|г/|} < оо, с вероятностью 1 имеет место равенство
,} = Е{у|^}. (9.10)
В класс измеримых множеств М, для которых (9.9) выполнено с ве-
вероятностью 1, входит 30, а также, согласно свойству СР3 из § 8, пределы
монотонных последовательностей, входящих в этот класс множеств. Следо-
Следовательно, в силу теоремы 1.2 дополнения, в этот класс входит все S.
Этот класс должен тогда включать и все множества, отличающиеся от
множеств из 2/ на множества вероятности 0. В результате (9.10) оказы-
оказывается теперь непосредственным следствием выражения условных математиче-
математических ожиданий через условные вероятности, которое дает теорема 8.4.
§ 10. Повторные условные математические ожидания и вероятности
Тождество
Е{Е{»| ^}} = E[j/} A0.1)
представляет собой частный случай определения G.6), получающийся при
Л = 2. В частности, если у(и>) равно 1 на ш-множестве М и равно 0 вне
этого множества, т. е. если Л = 2 в G.7), мы получаем
E{P{Mj ^}}=Р{М;. A0.2)
Еслп JF — наименьшее борелевское поле, относительно которого измерима
некоторая случайная величина х, то условные математические ожидания
п вероятности относительно & являются условными математическими ожи-
ожиданиями и вероятностямп относительно х. В этом- случае A0.1) утверждает
(грубо говоря), что математическое ожидание случайной величины у равно
сумме произведений условных математических ожиданий у при заданном
значении х (ш) на вероятности соответствующих значений, распространен-
распространенной на все принимаемые величиной х значения.
Поучительно проанализировать 'смысл условных математических ожи-
ожиданий и вероятностей в том случае, когда освовные распределения сами
являются условными. Мы иллюстрируем возникающее положение следую-
следующим примером. Предположим, что все рассматриваемые вероятности яв-

J5 10. ПОВТОРНЫЕ УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 39
ляготся условными вероятностями относительно х и что существует услов-
условное распределение вероятностей в смысле, указанном в предыдущем па-
параграфе. Нам будет удобно обозначать здесь условные вероятности и ма-
математические ожидания через Рх { — ) и Ех { —} вместо Р ( \х] и Е{—|х}.
Пусть х(ш) фиксировано и нас интересует условное математическое ожида-
ожидание случайной величины у или условная вероятность ш-множества М отно-
относительно случайной величины г при данном значении х(ш), т. е.
Ex[y\z], Ря{М|г|.
'Гак как у и г рассматриваются как заданные случайные величины с задан-
заданными (хотя п условными) распределениями, то величины Ex{j/|z) и
Px{M|z} не нуждаются в новом определении. Однако легко усмотреть,
что эти усложненные обозначения вовсе не являются необходимыми и что
на самом деле
Р,{М|*}=Р{М1*,2}.
Не желая вдаваться сейчас в тонкости, мы не станем приводить точные
формулировку и доказательство этого утверждение, а проверим лишь вто-
второе соотношение в том частном случае, когда Q —трехмерное пространст-
iio, измеримыми ш-множествами являются множества, измеримые по Лебе-
Лебегу, вероятностная мера на У задается плотностью распределения /,_а х,
у, z являются координатными функциями пространства S, так что совме-
совместное распределение величин х, у, z имеет плотность /. Наконец, мы пред-
предположим, что М- это ш-множество вида {y(u>)?Y}, где Y— измеримое по
Лебегу множество. В этом случае один из вариантов двумерного условно-
условного распределения у, z при условии х (ш) = $ имеет плотность
е-Ы п
J I
Для двумерного распределения величин у, г, задаваемого этой плотностью,
(Ю.4)
у,
условное распределение у при условии 2 = ч имеет плотность
С другой стороны, условное распределение у при х (ш) = 5 и z (ш) = С имеет
плотнбеть .
J
A0.5)
Равенство величин A0.4) и A0.5) и представляет собой второе из соотно-
соотношений A0.3), выраженное через плотности.
Взаимоотношения между вероятностями и математическими ожида-
ожиданиями удовлетворяют определенному закону , согласованности. А именно,
предположим, что все математические ожидания и вероятности являются
условными относительно некоторой случайной величины хг Тогда прави-
правила комбинирования символов

40 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
должны быть соответственно теми же самыми, как и для
Если бы это было не так, то знание того, что некоторые параметры зада-
задачи могут быть в действительности случайными величинами, коренным об-
образом меняло бы правила обращения с этой задачей.
Указанный принцип согласованности подсказывает нам следующие
соотношения, аналогичные A0.1) и A0.2): с вероятностью 1
A0.6)
}. A0.7)
Эти соотношения сводятся к A0.1) и A0.2), если забыть про условия,
касающиеся переменной xv Их нужно понимать следующим образом.
Если xlt хй, у— случайные величины, причем Е{'у|}< оо, и если М —
измеримое ш-множество, то, безразлично к тому, какие из вариантов
условных вероятностей и математических ожиданий используются в этих
соотношениях, они выполняются с вероятностью 1. Иначе можно сказать,
что если использовать подходящим образом выбранные варианты, то на-
наши соотношения будут выполнены для всех ш. Соотношение A0.7) являет-
является частным случаем соотношения. A0.6). Оба они почти сразу следуют
из определения условных вероятностей и математических ожиданий. Преж-
Прежде чем доказать эти соотношения, мы их несколько обобщим. Пусть 3~v
JFa — борелевские поля измеримых ш-множеетв, причем Jf1dJ:l. Тогда
с вероятностью 1
J A0.8)
Е{Р{М| ^}|*\} = Р{М|^,}. A0.9)
Очевидно, A0.6) и A0.7) являются частными случаями A0.8) и, соответствен-
соответственно, A0.9). Для того чтобы доказать соотношение A0.8), которое включает
в себя все остальные рассмотренные здесь равенства, достаточно заметить,
что (если не считать условий измеримости, которые выполняются очевид-
очевидным образом) это соотношение утверждает лишь, что
а последнее равенство выполнено по определению Е {у | jF2} даже для всех
Л С .^,Z3 Fr Имеется много полезных частных случаев равенств A0.8)
и A0.9). Например, если у, хх, хг, ... — случайные величины и Е {, у\} < оо,
то в силу A0.8) с вероятностью 1
EfEtyl*,,*,, ...}\хг, xt, ...} = E{y|zs>z4, ...}.
§ 11. Характеристические функции
• Характеристическая функция случайной величины х, имеющей функ-
функцию распределения F, определяется как
оо
Ф (г) = Е {е;<*} = \ eiadF{\). A1.1)
—оо
функция Ф однозначно определяется функцией распределения F и в соот-
соответствии с этим называется также характеристической функцией указанной

S 11. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
функции распределения. Нам потребуются следующие основные свойства
характеристических функций.
(А) Функция Ф непрерывна при всех t и
) Ф (/) | <; Ф @) = 1. A1-2)
Если Е (| х |nj < оо при некотором положительном и, то Ф имеет п непре-
непрерывных производных, и
Ф"»(г) = \ (iX)V"-?7F(>.), I
•гак что
)=0
J=0
n-t
,=о
)=0
\ \l\ndF{\),
Если 0<3<1 и E{|zi"+s} < оо, то ¦
A1.3)
A1.4)
A1.4')
Для того чтобы доказать A1.4) и A1.4'), достаточно найти мажоранту
для интеграла в правой части A1.4); но в самом деле,
-*'"'@)] ([,^
A+В)"B + 8) ... (n + B)
(Б) Функция распределения F однозначно определяется своей характе-
характеристической функцией Ф, а именно (формула Леви)
(И.?.;

42 ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
(В) Если хи ..., хп — взаимно независимые случайные величины с ха-
характеристическими функциями Ф1; ..., Фп, то характеристическая функ-
функция Ф суммы xt + ... -г %п равна
Ф= П Ф,.
(Г) Если Fx, F%, ... — последовательность функций распределения
такая, что \\mFnQ,) = F(\) во всех точках непрерывности монотонной функ-
ции F, и F является функцией распределения, то последовательность
характеристических функций, соответствующих F}, сходится к характе-
характеристической функции, соответствующей F, равномерно в каждом конечном
интервале.
Нам пригодится также следующая близко связанная с предыдущей
теорема. Если функции F,, F2, . .. предполагаются только монотонно не-
неубывающими и ограниченными и \im Fn('i.) = F {\) во всех точках непре-
п-»со
рывности ограниченной монотонной функции F п если g — некоторая огра-
ограниченная и непрерывная функция, то
СО СО
lim { g(k)dFn(k) = \ g(l)dF(X), A1.6)
n-*oo
—со —со
если только
F(a>)-F(-co)= lim[Fn(oo)-Fn{- oo)].
ft-*-CO
Последнее условие эквивалентно условию
равномерно по п. Если, кроме того, gA) — g(t, X) зависит от параметра t
и g(t, X) ограничена и непрерывна по (t, X), то сходимость в A1.6) равно-
равномерна по г в каждом конечном интервале. Теорема о характеристических
функциях, сформулированная в предыдущем абзаце, является частным
случаем этой теоремы.
(Д) Обратно, если Fv Fit ...—последовательность функций распреде-
распределения, для которых последовательность соответствующих им характеристи-
характеристических функций Ф1( Ф2, ... сходится к характеристической функции Ф,
и если F — соответствующая Ф функция распределения, то limFn(k) = F(k)
n-*oo
в каждой точке непрерывности F. Если предположить лишь, что 11тФп(г)
П—tCO
существует при всех t, то предельная функция будет обязательно характе-
характеристической функцией, если только эта сходимость равномерна в некотором
интервале, содержащем t — 0.
Часто бывает полезным такое следствие из утверждений (Г) и (Д).
Если xv хг, ... — последовательность случайных величин с ¦характеристи-
¦характеристическими функциями Фг, Ф,, ..., то plima;n = 0 тогда и только тогда,
когда lim Фп (t) = 1 равномерно в каждом конечном интервале значенпй
переменной t. Действительно, если положить F(k) = O при X < 0 и \F(X)=i
при Х>0, то plim ?п = 0 тогда и только тогда, когда
П-юо
limP{a;n(u))<X} = F(l), X^=0, A1.7)
П->со
а условие на характеристические функции, при котором выполнено A1.7) и
которое вытекает из (Г) п (Д), п точности совпадает со сформулированные

S И. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЩТП 43
еейчас условием. На самом деле, если lim Фп (t) = 1 равномерно в некотором
п—.со
интервале, содержащем t = О, то то же самое верно и для любого конеч-
конечного интервала; это вытекает из следующего неравенства для действи-
действительной части характеристической функции Ф:
91[1-Ф(г)]= \ [I-
cos
Мы будем часто использовать приводимые ниже неравенства. Эти нера-
неравенства дают простой способ оценить по характеристической функции
вероятности больших значений случайной величины и показывают, каких
упрощений можно достичь, если центрировать распределение вероятностей,
вычитая из случайной величины ее медиану или усеченное математическое
ожидание. Во всех последующих рассуждениях этого параграфа х является
случайной величиной с функцией распределения F и характеристической
функцией Ф; а, а и ji — положительные числа и А - измеримое по Лебегу
подмножество интервала [0, а] меры р > 0. Функции L; являются положи-
положительными функциями указанных при них аргументов и зависят от F лишь
постольку, поскольку зависят от F их аргументы. Пусть то — медиана слу-
случайной величины х, т. е.
Определим х' как величину х, усеченную до значения т там, где она
выходит за пределы то ? а, т. е. как
х{ш), | а; (о>) — 1Я |< о,
т, \x(v)-m \>a,
и положим
т = Е[х'}, о2=Е{(х' -т)*},
Мы докажем, что существует функция Ll(^,tp, а) такая, что
, (с р, а) \ 9г[1-Ф@]А. A1.8)
А
Центрирование распределения при помощи медианы то дает более полезное
неравенство
<-4^(а, р, a)
А
Центрирование при, помощи то дает неравенство того же самого типа:
i(a,li,P, a) J [1-|Ф@Г1 *•-
А
< -2L2(a, [i, а, а) \ log |Ф (г)! Л. A1.8)
А
Переходя к изучению второго момента, мы покажем, что
\ X*dF(>0<L,((i, р, а)
— ц-0

44 ГЛ. I. ВВЕДЕЙИЕ. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Если обозначить через a([iJ дисперсию распределения F, усеченного до т,
когда оно выходит за пределы т ± р, т. е. если
^ [ j
m—|i—0 m—|i —0
то o(aJ = a3, и из A1.9) будет следовать, что при некоторой функции
^ ([», Р, а)
Sfo)»<L4(p, р, а) ^ [1-|Ф@ПЛ < -2Мс Р- а) ^ 1ов I *@1 Л. (Н.9)
А А
Наконец, мы докажем, что при некоторой функции Lb (T, а, р, а)
<?5G\ а, р, а)\[1
А
При доказательстве перечисленных выше неравенств потребуются сле-
следующие элементарные неравенства. Во-первых, функция
"™" о! П & ¦¦ и
обращающаяся в 0 при s = 0 и s = t:, положительна при малых s, и ее
производная обращается в 0 между 0 и г только в одной точке; следова-
следовательно,
s — sins>-^-, 0<s<ic. A1.11)
Во-вторых, если X > 0, то
J^w. A1.12)
Для того чтобы доказать это, положим а1 равным наименьшему числу,
большему или равному а, для которого отношение Xaj/2it является целым.
Тогда
%<<* + —
и ^4CZ[O, a,]. Мы лишь уменьшим интеграл в A1.12), если заменим А на
сумму Xdj/x содержащихся в [0, aj непересекающихся интервалов длины
гср/а^, начинающихся или кончающихся в точках t = 0, 2iz/\, ..., av в ко-
которых интегрируемая функция обращается в 0. Таким образом,
А
Тогда, согласно A1.11),
что и доказывает A1.12).

Ml. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Чтобы доказать A1.8), рассмотрим интегралы от обеих частей нера-
неравенства
\ A—с
по А; при этом будем иметь, что
Учитывая A1.12), получаем отсюда A1.8) е
x ([х, р, а) =
Чтобы доказать A1.8'), применим A1.8) к я — х*, где ж* не зависит
от л и имеет то же самое распределение, что и х. Мы получим, что
л
так как х — х* имеет характеристическую функцию |Ф|3. Далее,
Р {| х (ш) - х* (ш) | > a} > P {z (о>) — m > p. z* (ш) — m <0} +
+ Р {z (со) — m < - [1, я* (ш) - те > 0} > у Р {х (ш) - m > «-J +
+4 р Iх (ю) - m < - р} = \ р (Iж И - m I > v-)'
и это неравенство вместе с предшествующим дает первую половину A1.8').
Вторая половина следует из неравенства
1—a^—loga, 0<а'<1.
Мы отложим доказательство A1.8) до тех пор, пока не будет доказано
A1.10). Для того чтобы доказать A1.9), мы, используя A1.12), находим,
что
А> \ dFQ.)\j(i-cosXt)dt>
-^-0 А
-И.-0
так что A1.9) имеет место с
Для того чтобы доказать A1.9), применим A1-9) с ;t, замененным
на 2[i, к х—х*; тогда получим
-2,1-0
(x - x*)~ dP < L3 Bц, p, a) [ [1 - i ф (t) f-] dl.
A

46
ГЛ. I. ВВЕДЕНИЕ. ТЕОРЕТИКОВЕРОЯТНОСТНЫЕ ОСНОВЫ
Комбинируя это неравенство с неравенством
{|х(а>)-х«(ш)|=?2ц}
{x-x*)*dP =
т—ц—0
найдем, что
» Ы2 < Р* ;1 * (») - т | ? ^} н -| L, Bu, р, в) J [1 -1 Ф @ [2] Л.
А
Отсюда вытекает A1.9) с
Lt(v,p, a) = 2(i2L1([1, p, a) + |-L,B(i, p, e) =
Для того чтобы доказать A1.10), мы заметим (используя определение
что
m—a —0
т—a —0
}. A1.13).
Следовательно, A1.10) верно при
(«. P.
Наконец, мы докажем A1.8), применив A1.8) к х — пг. Имеем
Р{| а: (o>)-m|>[i} <?,((!, р, а)
так что A1.8) верно с
Ьг(а, (г, р, а) = а?г(ц, р, o)Z,e(o,a, р, оL.
Если а; — ограниченная случайная величина, то A1.9) дает при доста-
достаточно большом [1 мажоранту для дисперсии х, однако полезнее провести

§ 11. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ 47
прямой анализ. Мы докажем, что если |а;|<Л/ и если х имеет дисперсию а ~
и характеристическую функцию Ф, то
A1-14)
Чтобы доказать это, предположим сперва, что Е {х} = 0. Тогда, согласно
A1.4) с п = 2,
[1—Ф@[<-^г-, A1.15)
и, согласно A1.4') с л = 2, 8=1,
<-^L3 (И.16)
Далее, если z — комплексное число и |1 — z\ < 1, то
¦ 1
(интегрирование производится по прямолинейному отрезку). Отсюда, исполь-
используя A1.4), получаем
так что, комбинируя это неравенство с A1.16), имеем
- log Ф г" I < 4 A-rtV^) +—6й"*»—' Ml'i<T-
Взяв действительные части, мы находим, что A1.14) верно при | ?| < Г/2Л/.
Если мы теперь откажемся от ограничения Е{а;} = 0, то, применив доказан-
доказанное неравенство к х — Е {х}, мы получим неравенство A1.14) в той форме,,
в какой оно сформулировано выше.

Глава II
ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА.
ОСНОВНЫЕ КЛАССЫ ПРОЦЕССОВ
§ 1. Определение вероятностного процесса
С общей точки зрения вероятностный процесс1) — это любой процесс,
протекающий во времени и управляемый вероятностными законами. Наблю-
Наблюдения над численными характеристиками такого процесса, производимые
в последовательные моменты времени, выявляют его эволюцию. Основы-
Основываясь на этом, мы определяем вероятностный процесс, как произвольное
семейство случайных величин {xlt t?T]. В применениях xt — это то, что
наблюдается в момент t, a T — совокупность рассматриваемых моментов
времени.
Во многих классических задачах теории вероятностей рассматрива-
рассматриваются лишь конечные семейства случайных величин, т. е. за область Т
значений t принимается конечное множество. Однако в последующих гла-
главах почти всегда рассматриваются процессы, которые включают в себя бес-
бесконечно много случайных величин, и термин вероятностный процесс
применяется нами обычно только в этом случае. Двумя наиболее важными
случаями являются следующие:
(а) Т является бесконечной последовательностью; {х„ t?T] имеет вид
хт' Xm+V • • • >
ИЛИ
• • • » Хт-1> хт'
ИЛЛ
. . . , XQt X-^y ... .
Этот тип процесса называется процессом с дискретным параметром а).
(б) Т является интервалом; \х,, t?T) является семейством случайных
величин, зависящих от непрерывного параметра. Этот тип процесса назы-
называется процессом с непрерывным параметром. Течение нашего процесса
задается здесь некоторой функцией от t, определенной на интервале, в то
время как в случае дискретного параметра течение процесса задается не-
некоторой последовательностью. Обобщая эти два случая, мы будем в даль-
дальнейшем называть процессом с дискретным параметром любой процесс,
у которого множество значений параметра конечно, или счетно, и про-
процессом с непрерывным па раметром — любой процесс, у которого множество
значений параметра несчетно.
Наше определение вероятностного процесса исторически условно и
обладает очевидными дефектами. Во-первых, с математической точки зре-
зрения нет никаких оснований ограничиваться множествами Т, являющимися
множествами действительных чисел; и в самом деле, интересные резуль-
результаты уже получены и для ряда других случаев (конечно, интерпретация t
как времени должна быть тогда отброшена), bo-вторых, нет никаких ма-
х) Наряду с термином вероятностный процесс в математической литературе встре-
встречаются также наименования случайный процесс и стохастический процесс; последний
термин, в частности, используется и автором настоящей книги в английском ориги-
оригинале.— Прим. ред.
*) Или с дискретным временем. Наряду с этим часто употребляется также термин
вероятностная (случайная) последовательность. — Прим ред.

5 I. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА 49
тематических оснований ограничивать значения, принимаемые х,, только
числами. Однако в этой книге мы будем всегда рассматривать только
такие процессы, где Т - одномерное точечное множество, и случай-
случайные величины будут здесь почти всегда действительными плп комплекс-
комплексными числами. Мы разрешим также действительным случайным Ееличи-
нам, задающим процесс, принимать значения + со и —со, но только
с вероятностью 0.
Наше определение вероятностного процесса очень широко, так как
найдется немного задач теории вероятностей, которые не могли бы быть
сформулированы как задачи о семействах случайных величин. Историче-
Исторически, однако, наименование вероятностные процессы сохранилось за семей-
семействами (обычно бесконечными) случайных величин с некоторыми простыми
взаимосвязями между величинами. Одной из основных задач является уста-
установление подходящих классов таких взаимосвязей, т. е. обнаружение но-
новых типов вероятностных процессов, являющихся полезными или мате-
математически изящными или же вообще каким-либо образом удовлетворя-
удовлетворяющих критерию важности, применяемому исследователем.
Пусть {xt, t ? Т) — вероятностный процесс. Функция от t?T, возника-
возникающая, если в х, (ш) фиксировать ш, но считать переменным параметр t,
называется выборочной функцией1) процесса. (Если Т — конечно или счетно,
выборочная функция будет, очевидно, выборочной последовательностью.)
Случайные величины хп возникающие, если в xt (ш) фиксировать t, мы
будем иногда называть значениями процесса (в момент t).
Пусть tx, ... , tn — любое конечное множество значении параметра
процесса \xt, t?T]. Многомерное распределение случайных величин
Ж|,, ... , xtn называется конечномерным распределением вероятностей про-
процесса. Конечномерные распределения являются основными распределениями
для процессов, рассматриваемых в этой книге, и мы будем поэтому клас-
классифицировать сами процессы в зависимости от свойств их конечномерных
распределений.
Пусть 3F-r = 38(x{, t?T) — борелевское поле множеств, порожденное
классом множеств вида [xt(u>)? А), где t ? Т и А — любое борелевское мно-
множество (одномерное, если х, действительны, и' двумерное, еслп они ком-
комплексны). Тогда jFt является наименьшим борелевским полем, относи-
относительно которого измеримы все величины xt. He изменяя Э*т, можно пред-
предположить, что используемые в его определении множества ~А принадлежат
несколько более узкому классу множеств. Например, в качестве А можно
брать одни только правые полузамкнутые интервалы.
Пусть jF0 — поле ш-множеств вида
l[xh(<»), ... , х,„(а>)]е А],
где (tv ... , tn) — любое конечное множество значений параметра и А—пра-
А—правый полузамкнутый интервал (л-мерный, еслп х, действительны, 2и-мер-
ный в комплексном случае). Тогда J~t — это борелевское поле, порожден-
порожденное JF0. В соответствии с теоремой 2.4 дополнения, если А — некоторое
«о-множество, являющееся измеримым множеством выборочного простран-
пространства семейства х, (определение этого понятия см. в § 7 гл. I), и если
в > 0, то существует множество Лв, входящее в jF0, такое, что
В силу той же самой теоремы, если х — случайная величина, измеримая
относительно семейства величин i(, и е>0, то существует функция х, от
2) В ругской литературе по теории вероятностных процессов вместо выборочных
функци'й обычно говорят о реализациях, или о траекториях, или, наконец, о наблю-
наблюденных значениях случайного процесса. — Прим. ред.
Дж. л. дус

50 ГЛ. П. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
о), принимающая только конечное число значений, каждое на некотором
множестве из .3%, и такая, что
Р {| х («.) - хе (и>) | > е} < 8.
Данная вероятностная мера на 2 определяет меру на классе мно-
множеств ,fr. Пусть гР? - область определения последней меры после ее
пополнения (см. дополнение, § 2); другими словами, 3-т состоит из мно-
множеств, принадлежащих зРт, а также из множеств, отличающихся от них
на подмножество множества из JFr вероятности 0. Если заданная
вероятностная мера не является полной, то множества из JFj не обязаны
все быть измеримыми, однако в любом случае имеется только один способ
для определения их вероятностей, согласующийся с конечномерными рас-
распределениями. Действительно, конечномерные распределения задают вероят-
вероятности множеств из J^o, вероятностная мера на J-a однозначным образом
расширяется до меры на множествах Jfr (см. дополнение, теорема 2.1)
и, наконец, вероятностная мера на &? пополняется до меры на .ф? един-
единственным образом. _
Если некоторые множества, не входящие в jFf, являются измери-
измеримыми, т. е. если им приписаны вероятности, то эти вероятности являются,
в некотором смысле, побочными. В тех случаях, когда такие вероятности
нужно определить при помощи основных вероятностей, заданных на Jfu,
т. е. при помощи конечномерных распределений, оказывается необходимым
введение некоторых дополнительных принципов. Прежде чем систематиче-
систематически изучить этот вопрос, мы проиллюстрируем его на одном почти три-
тривиальном примере. Пусть Q — полузамкнутый интервал @, 1] и измери-
измеримыми множествами являются любые суммы полузамкнутых интервалов
\J—^- , -s-1, /=1, ...» 6, причем вероятностной мерой является обычная
длпна. Пусть вероятностный процесс состоит из единственной случайной
величины х, равной / на /-м из определенных выше полузамкнутых интер-
интервалов. Эта случайная величина представляет собой математическую модель,
описывающую результаты однократного бросания правильной кости. Поля
$~т и J-o в этом примере совпадают и состоят из всех измеримых мно-
множеств. Очевидно, есть много способов определить меры других множеств
так, чтобы они согласовались с уже заданными мерами. Например, мно-
множество, состоящее из одной точки %, не является сейчас измеримым.
Ему можно приписать вероятность 1/в, и тогда остальной части интервала
C/в, 1] нужно приписать вероятность 0. С другой стороны, совершенно
иная мера, согласованная с первоначально заданной, возникает, если
каждому измеримому по Лебегу подмножеству интервала @, 1] приписать
его лебеговскую меру. При таком задании множество, состоящее, из одной
точки "/,, также измеримо, но имеет вероятность 0. Задание этих новых
вероятностей не влияет на распределение случайной величины х.
Мы исследуем теперь этот вопрос систематически, используя при этом
изображения семейств случайных величин, рассмотренные в § 6 гл. I.
Предположим, что задан вероятностный процесс {х,,Л?Т}. Допустим, что
этот процесс является действительным; изменение дальнейших рассуждений,
необходимое в комплексном случае, совершенно очевидно. Пусть ш — дей-
действительная функция от t ? Т; мы разрешим этой функции принимать зна-
значения ± оо. Пусть У — пространство всех точек ю, т. е. всех функций от
t?T. Тогда У является координатным пространством, размерность кото-
которого равна кардинальному числу множества Т. Пусть xs(^) есть s-я коор-
координата ш, т. е. звачение функции ш от t при t = s. Тогда xt дает изобра-
изображение xt в пространстве функций.

8 1. ОПРЕДЕЛЕНИИ ВЕРОЯТНОСТНОГО ПРОЦЕССА 51
Если Г —конечное множество, состоящее из п точек tlt . .. , tn, то 2
становится и-мерным пространством точек
Приписывая для каждого л-мерного борелевского множества 'А множеству
точек
• A.1)
вероятность
Р {[!,,(«.) *!„(»)] 6 Л}. A.2)
мы определим меру на борелевских множествах пространства.2. В соот-
соответствии с нашими предыдущими обозначениями мы обозначим через .IFt
поле и-мерных борелевских множеств. Пополнив полученную таким обра-
образом меру борелевских множеств, мы получим и-мерную меру Лебега —
Стильтьеса.
Если Т бесконечно, то 2 становится бесконечномерным декартовым
пространством. Пусть &т = 3? (xt, t ? Т) — борелевское поле, порожденное
классом ш-множеств вида A.1). Меру на j-j можно получить, если
«конечномерным» ш-множествам A.1) приписать вероятности A.2) и вообще
каждому множеству Л из &т приписать вероятность, равную вероятности
ш-множества Л, задающего выборочные функции из Л, т. е. вероятность
такого ш-множества А, что если ш?А, то xt(w) определяет функцию от t,
являющуюся элементом Л (см. дополнение, пример 3.2 и § 6 гл. I). При
каждом t ? Т функция xt от ш оказывается теперь случайной величиной,
причем для каждого конечного ^-множества tv ... , tn случайные величины
?<,, ... , xtn, зависящие от и>, имеют то же самое совместное распределе-
распределение, что и случайные величины xtx, . .. , xtn, зависящие от ш. Семейство
случайных величин {xt, t?T) было названо в § 6 гл. I изображением
семейства {xt, t?T}. Каждое семейство случайных величин имеет, таким
образом, изображение, основным пространством которого является про-
пространство функций.
С другой стороны, мы видели в § 5 гл. I, что если Т — любое мно-
множество и У — пространство всех функций от t^T, то вероятностную меру
на борелевском поле Jfr можно задать, приписывая согласованным обра-
образом (конечномерные) меры ш-множествам вида A.1) и затем расширяя эту
меру на остальную часть jpj. Таким образом, мера на множествах jjF?
может быть получена двумя различными способами: во-первых, как мера,
порожденная- заданвым семейством случайных величин, и, во-вторых, как
мера,- порожденная заданным семейством (согласованных) конечномерных
распределений. В обоих случаях мы получим в результате семейство
{xt, t?T}.
Использование семейства {xlt t?T} имеет то преимущество, что при
этом мы полностью контролируем весь класс измеримых множеств. Мы уже
отмечали, что для произвольного семейства случайных величин {х,, t?T}
можно задать вероятности некоторых множеств, не входящих в $~т.
Однако такое задание окажется в некотором смысле произвольным, так
как эти вероятности не будут определяться однозначно вероятностями
множеств jF0 и общими свойствами меры. Для некоторых целей, которые
будут обсуждаться в § 2, нам придется задавать вероятности множеств,
не входящих в ^т, причем для того, чтобы получить плодотворную тео-
теорию, это задание нужно будет произвести некоторым специфическим обра-

52 ГЛ. П. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
8ом. Так как эти вероятности уже могли быть определены каким-нибудь
другим способом, то теория встречается здесь с реальными трудностями.
Невидимому, два наилучших способа устранить эти трудности состоят.
в следующем: а) можно изменить случайные величины заданного семейства
так, чтобы их конечномерные распределения остались теми же самыми,
а множества, которые мы хотим сделать измеримыми, вошли в & т\
б) можно развивать теорию на основе пространства У и поля jFf измери-
измеримых множеств, определив вероятности множеств, не входящих в Jfr, лю-
любым желаемым, способом, лишь бы это определение согласовалось с об-
общими свойствами меры. Первый метод использован в большинстве рас-
рассмотрений этой книги. Обе возможности обсуждаются в § 2.
§ 2. Задание вероятностной меры
Пусть семейство величин {хп, и>1} образует вероятностный процесс.
Арифметические операции, производимые над хп, переходы к пределу и
рассмотрение верхних и нижней граней приводят к функциям от ш, также
являющимся случайными величинами (т. е. к измеримым функциям).
Например, sup | xn | является случайной величиной, так как из равенства
п
{sup | хп («,) | > X} = U {| хп («,) | > ).} B.1)
п 1
следует, что стоящее в левой части равенства множество точек и> является
суммой счетного числа измеримых множеств, а значит и само измеримо.
(В случае, когда наименьшая верхняя грань может быть бесконечна, при-
принимаются обычные дополнительные соглашения.)
Однако положение становится более сложным, если рассматривать
несчетное семейство случайных величин, скажем семейство {х,, I ? /}, где
/—некоторый интервал. В этом случае равенству B.1) соответствует
{sup | xt И | > X} = |J {I xt HI > М- B.1')
Так как в сумму справа входит несчетное число слагаемых, то это равен-
равенство не влечет за собой измеримости множества, стоящего слева, и, дей-
действительно, это множество, вообще говоря, оказывается неизмеримым. Про-
Продолжая это исследование, мы обнаруживаем, что вероятность того, что
выборочные функции являются ограниченными, или непрерывными, или
измеримыми, или интегрируемыми и т. д., может быть-не определена, так
как соответствующие ш-множества могут оказаться неизмеримыми. И, что
еще хуже, если даже эти множества измеримы, то их меры не определя-
определяются единственным образом конечномерными распределениями. При задан-
заданных конечномерных распределениях меры этих множеств могут изменяться
в широких пределах. Ото значит, что выбор ш-меры, который был сделан
при ее первоначальном задании, может оказаться не тем выбором, кото-
который приводит к плодотворной теории.
В качестве "примера рассмотрим следующий очень простой случай.
Пусть множеством Т значений параметра является прямая линия
— со < I < со и конечномерные распределения определяются равенствами
В случае, когда S — конечное или счетное множество (и только в этом
Случае), отсюда следует, что

S 2. ЗАДАНИЕ ВЕРОЯТНОСТНОЙ МЕРЫ 53
Пусть множество М определяется условием
М = {х, (ю) = 0, — оо < I < оо}.
Для многих целей хотелось. бы иметь 'возможность утверждать, что
Р{М} = 1. Однако в конце этого параграфа мы построим примеры, в кото-
которых множество М неизмеримо; множество М измеримо и Р{М} = 1; множе-
множество М измеримо и Р {М} = 0. Конечно, желательным является только вто-
второй случай, но другие случаи нельзя исключить без применения каких-то
новых критериев. Критерий сепарабельности, вводимый в следующем абзаце,
представляется простейшим подходящим критерием.
Пусть {ж,, t g T] — действительный вероятностный процесс с множеством Г
значений параметра, лежащим на прямой линии. Пусть А — какая-то система
одномерных борелевских множеств. Процесс будет называться сепарабельным
относительно <#, если существуют последовательность {^} значений пара-
параметра и ю-множество Л вероятности 0, такие, что если 4?Л- н если / —
любой открытый интервал, то и>-множества
{*,(«>) 6 Л, t?lT], {xt.(m)?A, tt?lT]
отличаются друг от друга самое большее на подмножество множества Л.
Второе из этих двух ш-множеств .является, очевидно, измеримым ш-множе-
ством, содержащим первое множество. При гипотезе сепарабельности пер-
первое множество также оказывается измеримым, хотя если IT несчетно,
то в общем случае это не обязательно так. Укажем два наиболее важных
частных случая.
(I) А является классом А1 всех (конечных и бесконечных) замкнутых
интервалов. Это наименьший класс множеств А, для которого полезно
понятие сепарабельности, и в соответствии с этим мы будем говорить
просто сепарабелъный вместо сепарабелъный относительно класса Лг
(II) А является классом всех замкнутых множеств.
Очевидно, сепарабельность относительно некоторого класса мно-
множеств влечет за собой сепарабельность относительно любого более узкого
класса множеств. В этой книге нам понадобится лить сепарабельность
. относительно Аи однако в некоторых вопросах необходима сапарабельность
относительно более широкого класса множеств. Примеры будут даны ниже.
В дальнейшем мы будем называть последовательность [tn] удовлетворя-
удовлетворяющей условиям определения сепарабельности (относительно некоторого задан-
заданного класса множеств А или относительно &г, если класс множеств
не указан), если существует ш-множество Л такое, что {<„} и Л обладают
свойством, входящим в определение сепарабельности.
Понятие сепарабельности можно очевидным образом обобщить на слу-
случайные величины, принимающие произвольные абстрактные значения. В част-
частности, для случайных' величин с комплексными значениями нужно лишь
взять в данном выше определении в качестве А класс двумерных борелев-
борелевских множеств. Мы будем называть процесс с комплексными случайными
величинами xt сепарабельным, если сепарабельны (относительно А^) про-
процессы, образуемые действительными и мнимыми частями случайных вели-
величин xt. Другими словами, в комплексном случае за минимальный класс
множеств, соответствующий классу Alt использованному в действительном
случае, нужно взять класс всех замкнутых прямоугольников со сторонами,
параллельнымп осям координат.
Вернемся к случайным величинам с действительными значениями.
В соответствии с определением сепарабельности относительного класса
замкнутых интервалов, если Л обладает свойством, входящим в это опре-

54 ГЛ. II. ОДРВДВЛВНИВ ВЕРОЯТНОСТНОГО ПРОЦЕССА
деление, и если «>$Л, то для любого открытого интервала /
sup х, (ш) = sup xt. (u>), 1
щт t,tn '
inf ж, (oi)= inf xt.M. v '
t?IT tfilT ' 1
Очевидно и обратное; если существует ш-множество А такое, что Р{Л} = 0
и при «>$Л и любом открытом интервале / выполнены равенства B.2),
то процесс xt является сепарабельным. Заметим, что для всех и>
supz,(u))> sup xt (w),
kit t^ir '
inf ж, (">)< inf xt (u>),
ta tjtiT >
так что если утверждение B.2) выполнено, то оно остается выполненным
и после добавления к [tt} любого множества значений /Л Следовательно,
сепарабельность означает, что для почти всех ш B.2) будет выполнено для
любого достаточно большого счетного множества \t}\. Мы можем, очевидно,
заменить B.2) условием
lim inf xt (ш) < xt (w) < lim sup Xi.(a>), t?T. B.2')
Так как правые части равенств B.2) являются случайными величинами
(т. е. измеримыми функциями от ш), то в сепарабельном случае для любого
открытого интервала /
sup ж, (со), inf х, (со), lima:, (ш) Wm.xtM
шт kit ¦ t~x т=?
также являются случайными величинами (с конечными или бесконечными
значениями). В связи с примером, обсуждавшимся выше, заметим, что
если при каждом значении параметра t
Р{*,Ы = 0} = 1,
то и для любой последовательности [tj] значений параметра
Р {*!,(»)=« О, />1} = 1.
В частности, если процесс сепарабелен и если последовательность {tt}
удовлетворяет условиям определения сепарабельности, то из предыдущего
соотношения следует, что
Р{*((Ш)«о, <ег} = 1.
Мы уже отмечали, что это утверждение неверно без каких-либо дополни-
дополнительных гипотез, подобных сепарабельности.
Прежде чем рассматривать вопрос о существовании сепарабелькых
процессов, мы докажем три теоремы, на которые будем ссылаться в даль-
дальнейшем.
Теорема 2.1. Пусть {xt, t?T] — действительный вероятностный
процесс.
(I) Если существует последовательность значений параметра [t^
такая, что для любого открытого интервала I найдется и>-множество
А(/) с Р {Л (/)} = 0, для которого при ю(?Л(/) выполнено B.2), то процесс
{xt\ сепарабелен и последовательность {<;.} удовлетворяет условиям определе-
определения сепарабельности.
(II) Если процесс xt сепарабелен и если для некоторой последователь-
последовательности значений параметра [tt] найдется система множеств Л(, t?T,

§ 2. ЗАДАНИЕ ВЕРОЯТНОСТНО!! МЕРЫ 55
такая, что Р(Л,} = 0 при любом t и при и>$Л( выполнено B.2'), то после-
последовательность {t.} удовлетворяет условиям определения сепарабельности.
Чтобы доказать (I), положим М= (JA(/r), где /г—интервалы с рацио-
г
нальными концами. Тогда Р{М} = 0 и B,2) будет выполнено при ю$М
для каждого открытого интервала /. Последовательность [tj] удовлетворяет,
таким образом, условиям определения сепарабельности. Докажем теперь
утверждение (II). Пу1зть {-^) — последовательность значений параметра,
удовлетворяющая условиям определения сепарабельности, так что при
<o(JN, где P|N} = 0, выполнено B.2) с {^}, замененными на {i;.}. Тогда,
если u>(?N(J(JA,
то
inf ar(.(u))< inf ж- (u>) = irif х, (ш),
tjUT ' -ZjUT ' t?IT
sup Xt. (u>) > sup av. (ш) = sup xt (m).
tfilT ' ijVT ' KIT
Эти неравенства являются на самом деле равенствами, так как третий
член в первой (второй) строке не может быть, очевидно, больше (меньше)
первого. Таком образом, последовательность {^} удовлетворяет условиям
определения сепарабельности.
Теорема 2.2. Пусть {х„ t?T} — сепарабелъный вероятностный про-
процесс, и пусть при каждом т ? Т
р Нтж( = х~.
(I) Если последовательность значений параметра {<;| является всюду
плотной в Т, то эта последовательность удовлетворяет условиям определе-
определения сепарабельности.
(II) Пусть I — конечный замкнутый интервал [а, Ь], содержащий точки
из Т. Предположим, что а < s(on> < ... < s^J < b при каждом п, где «<п> ? Т и
lim sup min 11 — s'") | = О
п—со t?IT Цап
(т. е. разбиение {«<"'} становится при п—=>• оэ всюду плотным в [а, Ь]Т).
Тогда если процесс действительный, то с вероятностью 1
р lim min х (П) (ю) = inf xt (ю),
р lim max x (n) (m) = supa:( (ю).
я-мя j s) t?lT
*(Ш) Если усилить условие теоремы, заменив предел по вероятности
пределом с вероятностью 1, то и утверждение (II) можно усилить ана-
аналогичным образом.
В формулировке этой теоремы предполагается, что если одна из вели-
величин infa:((<u), 5ирж,(ш) принимает с положительной вероятностью бесконеч-
бесконечное значение, то определение предела по вероятности претерпевает очевид-
очевидные видоизменения. А именно, мы условимся считать, что p]im?/n= у,
П-*СО
где у может принимать яначения ± оо, еслп plimarctg?/n = arct?j у. Поэтому
П — СП
мы можем предположить, если это нужно при доказательстве, что случай-
случайные величины, образующие процесс, равномерно ограничены.
Заметим, в частности, что если каждое s?4 является одним из s(.n+1),
го минимум и максимум г<") при возрастании п меняются монотонно, так
что в этом случае рассматриваемые пределы существуют, при предположе-
предположениях (II),* с вероятностью 1.

56 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
Справедливость (I) является очевидным следствием утверждения (II)
теоремы 2.1. Докажем теперь второе из предельных соотношений (II).
Не ограничивая общности, можно считать, что Tdl. Пусть {^.} -после--
довательность значений параметра, удовлетворяющая условиям определе-
определения сепарабельности. Мы предположим, что а и b входят в Г и что эти
конечные точки являются точками последовательности \tj). Мы будем
предполагать также, что случайные величины, задающие процесс, равно-
равномерно ограничены. Тогда из условия теоремы следует, что для любого
целого положительного т и любого г > О
Iim P {max xt. (ш) > max x (n) (о>) + е} = 0
Но в таком случае, если обозначить через 8mn величину, стоящую в этом
соотношении под знаком предела, то
Р {sup xt (и>) — max х (П) (ш) > 2е} =
= Р {sup xt. (<о) - max x (n) (•«) > 2s} <
;' ; ftSan "h.
<P {supa:; (m)-max x( (ш)>?}+ ^mri->0 (и-»со),
i ' >Sm I
что и требовалось доказать. Чтобы доказать (III), предположим снова, что
ТС/, и заметим, что при условии, указанном в формулировке предложе-
предложения (III), при каждом / с вероятностью 1 выполняется неравенство
a:(.<Iimmaxa: (n).
Следовательно, с вероятностью 1
su
«С
ipx, = supa;(.< Iim max a: iny
Так как максимум, стоящий справа, при каждом п не больше величины,
стоящей слева, то отсюда следует, что второе из доказываемых соотноше-
соотношений утверждения (III) справедливо. Первое из соотношений доказывается
точно таким же образом.
В дальнейшем нам будет часто удобно использовать обозначения x{t, ю)
и x(t) вместо ?<(">) и х,.
Теорема 2.3. Пусть {x(t), t?T} — действительный сепарабелъный
вероятностный процесс и пусть ^—предельная точка 1-множества
Tf]{t>x}. Тогда существует последовательность {-п} точек из Т такая,
что Xj > t2 > ...,tn—>t, и с вероятностью 1
Iim x(zn)— Iim x(t),
П-.00 f—c+0
Iim x(zn) = Iim x(t).
n-.oo f-*T4-0
Из этой теоремы следует, например, что если limx(sn) существует
с вероятностью 1 для любой последовательности sn—»t + 0, то, даже если
исключительное л-множество зависит от последовательности {sn}, все равно
предел Iim x(i) существует с вероятностью 1, т. е. почти все выборочные
функции имеют пределы при t—»т + 0. При доказательстве этой теоремы
мы предположим, что входящие в условия теоремы верхний -и нижний
пределы конечны. Общий случай сводится к этому заменой хA) на
airclgx(t). Возылем теперь последовательность /,, t2, ..., удовлетворяющую
условиям определения сепарабельности, так что для :)топ пос ледова те ль-
ностп B.2) выполнено с вероятностью 1 для всех открытых интервалов /.

§ 2. ЗАДАНИЕ ВЕРОЯТНОСТНОЙ МЕРЫ 57
Выберем для каждого и конечное число значений tp скажем s(n), s<n\ ...,
удовлетворяющих условиям
Р[^ sup {х{1, <в) - max a: (sj"), <в) >Ij <-1,
Р( inf . ж (г, o))-mina:Dn), ш)< — -V < — .
U<i<t + - ;• ; л j л
Если {тп} — совокупность всех значений s(n\ упорядоченная в монотонную
последовательность, то тп—»т-)-0 и
plim[ sup x{t)~ sup ж(т;)] = 0,
plim[ inf x{t)— inf ж(т.)] = 0.
«-,<,<, + I T.<,+1
Из этих предельных соотношений вытекает утвержденпе теоремы, так как
входящие в эта соотношения верхние и нижние грани сходятся при п—> со
к соответствующим верхним и нижним пределам.
Две предыдущие теоремы показывают фундаментальную важность
понятия сепарабельности. Но мы еще не выяснили, насколько сильным
ограничением на процесс {х„ t?T\ является предположение о его сепа-
сепарабельности. Если множество значений параметра Т счетно, то, очевидно,
сепарабельность вовсе не является ограничением, так как в этом случае
8а последовательность {ts}, удовлетворяющую условиям определения сепа-
сепарабельности (относительно любого класса $•), можно взять само множе-
множество Т. Следующая лемма 2.1 является очень важной. Заметим, что при
ее доказательстве не используется наше обычное предположение о том,
что множество значений параметра Т принадлежит прямой линии. После-
Последующие рассмотрения могут быть поэтому обобщены на процессы с абстракт-
абстрактным множеством значений параметра, а также на процессы со случайными
величинами, принимающими произвольные значения.
Лемма 211. Пусть {х,, t?T} — вероятностный процесс. Тогда каждому
одномерному борелевскому множеству А соответствует конечная или счет-
счетная последовательность {tn} такая, что
Y{xtn{w)ZA, n>l; x,{<o)$A} = 0, t?T. B.3>
Более того, пусть fi0 — конечный или счетный класс одномерных борелевских
множеств и пусть s^ —класс множеств, являющихся пересечениями после-
последовательностей множеств из .#0. Тогда существует конечная или счетная
последовательность {?„} такая, что каждому t?T соответствует ш-мно-
жество Л( с Р {А(} = 0, и
{*,„(») 6 4 „>1, Xl{w)$A}CZAl, AZ&. -B.4)
Покажем сперва, что из первого утверждения леммы вытекает ее второе,
очевидно, более общее утверждение. Действительно, если верна первая
часть леммы, то каждому А € .#0 соответствует некоторая последователь-
последовательность значений параметра, для которой выполнено B.3), и если последова-
последовательность {1п} является объединением всех этих последовательностей,
то B.3) выполнено при всех А? &п. Далее, при том же выборе последова-
последовательности [1п\ обозначим о)-множество, входящее в B.3), через Л( (.А)

58 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА.
И ПОЛОЖИМ
л(= и л, И).
леЛ
Тогда, если Ag <#, А0?Я0 и А С Ао, то
и B.4) вытекает из предположения о том, что А—это пересечение последова-
последовательности множеств из Аа. Перейдем теперь к доказательству первой части
леммы. Пусть ^ — произвольная точка из Т. Если tlt .... tk уже выбраны,
положим
Тогда pj>p2> ... . Если рЛ = 0, то tlt ..., tk является искомой последова-
последовательностью. Если же pfe > 0, то выберем в качестве thfl какое-нибудь
из значений t, для которого вероятность в правой части предыдущего
равенства превышает pft(l —1/&). Тогда, если pk > 0 при всех к, то
/¦-¦со
Так как о>-множества
{х,п (<в) 6 А, п < к; x,kti (ш) $ Л}, А > 1
не пересекаются, то их вероятности образуют сходящийся ряд, так что
— -?Л< lim P{z(rl(u))e^, и < к; xt
Это равенство в соединении с предыдущим неравенством доказывает первую
часть леммы.
Следующая теорема показывает, что сепарабельность относительно
класса замкнутых множеств не является ограничением, наложенным
на конечномерные распределения вероятностного процесса {xt, t^T], т. е.
на совместные распределения вероятностей для конечных совокупностей
величин xt. На языке § 1 это означает, что условие сепарабельности отно-
относительно замкнутых множеств не является ограничением на вероятности
множеств из поля ^т- Другими словами, это условие накладывается
лишь на вероятности событий, связанных с несчетным числом величин xt.
Этот результат—лучшее, на что можно было надеяться.
Теорема 2.4. Пусть {xh t^T} — вероятностный процесс с множе-
множеством значений параметра Т, лежащим на числовой прямой. Тогда суще-
существует вероятностный процесс [xt, t?T}, определенный на том же самом
пространстве Q, сепарабельный относительно класса замкнутых множеств,
и такой, что
Р{Ь|(«) = *,(-)}=1, t?T B.5)
{здесь х, могут принимать значения ± оэ).
Заметим, что совместное распределение вероятностей для любой
конечной совокупности величин xt совпадает с соответствующим распреде-
распределением величин х,. При каждом t ш-множество {xt (ш) -р х, (со)} имеет вероят-
вероятность 0, но это ю-множество может зависеть от t. Если сумма таких («-мно-
(«-множеств по всем t имеет вероятность 0, то и сам процесс ж, сепарабелен
относительно замкнутых множеств.
Мы дадим доказательство теоремы 2.4 для случая действительного
процесса; для перехода к комплексному случаю понадобится лишь внести
в это доказательство очевидные изменения. Пусть ,#„ — класс множеств
на прямой, являющихся конечными суммами открытых или замкнутых

§ 2. ЗАДАНИЕ ВЕРОЯТНОСТНОЙ МЕРЫ 59
(не обязательно конечных) интервалов с рациональными концами. Пусть
А — класс множеств, являющихся пересечениями последовательностей мно-
множеств из &0. Тогда в <# входят все замкнутые множества. Пусть / — любой
открытый интервал с рациональными концами (может быть, и бесконечный).
Мы применим предыдушую лемму к вероятностному процессу {х,, t?lT\
и только что определенным классам й0 i^. В силу леммы существуют
не более, чем счетное, множество Т(I)dIT и ю-множество A(j j такие, что
Положим
Пусть А{1, ш) — замыкание множества значений хч(ш) при фиксированном ш
a s пробегающем множество IS. В множество А (/, ю) могут входпть значе-
значения ± оэ. Оно замкнуто, непусто, и
х,(и>)?АA, ш), если t?IT, u>$A(.
Следовательно, если положить
A(t, «.)=ГМ(Л •).
ш
то это множество будет также замкнуто, непусто, и
xt(<o)?A(t, ш) при t?T, <о$А(.
Для любых t и ю определим xt (ш) как
а при t$S и о>€-Л-( положим xt (ю) равным любому числу, входящему
в .4B, «>). Докажем теперь, что определенный' таким образом процесс xt
удовлетворяет условиям теоремы. Условие B.5) выполняется очевидным
образом. Пусть А — замкнутое множество. Предположим, что / — интервал,
концами которого являются рациональные точки или точки ^ со, и что
некоторого о>
или, другими словами, АA, ш)С1А. Из нашего определения xt (ш) выте-
кает^что если t?lT, то
х, (u>) = xt (w)?A(I, cd)cZ^4, если t?S
или если
x,(u>)^A(t, u>)d'A(I, 4>)ciA, если
Таким образом,
при всех ii/. Каждый открытый интервал /' может быть представлен
в виде
в виде
где интервалы /п имеют концами рациональные точки или точки ± со-
Так как приведенное выше равенство верно для / = /п, то взяв пересечение
по и, мы обнаружим, что оно верио и при 1 — 1'. Этим завершается дока-

60 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА.
зательство теоремы. Заметим, что мы не можем исключить бесконечные
значения xt (ш), так как множество A(t, ш) может не содержать ни одной,
конечной точки. Однако если все значения xt заключены с вероятностью 1
в некотором борелевском множестве X, точнее, если
то функцию х, (ш) можно определить так, чтобы она принимала только
значения из замыкания множества X на бесконечной прямой (здесь пред-
предполагается, что присоединением точек ±- со бесконечвая прямая превра-
превращена в компактное множество). Например, если X — конечный замкнутый
интервал, то можно предположить, что все значения xt принадлежат этому
интервалу и, следовательно, что х, принимает только конечные значения.
Если X — множество положительных целых чисел, то областью значений
х, будет множество, состоящее из положительных целых чисел и числа со,
если только это последнее значение не исключается какими-либо дополни-
дополнительными предположениями о распределениях рассматриваемых величин.
И, конечно, во всех случаях при фиксированном t величина xt принимает
с вероятностью 1 конечные значения.
Мы закончим наше изучение сепарабельности некоторыми замечаниями
о теоремах 2.1 и 2.2. В этих теоремах мы рассматривали лишь сепарабель-
сепарабельность относительно класса Ах замкнутых интервалов, и теперь уместно
сказать несколько слов об обобщении этих теорем на случай сепарабель-
сепарабельности относительно класса замкнутых множеств. Мы опустим детали, так
как мы не будем использовать эти результаты в нашей книге. Пусть / — от-
открытый интервал, {xt, t ? Т) — вероятностный процесс п S — некоторое, не более
чем счетное, подмножество множества Т. Пусть А (I, ш) — замыкание множества
значений х, (ш) при s?lS и A it, и») = fj A(I,u>), и пусть A'U, <о) и А' (I, и»)
I3t
определены вполне аналогично, с тем лишь отличием, что s пробегает все
множество IT. По определению, S удовлетворяет условиям определения
сепарабельности относительно класса замкнутых множеств, если существует
ю-множество Л такое, что Р {Л} = 0 и для любого открытого интервала /
и любого замкнутого множества А два ю-множества
отличаются на подмножество множества Л или, другими словами,
Оказывается (ср. теорему 2.1 (I)), можно ослабить это условие, разрешив
множеству Л зависеть от /. Если известно, что процесс xt сепарабелев
относительно класса замкнутых множеств, и если
Р {?,
то (ср. теорему 2.1 (II)) множество S удовлетворяет условиям определения
сепарабельности относительно класса замкнутых множеств. Отсюда следует,
что теорема. 2.2 (I) верна и для сепарабельности относительно класса-
замкнутых множеств.
Пусть {xt, t? T) — вероятностный процесс. Для того чтобы полностью
использовать возможности, предоставляемые аппаратом теории меры,
во многих случаях нужно предполагать, что xt(u>) определяет измеримую
функцию от пары переменных (t, ш). Здесь за <-меру берется лебегова
мера ва Т, за ш-меру — заданная вероятностная мера и за (t, со)-меру —
обычное произведение этих двух мер, предполагаемых независимыми. Выбор
в качестве <-меры лебеговой меры, а не какого-нибудь другого расширения
меры ва борелевскпх множествах оси t объясняется тем, что в приложе-

S 2. ЗАДАНИЕ ВЕРОЯТНОСТНОЙ МЕРЫ 61
яиях обычно интересуются обыкновенным интегралом Лебега от выборочных
функций, а также свойствами вероятностных процессов, инвариантными
¦относительно сдвигов оси t. Дадим поэтому следующее определение: вероят-
вероятностный процесс {xt, t?T] называется измеримым, если множество значений
параметра Т измеримо по Лебегу и х, (ш) определяет функцию, измеримую
относительно пары переменных (t, ш).
Теорема 2.5. Пусть{х1, t?T] — сепарабелъный процесс и множество Т
измеримо по Лебегу. Предположим, что существует t-множество Т1
лебеговой меры 0 такое, что
Р {lima:, (<п) = а, (<о)}=1, t^T-T^.
Тогда процесс xt измерим.
Определим U(tn) (ш) как
/=0, ±1
Тогда величины {U\n\ t?T} образуют семейство случайных величин, причем
всем t ? Т, лежащим в интервале | —, 1-^— ), соответствует одна и та же
¦случайная величина. Следовательно, U\n) (ш) является (t, ш)-измеримой
•функцией. Определим теперь аналогичные U\n) (ш) величины L\n)(u>), с той
только разницей, что «sup» заменяется на «inf». Тогда
В силу предположений теоремы при каждом t?T — Tx и п—* оэ крайние
члеяы этого неравенства сходятся с вероятностью 1 к его среднему члену.
Так как эти крайние члены являются измеримыми функциями от (t, ш),
то (по теореме Фубини) они имеют при почти всех (t, ш) общий предел,
так же измеримый, как функция от (t, ю). Так как этот общий предел
должен совпадать с xt (ш), то отсюда следует, что xt (ш) определяет измери-
измеримую по (I, ю) функцию, что и требовалось доказать.
Следующая теорема охватывает все специальные вероятностные процессы,
изучаемые в этой книге. Ее значение будет обсуждено несколько ниже.
Теорема 2.6. Пусть {xt, t?T} —процесс с измеримым по Лебегу
множеством значений параметра Т. П редположим, что существует
t-множество Т1 лебеговой меры 0 такое, что
р limzs = ж„ t^T — T^ B.6)
Тогда существует процесс {xt, t?T}, определенный на том же самом про-
пространстве- Я, сепарабелъный относительно класса замкнутых множеств,
измеримый и такой, что
V{xt{ul)^=xl^)} = i, t?T.
(Величины х, могут принимать значения ± оо.)
В соответствии с теоремой 2.4 можно без ограничения общности считать,
что процесс х, сепарабелен относительно класса замкнутых множеств.
Мы будем предполагать также, что множество Т ограничено и «то
|ж((ш).| <j 1 для всех t, ц>; общий случай может быть сведен к этому простыми
преобразованиями. Пусть / — открытый интервал, и ш фиксировано. Обозна-
Обозначим через АA, ш) замыкание множества значений х, (ш)приt? IT п положим
A(t, ш)=ГМ(/. ю).
131

62 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА.
Пусть {/п} — последовательность значений параметра, удовлетворяющая
условию определения сепарабельности относительно класса замкнутых
множеств. Заметим, что х, (ш) ? А {I, ш) и что любой процесс {xt, t?T}t-
удовлетворяющий условиям
xt {<a)?A(t, a>) при всех t, ш,
также является сепарабелъным относительно класса замкнутых множеств.
При каждом положительном п обозначим через s[n), ..., Snn) значения
*i> •••> ^п> расположенные в порядке возрастания. Положим si>n)=—оо в
/„ (t, ш) - xi[n) (ш), если 4-1 < t < 4П>, / > 1.
Тогда /п является (t, ш)-измеримой функцией и в силу B.6)
plim/n(Z, -) = х„ t?T-Tv
Из этого предельного соотношения следует, что
lim
m, n-io
и, следовательно,
Jim \E {\fn(t, *)-
Отсюда вытекает, что последовательность {/п} сходится по (t, а>)-мере и,
следовательно, некоторая ее подпоследовательность {/„.} сходится при почти
всех (t, ш) к функции /, заданной в точках сходимости этой подпоследова-
подпоследовательности и измеримой по мере (t, ш). По теореме Фубини существует
подмножество Тп множества Т, имеющее лебегову меру 0, такое, что
последовательность ш-функций ifn,(t, ¦)} сходится с вероятностью 1, если
t?T — TQ. Мы можем предположить, что T0ZDT1\J {гД. Тогда в силу B.6)
Отметим, что, вообще говоря, функция / (t, •) определена не для всех to.
Определим теперь xt(u>). Если f{t, ш) определена и t?T—T0, то положим
Xi(u>) = f (t, ш). Если же f{t, ш) не определена или если t?T0, то положим
xt (ta) = xt (ш). При таком определении
Далее, так как tj ? То, то xt. — xtj. При всех t, а> значение х, (ш) ? A (t, a>).
Поэтому, согласно замечанию, сделанному в начале доказательства, про-
процесс {xt, t?T] сепарабелен относительно класса з'амкнутых множеств.
Наконец, этот процесс измерим, так как х,(и>) = f (t, ш) при почти всех t, ш.
Приведенное только что доказательство использует лишь тот факт,
что B.6) верно, когда s—>t-\-O, и поэтому предположения теоремы могут
быть соответствующим образом ослаблены. Однако в действительности
теорема от этого не усилится. Если при каждом значении t из некото-
некоторого множества значений параметра существует р lim xs или р lim xs, то,
S-+1 — 0 s-t| + O
как нетрудно показать (см. гл. VII, теорема 11.1), для всех точек этого
множества, за исключением не более чем счетного числа точек, суще-
существуют оба эти предела и оба они равны xt.

§ 2. ЗАДАНИЕ ВЕРОЯТНОСТНОЙ МЕРЫ 63
Следующая теорема дает нам типичный пример приложения понятия
измеримости вероятностного процесса. Она обосновывает существование
всех интегралов от выборочных функций, используемых в этой книге.
Теорема 2.7. Пусть {xt, t?T} — измеримый вероятностный процесс.
Тогда почти все выборочные функции этого процесса являются измеримыми
по Лебегу функциями от t. Если Е{ж((ш)} существует при t?T, то это
математическое ожидание определяет измеримую по Лебегу функцию от I.
Если А — измеримое по Лебегу множество значений параметра а
то почта все выборочные функции интегрируемы по Лебегу на мно-
множестве А.
По предположению, х.{-) является измеримой функцией от (t, a>).
Отсюда следует (по теореме Фубини), что х.(ш) определяет при почти
всех ш измеримую функцию от t, т. е. что почти все выборочные функции
и»меримы по Лебегу, и что если Е {х, (ш)} существует, то оно является
измеримой функцией от t. В частности, Е {| ж, (ш) (} всегда определяет
измеримую по Лебегу функцию от t, хотя эта функция и не обязательно
принимает только конечные значения. Второе предположение теоремы
состоит в том, что конечен повторный интеграл от |ж((ш)|, взятый сначала
по <«, а затем по t ? А. Повторный интеграл, взятый в обратном порядке,
также конечен, и интеграл
xt{m)\dt
является поэтому конечным при почти всех ш. Это значит, что почти все
выборочные функции интегрируемы по Лебегу на множестне А, что и тре-
требовалось доказать. Так как величина абсолютно сходящегося повторного
интеграла не зависит от порядка интегрирования, то
Предположим, что / — измеримая и интегрируемая по Лебегу функция,
определенная на конечном интервале [а, Ь]. Во многих случаях важно
уметь аппроксимировать интеграл от / суммами Римана
Ясно, что R не всегда может служить хорошим приближением к ин-
интегралу, даже если o = max(^+1 — s;) мало, так как мы не предположили,
что / интегрируема по Рпману. Однако мы увидим, что R дает хорошее
приближение к интегралу При соответствующим образом выбранных s,.
Если 0</<6 — а и если мы заменим sx, ...,sn на Sj + i, ..., sn-{-t
(мы предполагаем здесь, что s--\-t=^=b и берем s^t — b + a вместо s; + ?,
если sf-j-1~> Ь), то мы получим новую сумму Римана R, [/, st ...,sn].
Мы покажем, что если 3 мало, то для большинства (н смысле, который
будет уточнен позже) значений t сумма Я, дает хорошее приближение
к интегралу от /. Чтобы доказать это, положим
b < t < 26— а,
»-i B.7')

64
ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
Тогда^ ^ак легуо видеть, Rt и R\ отличаются друг от друга не более,
чщ^тршя слагаемыми суммы, определяющей Rt, и одним слагаемым
суммы, определяющей R[, так что
ь-а
lim {\Rt-R't\dt = O. B.1,
s-° i
(Мы считаем здесь, что /(а)фсо, что, разумеется, не является ограни-
ограничением.) Мы докажем теперь, что
ь-а ь
lim
R,[f,sv ...,sn]-\jf(s)ds
B.9)
Это соотношение показывает, в частности, что при малых В мала мера
множестна тех значений t, для которых преобразованные Sj не дают суммы
Романа, хорошо аппроксимирующей интеграл Лебега. Перейдем теперь
к доказательству B.9). Пусть е — положительное число и /, — непрерывная
функция на отрезке [а, 26 — а] такая, что
2Ь-а
Тогда
R\\j, sx *.]
Ь-а
dt:
ds
л<
Z \ ]
ds
j
l 5 ds
5
1 »..
Так как s может быть выбрано произвольно малым, то B.9) верно, если
заменить в нем Л, на R',, а стало быть, учитывая B.8), верно и в той
форме, в какой оно приводится. В следующей теореме этот результат будет
применен к вероятностным процессам.
Теорема 2.8. Пусть {х,, а < t < b] — измеримый вероятностный про-
процесс (а и b — конечны). Тогда, в обозначениях предыдущего абзаца,
Ь-а
lim
S-+0
dt =
B.10)
для всех измеримых и интегрируемых по Лебегу выборочных функций.
Если почти все выборочные функции измеримы по Лебегу и интегрируемы,
то для каждого е>0 можно выбрать числа sjt скажем s; = Zy, так, что
- ^ x,(<a)ds
B.11)

§ 2. ЗАДАНИЯ ВЕРОЯТНОСТНОЙ МЕРЫ 65
Первое утверждение теоремы является тривиальным следствием дока-
доказанного выше результата. Чтобы доказать второе утверждение, положим
ь
и(*, u>) = Rl[x(m),sv ..., sn] -
Из B.10) следует, что для любого s > 0 лебегова мера множества значе-
значений t, при которых и > s, стремится к 0 при & —* 0 для почти всех ш.
Отсюда вытекает, что (t, ш)-мера (t, ш)-множества, на котором м(г,ш)>е,
стремится к нулю, так что
Ь-а
lim \ Р{гШ, ш)>б}Л = 6.
Поэтому, если о достаточно мало, то
на i-множестне положительной меры. Следовательно, это неравенство
выполнено при некотором наборе s;. таких, что о < в, и некотором t. Сово-
Совокупность значений t- в B.11) может быть теперь выбрана как совокуп-
совокупность этих значений sjt сдвинутых на величину t.
Если, в частности,
ь
$Е{|*((»I) <*«<«. B-12)
а
то нетрудно показать, что
Ь-а Ь
limEJ [ Rl[x(u>),s1,...,sn]-\x,(<,>)dsdt}=0. B.13)
Действительно, для этого нужно только заметить, что, как было сейчас
показано, подпнтегральная функция этого двойного (по t и по ш) инте-
интеграла стремится к 0 при S—»0 по мере (t, u>) и что, как нетрудно пока-
показать, подинтегральные функции равномерно интегрируемы, так что законен
¦переход к пределу под знаком интеграла.
Отметим, наконец, что если выполнено B.12) и если
limE{!a;(-a;s|} = 0, a < s < b, B.14)
то ооредняюшее интегрирование по t в B.10) и B.13) становится излиш-
излишним, так как при этих предположениях можно показать, что
ь
lim E{| R [х, (ш), s, *„]-$ *,(«>)
а
Только что рассмотренные предельные соотнршения позволяют опреде-
ь
лить V х, (и>) dt как случайную величину, равную пределу (в соответствую-
а
шем смысле) сумм Рпмана. Однако ири таком определенпи мы лишаемся
полезной интерпретация интеграла, как обычного интеграла от каждой
выборочной- функции.
Пусть {*,, t? Т] — вероятноствый процесс. В § 1 мы определили поле
JFt взмернмых ш-множеств, относительно которого измеримы все величины
х, и в которое входят все подмножества содержащихся в нем множеств

66 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА.
вероятности 0. Конечномерные распределения задают меру множестн иа
&Т, но не определяют меры любого множества, не входящего в ^-f-
Пусть {xt, t ? Т) — вероятностный процесс такой, что
я что для каждого t множество значений ш, при которых xt (ш) Ф xt (ш),
входит в ^-у. Процесс х,, удовлетворяющий этим условиям, мы будем
называть в дальнейшем стандартной модификацией процесса х,. Хотя мы
и не оговаривали этого в формулировках теорем 2.4 и 2.6, однако, про-
проглядев их доказательства, нетрудно убедиться, что процессы xt, построен-
построенные в этих теоремах, являются стандартными модификациями процессов xt.
Во многих случаях процесс можно заменить его стандартной моди-
модификацией. Эта замена не затрагивает конечномерные распределения, хотя
поле j?t может при этом измениться.
Если вероятностный процесс {х„ t?T) имеет две стандартные модифи-
модификации {zf), t?T), t = l, 2, то
и отсюда следует (по теореме Фубини), что для почтя всех а>
для почти всех t, так что соответствующие выборочные функции с веро-
вероятностью 1 равны друг другу почти всюду. Таким образом, мы можем
определить
, Ы dt
как соответствующий интеграл для стандартной модификации заданного
процесса; при этом полученная случайная неличина окажется однозначно
определенной, если только превебрегать ее значениями на ш-множестве
вероятности 0. В дальнейшем такое определение будет иногда удобным.
Согласно теореме 2.4, любой процесс имеет сепарабельную стандарт-
стандартную модификацию. (Примеры несепарабельных процессов будут даны ниже.)
Сепарабельность не является, таким образом, ограничением на конечномерные
распределения. С другой стороны, если процесс {х„ t?T] имеет измер'имое по
Лебегу множество значений параметра Т, то этот процесс автоматически
оказывается измеримым, лишь если мера множества Т равна 0; если же Т
имеет положительную лебегову меру, то измеримость процесса представляет
собой некоторое ограничение, наложенноз на конечномерные распределения.
Мы приведем сейчас тривиальный пример неизмеримого процесса (с изме-
измеримым по Лебегу множеством значений параметра), не имеющего измери-
измеримых стандартных модификаций. Мы ые будем налагать никаких ограниче-
ограничений на 2, но предположим, что Т имеет положительную лебегову меру.
Существует ограниченная функция а(-), зависящая от t? T, неизмеримая
по Лебегу. Допустим, что конечномерные распределения определены ра-
равенством
При таком определении, если [xt, t ? Т] — стандартная модификация про-
процесса xt, то Е {х, (<»)} = Е{ж, (u>)} = a(t), и процесс х, не может быть изме-
измеримым, так как в противном случае, по теореме 2.7, было бы
измеримо и Е[ж,(ш)}. Менее тривиальные примеры процессов, не имеющих
измеримых стандартных модификаций, будут даны ниже.

§ 2. ЗАДАНИЕ ВЕРОЯТНОСТНОЙ МЕРЫ 67
При изучении свойства измеримости процесса {х„ t ? Т] с измеримым
по Лебегу множеством значений параметра Т можно, не ограничивая
общности, считать, что Т—бесконзчная прямая ( — оо, оо). Действительно,
если это не так, то, положив х, (и>) = 0 при t (J Т, мы получим новый про-
процесс с расширенным множеством значений параметра. Этот новый процесс
измерим в том и только н том случае, когда -измерим первоначальный про-
процесс. Точпо так же измеримая стандартная модификация этого нового
процесса существует тогда и только тогда, когда существует измеримая
стандартная модификация первоначального процесса.
Итак, пусть {тп — оо < t < 00} —некоторый вероятностный процесс.
Положим при каждом с
*<"> (е, «) = хе+)./2п («), '— < t < -L ,
/=0, ±1, ....
л = 0, 1, 2
Можно показать, что процесс х, имеет измеримую стандартную моди-
модификацию тогда и только тогда, когда существует значение с, для которого
Р {lim ж("> (с, ш) = ж1+с (ев)} = 1
п—со
при любом t, не входящем^ в некоторое множество лебеговой меры нуль
(см. в приложении ссылку на эквивалентные рззультаты). Далее, можно
показать, что из существования измеримой стандартной модификации всегда
следует существование сепарабельной измеримой стандартной модификации.
Заметим, что приведенное выше необходимое и достаточное условие является
условием, наложенным на меры множеств &т, т. е. на конечномерные
распределения. Из этого условия следует, например, что если образующие
процесс случайные величины нзаимно независимы и имеют одинаковые
распределения (не сосредоточенные в одной точке), то такой процесс не
имеет измеримой стандартной модификации.
Пусть теперь {х,, • t ? Т] — вероятностный процесс, в котором ш-про-
страцство 5 — это пространство функций, а ж, — это t-n координатная функ-
функция (как мы имели в § 1). Мы будем называть такие процессы непосредственно
заданными процессами (process of function space type). Процессы такого типа
рассматриваются в литературе чаще всего, так как (см. гл. I, § 5) они могут
быть определены просто заданием взаимно согласованного набора конечномер-
конечномерных распределений. Эти процессы обладают тем простым свойством, что для них
точки основного пространства У совпадают с выборочными функциями про-
процесса,. При изучении вероятностных процессов нельзя заранее предпола-
предполагать, что все встречающиеся в рассмотрениях процессы являются непо-
непосредственно заданными процессами. Это положение можно иллюстрировать
следующим примером. Предположим, что мы хотим, кроме основвых слу-
случайных величин хп задающих процесс, рассматривать некоторые функции
от х,, скажем их квадраты, т. е. хотим рассматривать процесс {x"h t?T}.
Этот новый процесс уже не обладает тем свойством, что ш — это выбороч-
выборочные функции процесса; он не является больше непосредственно заданным про-
процессом, и, таким образом, даже в этом тривиальном случае оказывается
необходимым использовать процессы других типов.
Несмотря на то, что предыдущий пример показывает, что нельзя рас-
рассматривать только непосредственно заданные процессы, поучительно все же
посмотреть, как обстоит дело с понятиями сепарабельности и измеримости
процесса в этом частном случае. Приводимые пиже рассуждения, в кото-
которых мы не будем давать полных доказательств, так как нам нигде впослед-
впоследствии не придется использовать развиваемую здесь точку зрения, показы-

68 ГЛ, II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
вают, как эти понятия могут быть изложены без перехода к другим типам
процессов. Для этой цели нельзя использовать стандартные модификации,
так как стандартвая модификация непосредственно заданного процесса не
обязательно будет процессом того же типа.
При нашем изучении непосредственно заданных процессов мы будем
применять обозначения, которые показывают явно область значений функ-
функции и класс измеримых множеств. Процесс {х., 1?Т, X, 3-} - это непосред-
непосредственно заданный вероятностный процесс, в котором У — пространство всех
функций с областью определевия Т и областью значений X и 3F — класс
измеримых множеств. В соответствии с равее привятыми обозначениями
через j~r будет обозначаться наименьшее борелевское поле ш-множеств,
относительно которого измеримы все величины хи и через j^t — наименьшее
бореленское поле ш-мвожеств, содержащее 3~т и такое, что в З^т входят
все подмножества входящих в него множеств вероятности 0. Иногда нам
придется предполагать, что X является замкнутым множеством точек на бес-
бесконечной прямой (или на плоскости в комплексном случае), и, говоря
о таких замкнутых множествах, мы будем всегда считать, что бесконечная
прямая пополвена прибавлением к ней двух «концов» 4- оо и — оо и что
плоскость является прямым произведением двух координатных осей, попол-
пополненных таким образом. Нас интересует вопрос о том, как, расширив борелевское
поле j?t< получить класс jry измеримых ш-множестн, при котором процесс
станет измеримым и сепарабельным. Можно показать, что если X — дейст-
действительная прямая, с — любое действительное число и / — любое несчетное
множество значений параметра (аналогичный факт можно доказать в пред-
предположении что X содержит по крайней мере дне точки) и если ш-множество
принадлежит классу З^г, то его вероятность равна 0. Отсюда следует,
что если процесс {xt, а < t < Ъ, X, JFr) сепарабелен (здесь X действи-
действительная прямая) и если {tn}—последовательность значений параметра,
удовлетворяющая условиям определевия сепарабельности, и / — любой
открытый интервал множества значений параметра, то
Pfsupa;, (ш) = оо} = Р fsup х1п(ш) — оэ} = 1.
При некоторых заданиях конечномерных распределений вероятностей это
соотношение будет выполнено, и рассматриваемый процесс может оказаться
сепарабельным. Одвако в наиболее интересных случаях это будет не так.
Можно показать, что если множество X состоит не менее чем из двух точек,
то процесс {х,, а < t < b, X, j~t\ не будет измеримым ни при каком зада-
задании конечномерных распределений вероятностей. Эти факты указывают
на необходимость попытаться расширить поле измеримых множеств. Метод,
которым производится это расширение, будет описан' в следующем абзаце.
Пусть 1'— некоторое ш-множество, имеющее внешнюю меру 1 относи-
относительно заданного поля 5-т измеримых множеств (это значит, что из соот-
соотношения Т С М ? dfr следует, что Р {М} = 1). Определим борелевское поле i^
как класс всех ш-множеств А, представимых в виде
г = 1,2,
и для каждого такого А положим

§ 2. ЗАДАНИЕ ВЕРОЯТНОСТНОЙ МЕРЫ 69
Нетрудно показать, что Pt {Л} определяется при таком задании однозначно
и что
Вероятностный процесс {х,, 16 Т) с полем jFf, замененным на 3lt
и мэрой Р{-}, замензнной на Р^-}, называется стандартным расширением
заданного процесса. Стандартное расширение зависит от выбора Г. Заметим,
что стандартноз расширение процесса xt снова является непосредственно
заданным процессом. Единственяоэ отличие стандартного расширения
от первоначального процесса состоит в том, что класс множеств ^-функций ш,
которым приписаны вероятности, является более широким. При таком под-
подходе теореме 2.4 соответствует теперь
Теорема 2.4'. Пусть {х,, t?T, X, j^r} — непосредственно заданный
процесс, причем X — замкнутое множество на бесконечной прямой (на пло-
плоскости в комплексном случае). Тогда сугцгствует стандартное расширение
процесса, которое сепарабельно относительно замкнутых множеств.
Мы опустим доказательство этой теоремы. (По существу эта теорема
совпадает с теоремой 2,4.)
Проблема измеримости также решается вполне удовлетворительным
образом. А именно, можно доказать следующую теорему.
Теорема 2.9. Пусть {х,, t?T, X, J~\ — непосредственно заданный
процесс, причем X —замкнутое множество на бесконечной прямой (на пло-
плоскости в комплексном случае), и множество Т измеримо по Лебегу. Тогда
сепарабелъное и измеримое стандартное расширение этого процесса суще-
существует в том и только в том случае, когда существует его измеримая
стандартная модификация.
Доказательство этой теоремы мы опускаеА.
Мы закончим обсуждение непосредственно заданных процессов приме-
применением наших результатов к одному почти тривиальному примеру, уже рас-
рассматривавшемуся в начале этого параграфа. Пусть {х„ — оо < t < оо, X, js-'t}—
непосредственно заданный процесс с полем J-'t, определенным так же, как
и выше. Предположим, что
область X значений функции состоит из одной точки 0, то простран-
пространство функцпп 2 состоит из единственной функции, тождественно равной
нулю. В этом случае
Р (xt (ш) = 0, — оо < t < со} = 1
и процесс xt сепарабелен и измерим. Если жз X содержат еще хотя бы одну
точку, то процесс xt не является ни сепарабельным, ни измеримым и ве-
вероятность
Р {х, Н =0,-оо <«<оо}
не определена. Эта вероятность будет определена и равна 1 для каждого
сепарабельно го стандартного расширения процесса. Лзгко видеть, что в каче-
качестве ш-множества Г, при помощи которого определялось стандартное расши-
расширение процесса, можно выбрать множество, состоящее из одной функции, тож-
тождественно равной нулю. При таком расширении процесс станет сепарабельным.
По теореме 2.5 любое сепарабельное стандартноэ расширение нашего про-
процесса измеримо. Однако можно шпучнть другое стандартвоз расширение
процесса, заменив только что использованное множество Г его дополнением.

70 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
При таком определении
Р {з((ш) = 0,-оо<*<со} = 0.
Это стандартное расширение не является ни сепарабельным, ни измеримым.
Приведенный пример показывает несколько произвольную природу стандарт-
стандартного расширения и необходимость новых критериев, таких, как сепарабель-
сепарабельность, помогающих в выборе расширения. В этом отношении ситуация здесь
такова же, как и в случае стандартных модификации процесса. Там также
должны быть использованы новые критерии, вроде сепарабельности, для
выбора стандартной модификации.
Пусть 2 - пространство, на множествах которого определена вероят-
вероятностная мера Р, и пусть х— случайная величина с функцией распределе-
распределения F. Предположим, что распределение, определяемое функцией F, не со-
сосредоточено в одной точке. Положим у (ш) = 0. Тогда мы можем рассматривать
случайную величину у(и>) как функцию от случайной величины х. Это,
конечно, тривиально. Однако если у — случайная величина, заданная
на некотором множестве 2 и тождественно обращающаяся в нуль, то
не всегда можно написать у(ш) = / [х (о)], где х имеет функцию распреде-
распределения F, по той простой причине, что может не существовать ни одной
такой случайной величины х, определенной на 2. Например, если 2
состоит ровно из одной точки (которой, как точечному множе-
множеству, приписана вероятность 1), то ясно, что распределение каждой
случайной величины, заданной на 2, сосредоточено в одной точке.
Для того чтобы преодолеть трудности, подобные только что
разобранным и возникающие, когда пространство 2 и вероятностная мера
Р {А} слишком просты по структуре для рассматриваемой задачи, мы опре-
определим следующим образом расширение при помощи присоединения. Пусть
2A' — пространство множеств, на котором определена вероятностная мера
P(l){.j, ?=1,2. Определим 2'12), как пространство пар а>12 = (а>ш, ш"'),
u/^fS''', и определим вероятностную меру Р на 2'12> обычным об-
образом, как произведение мер на 2'1' и 2, считая эти меры независимыми,
так что если Л'1' — измеримое ш'1'-множество и Л121 — измеримое а>'"-мно-
жество, то
р{Л}=рA>{Л11)}р<»{л("}, л={(¦)<» елш, ^"ел"'].
Каждому а>ш ? 2A) соответствует некоторое ш'1*'-множество — множество точек
(ш'1', о»'2') с заданной первой координатой. Это соответствие переводит изме-
измеримые а)а'-множества в измеримые ш'"'-множества той же самой вероятности.
Любую случайную величину х, определенную на 211', также можно рас-
рассматривать как случайную величину, определенную на 2'1", причем х
будет иметь ту же функцию распределения. Если на пространстве У1' был
определен вероятностный процесс, то в результате нашего преобразования
мы получим вероятностный процесс с теми же самыми конечномерными
распределениями) свойствами сепарабельности и измеримости и т. д., опре-
определенный на пространстве 2'12>. Мы будем говорить, что новый процесс
получается присоединением 2'2> к У1'. Разобранный метод присоединения
является, конечно, тем же самым методом, который применяется при изу-
изучении независимых испытаний и приводит к пространству и вероятностной
мере более тонкой структуры, чем первоначальные. Например, если 212' —
единичный интервал и вероятностной мерой на 2'2' является лебегова
мера, то на 2<2', а следовательно и на 2', будут существовать случай-
случайные величины со всевозможными функциями распределения.

§ 3. ГАУССОВСКИЕ ПРОЦЕССЫ 71
§ 3. Гауссовские процессы; понятия в узком я в широком смыслах
Вероятностный процесс {x,,t?T} называется гауссовским, если все
совместные распределения вероятностей для любой конечной совокупности
величин xt являются гауссовскимш. Гауссовские процессы очень важны как
теоретически, так и в прикладных вопросах, и они заслуживают поэтому
отдельного рассмотрения. Следующая теорема показывает, как определяется
наиболее общий гауссовский процесс.
Теорема 3.1. Пусть Т — произвольное конечное или бесконечное мно-
множество, A (•) - произвольная функция от t?T, и г(¦,¦) — функция от s
и t (s, t?T), удовлетворяющая следующим условиям (а) и (б):
(а) r(s,t) = r(t,s),
(б) если. tv ..., tN— любое конечное множество значений из Т, то мат-
матрица [r(lm, tn)\ является неотрицательно определенной.
Тогда существует гауссовский вероятностный процесс {xt, ig T], для
которого
_Е{*'}=Л>' 1 C.1)
sxl}-iL(s)iL(t) = r(S,t).\
Если функции (i(-) и г(-, •) действительны, то существует действитель-
действительный гауссовский процесс, удовлетворяющий соотношениям C.1). В любом
случае существует комплексный гауссовский процесс, удовлетворяющий
соотношениям C.1), а также условию
C.2)
Предположим, что p. (t) и г (s, t) — действительные функции и что г (s, t)
удовлетворяет условиям (а) и (б) теоремы. Для любого конечного i-множе-
«тва tlt ..., In существует TV-мерное гауссовское распределение вероятно-
вероятностей со средними значениями A(^), ..., fi (^jv) и матрицей центральных вто-
вторых моментов \r(tm, tn)]. Это распределение имеет следующую характери-
характеристическую функцию:
N N
~\ 2 ritm.tn)XmXn+i ^ Хт]1Aт)
ё m, n=i т=1 C.3)
Если матрица [r(tm, tn)] невырождена, то плотность этого распределения
равна
N
^| ».-=i C.4)
где матрица [amn], с определителем | amn |, является обратной к матрице
\r(tm, tn)]. Если M<N, то распределение, заданное характеристической
функцией C.3), показывает, что величины xtl, ..., х>я имеют гауссовское
распределение со средними значениями ^(ij, .. .,p(thl) и матрицей цент-
центральных вторых моментов [r(tm, tn)], где т, п<сМ. Следовательно, здесь
выполняются услония согласованности Колмогорова (см. гл. I, § 5). Поэтому
существует действительный гауссонский процесс, удовлетворяющий усло-
условиям C.1) и имеющий своим ш-пространством некоторое координатное про-
пространство. Использованные в этом рассуждении распределения вероятно-
вероятностей, очевидно, однозначно определяются заданнымя математическими
ожиданиями и вторыми моментами.
Мы завершим теперь доказательство, отброспн предположение о том,
что процесс является действительным, и построим гауссовский процесс,

72 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
удовлетворяющий услонпям C.1) и C.2). Ясно, что процесс однозначно
определяется этими условиями, или, точнее, этими условиями однозначно
определяются все конечномерные распределения вероятностей процесса.
Заметим, что в силу этих условий
Следовательно, процесс х{ может быть действительным лишь н триниаль-
ном случае, когда ц(<) действительно и r(s, /) = 0; в этом случае
Р {*,(«.) = ц@} si, г е г.
Определим теперь вещественные случайные величины ?,, i)J; которые удон-
летворялп бы соотношениям')
C.5)
i
При x, — ^,-\-i-r\t из соотношений C.5) вытекают C.1) и C.2). Чтобы
доказать существование процессов ?,, т;,, мы воспользуемся доказанным
только что предложением, касающимся действительных процессов. А именно,
мы покажем, что матрица центральных нторых моментов, определяемая
соотношениями C.5) для любого конечного набора величин ?( и t\t, сим-
симметрична и неотрицательно определенна. Не огранпчпная общности, можно
рассматривать лишь пары соответствующих друг другу неличин $( и т]п т. е.
лишь совокупности неличин
?ii> • • •> ?ijv. 1lii> • ¦ •> "Htiv»
и изучать соответствующие 2УУ-мерные матрицы вторых моментов [pmn]r
определяемые из C.5). Эти матрицы янляются, оченпдно, симметричными.
Далее, если Хх, .. .Дглг — действительные числа, то
2N N
2 Рт,АА=т 2 «W*».'»))
т, n=i m, n=i
N
+ Т - S
т, п=1
JV
= У S Г (Zm- 'n) (X
т, n=i
Л?
C.6)

т. n=i
iV
= | 2 '•(Zm.
т. n=i
так как матрица [r(/m, tn)] неотрицательно определенна. Следовательно,
неотрицательно определенна также и матрица [pm,n]. что и требовалось
доказать.
Доказанная теорема может быть использована для получения гауссов-
ского процесса, тесно снязанного с данным процессом с точки зрения, пер-
') В настоящей книге через SR и 3 всегда будет обозначаться, соответственно, дей-
действительная и ывимая части.

§ 3. ГА.УССОНСКИЕ ПРОЦЕССЫ 73
вых и нторых моментов. Так, например, н силу этой теоремы для любого
заданного процесса у, существует гауссовскии процесс хх с темп же самыми
средними значениями и вторыми моментами. Отсюда ясно, что при рас-
рассуждениях, касающихся только первых п нторых моментов, не будет огра-
ограничением предположить, что процесс у, является гауссовским. Если про-
процесс у, действителен, то соответствующий процесс xt также можно считать
действительным. В этом случае, если две неличины у, при некоторых t
некоррелированны между собой, то соответствующие величины х, будут
независимы. В общем случае (при комплексных у,) процесс х, может быть
выбран так, чтобы выполнялось соотношение C.2); тогда некоррелирован-
некоррелированным yt также будут соответствовать независимые xt. Если процесс yt
не является действительным, то процесс хх также не будет действительным,
и задание математических ожиданий и вторых моментов величин у, здесь
не определяет однозначно распределений величин xt. Одним пз проявлении
этой неоднозначности является возможность потребовать выполнения допол-
дополнительного условия C.2).
Теорема 3.2. Пусть {yt,t?T} — вероятностный процесс, у которого
Е{|У«И<°°, ПТ;
область Т значений параметра здесь может быть любым конечным или
бесконечным множеством. Тогда существует соответствующий гауссовскии
процесс \xt] с той же самой областью значений параметра (но определен-
определенный на другом пространстве Q со своей вероятностной мерой), удовлетво-
удовлетворяющий соотношениям
- - s, t?T \ C.7>
^{х,х,) = Е{угу,}. !
Если процесс yt действительный, то существует действительный про-
процесс х„ удовлетворяющий C.7). В любом случае существует комплексный
гауссовскии процесс, удовлетворяющий C.7) и дополнительному условию
E{xsxt} = V. [C.8)
Если оба процесса у, и х, являются действительными или же еслц выпол-
нены-оба соотношения C.7) и C.8), то из ортогональности1) величин у,
следует независимость соответствующих xt.
Если заменить выше у1 на у, — E{yt], то из некоррелированности ве-
величин у, будет следовать независимость соответствующих xt.
И вообще, если vv v3 — две любые случайные величины, входящие
в замкнутое линейное многообразие2), определяемое величинами yt, и если
Mj, и2 — соответствующие случайные величины в замкнутом линейном много-
многообразие, определяемом величинами xt, то из выполнения C.7) при всех
Уз< Vi следует, что
Е{в4й;.) = Е [v'v^, ». / = 1. 2, | C.7')
в вз выполнения при всех х3, xt соотношения C.8) следует, что
Е {«,«,} = 0, ¦ ,-,/ = !, 2. C.8')
J) Случайные величины к, v называются ортогональными, если Е{иг} = 0.
2) Замкнутым линейным многообразием, определяемым множеством случайных
величин, называется совокупность случайных величин, являющихся конечными линей-
линейными комбинациями заданных случайных величии или пределами в среднем последо-
последовательностей таких линейных комбинаций. (Напоминаем- читателю, что сходимостью
в среднем автор называет сходимость в среднем квадратическом,—Прим. ред.)

74 ГЛ. И. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
Применяя эту теорему к действительным и мнимым частям случайных
величин {у,}, являющихся значениями заданного комплексного процесса,
мы получим, что существует комплексный гауссовский процесс, у которого ,
его действительная и мнимая части имеют те же самые вторые моменты;
что и действительная и мнимая части заданного процесса. В этом случае
выполнены соотношения C.7) и, кроме того,
Е {*.*,) = Е{у,у,}. C.9)
Однако полное сонпадение всех вторых моментов, выражаемое соотноше-
соотношениями C.9) и C.7), не является полезным, так как при этом нарушается
соответствие между ортогональностью и независимостью.
Для доказательства теоремы 3.2 достаточно заметить, что если
r{s,t)='E[y3yl], то r(s,t) = r(t,s), и при любом выборе комплексных
чисел zv ..., Zfi
N N N
так что если положить р. B)= 0, то будут выполняться все предположения
теоремы 3.1. Обобщение предыдущей теоремы, состоящее в утверждениях
C.7') и C.8'), тривиально, поскольку эти утверждения очевидны для
случая, когда V1 и vt являются линейными комбинациями величин yt;
общий случай доказывается затем при помощи перехода к пределу. На
абстрактном языке наша теорема утверждает, что существует линейное
преобразование, переводящее замкнутое линейное многообразие, опреде-
определяемое величинами yt, в замкнутое линейное многообразие, определяемое
величинами xt, преобразующее при каждом t величину yt в xt и остав-
оставляющее инвариантным скалярное произведение Е{ихиг} (т. е. унитарное
преобразование).
Одна из причин важности гауссовских процессов состоит в значитель-
значительном упрощении, которое гипотеза гауссоности вносит,в теорию прибли-
приближений по методу наименьших квадратов. Пусть случайные величины хну
имеют днумерное гауссовское распределение с нулевыми математическими
ожиданиями. Мы предположим, что или хну действительны, или же, если
это не так, то они удовлетворяют соотношению Е {ху) = 0. Тогда разность
имеет нуленое математическое ожидание и является случайной величиной,
ортогональной и некоррелированной с величиной х. Следовательно, она
не зависит от х. Отсюда вытекает, что условное распределение величины у
при заданном х является гауссонским с математическим ожиданием ах
и дисперсией
[;^;;] <з.и>
В силу неравенства Шварца величина, стоящая в скобках, заключена
между 0 и 1. И в более общем случае, если величппы х1У ..., хп, у имеют
многомерное гауссонское распределение с нулевыми математическими
ожиданиями и если эти случайные., величины или действительны, или
удовлетворяют соотношениям

S 3. ГАУССОВСКИЕ ПРОЦЕССЫ 75
то разность
п
У -2 ajXj C.10')
1
имеет нулевое математическое ожидание и некоррелиронана со всеми
случайными величинами хг, ..., хп при соотнетстненвым образом подобран-
подобранных а,, ..., ап (см. гл. IV, § 3), а следовательно, и не зависит от них.
Отсюда вытекает, что условное распределение у при заданных хх, ..., хп
является гауссовским с математическим ожиданием
п
1
Разность в C.10')' не занисит от любой функции /, измеримой отно-
относительно семейства величин xlt ..., хп (н частности, от любой беронской
функции этих величин), и, следовательно, ортогональна к /, если / ин-
интегрируема в квадрате. Поэтому
C.13)
Это равенство означает, что задача минимизации левой части C.13), т. е.
задача наилучшего приближения по методу наименьших квадратов, имеет
своим решением функцию /, ранную услонному математическому ожида-
ожиданию C.12), и что это решение однозначно с точностью до обычного прЪиз-
вола в определении условного математического ожидания. Гауссовский
характер распределений дал нам возможность вынести незанисимость из
некоррелированности. Если мы предположим ' только, что хх, ..., хп, у
являются случайными величинами, у которых
Е{|*,|«}<со, Е{|у|«}<оо,
то разность C.10') с a]t вычисленными так же, как и раньше, останется
ортогональной к xv ..., хп, однако C.13) вытекает отсюда, лишь если /
является линейной комбинацией величин х}. Таким образом, случайная
п
величина 2 аА> которую мы будем обозначать через E{y\xlt ..., хп},
1
решает задачу минимизации леной части C.13) лишь при условии, что
в качестве / допускаются только линейные комбинации неличин xt, т. е.
задачу о наилучшем линейном приближений по методу наименьших квад-
квадратов.
В последующих гланах нам будет необходимо обобщить приводившиеся
выше рассмотрения на случай бесконечного числа неличин х, (см. гл. IV
и гл. XII).
Многие понятия, используемые в теории вероятностных процессов,
могут быть сформулированы двумя способами: «н широком смысле»
и «н узком смысле». Общий принцип состоит здесь в следующем. Предпо-
Предположим, что процесс yt обладает некоторым свойством Р, выраженным
в терминах вторых моментов. Предположим, что комплексный гауссовский
процесс, определенный согласно теореме 3.2 и удовлетворяющий соотно-

76 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
шенпям C.7) и C.8), обладает соответствующим, но более сильным свой-
свойством Р'. Тогда Р называется свойством н широком смысле, а Р' — свой-
свойством в узком смысле. (Если процесс yt действителен, то в качестне соот-
соответствующего гауссовского процесса можно нзять действительный гауссов-
скпй процесс, удовлетворяющий C.7), однозначно определенный в силу
теоремы 3.2.) Всегда из свойстн н широком смысле вытекает много больше,
если предположить дополнительно, что рассматриваемые распределения
являются гауссовскими. Мы увидим дальше, что очень многие теоремы
имеют, два нарианта: н широком смысле и в узком смысле, и что такое
разграничение помогает внесению ясности и упорядочению теории нероят-
ностных процессов.
Пример 1. Пусть у17 у2, ... — взаимно ортогональные случайные величи-
величины. Мы примем это утверждение за свойстно н широком смысле и, чтобы
установить соответствующее свойство н узком смысле, заметим, что если
процесс Xj определен, как в теореме 3.2, то величины xf нззависимы.
Таким образом, процесс с взаимно ортогональными значениями (ила
с нзаимно некоррелированными значениями, если вместо у- рассматривать
у} — Ег/;) янляется процессом с независимыми значениями в широком,
смысле.
Пример 2. Проведенный выше анализ метода наименьших квадратов
показывает, что наилучшее линейное приближэние по методу наименьших кнад-
paTOBEfyl^j, ..., хп) янляется нариантом в широком смысле просто наилуч-
наилучшего приближения по методу наименьших квадратов. Мы дополним этот ана-
анализ, нычислив наилучшее приближение по методу наименьших квадратов
в негауссовском случае. Предположим, что xlt ..., хп, у — любые случайный
величины, причем Е{[у|г}<оо, и положим
уо = Е{у\х1, .... хп}.
Тогда
E{|ye|*KE{E{ry|«l*lf ...,*„}} = Е{| у И,
и из теоремы 8.3 гл. I слздует, что у — у0 ортогонально к любой функции /
с интегрируемым кнадратом, измеримой относительно выборочного про-
пространства неличин xv ..., хп. Слэдовательно,
/П, C.13')
так что задача минимизации леноп части этого раненства решается, если
положить } = у0- Таким образом, нариантом в узком смысле неличины
Ё{у]ж,, ..., хп) является Eft/I^, ..., хп}. Эта последняя величина опрзде-
лена для любого семейстна аппроксимирующих случайных величин, конэч-
ного или бесконечного, и всегда решает соответствующую задачу о при-
приближении по метод}' наименьших квадратен, так как C.13') не претерпе-
претерпевает в общем случае никаких изменений. Символ Е{у\ — } будет определен
для бесконечных семейстн аппроксимирующих неличин н гл. IV. Правила
обращения с этим симнолом те же, что и с симнолом Е{у|- }, так как
эти два символа совпадают для действительных гауссовских случайных
величин (и для комплексных гауссовских случайных неличин, если только
математическое ожидание произведения любой пары из этих неличин будет
равно нулю).
За исключением теорем, являющихся нариантамп н узком смысле
некоторых теорем в широком смысле, пзнестно очень мало фактов, верных

S 4. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ 77
•специально для гауссовских процессон. По этой причине ни одна из по-
последующих глан не будет посвящена специально гауссовскпм процессам,
хотя в дальнейшем будут изучены многие типы гауссовских процессон.
§ 4. Процессы с взаимно независимыми значениями
Указанные н заглавии параграфа процессы рассматриваются только
в случае дискретного параметра, так как н случае непрерывного параметра
•соответствующие выборочные функции были бы слишком нерегулярными
для того, чтобы они могли возникать в практических задачах1). Мы будем
поэтому рассматривать просто последовательности независимых случайных
величин. Большинство исследований по «основаниям теории вероятностей»,
в которых обычно, н ущерб для математических обоснований теории, отож-
отождествляются ее математические и философские обоснования, пмеют своей
целью изучение последовательностей взаимно независимых случайных вели-
величин с одинаковой функцией распределения.
Мы уже отмечали, что если Fv F2, ... — любая последовательность
функций распределения, то существует последовательность взаимно незани-
симых случайных неличин с этими функциями распределения. Из предпо-
предположения о независимости следует, что совместные функции распределения для
величин х} являются просто произведениями функций Fr Вполне возможно
изучать такие процессы, не упоминая слова «вероятность». Например, если
sn = х1 4- ... -\- хп, то функция распределения случайной величины sn
является композицией (сверткой) функций распределения величин^,..., хп, т. е.
n (I- Е,- ... - $„_,) <№n_i Un-J- D-1)
Изучение многпх свойств частичных сумм ряда 2 хп может быть поэтому
1
-снедено к изучению повторных композиций функций, без всякого упомина-
упоминания о вероятностях. Для того чтобы доказать D.1), заметим, что если
xv ..., хп— координатные функции в я-мерном пространстве точек (Ег, ..., ?п),
¦ то вероятности ш-множеств сонпадают с вероятностями точечных множеств
-этого га-мерного пространства и
Р{А}= $...
А
Тогда, D.1) янляется просто результатом вычисления неличины Р {А}, где Л
п
задано нераненстном ^^,<^> ПРИ помощи ионторного интегрирования. На-
1
конец, из теории изображений \гл. I, § 6) следует, что при доказательстве
2) Это утверждение не совсем точно. На самом деле в физических приложениях
весьма часто встречаются вероятностные процессы xt, значения которых в точках < и ?'
-будут независимы при it — t' \ > lu, где 10—некоторая крайне малая величина, много
меньшая, чем все интервалы значений I, с которыми практически приходится сталки-
сталкиваться (так будет обстоять дело, например, в случае процесса, описывающего пульса-
пульсации силы, действующей на частицу, совершающую брауновское движение, или пуль-
пульсации силы тока при «дробовом пффекте»). Естественней математической идеализацией
таких процессов будут как раз процессы с независимыми знпчепиямп и непрерывным
параметром. Можно показпть, однако, что в этих случаях для получения практически
ценных результатов приходится вообще отказаться от предположения о существования
конечномерных распределений вероятностей для величин xt и перейти к более общему
понятию «обобщенного вероятностного процесса», создшшому у;ке после появления
английского издаиия этой книги (см. ниже, стр. 577—579). — Прим. ред.

78 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
равенства D.1) мы имели прано предполагать, что случайные неличины xi
являются координатными функциями. Только что проведенные рассуждения
доказывают также следующее, несколько более общее соотношение, котороа-
нам пригодится в дальнейшем:
/=1 п
§ 5. Процессы с некоррелированными или с ортогональными значениями
Процессом с некоррелированными значениями называется процесс, для
которого образующие его случайные неличины попарно некоррелирован ы,
т. е. такой процесс, у которого
Е{|*,|3}<со E.1)
и
Е {«.ж,} =E{*,}E{J,}, вФи E.2)
С этим типом процессов тесно связаны процессы с ортогональными
значениями, т. е. процессы, для которых выполнено E.1) и для которых
Е {*,*,} = 0, зф1. E.3>
Если процесс х, имеет некоррелированные значения, то процесс уп
определенный соотношением
y, = x,-E{xt),
янляется процессом с ортогональными значениями. Так, если ж —действи-
—действительная случайная величина, равномерно распределенная в интервале @, я),
то случайные величины
cos х, cos 2x, ...
образуют сразу и процесс с некоррелированными значениями и процесс
с ортогональными значениями (и нулевыми средними). С другой стороны,
случайные величины
l + cosz, 2 + cos2;z, ...
обраауют процесс с некоррелированными значениями, но не процесс с орто-
ортогональными значениями.
Как мы уже отмечали во внедении, теория вероятностей — это лишь
один из аспектов теории меры. Этот факт ярко проявляется, в частности,
в рассматриваемом вопросе. Математики занимаются теорией ортогональных
рядов и функций более 100 лет, но они никогда не считали эту теорию
частью теории вероятностей. С современной точки зрения последова-
последовательность ортогональных функций является последовательностью ортого-
ортогональных случайных величин, и теоремы, подобные теореме Фишера — Рисса
из теории ортогональных рядов, становятся теоремами теории вероятностей.
Вероятностный подход, однако, налагает н некотором смысле неоправдан-
неоправданное условие о том, что основное пространство с мерой имеет полную меру 1.
До настоящего времени это услоние вводилось, исходя из физической ип-
"терпретации вероятностей. В то же время многие идеи и определеппя,
используемые в теории вероятностей, не янляются внутренне связанными
с этим условием. Некоторые физические явления (например, свободная
частица в квантовой механике, которая равнораопределена во всем простран-
пространстве) указывают даже ыа полезность вероятностной меры со значением + со

S в. МАРКОВСКИЕ ПРОПЕССЫ 79
на всем пространстве. По этой причине, а также из-за приложений, которые
делаются в этой книге, мы откажемся при изучении ортогональных рядов
в гл. IV от предположения" о конечности меры; для того чтобы избежать
недоразумений, мы будем использовать н этой главе не язык теории веро-
вероятностей, а обычный язык теории меры.
Как уже отмечалось н § 3, процессы с ортогональными значениями
являются вариантом в широком смысле процессов с независимыми значе-
значениями. Хотя такая терминология и не является общепринятой, однако
этот подход разъясняет некоторые стороны вопроса.
§ 6. Марковские процессы
а) Марковские процессы в узком смысле. Мы будем здесь рассматривать
только действительные процессы; изменения, которые нужно сделать, чтобы
перейти к комплексному случаю, будут оченидны. Марковским процессом
(н узком смысле) называется процесс {xt,t?T}, удовлетворяющий следую-
следующему условию: для любого конечного набора tx < ... < tn значений пара-
параметра условное распределение вероятностей величины х, относительно
величин х, , ..., х, совпадает с условным распределением вероятностей
величины х, относительно величины ж,п в том смысле, что для каждого
X с вероятностью 1
Р {*!„(»)<»• I«Ч» •••.*«„_!} = Р[*in-(») <»• I *i,_tJ• F.1)
Ясно, что если Т1С2Т, то процесс {x-t, (?Тг} также является марконским.
Когда какой-нибудь процесс назынают марковским, то всегда подразуме-
подразумевается, что речь идет о марковском процессе н узком смысле.
На первый взгляд услоние F.1) кажется сильнее следующего условия:
с вероятностью 1
Р{х1п(»)< X |xtl *,„_,} = /(*„, х,^), F.1')
где стоящая справа случайная величина янляется беронской функцией от
ar(n_j или вообще является функцией, измеримой относительно случайной
величины х1п,г. Однако на самом деле функция / всегда совпадает с пра-
правой частью соотношения F.1). Действительно, применяя к обепм частям
F.1') операцию Е {— | а;?т1_1}, мы видим, что праная часть при этом не
меняется, а левая часть в силу формулы A0.9) гл. I переходит в правую
часть F.1). По причине эквиналентностп F.1) и F.1') марковский процесс
описывают иногда несколько вольно как процесс, для которого условная
вероятность в левой части F.1) занисит только от х(л_,(и>).
Условие F.1) эквивалентно также следующему условию: для любых
si < sz> принадлежащих Т, и любого X (снова с вероятностью 1)
| 1}. F.2)
В самом деле, если F.2) выполнено с вероятностью 1 п если tt <...
... < tn_j = sx < tn = s2, то, применяя операцию Е { — | xh, ..., zirwl} к обеим
частям F.2), мы получим F.1). Обратно, если F.1) выполнено с вероят-
вероятностью 1, то
^ Р {хп (ш) < X | хп) dP = Р {xS2 (ш) < X, ш g Л}
Л
для любого мпожестна Л, измеримого относительно какой-пибузь конеч-
конечной совокупности величин х, с t^s^ а как мы видели н § 7 гл. I, доста-
достаточно проверить это соотношение для всех таких Л, чтобы иметь право
отождествить интегрируемую функцию с одним из вариантой лезой части
F.2).

80 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕСС*.
Мы докажем теперь, что если {xt, tgT) — марковский пропесс, s?T
и у —любая ш-функция, измеримая относительно семейства величин xt с
t > s, и если Е {| у |) < со, то с вероятностью 1
Е{у|*м t<*}-Efo|*,}. F.3)
Это равенстно содержит н себе F.2) и поэтому, как мы уже видели, вле-
влечет за собой и F.1). Мы будем называть утверждение F.3) марковским
свойством. Марковское сноиство будет сперва выведено н предположении,
что Т содержит только конечное число точек, не меньших s. Пусть это
будут точки s = иа < и1< .. . < ит, и пусть Хо, ..., Хт — произвольные чис-
числа. Тогда если у определено раненством
[ 1, если Хи (ш) <Х., / = 0, ..., т,
[ 0 в других случаях,
то F.3) сводится к
P{z«;(«>)<V 1 = 0, ...,m\xt, t<?s} =
= Р {xUj (ш)<Х;., / = 0 т\х,\. F.3')
Обратно, если F.3') выполнено с вероятностью 1 для любых Хя,...,\п,
то F.3) выполнено с вероятностью 1 для любой функции у, измеримой
относительно семейства величин хио, ...,,xUm и такой, что Е{!у|}<со.
В самом деле, если F.3') выполнено и если ш-множество М определено, как
где А—любой (т 4-1 )-мерный правый полузамкнутый интервал, то из
F.3') триниальным образом следует, что с вероятностью 1
Р{М|*„ *<*}~Р{М|*,]. , F.4)
Так как множестна М вместе с ш-множестнами вероятности 0 порождают
класс всех ш-множеств, измеримых относительно семейстна неличин х^,...
. ..,!„„,, то отсюда следует (см. теорему 9.6 гл. I), что F.3) вьшолвено
для всех рассматриваемых у. Докажем теперь F.3) индукцией по т. Если
т=0, то F.3) трпниально, так как н этом случае обе части F.3) с вероят-
вероятностью 1 равны у. Если т= 1, то F.3') —а следовательно, и F.3) — выпол-
выполнено с вероятностью 1, так как (с вероятностью 1)
х») = °. еслИ х, (а>) > \,
и в силу F.2)
(ш) < Х01 хи1 (ш) < \ | xt, t < s} =
= P {x, 0 (ш) < X,,, xui (u>) < Xj | zj, если ж3 (ш) < Х„.
Предположим теперь, что равенство F.3') ныполнено с вероятностью 1
для некоторого т>1, и покажем, что тогда оно выполнено с вероят-
вероятностью 1 и при т, замененном на т+1. Пусть Х„, ..., Хт+1 — любые дей-
действительные числа. Определим у и z как
A, если жио (ш) < Хо,
V (ш) = {
10 в остальных случаях,
1, если tv .(«))< Х;., /= 1, . .., m + f,
z(o>) = \ п
4 ' '0 в остальных случаях.

5 6. МАРКОВСКИЕ ПРОЦЕССЫ -81
Тогда, применяя предположение индукции к самому процессу xt, а также
к процессу х,, в котором отброшены все значения параметра, меньшие
s = ц0, получаем, что с вероятностью 1
E{z\xt, t<Ul} = E{z\xUl} = E{z\xs, xUl}. F.5)
Далее, с вероятностью 1
E{yE{z\xt, t<u1}\xl, i<s} =
= Е{Е {yz\xt, t<Ul)\x,, t^s} =
= E{yz\xt, t<s} =
= P{*u,(«»KV / = 0 m + \\xt, t<s}. F.6)
С другой стороны, используя предположение индукции при т — \, мы
получаем, что с вероятностью 1
= E{E{yz\xs, xUl}\xt, *-<*} =
= E{E {yz\xs, xUl]\xs} =
= E{yz\xs) =
= P {*„.(»)<X;., / = 0, ..., m + l\xs}. F.7)
Соединяя F.6) и F.7) с F.5), мы получаем F.3') — а следовательно, и
F.3) —с га, замененным на /и-j-l. Предположим, наконец, что Т содержит
бесконечно много точек, больших чем s. Тогда из только что полученного
результата следует, что F.4) выполнено с вероятностью 1, еслп М - изме-
измеримое множество выборочного пространства некоторой конечной совокуп-
совокупности величин х, с t^s. Отсюда вытекает (см. теорему 9.6 гл. I), что
F.3) выполнено с вероятностью 1, если Е(|у|} < ос, и у равно с вероят-
вероятностью 1 функции от ш, измеримой относительно борелевского поля
ш-множеств, порожденного классом множеств М, т. е. если функция у изме-
измерима относительно семейства величин xt с t > s, что и требоналось до-
доказать.
Данное выше определение марковского процесса зависит от выбора
положительного направления на оси t. Мы дадим сейчас в впде необхо-
необходимого и достаточного услония другое, эквивалентное, определение, кото-
которое, будучи независимым от ныбора положительного направления на оси
t, показывает, что если {xt, ig Т) — марковский процесс, то и величины
{x_i} также образуют марковский процесс. Процесс является марковским
тогда и только тогда, ко^да для любого конечного набора значений пара-
Mempa)s1 < ... < sm < t < tx < ... < tn x»любых действительных чисел \lt . ,.
, ^, (!¦!,..., (in с вероятностью 1
=1, -.., n\x,) =
* = i..¦¦,«!*(]• F.8)
Кажется соблазнительным переформулировать F.8), сказав, что при фик-
фиксированном х, (ш) две совокупности случайных величин xsv ...,xSm и
xtl,...,xtn нзаимно независимы; иными словами, при известном х, (ш)
(известном настоящем) прошлое и будущее не зависят одно от другого.
Однако нвиду некоторого произвола н определении условных вероятностен
при попытке дать такую интерпретацию равенству F.8) требуется изЕест-
ная деликатность. Пригедем теперь наглядное, хотя и не вполне точное
доказательство эквивалентности равенства F.8) и марковского свойства, опи-
опирающееся на указанную интерпретацию; затем будет дано строгое доказателъ-
стно этой эквивалентности. Соотношение F.8) утверждает, что при заданном

82 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
х, (о>) некоторое будущее событие и некоторое прошлое событие взаимно
независимы, так как соответствующие вероятности перемножаются (все это
при условии, что известно настоящее). Эквивалентное условие независимо-
независимости состоит в том, что условные вероятности не зависят на самом деле от
соответствующих условий; в нашем конкретном случае, если обозначить
через Р вероятности при условии, чао задано х,, это второе условие
независимости запишется в виде
1, если х, (аХц,,, А = 1, .... и,
К. *= ! *«.> • • •> *шЛ =
= Р@{*<„(«>)<щ. * = 1,... ,п] F.8')
(с Р(|)-вероятностью 1). Мы видели в § 10 гл. I, что это соотношение иначе
можно записать как
P{ar,k(a))<fft, * = 1 n\xh, ...,xSm,xt} =
= P{*ik («•)<!•» 4=1 n\xt]. F.8')
Если в=1, это равенство сводится к F.1); при произвольном п оно все
еще остается частным случаем марковского свойства.
Дадим теперь точное доказательство условия F.8). Определим у и г
равенствами
{1, если х,, ((»)<>,,, /=1 т..
0 в других случаях;
( 1, если х, (аХц,,, А
z(u>) = \ п а
х I 0 в других случаях.
Тогда, используя теорему 8.3 гл. I, мы получаем, что с вероятностью 1
E{z/lx,}E{Z|x,}=E{z/E{Z|x,}|x,}. F.9)
Если процесс х, марковский, то, используя еще раз теорему 8.3 гл. I, пра-
правую часть F.9) можно переписать следующим образом:
E{yE{z\xs, s<.t}\x,} = E{E{yz\xs, s<t)\x,}=Eiyz\x,). F.10)
Соединяя F.9) и F.10), находим, что с вероятностью 1
E{z/|x,}E{2|x(}=E{z/Z|x,}, F.11)
а это соотношение совпадает с F.8). Обратно, если с вероятностью 1 вы-
выполнено F.11), то с вероятностью 1
E{yz\xl} = E{y\xl}E{z\xl}=E{yEiz\xl}\xt},
так что для любого множества Л, являющегося измеримым множеством
выборочного пространства величин х,,
\)yzdV=\yE{z\xl}dP.
Но тогда
^ ^ E{z\xt}dP,
так что
^ ^{z|z(}dP, F.12)
где М — любое ш-множество вида {?».(«>)<!>.}., /=lt -..,m, z,(o>)<X}, a,
как мы видели в § 7 гл. I, справедливости F.12) для таких множеств

5 6. МАРКОВСКИЕ ПРОЦЕССЫ 83
достаточно для того, чтобы идентифицировать подинтегральную функцию
в правой части F.12) с E{z\xtl xSm, xt}. Поэтому с вероятностью 1
Р{xtk(">)<f»ik. A = l, ..., n\xsi, ..., xSm, z,} =
= V{xtk{a)<?H, k = l,...,n\xt].
Но это и есть F.1), лишь со слегка измененными обозначениями.
Пример 1. Пусть yv уг, ...— взаимно независимые случайные ве-
величины. Тогда процесс {уп, п>1} является марковским процессом. Дей-
Действительно, Р {уп (ш) <X} является одновременно одним из вариантов
р{2/п(ш)<Ч2/1> ••¦> Уп-i) и одним из вариантов Р {уп (ш)<>. |г/п_,}- Отме-
Отметим, что в этом случае существует условное распределение вероятностей
случайной величины уп относительно величин yv ..., ?/„_, в смысле § 9
гл. I.
Пример 2. Пусть величины у. те же, что и в примере 1. Положим
п ' п
хп = ^\уг Пусть F — функция распределения суммы 2 2/, • Тогда про-
1 т + 1
цесс {хп} является марковским процессом: действительно, если s < t, то
величина
Р {xt (»)<X|xv ..., х.} -/•., (X- х.)
является одновременно одним из вариантов ^С?овн^то__|1а?1гршшдедия_х(
относительно xs и одним из вариантов условного распределения xt отно:
сйтёльно^гТГГ.^^. Это интуитивно ясно, однако, быть может, будет по-
поучительно дать и формальное доказательство. Мы должны показать, что
если Л — это ш-множество, являющееся измеримым множеством выборочно-
выборочного пространства величии х^ ...,х%, или, что равносильно, измеримым
множеством выборочного пространства величин yv ..., yt, то
Для вывода этого соотношения удобно предположить, что s + 1] случай-
случайные величины
1
Ук---> У„ 2 У,
e+i
являются координатными функциями (s+1)-мерного пространства точек
(Ъ> •••. Ъ+i). причем
A
для каждого (« + 1)-мериого борелевского множества А, где
В соответствии с теорией изображений (§ 6 гл. I) это предположение
не ограничивает общности. Переписывая в новых обозначениях F.13), мы
видим, что достаточно доказать, что для любого s-мерного борелевского
множества Л введенного здесь (s + 1)-мерного пространства выполняется.-
соотношение
, а:,
dF, (т,,)... ^ dFs_, (r,^) ^ Fttl (j. - ^ ^ ) dFs G,.)
А 1

84 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
Это соотношение достаточно доказать лишь для множеств Л, являющихся
s-мерными интервалами, заданными неравенствами
но для таких Л оно становится частным случаем равенства D.2).
Пример 3. Пусть Pv Ptl ... — функции от ? и А, где 5 — действи-
действительное число, а А — одномерное борелевское множество, обладающее сле-
следующими свойствами:
(I) РЛ?, А) является вероятностной мерой по А при фиксированном ?.
(II) Pj (?, А) является беровской функцией от % при фиксированном А.
Пусть Р — некоторая вероятностная мера на одномерных борелевских мно-
множествах. Тогда существует марковский процесс (х„,в>1} такой, что
Рп(хп, А)является одним из вариантов условной вероятностиР }zn+1 (u>)? А\хп]
и что
Чтобы показать это, заметим, что при каждом т интеграл (мы принимаем
здесь очевидные соглашения о системе обозначений)
Am
определнет вероятностную меру на тга-мерных борелевских множествах Ат
н пространстве точек (?lt ...,im). Определим последовательность случайных
неличин {хп, п>1\ так, чтобы совместноз распределение величин xv ...,xm
задавалось приведенным выше кратным интегралом. Это можно сделать,
взяв за Xj координатные функции бесконечномерного пространства, поскольку
соответствующие меры удовлетворяют условиям взаимной согласованности
(см. гл. I, § 5), что проверяется тривиальным образом. Столь же триви-
тривиально проверяется, что полученвый таким способом процесс {хп} является
марковским, и что с вероятностью 1
Р {*„+! («О 6 А | х1г ..., хп) = Рп (*„, А).
В частности, если функции # и Pj заданы посредством плотностей, так
что
Р (А) = \ р (т|) dt\, Р (&, А) = \ Pj (с, т|) di\,
А А
то совместное распределение величин х1г ¦¦¦,хп имеет плотность
Марковское свойство проявляется здесь в том, что р^ не зависит от Е„ ..., i,-i-
Мы уже видели, что процесс {хп}, обращенный во времени, также является
марковским процессом. В только что описанном случае существования
плотностей переходные вероятности обращенного процесса могут быть изящно
выражены в явном виде. Условное распределение хп при заданном
a;n+1(o>)=Sn+1 имззт плотногть (по $п)
СО СО
\ • • • 1 pC^i) Pi ("Пи ^s)" •'Рл—\ С7]л—it ?/1)^1 ¦ ¦. rf'in—1
J= Г2 п ПР А. F.14)
I ... J p hi) jt>i (%,%)•¦• ^n(im '.i+i) «ill ••¦ drtn
— OO —CO
(Мы здесь предположили, что плотности р} являются бэровскими функциями
от пары переменных. На самом дэлз, как нзтрудт проверить, эти плот-
плотности всегда можно выбрать такими.) Заметим, что плотности рп прямых

5 6. МАРКОВСКИЕ ПРОЦЕССЫ 85
переходных вероятностей могут быть выбраны независимо от плотности р
начального распределения вероятностей, так что изменение р не влечет
за собой изменения рп. Однако если рп выбраны, то плотности F.14) обра-
обращенных вероятностей перехода, вообще говоря, уже зависят от выбора р.
Пусть теперь {хп, п > 1} — любой марковский ¦ процесс с указанным
множестном значений параметра. Как мы видели в § 9 гл. I, сущестнует
функция Рп от одномерных борелевских множеств А и действительного
переменного, а именно условное распределение вероятностей в широком
смысле величины zn+1 относительно хп, являющаяся при фиксированном А
беровской функцией, определяющая при фиксированном значении действи-
действительного переменного вероятностную меру по А и такая, что с вероятно-
вероятностью 1 при каждом п и А
Р{*я+1(»)€4| *„}-*>„(*„,. 4).
Пусть Р—распределение вероятностей для величины xv
Покажем (ср. с примером 3), что если х — беровская функция от хЛ1 ..., хт, то
со оо со
Е {х}= \ P(&J \ Л(?1. <«•) ¦¦¦ \ ^m-i(w- dij. F.15)
В силу марковского свойства и результатов § 9 гл. I первое интегриро-
интегрирование в правой части дает один из вариантов Е {х \хи ..., хт_^, явля-
являющийся беровской функцией от хх, ..., хт_1. Следующее интегрирование
дает
Продолжая аналогичным образом, мы получим в результате последнего
интегрирования
E{E{z|x1}}=E{x},,
что и требовалось доказать. Таким образом, если определить, как это
делалось в примере 3, при помощи функций Р, Р,, Рг, ... марковский
процесс, в котором образующие его случайные величины являются коор-
координатными случайными величинами, то полученный марковский процесс
окажется изображением заданного процесса.
Пусть теперь {х,, t?T} —любой марковский процесс. Тогда при s < т < t
переходные вероятности удовлетворяют с вероятностью 1 соотношению
л = Е{Р{х,нел|^}К}. F.16)
Действительно, из марковского свойства вытекает, что условная вероят-
вероятность справа совпадает с
так что F.16) является следствием общих теорем о повторных условных
математических ожиданиях. Это соотношение называют уравнением Чеп-
мена—Колмогорова или, в частных случаях, уравнением Смолуховского.
Обобщая построение последовательности функций Pit Р2, ..., проведенное
в предыдущем абзапе, заметим, что существует функция Р{;, s; A, t), где
s < t, являющаяся при фиксированных ?, s, t вероятностной мерой на одно-
одномерных борелевских множествах А, при фиксированных s, A, Z —беровской
функцией от I и такая, что при фиксированных s, A, t с вероятностью 1
Р(х„ s; A,t)=P[xl(«)SA\xt}. F.17)

86 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
Тогда F.16) можно записать в виде
аз
Р (?, s;A,t)= ^ Р (С, х; A,t)P («, s; Д, х). F.18>
Это соотношение справедливо при всех ?, не принадлежащих некоторому
борелевскому множеству В (зависящему от s, I, х, А) такому, что
В приложениях обычно задают не сам марковский процесс, а переход-
переходные вероятности, при помощи которых он конструируется. В частности,
обычно предполагают, что множество Т содержит минимальный элемент t0
и что задана функция Р, удовлетворяющая тождественно уравнению F.18).
Если задано также начальное распределение вероятностей при t = ta, то
марковский процесс с переходными вероятностями Р определяется следу-
следующим образом. Для любых t0 < ... < tm случайные величины z((), ...,xim
должны иметь совместное распределение, получающееся из заданного
распределения величины xta и заданных переходных вероятностей по фор-
формуле F.15) (где х равно 1 на некотором тга-мерном борелевском множестве
и 0 вне него, т. е. так же, как в примере 3). Как мы уже отмечали,
тривиальным образом проверяется, что при таком определении величины
Xt0, ..., х1п образуют марковский процесс. Заданные таким способом сов-
совместные распределения взаимно согласованы (т. е. удовлетворяют условиям
согласованности Колмогорова), и поэтому существует марковский процесс
с. заданными начальным распределением и переходными вероятностями
(см. § 5 гл. I). Часто предполагается, что переходная функция Р задается
плотностью
А
В этом случае F.18) сводится к
со
Р F, г; ч, 0 = J р (С, х; л, t) р F, *; С, '¦) *. F.19)
—оо
Уравнение F.19) часто обосновывают наглядно, говоря, что вероят-
вероятность перехода из точки 5 в момент s в точку т] в момент t равна вероят-
вероятности перехода из точки $ в момент s в точку С в промежуточный момент
времени х, умноженной на вероятность перехода из С в момент х в т\ в мо-
момент t и просуммированной по всем значениям С. В этом утверждении нет
ничего неправильного. Это просто неточная формулировка соотношения
F.19); эта неточная формулировка внушает, однако, некоторым неосторо-
неосторожным студентам представление, будто F.19) справедливо для всех веро-
вероятностных процессов. Подчеркнем поэтому, что при отсутствии марковского
свойства первый множитель под знаком интеграла в F.19) будет, вообще
говоря, зависеть от { и s.
О последовательности случайных величин {хп} гонорят, что она обра-
образует сложный {^-связный) марковский процесс, если существует целое число v
такое, что при любых X и п с вероятностью 1
Р{*пИ<Ч*п-1> *п-2- ...}=PKW<Mvi- ...,*.-v}. F-1")
Если v = 1, то этот процесс является обычным марковским процессом (иногда
его называют также простым марковским процессом). Это обобщение
не очень существенно, так как (векторный) процесс, образованный случай-
случайными величинами {хп}, хп = (хп zn+v_f), обладает марковским свой-

5 в. МАРКОВСКИЕ ПРОЦЕССЫ 87
ством [это свойство определяется для векторных процессов при помощи
очевидного видоизменения F.1)]. Таким образом, сложный марковский
процесс может быть сведен к простому за счет перехода к векторным слу-
случайным величинам. В частности, для важного типа процессов (цепи Мар-
Маркова), и которых случайные величины {хп} принимают значения только
из фиксированного конечного множества, процесс {хп} будет процессом
того же типа: в этом случае величины {хп} можно рассматривать не как
векторные случайные величины, а как обычные случайные велпчпны, при-
принимающие N'' значений, если величины хп принимают N значений.
б) .Марковские процессы в широком смысле. Пусть {х,, t f T] — гауссов-
ский процесс с нулевыми средними, Е{:г,} = 0, либо действительный, либо
удовлетворяющий условию
E{xaxt} = 0
(см. теорему 3.2). Чтобы определить марковский процесс в широком смысле,
мы должны найти какое-либо свойство процесса {xt}, выраженное через его
вторые моменты, кажущееся слабее марковского свойства, а в действитель-
действительности эквивалентноэ марковскому свойству или, по крайней мере, важней-
важнейшим частным случаям марковского свойства. Как мы уже отмечали (§ 3),
один из вариантов Е {xln \xtl, ..., х1п_г} {tx< ... < tn) является линейной
комбинацией величин хп, ..., x,n_v наиболее близкой к xt в смысле обра-
обращения в минимум величины
Е {| xln-± арч |2} = . 2 ( Е {x,.x,h} a~ah (а„ = -1) F.20)
(в § 3 этот вариант обозначался Ё {xln\xtl, . .., xln_x}). Из марковского
свойства следует, что с вероятностью 1
Е {х1п | xlv ..., xln_,} = Е {*,„ | *,„_,}. F.21)
Условие F.21) существенно слабее марковского свойства, так как марков-
марковское свойство относится не только к условному математическому ожиданию х1п,
а ко всему условному распределению случайной величины х1п. Однако,
как мы сейчас покажем, в нашем случае условие F.21) эквивалентно усло-
условию F.1). Поэтому условие того, чтобы процесс {х,} был марковским,
можно записать в следующем вид§: с вероятностью 1
Ё {xtn | xh, ..., xtn_x} = Ё {xln | x^}. F.21')
Это условие касается, в силу F.20), только вторых моментов процесса.
Поэтому мы скажем, что любой процесс, безразлично гауссоеский или нет,
является марковским процессом в широком смысле, если Е {| х, |2} < со
при всех t, и, каковы бы ни были значения параметра 1Л <~ . . . < tn,
с вероятностью 1 выполнено F.21'). Мы должны еще проверить наше
утверждение, что для гауссовского процесса из F.21) следует F.1). Для
такого процесса разность
x,n — E{xln\xh, ..., z,n_,}
является гауссовской случайной величиной со средним значением 0, орто-
ортогональной к величинам xtv . ..,z(n_,, а следовательно, и независимой от них.
Поэтому условное распределение х1п при условии, что
Xtx (">) =&!,..., *ln-i (">) = ?„-!>
которое можно определить как условное распределение вероятностей суммы
[х,п- Е {хы| xtl (о) = $„..., zln_t (ш) = ?„_,}] 4-
+ Eixtn\xtl{a) = Sl, ...,*im(m) = *„_,}=.
= у + Е {х,п | xtl (») = &!,..., x,n_t (ю) = ?„_!), F.22)

88 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
будет иметь своим средним значением некоторую линейную комбинацию
величин Jj, ..., En_i (последний член в F.22)) и дисперсию, равную дис-
дисперсии величины у. Условное распределение величины х, вполне опреде-
определяется поэтому ее условным математическим ожиданием, и F.21) влечет
за собой в рассматриваемом случае F.1), что и требовалось доказать.
В § 8 гл. V будут выведены простые условия, являющиеся необходи-
необходимыми и достаточными для того, чтобы процесс был марковским в широком
смысле. Заметим, что процесс, марковский в узком смысле, не обязан быть
марковским в широком смысле, даже если существуют математические ожи-
ожидания квадратов образующих процесс случайных величин.
§ 7. Мартингалы
Вероятностный процесс {х,, t?T] называется мартингалом, если
Е{|а;,|}< со при всех t, и, каковы бы ни были п>1 и tx < ... < in+1,
с вероятностью 1
§ 7. Мартингалы
ый процесс
{|,|} ри всех t,
вероятностью
е**!,,., К *«„} = *!„• С7-1)
Приведенное определение — это определение в узком смысле, и слово «мар-
«мартингал» всегда будет означать мартингал в узком смысле. Вероятностный
процесс, образованный случайными величинами {х,\, называется мартин-
мартингалом в широком смысле, если E{|z, |2}<оо при всех t, и, каковы бы
ии были и>1 и гх < ... < tntl, с вероятностью 1
К *!»}=*<„• G.1')
Пользуясь правилами оперирования с Е и Е (вывод этих правил для Е
• см. в § 3 гл. IV), легко проверить, что последовательность случайных
величин х1г хг, ... является мартингалом тогда и только тогда, когда
Е{|а;п|}< со, п>1, и с вероятностью 1
E{*«+iK *„} = *„. G-2)
и мартингалом в широком смысле тогда и только тогда, когда Е {| хп |2} < оо,
я>1, и с вероятностью 1
Ё>П+1К, ...,zn} = sn. G.2')
Если определить' ух, уг, ... как
2/i = xv Уг = xi - xv • • • >
то в случае, когда процесс хп является мартингалом, нсегда Е{|2/„|} < со,
и с вероятностью 1
E{yn.i|yi. ...,у„} = 0, п>\. G.3)
Величины хп являются частными суммами ряда 2 уп, где величины уп
п
удовлетворяют условию G.3). Обратно, частные суммы яюбого такого ряда
образуют мартингал. Если процесс хп является мартингалом в широком
смысле, то соответствующее свойство случайных величин yi состоит в их
взаимной ортогональности.
Процессы \уп), удовлетворяющие условию G.3), представляют самосто-
самостоятельный интерес и заслуживают дальнейшего изучения. Условие G.3)
является промежуточным между условием независимости и условием некор-
некоррелированности неличин уп. Действительно, условие некоррелированности
величин уп состоит в том, что
Е {yjn} = Е {ут} Е {уп}, тфп.

5 7. МАРТИНГАЛЫ 89
Условие G.3) может быть переформулировано следующим образом: для лю-
любой ограниченной беровской функции Ф(?Л> ¦ ¦ •. Уп)
E{Z/n-i*(Z/i> ••••»«)}= О, п>1. G.4)
А это, ковечно, сильнее, чем некоррзлированность (из G.3) следует
Е{з/п]=О). С другой стороны, условие независимости эквивалентно еще-
более сильному условию: для любой из определенных выше функций Ф
я любой ограниченной беровской функции W (#„.,,)
Е{ЧГ(упи)Ф(у1,...)уп)}=Е{ЧГ(уя^)}Е{Ф(у1,...,ув)}. G.5)
В определении марковского процесса используются в некотором смысла
более сильные ограничения, чем в определении мартингала, так как мар-
ковскоэ свойство относится к распределениям вероятностей, а не к матема-
математическим ожиданиям; с другой стороны, марковский процесс не обязан
быть мартингалом.
Пример 1. Пусть т), $!, ?2,'...—любые случайные величины такие,
что
Е{|т,[}<оо.
Тогда, если положить
*п = ЕЫЕ! U, G.6).
то процесс {хп} будет мартингалом. Действительно, с вероятностью 1
= E{ii|61,...,y-V G.7)
Поэтому, поскольку величины хл,...,хп измеримы относительно семейства
величин ?lF ..., ?п, то с вероятностью 1
. E{xntl\x1;...,xn, %1г ....tn} = -Eixntl\lu ...,«.} = *„• G-8)
Взяв от обеих частей G.8) условные математические ожидания относительно-
х1г ..., хп, мы получим G.2).
Аналогичный пример мартингала с непрерывным параметром полу-
получается при
Е{|5 х<«}, G.9)
где Ет и ^ — произвольные случайные величины, если не считать требования
E(hl}<co.
Если заменить в рассмотренном примере Е на Е, то возникающие-
процессы будут мартингалами в широком смысле; наше доказательство при
этом остается в силе.
Пример 2. Если случайные величины хи х2, ... можно представить
в виде
*« = »!+ •¦• +У„. п>1. Е(|у,|} < со, />1, G.10)
где г/j взаимно независимы и Е [ут] = 0, т > 1, то процесс хп будет
мартингалом (если Е {| уп ]2} < со, то он будет также мартингалом
в широком смысле). Это частный случай изученного выше общего вида
мартингала с дискретным параметром. Аналогичный пример с непрерыв-
непрерывным параметром будет рассмотрен в § 9.
Пример 3. Пусть yv уг, ... —любые случайные величины. Предпо-
Предположим, что совместное распределение величин уъ ¦.. , уп задается плот-
плотностью распределения рп, являющейся беровской функцией от точки
л-мерного пространства. Тем самым определяется последовательность
плотностей распределения рх, р2 Пусть qx, g2, ... —вторая такая же-

90 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
последовательность; распределениями величин у. мы будем здесь считать
распределения, задаваемые плотностями pf. Определим случайную величину
_ _ ?ft(yi» ¦ •¦ . Уч) in лл\
ХGД J
у,)'
Заметим, что знаменатель этой дроби обращается в нуль лишь с вероят-
вероятностью 0. Мы докажем, что если gn = 0 всюду, где ^„ = 0, то величины
хп образуют мартингал. Для доказательства этого утверждения предполо-
предположим (что можно сделать в соответствии с теорией изображений § 6 гл. I),
что у1г уг, ... являются координатными функциями в бесконечномерном
пространстве. Тогда существует плотность условного распределения вероят-
вероятностей величины г/п+1 относительно заданных yv ..., уп:
Рп+1 (У1 Уп, М
Рп(уи ... . уп) '
так что
Pntl (
¦dk:
*ги1=к Pn &1' • ¦ • . Уп)
oo
_ С gn»i (yi, ¦ ¦ ¦ , yn. >¦) ^л _ gn (yi Vn) _ g G.12)
J ..Рп(У1 Уп) />n(yi Уп) "'
—oo
Взяв условное математическое ожидание относительно xv ... , хп от обеих
частей G.12), мы получим G.2).
Определяемый равенством G.11) мартингал имеет важные статистиче-
статистические приложения. В математической статистике отношение, определяю-
определяющее хп, называется «отношением правдоподобия». Отметим, что если
рп(\ *¦„) и 9n(^i> • • • t ^-п) интерпретировать не как плотности вероят-
вероятностей, а как вероятности того, что случайные величины примут значения
Xv ... , кп, то процесса^, определяемый G.11), снова будет мартингалом.
(Интегралы в G.12) становятся при этом суммами.) Более общий класс
мартингалов определяется следующим образом. Пусть ух, уг, ... и гх, Zj, ...—
последовательности случайных величин (последовательность zn не должна
обязательно быть определена яа том же самом ш-пространстве, где опреде-
определена последовательность уп). Пусть Рп, Qn — меры л-мерных борелевских
множеств А, определенные равенствами
Рп(А) = 'р{[уЛиз)> ••• . УпП
Предположим, что Qn(A)=0, если Рп{А) = 0, т. е. что мера Qn абсо-
абсолютно непрерывна относительно Рп. '1'огда, в силу теоремы Радона —
Никодима, существует плотность меры Qn относительно Рп, т. е. беровская
функция Фп от п переменных такая, что
Положим
Тогда величины хп образуют мартингал. Доказать это можно или так же,
как в предыдущем частном случае, или же обращаясь непосредственно
к определению рассматриваемых условных математических ожиданий.
Отношение правдоподобия будет изучено более детально с точки зрения
мартингалов в гл. VII.

5 8. СТАЦИОНАРНЫЕ ВЕРОЯТНОСТНЫЕ ПРОЦЕССЫ 91
§ 8. Стационарные вероятностные процессы
а) Процессы, стационарные в узком смысле. Стационарный в узком
смысле вероятностный процесс {xt, t?T] — это процесс, в котором распре-
распределения вероятностей не меняются с течением времени; это значит, что
многомерные распределен ля случайных величин xll+h, ... , a;,nJ.h не зависят
от h. Здесь ?,, ... , tn — любое конечное множество значений параметра,
и h выбрано так, чтобы после сдвига на h значения параметра процесса
снова принадлежали Т.
Пример 1. Пусть ... , х0, ж,, ...—взаимно независимые случайные
величины с одной и той же функцией распределения. Тогда процесс {жД
стационарен в узком смысле. Стационарен в узком смысле такжо любой
процесс {хп}, где
и постоянные аг выбраны так,, чтобы этот ряд сходился по вероятности.
(Мы увидим в гл. III, что из сходимости по вероятности ряда, составлен-
составленного из взаимно независимых случайных величин, следует п его сходи-
сходимость с вероятностью 1.)
Для процессов, стационарных в узком смысле, выполняется усиленный
ЗсГкон больших чисел: если параметр процесса принимает целые значения
и Е{ jzo|} < со, то
существует с вероятностью 1, т. е. существует для почти всех выбороч-
выборочных последовательностей (см. теорему 2.1 гл. X). Во многих важных слу-
случаях предел х (с. вероятностью 1) тождественно равен постоянной. Так,
мы увидим, что если величины xt взаимно независимы, то с вероятностью 1
В случае непрерывного параметра усиленный закон больших чисел для
стационарных в узком смысле процессов принимает следующую форму:
если E{|zo|}< со и если процесс измерим, то
i
x,ds = x
о
существует с вероятностью 1, т. е. существует для почти всех выбороч-
выборочных функций (см. теорему 2.1 гл. XI).
б) 11роцессы, стационарные в широком смысле. Процесс {х,, t?T} назы-
называется стационарным в широком смысле, если Е {| xt |2} < со при всех
t?T и Е {:rs+, х,} = R(t) не зависит от s. Функция R называется корреля-
корреляционной функцией процесса. Обычно накладывается также следующее до-
дополнительное условие: Е {xj не зависит от s. Это условие не является
естественным с математической точки зрения и не меняет существенных
интересных свойств процесса. Поэтому мы не будем его вводить. Однако
если это дополнительное условие все же имеет место, то
2 {*,«}] [*, -Е {*,Ш = Е {хм х.} - Е {хг} Е [хм]
также не зависит от s, и вместо первоначального процесса можно рассма-
рассматривать процесс, образованный случайными величинами {х, — Е {х,}}. Тогда
случайные величины, задающие процесс, будут иметь нулевые математи-

92 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
ческие ожидания, и функция jR (t) будет равна их центральному второму
моменту.
Если действительный гауссовский процесс стационарен в широком
смысле и если Е {i_J не зависит от s, то этот процесс стационарен и в'
узком смысле, так как гауссовские распределения однозначно определя-
определяются своими первыми и вторыми моментами. Если комплексный гауссов-
гауссовский процесс стационарен в широком смысле, Е{.г,} = 0 и (см. теорему 3.2)
JH{xxl} = Q для всех s, t, то по той же причине этот процесс будет стаци-
стационарен и в узком смысле. Таким образом, данноэ вышэ определение ста-
стационарного в широком смысле процесса действительно соответствует опре-
определению процесса, стационарного в узком смысле.
Стационарный в узком смысле процесс является стационарным и в
широком смысле, если Е{|ж,|2} < со при всех t.
В этой книге мы будем называть стационарными процессами как
стационарные в узком, так и стационарные в широком смысле процессы.
В литературе, однако, называют иногда стационарными процессами лишь
стационарные в узком смысле процессы. Иногда в качестве синонима тер-
термину «стационарный» употребляется термин «однородный по времени», но
это название не является общепринятым.
Пример 2. Пусть ..., х0, xv ...—взаимно независимые случайные
величины с
Тогда процесс хп стационарен в широком смысле, причем
п Ф О,
Этот процесс является стационарным в узком смысле тогда и только тогда,
когда величины хп имеют одинаковые функции распределения.
Стационарные в широком смысле процессы подчинены закону больших
чисел; именно, теоремы, приводившиеся в этой связи для процессов, ста-
стационарных в узком смысле, здесь остаются верными, если заменить «предел
с вероятностью 1» на «l.i.m» (см. теорему 6.1 гл. X и теорему 6.1 гл. XI).
§ 9. Процессы с независимыми приращениями
Процессом с независимыми приращениями называется вероятностный
процесс {xt}, обладающий следующим свойством: при tt < ... < tn (n>3)
разности
XU — xh xtn — xtn-i
взаимно независимы. Если величины х0, хх, ... образуют' процесс с неза-
независимыми приращениями, то это означает, что величины хх — ха, х% — xv ...
взаимно независимы; хп — ха является п-& частной суммой ряда
составленного из взаимно независимых случайных величин. Обратно, если
j/j, j/2, ... — взаимно независимые случайные величины, х0 — любая случай-
случайная величина и при п >1 хп — хал-ул + . .. + уп, то процесс {хп} является
процессом с независимыми приращениями. Таким образом, в случае дис-
дискретного параметра процессы с независимыми приращенпнмв легко сводятся
к процессам с независимыми значениями. Практически термин «процесс
с независимыми приращениями» применяют только в случае непрерывного
параметра.

i 9. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ 93
Процесс {х,, 0-С2<°э} с независимыми приращениями, у которого
Р{20 = 0} = 1, является аналогом процесса с дискретным параметром, обра-
образованного частными суммами ряда из взаимно независимых случайных
слагаемых. Точно так же как указанный дискретный процесс является
примером марковского процесса с дискретным параметром, а еслп матема-
математические ожидания всех слагаемых равны нулю, то и примером мартингала
с дискретным параметром, соответствующий процесс с непрерывным пара-
параметром является марковским процессом, а при Е {xt — xs} = 0 — также и
мартингалом.
Если распределение величины х, — х3 зависит только от t — s, то мы
будем говорить, что процесс с независимыми приращениями имеет стацио-
стационарные (в" узком смысле) приращения.
Примеры процессов с независимыми приращениями задаются указа-
указанием распределений вероятностей для величин xt—xs. Если sx < ss < s3,
то случайным величинам
будут приписаны прп этом некоторые распределения. Так как ys = y1-\- Уъ
и так как г/х и у2 независимы, то распределение вероятностей величины у3
должно совпадать с распределением суммы двух независимых случайных
величин с распределениями вероятностей, такими, как у величин г/, и уг.
Это условие согласованности легко проверяется в приводимых ниже при-
примерах; оно обеспечивает выполнение условий согласованности Колмогорова,
необходимых для задания вероятностного процесса. Отметим, что необяза-
необязательно приписывать распределения самим величинам xt, так как обычно
изучаются только их разности и так как вся процедура, используемая для
построэния меры в функциональном пространстве, может быть проведена
и без знания распределений величин xt. Однако это будет значить, что xt
не являются случайными величинами и что на самом деле случайными
величинами, определяющими процесс, являются разности х, — х3. Чтобы
избежать этого, обычно выбирают некоторое значение параметра t0 и рас-
рассматривают процесс {xt — х,0, t?T), т. е. случайные величины, образующие
процесс, нормируют так, чтобы они обращались в нуль в момент t0.
Пример 1. Процесс б рауновского движения. В этом случае предпола-
предполагается, что xt — xs является действительной, нормально распределенной
случайной величиной с
Е{х. —х,} = 0,
1 s (9.1)
Е{[*,-*,]«} = о» Ц-,|,
где о > 0 — фиксированный параметр. За множество Г значений параметра
берется обычно или вся ось t, или полупрямая [0, со); в этом последнем
случав ха полагается обычно равным 0 с вероятностью 1, т. е., как это
объяснялось выше, рассматриваются лишь разности х, — х0. Этот процесс
изучался сначала Башелье, а позднее более строгим образо.м Вппером. Его
называют иногда винеровскпм процессом1). При фиксированном t0 разности
{xt — zi0, t>t0} образуют одновременно и марковский процесс, и мартингал.
Если наблюдать находящиеся в жидкости микроскопические частицы,
то видно, как они двигаются беспорядочным образом под влиянием ударов
молекул жидкости. Это движение называется брауновским движением по
имени английского ботаника Брауна, открывшего это явление в 1826 году.
Эйнштейн п Смолуховский показали, что координата х брауновскоп части-
') А также процессом Винера—Лови и процессом Эйнштейна — Смолуховского.—
Прим. реЭ.

94 ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
цы в момент t определяет для каждой частицы функцию от t, которую
можно в первом приближении отождествить с выборочной функцией нашего
вероятностного процесса; отсюда и происходит название этого процесса.
Константа о2 зависит от массы частицы и от вязкости жидкости.
В § 2 гл. VIII будет показано, что выборочные функции сепарабельного-
процесса брауновского движения почти все являются непрерывными функ-
функциями. Оказывается также (см. § 7 гл. V11J), что процесс брауновского»
движения — это, по существу, единственный процесс с независимыми при-
приращениями, обладающий таким свойством.
Пример 2. Пуассоновский процесс. Здесь предполагается, что для
каждой пары значений параметра s<.t величина хх (<») — xs(u>) принимает
только целые значения и
-C(l-S) V /, vV
р {*,(»)-*.(<»)=>}=-;—vlc {t s} , v=o, i, 2
где с>0 — фиксированный параметр. Пуассоновский процесс имеет стацио-
стационарные (в узком смысле) приращения. При фиксированном t0 раз-
разности {х1 — Xt0, t > г0} образуют марковский процесс, а разности
{xt—Xto~ct, t>i0} образуют и марковский процесс, и мартингал.
В § 4 гл. VIII будет показано, что выборочные функции сепарабель-
яого пуассоновского процесса являются (почти все) монотонно неубывающими
функциями и возрастают изолированными скачками величины единица. Точ-
Точки, где происходят эти скачки, можно рассматривать как моменты времени,
в которые появляются какие-то случайные события, и xt — Xi0 является
тогда числом событий, появившихся за промежуток времени от момента ta
до момента t. Постоянная с характеризует среднее число появлений собы-
событий за единицу времени. Можно показать, что при такой интерпретации
условное распределение моментов появления событий в интервале (s, l) при
условии, что в интервале (s, t) появилось ровно п событий, совпадает
с распределением п точек, выбранных независимо друг от друга с равно-
равномерным распределением на (s, t). Пуассоновский процесс оказывается хоро-
хорошим приближением к процессу, определяющему моменты времени, в которые
происходит радиоактивное излучение. Можно рассматривать вместо выбороч-
выборочных функций процесса бесконечную последовательность значений t (поло-
(положительных и отрицательных, если отбросить условие ?>0), являющихся
моментами скачков. Эту последовательность и имеют в виду, когда гово-
говорят о равномерном распределении точек на бесконечном интервале или же
о «чисто случайной» последовательности точек на таком интервале.
Почти все выборочные функции сепарабельного пуассоновского процесса
непрерывны всюду, за исключением не более чем счетного числа точек,
и даже в этих точках разрыва у них существуют конечные пределы справа
и слева. Это утверждение верно также и для общего процесса с независи-
независимыми приращениями, но лишь после соответствующего центрирования
процесса. Это центрирование состоит в замене xt на я, —/(?), где f(t) —
некоторая функция от t, не зависящая от св.
§ 10. Процессы с некоррелированными и с ортогональными
приращениями
Пропесс {х,, t?T] называется процессом с некоррелированными при-
приращениями, если
Е{|*,-*„|»}< оо, «, t?T, A0.1)
и, каковы бы ни были значения параметра s1 <i,<sa<t2, приращения
xtl — xn и х1г — х^ некоррелированы друг с другом, т. е.
,- xsi) (xtl - хп)} = Е {*„- х,2} Е \xtl - *„). A0.2)

{ 10. НЕКОРРЕЛИРОВАННЫЕ И ОРТОГОНАЛЬНЫЕ ПРИРАЩЕНИЯ 95
G этими процессами тесно связаны процессы с ортогональными прираще-
приращениями, т. е. процессы, в которых выполнено A0.1), а A0.2) заменено на
*..)^-*.,)}-<). A0.3)
Если процесс xt имеет некоррелированные приращения, то процесс
у, = ж, - Е {*,}
является одновременно процессом как с некоррелированными, так и с ор-
ортогональными приращениями.
Если {хп, п > 0} —процесс с некоррелированными (ортогональными)
приращениями, то хп — х0 является га-й частной суммой ряда
оо
2 (Zm-Sm-l)
из попарно некоррелированных (ортогональных) случайных величин. Обратно,
если ух, уг, ... — попарно некоррелированные (ортогональные) случайные
величины и х0 — произвольная случайная величина, то величины
образуют процесс с некоррелированными (ортогональными) приращениями.
Практически название «процессы с • некоррелированными (ортогональными)
приращениями» применяют лишь в случае непрерывного параметра.
Если приращения процесса, удовлетворяющего A0.1), стационарны
в смысле вторых моментов, т. е. если
зависит только от t — s, то говорят, что процесс пмеет стационарные (в ши-
широком смысле) приращения. Элементарные вычисления показывают, что
в этом случае математическое ожидание
E{(xs-x,)(xu-xv)}
зависит только от разностей t — s, и—t, v — t.
Если процесс с некоррелированными или с ортогональными прираще-
приращениями является гауссовским, причем
и если, процесс действителен или же если (см. теорему 3.2)
то этот процесс имеет независимые приращения. Таким образом, процессы
с некоррелированными и с ортогональными приращениями являются про-
процессами с независимыми в широком смысле приращениями.
Если процесс имеет независимые приращения и если выполнено A0.1),
то этот процесс имеет также некоррелированные приращения. Таким обра-
образом, процесс брауновского движения и пуассоновский процесс, определен-
определенные в § 9, являются процессами с некоррелированными приращениями.
Их приращения являются также стационарными (как в широком, так и
в узком смысле).
Пусть {х,, t ? Т} — процесс с ортогональными приращениями. Тогда
можно определить функцию F (t) так, чтобы
s<t. A0.4)

9fi ГЛ. II. ОПРЕДЕЛЕНИЕ ВЕРОЯТНОСТНОГО ПРОЦЕССА
Например, мы можем выбрать некоторое ta?T и положить
Ftt) =
Функция F является монотонно неубывающей функцией и определяется соот-
соотношением A0.4) с точностью до постоянного слагаемого. Процесс {xt} имеет
стационарные (в широком смысле) приращения тогда п только тогда, когда
F(t) — F(s) зависит только от l — s. В стационарном случае обозначим эту
разность через /^(i —s), s < t. Тогда
Пусть 7\ — множество разностей t - s, где s, t?T a s<i. Тогда Fx является
монотонно неубывающей функцией, определенной на Tv удовлетворяющей
функциональному уравнению
Если Тх — интервал, то единственным монотонным решением этого функ-
функционального уравнения является
F1(s) = const, s.
Таким образом, если 7\ — интервал, то процесс {х,} имеет стационарные
(в широком смысле) приращения тогда и только тогда, когда
= a4 + const.
при некотором а>0.
Если {ж,} — процесс с некоррелированными приращениями, то можно
определить m{t) так, чтобы
Е {х, — хл} = пг @ — m (s),
!• тогда процесс xt — m(t) будет иметь ортогональные приращения.
Процесс брауновского движения, определенный в § 9, является про-
процессом со стационарными некоррелированными (и ортогональными) прира-
шениями. При подходящем выборе произвольных постоянных слагаемых
соответству5ощие функции m и F равны для него
Efo-a:0}«=m@=0,
Пуассоновский процесс, определенный в § 9, является процессом со ста-
стационарными некоррелированными (но не ортогональными) приращениями,
причем
Процессы с некоррелированными и с ортогональными приращениями
являются важным средством для изучения стационарных процессов. Они
будут поэтому изучены в гл. IX, раньше стационарных процессов, рассма-
рассматриваемых в гл. X и XI.
Нам будет иногда удобно записывать A0.4) символически в виде
E{|d*f •} = (

Глава III
ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
§ 1. Общие замечания
В этой главе рассматриваются только случайные величины с действи-
действительными значениями. Распространение результатов на величины с ком-
комплексными значениями не составляет никаких затруднений.
Как уже отмечалось в § 4 гл. II, процессы с взаимно независимыми
значениями представляют интерес только в случае дискретного пара-
параметра. Поэтому типичным процессом, рассматриваемым в настоящей главе,
будет последовательность я,, хг, ... взаимно независимых случайных вели-
величин. Из свойства независимости следует, что такой процесс полностью
задается одномерными функциями распределения случайных величин, соста-
составляющих этот процесс.
Одним из наиболее замечательных свойств изучаемых процессов яв-
является закон нуля или единицы, который будет часто применяться в сле-
следующих параграфах.
Теорема 1.1 (закон нуля или единицы). Пусть хг, хг, ...—взаимно
независимые случайные величины. Тогда для любого <ы-множества А, явля-
являющегося измеримым множеством выборочного пространства семейства
величин хп, xn.v ... при любом п, или Р{А} = 0, илиР{А} = 1. Для
любой, случайной величины у, измеримой относительно случайных вели-
величин хп, ?„,,, ... при каждом п, существует постоянная с такая, что
Эту теорему приводят обычно в следующей, несколько вольной форму-
формулировке. Пусть хи хг, ...—последовательность взаимно независимых слу-
случайных величин. Тогда, если Л —событие, зависящее для любого п только
от величин хп, xntl, ... , то вероятность Л равна или 0, или 1; точно
так же, если у для любого п с вероятностью 1 равно некоторой функции
от величин хп, xntl, ... , то y(a>)sconst с вероятностью 1.
Второе утверждение теоремы следует сразу из ,ее первого утверждения,
поскольку если случайная величина у удовлетворяет предположениям этого
второго утверждения, то ш-множество {у(<»)?А}, где А — любое борелевскоэ
множество, удовлетворяет условиям первого утверждения теоремы. Мы
будем Поэтому доказывать дальше только первое утверждение. Предполо-
Предположим, что а>-множество Л обладает указанным в формулировке теоремы
•.свойством и что S — класс измеримых ш-множеств М таких, что
Р{АМ} = Р{Л}Р{М}. A.1)
Тогда в соответствии с условиями нашей теоремы в класс Ч/ входит лю-
любое ш-множество, являющееся для какого-либо п измеримым множеством
выборочного пространства величин xv ... , хп. Пусть jFa - класс <о-мно-
жеств, каждое из которых является измеримым множеством выборочного
пространства величин хг, ... , хп хотя бы для одного п. Тогда ^-„ является
полем п, как мы только что показали, .;F0CI3. В класс 5 входят, оче-
очевидно, пределы любых монотонных- последовательностей множеств из 5,
а следовательно (см. дополнение, теорема 1.2), в него входит борелевское
поле, порожденное ,#г0. Ото борелевскоз поле совпадает с классо.\1 измери-
измеримых ш-множестп выборочного сространства величин xv xv ... . Поэтому

98 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Ag "&, так что
A.2)
откуда и следует, что Р {Л} = 0 или Р{А} = 1, что п требовалось доказать.
Предположение о взаимной независимости величин хп нужно нам
только для того, чтобы обеспечить выполнение A.1) при Mg./7,,. Если мы
отбросим предположение о независимости и будем считать только, что
Л - это измеримое ш-множество, для которого при каждом п с вероят-
вероятностью 1
P{A|*lt ..., *„}=
то при Мб-^о соотношение A.1) останется выполненным и доказательство
равенства A.2) будет проходить точно так же, как и в рассмотренном
выше частном случае. Заметим, однако, что даже в такой более общей
форме эта теорема является тривиальным следствием теоремы о сходимости
мартингалов (гл. VII, теорема 4.3).
Прежде чем рассматривать приложения закона нуля или единицы, мы
приведем пример, показывающий, как может обстоять дело, когда вели-
величины хп не взаимно независимы. Предположим, что с вероятностью 1
Тогда у — х1 удовлетворяет условию теоремы 1.1, но у не обязано быть
константой, так как величина хх может быть совершенно произвольной.
В качестве первого приложения закона нуля или единицы рассмотрим
следующую задачу. Пусть М,, М2, ...—измеримые со-множества. Обозна-
Обозначим через А множество точек со, содержащихся в бесконечном числе мно-
множеств М;.,
СО GO
А= n UM,.
Требуется вычислить Р{Л}. На менее прозаическом языке событий задача
состоит в вычислении вероятности того, что произойдет бесконечно много
событий (соответствующих множествам М^). Определим xt равенством
м f 1, обМ,,
'' * ' ( 0 в остальных случаях.
Тогда, очевидно, Л обладает свойством, указанным в формулировке тео-
теоремы 1.1. Если события, соответствующие множествам М^, не являются
независимыми, т. е. если не являются независимыми величины xjt то
Р{Л} может быть любым числом между 0 и 1. Однако если эти события
взаимно независимы, то в силу закона нуля или единицы Р {А} должно
равняться или 0, или 1. Следующая теорема, обычно называемая леммой
Бореля — Кантелли, дает критерий для различения этих двух случаев.
Теорема 1.2. Пусть М,, М2, ... —измеримые vi-мпожества, и пусть
К—множество точек, принадлежащих бесконечному числу М;. Если
5 Р{МЛ < аэ, то Р{Л} = 0. Если же 2^4^}= °° а если все М^ взаимно
независимы, отоР{А}=1. /
Если 2]Р{М;} < °°, то
P{A}<P{UMy}<Jp{M,}-».0 (п-юо), A.3)
п п
так что Р {А} = 0. Предположим теперь, что события М;- независимы. Так
как событие, противоположное событию А, состоит- в том, что при доста-

S 2. ряды 99
точно большом п не произойдет ни одно из событий М;- с />л, то
1-Р{А} = ПтР{ПМ;} = 11тЩ1-Р{М;.}], A.4)
п—>со n + i п—«эо п
где MJ — дополнение к М^. Если ^ Р(М;) = со, то бесконечное произведение
равно 0, откуда следует, что предел в правой части A.4) равен 0, и по-
поэтому Р{Л} = 1.
Обобщение закона нуля или единицы и леммы Бореля — Кантелли,
принадлежащее Леви, будет рассмотрено в гл. VII.
Приведем один результат, близко связанный с предыдущим. Пусть
Мг, М2, ... — множества, соответствующие независимым событиям. Пусть
N — математическое ожидание числа наступивших событий М;, т. е. мате-
математическое ожидание случайной величины, равной при каждом (о числу
множеств М;, содержащих со. Тогда
Мы хотим сравнить N с вероятностью Р того, что произойдет хотя бы
одно из событий М;.,
Из приводимых ниже неравенств следует, что N и Р стремятся к О
с одинаковой быстротой. Действительно, так как pt =P {М^}< P, то
P<N= 1р,.--= -2 [log A- р,) + О(р))]< - log П A-/>,) +Л'0 (sup/>,)<
> i 1 У
так что
§ 2. Ряды
Ключом к изучению сумм взаимно независимых случайных величин
является то обстоятельство, что, грубо говоря, частные суммы не могут
быть велики, если мала полная сумма. Этот факт выражают следующие
две теоремы.
Теорема 2.1. Пусть yv ... , уп— случайные величины, для которых
а
Х/ = У1+ ... +УГ
Totda для любого е. > О
Если, кроме того, с вероятностью 1
Е {У/1 Уи ¦ ¦ ¦ , y,-i) = 0, / > 1, B.2)
то
Pfmaxl^HI^X^- . B.1')
7»

100 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Первая часть теоремы является просто приложением хорошо извест-
известного неравенства Чебышева, которое можно здесь не доказывать. Допол-
Дополнительное предположение B.2), состоящее в том, что процесс xf яв-
является мартингалом (см. гл. II, § 7), заведомо выполнено, если величины
у, взаимно независимы, а принадлежащее Колмогорову доказательство
B.1') для случая независимых у} переносится без изменения и на общий
случай. Приведем это доказательство. Пусть | xw (со) | - первое из тех
|Zj(ci>)|, для которых | Xj (со) | > г, если только такие | а;, (ш)] существуют.
Тогда
a /— i .
Если определить теперь z;- равенством
2х} (со), v(co)=/,
О, v (ш) Ф /,
то интеграл от второго члена в скобках становится равным Е {z- (xn
и так как zi зависит только от ylt ... , ур то в силу B.2)
Следовательно,
,=1
что и дает нам искомое неравенство. Обобщение этого результата см.
в теореме 3.2 гл. VII.
Теорема 2.2. Пусть ylt ... , уп—взаимно независимые случайные
величины, и пусть xj = yl+ ... -\-уг Тогда если разности xn — xlt
хп — х2,... имеют симметричные распределения, то при любом Х>0
ц любом е > 0
п
2Р {хп (<о) > X + Щ - 2 X Р {Vj (®) > е} <
<Р{таха;Д@)>Х}<2Р{а;п(@)>Х}. B.4)
Правая половина втого двойного неравенства остается верной, если пред-
предположить только, что каждая из разностей xn — xk имеет нулевую ме-
медиану, но не обязательно распределена симметрично.
Ясно, что
Р{тахо;,»>Х, zn(a.)>X} = P{a;n(a.)>X}. B.5)
С другой стороны, используя предположения о симметричности и о неза-
независимости и обозначив через 2v(a>) первое из тех жДш), для которых
х, (ш)>Х (если такие z;-(a>) существуют), имеем
п-1 п-1
l{( ,()ЧИ) n()ft(
fc=l k=l
n-l
=fcl P {v (m) = A} P {irn (•) - xft (a>) < 0} =

f 2. РЯДЫ 1ГИ
n-1
=Лp {v (a>)=*• Xn (a>) ~ **(a>) > 0] <
П—1
<2P{v(») = i, a;n((i>)>X}<P{a;n((i))>X}. B.6)
Складывая B.5) и B.6), получим правое из неравенств B.4). Заметим,
что даже если хп — xh не имеет симметричного распределения, а всего лишь
у *=1 П-1,
так что
* {*»(«)-М»)>0}>Р {*„(«)-а* (<•)<<>}, 4 = 1, ... , л-1,
то неравенство B.6) остается выполненным (лишь в четвертой строке этого
неравенства надо заменить первый знак « = » знаком «<» и знак
«>» знаком «>»). В частности, .если каждая из разностей хп — хк имеет
нулевую медиану, то B.6), а следовательно, и правое из неравенств B.4)
останутся в силе. Чтобы получить другую половину неравенства B.4),
ваметим, что если Х>0 и е > О, и если каждая из разностей хп — xh рас-
распределена симметрично, то
Р{таха;До))>Х, яп(с
п-1 п-1
J P {v (со) = А, zn(ш) - а* (о.) < -в} -J P {z/ft (о)> е} =
J J
~ J,P {У
к (
п-1 п-1
-2 2
<в)>е}-2[|1Р{у|к(«)>в}. B.7)
Сложив B.5) и B.7), мы получим левое из неравенств B.4).
Правая половина неравенства B.4) является наиболее важной; левая
половина будет использована в этой книге только в гл. VIII. Имеется
один важный частный случай, когда может быть получена более точная
оценку. Если все у^ принимают только значения ± 1, с вероятностью х/2
для каждого из этих значений, и если iV —любое целое число, то
P{maxa;/(a))>iV} = 2P{a;n(a))>iV}-P{a;n(u,) = 7V}. B.8)
Неравенство B.8) доказывается при помощи небольшого видоизменения
неравенства B.6), основанного на следующей идее: если шаха;.(a>) >N,
где N — целое число, то существует первое из Xj(a>), скажем zv(«>),
равное N; при этом условии любая последовательность значений z;(u>)
(/= v * 1, ..., п), оканчивающаяся значением xn(w)<.N, имеет ту же
вероятность, что и та же самая последовательность, отраженная относи-
относительно прямой а; (со) = TV и, следовательно, оканчивающаяся теперь значе-
нвем хп (ш) > N (принцип отражения Д. Андре). Отсюда
Р{таха; (ct))>7V, хп („>)< Щ = Р {max х, (о) > N, sn (ш) > N)

102 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
а это последнее соотношение вместе с B.5) и дает B.8). Проведенная
только что оценка используется в задаче о разорении игрока. Рассмотрен-
Рассмотренный метод приложим, конечно, и к тому случаю, когда у^ принимают
только значения ± е (вместо ± 1), а отсюда всего лишь один шаг до полу-
получения оценки в предельном случае, когда параметр / меняется непрерыв-
непрерывно, т. е. величины z; заменяются на xt, и процесс xt становится процессом
брауновского движения. Существенным моментом в доказательстве являет-
является существование первого значения параметра, при котором достигается
значение X. Это значение существует, очевидно, и тогда, когда х, (ш) из-
изменяется, как выше, только на ± е, и X кратно числу е, и тогда, когда па-
параметр t непрерывен и выборочные функции являются непрерывными функ-
функциями от t (см. § 2 гл. VIII).
Теорема 2.3. Пусть yv у2, ...—взаимно независимые случайчие.
00
величины с дисперсиями а\, з\, ... . Тогда если ^] оД = о2 < оо и если ряд
со оо
2 Е{2/п) сходится, то ряд 2z/n — x сходится с вероятностью 1 и сходится
в среднем. При атом
Ь {уп}, Е{*•}-Е{х}* = с*, B.9)
B.10)
в если положить xn=^[yj — E{yJ}], то
П
Обратно, если l.i.m. J г/==а; существует, то ряды 2 °/ u 2 Щу
П-.ОО l" 11
сходятся.
По теореме 2.1 при фиксированном т
m<+r
Если е является точкой непрерывности функции распределения случайной
величины sup|2rn(ш) — хт(ш)|, то при г—*• оо отсюда следует, что
n>m
оо
Р {sup| xn (») -1Ж(») | >е} <-! 2 «}. B.12)
В силу соображений непрерывности это неравенство верно при всех е > 0.
Полагая е—»оо, найдем, что верхний и нижний пределы последовательно-
последовательности {жп} с вероятностью 1 конечны и
ОЭ
1 с}. B.13)'
Отсюда следует (если положить т—>оо), что эти нижний и верхний пре-
пределы с вероятностью 1 отличаются не больше, чем на 2г, где е > 0 произ-
произвольно и, следовательно, равны с вероятностью 1. Поэтому ряд
ОЭ
2 (Vj — Е [У]}) сходится с вероятностью 1, а так как по предположению сходит-

§ 2- РЯДЫ
. ся и ряд 2 Е {уА, то сходится с вероятностью 1 и ряд 2 у.. Неравенст-
1 1
во B.10) является частным случаем B.12) при т = 0 и жо = 0. Так как
lim E{|zn-zmH= lim 2 =5 = 0,
тп, ti~+oo mt и—»oo m+1
oo
то ряд 2 [у-—E {у,}] сходится в среднем, а это вместе со сходимостью
оо оо
ряда 2Е{2/} влечет за собой и сходимость в среднем ряда 2 2/у Сходи-
Сходимость в среднем обладает тем свойством, что из равенства Li.m. zn — г еле-
71—*СО
дует lim E [zj = E{z} и limE {zn} =E {z2}, и из этого общего свойства
П-.0О П-.ОО
оо
вытекает B.9). Обратно, если- У.уп = х в смысле сходимости в сред-
оо
нем, то в силу того же самого свойства /jEfeJ сходится к E{z}. Следо-
со
вательно, 2 [Уп~Е {?/„}] также сходится в среднем, то есть Li.m. хп сущест-
1 п—оо
вует. Наконец, проведенное выше вычисление Е [| хп — хт |2} показывает,
оо
что 2 °; < оэ-
1
Так как разности {yt — Е {у^} взаимно ортогональны, то доказанная
теорема может рассматриваться как теорема об одном очень частном клас-
классе ортогональных рядов; она является вариантом в узком смысле теоре-
теоремы 4.1 гл. IV.
оо
Теорема 2.3 означает, что сходимость в среднем ряда X у^ влечет за
собой сходимость этого ряда с вероятностью 1. Основной факт теории ря-
рядов из взаимно независимых случайных величин состоит в том, что почти
всякое ограничение на размах частных сумм ряда (например, требование
сходимости в среднем) влечет за собой сходимость ряда с вероятностью 1.
Прежде чем разобраться подробно в этом вопросе, заметим, что множество
выборочных последовательностей величин Хр для которых имеет место
сходимость, выделяется условиями, накладываемыми на х. при больших /.
Иными словами, здесь приложим закон нуля или единицы (теорема 1.1),
который утверждает, что сходимость (к конечному пределу) имеет место
или с вероятностью 1, или с вероятностью 0.
Пусть yv у2, ... — последовательность взаимно независимых случай-
со
ных величин. Если существуют постоянные cv с2, ... такие, что 2 (Уп — сп)
оо
сходится с вероятностью 1, то о ряде 2 Уп говорят, что он сходит-
сходится после центрирования с вероятностью 1, а постоянные clt c2, ... назы-
называют центрирующими константами. Если с[, с'2, ...—другая последова-
последовательность постоянных, то она будет последовательностью центрирующих
оэ
констант тогда и только тогда, когда ряд 2(сп~с'») сходится. Если ряд
I
i у„ сходится после центрирования с вероятностью 1 и если существуют

104 ГЛ. III. ПРОПВССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
СО
центрирующие константы ev с2, ..., для которых ряд 2; B/n ~ О сходит-
сходится с вероятностью 1 при любой перестановке его членов, то постоянные
с,, сг, ... называют абсолютно центрирующими константами. Если с[,
c'v ...—любая другая последовательность постоянных, то с) будут абсо-
абсолютно центрирующими константами тогда и только тогда, когда сходится
со оо
ряд 2 I сп ~ с'п | (так как ряд 2 (сп ~~ сп) должен в этом случае сходиться
при любой перестановке его членов). В теореме 2.6 будет показано, что
если существуют центрирующие константы, то существуют и абсолютно
центрирующие константы (и что суммы рядов, в которые входят эти кон-
константы, не зависят от порядка суммирования). В качестве примера рассмотрим
оо
случай, когда уп имеют конечные дисперсии с?, и 2°п<ос>- Тогда в силу
теоремы 2.3 математические ожидания Е{г/Х}, Е{г/2}, ... являются соот-
оо
ветствующими центрирующими константами. Так как ряд 2 °" сходится
1
при любой перестановке его членов, то это же самое верно и для ряда
А это значит, что Е^}, Е{у2], ... являются и абсолютно центрирующи-
центрирующими константами. С другой стороны, последовательность 0, 0, ... является
последовательностью центрирующих констант рассматриваемого ряда тогда
и только тогда, когда ряд 2Е{у„} сходится, и последовательностью аб-
абсолютно центрирующих констант тогда и только тогда, когда сходится
ряд ||Е{у„}|.
Даже в том случае, когда нет конечных дисперсий, центрирующие-
константы всегда могут быть выписаны явным образом. Например, теорема
2.6 дает выражение л-й центрирующей константы, зависящее только от
n-го слагаемого.
Следующая теорема представляет собой ослабленное обращение' теоремы
2.3 в той ее части, которая относится к сходимости с вероятностью 1.
Теорема 2.4. Пусть уи у2, ...—взаимно независимые равномерно-
ограниченные случайные величины, |г/п|<с, с дисперсиями а\, а\, ....Тогда
оо °°
если ряд 2 У сходится с вероятностью 1, то сходятся и ряды 2 °»
1 1
и
Пусть Фп и Фо, —характеристические функции, соответственно, уп и
оэ п
2 2/n= *¦ Так как распределение 2 У] сходится к распределению х, то>
п
П Фу (t) —> Ф (i) равномерно в каждом конечном интервале значений t. Ис-
1
пользуя неравенство A1.14) гл. I, получим, что

§ 2. ряды 105
правая часть этого неравенства конечна при достаточно малом t. Но тогда
со
в сипу теоремы 2.3 ряд У [уп — Е {уп}] сходится с вероятностью 1. Так как
со
о вероятностью 1 сходится также ряд 2 Уп> то должен сходиться и ряд:
2
Теорема 2.5 (теорема о трех рядах). Пусть уи уг, ... — взаимно не-
гависимые случайные величины, и пусть {ап}, {?„} — последовательности чи-
чисел, для которых
0 < jim ал< ПпГа„ < оо, \
I B.14)
О < lim?„<lim 6n < оо.
Положим
yn(со), если —ап^уп(со)<6„,
I cn e других случаях,
оо
еде sup\с\ < оо. /Три э/ииг условиях ряд 2 2/п сходится с вероятностьюV
п 1
тогда и только тогда, когда сходятся ряды
Если ряд 2 Уп сходится, то Нтг/п = 0, так что с вероятностью 1
1 п-»оо
Уп (ш) = Уп (ш) ПРИ достаточно большом п (зависящем от ш). Следовательно,
по лемме Бореля—Кантелли (теорема 1.2) сходится первый из рядов B.15).
Сходимость двух других рядов в B.15) доказывается применением теоре-
оэ
мы 2.4 к ряду 2 у'п, который также сходится с вероятностью 1. Обратно,
предположим, что все три ряда в B.15) сходятся. Тогда по теореме 1.2
с вероятностью 1 будет уп (ш) = у'п (ш) при достаточно большом п (завися-
щем от со), и поэтому из сходимости с вероятностью 1 ряда ^] уп, которая
имеет место, так как сходятся его средние и дисперсии, вытекает сходи-
оо
мость ряда 2 Уп-
Если ряд из взаимно независимых случайных величин после центри-
центрирования сходится с вероятностью 1, то вовсе не очевидно, что будет схо-
сходиться с вероятностью 1 после центрирования ряд из тех же слагаемых,
но расставленных в другом порядке. Однако на самом деле это верно и
может быть доказано различными способами. Например, мы покажем (тео-
со
рема 2.7), что ряд 2 Уп сходится с вероятностью 1 после центрирования
тогда и только тогда, когда сходится всюду бесконечное произведение, со-
сомножителями которого являются абсолютные значения характеристических
функцяы величин уп. Так как сходимость этого произведения не зависит
от порядка сомножителей, то, значит, и рассматриваемое нами свойство
оо
ряда 2 Уп не зависит от порядка суммирования. Другое доказательство

106 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
этого же факта основано на том, что из существования последовательности
центрирующих констант следует существование последовательности абсолют-
абсолютно центрирующих констант. Это утверждение содержится в следующей тео-
теореме.
Теорема 2.6. Пусть yv уг, ...—взаимно независимые случайные
оо
величины и пусть ряд 2 Уп после центрирования сходится с вероятно-
вероятностью 1. Тогда
(I) Существуют абсолютно центрирующие константы cv с2, ... .
Например, если тп—медианы величин уп, а>0 и
то мы можем положить .сп=Е{уп}. Если величины уъ уг, ... имеют
симметричные распределения, то последовательность О, О, ... является
последовательностью абсолютно центрирующих констант.
(II) Если cv c2, ... —абсолютно центрирующие константы, то с точ-
со
ностью до значений па множестве нулевой вероятности сумма 2. (Уп — О
не зависит от порядка суммирования, и для любой подпоследовательности
оо
Учп ряд 2:2/vn имеет постоянные с Vl, cVl, ... своими абсолютно центри-
центрирующими константами.
Доказательство утверждения (I). Пусть clt c2, ... — центрирующие
оо
константы для величин уп, так что ряд Л (уп — сп) сходится с вероятно-
1
стью 1. Тогда Ijm (тп — с„) = 0. Величины уп получаются в результате уре-
•зания величин уп — сп на а единиц выше и ниже их медиан тп — сп. При
больших п это примерно эквивалентно урезанию на а единиц выше и ни-
ниже 0. Такое урезание является одним из допускаемых теоремой 2.5; уре-
урезанное математическое ожидание при этом будет равно Е {уп} — сп. Согласно
оо
теореме 2.5, ряд 2 [Е {Уп} — сп] сходится. Поэтому величиныЕ {у[}, Е {у^}, ...
оо
являются центрирующими константами, и ряд ?.[уп — Е{уп}] сходится
с вероятностью 1. Мы используем в дальнейшем вытекающий отсюда факт,
* оо
что тп — Е{уп)—»0. Положим уп=°*уп — Е{уп]. Тогда ряд XL сходится
с вероятностью 1. Величина уп = Уп — Е{уп} получается из уп урезанием
ее вне интервала [тп — Е {уп} — а, тп — Е {у^} + а]. Так как тп — Е {у'п} —» 0,
то это урезание удовлетворяет условиям, накладываемым на ап, Ьп в тео-
теореме 2.5. В силу теоремы 2.5
2 р {кЫ ф Уп («)} < оо, | е {?;*} < оо.
Далее, очевидно, что Е{г/п} = 0. Так как написанные выше ряды сходятся
абсолютно и так как сходимость этих рядов ивляется по теореме 2.5 усло-
условием, достаточным для сходимости ряда из случайных величин уп, то ряд

§ 2. РЯДЫ 107
сходится с вероятностью 1 при любой перестановке его членов. Постоянные
E{2/J}, Е{у'„), ... являются, следовательно, абсолютно центрирующими кон-
константами. В частности, если величины уп имеют симметричные распределе-
распределения, то Е {уп} = 0 и последовательность 0, 0, ... является последовательно-
последовательностью абсолютно центрирующих констант. Отметим, что для любой подпо-
оо
еледовательности уЧп ряд 2 [Учп — Е B/vn}] сходится с вероятностью 1, ка-
каков бы ни был порядок его членов. В самом деле, ряды, сходимость ко-
которых нужно проверить, чтобы применить к рассматриваемому ряду теоре-
теорему 2.5, являются, очевидно, абсолютно сходящимися. Следовательно, для
со
любой подпоследовательности (j/Vn} ряд 2 2/vn имеет подпоследовательность
{Е {j/vn}} своей последовательностью абсолютно центрирующих констант.
Доказательство утверждения (II). Если с1( с8, ...—абсолютно цент-
со со
рирующие константы, то 2 I сп~Е {у'п} \ < оо. Любой ряд 2 У-т имеет ве-
величины cvi, cv., ... своими абсолютно центрирующими константами, так
со
как 2 !cvn~ Е {2/vJI < °°. и> как мы видели в (I), величины Е{у!/1},
Е {2/vib • ¦ • являются абсолютно центрирующими константами для этого
со
ряда. Наконец, для того чтобы показать, что сумма /. (уп—с„) не зависит
от порядка суммирования, достаточно показать это при сп = Ш{уп}, а после
этого можно воспользоваться тем, что не зависит от порядка суммирова-
со
ния сумма абсолютно сходящегося ряда S [с„ —Е {г/4}]. Таким образом,
1
мы должны доказать, что если nlt л2, ... —любая перестановка натураль-
натурального ряда чисел, то с вероятностью 1
Так как перестановка конечного числа членов ряда не меняет его суммы,
то мы можем, если это удобно, переставить члены ряда так, чтобы П/ = /,
/=1, ..., N, где N произвольно. Докажем сперва, что с вероятностью 1
Чтобь} доказать B.16'), достаточно доказать, что эти ряды имеют одинако-
одинаковый предел в смысле сходимости в среднем. Но это вытекает из сле-
следующей оценки (получающейся применением B.9) к величинам у}):
Тем самым B.16') доказано, после чего B.16) получается из следующего
соотношения:
< 2 р {ys («•) ф yi («)} + 2 р {к- («) ф у*, Н) =
N.+ l N+1 ' '
= 2 2 р [yt(«) ф у> И} -*о (л'-> «)•
«+1

108 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Мы воспользовались здесь тем, что, как отмечалось выше, можно считать-
tij = j при / <iV.
Отметим, что при доказательстве нашей теоремы не было доказано,.
со
что ряд 2B/п~сп) является с вероятностью 1 абсолютно сходящимся,.
и на самом деле это может быть и неверно. Следующая теорема дает кри-
критерии рая распознавания различных возможностей в терминах характери-
характеристических функций величин уп- Вводимые здесь критерии формулируются
при помощи некоторых бесконечных произведений. Напомним, что если
бесконечное произведение сходится, то его значение равно 0 тогда и только
тогда, когда обращается в 0 один из сомножителей этого произведения.
Например, если {Фп} — последовательность характеристических функций,
оо
то бесконечное произведение П | Фп (t) | имеет при каждом t некоторое опре-
определенное значение, даже если оно расходится при некоторых t. Значение
этого произведения равно 0 во всех точках его расходимости, а также
в любой другой точке, где обращается в 0 хотя бы один из сомножителей.
Теорема 2.7. Пусть yv ylt ... — взаимно независимые случайные
величины с характеристическими функциями Ф1( Ф2, ... .
оо
(I) Если ряд 2 Уп после центрирования сходится с вероятностью 1,
со
то П | Фп | является непрерывной функцией от t, равной 1 при t = 0, и это
•бесконечное произведение сходится равномерно на каждом конечном интер-
оо
вале значений t. Обратно, если П | Фп (t) | > 0 на множестве значений t
положительной лебеговой меры [или, несколько общее, если это бесконечное
произведение сходится на множестве значений t положительной лебеговой
оо
меры), то ряд 2 Уп после центрирования сходится с вероятностью 1.
1
оо
(II) Если ряд 2 Уп сходится с вероятностью 1 (т. е. если 0,0, ...
со
является последовательностью центрирующих констант), то П Фп схо-
сходится равномерно в каждом конечном интервале значений t. Обратно,
если это бесконечное произведение сходится на множестве значений t поло-
со
жительной лебеговой меры, то 2 Уп сходится с вероятностью 1.
1
(III) Если ряд 2 Уп сходится с вероятностью 1, каков бы ни был
1
порядок суммирования (т. е. если 0, 0, ... — последовательность абсолютно
оо
центрирующих констант), то ряд 2 I Фп~ Ч сходится равномерно в каж-
каждом конечном интервале значений t, причем последний ряд мажорируется на
каждом конечном интервале значений t сходящимся числовым рядом {т. е. вы-
выполнен критерий равномерной сходимости Вейерштрасса). Обратно, если ряд
CD
2|ФП~1| сходится на множестве значений t положительной лебеговой
оо
меры, то ряд 2з/п сходится с вероятностью 1, каков бы ни был порядок
суммирования.

§ 2. РЯДЫ 109
Доказательство утверждения (I). Пусть ряд 2 Уп после центрирова-
центрирования сходится с вероятностью 1, и пусть cv с2, ...—центрирующие кон-
аэ
станты. Тогда ряд 2 (Уп — сп) сходится с вероятностью 1, так что функ-
функция
N
п()
яри TV—> оо равномерно сходится в каждом конечном интервале к харак-
теристпческой функции случайной величины 2 (Уп~ сп)' Поэтому функция
П [ Фп | при N —> со сходится к своему пределу равномерно в каждом конеч-
оо
аом интервале, и П|ФП| непрерывно и равно 1 при ? = 0. Так как с вероят-
вероятностью 1
JV-»co N
ю и
оо
Iim П Ф (t} е—*Cri'= 1
N -со N "
равномерно в каждом конечном интервале значений /, так что бесконечное
произведение П|ФП(?)| сходится равномерно в каждом конечном интервале.
Обратно, предположим, что множество Ах значений t, при которых
со
П|Фп(г)|>0, имеет положительную лебегову меру. Так как Ф„( — 0 =
= Фп (t), то это множество симметрично относительно 0. Тогда существуют
¦ограниченное множество А лебеговой меры р > 0 и положительное число а
-такие, что
ЫП|ФП(О!>О, *
Положим
где тп — медиана случайной величины уп и а > 0. Тогда в силу неравен-
неравенства A1.8') гл. I
1 1
< -AL^a, p, a) \ log П |Ф„(/)|Л< оо,
в силу неравенства A1.9) гл. I, если у'п имеет дисперсию о^, то
со
г °°
1 4 А ° «

110 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Из теоремы о трех рядах (теоремы 2.5) теперь следует, что ряд
ОО . СО
2 [уп — Е {у'п}] сходится с вероятностью 1, т. е. что ряд У уп после центри-
центрирования сходится с вероятностью 1, что и требовалось доказать. Далее, пред-
оо
положим, что бесконечное произведение Г11 Фп | сходится на множестве А
1
значений t положительной лебеговой меры. Тогда
1нпП|Фп(г)| = 1,
так чтэ существует v, для которого П | Фп (г) | > 0 на множестве положи-
V
тельной меры Лебега. Следовательно, в соответствии с тем, что мы только что
доказали, ряд 2 Уп после центрирования сходится с вероятностью 1 и,
V
со
значит, то же самое верно и для ряда 2 Уп-
со
Доказательство утверждения (И). Если ряд У. уп сходится с вероят-
ностью 1, то lim ПФП существует равномерно в каждом конечном интер-
N—оо 1
ОО
вале (и является характеристической функцией величины У^ Уп)- Далее,
оо «о
так как lim У г/ =0 с вероятностью 1, то отсюда следует, что 11тПФп = 1
JV-ao N IV—co N
равномерно в каждом конечном интервале значений t. Следовательно,
CD
¦ бесконечное произведение П Фп сходится равномерно в каждом конечном
интервале. Обратно, если это произведение сходится на множестве А поло-
положительной лебеговой меры, то это же самое верно и для произведения
оэ
П| Фп|. Поэтому в соответствии с утверждением (I) существует последователь-
оо
ность констант {сп} такая, что ряд 2(Z/n~"cn) сходится с вероятностью 1.
со
Из только что доказанного следует, что П Фп \t) e~icn' является при всех t
со
сходящимся произведением. С другой стороны, ПФп@ сходится, по пред-
предположению, при t С А. Из совокупности этих двух фактов следует, что
со . се
2 сп сходится. Но тогда 2 Уп сходится с вероятностью 1, что и требовалось
1 1
доказать.
со
Доказательство утверждения (III)- Пусть ряд У_ уп сходится с вероят-
вероятностью 1. Определим у[, у'г< ... так же, как и в (I). Как мы только что
видели, усеченные математические ожидания Е {у[\, Е{у,}, ... являются
всегда абсолютно центрирующими константами. Еслп мы предположим, что
последовательность 0, 0, ... является последовательностью абсолютно иен-

§ 2. РЯДЫ 111
трирующих констант, то будем иметь
Обозначим cn=E{jfn} и ФпA) = ФпA)е-1сп1. Тогда, в силу неравенства
A1.10) гл. I,
сп\, \t\<T,
где
Мп (Т) = - 2L5 (Т, а, a, a) J log | Фп (s) | Л,
о
и а выбрано настолько малым, чтобы при 11 \ ¦< а имело место неравенство
оо
П1ф„@1> Vs- Так как
оо
то ряд 2 I фп—1| сходится равномерно на каждом конечном интервале,
1 оо
и применим критерий сходимости Вейерштрасса. Обратно, если ^_ | Фп - 11
1
сходится на множестве значений t положительной меры Лебега, то бесконеч-
со
ное произведение П Фп также сходится на этом множестве, так что, согласно
со оо
пункту (II), ряд 2 уп сходится с вероятностью 1. Так как 2l*n~4
сходится на этом множестве, каков бы ни был порядок суммирования,
оо
то и У уп сходится, каков бы ни был порядок суммирования, что и тре-
требовалось доказать.
Теперь легко вывести два следствия, из которых наиболее важным
является второз; что же касается первого, то оно будет использовано нами
лишь в гл. VIII.
Следствие 1. Пусть г/,, г/2, ...—взаимно независимые случайные
со
величины. Предположим, что ряд У.: у, сходится с вероятностью 1, каков
1 '
бы ни был порядок суммирования. Пусть Alt Аг, ... — непересекающиеся
множества натуральных чисел и А= (J А,. Положим Еп= 2 У,- Тогда
Ej, S2, ... являются взаимно независимыми случайными ' величинами
со со
в 2 Е„=Х г/;- с вероятностью 1, причем рассматриваемые ряды схо-
сходятся с вероятностью 1 независимо от порядка суммирования.
Ряды, определяющие Еп, сходятся с вероятностью 1 по теореме 2.6 (TI),
и Е,, Е2, ... являются, очевидно, взаимно независимыми случайными вели-
величинами. Пусть Ф;-— характеристическая функция величины у,. В силу
теоремы 2.7 (III) при всех t

-112 .гл. ш. процессы с взаимно независимыми значениями
Следовательно (доказательство используемого здесь неравенства см. в допол-
дополнении), при всех t
2 |П Ф,(*)-1|<2 2 |ф,(<)-1|<«,
п=1 /6An n=l >6Ап
и так как л-е из произведений слева является характеристической функ-
функцией величины ?п, то из этого неравенства, применяя снова теорему 2.7
аз
(III), получаем, что ряд 2 ^п сходится с вероятностью 1 независимо от
порядка суммирования. Разность между суммой этого ряда и 2 у., очевидно,
не зависит от у„ ..., уп при каждом л и, следовательно, по закону нуля
или единицы тождественно равна постоянной. Эта постоянная должна быть
нулем, так как две рассматриваемые суммы имеют одинаковую характери-
характеристическую функцию П ф.. Порядок сомножителей в этом последнем произ-
И.А.
оо
ведении не влияет на его величину, так как 2 |Ф. B) — 11 < оо.
Следствие 2. Пустьyvyit... — взаимно независимые случайные вели-
оо
чины. Тогда если частные суммы ряда 2 уп сходятся по распределению или по
1
вероятности, то этот ряд сходится с вероятностью 1.
Гак как из сходимости частных сумм по распределению следует, что
п
II Фу при л —»¦ оо сходится равномерно в каждом конечном интервале, и так
как сходимость по вероятности влечет за собой сходимость по распределе-
распределению, то это утверждение является частным случаем пункта (II) только что
доказанной теоремы.
Предположения следующей теоремы кажутся на первый взгляд несколько
искусственными, однако они оказываются часто выполненными (см. приложе-
приложение этой теоремы в § 6 гл. VIII).
Теорема 2.8. Пусть yv yit ...—взаимно независимые случайные
величины. Предположим, что существует случайная величина у, для
которой
У1+---+Уп+Ьп = У>
где Дп — случайная величина, не зависящая от случайных величин уг уп.
оо
Тогда ряд 2 У) после центрирования сходится с вероятностью 1.
Действительно, если Ф^ — характеристическая функция величины у{,
Wj - характеристическая функция величины 4^ и Ф — характеристическая
функция величины у, то
оо
Следовательно, П | Ф^ (t) | > | Ф (t) | > х/г при малых t, и искомый результат
вытекает из теоремы B.7) (I).
оо
При изучении сходимости ряда ]? yjt составленного из взаимно неза-
независимых случайных величин, иногда бывает удобно пользоваться методом
симметризации. Пусть у*, у%, ...—случайные величины, определенные

5 2. РЯДЫ Ш
таким образом, чтобы ys и у* имели одинаковые распределения и чтобы
все величины yv у*, у2, у*, ... были взаимно независимы. (Если задан-
заданное ю-пространство недостаточно обширно для того, чтобы на нем можно
было построить такую последовательность {у*), то это ш-пространство можно
расширить путем присоединения такой последовательности, как это описано
в § 2 гл. II.) Тогда характеристическая функция величины yi — у* равна
со
| Ф, |а. В соответствии с теоремой 2.7 ряд ^_ у- после яентрирования схо-
дится с вероятностью 1 тогда и только тогда, когда П | Ф; | сходится
равномерно в каждом конечном интервале значений t. В то же время ряд
СО СО
2 {У) — У*) сходится с вероятностью 1 тогда и только тогда, когда П | Ф^ |*
сходится равномерно в каждом конечном интервале значений t. Следова-
со
тельно, ряд ^ yt после центрирования сходится с вероятностью 1 тогда
со
и только тогда, когда ряд ^.(у, — у*) сходится с вероятностью 1. Для
со
ряда 2^ (у, — yf) совпадают вытекающие из теоремы 2.7 условия сходимости
с вероятностью 1 и сходимости с вероятностью 1 после нентрирования.
Введение величин у* позволяет свести изучение сходимости ряда у, к тому
частному случаю, когда характеристические функции слагаемых действи-
действительны и неотрицательны.
со
Тот факт, что сходимость ряда ^] (у} — yf) с вероятностью 1 влечет
со
за собой сходимость ряда 2. У] с вероятностью 1 после центрирования,
может быть также получен из теоремы 2.8 при
у=S {у, - у1), л» = ? у? + 2 B/, - »;)•
1 1 ™+1
Теорема 2.9. Пусть уи у2, ...—взаимно независимые случайные
велачины. Предположим, что при некотором К > О
Тогда ряд 2 У} после центрирования сходится с вероятностью, 1.
По предположению теоремы существуют в > 0 и возрастающая после-
последовательность {пт} положительных целых чисел такие, что
Пусть у*, у*, ...—симметрирующие величины такие, как мы только
что рассматривали. Тогда
v !11 [у, И - у* (¦»)] i -z 2а:| ;¦ р[\1у, (»); < А", | У у; (<г) | < Л'j > s=, n=nm.
т ¦ ..__,.. . _

114 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Если Ф;—характеристическая функция случайной величины yjt то
± \ П | Ф,- (О |* dt = ± \ dt\ e»a dP | ^ [у, («,) - j;
—о —со
По теореме Хелли существует подпоследовательность л1т п., . .. такая, что
последовательность функций распределения величин | ^_ {у},— yj), т>1|
сходится при всех X к некоторой ограниченной монотонной функции G.
Следовательно, так как подинтегральное выражение в последнем интеграле
предыдущего соотношения обращается в 0 при ). = ± со, то
. B.17)
Если ряд ^У} не является рядом, сходящимся после центрирования
с вероятностью 1, то по теореме 2.7 (I) интеграл слева обращается в нуль.
Но тогда
0=
>G(K)-G(-K-0)>z\
и это противоречие доказывает теорему.
Теорема 2.9 показывает, что если ряд ^_ а не сходится после центри-
п
рования с вероятностью 1, то распределение суммы У у^ уходит в бесконеч-
бесконечность. В этом случае, каковы бы ни были центрирующие константы с,,
с2, ... и число К ^ 0,
ИшР {|?(у,(«)-е,)|¦<*)=(),
п-м» 1 ' '
или, в другой записи,
lim sup
Входящая в это соотношение л-я верхняя грань является функцией от К,
п
измеряющей концентрированность распределения случайной величины ^.У,-
оо
Левп провел изучение рядов 2 У} из взаимно независимых случайных
величин, рассматривая такие функции концентрации, а Кавата развил эту
теорию, основываясь на рассмотрении средних от такпх функций.

5 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ 115
§ 3. Закон больших чисел
Пусть уг, у„, ... — случайные величины. Если при некоторых постоян-
постоянных av Ъх, а2, 62, ... предел
сушествует в смысле какой-нибудь сходимости, то говорят, что последова-
последовательность у\, у„, ... удовлетворяет закону больших чисел (с центриру-
центрирующими константами аг, аг, .. . и нормирующими константами 6О 62, ...).•
Закон больших чисел называют слабым законом больших чисел, если
сходимость в C.1) является сходимостью по вероятности1), и усиленным
законом больших чисел, если она является сходимостью с вероятностью 1.
Разумеется, всегда можно выбрать постоянные Ъ- настолько большими,
чтобы предел в C.1) существовал с,вероятностью 1 и равнялся 0.
В настоящем параграфе задача упрощается тем, что величины у^ пред-
предполагаются взаимно независимыми. В качестве первого примера, показыва-
показывающего важность этого предположения, заметим, что если Ъп —> со (пли даже
если Пт6п=со) и если предел а; в C.1) существует в смысле сходимости
П-юо
по вероятности, то случайная величина х не меняется при изменении
значений конечного числа величин у.. Следовательно, в соответствии с законом
нуля или единпцы (теорема 1.1) случайная величина х равна с вероятностью 1
тождественной постоянной. Выбирая соответствующим образом константы ajt
эту постоянную при желании можно сделать равной нулю.
Теорема 3.1. Пусть ylf y?, ... —взаимно независимые случайные
величины с характеристическими функциями Ф1; Ф2, . .., и пусть blt о„, . .. —
любые нр равные нулю постоянные. Тогда для того, чтобы существовали
постоянные ах, а2, ... такие, что
п
Plim^2B/;-a;) = °>. C-2)
необходимо и достаточно, чтобы равномерно в каждом конечном интервале
значений t выполнялось соотношение
11тП|Ф ,(*/&„) | = 1. C.3)
n-t-oo 1
Если C.2) 'выполнено, то распределение случайной величины, стоящей
под зна*ком предела, сходится при' л —> со к распределению, сосредоточен-
сосредоточенному в точке 0; следовательно, равномерно в каждом конечном интервале
значений I
lim ПО) (i/6n)e"Vbn=l,
и отсюда вытекает C.3). Обратно, предположим, что выполнено C.3)..
п
Пусть сп — медпана случайной величины J У<1Ьп- Положим
>=1
J) Термин «слабый закон больших чисел» не является общепринятым. Обычно-
в литературе на русском языке в случае сходимости по вероятности говорят просто
о «законе больших чисел» без всяких дополнительных уточнений. — Прим. ред.

'116 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Тогда в силу неравенства A1.8') гл. I при любом р > О
<-4L1(tl) а,
причем правая часть вследствие C.3) стремится к нулю при л—>оо.
Отметим, что предположение о равномерности стремления к пределу
в условии C.3) не было использовано прн доказательстве достаточности этого
условия. Мы будем применять иногда в дальнейшем следующий простой
п
факт, не выделяя его каждый раз особо: если существует lim — 5! У<>
п-»оо " ^
то limyJn=0. Действительно, в этом случае
п-юо
П—1
= lim - У. у. - lim - У. у. = lim *s .
n-»« " ^ ' n->=o " Y п->ос л
Если г/^ — случайные величины, то пределы здесь могут пониматься и как
plim, и как l.i.m.
Самым обычным является случай, когда Ьп — п, а^ = Е{а;;}, и предел
в C.1) равен 0. Если это так и если существует предел
п
lim i-2Е (»/}. C'4)
П-«Х>
то мы можем положить а^ = 0, и тогда предел в C.1) окажется равным
пределу C.4). Важной задачей является нахождение условий, при которых
закон больших чисел выполнен с такими константами. Например, пред-
предположим, что yv уг, ... — взаимно независимые случайные величины
1 п
с дисперсиями с*, а\, ... . Тогда среднее 2гп = -2 У, имеет математи-
математическое ожидание и дисперсию, равные
- \ C-5)
-¦> 2,°'- J
Следовательно, если
n
lim —^ 2, °5 == 0» C*6)
n-«o (
что имеет место, например, при oj <const., />1, то дисперсия величины хп
стремптся к нулю, т. е.

5 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ 117
Итак, в этом случае при ап = Е{уп), Ъп = п выполнен закон больших чисел
в смысле сходимости в среднем (а эта сходимость влечет за собой и сходи-
сходимость по вероятности). Верно и обратное: из C.7) следует C.6). Мы здесь
почти не использовали тот факт, что величины yf взаимно независимы,
и полученный результат оказывается на самом деле не сильнее соответству-
соответствующего результата в слабом смысле (теорема 5.1 гл. IV), когда предпола-
предполагается лишь, что i/j взаимно ортогональны. Можно, однако, доказать
и более сильные теоремы. Мы докажем сначала частичное обращение преды-
предыдущего результата, причем для полноты мы сформулируем снова и прямое
утверждение.
Теорема 3.2. Пусть ylt y2, ... —взаимно независимые случайные
величины с конечными дисперсиями о], а\, ... . Тогда соотношения C.7)
и C-6) могут выполняться только одновременно. Далее,
п
i-i-ni.1V B/^^) = 0 C.8)
тогда и только тогда, когда выполнено C.6) а когда
Шп^СЕ^Л-а^О. C.9)
Если существуют постоянные cv c2, ... такие, что
П-.ОО "
по
п
plhnj 2 (»,-«,) = О C.8')
тогда и только тогда, когда выполнено C.8).
Эквивалентность утверждений C.6) и C.7) уже была отмечена раньше.
Эквивалентность утверждения C.8) и утверждения C.6), взятого вместе
с C.9), вытекает из того, что
Из C?8) всегда следует более слабое утверждение C.8'). Пусть теперь
выполнено C.8') и |^|<с;, />1. Обозначим через Ф, характеристическую
функцию величины уг Тогда в силу теоремы 3.1
п
lim П ] Ф (tjn) | = 1
П-..СО 1
равномерно в каждом конечном интервале значений t. Применив нера-
неравенство A1.14) гл. I к yjn, получим, что

118 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Отсюда вытекает C.6), а следовательно, и C.7). Так как из сходимости
в среднем следует сходимость по вероятности, то из C.7) и C.8') вытекает, что
а из этого соотношения и из C.7) следует и искомое C.8).
Теорема 3.3. Пусть yv y2, ...—взаимно независимые случайные
величины и с —любая положительная постоянная. Если
п
lim У Р{уу (ш)| > сге} = 0 C.10)
и если случайные величины ynj, определенные равенствами
>(">), 12/,-НКсп,
I У/ НI > сл-
пмеют дисперсии Оп;- такие, что
п
1ш],Уо';-0, C.11)
П-СО 1 (
то
п
р Нт J_ у (у._а^) = о C.12)
для некоторых постоянных alt аг, ..., удовлетворяющих условию
lim~~—С с. \оЛо)
Обратно, если
п
plim— ^ ^=0, C.12')
Tt-*oo .
то при каждом с>0 верио C.10) и C.11).
Чтобы доказать первую половину теоремы, заметим, что
Р {Ущ П = У, (Ч /< л} > 1 - j Р {| ^ (со) | > ел},
так что в силу C.10)
п
plim—У (у, — !/п ) = 0. C.14)
П-*ОО
Далее, из C.11) следует (по теореме 3.2), что
71*ОО
Из этих двух соотношений вытекает, что

§ 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ Ц9
т. е. что при соответственным образом выбранных а^ верно C.12). Из C.12),
в свою очередь, следует, что
Так как, согласно C.10), "Р[\уп(ш)] > ел}—»0, то отсюда вытекает и C.13).
Обратно, предположим, что выполнено C.12'). Тогда если Ф; —характе-
—характеристическая функция случайной величины г/;, то равномерно в каждом
конечном интервале значений I
п
1шПФ,((/л) = 1. C.15)
п_*оо 1
Пусть а'п — медпана случайной величины уп. Тогда, так как в силу C.12')
plim2'5 = 0, то
Из неравенства A1.8') гл. I я из C.15) вытекает, что
а отсюда и из предыдущего соотношения следует при р < с утвержде-
утверждение C.10). Далее, если ynj определены так же, как в формулировке
теоремы, то, как мы уже видели выше, из C.10) вытекает C.14),
а из C.12') и C.14) следует, что
7=1
Соображения, по которым в доказательстве теоремы 3.2 был сделан переход
от сходимости по вероятности C.8') к сходимости в среднем C.8), приме-
применимы без изменения в данном случае и приводят к C.11).
Несколько усилив условие C.6), можно перейти от сходимости
по вероятности и сходимости в среднем к более сильной сходимости
с вероятностью 1. Для того чтобы упростить обозначения, мы положим
Е{»О
{,г
Теорема 3.4. Пусть ylt уг, ...—взаимно независимые случайные
величины с
Тогда если 2"^<^со' то с вероятностью 1
1
l.i.myi + -"+y-'=limy'+-+yi'=.Q. C.16)
В силу теоремы 2.3 из наших предположений следует, что ряд
Т '

120 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
п
сходится в среднем и с вероятностью 1. Далее, если ^„=2--, то
При л—> со второй член в правой части сходится к S как в среднем, так
и с вероятностью 1. Так как из обычной сходимости, а такжз и из сходи-
сходимости в среднзм некоторой последовательностп следует, что в том же
смысле и к тому же пределу сходятся средние первых п членов этой после-
последовательности (суммирование по Чезаро), то к S сходится и первый член
в правой части предыдущего равенства. Следовательно, предел левой части
этого равенства существует как в среднем, так и с вероятностью 1 и равен 0-
Несмотря на то, что при доказательстве этой теоремы мы существенно
использовали предположение о взаимной независимости величин у-, при
немного более сильных условиях на последовательность E{y*j, Е {?/*), ...
справедлив вариант в широком смысле этой теоремы (гл. IV, теорема 5.2),
в котором предполагается лишь, что величины г/; взаимно ортогональны.
Для сходимости ряда ^ ''¦> достаточно выполнения условия о„<const,
п>1; поэтому классические примеры закона больших чисел являютсн
частными случаями теоремы 3.4. Например, предположим, что
Р {у, (ш) = 1} = pf, Р {У/ (ш) = 0} = q, = 1 - р,.
Тогда
так что, согласно теореме 3.4, с вероятностью 1
Если все Pj равны между собой, Pj — p (схема Бернулли), то
u
если существует Iim — ^ Pf = P (схема Пуассона), то это соотношение
попрежнему остается в силе. Величина, стоящая под знаком предела,
на обычном языке схемы Бернуллп называется частотой успехов (числом
успехов за л испытаний, поделенным на л), и рассматриваемая теорема
в случае схемы Бернулли утверждает, что частота успехов при л—*со
с вероятностью 1 приближается к вероятности успеха в отдельном испытании.
§ 4. Безгранично делимые распределения и центральная предельная
теорема
Предположим, что случайная величина х представима в виде
..+Уп, D.1)
где случайные величины уг, ..., уп взаимно независимы. Это предположение-
не является ограничением на распределение величины х, так как мы всегда

5 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 121
можем положить у1 — х, у2 — ... — уп — 0. Если, однако, предположить
дополнительно, что величины у, малы, то D.1) окажется существенным
ограничением на величину х. Для того чтобы избежать рассмотрения
побочных вопросов о структуре соответствующих ш-пространств, мы будем
здесь формулпровать условия в терминах функций распределения и характе-
характеристических функций, а не в терминах самих случайных величин.
Функция распределения F называется безгранично делимой в обобщен-
обобщенном смысле, если для любого т) ¦> 0 функция F может быть представлена
в виде композиции функций распределения Fx, ... , Fn,
n{l-\-...-^x)dFn_x{\n_,), D.1')
где функции Fj (л) удовлетворяют условию
Если уг, ... , уп — взаимно независимые случайные величины с функциями
распределения Fx, ... , Fn, то их сумма будет иметь функцию распределе-
распределения F, прячем Р {J2/j (to) | > tJ < i , / < п. Отметим, что, за исключением триви-
тривиальных случаев, как л, так.и Fs будут зависеть от т)-
Очевидно, Ф является характеристической функцией безгранично дели-
делимого закона (в обобщенном смысле) тогда и только тогда, когда для
любого е > 0 функция Ф может быть представлена в виде
Ф=ПФ(, D.1')
где Ф, Фп —характеристические функции, удовлетворяющие условию
|1 — Фу@1<5 при 11\ <1/е;число л и функпии Ф будут, за исключением
тривиальных случаев, зависеть от е.
Функция распределения F называется безгранично делимой, если при
каждом л она может быть представлена в виде D.1') с /\ rs ... =^п, т. е.
если при каждом л ее характеристическая функция 1Р является л-й степенью
некоторой характеристической функции, Ф = WJ. Если 8 > 0 выбрано настолько
малым, что при 11 \ < о Ф (t) я 0, то ясно, что lim Tn (t) = 1 равномерно по
при |i|<o, а отсюда следует (см. § И гл. I), что limlFn(<) = l равно-
П- ОО
мерно в каждом конечном интервале. Таким образом, в рассматриваемом
случае Ф является характеристической функпией безгранично делимого
в обобщенном смысле распределения. Ниже будет показано, что и, обратно,
распределение, безгранично делимое в обобщенном смысле, является безгра-
безгранично делимым. Другими словами, будет показано, что дополнительное
требование, чтобы функции распределения F. в D.1') или характеристиче-
характеристические функции Ф;- в D.1") были одинаковыми, не представляет собой нового
ограничения на распределение суммы; выражение «в обобщенном смысле»
оказывается поэтому излишним и будет в дальнейшем всегда опускаться.
Прежде чем продолжить систематическое изложение, дадим несколько
простых примеров безгранично делимых распределений и получим для
каждого из этих случаев разложения D.1') или D.1").
а) Пусть данное распределение сосредоточено в единственной точке 7.
так что

122 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Тогда для любого п функция F является композицией п распределений,
каждое из которых сосредоточено в точке -\1п. При этом Ф (t) = (e'/T/n)n.
б) Пусть данное распределение гауссовскоэ, с математическим ожида-
ожиданием т и дисперсией о3. При каждом п оно является композицией п гаус-
совских распределений с математическими ожиданиями ^jn и дисперсиями
а2/ и; при этом
ф (Z) _ [ei/T/n е- A/2) = 2/2/п|п_
в) Пусть данное распределение нвляется распределением Пуассона:
Р{ж(ш) = и}= е-*"", /»=•(), 1 с>0. D.3)
Характеристическая функция Ф этого распределения дается формулой
1огФ(<)=е(в1'-1), D.4)
и Ф1 " является, следовательно, характеристической функцией того же
самого распрэделэния с с, замзнэнным hi с/п. Воэбще, если х имеет рас-
распределение D.3), то логарифм характеристической функции случайной вели-
величины ах ! b равен
itb + e(eia'-l), D.5)
так что (соответственным образом выбранный) корень п-а степени из этой
характеристической функции является характеристической функцией того
же самого распределения, но с а, Ь, с, замененными на а, b/п, с/п.
Мы покажем сейчас, что характеристическая функцпн '1> каждого без-
безгранично делимого в обобщенном смысле распределении даетсн следующей
формулой Леви, приводимой здесь в виде, приданном ей Хинчиным:
со
log Ф @ = 17*+ [ (eia -i-j~)^dG(K), D.6)
—со
где GQ.) — монотонно неубывающая ограниченная функция, а подинтеграль-
ная функция при X - 0 считается равной своему предельному значению— <2/2.
Прежде чем доказывать эту формулу, посмотрим, к чему приводит D.6)
в различных частных случаях:
а')
Здесь Ф(<) = е{'т и Ф является характеристической функцией безгранично
делимого распределении, рассмотренного выше, в примере а).
(О, Х< О,
В этом случае
и Ф является характеристической функцией гауссовского распределения со
средним значением i и дисперсией о2, рассмотренного выше в примере б).
f 0, \<- >о.
U, \>\, где ео>0, ).0^0.
Тогда

§ 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 123
и мы получаем пуассоновский случай, рассмотренный выше в примере в).
Отметим, что \, — значение X, при котором функция G делает скачок,—
является шагом соответствующего распределения Пуассона.
Так как подинтегральяая функция в D.6) ограничена и непрерывна,
то этот интеграл всегда существует. Далее, если — N = Х„ < ... < )-п = N
и если 111 4; Т, то
где К — наименьшая верхняя грань абсолютного значения подинтегральной
функции в D.6) по всем ). и \t\-CT, и -ц — максимально колебание подин-
подинтегральной функции на п интервалах (),0, >,,), ... , ()^_1( /.„) при |Z|-<7\
Если N достаточно велико, а тах(>^ —Х^_,) достаточно мал, то правая
часть этого неравенства будет при фиксированном Т меньше любого наперед
заданного положительного числа. Следавательно, функция log'l'(Z) может
быть представлена как предел последовательности функций, получаемых
при замене интеграла на соответствующим образом выбранные суммы Ри-
мана —Стпльтьеса, причем эта сходимость будет равномерной на каждом
конечном иятервале значений t. Так как аппроксимирующая сумма яв-
является логарифмом нзкоторой характеристической функции, а именно,
характеристической функции композиции гауссовских и пуассоновских
распределений, рассмотренных выше в примерах б) и в), то 1о»Ф, опре-
определенный равенством D.6), также является логарифмом характеристической
функции. Соответствующее распределение должно быть безгранично делимым,
так как A/и) log*!* задается той же самой формулой, но с ; и G, заменен-
замененными на т/л и Gin.
Теорема 4. 1. Каждое безгранично делимое распределение является
безгранично делимым распределением в обобщенном смысле, и наоборот.
Распределение является безгранично делимым тогда и только тогда, когда
его характеристическая функция Ф нигде не обращается в нуль и задается
формулой D.6), где G - монотонно неубывающая ограниченная функция
и т — действительное число.
Достаточно доказать, что характеристическая функция любого безгра-
безгранично делимого в обобщенном смысле распределения может быть записана
в виде D.6). Действительно, как мы уже отмечали, формула D.6) приводит
всегда к безгранично делимому распределению. По предположению, для
любого г > 0 мы можем записать Ф в виде
где Фв, —характеристические функции, удовлетворяющие неравенству
|1_Ф„@|<в при \t\ <1.
Минимальное число сомножителей п зависит от е. Если е< 1, то из этих
соотношений следует, что Ф (t) ^0 при \t\-Clj-, так что Ф (t) нигде не
обращается в нуль. Центрируем, как мы уже неоднократно делали, распре-
распределение, соответствующее Ф8;, при помощи усеченных математических ожи-
ожиданий: если FSj — функция распределения, соответствующая Ф!;-, то вычтем
центрирующие константы
mSj— a-0

124 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
где т,; —медиана распределения F,j, и получим новую функцию распреде-
распределения fitj{\) = F,f(X-\- mt),j). Тогда, если Фву — характеристическая функция
центрированного распределения, то мы будем иметь
„()
i
где 7«~сУмма центрирующих констант. Положительное число а будем
в дальнейшем рассуждении считать фиксированным. Ясно, что при е —* О
центрирующие константы каждого из отдельных распределений равномерно
стремятся к 0, так что, изменив, если нужно, обозначения, мы можем
предполагать, что
Мы будем использовать дальше обычные обозначения о а О, причем речь
здесь всегда будет идти о предельном поведении при г—>0 функций от t
равномерно на конечном интервале значений t. Тогда
log Ф (г) = «?. + X bg Ф„-@ =
= «7. + 1[(&.>(О-1) + 0(|Ф.,-1|%
и в силу неравенства A1.10) гл. I при е< \\Т
Г, а, 1, 1) \ log\Ф(з) 1^=0A), |<|<Г.
так что
bg ф (о = й7.+Y [ф.у (о -1]+о A).
>¦
Далее, используя неравенства A1.8) и A1.9) гл. I, найденное в § 11 гл. I
выражение для L1 и только что полученную оценку для logO, получаем,
что если F, =¦ ^_ /"bj, to
0 i
о /
1/11
\ A) D.7)

§ 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 125
здесь в первом неравенстве оценка о A) равномерна по t, ц при 111 «С Т, 1/{* <; Т
и любом фиксированном Т, во втором неравенстве оценка оA) равномерна
по t при |г|<Г и фиксированном а. Функция Gs, определенная равенством
G.(X)= ( j^-dAts),
—ао
монотонна по \ и в силу D.7) и D.8) равномерно ограничзна. Далее, из
D.7) следует, что
lim G, (к) = G, (± оо)
Х-»- ± оо
равномерно по г, когда г —> 0. По теореме Хелли можно найти стремящу-
стремящуюся к нулю последовательность ех, е2, ... значений параметра г, для кото-
которой Gb('k) —*G(k) при г. :; X, где G - монотонная ограниченная функция;
при этом, ввпду только что отмеченной равномерности предельного перехо-
перехода, G( — co) = 0, (?(oo) = lim G,h(oD). Далее, перейдя от F. к Gs, можно
представить logФ в виде
\ ^^g D.9)
— JO
где
Если е—»0, пробегая значения гк, то интеграл в последнзц строке фор-
формулы D.9) стремится к интегралу в D.6) равномерно в каждом конечном
интервале значений t (о предельном переходе под знаком интеграла Стиль-
тьеса см. в § 11 гл. 1), и так как левая часть D.9) не зависит от е, то т,'к
должно сходиться к некоторому пределу т. Это завершает доказательство.
Для дальнейшего нам будет полезно установить, что соотношение D.6)
однозначно определяет величину f и функцию G по функции Ф (если до-
допустит», что функция G нормирована требованием непрерывности справа
и обращения в 0 в точке — оо). Чтобы показать это, заметим, что
D.10)
где Н — монотонно неубывающая и ограниченная функция. // можно рас-
рассматривать как «функцию распределения», соответствующую «характеристи-
«характеристической функции» logu> —у \ \о&Ф (s)ds, а поэтому функция Я, а следо-
следовательно, и G, однозначно определяется функцией Ф. Постоянная т также

126 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
определяется однозначно, так как она равна разностп между log® и интег-
интегралом, входящим в D.6).
Отметим, что при выводе D.6) у нас на первый взгляд был некоторый
произвол в определении функции G, так как эта функция определялась'
как предел некоторой последовательности функций G_k и поэтому казалось
возможным, что различные последовательности могут давать различные
пределы. Однако так как теперь показано, что если G( — со) = 0, то фуик-
цпн G однозначно определяется функцией Ф во всех своих точках непре-
непрерывности, то отсюда следует, что все последовательности G,h могут иметь.
только один и тот же предел G, т. е. что lim G, (>>) = (? (I) во всех точках
«-»о
непрерывности функции G. Аналогично lim -ji = f-
• -> о
Важнейшим частным случаем является тот, в котором G постоянна
всюду, за исключением точки 0, где она делает скачок; в этом случае
безгранично делимое распределение оказывается гауссовским. Приводимое
ниже следствие дает для этого достаточное условие.
Следствие 1. Ьслидля любого -ц ^ 0 функция распределения F может
быть записана в виде D.1'), причем
то функция распределения F является гауссовской.
Только что наложенное на F условие много сильнее условия безгра-
безграничной делимости. Чтобы доказать это следствие, проследим доказательство
предыдущей теоремы, используя при этом сделанное теперь предположение.
Функция Ff, входящая в формулировку следствия, соответствует функ-
функции F,_j, использованной при доказательстве теоремы, п поэтому в доказа-
доказательстве теоремы мы можем считать, что для любого ч\ > О
если е достаточно мало. Если т] «с 1/2, то |те;|<т) и | тО1,\ < т)B-|-а)..
Поэтому из условия, наложенного на Fej, вытекает следующее условие
на Д:
Таким образом, «распределение» /е при малом г все более концентрируется
вблизи 0. То же самое верно и для распределения G,, так что G должно
.'¦у,ь всюду постоянно, за исключением возможного скачка при Х = 0.
Поэтому первоначальное распределение является гауссовским. (Мы считаем
случайную величину, равную тождественно постоянной, гауссовской слу-
случайной величиной с дисперсией 0.) Покажем еще, что предположения рас-
смотренвого здесь следствия действительно могут выполняться, так что
оно lie является бессодержательным. В самом деле, если х — гауссовская
случайная величина, с
то мы можем представить х в виде х=? у,, где w,, ..., уп — взаимно-
1 '
независимые гауссовскне величины с
Е{у,}=0, Е {»}} = -?.

§ 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 127
Тогда
^|,И1 |И1= -??=- \ е-^'^'Л —0, п-^оо.
1 г, V »
На языке случайных величин это следствие утверждает, что если случайная
величина х может быть представлена в виде суммы взаимно независимых
п
случайных величин, х = ]>_ у-, так, чтобы при сколь угодно малых ^выпол-
^выполнялось неравенство Р {max | г/;. (ш) | ^ i,} < т;, то величина х является гаус-
совской. Действительно, условия
1 р И У) (ш) I > ^ < V п р {max | yt (ш) | > т]} .4 ц
являются эквивалентными, так как (см. § 1) вероятность появления хотя бы
одного из некоторого набора независимых событий (в нашем случае событий
I У; (ш) I > 'i) стремится к нулю одновременно с математическим ожиданием
числа их появлений.
До сих пор мы брали заданное распределение и исследовали, какие
ограничения накладывает на него предположение, что оно является компо-
композицией распределений, сконцентрированных около нуля. Несколько более
общий вопрос состоит в следующем. Предположим, что случайные величипы
уи ¦ ¦ ¦, уп взаимно независимы и малы,
Р{|У,»|>е}.<е, /=1, ..-, п.
Спрашивается, что можно тогда сказать об асимптотическом поведении
распределения их суммы х. Если Ч'е/— характеристическая функция рас-
распределения ьеличины у. и Ф3 — характеристическая функция распределения
величины х, то
Разница между этим п изученным выше случаем состоит в том, что левая
часть последнего равенства может зависеть от уг Однако мы можем все же
использовать обозначения и метод, примененные при доказательстве теоре-
теоремы 4.1. Это доказательство показывает, что если величины у} выбираются
так, чтобы при е —^ 0 случайная величина х имела предельное распреде-
распределение, то это предельное распределение задается формулой D.6) и, следо-
следовательно, является безгранично делимым. В частности, если заданное рас-
распределение может быть аппроксимировано безгранично делимыми распреде-
распределениями, то оно может быть аппроксимировано и композициями распреде-
распределений малых случайных величин г/; и, следовательно, также является
безгранично делимым. Мы получили, таким образом, следующий результат:
Следствие 2. Распределение, предельное для последовательности
безгранично делимых распределений, само является безгранично делимым.
Используя D.10), нетрудно показать, что функции G, соответствующие
аппроксимирующим распределениям (определение G см. в D.6)), сходятся
к функции 6г, соответствующей предельному распределению, во всех точках
непрерывности последнего, если только все эти функции нормированы пред-
предположением, что они равны 0 в точке —оо.
С этой точки зрения очень естественной является теорема о том,
что распределенпе суммы большого числа взаимно независимых малых
случайных величин близко к некоторому безгранично делимому распреде-
распределению, параметры которого ] i G могут быть выражены через эти слагае-
слагаемые. Доказательство этой теоремы можно провести так же, как и дока-

128 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
зательство теоремы 4.1, однако при этом встретится одна дополнительная
трудность. В теореме 4.1 распределение суммы было дано заранее. Поэтому
правые части неравенств D.7) и D.8), в которые входит характеристическая
функция этого распределения, были фиксированными. Но при нашей новой
точке зрения функция Ф в этих неравенствах уже не фиксирована, и иа
самом деле мы хотим изучить асимптотическое поведение Ф при малых г.
Поэтому требование ограниченности левых частей неравенств D.7) и D.8)
должно содержаться в самом условии теоремы. Мы ограничимся случаем
гауссовского предельного распределения, т. е. случаем, когда функция G
в D.6) постоянна, за исключением скачка при к = 0, и докажем тем самым
один из вариантов центральной предельной теоремы (центральная предель-
предельная теорема — это общее название, применяемое к любой теореме, утвержда-
утверждающей, что суммы малых случайных величин имеют, при соответствующих
ограничениях, приблизительно нормальное распределение).
Теорема 4.2. Пусть х = ух г ... + уп — сумма взаимно независимых
случайных величин. Пусть, далее, ij, а, Ь — положительные числа, причем
1/Ь < о <^ Ь. Положим
-а-0
-а-0
Предположим, что о2<Ь и что
Тогда существует постоянная tj,, зависящая только от tj, b и стремя-
стремящаяся к 0 при 1) —* 0 и фиксированном Ъ, такая, что
Tjl, -co<X<co. D.12)
Обратно, если х — ух-\- ¦.. +j/n является суммой взаимно независимых
случайных величин с нулевыми медианами, щ, а, Ь — положительные числа,
причем 1/6 <t<i, в ] в о определены так оке, как и выше, если
-^4=- \ е-^2~2^|<7), -оо<Х<оо, D.12')
причем )т|<Ь, *o2<bt то существует т{, зависящее только от Ъ и -ц и
стремящееся п 0 при tj—*• 0 и фиксированном Ь, такое, что
?М 1я1-»'ич'. It-tI-4 4'. D.14)
i
Условие D.11) можно заменить асимптотически эквивалентным усло-
условием
Р {max|^(м)) I^tjXt,. D.11')
Чтобы показать, насколько простым является прямое утверждение тео-
рзмы, мы докажем его, не, прибегая к методам, развитым в теореме 4.1.

5 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 129
Определим y'j равенством
*(ш)-{о. |„/(.)|>..
так что
т,=Е{2/;}, ej=-E{(y;-Ty)*}.
Мы предположим теперь -ц настолько малым, что
^<ТA^Ж<2ТТТ^)<2-(ГМ)- DЛ5)
Тогда
|Т,-1<Ч + ««Р{|У>И1>
< ^ + 4а*Р {| у, (а.) |
так что
2 Е {| 2/; - Т; I3} < П B + Ь) а2 + 8Л, < ч [B + Ь) Ь»'+ 8Ь3] = bl4.
Если обозначить теперь через Ф;. характеристическую функцию разности
г/;' — 7;-, т0 в соответствии с неравенством A1.4) гл. 1 при п — 3 будем иметь
"'' 6 •
Если Т > 0, то при достаточно малых т\
шах —~т" + 1
и мы можем поэтому положить
где
Далее, если Ф — характеристическая функцня суммы 2(У/~Т>)> т0
D.1В)
61Т|Г» 1 ^ ЬТ
так что сумма в D.16) стремится к 0 при ij—*0 равномерно пэ t для
|i|<r. Следовательно, сумма ^2_(у)—т;) асимптотически нормальна при
т)—>0 со средним 0 и дисперсией о2. Так как
то распределение суммы X (у;- — 7;) совпадает асимптотически (при т) —*0)
с распределением суммы \(у) — ~ц), чем и завершается доказательство пер-
первой половины теоремы 4.2.
9 Дж. л. д7б

Ш ГЛ. Ш. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
Пусть теперь выполнены условия обратного утверждения теоремы. Мы
предположим, что т)—*0 по некоторой последовательности значений, что
при каждом значении i] определена соответствующая условиям теоремы
сумма х и что задано число ij', и докажем, что тогда при достаточно малых -ц
выполнено D.14). Если Ф — характеристическая функция случайной вели-
величины х, то по предположению теоремы характеристическая функция Фе-'/т
асимптотически совпадает с е~'2B/2 . С другой стороны, соображения, исполь-
использованные при доказательстве теоремы 4.1, могут быть применены и в этом
случае, и они показывают, что Фе~"т асимптотически совпадает с некоторой
характеристической функцией, задаваемой формулой D.6). (Мы можем пред-
предположить, что г и о2 асимптотически приближаются к конечным предельным
вначениям.) Тогда функция G в D.6) должна быть постоянна всюду, за
исключением точки 0, где она имеет скачок. В соответствии с проведенным
нами выводом соотношения D.6) это означает, что
стремится к нулю при ij —*0. Так как |?. | <ij A + 6), то отсюда следует,
что если т) настолько мало, что т) A -\-Ь) < ц'/2, то
Теперь из доказанного раньше прямого утверждения теоремы следует, что
]L (У ~~ Ij) асимптотически нормальна со средним 0 и дисперсией о2, так
что 1 и оа будут асимптотически совпадать, соответственно, с f и о2, что и
требовалось доказать.
Мы рассмотрим сейчас два полезных частных случая только что дока-
ванной теоремы. Чтобы иллюстрировать возможные методы доказательства,
мы первый из этих частных случаев (теорему 4.3) получим здесь независимо
от теоремы 4.2; второй же частный случай (теорема 4.4) будет выведен^
как следствие из теоремы 4.2.
Теорема 4.3. Пусть ylt y2, ...—независимые одинаково распреде-
распределенные случайные величины, имеющие конечную дисперсию о2. Тогда после-
последовательность случайных величин
является асимптотически аауссовской с математическим ожиданием О
и дисперсией о2, т. е. равномерно по \
Действительно, если Ф — характеристическая функция случайной вели-
величины у{ — E{j/j}, то в силу соотношения A1.4) гл. I мы имеем
так что при достаточно малом t
log Ф (г) =--??

i 4. РЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 131
я
Характеристическая функция величины ._ ^] [т/^ — Е {у^]] равна
". и
Так как этот логарифм сходится к —а-^- равномерно в каждом конечном
интервале, то теорема доказана.
В заключение приведем принадлежащий Ляпунову знаменитый вариант
центральной предельной теоремы, имеющий широкую область приложений.
Теорема 4.4. Пусть ух уп —взаимно независимые случайные
величины. Предположим, что Eh/} = 0 и что при некотором 8>0
Е{|2/;-|2+!} = с;< оо.
Определим Вп и Сп равенствами
Тогда, если Вп > 0 и если
то
где оA)—* 0 при s—*0 равномерно по X и по всем допустимым распреде-
распределениям величин уу.
Заметим, что
«Э = Е {$} < е»/B+«) < t2/B+») Sn, / = 1, ..., п,
откуда (суммируя по /) получаем, что
и>е-2<2+8>,
а это значит, что при малом s велико число слагаемых у^.
Используя соотношение A1.4') гл. I, легко доказать теорему 4.4 прямым
методом, так же как была выше доказана теорема 4. 3. Однако поучитель-
поучительнее будет вывести теорему 4.4 из общего результата, содержащегося в тео-
теореме 4.2. Мы применим теорему 4.2 к величинам г/,Вй'/21 ¦¦-, Уп^п1'г- За-
Заметим прежде всего, что из очевидного обобщения неравенства Чебышева
на степень с покааателем 2 + 8 следует, что для любого т\ > О
'
если е<тK+*. Таким образом, в рассматриваемом случае условие D.11)
удовлетворяется при достаточно малом е. Остается вычислить усеченные
математические ожидания н дисперсии, используемые в теореме 4.2. Мы
имеем

132 ГЯ. ITT. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
так что
г
П
Аналогично,
4=
Следовательно, поскольку |т;|<а,
Таким образом, наша теорема следует из теоремы 4.2.
Чтобы показать, насколько широка область применения этой теоремы,
заметим, что если, например, г/,, у2,.г- —взаимно независимые случайные
величины с Е {?/.} = О, E {| у f+°}-^K для некоторой постоянной К и если
дисперсии величин у} равномерно больше нули, Е{у]}>сг > 0, то последо-
последовательность случайных величин
асимптотически нормальна при п —* оо со средним 0 и дисперсией 1. Дей-
Действительно, в этом случае с^К и отношение, входнщее в условии теоремы
Ляпунова, стремится к нулю:
л
§ 5. Стационарный случай
В настоящем параграфе мы будем предполагать, что случайные вели-
величины xv хг> ... взаимно независимы и одинаково' распределены. Первая
теорема, которую мы сейчас докажем, представляет собой вариант усилен-
усиленного закона больших чисел, соответствующий этому случаю.
Теорема 5.1. Если хь хг, ...—взаимно независимые случайные вели-
величины, имеющие одинаковую функцию распределения, причем ? (j х^ |} < оо,
то с вероятностью 1
lim *, + ¦¦•+* =E{Xih EЛ)

§ 5. СТАЦИОНАРНЫЙ СЛУЧАЙ 133
Прежде чем доказывать эту теорему, заметим, что при Е [х]} < оо ваша
теорема является частным случаем теоремы 3.4 с с? = с'= ... . Для дока-
доказательства теоремы в общем случае определим величины х'п равенствами
, \хп(ш)\>п.
Мы докажем сперва, что с вероятностью 1 х) (ш) = х> (ш) при всех достаточно
больших /. Действительно, согласно лемме Бореля — Кантелли, это следует
из того, что
I Р [X] (Ш) Ф X . (<о)} = 2 Р {| *! («) | > /} =
j 1
S
2
Следовательно, с вероятностью 1
Рассмотрим поэтому сначала средние арифметические величин а:;-. Мы имеем
2 0
6
Из теоремы 3.4 теперь следует, что с вероятностью 1
п
limi-^W-E {*,']] = 0,
так что с вероятностью 1
п
!im4-2K-EW}]=o.
п—*оо
Так как Dm Е{дтУ ^Ef^}, то и
Сопоставляя это соотношение с предыдущим, получаем желаемый результат.
Последовательность независимых одинаково распределенных случайных
величин соответствует физической картине многократно повторяемого экспе-
эксперимента (причем рассматриваются какие-то численные результаты этого
эксперимента). Теория вероятностей создавалась первоначально для изучения
возникающих при этом явлений, и при обсуждении вопросов обоснования
теории вероятностей обычно рассматривают именно схему повторных неза-
независимых испытаний, осуществляемых в одинаковых условиях. Есть два факта,

ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
поражающих каждого, кто производит фактически повторные эксперименты.
Любой математический анализ схемы повторных испытаний должен содер-
содержать теоремы, соответствующие этим двум фактам.
А) Из опыта хорошо известно, что при большом п выборочное среднее
{[х1(ш) -f- • • • + хп (а))]/л} испытывает лишь малые ко;гебания. Математически
этот факт выражает теорема 5.1.
Существование предела E.1) не может быть, конечно, проверено
на опыте, так как для этого нужно было бы произвести бесконечное число
испытаний. В действительности, наблюдения экспериментатора a priori
не могут быть настолько точными, чтобы они позволили ему требовать
от теоретика существования в теоретической модели последнего предела E.1)
с (математической) вероятностью 1. Конечно, очень приятно, что этот предел
существует в таком сильном смысле, однако ие было бы ничего страшного,
если'бы он существовал лишь в каком-нибудь более слабом смысле, скажем,
в смысле сходимости по вероятности.
Б) Из опыта известно также, что если ие учитывать вовсе результаты
некоторых испытаний, то выборочные средние все равно будут приближаться
к тому же самому значению. Например, если экспериментатор уйдет пообе-
пообедать, оставив свою аппаратуру действующей, и при этом нет никакой
системы автоматической записи результатов наблюдений, то значения х.,
соответствующие обеденным часам, окажутся безвозвратно потерянными;
однако если просто игнорировать эти значения и учитывать лишь значе-
значении X:, полученные в присутствии экспериментатора, то от этого значение,
около которого лежат выборочные средние, не изменится. И, вообще, это
значение не изменится, если экспериментатор будет игнорировать некоторые
испытании не только из-за внезапных приступов го-тода, или скуки, или
любви, или из-за каких-либо других не относящихся к делу причин
(ничем не связанных с этими испытаниями), но будет иногда игнорировать
некоторые испытания, учитывай предыдущие результаты, например из-за
отвращения, вызванного этими результатами. Другими словами, можно
допустить, что критерий, согласно которому учитывается пли отбрасывается
некотороз испытание, зависит от результатов предыдущих испытаний.
Математически это можно выразить следующим образом. Пусть х1 (ш),
хг(ш), ...—полная последовательность (первоначальных) выборочных зна-
значений, и пусть х[(и>), х'г{ф), ... — те из а^(ф), которые оказались в дей-
действительности учтенными. Тем самым предполагается существование после-
последовательности целых чисел пх < п% < ... такой, что х] = хп ¦ числа iij
могут быть случайными величинами. При этом экспериментатор может
выбирать учитываемые испытания, т. е. числа Пр основываясь на отсут-
отсутствии аппетита, на предчувствии того, что эксперимент пройдет удачно,
на результатах предыдущих испытаний и на любых других соображениях.
Мы не разрешаем ему, однако, предвидеть будущее. Это значит, что после
того, как выяснилось, что x^_i (ш) = хпк х(..>) («>), выбор следующего учитывае-
учитываемого значения Xj(u>) основываетсн'только на ранее произошедших событиях,
т. е. условие л;- (ш) = v является условием только на величины хи ..., xv_j.
В принятой в настоящей книге терминологии хх, хг, ... являются случай-
случайными величинами, пи пъ, ...—целозначнымп случайными величинами,
и ш-множество {n;(u>)=v} отличается нз более, чем на ш-множество вероят-
вероятности 0, от некоторого ш-множзства вида [а;1(а)), ..., xv_( (ш)] ? А, где А —
(v —1)-мерное борелевскоэ множество. Вопрос сводится, таким образом,
к соотношению между старыми случайными величинами я,, хг,... и новыми
величинами х[, х'г, ..., где х) — хп.. Мы предположим, что таким способом
определена Лг<оо новых случайных величин х\, х'г, ..., и предположим
также ради некоторого упрощения рассуждений, что каждое rij ana опре-
определено с вероятностью 1, или не определено вовсе.

5 5. СТАЦИОНАРНЫЙ СЛУЧАЙ 135
На освяшенном веками, языке игр величины Xj можно рассматривать
как числа, появившиеся в результате какой-нибудь игры, причем игрок
применяет некоторую «систему игры» для выбора туров, в которых он
участвует. Например, если ж; может принимать два значения 0 и 1, соот-
соответствующих выпадению красного и черного в рулетке, то х[ может быть
результатом следующего тура после появления первой единицы, х\~резуль-
х\~результатом следующего тура после появления двух единиц подряд и, вообще,
x'i — результатом следующего тура после появления серии из / единиц.
Рядовой игрок будет считать, что при такой системе игры ж,' имеет больше
шансов равняться 0, чем х-. Эта система на самом деле имеет лишь одно,
правда, существенноэ преимущество перед обычной игрой во всех турах
подряд: игрок будет вынужден при этом все дольше и дольше ожидать
между двумя соседними турами, в которых он принимает участие, и поэтому
он будет иметь все больше и больше времени, чтобы поразмыслить и изу-
изучить теорию вероятностей, прежде чем ои потеряет свои деньги1). Недостат-
Недостатком— точнее, отсутствием достоинств этой системы — является то, что она
так же, как и все другие системы игры, оставляет шансы игрока совер-
совершенно неизменными. Это утверждепие и является предметом следующей
теоремы. Отметим снова, что в этой теореме специально исключается воз-
возможность предвидения. Действительно, каждый пророк может, конечно,
зарабатывать деньги игрою в казино. Тот факт, что до сих пор неизвестны
случаи, когда пророки поступали бы таким образом, показывает, что их
высокие моральные принципы аннулируют их сверхъестественные преиму-
преимущества перед простыми смертными, ограниченными математическими фактами
(теоремой 5.2).
Теорема 5.2. Случайные величины х[, х'г, ... имеют те оке самые
вероятностные свойства, что и величины хх, х2, ..., т. е. х\, х'., ... явля-
являются независимыми случайными величинами с одинаковой функцией рас-
распределения, совпадающей с функцией распределения величины хх. Кроме
того, при любом j две совокупности случайных величин {..., zn—2, xn.-i}i
{хп = x'j., x'j+i, ...} (где считается, что х: = 0 при /¦< 0) взаимно независимы.
Отметим, что применяя теорему 5.1 к величинам х[, х'% мы полу-
получаем, как следствие из теоремы 5.2, что с вероятностью 1
При исследованиях по основаниям теории вероятностей обычно используется
не- сама общая теорема 5.2, а именно это следствие, показывающее, что
предел среднего не меняется при применении определенной «системы игры».
Оно является конечно, математическим выражением приведенного выше
утверждения (Б).
Чтобы доказать теорему 5.2, заметим, что для любых интервалов
*i> • • •• *т
Р {*,'(») 6 Л *т
ха (o))G/j,/=l, ...,m-l, пт(ш) = ат, ха
= 2 Р{п,М = в,,1..Ме/я/=1 w-l, лт(ш) = ат
aj<...<am
так как условия, наложенные на пи ..., пт, xui, ..., я„т_1, являются усло-
') При этом, разумеется, речь здесь не идет о тех игроках, которые во всех слу-
случаях предпочитают игру изучению теории вероятностей; имеются в виду игроки,
желающие нажить путем игры капитал, а не находящие наслаждение в самом процессе
игры.

136 ГЛ. III. ПРОЦЕССЫ С ВЗАИМНО НЕЗАВИСИМЫМИ ЗНАЧЕНИЯМИ
виями, наложенными лишь на х} при / < ат, н поэтому можно выделить
множитель
Так как, по предположению, пт с вероятностью 1 конечно, то, суммируя
по ат, получаем
Повторяя эту процедуру да —1 раз, мы видим, что рассматриваемая сумма
равна
так что x'j имеют те же самые распределения, что и Ху Те же самые сооб-
соображения показывают, что вероятность
^+ft-i (си) 6 4, к = — m m}
равна
Р [a»i+*_, (ш) € /k, *= - и 0} Р [хг (ш) G Л} • ¦. Р К И G /„,},
откуда следует последнее утверждение теоремы.
Теорема 5.2 часто неявно используется в вероятностных рассуждениях.
Например, пусть хх, хг, ... — взаимно нззависимые случайные величины с
Пусть t0—число величин х;., принявших значение 0, прежде чем Xj примет
впервые значение 1, так что
Рассмотрим теперь последовательные промежутки времени tlt t2, ... между
сериями из единиц; точнее определим ах, аг, ¦ ¦ ¦', tlt 1Ъ, ... следующим
образом: а3(ш) равно минимальному п, для которого жп(и>) = 1, жп+1(и>) — 0;
далее, al(u>)-f- tx (u>) равно минимальному п > al(u>) такому, что жп(и>) = 0,
a'n*i(a))='l; далее, a2(u>) равно минимальному л > а, (ш) + г, (и>) такому,
что яп(ш) = 1, жп,1(и)) = 0, и т. д. Обычно принимают без доказательства,
что случайные величины го4 1, tx, ... взаимно'независимы и имеют одина-
одинаковое распределение. Этот факт действительно верен и интуитивно очевиден.
Его строгое доказательство может быть следующим образом получено из тео-
теоремы 5.2. В силу этой теоремы величины жа+2. *а+з, •¦¦ взаимно неза-
независимы и имеют те же распределения, что и величина xt. Число нулей
перед первой единицей в этой последовательности равно г;. — 1. Следова-
Следовательно, tj имеет то же распределение, что и t0 + 1. Далее, в соответствии
с этой же теоремой совокупность случайных величин ха+2> з^+з. ...
не зависит от совокупности величин ..., ха., xaj+l. Следовательно, и ti
не зависит от второй из этих совокупностей, а значит, и от случайных
величин t0, ..., tt_v .

Глава IV
ПРОЦЕССЫ СО ВЗАИМНО НЕКОРРЕЛИРОВАННЫМИ
ИЛИ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
§ 1. Общие замечания
В настоящей главе случайные величины будут принимать комплекс-
комплексные значения, п две случайные величины, совпадающие почтп всюду,
будут считаться идентичными.
Пусть х и г/ —случайные величины с
Е{|х|«]<ю, Е{[2/|2}<оо.
Тогда если
то эти случайные величины называются некоррелированными; если же
то они называются ортогональными. Если х и у — некоррелированные
случайные величины, то х— Е {ж} и у — Е {?/} являются ортогональными
величинами. При рассмотрении некоррелированных величин эти величины
обычно центрируют путем вычитания их математических ожиданий, и в
результате возникают ортогональные величины. По этой причине ми будем
во всей этой главе рассматривать лишь процессы со взаимно ортогональ-
ортогональными значениями. Мы не будем, однако, предполагать, что математиче-
математические ожидания этих величин обращаются в нуль, так как при доказатель-
доказательстве теорем это предположение обычно бывает излишним, хотя на практи-
практике оно чаще всего выполняется. Так же, как и в процессах с независимы-
независимыми значениями, и по тем же самым причинам здесь интересен лишь слу-
случай дискретного параметра; в случае непрерывного параметра соответству-
соответствующие выборочные функции были бы слишком разрывными для того,
чтобы эти процессы могли быть полезными.
Всегда трудно бывает провести границу между теорией вероятностей
и теорией меры; делать это при изучении ортогональных величин бессмы-
бессмысленно даже с точки зрения истории возникновения рассматриваемых по-
понятий. На самом деле случайные величины — это просто измеримые функ-
функции, а «математическое ожидание»—синоним слова «интеграл»; две функ-
функции / и g, как обычно, называются ортогональными, если интеграл от fg
равен нулю. Предположение, что полная мера всего пространства равна 1
или даже что она конечна, является, однако, несколько стеснительным и
в действительности совсем не нужно. Во всей этой главе мы будем рас-
рассматривать только формальные свойства ортогональности, которые не за-
зависят от меры всего пространства. Однако чтобы избежать трудностей,
связанных с определением интеграла, мы будем предполагать, что если
мера всего пространства бесконечна, то это пространство может быть пред-
представлено в виде суммы счетного числа измеримых множеств конечной меры.
Таким образом, в настоящей главе термин «случайные величины» означает
измеримые функции на пространстве с мерой без какпх-лпбо других огра-
ограничений, кроме указанного выше. Только для согласования с другими
частями книги теоремы здесь будут формулироваться в терминах теории
вероятностей, а не в терминах теорип меры. В некоторых из последующих

134 ГЛ. IV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
глав теоремы об ортогональных рядах будут применяться в случаях, когда
полная мера пространства не обязательно равна 1.
Существует много хороших и легко доступных изложений теории
ортогональных функций, и поэтому изложение этой теории в настоящей
главе будет несколько беглым. Эта схематичность изложения не должна,
однако, привести читателя к убеждению, что настоящая глава не являет-
является частью теории вероятностей. Закон больших чисел является вероятно-
вероятностной теоремой как в том случае, когда рассматриваемые случайные вели-
величины независимы, так и в том, когда они ортогональны, и только исто-
исторической традицией объясняется то, что соответствующие теоремы вклю-
включают обычно н разные книги. Справедливо, впрочем, и то, что специалиста
в области теории вероятностей различные специальные последовательности
ортогональных функций, как, например, полиномы Лежандра, тригоно-
тригонометрические функции и т. д., интересуют меньше, чем специалиста в обла-
области анализа; обычно его больше интересуют свойства, которыми обладают
все такие последовательности, а не только некоторые из них.
§ 2. Геометрический подход
Все рассматриваемые в этой главе случайные величины будут иметь
•вторые моменты, и «расстояние» между случайными величинами будет
определяться, как квадратный корень из математического ожидания квад-
квадрата их разности,
Совокупность случайных величин называется линейным многообразием,
«ели, каков бы ни был конечный набор xt хп случайных величин,
входящих в эту совокупность, любая их линейная комбинация вида
п
2 ajx) также входит в эту совокупность. (В дальнейшем под «линейной
комбинацией» будет всегда подразумеваться конечная линейная комбина-
комбинация.) Линейное многообразие называется замкнутым, если для любой по-
последовательности случайных величин хх, хъ, ..., входящих в это много-
многообразие, и таких, что существует l.i.m. жп = х, величина х также входит
в это многообразие. Последнее определение согласуется с обычным поня-
понятием замкнутости, использующим введенное выше расстояние.
Всевозможные линейные комбинации случайных величин из некоторой
заданной совокупности случайных величин образуют новую (вообще гово-
говоря, большую) совокупность. Эта новая совокупность является линейным
многообразием и, более того, наименьшим линейным многообразием,
¦содержащим заданную совокупность; она называется линейным много-
многообразием, порожденным заданной совокупностью. Если присоединить
дополнительно к линейному многообразию всевозможные пределы в
среднем последовательностей случайных величин, входящих в это много-
многообразие, то получится новое (вообще говори, еще большее) линейное много-
многообразие. Это новое линейное многообразие является замкнутым, и, более
того, оно является наименьшим замкнутым линейным многообразием, со-
содержащим первоначальную совокупность; оно называется замкнутым ли-
линейным многообразием, порожденным заданной совокупностью.
Пусть Ш — линейное многообразие, и х ортогонально к каждой вхо-
входящей в ЗД случайной величине. Тогда говорят, что случайная величина х
ортогональна к 5Ш- Случайная величина х будет при этом автоматически
ортогональна к замкнутому линейиэму многообразию, порожденному ЗЛ.

! 3. ОБЩЕЕ ОПРЕДЕЛЕНИЕ ПРОЕКЦИИ 139
Действительно, если i/ = l.i.m. уп, где уп входят в 3JJ, то
и второй множитель стремится к 0 при п—»оо.
Если величина х ортогональна ко всем случайным величинам некото-
некоторой совокупности, то величина х, очевидно, ортогональна также к линей-
линейному многообразию (следовательно, и к замкнутому линейному многообра-
многообразию), порожденному этой совокупностью.
Два линейных многообразия называются ортогональными, если любая
случайная величина, входящая в одно из этих многообразий, ортогональ-
ортогональна к любой случайной величине, входящей во второе многообразие.
§ 3. Общее определение проекции
Пусть уг, у2, ...— конечная или бесконечная последовательность слу-
случайных величин. Если
то говорят, что эти случайные величины образуют ортонормированную
последовательность. Если я=2а>2/; и если законно почленное интегри-
интегрирование, то Е {xyk} = ak. Естественно поэтому сопоставить каждой случай-
случайной величине х ряд ^j a;-2/> c коэффициентами а^ определенными таким
способом. Мы будем писать
*~ 2 aiVv ai =Е ^хУу>- (ЗЛ)
Коэффициенты av a2, ... называются коэффициентами Фурье случайной
величины х, а знак ~ означает просто, что х соответствует указанному
ряду, называемому рядом Фурье величины х относительно заданной орто-
нормированной последовательности. Мы уже отмечали, что если некоторый
ряд 2 bjVj сходится к а: и если этот ряд является «хорошим» (например,
если он содержит только конечное число членов), то bi обязательно будут
коэффициентами Фурье величины х. Ряд Фурье для х моягет, однако,
сходиться к величине, отличной от х. Например, в случае равномерного
распределения вероятностей (т. е. постоянной плотности) на отрезке
О < $ ^ 2я случайные величины
VZmst, Y2s\n%, j/2Tcos2e, уТ sin 2?, ...
образуют ортонормированную последовательность. Функция х=\ является
случайной величиной, все коэффициенты Фурье которой обращаются
в нуль:
1^-20 = 0.
i
Пусть wv и>%, ...—конечная или бесконечная последовательность слу-
случайных величин (среди которых хотя бы одна отлична от 0 на множестве
положительной меры). Эту последовательность можно ортогонализовать,
т. е. можно найти ортонормированную последовательность случайных вели-
величин у,, у.,,..., обладающую тем свойством, что каждое wf является ли-
линейной комбинацией величин yjt и наоборот. Тогда линейное многообра-
многообразие, порожденное величинами у^, будет созпадать с линейным многообра-
многообразием, порожденным величинами Wj. Мы опишем кратко метод ортогонали-

140 ГЛ. TV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
зацин. Отбросив те из величин wjt которые являются линейными комбина-
комбинациями предыдущих, мы можем предположить, что ш;. линейно независимы.
Определим у. равенством
хю w,
У =
i
Е{ю-»,} Е{шЯ}
Легко проверить, что у} является линейной комбинацией величин а>,, ...
,.., Wj и что j/y ортогонально к wlt ..., Wj_x, а следовательно, ортогональ-
ортогонально и к yv ..., j/;_!. Поскольку wv ...,Wj линейно независимы, то Е {| у;. J} ф 0;
поэтому можно положить г/у = 2/;/[Е {\ys |2)]1/3.
Пусть wv ..., wn — совокупность п случайных величин, нэ равных
одновременно нулю почти всюду, и пусть Oft—линзйноэ многообразие, по-
порожденное величинами w>, состоящее из есзх линейных комбинаций вида
п
2 c,W: Ортогонализуя величины wv мы получим т<л случайных вели-
величин уv ..., ут, входящих в Й[ и образующих ортонормпрованную после-
последовательность, порождающую ffl. Если ш;. линзйно независимы, то т — п.
Любая случайная величина х из 2ft может быть записана в виде
i=E% C-2)
где, как мы уже видели, а^ должны быть коэффициентами Фурье случай-
случайной величины х. Если х' — другая случайная величина из этого много-
многообразия,
то
Е{|х-х'П = 2|ау-а;'|г. C.3)
Таким образом, каждой случайной величине х сопоставлнется вектор
(аг, ..., ат) с комплексными компонентами, и расстояние между случай-
случайными величинами оказывается обычным евклидовым расстоянием между
концами соответствующих векторов. Линейные комбинации случайных
величин переходят в такие же линейные комбинации соответствующих
векторов, так что линейному многообразию случайных величин соответст-
соответствует линейное многообразие векторов, т. е., говоря геометрически, — гипер-
гиперплоскость, проходящая через начало координат. Замкнутому лннэйному много-
многообразию случайных величин, очевидно, соответствует замкнутое векторное
линейное многообразие. В частности, многообразию Ж соответствует все
векторное пространство; следовательно, многообразие 2Л замкнуто. Далее,
так что ортогональные случайные величины соответствуют ортогональным
векторам. Случайным величинам ух, ..., ут соответствуют координатные
векторы
A, 0 0) @ 0, 1).
Для любой случайной величины х из 50} коэффициент aj — 'E{xyj} является
н терминах векторов /-й компонзнтой вектора, соответствующего х, а а^ yt

§ 3. ОБЩЕЕ ОПРЕДЕЛЕНИЕ ПРОЕКЦИИ Ш
переходит в проекцию этого вектора на /-й координатный вектор. И вообще,
если Ш^ — линейное многообразие случайных величин, порожденное вели-
величинами г/j, ...,yk, то ряд Фурье для величины х относительно величин ys
переходит в проекцию вектора, соответствующего х, на гиперплоскость,
соответствующую >JJ}r Эта геометрическая картина помогает понять приво-
приводимые ниже замечания, в которых предполагается, что 5J} и yj определены,
как и выше, но, кроме того, рассматриваются и случайные величины, не
входящие в 3JJ.
Если х — любая случайная величина и если
то в случае, когда х принадлежит 9JJ, с вероятностью 1 будет ж = ж1.
Далее, в любом случае выполняются следующие соотношения:
а) Е{|Я1Г} = 2М2-
Это соотношение проверяется прямым вычислением.
б) E{\x\*) = 'Z\ai\* + -E{\x-x1\*}.
Для доказательства нужно лишь вычислить Е{[ж — жг|2}; в /л-мерном случае
это попросту теорема Пифагора. В частности,
Это неравенство называется неравенством Бесселя.
в) Случайные величины х и хг имеют один и тот же ряд Фурье. Сле-
Следовательно, разность х — х1 ортогональна к каждой из величин yjt а значит,
и к любой случайной величине из Ж. Обратно, если хг принадлежит УЛ
и если х — хг ортогонально к каждому j/;, то х2 = х1 с вероятностью 1.
Действительно, тогда х и хг имеют одни и те же коэффициенты Фурье,
так что х2 (входящее в 3JJ) равно сумме того же самого ряда Фурье, что
м xv
г) Случайная величина хх принадлежит 932 и является ближайшей
к х случайной величиной, принадлежащей 501 (мы считаем, что случайные
величины совпадают, если она равны с вероятностью 1). Действительно,
-если х% также входит в 3JJ, то разность х1 — хг содержится в И и, следо-
следовательно, ортогональна к x — xv Поэтому
причем равенство имеет место тогда и только тогда, когда х1=-х2 с вероят-
вероятностью 1.
В гл. II мы назвали величину ж, условным математическим ожида-
ожиданием в широком смысле величины х относительно yv ..., ут (или wlt ...
..., wn):
Мы будем иногда писать
причем здесь можно вместо 9JJ поставить любую совокупность случайных
величин, порождающих это замкнутое лннлшое многообразие.
До сих пор мы исключали два следующих тривиальвых случая: случай,
когда ЗЛ не содержит ни одной случайной величины, и случай, когда оно

142 ГЛ. ГУ. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
состоит из единственной случайной величины, обращающейся в нуль
почти всюду. В этих случаях мы положим
Е{:г|2Л}=0.
Пусть ш,, ю2, ... —бесконечная последовательность случайных вели-
величин, порождающая замкнутое линейное многообразие 2JJ. Ортогонализуя
последовательность w^, мы получим ортонормированную последовательность
у1, уг, ..., содержащуюся в линейном многообразии, порождаемом после-
последовательностью Wj, и также порождающую <0}. Мы предположим, что суще-
существует бесконечно много линейно независимых величин w; тогда и после-
последовательность {у,} будет бесконечной. (Иначе мы имели бы случай, рас-
рассмотренный выше.) Мы хотим показать, что все рассуждения, проведенные
ранее, переносятся и на этот случай. Чтобы показать это, заметим, что
оо
если X'^^aiyi, то неравенство Бесселя
2КГ
попрежнему выполняется, так как оно выполнено для любого конечного-
числа величин у;. Мы покажем теперь, что любая случайная величина х и»
2К йожет быть записана в виде
%tyf ,
где ]Е|а>|а<С°°> и сумма ряда понимается в смысле сходимости в сред-
среднем, т. е.
п
x=l.i.m. Say..
П-»СО 1
Мы покажем также, что и обратно, если Jla;|2< оо, то ряд 2!а/У> сХо~
дится и среднем к случайной величине, входящей в 5DJ, коэффициенты
Фурье которой равны а.. Докажем сперва, что если 2la,|2<°°> то РЯД-
2^ДуУу сходится в среднем, воспользовавшись критерием Коши для сходи-
сходимости в среднем. Действительно,
i i m+l m-t-i
и последняя сумма стремится к 0 при т, h—»-оо. Ряд 2а;У> обладает^
таким образом, суммой, которая заведомо входит в 2JJ- Обратно, если х
принадлежит Ш и еслп х^-^а^^ то в силу неравенства Бесселя
2! I в) |а < °° > так что этот ряд Фурье сходится (в среднем) к некоторой
случайной величине хг, содержащейся в 2JJ. При этом величина х1 имеет
те же самые коэффициенты Фурье, что и .величина х, так как при п~^-к
Е{*,ук) = Е{(?а,у,)ук) + Е {.( 2 а,у,)ук] = ак + Е{( J а,у})ук};
последний член этой формулы равен 0, так как величина yk ортогональна
со
к уп+1, уп+21 ..., а следовательно, и к сумме Y а$У^ входящей в замкну-
тое линейное многообразие, порождаемое величинами уп+1, уп+2» • • • • ^ы

5 3. ОБЩЕЕ ОПРЕДЕЛЕНИЕ ПРОЕКЦИИ
доказали, таким образом, что х~х1 имеет своим рядом Фурье 0, так что
х — хг ортогонально к yjt а следовательно, и к 2JJ. В частности, величи-
величина х — хг ортогональна самой себе,
Eflz-^IV-O,
т. е. х = хг почти всюду. Тем самым доказано, что если х принадлежит
2JJ. то х является суммой своего ряда Фурье (в смысле сходимости
в среднем).
Таким образом, C.2) справедливо и в случае бесконечного ряда.
Верны для бесконечного ряда и утверждения а)—г). Так как эти утвер-
утверждения основываются на самом деле только на C.2), то их доказательства
не претерпевают никаких изменений.
Мы уже определили символ E{z|5D?} в случае, когда 9Л порождается
конечным числом случайных величин. Если Ш не может быть порождено
никаким конечным числом величин, но порождается некоторой бесконеч-
бесконечной счетной последовательностью, то аналогично конечномерному случаю
мы определим Е}х|9Л} как ближайшую к х случайную величину xlt при-
принадлежащую 5Щ. Отметим, что из этого геометрического определения сле-
следует, что х1 не зависит от выбора ортонормированной последовательности
в 2JJ. Случайную величину E{:r|2JJ} называют иногда проекцией х на Щ.
Мы уже виделп, что с точки зрения, принятой в этой книге, она является
условным математическим ожиданием в широком смысле случайной вели-
величины х относительно величин us 2JJ- Проведенные выше построения легко
обобщить на случай, когда ЭД? не порождается никакой счетной последова-
последовательностью. Иногда нам будет удобно •Заменять $J? B обозначении E{z|9Jl}
какой-нибудь совокупностью случайных величин, порождающей 2R. Это
согласуется с нашим первоначальным определением Efzjo^, ..., wn], как
некоторой линейной комбинации величин wlt ..., wn.
Покажем еще, что символ Ё{—|—} удовлетворяет тем же функцио-
функциональным соотношениям, что и Е {—) — } (в дальнейшем подразумеваетои,
что выписываемые соотношения выполняются не тождественно, а лишь
с вероятностью 1). Во-первых,
E{cx\m)=-cE{x\W},
Эти соотношении следуют, например, из свойства линейности коэффициен-
коэффициентов Фурье. Во-вторых, для того чтобы получить аналог соотношения A0.8)
гл. I, покажем, что если 5D?j и 9QTJ2-—две любые совокупности случайных
величин (с конечными вторыми моментами) и 5Ш1С2Лг. то
Для этого достаточно доказать, что
Ё[х-Ё{а;|9Л2}|Ш51} = 0.
Но г- Е{х[ТОг} является случайной величиной, ортогональной к замкну-
замкнутому линейному многообразию, порожденному 5D?2. Следовательно, проекция
этой величины на 50?, равна 0, что и надо было доказать.
Заметим, наконец, что если 2JJ, ортогонально к 2J?2) то
Е [*|TOi, ЗД = Ё {х ITOxH Ё [*|TOJ.
Отсюда следует, что ?(a;|2JJj не изменится, если присоединить к 2J5 слу-
случайные величины, ортогональные к х, илн если заменить любую совокуп-
совокупность 9Р0 случайных величин, входящих в 2Л> единственной случайной
величиной Ё {a; j ТО0}.

144 ГЛ. IV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
§ 4. Ряды из ортогональных случайных величин
Теорема 4.1. Если у1г у2, ...—взаимно ортогональные случайные ве-
со
личины с Е{|уп[2}=а^, то ряд ^ уп сходится в среднем тогда и только
оо
тогда, когда ^ а?, < со.
1
Эта теорема вытекает из следующей оценки:
{|2 у^1 J
m+l m+1
С другой стороны, рассматриваемая теорема может быть сведена к теореме
о рядах Фурье: достаточно заметить, что величины y,/o1F г/2/а2,... образуют
ортонормированную последовательность (члены, для которых os = 0, при
этом отбрасываются). Эта теорема является вариантом в слабом смысле
теоремы 2.3 гл. III.
Для многих целей желательно иметь достаточные условия, обеспечива-
обеспечивающие сходимость ряда ^ у,- с вероятностью 1. Теорема 4.2 дает одно из
таких условий. Ее доказательство опирается на следующую предваритель-
предварительную лемму.
Лемма 4.1. Если ух, ..., уп—взаимно ортогональные случайные вели-
величины с
Е {max| у, + ... + у, |«}< (^-J(«!+...+ «М-
Заметим, что если заменить левую часть этого неравенства на
Е (| yt-j- • • ¦ + ип |2}, то она будет равна (а? + ... + :?,). Множитель
(log 4n./log 2J позволяет ввести под знак математического ожидания сим-
символ «шах». Если п=1, то D.1) выполняется с множителем, равным 1.
Если п> 1, то определим целое число г>0 при помощи условия
и положим ?/у = 0 при «</<7V. Пусть s—сумма всех выражений вида
\y«+i + ... + У&12, где a=(i2v, p=(fi4lJv и параметры ц, v пробегают
значения v = 0, ...,г+1; р = 0, ..., 2r+i~v—1. При любом фиксирован-
фиксированном v сумма указанных выше слагаемых по всем допустимым р. имеет ма-
математическое ожидание (а\ -f- ... + с^), так что
Мы можем теперь разбить сумму у, -I- ... + yi на частичные суммы т]у, име-
имеющие вид ya+i -j- .. .•-)- Ур. где а и р такие, как выше:
где -»1у содержит 2' членов и г-|-1>г1> ... >rh>0. Тогда в силу нера-
неравенства Шварца
k
I Ух + • ¦ ¦ + У/12< к 1 hy |2< (г + 2) s.

$ 4. РЯДЫ ИЗ ОРТОГОНАЛЬНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН 145
Следовательно,
Е (qax | уН- • • • + У, |2} < (г+ 2) Е {*} < (г + 2)»(о» + ... + а» )<
что и требовалось доказать.
Теорема 4.2. Пусть yv yv ...— взаимно ортогональные случайные
со со
величины с Е{|уп|2} = с&. Тогда, если У а^ log2ra < оо, то ряд ^упсходит-
ся в среднем и сходится с вероятностью 1.
п
Сходимость ряда /L уп в среднем обеспечивается теоремой 4.1. Пусть
п
а;—сумма (в среднем) этого ряда и х — 2 у,- Тогда
Отсюда следует, что при п = 2Р
2 Р {i^ (») - хп (») | > (log и)-'/.} < 2 ^gjr <
r=i r=i
так что в силу леммы Бореля—Кантелли для достаточно больших п с веро-
вероятностью 1
\x{a>)-xn(<o)\<{\ogn)-1'», n = 2r. D.2)
Далее, в соответствии с леммой 4.1 при п> 1
Е{ max |*т-^<^^->J 2 =5<
"<т<2" V l0g У ,=„+1 D.3)
i=n+i j=n+i
оо
Здесь, если п = 2т, то 2 sn<o°- Выберем В2, В4, ... так, чтобы выполня-
r=i
лись условия
оо
8П > 0, limSn = 0, 2 j2 < га (га = 2г).
Тогда D.3) дает нам оценку
СО ОО
r=i n<m<2" r=(
Следовательно (снова по лемме Бореля—Кантеллн), при достаточно боль-
большом п с вероятностью 1
I *m(») - *»(») К 8»1. n=2r<m<2n. (АЛ)
оо
Соединяя D.2) и D.4), получаем, что ряд ^ уп сходится с вероятностью 1.

D« ГЛ. ГУ. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
Заметим, что если уп независимы и имеют нулевые математические
ожидания, то условие теоремы 4.2 можно заменить более слабым условием
00
<со (теорема 2.3 гл. III).
§ 5. Закон больших чисел
Мы увидим в этом параграфе, что небольшое усиление количествен-
количественных условий некоторых теорем о законе больших чисел для взаимио не-
независимых слагаемых позволяет перенести эти теоремы на случай взаим-
взаимно ортогональных слагаемых.
Теорема 5.1. Если ylt yv ...—взаимно ортогональные случайные
величины с Е {| у^ |8} = о*, то
1Л.т.У1 + -'-+Уп = 0 E.1)
тогда а только тогда, когда
18ш «!+••;+ 4,0. E.2>
ТХ—>-ОО
Эта теорема, вытекающая очевидным образом из равенства
является вариантом в слабом смысле теоремы 3.2 гл. III. Вторая часть
этой последней теоремы, связывающая равенства C.8) и C.9) гл. Ill, так-
также остается верной, однако для случая, когда ys предполагаются лишь
взаимно ортогональными, она менее интересна, чем для случая взаимной
независимости.
В соответствии с теоремой 3.4 гл. III, если yt имеют нулевые мате-
матические ожидании и взаимно независимы и если ^. On/ < °°> то вы~
полнев усиленный закон больших чисел. В рассматриваемом сейчас орто-
ортогональном случае на величины а\ нужно наложить несколько бблыпне
ограничения.
Теорема 5.2. Если ух, у2, ...—взаимно ортогональные случайные
величины с Е {| г/;. |2} = с) и если
то с вероятностью 1
Как и при доказательстве теоремы 3.4 гл. III, достаточно показать,
п
что суммы ^' yjj сходятся в среднем н с вероятностью 1, а обе эти сходи-
сходимости обеспечиваются теоремой 4.2.
Только что доказанная теорема менее известна, чем ее аналог для
независимых случайных величин. Мы отметим, поэтому, один ее частный
случай: если ух, у2, ...—случайные величины с
то усиленный закон больших чисел выполнен не только, если этп вели-

§ 6. СТЕПЕННЫЕ РЯДЫ 147
чпны взаимно независимы (теорема 3.4 гл. III), но и если предположить
лишь, что они взаимно некоррелированы (так как их математические ожи-
ожидания равны нулю, то они будут при этом также взаимно ортогональ-
ортогональными). Заметим, однако, что условие Е {уп} — О не входит в предположения
теоремы 5.2 и что оно совершенно излишне. Единственным существенным усло-
условием является ортогональность, а условие Е {уп} = 0 нужно лишь потому, что
вместе с взаимной некоррелированностью величин yi оно влечет за собой
их взаимную ортогональность.
во
§ 6. Степенные ряды вида 2 ctje2KlJX
о
В настоящем параграфе мы будем предполагать, что вероятности опре-
определены как длины (мера Лебега) на интервале —112<.^<112, так что по-
последовательность
< »2itU P-2niX
i, e ,е , . . .
является ортонормированной последовательностью. Мы рассмотрим, в ча-
частности, задачу, состоящую в том, чтобы охарактеризовать те функции от
)., для которых их ряды Фурье не содержат отрицательных степеней е2™1.
Мы ограничимся здесь беглым изложением; результаты будут использованы
нами только в гл. XII при построении теории прогнозирования стацио-
стационарных процессов по методу наименьших квадратов.
Заметим, что рассматриваемая здесь ортонормированная последователь-
последовательность состоит из ограниченных функций, и поэтому любая интегрируемая
функция обладает рядом Фурье независимо от того, существует ее второй
момент или нет.
Мы будем ссылаться на следующую теорему, приводимую нами без
доказательства 1).
00
Теорема 6.1. Если функция f(z) = }>] fn z" аналитична в круге
о
|z|<l, то \ | /(re2:tU) | dk является монотонно' неубывающей функцией
-1/,
от г. Предположим, что этот интеграл имеет конечный предел при
г-»1. Тогда
lim / (re2) = / (e27tU) F.1)
r-»I
существует для почти всех значений L Далее, функция /(e27lU) интегри-
интегрируема,
г/г
0, F.2)
/
lim \
-1 '/
F-3)
') Доказательство всех утверждений этой теоремы можно вайти в книге;
И. И. Привалова [1J (см. введение, раздел II, § 3 и гл. II, § 1—5). В § в>
гл II той же книги 1родержатся предложения, значительно усиливающие приведет-
сс
вую ниже теорему 0.2 (функция ^ -fn z" этой теоремы в терминологии Привалова—это
о
функция класса Н2, максимальная для \/ j (k).—Прим. ред.

148 ГЛ. IV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
функция /(г) при этом выражается через f (e2nii) при помощи интеграль-
интегральной формулы Ноши
j^ F-4)
Обратно, если /(e2itU)— любая интегрируемая функция от X, ряд Фурье
со
которой имеет вид F.3), то функция /(z) = 2 Tn2"> определенная при
о
|z|<l, обладает всеми указанными выше свойствами. Наконец, в этом
случае /(e2bU) равно нулю или на множестве лебеговой меры 0, или же
на множестве лебеговой меры 1 (последнее лишь при ~0 = 7i — ••• =0)-
Если gr(e2nU)—действительная интегрируемая функция от X, имею-
имеющая ряд Фурье
со
g(e2*'*)~2 Tne2lLini, F.3')
— ОО
то функция g(re2nix), определенная равенством
-1/2
является гармонической функцией от re2niX при г < 1 и
2*u)=g(e27tii) F.Г)
почти всех значений X.
Следующая теорема позволяет получить разложение спектральной плот-
плотности, необходимое для теории прогнозирования.
Теорема 6.2. Если /(/)—неотрицательная интегрируемая по Лебе-
Лебегу на интервале —1U^-^'i1U функция, обращающаяся в нуль самое
большее на множестве меры 0, и такая, что
1/2
^ log/(X) (&>-», F.5)
-1/2
то существует однозначно определенная последовательность чисел ^а,
со
71? ..'. такая, что f0 действительно и положительно, 2 IT"I < °°i
о
|Т„2"#0, |г|<1, F.6)
о
"/2
log То = у \ log/МЛ F.7)
1
F-8)
(где />.чд сходится в среднем). Величины ~1п определяются соотношениями
F.9>

§ 6. СТЕПЕННЫЕ РЯДЫ 149
Обратно, предположим, что т0, тъ ...—любые числа такие, что
со
О < 2: |ТпР< га и выполнено F.6). Тогда, если определить функцию / (X)
при помощи соотношения F.8), то /(X) будет равно нулю самое большее
на множестве меры О, выполнено F.5), и, более того,
I/,
log I То К у 5 1о8/МЛ. F-7')
-"/а
Заметим, что log/</ при / > 0. Следовательно, если функция / ин-
интегрируема, то интегрируема и функция log/, если только функция / не
слишком мала. Отсюда вытекает, что интеграл от log/ или конечен, или
равен — оо.
со со
Если |/1|2 = /, то Д имеет ряд Фурье 2 7пе2*"»* с 2 | Тп|2< °°- Тогда
*
Основное утверждение теоремы состоит в том, что если выполнено F.5),
то функцию /, можно выбрать так, чтобы для нее выполнялось условие
•[„ = 0 при п< 0.
Доказательство теоремы основывается на теореме 6.1. Еслп выполнено
F.5), то log]/J имеет ряд Фурье
log V7W~ f V^
—ОО
Функция gt определенная равенством
является аналитической при |s|<l, и ее действительная часть
является гармонической функцией с граничными значениями log"|/"/(X) (см.
теорему 6.1). Положим, наконец, тB) = еэB). Тогда f (z) ф 0 при |z|-<l,
и для почти всех значений X
lim[T(re2*")| =Hm«">(«2"tt) = eJiwVTw = УЩ. F.10)
Функции ~B) разлагается в степенной ряд
со
ТB)=1т«2" = е 1 , |г|<1. F.11)
о
Чтобы доказать, что это разложение может быть распространено и на
|zj = l в том смысле, что т (e27tiJ-) может быть определено как радиальное
оо
граничное значение функции f(z) и имеет ряд Фурье 2 Tn e27ii7lX, мыпока-
о

15T ГЛ. IV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
жем, что здесь приложима теорема 6.1:
4t 1/2
-i/a -1/2
-Va
l/o 1
-1/2 -V»
-1/2
1/2
\ VI {*)**- F.12)
-v2
Таким образом, интеграл слева остается ограниченным при г—»•!, а это
в соответствии с теоремой 6.1 означает, что -. (z) имеет при почти всех X
граничное значение lim 7 (re2ltU) = 7 (e2itU) и'что f(e27ia) имеет ряд Фурье
оо Г->1
2Tne27liBX- Поскольку, как мы уже видели, | if (е2*а) \ = У/ (X), то отсюда
о
оо
следует, что |f(e2:tU)|2 интегрируемо, так что 2ITh|2<°°- Тем самым мы
получили искомое представление [в котором F.7) следует из F.9) при z = 0]
Единственность коэффициентов тп будет доказана после доказательства
обратного утверждения теоремы.
со
Обратно, предположим, что / задается формулой F.8), где 0 < 2 I Тп 1а< °°,
о
оо
и что T(z)=STnz" не обращается в нуль при |z|<l. Тогда logG(z)|
является гармонической функцией, и
V»
log|T@)| = log|To|= [ ]og\T(re^)\dl, г<1. F.13)
-i/2
Далее, в соответствии с теоремой F.1) для почти всех X можно определить
1 (e2lzix) как радиальный предел f B) при | z\ —¦*¦ 1; при этом функция 7 (e2lLix-)
ОО
будет иметь ряд Фурье V^ne27linX. Пусть hb(x) = max(x, l>). Тогда
1/2 I/2
lim \ ^[log|T(re2^)|]cu= \ Ab
-1/2 -Va
так как квадрат подинтегральной функции слева прп больших |f| меньше,

I 7. МАРТИНГАЛЫ В ШИРОКОМ СМЫСЛЕ
чем |т1> а интеграл ox | -f | ограничен при г—>1. Следовательно,
log 1 То К [ Ab[loglT(e2*tx);]A.
Полагая здесь Ъ—>— со, мы получим F.7'). Заметим, что тривиальное
видоизменение этого доказательства показывает, что \og\ f(z) | <a(z), где
a(z) — значение в точке z гармонической функции, определяемой интегра-
интегралом Пуассона от граничной функции log | 7 (e27iix) \ . Здесь мы рассмотрели
случай z = 0. Так как разность a (z) — log-1 т (z) | определяет неотрицатель-
неотрицательную гармоническую функцию, то эта разность или нигде не обращается
в нуль, или обращается в нуль тождественно. Hrf* так как известно, что
выполнено F.7'), и, следовательно, эта разность равна нулю при z = 0,
то отсюда следует, что log| 7 (re27tix) | может быть представлен как интеграл
Пуассона с граничной функцией log | ^ (е2***-) |." Этот факт будет сейчас
использован для доказательства единственности.
Чтобы доказать утверждение о единственности, содержащееся в первой
части теоремы, мы должны показать, что из предположения, что / (X)
допускает представление F.8) как с ?„ = 7п, так и с "!п = п, причем F.6)
и F.7) выполняются для обоих этих представлений, следует, что 7n = CTn»
л>0, где |с| = 1. Положим
Нам достаточно показать, что эти две функции пропорциональны. Но
log ft (z) и logT2(z) ивлиются функциями, аналитическими при |z|<l,
и, как мы уже видели выше, Iog|f1(z)| определяется свози граничной
оо
функцией log | 2 7^,e2*iTU| ; поэтому log | T1(z)|^log |t2(z)| . Следовательно,
о
'°STi(z) и ^0S"!i(z) могут отличаться лишь на'мнимую константу ia, так
что
что и требовалось доказать.
§ 7. Мартингалы в широком смысле
Мартингалы (в широком смысле) были определены в § 7 гл. II как
процессы, в которых случайные величины {я,} имеют конечные вторые
моменты, и при любых t^ < t2 < ... < tn+1 с вероятностью 1
для любого пелого положительного числа п. Это соотношение верно тогда
я только тогда, когда xlntl — xtn ортогонально к xt, при /<л; так как
эти tj произвольны, то х, — Xtn должно быть ортогонально к каждому xt
с t-^.tn. Другими словами, G.1) эквивалентно условию: с вероятностью 1
Ё{а;(|а;г, r<s} = xs, G.1')
каково бы нп было s < t. В настоящем параграфэ мы будем прздполагать,
что t пробегает множество всех целых чисел или некоторое подмножество
этого множества; иногда в это множество будут включаться и значе-

152 ГЛ. IV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
ния ± оо. Если t — целые положительные числа, то G.1') принимает вид
Заметим, что определяющие мартингал свойства G.1) и G.1') лишены
смысла, если область значений t не является упорядоченным множеством,
и что любое подмножество множества случайных величин, образующих
мартингал (упорядоченное так же, как и первоначально), снова образует
мартингал.
Теорема 7.1. Если случайные величины {xt} образуют мартингал
(в широком смысле), то при t± < t2
E{|iA|»}<E{|*,,|»}, G.2)
причем равенство здесь имеет место только тогда, когда xtl = xt2 с веро-
вероятностью 1.
Действительно, в соответствии с определением мартингала ЖB — Xtx орто-
ортогонально к xtl, так что
причем равенство имеет место только тогда, когда xtl = xt2 с вероят-
вероятностью 1.
Если случайные величины <clt х2, ... образуют мартингал ж если
положить
то в силу определения мартингала величины г/;- будут взаимно ортого-
ортогональны, я
Обратно, если yi — любые взаимно ортогональные случайные величины и если
п
гв = ^г/(, то процесс {хп} оказывается мартингалом в широком смысле.
1
Может показаться поэтому, что понятие мартингалов в широком смысле н&
заслуживает особого внимания, так как они являются просто частными
суммами ряда из ортогональных случайных величин. Однако естествен-
естественность, с которой это понятие возникает при рассмотрении гильбертова про-
пространства, и ясность, которую оно вносит в изучение задачи о приближе-
приближении по методу наименьших квадратов (гл. XII) и в изучение мартингалов
в узком смысле (гл. VII), делают все же полезным краткое изложение их
свойств. Наиболее интересным является случай непрерывного параметра
(гл. IX).
Теорема 7.2. Пусть хх, х„ ...—случайные величины, образующие
мартингал (в широком смысле). Тогда
Если Iim Е}| ж„|2} —/ < со, то существует I.i.m. xn — хт и случайные
П-+ОО П—ЮО
величины xlt хг, ..., Хх> образуют мартингал (в широком смысле).
Вариантом (в узком смысле) этой теоремы являются утверждения
(I)—(III) теоремы 4.1 гл. VII. Чтобы доказать приведенную теорему, доста-
достаточно заметить, что если хп выражено, как выше, через ортогональны»
величины у,, то

§ 7. МАРТИНГАЛЫ В ШИРОКОМ СМЫСЛЕ 153
Следовательно (теорема 4.1), если/<оо, то существует 1Л.т.хп = хсо.
Чтобы доказать последнее утверждение теоремы, мы должны показать, что
х„ — хп ортогонально к х} при /<я. Разности хт — хп (т>п) обладают
этим свойством, и при т—*со мы получаем искомый результат.
Теорема 7.3. Пусть ...,х_2, х_х — случайные величины, образующие
мартингал (в широком смысле), 2JJn — замкнутое линейное многообразие,
порожденное величинами ..., xn_Jt xn, и $Щ=П2КП- Тогда
и случайные величины ж_со, ¦ • -. ?_»> х-\ образуют мартингал (в широком,
смысле).
Вариантом (в узком смысле) этой теоремы является теорема 4.2 гл. VII.
Пусть уп = хп —хп__х. Тогда величины у} взаимно ортогональны и (см. тео-
теорему 4.1) существование предела х-т в среднем будет вытекать из сходи-
мости ряда 2Е{|у_^12}. А эта сходимость следует из соотношения
< 2Е {| *_, |»J + 2Е {! *_„_! |»} < 4Е (|х_х R. G.5)
Чтобы показать, что х^^ является проекцией величины х_х на ЗЛ, заметим,
что эта проекция характеризуется двумя своими свойствами: она входит
в Ш (в нашем случае это выполнено, так как #_«> содержится в каждом 3JJn)
и х_Л — Е {х_Л I2JJ} ортогонально к 50J. Чтобы показать, что х_х — Х-а> орто-
гональво к 2JJ. достаточно заметить, что х_х — хп ортогонально к 53?П35!Л,
а следовательно, и к 3J2; переход к пределу при п—*¦— со дает искомый
результат. (Конечно, х^^ = Е [xk 13JJ} при любом А.) Для доказательства
последнего утверждения теоремы достаточно показать, что если т < п, то
с вероятностью 1
Ё {хп | z-co, ..., arm} = хт,
т. е. что хп — хт ортогонально к х^^, ...,хт. Но по предположению-
хп — хт ортогонально к случайным величинам ..., хт_г, хт, а значит
и к порожденному ими замкнутому линейному многообразию 2ftm, куда
входит х^со. На этом доказательство теоремы заканчивается.
Теорема 7.3 показывает, что если случайные величины ...,x_v x0, ...
образуют мартингал (в широком смысле), то они могут быть всегда запи-
записаны в виде
*„= 2 yjt
где величины ys взаимно ортогональны, /> —оо, и ряд сходятся в среднем.
Действительно, мы можем полож'пть
Обратно, любые суммы такого вида определяют мартингал (в широком
смысле).
Теорема 7.4. Пусть z— случайная величина с конечным вторым
моментом и ... СЖ^С 3J?2CZ ... —последовательность замкнутых линей-
линейных многообразий случайных величин. Пусть, далее, 2К_оо= П 2ЛП и Шса —

154 ГЛ. IV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
замкнутое линейное многообразие, порожденное случайными величинами,
входящими в U Щ?п. Тогда случайные величины
п
образуют мартингал (в широком смысле) и с вероятностью 1
l.i.m. E{2|3Rn} = E{2|aR-=<»}, 1
5m} EA{z|2JJ} I
I.i.m.
П~>ОО
Положим
-oo<n<oo.
Тогда случайней величина ж„ входит в ТОП и при т < л жп — жт орто-
ортогонально к 3J?m. а следовательно, и к любому XjC j*im. Другими словами,
с вероятностью 1
т. е. величины а:, образуют мартингал в широком смысле. По теореме 7.3
существует первый из пределов G.6). Чтобы показать, что этот предел х
совпадает с проекцией ж_а>, заметим, что прозкция Х-&, характеризуется
двумя своими свойствами: она входит в 3J?_oo (в нашем случае это выпол-
выполнено, так как хп?Шп) и z — ?_<„ ортогонально к ЗК_а> (в нашем случав
зто выполнено, так как z — хп ортогонально к 2ЛП, а следовательно, и к 2J?_oo;
значит, и z—x ортогонально к ТО_оо)- Тем самым первое из равенств G.6)
доказано. Чтобы доказать второе, заметим, что по теореме 7.1
так что в силу теоремы 7.2 существует второй из пределов G.6). Легко
показать точно так же, как и в случае первого соотношения, что этот
предел обладает свойствами, характеризующими проекцию хт.
Следствие 1. Пусть z, у,, у2, ... —любые случайные величины с ко-
конечными вторыми моментами. Тогда, если Шп — замкнутое линейное мно-
многообразие, порожденное величинами yjt j > и, то с вероятностью 1
U.m.E{z\yn,yn+v ...} = E{z|ngU,
В частности, если случайная величина z входит в замкнутое линейное
-многообразие, порожденное величинами yjt то второй из пределов можно
заменить на z.
Чтобы свести первоз из этих равенств к первому из равенств G.6),
отождествим Sfln с 2Л_„- Чтобы свести второе равенство ко второму из ра-
равенств G.6), отождествим с 2JJn из G.6) замкнутое линейное многообразие,
порожденное величинами уи ..., уп.
Вариантами (в узком смысле) теоремы 7.4 в ее следствия служат тео-
теорема 4.3 гл. VII и ее следствие. Проведенное в этом параграфе изучение
проекций является на самом деле изучением одного из вопросов геометрии
гильбертова пространства. Так как мы уже получили все результаты, кото-
которые будут использоваться в дальнейшем, то мы закончим на этом наше
изучение.
Соотношения G.6') являются очень важными. Пусть, например, z вхо-
входит в замкнутоз линейное многообразие, порожденное величинами уг Тогда

S 7. МАРТИНГАЛЫ В ШИРОКОМ СМЫСЛЕ 155
из G.6') следует, что если аппроксимировать в смысле наименьших ква-
квадратов величину z линейными комбинациями величин yv ..., уп, то сред-
средний квадрат ошибки будет стремиться к 0 при п—*са.
В качестве поучительного примера применим G.6') к одному очень
специальному случаю. Предположим, что {у^,) — ортонормированная после-
последовательность случайных величин. Мы применим G.6'), произведя следу-
следующие отождествления:
При таком определении замкнутое линейное многообразие ytv, порожден-
порожденное величинами уп, упЛ.г, . . ¦ , совпадает с замкнутым линейным много-
многообразием, порожденным случайными величинами у[ 4-... -г- у'п, i/n+i,
г/п+2< ¦ ¦ • • Эти случайные величины взаимно ортогональны, так что любая
случайная величина из 91П может быть записана в виде
со со
а(у[+.-.+У'п)+ 2 а$), 2 КР<оо,
n+i n+i
где ряд сходится в среднем. Если какая-либо случайная величина входит
оо
в 5Я = П Vtn, то она входит в каждое Sfln, так что для нее а;. = а при всех
/, а это несовместимо со сходимостью ряда 2 I а, \2< если только а;. не рав-
равны нулю. Другими словами, 91 содержит только нулевую случайную вели-
величину. Мы получаем, следовательно, из G.6'), что
yn, yn+1, ...}=0. G.7)
Далее,
Ё{у1'|5Кп} = Е{^|У;+...+у;, у'п+и у'п+2, ...} = t{y'l\y[+...+y'n},
так как величины у'п+\, у'п+2, ¦•¦ ортогональны к у[ и к у\ -\- ... + у„,
и их можно поэтому игнорировать при вычислении проекции. Наконец,
из соображений симметрии
Ё WA yi+... + Уп] = Е {у']\у[+... + Уп} = /< и
;'=!
Зту проекцию можно было бы, конечно, найти также простым вычислением
соответствующих коэффициентов Фурье. Из последнего соотношения и из
G.7) мы получаем, что
¦результат, в котором мало удивительного, так как

15E ГЛ. IV. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ЗНАЧЕНИЯМИ
а предельное соотношение утверждает просто, что математическое ожидание
квадрата среднего стремится к 0 при п—»оо. Такое кажущееся несколько
нелепым доказательство тривиального случая закона больших чисел было
дано по двум причинам. Во-первых, оно иллюстрирует приложения пре-
предельной теоремы, доказанной в этом разделе. Во-вторых, вариант этого ре-
результата (в узком смысле) является важной и нетривиальной теоремой (тео-
(теорема 5.1 гл. III). Эта теорема представляет собой важный частный случай
усиленного закона больших чисел для стацпонарных (в узком смысле) про-
пессов, доказательством которого может служить вариант (в узком смысле)
только что проведенного доказательства (см. § 6 гл. VII).

Глава V
МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
§ 1. Цепи Маркова. Определения
Цепь Маркова определяется как марковский процесс, в котором обра-
образующие процесс случайные величины могут (с вероятностью 1) принимать
значения только из некоторого конечного или счетного множества. Удобно
считать, что это множество возможных состояний состоит из чисел 1, ..., ЛГ
(конечный случай) или 1,2, ... (счетный случай); мы будем всегда пред-
предполагать, что множество состояний выбрано именно таким образом. Физи-
Физически можно говорить о системе, которая переходит из одного состояния
в другое в соответствии с вероятностным законом, удовлетворяющим мар-
марковскому свойству. Пусть xlt хг, ...—случайные величины, образующие
цепь. Если Р {хт (со) = ?} > 0, то определим mpi; формулой
mPii - р к+1 и - /1 *», ы=*•}=р {хт (;\::\:г4и)=п ¦
Обозначим через тР матрицу [т/?^]- Тогда, если Р {xm(w) = i] > 0, то
Р {*т+2 М = /К <») = i) = 2 mPik m+l/V A-2)
Так как наш процесс является марковским, то вторые сомножители в сумме
не зависят от i. (В A.2) предполагается, что если m+ipk, не определено
из-за того, что Р [xmtl (ш) = к} = 0, то соответствующее слагаемое mPikm*iPkj
равно 0; заметим, что для такого к всегда mpjh = 0.) Таким образом,
матрица вероятностей перехода из состояния i в момент т в состояние /
в момент т-х-2, т. е. из i в момент т в / за два.вшага», является произ-
произведением mPmJrlP матриц вероятностей перехода за один шаг. Во многих при-
приложениях ^Р не зависит от т. В таких случаях мы будем писать Р = [рК]\
вместо тР = [mPij] и говорить о стационарных переходных вероятностях.
Сама цепь Маркова называется в этом случае однородной. При этом, если
/?(") — вероятность перехода из i в / за га шагов, то
так что
р(т+п) _ 2 p^pf), (i>m+" = PmPW). A.3)
Практически обычно задаются матрицы [m/?i,l, удовлетворяющие A.1),
и по ним строят марковский процесс, имеющий эти матрицы своими
матрицамп вероятностей перехода. Для того чтобы определить этот про-
процесс, нужно задать также начальные вероятности ?{хг{т)=^1\ п положить
Р {Z, (ш) = п1 Хп{и>) = ап] = Р {^(Ш) = a1!1paia2 „ра>пз . . . п^Рап_хап.
Если определить таким образом распределения вероятностей для величин
ж,, хг, ..., то процесс {хп} будет марковским процессом с заданными веро-
вероятностями перехода. Точнее, если при таком определении Р {хт(т) = j} > 0,

158 ГЛ. V. МАРКОВСКИЕ. ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
то m/?;j. является вероятностью перехода
Будет ли P[xm(w) = i} положительна или нет, зависит как от начальных
вероятностей, так и от вероятностей перехода.
В соответствии с результатами § 6 гл. II любой марковский процесс,
обращенный во времени, снова будет марковским процессом. В случае цепи
нетрудно вычислить обращенные вероятности перехода за один шаг. Именно,
V
/1 хтх ()!} р^ (в)=/Г 2 р {Хт (ш)=^.
к
где
Р {*„.(">) = Л = 2 Р {г, (<о) = «iK/Vci. 2/><.л • • • m~1 Psn-i/-
Отметим, что обращенные вероятности перехода зависят от выбора начальных
"вероятностей.
Предыдущие рассмотрения показывают, что любая матрица [pi;], удов-
удовлетворяющая условиям
вместе с любыми начальными вероятностями [рг], удовлетворяющими усло-
условиям
Pi>0, 2л-1. A-5)
может быть использована для определения однородной цепи Маркова.
Матрица [pi}\, удовлетворяющая соотношениям A.4), называется стохасти-
стохастической матрицей. Вероятности перехода за п шагов также образуют сто-
стохастическую матрицу; они определяются последовательно формулами
и удовлетворяют соотношению A.3). Вероятности Р{яп(т) = Л состояния f
в момент п задаются рекуррентным соотношением
Ъ>? = Р A.7)
Величины {р(п)} называются абсолютными вероятностями. В частности,
еслп ру> = /?}*' = pj при всех /, то
и отсюда следует, что р™ = pf = ...; в этом случае pj называются стацио-
стационарными абсолютными вероятностями, а соответствующее распределение
(т. е. совокупность величин pv ..., р„) —стационарным (абсолютным)
распределением вероятностей. В дальнейшем будет показано, что в случае
конечной цепи (т. е. когда имеется только конечное число состояний, так
что соответствующие матрицы конечномерны) всегда существует по крайней
мере одно стационарное распределение вероятностей. В счетном случае такого
распределения может и не быть.

9 2. КОНЕЧНЫЕ ОДНОРОДНЫЕ ЦЕПИ МАРКОВА 159
§ 2. Конечные однородные цепи Маркова
В этом параграфе мы будем рассматривать цепи Маркова с конечным
числом N состояний. Переходные вероятности будут предполагаться стацио-
стационарными, и рассматриваемая задача будет состоять, в обозначениях § 1,
в изучении асимптотического поведения р<п) при п—*со, т. е. в изучении
свойств, характеризующих состояние системы через большой промежуток
времени. В частности, мы хотим исследовать зависимость этих свойств
от начального состояния.
Мы разберем сперва различные частные случаи поставленной задачи,
которые приведут потом к общему случаю г). После этого результаты будут
конкретизированы для некоторых других частных случаев.
Случай a). pij: — ps не зависит от i.
Это условие означает, что случайные величины xv х2, ..., образующие
цепь Маркова, взаимно независимы, т. е. что последовательность состояний,
принимаемых системой, определяется результатами некоторой последователь-
последовательности независимых испытаний. Например, этой системой может быть играль-
нан кость, тогда
1
Вероятность выпадения четырех очков при (т -j- 1)-м бросаяпи равна
Р* — 1U независимо от того, каковы были результаты предыдущих бросаний.
В случае а) интуитивно ясно и легко проверяется формально, что
P(il)=Pi}'=Pi< n=1- 2> •••
и рассматриваемая задача решается для этого случая тривиальным образом.
В этом случае совершенно безразлично, как выбраны {р/11}; всегда
Таким образом, после того как сделан первый шаг, на поведение системы
совершенно не влияет ее начальное состояние.
Случай б). Существуют целое число v^s-1 и совокупность J из N1'>1
значений /, для которых
min />М = S > 0.
HJ
В этом случае существуют числа plt ..., pN такие, что
"> = p., i, /=1, ..., N, d.>8, ¦ /?/, B.1)
причем plt ..., pN образуют стационарное распределение вероятностей.
Более того, B.1) здесь можно уточнить следующим образом:
[plf-PiKil-N^r^. B.2)
Таким образом, в случае б) свойства вероятностей перехода за большое
число шагов аналогичны их свойствам в случае а). Действительно, незави-
независимо от начального распределения, вероятность того, что система через
большое число шагов будет находиться в состоянии /, равна примерно pf.
Доказательство. Определим т\г^ и Mj равенствами
тУ'-minpf?, Д/J" = max pg>.

lfiO ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Тогда
Mr+" = max | pihp% < max 2 р^' = Ж<'\ } ("" *
так что
т?> <т?> <.... <Л/;-2><ДГ51>. B.4)
Если теперь фиксировать значения а и [3 и обозначить через 2* и 2
суммирование по всем значениям к, для которых pCg > р?^ и, соответственно,
^ < <' т0
2+(*2? -*?>>+Г<*2? - р$) = i-i=o, B-5)
и если имеется s значений к, входящих в / и включенных в 2 > т0
(N1-s)l-sl = l- 1\Ь. B.6)
Используя эти два соотношения, находим, что при п > 0
М?+* - m<n+v) = max
ot, p /i
< max B
а, р А
= max 2 * 0&> - Я<^) (Л/$п) - тТ) <
<(l-N1l)(M?)-m?)). B.7)
Далее,
М? - т^ = max (pfj> -pJJ)) <max 2* (рЦ)- рЦ)) < 1 -Nf>. B.8)
• а, ^ ое, (J А
Соединяя два последних неравенства, мы получаем
iI/("v)_m(itv)<A_iViS)it> B.9)
Поэтому [см. B.4)] Л/$п) и m'n) должны иметь общий предел р; при и—»¦ оо и
f fN$f™-1. B.10)
Если /С/, то 0 < S<m$v)<pJ. Если положить в A.6) я—> оо (и учесть,
что Pj неотрицательны и равны и сумме 1), то получаемое таким путем
соотношение в точности совпадает с условием того, чтобы р1( ..., pN
образовывали стационарное распределение вероятностей. На этом исследова-
исследование случая б) заканчивается.
Существует много методов, которые могут быть использованы для даль-
дальнейшего изучении цепей Маркова. Мы будем применять здесь в первую
очередь метод, основанный на прямом анализе переходов, совершаемых
системой. Сперва, однако, мы дадим пример возможного использования
чисто аналитических методов. Теорема, которую мы докажем таким спосо-
способом, позднее будет получена снова, как следствие некоторых более точных
результатов.
Теорема 2.1. Для любой стохастической матрицы Р = [рг/],
j,/=1, ..., N, существует стохастическая матрица Q = [qij] такая, что
п
Hm i 2 Pif = ?i;> '. / = 1 N- BЛ1)
~" m=l

9 2. КОНЕЧНЫЕ ОДНОРОДНЫЕ ЦЕПИ МАРКОВА
При этом QP=PQ = Q и Q2=Q.
Подчеркнем, что здесь не налагаются никакие ограничения на стохасти-
стохастическую матрицу [рг1\- Наша теорема утверждает, что существуют предель-
предельные средние по временя значения вероятностей того, что система, вышедшая
из состояния I, находится в состоянии /'. В дальнейшем запись Лп —* А =
= [aij]< гДе .4П= [а^ (га)]— последовательность матриц, означает, что
aij{n)—*aii ПРП п—*со для всех i и /. Если A = [atj] и -В = [4iy] — две
матрицы, то A -f- В обозначает матрицу [аи + ?;,], и если X—постоянное число,
то \А обозначает матрицу [Xai;]. Тогда B.11) можно записать в виде
Iim-i2^m = C- B.11')
П->СО .
Матрицы
являются стохастическими матрицами. Так как элементы стохастической
матрицы ограничены по модулю (не превосходят 1), то каждая последова-
последовательность такпх матриц содержит сходящуюся подпоследовательность.
Следовательно, для того чтобы доказать существование предела Q в B.11'),
достаточно показать, что все сходящиеся подпоследовательности рассматри-
рассматриваемых средних имеют один и тот же предел. Предположим, что А — предел
некоторой сходящейся подпоследовательности, т. е. что для соответствующей
последовательности целых чисел пх < га2 < ...
lim — 2 Р* = Л.
'~"°° ' m=i
Умножая это соотношение на Р слева и справа, находим, что
1; 1 *\ 1 пуп л t*i t*i л
Заметим теперь, что средние в двух предыдущих соотношениях имеют
общий предел, так как они отличаются лишь двумя членами
Pn>+1 P ¦
и
п1
которые стремятся к нулю при /—>оо. Поэтому
А = АР = РА.
Отсюда следует, что длн любого п
т=1
Следовательно, если В — некоторая предельная матрица подпоследователь-
подпоследовательности средних в B.11'), то
А = АВ = В А.

162 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Так как в этом соотношении А и В— две любые предельные матрицы, то,
поменяв их местами, будем иметь
Отсюда А = В, т. е. имеется только одна предельная матрица, что и требо-
требовалось доказать. Наконец, из предыдущих соотношений вытекает, что
Q = QP = PQt и что предел Q идемпотентен, т. е. Q2 = Q. Изучение идем-
потентных стохастических матриц позволяет получить более тонкие резуль-
результаты об асимптотическом поведении р<&> при больших п. Мы придем к этим
результатам ниже другими методами.
Нам потребуется следующая лемма.
Лемма 2.2. Пусть S — совокупность положительных целых чисел
и d — наибольший общий делитель чисел из S. Если при любых m?S и n?S
также и m^n^S, то все достаточно большие целые кратные числа d
входят в S.
Для доказательства заметим прежде всего, что можно найти конечную
совокупность целых чисел т^ т^у входящих в S такую, что е© наи-
наибольший общий делитель равен d. Следовательно, существуют целые числа
nlt ..., Пр. такие, что
n-jnx + ... + ПуТПу. — d.
Перенося в этом соотношении члены с отрицательными л;- вправо, мы видим,
что в S входят два целых числа вида р и p-\-d. Тогда при любом положи-
положительном m целые числа
mp, mp-\-d, ..., mp + md
также входят в S, т. е. если p± = pld, то в S содержатся все целые числа
вида
mp-\-nd= dijnp^-^-ri), O^n^m.
В эту совокупность чисел, очевидно, входят все кратные числа d, большие
чем p\d.
В дальнейшем состояние /' будет называться последующим за состоя-
состоянием i (порядка п) относительно заданной стохастической матрицы, если
/>0f)>0. При л=1 это означает, что pi}. > 0, а при л>1, — что найдется
цепочка промежуточных состояний о1, ..., ап-1 такая, что рих ... Ро^ j > 0.
Состояние / может быть последующим за состоянием i нескольких различ-
различных порядков, однако всегда наименьший из этих порядков не превосходит
N, где N—число состояний процесса. Действительно, если в указанной
выше цепочке состояний два а} равны (мы считаем здесь, что i = o0, /=on),
например, если ао = аь, то состояния ао, ..., аь_х можно выбросить из этой
цепочки; исключив таким способом все возможные промежуточные состояния,
мы получим в конце концов последовательность из неповторяющихся а;.
(за исключением, быть может, а? — ап) с B<iV.
Случай в). Для любых i и j состояние j является последующим за со-
состоянием i.
Пусть d—наибольший общий делитель совокупности порядков, с ко-
которыми состояние 1 является последующим за самим собой. Так как
то если в эту совокупность порядков входят числа и и л, те в нее входит
также число т-\-п. Следовательно, по нашей лемме, в эту совокупность
порядков входят все достаточно большие кратные числа d., Далее,

5 2. КОНЕЧНЫЕ ОДНОРОДНЫЕ ЦЕПИ МАРКОВА
163
причем здесь можно выбрать I и п так, чтобы первый и последний множи-
множители справа были положительны. Тогда из этого неравенства следует, что
р№ = 0 при всех т, за исключением некоторой совокупности значений т,
различающихся друг от друга на целые кратные числа d. Таким образом,
если определить множество состояний Са (а = 1, ..., d), называемое под-
подклассом, как множество состояний, являющихся при некотором п последую-
последующими за состоянием 1 порядка nd -j- а, то Са оказываются непересекающимися
множествами и в них входят все состояния 1, . .., N. Очевидно, подкласс
Ca+i состоит из тех состояний, которые являются последующими порядка
nd + 1 при некотором п за состояниями, входящими в подкласс Са (под
Cd+1 мы понимаем здесь CJ и т. д. Следовательно, если перенумеровать
состояния так, чтобы сначала шли состояния, входящие в Cv потом — вхо-
входящие вС, и т. д., то матрица [рг]] и ее степени будут иметь указывае-
указываемый здесь (для d = 3) вид
jo
[Pij]= С"-
с3
о
Рц О
С3 0 0 -РзЛз-Ргз
Циклические подклассы
причем последовательные степени будут принимать такой вид в цикличе-
циклическом порядке. Положительными здесь могут быть лишь элементы клеток
Pif. Сама система проходит циклически через подклассы Си С2, ..., Cd,
Cj, ... . Подчеркнем особо, что [/>$'] оказывается матрицей, все элементы
которой обрашаются в нуль, за исключением элементов, входящих в d
квадратных клеток, расположенных вдоль главной диагонали. Мы уже ви-
видели, что существует целое число v такое, что jojy1*' > 0 при т>ч. При
любых i и /'
причем здесь можно выбрать l^N и n^.N так, чтобы первый и третий
множители были положительны. Второй множитель положителен при т > v.
Если i н /' входят в один и тот же подкласс С*, то d будет делителем
числа 1-\-п. Следовательно,
/?">>0, если г>^-М, i
Матрица [p\f] с i, /6C« является, таким образом, стохастической матри-
матрицей, удовлетворяющей предположению случая б), причем роль / играет
здесь подкласс состояний Са. Следовательно,
lim/>(««> = т:о/>0, i, j?Ca, 2 *a,- = l.
И вообще, если г g Са и / g Cp, то
= У
I
[о
B.12)
в остальных случаях.

164 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Отсюда следует, что
l? B.13)
и этот предел не зависит от г. Таким образом, каково бы ни было началь-
начальное состояние i, существует предельное среднее значение itw/d вероятности
того, что система будет в состоянии / после большого числа переходов;
точнее, вероятность находиться в состоянии / после большого числа п пере-
переходов или равна 0, или же близка к тср, в зависимости от того, будет ли
(если i?Ca, /б^з) a-j-n = |3(modd), или нет. При больших п ненулевые
клетки матрицы [/г!™'] состоят только из положительных элементов.
Случай г). Общий случай. Все состояния 1, ...,N могут быть разде-
разделены на два типа: существенные состояния — состояния, являющиеся по-
последующими за любым из своих последующих состояний, и несуществен-
несущественные состояния — состояния, не являющиеся последующими за каким-нибудь
из своих последующих состояний. Если состояние / является последующим
за существенным состоянием i, то оно и само является существенным. Дей-
Действительно, если к является последующим за состоянием /', то оно являет-
является также последующим за состоянием i, i—>/—±/с и, следовательно, i
должно быть последующим за к (i — существенное состояние), i—>/—±/с—>i.
Но тогда / является последующим за к, к —*¦ i —» /, что и требовалось до-
доказать. Совокупность дественных состояний обозначим буквой F. Су-
Существенные состоянп. . я, далее, на эргодичфкие классы Еи Ег, . ..
состояний, являющихся последующими друг за другом; при этом если ig Еа,
то ?„ = 0 при /$?о.
Ег
Е2
Е3
F
Ei
«и
0
0
Ег
0
«ю
0
R
Е3
0
0
«33
R
F
a
0
0
««
Эргодические классы
Если перенумеровать состояния так, чтобы сначала шли состояния из
Ev потом из Е2, ... и последними — состояния, входящие в F, то матри-
матрица [pit] примет указанный выше вид (на схеме показано три эргодических
класса). Положительные элементы могут быть только в клетках Rif. Сте-
Степени матрицы [pii] имеют тот же самый вид. Предположим теперь, что
i?F, и покажем, что по крайней мере одно из состояний, последующих
за i, лежит в эргодическом классе, т. е. по крайней мере одно из состоя-
состояний, последующих за ?, является существенным. Пусть Г4 — множество со-
состояний, последующих за i. Тогда в Г4 входят все последующие за входя-
входящими в него состояния, т. е. если /6Г4, то Г^С1Г;; пусть ГЛ есть то
из Tj, /5Г4, которое состоит из наименьшего числа состояний. Из этого
свойства минимальности вытекает, что ГА должно совпадать с совокупно-
совокупностью состояний, последующих за любым из входящих в Vk состояний. Но
тогда 1\ состоит из существенных состояний и является в действительно-
действительности эргодическим классом; все состояния из этого класса являются после-
последующими за состоянием i. Это означает, во-первых, что всегда существуют
существенные состояния и, во-вторых, что для каждой из строк, соответ-
соответствующих состояниям из F, найдется такое п, что матрица \р^р\ содержит
ненулевой элемент в столбце, соответствующем какому-нибудь «з Еа. При
каждом а класс Еа определяет некоторую стохастическую матрицу, являю-

5 2. КОНЕЧНЫЕ ОДНОРОДНЫЕ ЦЕПИ МАРКОВА 165
щуюся а-й из клеток, стоящих вдоль главной диагонали матрицы [Pij],
и степени этих клеток совпадают с соответствующими клетками для степе-
степеней матрицы [fij]- Кроме того, каждая из этих стохастических матриц
удовлетворяет условиям случая в). Таким образом, для i?Ea мы знаем
поведение р№ при больших п. Если da— число циклических подклассов
„Cj, .. ., „С^, входящих в класс Еа, то
I 0 в остальных случаях,
где
Следовательно,
п
lim i- 2 Й? = $'• * е 3,, /€Л- B.13')
™~*°° т=1
Мы уже видели, что сходимость в B.12') является экспоненциально быст-
быстрой.
Если i ? F, то 2 М"' не может увеличиваться при возрастании п. Эта
i?F *J
сумма представляет собой вероятность перехода за л шагов из состояния i
в состояния, принадлежащие F, т. е. вероятность оставаться в F в течение
всех п шагов, так как, однажды выйдя из F, система остается навсегда
вне F. Далее, как мы уже видели, при больших п эта сумма меньше 1.
Выберем теперь ц настолько большим, чтобы при n>p и всех j$F эти
суммы были меньше 1,
Тогда
так что
Так как сумма 2 Р& изменяется при растущем п монотонно, то
2 joW
KF V
Итак, сумма слева, являющаяся вероятностью остаться в F после п ша-
шагов, стремится к нулю при п—>со. Таким образом, мы получили следую-
следующую теорему:
Теорема 2.3. С вероятностью 1 система остается в несуществен-
несущественных состояниях лишь в течение конечного числа шагов.
Итак, даже если вначале система была в несущественном состоянии,
через некоторое время она переходит в одно из существенных состояний.
Пусть pi(Ea) — вероятность того, что система, находившаяся вначале в со-
состоянии i, попадет в конце концов в класс Еа,

166 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
(суммы, стоящие под знаком предела, не убывают с ростом п, так как,
однажды попав в Еа, система остается там навсегда; поэтому п-я сумма
совпадает с вероятностью попасть в Еа за первые п шагов). Если i 6 Еа,
т Pt(-^o) = 1; если г€-Еь и Ь^а, то pi{Ea) = 0. Далее, если /?Еа, то
Вторая из этих двух сумм не превосходит 2 Р\™К а как мы видели, эта
последняя сумма стремится к 0 при т —*¦ оо. Следовательно, если положить
в этом соотношении т—>оз, л—* со и если do = l, то мы получим, что
В общем случае, когда do>l, пусть р; (aCs) — вероятность того, что систе-
система, находившаяся вначале в состоянии i, будет в конце концов находить-
находиться в подклассе аС. в моменты с номерами da, 2da, . . .,
Тогда
Если /€ОС?, то
где р—/и берется по модулю da. Полагая в этом соотношении т1—>со,
тг—»со, мы находим, что
= 2 />^WA?2da:fm)+ 2 ^J
ft6aCp* ft?F
4?
п-кю
[Соотношение B.12') является частным случаем B.12") при i$F.] Следо-
Следовательно,
. * 2 Р«(аС«)аяв1"
Мы снова доказали, таким образом, теорему 2.1 и при этом глубже
разобрались в переходах из состояния в состояние, совершаемых системой.
Существует подробно разработанная терминология для выделения важных
типов стохастических матриц, которые мы сейчас рассмотрим; мы не будем
пользоваться этой терминологией. Эта терминология вряд ли была бы создана,
если бы окончательные результаты и их значение для эргодической теории
были известны раньше.
Приведенная выше схема для матрицы [/>;>], иллюстрирующая разбие-
разбиение состояний на эргодические классы, верна также для матрицы [g€j-],
где Цц— пределы B.11) и B.13"); однако клетка FxF является здесь так-
также нулевой. В каждой клетке ЕахЕа все ее строки одинаковы:]
Лежащая под этой клеткой часть строки, соответствующей как, нибудь
состоянию из F, пропорциональна строке этой клетки с коэффициентом про-
пропорциональности Р; (i?a) > 0.
Случай д). Предел qis в теореме 2.1 не зависит от i тогда и только
тогда, когда имеется единственный эргодический класс. Про этот случай

5 2. КОНЕЧНЫЕ ОДНОРОДНЫЕ •ЦЕПИ МАРКОВА 167
обычно говорят, что состояние системы перестает зависеть от начальных
условий, когда число шагов (переходов из состояния в состояние) стремится
к бесконечности.
Случай е). Предел q^ в теореме 2.1 оказывается обычным пределом
Iim /#> = qii
п-*-со
тогда и только тогда, когда каждый из эргодических классов не содержит
циклических подклассов.
Случай ж). Предел q{j в теореме 2.1 положителен при всех i и /
тогда и только тогда, когда все состояния являются существенными
и имеется единственный эргодический класс. Элементы q{. не зависят в этом
случае от i.
Описанный выше случай б), когда при некотором ч неравенство //,>' > О
имеет место для всех i при любом / ? /, может быть теперь охарактеризован
следующим образом: все состояния из / являются существенными; имеется
единственный эргодический класс, и этот класс не содержит циклических
подклассов.
Случай з). p{i > 0 при всех i (это условие остается, конечно, выпол-
выполненным, как бы ни перенумеровать состояния). При таком условии не может
быть циклических подклассов, так что в силу е)
при всех i и /'. Таким образом, в этом случае можно заменить предел
по Чезаро в теореме 2.1 на обычный предел. Однако использованное здесь
условие возможности такой замены может быть значительно ослаблено.
Случай и). Если pi. = p.il то матрица [р{,-], все ее степени, а следо-
следовательно, и предельная матрица [<74j] являются симметрическими матрицами.
Это условие также не нарушится, если перенумеровать по-другому состоя-
состояния системы. В этом случае в каждом из эргодических классов не может
быть больше двух циклических подклассов и совсем не может быть несу-
несущественных состояний (в противном случае матрица не будет симметриче-
симметрической). Поэтому, если предположить дополнительно, что ни для одного
из классов da не равно 2, то
Iim jD<f =air =giy, i$Ea.
П-»СО
Так как матрица [</4)] симметрична, то отсюда следует, что
Iim p^ = ~, ъ$Еа,
п-*со ¦*v a
где Na — число состояний в классе Еа. В частности, если имеется только
один эргодический класс, то
Случай к). В некоторых приложениях основная стохастическая матрица
удовлетворяет условию
Это условие, несколько более общер. чем условие симметрии, выполняется
независимо от того, как занумерованы состояния. Ему будут удовлетво-
удовлетворять также степени [pff] и пределы [qu]. Следовательно, в этом случае

168 ГЛ/V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
не может быть несущественных состояний (эти состояния дают в матрице
нулевой столбец). Соотношение B.11) переходит здесь в соотношение
гДе *Va —число состояний в Еа. Однако предел по Чезаро в этом случае
не может быть, вообще говоря, заменен обычным пределом.
Возможные стационарные распределения вероятностей полностью описы-
описываются следующей теоремой.
Теорема 2.4. При любом i величины qn, ...,qi[f [определяемые соот-
соотношением B.11)] образуют стационарное распределение вероятностей.
Обратно, любое стационарное распределение вероятностей является
линейной комбинацией (с неотрицательными коэффициентами, равными
в сумме 1) этих N распределений к, более того, линейной комбинацией
тех из распределений, для которых i§F. Вообще, любое решение {EJ системы
уравнений
J^-E,, / = 1,...,ЛГ B.14)
является линейной комбинацией этих распределений с i$F.
Заметим, что в соответствии с этой теоремой каждое несущественное
состояние имеет в стационарной цепи Маркова с конечным числом состоя-
состояний вероятность нуль. Если i меняется в пределах одного класса, то (qiit ...
...,ЯШ) не зависит от i. Поэтому в силу сформулированной теоремы каж-
каждый эргодический класс определяет единственное стационарное распреде-
распределение вероятностей. Так как при распределении, соответствующем классу Еа,
все состояния, лежащие вне Еа, имеют вероятность 0, то определенные
таким образом стационарные распределения вероятностей линейно незави-
независимы. Мы уже отмечали, что если i?F и /?Еа, то величины qt/ пропор-
пропорциональны величинам qtj с i?Ea и j€Ea, так что строка (ди, ..., q^
при i?F определяет стационарное распределение вероятностей, являющееся
линейной комбинацией только что описанных распределений.
Чтобы доказать сформулированную теорему, заметим, что в силу тео-
теоремы 2.1 QP=Q, т. в.
N
и что поэтому (gu qiN) является стационарным распределением вероят-
вероятностей. Обратно, если (pv ..., Рн) — стационарное распределение вероят-
вероятностей, то для любых / и п
а, следовательно, также и
Поэтому (п\—»со)
J
и эти соотношения показывают, что (pv ..., pN) является линейной комби-
комбинацией строк матрицы Q (с коэффициентами pv ..., pN), что и требовалось
доказать.

8 3. СЛОЖНЫЕ ЦЕПИ МЕРКОВА 169
Эти соображения применимы и в более общем случае, когда вероят-
вероятности рг, ..., рх заменены любым набором чисел ?,, . .., ^, удовлетворяю-
удовлетворяющих B.14).
В качестве приложения рассмотрим следующую'довольно грубую идеа-
идеализацию процесса диффузии. Две урны, U1 и U2, содержат белые и черные
шары. Из каждой урны выбирается случайным образом по одному шару,
и эти шары перекладываются в другую урну. Задача состоит в том, чтобы
найти асимптотическое распределение шаров в этих урнах. Предположим,
что в каждой урне находится по N > 1 шаров и что всего имеется N белых
и N черных шаров. Пусть хп — число белых шаров в урне f/x поЪле п
перекладываний. Процесс хп образует, очевидно, цепь Маркова с матрицей
вероятностей перехода [р^], ?,/ = 0, ...,N, задаваемой равенствами
Ра ^—jji—> u<
G t<N-
ptj = 0 в остальных случаях.
! > этом случае р<№ > 0 при всех i и /, так что все состояния являются
существенными, имеется только один эргодический класс, и он не содержит
циклических подклассов. Следовательно,
lira />(¦?> = р, > 0
существует при всех j и /; пределы р0, ..., pN образуют однозначно опре-
определенное стационарное распределение вероятностей. Пределы pt можно
вычислить, решив систему уравнений, которым они удовлетворяют:
но проще догадаться, каково будет решение, и затем проверить правиль-
правильность этой догадки. В самом деле, интуитивно ясно, что если начальное
распределение шаров по урнам таково, как в случае, когда N шаров,
попавших в урну Ult выбраны случайным образом из числа всех 2N шаров,
то это начальное распределение будет сохраняться и в дальнейшем. Это
подсказывает нам, что
и, действительно, эти выражения удовлетворяют уравнениям для Pj. Сле-
Следовательно,
lim pW = (/|)M(TV-»l]»BJV)! .
и мы доказали, что независимо от того, каково было начальное распреде-
распределение черных и белых шаров в двух урнах, после большого числа пере-
перекладываний это распределение будет совпадать с распределением, возни-
возникающим при заполнении урны случайно выбранными шарами.
§ 3. Сложные цепи Маркова
Мы ужэ отмечалп в § 6 гл. II, что сложная цепь Маркова, т. е. про-
процесс, в котором, грубо говоря, условные вероятности будущих состояний
вависят от v > 1 предыдущих состояний, может быть сведена в марковскому

170 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
процессу, образованному векторными случайными величинами. В случае
конечной цепи Маркова это означает, что сложная цепь может быть сведена
к обычной конечной цепи, но с большим числом состояний. Если заданные
переходные вероятности стационарны (мы будем рассматривать только этот
случай), то достаточно задавать лишь переходные вероятности
Р{хп(ш) = ;|жп_у(ш) = г1, . . .,xn-i(ia) — i4},
по которым можно вычислить все другие вероятности перехода. Если опре-
определить теперь хп, как v-мерный вектор (xn_v+1, ..., хп), то процесс хп оказы-
оказывается марковским процессом со стационарными переходными вероятно-
вероятностями pix... iv/1... /v- Если каждое из хп может принимать N значений, то
вероятности р^ ... ^ ... yv определяют стохастическую матрицу с If строками
и столбцами, соответствующими iVv возможным значениям, которые может
принимать каждое из хп. Однако большинство элементов этой стохасти-
стохастической матрицы равно нулю, так как, очевидно,
Pi^ ... Vj... ;v ФО, только если ]\ = ц, ..., /v-i = W,
таким образом, отличными от нуля могут быть лишь iVv+ переходных ве-
вероятностей. Если перенумеровать в некотором порядке JVV возможных сово-
совокупностей значений iv ..., iv, то процесс хп можно рассматривать как
обычную однородную цепь Маркова, для которой образующие ее случайные
величины принимают значения 1, ..., iVv; вероятности piv.. ivJj... ,v перехо-
переходят в вероятности р{., где i, /=1, ...,iVv. Как уже отмечалось, большин-
большинство вероятностей pij обращается в нуль. Теперь можно применить резуль-
результаты предыдущего параграфа, рассматривая указанные там условия как
условия, наложенные на процесс {хп}; в дальнейшем эти условия могут быть
преобразованы и в условия на процесс хп. Так, например, в силу теоре-
теоремы 2.1
существует для всех iv ...,iv, j\,...,j\. Суммируя по /\, ..., /.»_,, мы
находим, что
lim-i У. Р{ят(ш)
т=1
существует для всех iv ...,гч, /. В частности, предположим, что
для всех ix, ..., jv, /. Тогда
при всех ilt ..., iv, /x /v, откуда вытекает [случай б) предыдущего
раздела], что существует
ton/^L м /v
П-*СО
и что этот предел не зависит от iv ..., iv. Поэтому существует и не зависит
.от iv ..., Ц также и предел
lim Р {х (<в) = /| х1(ш)= i1, ..., xv (ш)= jv}.

5 4. ПРИЛОЖЕНИЕ К ПЕРЕМЕШИВАНИЮ* КАРТ 171
§ 4. Приложение к перемешиванию карт
Задача о перемешивании карт является хорошим примером приложе-
приложения теории цепей Маркова. Предположим, что колода из М карт, зану-
занумерованных числами 1, ...,М, многократно перетасовывается. После каж-
каждого тасования проверяется порядок карт в колоде. Задача состоит в том,
чтобы установить разумные гипотезы, которые надо наложить на процесс
тасования, для того чтобы происходило полное перемешивание.
Тасование представляет собой просто перестановку карт в колоде;
иными словамп, каждому тасованию соответствует подстановка
1, ...,М
где а^— место, на котором оказывается после тасования карта, находив-
находившаяся до тасования на /-м месте. Последовательности тасований соот-
соответствует последовательность подстановок из М элементов; общее число
таких возможных подстановок равно М\. Полнота перемешивания зависит
от того, как эти подстановки меняются при переходе от каждого тасова-
тасования к следующему. Например, если все подстановки идентичны, то каждая
карта будет пробегать циклически некоторую последовательность положе-
положений в колоде и ее положение можно будет определить, если знать число
тасований. Точно так же циклическим образом будет изменяться и совме-
совместный порядок всех карт колоды. Конечно, такое положение не совместимо
ни с каким разумным образом определенн.ым полным перемешпванпем. С дру-
другой стороны, изменения положения карты в колоде будут иметь такой же
циклический характер, если использовать последовательно все М\ возмож-
возможных подстановок, расставленных в некотором порядке, и повторять такую
процедуру неограниченное число раз.
Ни один из этих примеров не отвечает естественному представлению
о полном перемешивании, при котором невозможно предсказать положение
карты, зная начальное расположение колоды и число тасований. Необхо-
Необходимо ввести вероитностные идеи. Чтобы сделать это, предположим, что
подстановка Хп, индуцируемая л-м тасованием, является случайной вели-
величиной. Мы занумеруем все Ml подстановок, так что возможными значе-
значениями Хп будут числа 1, ...,М\. Характер перемешиваний зависит теперь
от свойств процесса Хп — процесса тасования.
При исследовании перемещения отдельных карт или групп карт удоб-
удобнее анализировать не сам процесс тасования, а некоторые процессы, тесно
с ним связанные. Пусть г' \ .. . ,г—любые т различных действительных
чисел* не превосходящих М, и, пусть
— совокупность положений после п тасований т карт, занимавших вначале
соответственно положения га>, . . ., г(т> (под «положением» здесь подразу-
подразумевается, скажем, номер карты, если считать все карты по порядку, начи-
начиная с верха.колоды). Тогда процесс х™ полностью определяется начальными
положениями гш, ..., i(m' и процессом Хп. Процесс ж„ и является есте-
естественным средством для изучения перемещений наборов из т карт.
Мы будем говорить, что процесс тасования приводит к полному пере-
перемешиванию, если в результате длинной серпи тасований все М\ различных
возможных расположений карт становятся примерно равновероятными неза-
независимо от того, каковы были результаты начальных тасований; точнее,
мы будем говорить, что имеет место полное перемешивание, если для

172 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
любого целого положительного * равенство
^H^I*!10(») = *!- ...,*<М)(«>) = У = ж D.1)
справедливо при любой совокупности из s-{-1 наборов $, ?х, ...,?,, каждый
из которых состоит из М целых чисел, заключенных между 1 и М.
В некоторых случаях оказывается совершенно достаточным и менее полное
перемешивание, чем только что описанное. Например, если чародей (теперь
их называют телепатами) предлагает своей жертве перетасовать колоду
карт и вынуть одну карту, а затем угадывает, какова эта карта, то для
того, чтобы испытать могущество чародея, жертва вовсе не должна быть
уверена в полном перемешивании колоды. Здесь будет достаточным зна-
значительно более слабое требование, состоящее в том, чтобы для любого по-
положительного s и любого целого к, заключающегося между 1 и М, при
всех целых j\, ... , /s выполнялось равенство
lim Р {4.11 («) = к 141' («) = Л si11 (со) = Д} = * .
Если это верно, то все М возможных положений данной карты становятся
равновероятными после длинной серии тасований, независимо от первых у
положений этой карты. И вообще, мы будем говорить, что процесс тасова-
тасования приводит к полному перемешиванию наборов из р. карт, если для
каждого положительного целого s и для всех совокупностей из s+1 на-
наборов $!,..., ?3, каждый из которых состоит из р. целых чисел, заклю-
заключенных между 1 и М, выполняется равенство
lim Р {*?> (ш) = Е | 410 («)-Ei W («) = К) = ('*»,")' • D-2)
Полное перемешивание колоды совпадает при такой терминологии с полным
перемешиванием наборов из М карт. Легко проверить, что если fi0 < ц, то
полное перемешивание наборов из ц карт влечет за собой полное переме-
перемешивание также няб-оов из |i0 карт.
Гипотеза (Л;. Случайные величины Xlt Хг, ..., задающие процесс
тасования, взаимно независимы и одинаково распределены.
Предположение, что величины Xj соответствуют повторным независимым
испытаниям, является, вероятно, наиболее естественным. Пусть
и пусть
вероятность того, что карты, занимавшие вначале положения И1\ ... , iW,
перейдут в результате одного тасования в положения j(f\ ... , jM. Тогда
Pi(U... iM /К... jM = 2 PV
где сумма берется по всем подстановкам, переводящим первый набор из fi
карт во второй. Ясно, что процесс х„ является цепью Маркова, и мы
только что вычислили ее матрицу вероятностей перехода. Если или вели-
величины i, или величины / пробегают все возможные наборы из р чисел, то
подстановки, входящие в написанную выше сумму, пробегают совокупность
всех возможных подстановок, так что
М!
( 2 W л» >... «w ,«>... & = р1^ р^ - i<">/'>... /<-> - Д Л=1.

5 4. ПРИЛОЖЕНИЕ К ПЕРЕМЕШИВАНИЮ КАРТ 173
Таким образом, процесс х^' является однородной цепью Маркова, у кото-
которой суммы элементов матрицы вероятностей перехода по столбцам (так же,
как и по строкам) равны 1. Выводы из этого факта были рассмотрены
нами в § 2, случае к).
Так как процесс х„ является цепью Маркова, то условие D.2) для
полного перемешивания переходит в условие
lim Р {4Г> («) = Е | *&*> („) = у = -l*L=j$L, гD.2')
причем, поскольку цепь однородная, не будет ограничением предположить,
что s = 1.
Мы продолжим наше изучение, сделав более специальные предположения
о процессе тасования. Такие предположения заведомо необходимы, чтобы
получить интересные результаты, так как гипотеза (А) не исключает, на-
например, возможности того, что все тасования идентичны.
Гипотеза (Ац). Выполнена гипотеза (А), и множество наборов из
р. положений карт нельзя разбить на два непересекающихся подмножества
так, чтобы не существовало подстановки с положительной вероятностью
Ph, переводящей хотя бы один набор из первого подмножества в набор из
второго подмножества.
Очевидно, если fi0 < р., то из (А^) вытекает (Ац0).
Если гипотеза (А^) выполнена, то цепь х^ имеет только один эргоди-
ческий класс, так что [см. § 2, случай д)]
m=l
т. е. можно сказать, что в смысле средних здесь имеет место полное пере-
перемешивание наборов из A карт. Гипотеза (Ац) не будет выполняться, если,
например, при всех подстановках с положительными Рк верхние у. карт
переходят в верхние же |и карт. С другой стороны, предположим, что каж-
каждая из подстановок с положительными Ph переставляет друг с другом
верхнюю и нижнюю половины колоды (этот пример нужно слегка видоиз-
видоизменить, если М нечетно) и производит, кроме того, какие-то перемещения
внутри каждой из половин колоды. Тогда могут быть выполнены все
гипотезы (Аг), ... , (Ам), однако в этом случае не удовлетворяется нп одна
из следующих гипотез.
Гипотеза (А^). Выполнена гипотеза (Ац), и для всех достаточно
больших s по крайней мере один из наборов из р. положений карт с поло-
положительной вероятностью может перейти сам в себя за s тасований.
Гипотеза (А^) влечет за собой (А^о), если fi0 < р..
Если выполнено (А^), то процесс х^ имеет только один эргодический
класс и не имеет циклических подклассов. Следовательно,
П-*СО iVi '
а это и есть в точности условие D.2') полного перемешивания наборов из
ji карт.
Гипотезы (Ац) и (А^) ограничивают обращение в 0 вероятностей Pk.
Если все Pk положительны, т. е.'если при тасовании возможны все пере-
перестановки, то гипотеза (А^) будет удовлетворяться при всех р. п, следова-
следовательно, будет иметь место полное перемешивание. В этом случае стохасти-
стохастические матрицы не будут содержать нулевых элементов.
Гипотезы (Ац) и (А^) принимают особенно простую форму для и = Л/:
(Ajf) эквивалентно утверждению, что выполнено (А) и что можно

174 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
перейти от любого расположения карт в колоде к любому другому распо-
расположению при помощи последовательности подстановок с положительными
Рг (т. е. что подстановки с положительной вероятностью порождают группу
всех подстановок). Гипотеза (Ajk) добавляет к этому условие, состоящее1
в том, чтобы для всех достаточно больших s можно было перейти от лю-
любого расположения карт колоды к любому другому расположению (или
назад к тому же самому расположению) последовательным применением s
подстановок, имеющих положительную вероятность. Это добавочное условие
будет, например,'удовлетворяться, если тождественная подстановка (соот-
(соответствующая тому, что колода вообще не тасуется) имеет положительную
вероятность.
Естественно попытаться расширить гипотезу (А). Один из способов
сделать это состоит в том, чтобы наложить ограничения на вспомогатель-
вспомогательный процесс Хп , обеспечивающие полное перемешивание наборов из р. карт,
и затем вывести соответствующие гипотезы для процесса Хп. Предположим,
например, что процесс х^ является однородным марковским процессом.
Если (л = М, то отсюда следует, что на вероятность Рт подстановки с номе-
номером г при л-м тасовании не влияют результаты предыдущих тасований.
Другими словами, при ц = Л/ эта гипотеза совпадает просто с гипотезой
(А). При р. < М эта гипотеза слабее гипотезы (А), однако ее формулировка
в терминах процесса Хп является не особенно прозрачной.
Другой способ ослабить гипотезу (А) состоит в том, чтобы предполо-
предположить лишь, что процесс Хп является однородной цепью Маркова. Эта гипо-
гипотеза позволяет процессу тасования «обладать некоторой памятью», что,
конечно, вполне разумно. Если процесс Хп является сложной v-связной
цепью Маркова, то процесс х^ оказывается сложной (v-f- 1)-связной цепью,
и к анализу перемешивания могут быть применены общие теоремы о слож-
сложных цепях Маркова (см. § 3). Однако вспомогательный процесс х^ при
ji < М может и не оказаться сложной цепью Маркова.
§ 5. Обобщение, результатов § 2 на произвольные
пространства состояний
Следующая конструкция представляет собой естественное обобщение
матрицы вероятностей перехода [pif]. Пусть X —пространство точек 6, и пусть
&х — некоторое борелевское поле подмножеств множества X. Функция
/>(-,-) от S6X и А^&х называется функцией вероятностей перехода, если
она обладает следующими свойствами:
(I) />(?, А) определяет при фиксированном I вероятностную меру по А;
(II) /»(?, А) определяет при фиксированном А функцию от ?, измери-
измеримую относительно поля JFx-
. Если выбрано начальное распределение вероятностей р(-) на множе-
множествах А? JFx, то на пространстве Q последовательностей <o = ($lf \г, ...),
где k ? X, можно следующим образом определить вероятностную меру. Пусть
хп— n-я координатная функция, так что а:п(ш) = $п, если (о — это точка
($х, ?2, ...). Положим
5
Ах
Такое задание определяет вероятностную меру на множествах из 3F, где
F &~х X ... является борелевским полем <о-множеств, порожденным

5 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЙ 175
классом множеств вида
{^.(«ОбЛ}, />1, А$.3=х.
(см. дополнение, § 2).
Если, в частности, начальное распределение вероятностей сконцентри-
сконцентрировано в точке S, т. е. если
то мы будем обозначать вероятность любого ш-множества А символом
Р{А|х1(ш) = $}
и математическое ожидание любой случайной величины х — символом
E{x\x1(m) = k).
Здесь под «случайными величинами» подразумеваются, как и обычно,
измеримые си-функции, а использование обозначений условных вероятностей
и условных математических ожиданий будет оправдано в следующем абзаце.
Заменяя последовательность ($х, ?2> ¦•¦) последовательностью (Sn, ?n+1, ...),
мы приходим, очевидным образом, к определению символов
Р {А | *,»¦=&}, Е{*К(ш)=Е}.
Если X — множество действительных чисел и 3-х — поле одномерных
борелевских множеств, то проведенным выше построением определяется
некоторый вероятностный процесс [хп, л>1}. При любом начальном рас-
распределении этот процесс является марковским процессом, и определенные
в предыдущем абзаце величины становятся вариантами указываемых на-
нашими обозначениями условных вероятностей и математических ожиданий.
Эти варианты и будут всегда использоваться в дальнейшем. Однако при
этом не будет предполагаться, что X—множество, лежащее на прямой,
и 3Fx — класс борелевских множеств. Другими словами, мы будем в этом
параграфе рассматривать марковские процессы, для которых образующие
их случайные величины не являются обязательно величинами, прини-
принимающими численные значения. Читатель, которого затрудняет такая
общность, может, если угодно, наложить на X и JFx некоторые ограниче-
ограничения, однако это не упростит рассуждений.
Без труда вычисляются вероятности перехода за п шагов [ср. A.6)]
) = р(Ъ, Л),/><«+»> (Е, Л) =$/><«) (г,, A)p[t, <% E.2)
х
эти вероятности снова являются функциями вероятностей перехода. Вероят-
Вероятности находиться в множестве состояний А в момент п задаются рекур-
рентно формулами [ср. A.7)]
,р(А) л=1
p(K)() n> 1.
X
Если эти вероятности не зависят от п, то процесс хп оказывается стацио-
стационарным в узком смысле, и /»(') называется стационарным абсолютным рас-
распределением вероятностей.
Пример 1. Пусть пространство X состоит ровно из N точек, зану-
занумерованных числами 1, .. . , N, а &% состоит из самого X и всех его
подмножвств. Пусть [ptj] — любая ./V-мерная стохастическая матрица. Опре-
Определим рA, А) равенством

176 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Тогда />(",") оказывается функцией вероятностей перехода и, обратно,
любая функция вероятностей перехода с описанными выше X и JFz
может быть получена таким способом. При этом итерированным вероятно-
вероятностям перехода, определяемым соотношением E.2), соответствуют степени
матрицы [jfj^]. Таким образом, изучение /><">(?, А) при больших п сводит-
сводится здесь к изучению при больших п вероятностей />'"'; это изучение было
проведено в § 2. Результаты, полученные для этого частного случая, рас-
распространяются почти полностью на общий случай, если наложить на р(',')
довольно слабые ограничения. Пример 4, рассматриваемый ниже, показы-
показывает, однако, что эти результаты верны не всегда.
При каждом заданном S, если мало А, то мало и p(i, А), так как,
грубо говоря, p(i, А)—* 0 при Л—* 0. Ограничения, накладываемые обычно
на p(h, А), требуют в каком-то смысле равномерной по 6 малости рA, А)
при малом А. Мы здесь воспользуемся гипотезой Деблина, несколько
обобщив его собственную формулировку.
Гипотеза (D). Существуют (конечная) мера о на множествах
F с <f(X)~>0, целое число v>l и положительное число г такие, что
Р&Ц1, А)< 1 — s, если ?(Л)<е.
Заметим, что если гипотеза (D) выполнена при некоторых ср, v и s, то она
выполнена при любом п > v и тех же самых у я ?, так как если
<р(Л)<г, то
jtfv+m) $fA) = ^ pCi (tj, A) pW F, d-ц) < A - ь) /><m> (t, X) = 1 - е.
Пример 1 (продолжение). Гипотеза (D) всегда выполняется в усло-
условиях примера 1. Действительно, если положить ср (А) равным числу точек,
содержащихся в А, то при <р(-А)<1 множество Л оказывается пустым, так
что />(?, А) = 0. Гипотеза (D) удовлетворяется здесь при 0<е<1. Таким
образом, гипотеза (D) не накладывает никаких ограничений на конечно-
конечномерные стохастические матрицы. Предположим теперь, что, пространство X
состоит из счетного числа точек, обозначенных числами 1, 2, ... , так что
соответствующая стохастическая матрица оказывается бесконечномерной.
Тогда любая мера ср может быть задана с помощью некоторой последова-
последовательности неотрицательных чисел clt cz, ..., где 2 ct < оо, формулой
Гипотеза (D) удовлетворяется, если, например, ряды 2 Pi, сходятся рав-
равномерно по i; однако это требование равномерной сходимости является
слишком сильным. Если [pi;.] —единичная матрица, то гипотеза (D) но
удовлетворяется ни при каком выборе <р> т. е. ни при каких сг.
Пример 2. Пусть X—борелевское множество в /n-мерном евклидо-
евклидовом пространстве, и пусть S'x состоит из борелевских подмножеств множе-
множества X. Пусть р0(¦ , ¦) —Л5еровская функция от Е, ц такая, что
X
где ?, т] —точки m-мерного пространства и интегрирование проводится
относительно меры Лебега в этом пространстве. Тогда функция р(- , ¦),
определенная формулой

5 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЙ 177
является функцией переходных вероятностей. Если мы определим рекур-
рентно /^п> ($, т]), равенствами
( Pa(Z, i)), л=1.
то мы получим
В этом важном частном случае /?(-,¦) оказывается интегралом от плот-
плотности вероятностей перехода, ро(- , •), а итерированные /?(г1)(- , ¦) ока-
оказываются интегралами от итерированных плотностей /?<,"' (¦ , •). Этот пример
можно очевидным образом обобщить, отбросив предположение о том, что
X является множеством в евклидовом пространстве и что основной мерой
на X является мера Лебега. Заметим, что если <р(А) определено как мера
Лебега множества А, если ср(Х)< со и если^0(. , ¦) —ограниченная функ-
функция, скажем po(i, т))<ЛГ, то
так что гипотеза (D) выполняется при е^1/(ЛГ+1). Гипотеза (D) остается
выполненной и при более общем предположении, что <р(Х) < с» и что
функция ро(?, т)) равномерно (по S) интегрируема по ij. Однако при задан-
заданной мере о даже это последнее условие оказывается много сильнее, чем
гипотеза (D), так как из этого условия следует, что если ср(А) близко к О,
то и p(i, А) близко к 0 равномерно по S, в то время как (D) требует
только, чтобы при малом <?(А) функция />(?, А) была равномерно по $
меньше 1.
Пример 3. Если р (• , ¦) — функция вероятностей перехода и ф —
некоторая конечная мера на множествах JFx, обладающая тем свойством,
что при некотором v
то гипотеза (D) удовлетворяется при 0<s<-2" и <р = ф. Иногда оказы-
оказывается полезным следующее более сильное условие:
рЫ(\, А)<КрМ(-п, А)
при всех ?, t), А, некотором целом v и некоторой константе К. Это новое
условие значительно сильнее предыдущего, так как из него следует, что
если для некоторого ? и некоторой последовательности множеств Лх, Аг, ...
Jim /><*>($, Ап) = 0,
Л —> со
то это же предельное соотношение верно для всех ? и притом равномерно по {.
В дальнейшем /><"> (Е, А) будет обозначать условную вероятность того,
что система (выйдя из начального состояния ?) побывает в состояниях
множества А хотя бы один раз за первые п шагов, т. е.
?(, )ОГ [,()
У—2
Величина р(п) (i, А) является неубывающей функцией от п.
Лемма 5.1. Если выполнена гипотеза (D) и если множество
обладает тем свойством, что
lim /><"> E, А) = sup jB<n> E, А) > О

при всех ?, то существуют положительное целое число ц а положительное
число р < 1 такие, что
Так как р(п) (?, А) не убывает с ростом п и положительно при доста-
достаточно большом п (зависящем от ?), то существуют такие число S > О,
положительное число а и множество B?^Xi для которых
Далее, в силу гипотезы (D)
pW (&,?)< 1-*. * б*. E-3)
Для доказательства леммы положим fi. = a-f-v и покажем, что
U)m, E.4)
откуда и будет вытекать искомое] утверждение с р = 1 — Se. При т = 1
E.4) принимает вид
справедливость этого неравенства следует [мы используем E.3)] из того, что
х-в
Чтобы доказать теперь, что E.4) верно и в общем случае, мы предположим,
что оно верно для некоторого т, и докажем, что при этом оно будет верно
и для m-j-1. Пусть ж<") (I, E) — условная вероятность, при условии, что мы
вых -л;:м из точки 5, перейти в множество состояний ? за Л(л шагов, оста-
оставаясь все время вне А. Тогда
l-jrf"n)(e, Л) = *<">(&, Х-Л),
и предположив, что E.4) верно при некотором т (а также при т = 1, что
уже было нами доказано), мы будем иметь
, Х-А)=
х-л
что и требовалось доказать.
Изучение асимптотического поведения переходных вероятностей р(п1 ({, А)
при п —* оо мы будем проводить постепенно, рассматривая поочередно
случал, являющиеся обобщениями соответствующих случаев из § 2. Если
/>(?, А) является интегралом от переходной плотности,, положительной
в некотором определенном смысле, то доказательство проходит без каких-
либо изменений. Трудность состоит в том, чтобы показать, что из гипо-
гипотезы (D) следует существование «хороших» плотностей вероятностей пере-
перехода. Для получения этих плотностей введем обычным способом «двумерную»
меру на множествах, составленных из точек F, ij), i?X, t)fX. Если Е
и Е' — множества из класса jFx, т0 мера «прямоугольника» Е в простран-
пространстве (;, т|), определяемого условиями i?E, t\?,E', задается формулой
о (Ё) =?(?)?(?'),

5 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЙ 179
где <р — мера, фигурирующая в гипотезе (D). Эта мера распространяется
обычным образом на множества борелевского поля .?% = $~х X ?Fx про-
пространства ($, т\), порожденного классом прямоугольников.
При любых 5 и п функция jb("> (&, •) является мерой на множествах
из Jf x и, следовательно, может быть разложена на абсолютно непрерыв-
непрерывную и сингулярные компоненты относительно меры у (см. дополнение, § 2).
Иначе говоря, мы можем написать
j»f»)(E, Е)= $ Дп>(&, ЧМ*|) + Д(П)(*, Я), E.5)
s
где jt?on)(&, •) —функция от -ц, измеримая относительно &х, и Д<п> (&, -) —
мера на множествах &х, принимающая максимальное значение на (зави-
(зависящем от п и I) множестве ср-меры • 0. Мы будем называть условием (Е)
условие, состоящее в том, что это представление /><п) возможно при всех
п с р§\ измеримым по паре переменных $, ц, т.е. измеримым относитель-
относительно JFx. Мы всегда будем предполагать, что если это условие выполнено,
то используемые плотности р^ обладают только что указанным свойством.
Мы будем отмечать все случаи использования условия (S), которое пона-
понадобится нам лишь при доказательстве некоторых предварительных результатов;
окончательные результаты не будут предполагать выполнение этого усло-
условия. Заметим, что если условие (S) выполнено, то Д (-,^4) является
измеримой относительно 3~х функцией от 5. Далее, при этом условии
р(т+п) (?? А)=\ р(«Ч (Г.,
X
так что если А является подмножеством дополнения к сингулярному мно-
множеству, на котором сосредоточена мера Atm+n)(C,, •). ТО
Но так как указанное сингулярное множество имеет ср-меру 0, то это не-
неравенство выполнено для всех А, и отсюда следует, что для почти всех ¦$
(в смысле меры у)
Дт+П)E, п)> ] р0(т) (С чЫп)(&, СМД),
Начиная с этого места, мы будем предполагать, что если удовлетворяет-
удовлетворяется условие (Е), то р§* выбраны таким образом, чтобы это неравенство
выполнялось при всех 1). Чтобы оправдать последнее предположение, мы
должны показать, что р^ можно выбрать так, чтобы они удовлетворяли
при всех т] указанному неравенству. Такой выбор можно сделать следую-
следующим образом. Предположим сперва, что р§> выбраны произвольно. Мы
будем строить рь —новый вариант р^\ уже удовлетворяющий приведен-
приведенному неравенству. Положим р^ = р[{К Если Д'' уже построено для / < k
(А 1), то, как мы видели, при каждом «

180 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
для почти всех ij. Положим р\' (?, т]) при всех S, т] равный максимуму из
левой и правой сторон этого неравенства. Без труда проверяется, что этот
выбор удовлетворяет сформулированным выше условиям.
В соответствии с примером 2.7 дополнения условие (?) выполняется,
если выполнено следующее условие:
Условие (!-'). Существует последовательность множеств из JFx,
порождающая такое борелевское поле g, что каждому множеству F из
3-% можно сопоставить множество из <$, отличающееся от F на мно-
множество <р-меры 0.
Условие (Е') удовлетворяется в большинстве наиболее интересных
случаев. Например, если X — борелевское множество в А-мерном декартовом
пространстве, 3Fх—класс А-мерных бореловских подмножеств множества X
и мера у определена на борелевских множествах, то в качестве подпосле-
подпоследовательности множеств из &х, входящей в условие (?'), можно выбрать
последовательность пересечений множества X с А-мерными открытыми интер-
интервалами, имеющими рациональные грани.
Мы рассмотрим теперь различные частные случаи, предполагая выпол-
выполненными условие (D), а иногда и дополнительное условие (?).
Случай а). />(?, Е) = р(Е) не зависит от ?. В этом случае при п> 1
так что образующие марковский процесс случайные величины взаимно не-
независимы, и рассмотрения случая а) § 2 остаются в силе без каких-либо
изменений.
Случай б). Предположим, что условие (D) заменено более сильным
условием (D'): существуют мера ср на множествах из ?¦х с 0<ср(Х)<со,
целое число v>l, число 8 > 0 и множество С^.^х, для которых
Здесь, так же как и выше, р§ЦЬ, •) обозначает плотность абсолютно
непрерывной компоненты функции />(v)(?, •) относительно меры у, но мы
не предполагаем, что условие (Е) выполнено. Тогда существует стацио-
стационарное абсолютное распределение вероятностей />(•) такое, что
Р(С1)>8?(С1) при СгСС
и что
\pW{l,A)-p{A)\<[l-b?(C)}W)-i, n=l, 2 E.6)
Отметим, что из (D') следует (D). Действительно, если выполнено (D')
и если (f(A)Kf(C)l2, то
(Х-А)С
так что (D) выполнено с теми же самыми v, 9 и с е, равным наименьшему
из двух чисел <р(С)/2 и &р(С)/2.
Случай б) представляет собой очевидный аналог случая б) § 2, и до-
доказательство неравенства E.6) будет лишь кратко намечено, так как оно
вполне аналогично доказательству неравенства B.2) в § 2. Положим
т$ = inf p(r)({, Е), М$ = suppm F, Е).
г е
Тогда, так же как и в § 2 [ср. с B.4)],

j 5. О БОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЙ 181
При фиксированных { и т] функция множества ф(?), определенная
равенством
J»M(S,E)-jBfv)(ij, Е),
вполне аддитивна. Следовательно, существует некоторое множество S* (на
этом множестве -i (E) принимает максимальное значение) такое, что на
каждом входящем в JFX подмножестве этого множества ф(?)>0, а на
каждом входящем в JFX подмножестве его дополнения S~, наоборот,
ф(?) <0. При этом
) = О,
Используя эти два факта, мы находим, что
#?*¦*> - mfc™ = sup [ /><"> (С, Е) [рМ E, Д) - Р™ (ц, Д)] <
< sup Г ^ Ж^п) ф (Д) + \ тф ф (Д) 1 =
= sup ф (?¦) [Mg1' - m!fen)] < [1 - 8? (С)] (Мгп) - mg").
Далее, так же как и в § 2, мы устанавливаем, что
Mit)-m{t)<{i-b9{C)f, A>1,
что Л/^1^ и «в должны иметь при п—>• оо общий предел р(Е) и что
\p^(lE)
Если CiCC, то
Функция множества jo(-) неотрицательна, и jo(Z)=l. Эта функция впол-
вполне аддитивна, так как она является равномерным пределом вполне адди-^
тивных функпин множества. Таким образом, /»(•) является вероятностной
мерой. Из E.2) следует, что
X
откуда при т —>• оо вытекает, что
Это последнее соотношение показывает, что /)(•) является стационарным
абсолютным распределением вероятностен; этим и заканчивается рассмотре-
рассмотрение случая б).

182 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Мы увидим позднее, что при гипотезе (D) существует функция q (?, Е)
такая, что
п
А
П-+ СО П ,
равномерно по ? и Е. Мы не будем здесь приводить доказательство этого
утверждения, аналогичное проведенному нами доказательству теоремы 2.1,
так как такое доказательство требует привлечения понятия компактности
в банаховых пространствах и абстрактных эргодических теорем, а это завело
бы иас слишком далеко. Ниже мы получим, следуя Деблину, указанный
результат путем детального изучения происходящих в действительности
переходов системы из состояния в состояние.
Случай в). Предположим, что функция у, фигурирующая в формули-
формулировке гипотезы (D), обладает тем свойством, что, каково бы ни было
множество Е g ЛРх с у (Е) > О
sup/?<")(&, Е)>0
71
при всех ?. Это условие, очевидно, эквивалентно тому, чтобы неравенство
sup р(п) ($,?)> О
п
выполнялось при всех 5, откуда следует по лемме 5.1, что
lim p(n)(t, ?) = 1
п —юо
равномерно по ?. Другими словами, при этом естественном обобщении
случая в) из § 2 предполагается, что в каком бы состоянии ? не находи-
находилась вначале наша система, она имеет положительную вероятность побы-
побывать (через некоторое время) в каждом множестве Е положительной меры <р.
Две следующие леммы позволяют применить для исследования этого
случая соображения, развитые в § 2.
Лемма 5.2. Пусть Й — некоторое (?, -ц)-множество, входящее в &х.
Тогда существует последовательность разбиений пространства X
Х= у Н?\ п = 1, 2, ..., Я}"> 6 &х, HfHin) = 0 (/ Ф к),
обладающая тем свойством, что если выбрать для каждого п индексы
i и /, зависящие от 5 и т), так, что Ь?Л{ , -ц^Н* , и если Н$ —это
E, -^-множество {i.^.H^\ ijgjf/f1'}, то
- = 1 E.7)
для почти всех (в смысле меры <р) точек (?, tj) в Н.
На более геометрическом языке эта лемма утверждает, что #|п> могут
быть выбраны таким образом, чтобы почти все точки из Н имели плот-
плотность 1 в Й относительно последовательности разбиений H[j. Если мы
определим функцию g на множествах из SFх равенством
то мы будем иметь

§ 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЯ 183
где у — характеристическая функция множества Я, т. е.
10 в остальных случаях.
Таким образом, у является плотностью абсолютно непрерывной функции
множества g относительно меры у. Отношение E.7) является и-м обоб-
обобщенным разностным отношением функции g в точке (?, т)) по мере 9 отно-
относительно последовательности разбиений •#$*'. Если каждое из #™+1)
является подмножеством какого-нибудь из Й{"\ то в соответствии с теоре-
теоремой 2.4 дополнения это п-е обобщенное разностное отношение сходится
при п—>со и почти всех (Е, т]) к производной функции g по мере у отно-
относительно заданной последовательности разбиений. В силу топ же самой
теоремы эта производная равна почти всюду плотности у, если только у
измеримо относительно борелевского поля, порожденного множествами Ну,
т. е. если В входит в это борелевское поле. Далее (дополнение, теорема
2.5), существует последовательность {Вп} множеств из JFх такая, что
«ели ^^—борелевское поле, порожденное множествами {Вп}, то
При каждом п положим Н("\ ..., #?# равными всем пересечениям вида f\Ajt
где Aj — это пли Вр или Х — Вг Тогда при каждом п так определенные мно-
множества Hf* не пересекаются и дают в сумме все пространство X. Каждое
из #f"+1) является подмножеством одного из Я$п), и класс всех множеств
Н^\ i, и>1 порождает борелевское поле J27^. Таким образом, разбиения
¦Н[п* удовлетворяют всем требованиям леммы.
Лемма 5.3. Если выполнены гипотезы (D) и (Z), то существуют
-множества А^&х и -Вб^х такие, что
О,
inf ^2v)(i;, т))>0.
EGA
г, ЕВ
Для доказательства обозначим через Н множество точек ($, т)), для
которых
Число е здесь то же самое, что и в гипотезе (D). Через А-- обозначим
т)-множество, для которого ($, т)N^, а через Вч — ^-множество, для которого
|E, 1|Nд. Мы покажем сперва, что
Действительно,
О.

184 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Первый интеграл в правой части этого неравенства не превосходит е/2.
Область интегрирования во втором интеграле имеет ср~меру не больше е
(так как иначе значение этого интеграла оказалось бы больше 1). Следо-
Следовательно, второй интеграл вместе с функцией A'v' (?, X), задающей вероят-
вероятность перехода в множество ер-меры 0, дают по гипотезе (D) вероятность не-
больше 1-е. Таким образом,
и мы доказали E.8). Мы применим теперь к Й лемму 5.2 и покажем, что
в Й существуют две точки (?0, тH) и (?,, т^) такие, что для них предел
E.7) равен 1 и что тH = ^- Из леммы 5.2, применяя теорему Фубини, мы
получаем, что существуют ^-множество X' с ср(Х — Х') = 0 и для каждого
??Х' ср-измеримое множество А{С1А; с у(А% — А=) — 0 такие, что предел
в E.7) равен 1, если 56 X', ri^Ai. Выберем 50, tj0, blt % так, чтобы они
удовлетворяли следующим условиям:
Это возможно, так как <р(Х') = <р(Х) > 0, и в силу E.8)
>E*/2, и
Две точки E0, тH) и EХ, т]1) обладают нужными нам свойствами. Перейдем
теперь к доказательству 'леммы 5.3. Для каждого п выберем i, j, k так,
чтобы (мы используем обозначения леммы 5.2)
Обозначим через /?'?' множество точек E, •»)) из X, таких, что g^,
7N^1"'. Согласно лемме 5.2, число и можно выбрать столь большим,
чтобы выполнялись неравенства
Выберем и зафиксируем в дальнейшем такое число п. Из наших неравенств
следует, что существуют множества А и В, входящие в ^х, для которых
О, ^{В^Щ ) > -г<р(Н\), (т|б5).
Отсюда следует, что

§ 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЯ 185-
так что если ?6.4 и г|?5, то
что и доказывает лемму.
Лемма 5.4 ?сли выполнены условия случая в) в выполнены гипо-
гипотезы (D) и (S), то существует множество С с <р(С)>0, для которого при
некотором а
inf pf)F, t))>0.
Действительно, пусть Л и 5 — множества, фигурирующие в лемме 5.3.
В случае в) должны существовать множество С 6 jFx, положительное-
число 3 и положительное целое число {3, для которых
ССВ, ?(С)>0, />№>(!;, Л) > 8
Тогда, учитывая переходы из С в Л и затем снова в С, находим, что
S6A
Это неравенство и доказывает лемму с cc = {3-|-2v.
Вернемся теперь к изучению переходов, совершаемых системой в слу-
случае в). Для каждого множества С, обладающего свойствами, описанными
в лемме 5.4, обозначим через / (С) совокупность целых чисел п, для ко-
которых
inf />j»)(
е. нес
Так как совокупность I(С), очевидно, содержит число щ-^щ, если она
содержит Tij п п2, то, следовательно, в силу леммы 2.2 эта совокупность
содержит все достаточно большие числа, кратные числу d(С) — наибольше-
наибольшему общему делптелю элементов I {С). Докажем теперь, что d{C) не зави-
зависит от С. Действительно, если «^/(Cj), пг?1(С2) и если п12 выбрано так,
чтобы неравенство р(пп) E, С2) > 0 выполнялось на подмножестве множества
Сх, имеющем положительную ср~меРУ [это возможно по предположению
случая в)], а па выбрано так, чтобы неравенство /»(1'($, Сг) > 0 выпол-
выполнялось на подмножестве множества С2, имеющем положительную ш-меруг
то возможности последовательных переходов из Сг в Сх, затем в С2, затем
снова в С2,затем в Сх и затем снова в Ct соответствует тот факт, что
Так как это верно для всех и2?/(С2)," то d(C^} является делителем раз-
разности двух любых элементов из /(С2); в частности, ^(Cj) является дели-
делителем d(C2). Меняя местами в этом рассуждении С1 и Сг, мы получаем,
что d(C1) = d(C2). В дальнейшем мы будем ппсать вместо d(C) просто d.
Предположим теперь, что d=l; общий случай будет сведен позднее-
к этому. Пусть С удовлетворяет требованиям леммы 5.4. По лемме 5.1
существуют 8 > 0 и целое число ц такие, что
Далее, так как

186 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
то существует целое число р = Р(?)<р., для которого /><?>(?, С)>8/р.. Пред-
Предположение d=l означает, что I(С) содержит все достаточно большие целые
числа, скажем все числа, большие или равные N. Отсюда следует, что если
т) ? С и 5 произвольно, то
g 1.-EC
>— min inf в<п> (С, т\) > О,
f1 W^ngiV+pi-l т, ',?С °
i-l т,,
а это в точности совпадает с предположениями случая б), если отожде-
отождествить входящее в эти предположения число v с числом iV —f- p.. В соответ-
соответствии с результатами, полученными выше для случая б), отсюда вытекает,
что существует стационарное абсолютное распределение вероятностей я такое,
что предельное соотношение
lim /?<»)(?,?) = я (Е)
П-frCO
выполняется равномерно по $ и Е. Приближение к пределу происходит
здесь экспоненциально быстро. Далее, если CxdC и еслИ9(С1)>0, то
и я (Сг) > 0. Докажем, что в рассматриваемом сейчас случае для всех E?JFX
из условия <р(Е)>0 вытекает, что и я(?)>0. Действительно (в силу
стационарности),
= \
1
Но в случае в), если" у (Е1) > 0, то и /?(п>(?, ?) положительно при доста-
достаточно больших п (в действительности по лемме 5.1 эта вероятность даже
равномерно стремится к 1 при п—>оо). Поэтому i: (?) > 0 при <р(?)>0.
Предположим теперь, что с?>1, и определим С;- (/= 1, ..., d) как
^-множество, на котором p<nd~>) ($, С) > 0 при некотором целом и>1. Тогда
из предположений случая в) следует, что Х= (J С;. Однако множества С^
не являются обязательно непересекающимися.
Лемма 5.5. .Если выполнены условия (D) тг (S), то ири всех п
всюду, зо исключением, быть может, 4,-множества у-меры 0, в
Действительно, если рМ E, С;- Ск) > 0 на множестве положительной
ер-меры, то существуют целые числа тип, для которых неравенства
p^md-i)E, с) > б; р(«+™»-ч E, с) > о
выполнены одновременно на множестве положительной 9"меРы, а также
(мы здесь переходим к другому множеству Е положительной ср-меры,
вложенному в первоначальное) выполнены, если заменить в правых частях
этих неравенств 0 положительным числом. По предположению случая в)
существуют множество С С С с <?(С) > 0 и число р такие, что
Следовательно, если г?/(С), то возможность последовательного перехода
из С в С, затем в Е, затем в С и, наконец, снова в С показывает, что

§ 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЯ 187
Число d является делителем обеих сумм слева, а следовательно, и их раз-
разности \к— /'[. Отсюда следует, что k = f, и этим заканчивается доказатель-
доказательство первой части леммы. Чтобы доказать вторую часть, заметим, что если
ср(СуС),)>0, то по предположению случая в) существует число п, для
которого />(")(?, Су 6\) > 0 на S-множестве положительной ср-меры, а в соот-
соответствии с первой частью леммы это означает, что / = к.
Мы воспользуемся теперь следующим методом приведения. Предположим,
что F$.-Fx п что р(Ь, F) — 0, если $?Х — F. Тогда, если X — F не пусто,
приведенной функцией называется функция р (•, •), рассматриваемая как
функция, определенная лишь для ?€_ЯГ — F и EdX — F. Эта приведенная
функция являете:! функцией вероятностей перехода на пространстве состояний
X — F. Если система когда-нибудь попадает в X — F, то она остается там
навсегда, так что
Например, если F^tFx и если ^-множество Fn определено условием
p(n)E, Fo) > 0, то F= [J Fn отвечает требованиям, наложенным выше на F.
п=0
Наконец, заметим, что всегда если функция р (?, Е) удовлетворяет гипо-
гипотезе (D), то и приведенная функция р(Ь, Е) также удовлетворяет гипо-
гипотезе (D), и, в частности, если <р (/"") = О, то равномерно по 5Х
Первая часть этого утверждения очевидна; вторая следует из леммы 5.1,
так как [в силу гипотезы (D)] если f{F)==0, то
В соответствии с леммой 5.1 сходимость к 0 будет экспоненциально быстрой.
Если бы множества С- из леммы 5.5 в действительности не пересека-
пересекались, то мы имели бы
p(i.c,.i) = i, sec,
(здесь под Cd^x понимается Сг). Система пробегала бы циклически через
состояния, входящие в С1, С2, ..., Cd, Clt C2, ... . Далее, функция
р^ЦЬ, Е) при ;6С;, EdCj была бы функцией вероятностей перехода, обла-
обладающей всеми теми свойствами, какие первоначальная функция р(Ь, Е)
имеет при d—1. Из предыдущих результатов вытекало бы, что предел
lim рМ{%,Е), (* g С,)
существует равномерно по 5 и Е. Хотя в общем случае С;- не обязаны
не пересекаться, но мы можем применить описанный выше метод приведе-
приведения для того, чтобы получить приведенную функцию вероятностей пере-
перехода, для которой они уже не пересекаются. Мы выделим из X множество
F = (J Fn, где Fn строятся по множеству Fo= (J С Ch так, как это описано
в предыдущем абзаце. В силу леммы 5.5 ср(^о) = О. Если бы при некото-
некотором п число <р (Fn) было бы положительным, то в силу предположений слу-
случая в) нашлась бы точка 5 6 X — F, вероятность перехода из которой в Fn
за некоторое чпело шагов (скажем, за т шагов) была бы положительной. •
Но тогда была бы положительна и вероятность перехода пз $ в F
aam-J-л шагов, а это противоречит лемме 5.5. Таким образом, при всех п
имеет место равенство <p(Fn) — 0, откуда следует, что <f(F) = O. Для при-
приведенной функции вероятностей перехода множества С;- переходят в непе-

188 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
ресекающиеся множества
С\, ¦ • •, Cd, Cj = Cj (X — F).
Теперь можно воспользоваться замечаниями, сделанными выше для случая
непересекающихся С;-. Учитывая тот факт (это было доказано при обсу-
обсуждении метода приведения), что
lim/><»>(&, F) = 0, $ 6 X,
П-*СО
равномерно (с экспоненциальной скоростью) по $, мы находим, что
П-+ОЭ
равномерно по 6 и Е^ЛР^. Здесь ка— вероятностная мера на множествах Е,
причем
МС«)=1, М?)> 0, еслш<р(ЕСа)>0.
Й вообще, так же как и в § 2,
lim /><"*+ (?, Е)=т^(Е), l?Ca, $=a+m(modd).
Сходимость является равномерной и экспоненциально быстрой. Из послед-
последнего соотношения следует, что
rru=l
Асимптотическое поведение р<п> (Ь, Е) при k?F будет рассмотрено при изу-
изучении следующего более общего случая г).
Случай г). Общий случай выполнения гипотезы (D). Множество Е будет
называться последующим множеством, если для некоторого ?0 имеет место
равенство /><п)(?0, Е) = 1 при всех и; в этом случае множество Е будет
называться также последующим за состоянием ?„• Согласно гипотезе (D),
если Е является последующим множеством, то ср(?')>е. Множество, явля-
являющееся последующим за каждой из входящих в него точек, мы будем
называть инвариантным множеством. Таким образом, инвариантное мно-
множество или пусто, или имеет ср-меру, не меньшую е.
Если Е является множеством, последующим за ?„, и если Fn—множество
точек ? из Е, для которых />'")(?, Е) < 1, то ? - Fn является множеством,
последующим за 1а, так как иначе р^ E0. Fn) было бы положительным
при некотором т и тогда оказалось бы, что
< Р(т) («о. ^«) + J°(m) («о. E~Fn) = P(m) (So. ?) = J •
Таким образом, если множество i? является последующим, то оно содержит
со
ненулевое инвариантное множество [~| (E — Fn).
Если инвариантное множество не содержит никаких (ненулевых) инва-
инвариантных подмножеств меньшей ср-меРы> то оно будет называться минималь-
минимальным. Каждое последующее множество Е содержит ненулевое минимальное
инвариантное множество, которое может быть получено следующим образом.

i 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЯ 189
Мы можем считать Е инвариантным множеством (уменьшая, если нужно,
первоначально заданное Ь). Если Е не содержит ни одной точки ?1? для
которой существует последующее за ней множество Et такое, что
<?{ЕХ) < <р(Е), то множество Е минимально. Если же существует такая
пара $г, Elt то можно предположить, что Ех инвариантно. Повторяя эти
соображения, мы получаем конечную или бесконечную последовательность
инвариантных множеств такую, что
Пусть pn=intzi(F) по всем ненулевым инвариантным множествам FdEn.
Мы можем считать, что если Еп не минимально, то Entl выбрано так,
чтобы выполнялось неравенство <р (Enfl) < pn+ ijn. Если последовательность
множеств Е]. конечна, то последнее из них является искомым мини-
минимальным инвариантным множеством; если же она бесконечна, то искомым
со
инвариантным множеством является |~) Еп, так как оно является ненуле-
ненулевым, инвариантным множеством и имеет своей ср-мерой !im рп.
п-»со
Если множества Ех и Е2 инвариантны, то множество ЕХЕ2 тоже должно
быть инвариантным. В частности, если Ех минимально, то ЕХЕ2 оказы-
оказывается инвариантным подмножеством минимального инвариантного мно-
множества. Отсюда следует, что или ^{Ех) = ^{ЕгЕ2), или ЕхЕг — пустое
множество. Следовательно, мы получаем (взяв Е2 также минимальным),
что два минимальных инвариантных множества или не пересекаются, или
отличаются друг от друга самое большее на множество <р-жры 0. Пусть
Elt Е2, ... — последовательность всех существенно различных непересека-
непересекающихся непустых минимальных инвариантных множеств. Тогда EjEk — 0
(/^ *)> ?(•?/) 2*е> и любое ненулевое минимальное инвариантное мно-
множество Е отличается от некоторого Ef не больше, чем на множество
tp-меры О. Всего имеется не больше, чем <p(X)jz, множеств Е-.
Для каждого состояния 50 мы имеем sup pfri ($„, (J E.) > 0, так как
п " >
иначе X— \J Ej оказалось бы для $0 последующим множеством и, следо-
следовательно, содержало бы ненулевое инвариантное минимальное множество,
которое должно было бы совпадать с одним из множеств Е-. Таким обра-
образом, где бы нп была система вначале, она в конце концов попадает в одно
из множеств Е^\ попав в Е-, она остается там навсегда, так что
У У
Теорема 5.6 (ср. с теоремой 2.3). Для каждого %
и, более того, при некотором р < 1
l-p™(\, U'¦?,-)< const, р", п = 1, 2
равномерно по ?. Следовательно, при любом начальном ? (с вероятностью 1)
система будет оставаться вне множеств Е^ лишь в течение конечного
числа шагов.
Эта теорема следует сразу из леммы 5.1 и леммы Бореля—Кантелли.
При каждом а функция p(t,E), где Ь?Еа и EciEa, определяет
функцию вероятностей перехода, удовлетворяющую предположениям слу-
случая в). Следовательно, если мы временна предположим, что выполнено

190 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
условие (?), и если аСх, ...,„ Cda— циклические подклассы класса Еа,
вводимые так же, как и в случае в), но для приведенной функции р(Ь,Е),
так что Еа= []аС„, т0
а
, E.9>
Эта сходимость является равномерной и экспоненциально быстрой. Здесь-
ащ — вероятностная мера на множествах Е такая, что
Л (ОС?) = 1, Л (?) > 0 при ? (Я„СР) > 0.
Условная вероятность того, что система, находившаяся вначале в ?, попа-
попадет в конце концов в Еа, равна
р($, ?o) = lim/?<")(!;, Еа), E.11)
П-+СО
где функция />(">(?, ??) не убывает с ростом л, так как если система
попала однажды в Еа, то она остается там навсегда. Если Ь?Ёа, то
р(?, ?д) = 1; в общем случае в силу теоремы 5.6 ^.р{1,Еа) = 1. Если рас-
a
сматривать только положения системы после da, 2da, ... шагов, то услов-
условная вероятность того, что система, находившаяся вначале в 5, попадет
в конце концов в аСа, будет равна
р E, аСа) = lim /><"*„> E, .А). E.12>
П-»СО
Если Еба^»' т0 РЙ. <А) = 1- Далее,
и так же, как и в § 2, при всех 5 и EciEa
lim p(«V-m>($, Я)
Здесь и дальше индекс a 4- т рассматривается по модулю da. Сходимость-
является снова равномерной и экспоненциально быстрой. Наконец, из этого
предельного соотношения следует, что при всех EF
4«<«.^)-s s p(S'°Ca)r+m(?)
a, a m=l
где
Определенная таким способом функция oic является вероятностной мерой
на множествах Е, причем
„* <?„) = !.
вх(?)>0, если <р(??о)>0.
Эти соотношения выполнены при всех { и ?. Стремление к пределу во всех
этих соотношениях равномерно по 5 и Е

§ 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИИ 191
Результаты E.9) — E.15) основываются пока на предположении, что
выполнены как условие (D), так и условие (?). Мы покажем теперь,
как получить эти результаты без условия (S). Мы будем называть боре-
левское поле J^^CZ^:х допустимым, если р{-, А) является измеримой
относительно JF'X функцией от $ при всех А 6 JF'X и если поле 3F'X удовле-
удовлетворяет условию (S'), более сильному, чем (S). Например, борелевское
поле, состоящее только из пустого, множества и множества X, является
допустимым. Докажем следующие утверждения.
(I) Если {Вп}— какая-либо конечная или бесконечная последователь-
последовательность множеств из J2х, то существует допустимое борелевское поле S-'x
такое, что [Bn}C2JF'x.
(II) Если {JF*^} — какая-либо конечная или бесконечная последователь-
последовательность допустимых борелевских полей, то существует допустимое боре-
борелевское поле ?F'X такое, что (J ЗР^ С JF'x-
п
Второе утверждение следует из первого, так как если верно. (I), то мы
можем взять в (II) в качестве Вп все множества из JFX, входящие в после-
последовательности множеств, используемые в условии (S'), примененном
к полям &х\ JF'X Чтобы доказать (I), определим &{А) для любого
как счетный класс S-множеств вида
, г—рациональное.
Определим теперь ^'х как борелевское поле ^-множеств, порожденное
классом множеств ?oo=U^n> гДе ^о—{-^тЛ и классы S1( S2, . .. опреде-
п
ляются последовательно с помощью соотношения
здесь для любого класса множеств S символ [$] обозначает поле, поро-
порожденное классом "&, т. е. совокупность конечных сумм конечных пере-
пересечений множеств, принадлежащих S или являющихся дополнениями
к множествам из S. Тогда класс множеств S является счетным. По опре-
определению JP'X всегда {Bn}CZJF'x- Пусть S — класс множеств Л из JFх,
обладающих тем свойством, что р(-, А), как функция от 5. измерима отно-
относительно Jf'x. Для того чтобы доказать допустимость класса ^'х, надо-
показать, что ^§ZD^'X. Класс "&&, является полем множеств, так как
по определению в Sn+1 входит поле, порожденное классом Sn. Далее,
^ЦЭ^со, так как если А?$п, то р(-,А) является функцией от S, измери-
измеримой относительно борелевского поля, порожденного классом ?„.,!• Наконец,
в S входят, очевидно, пределы монотонных последовательностей множеств
из S. Следовательно (см. дополнение, теорему 1.2), ^ZD^'x, что и требо-
требовалось доказать.
Так как все результаты этого параграфа остаются в силе, если заме-
заменить &х любым допустимым борелевским полем, то мы сможем, используя
свойства (I) и (II) допустимых борелевских полей, получить эти результаты
и для самого &х. Например, если A?JFX и если &х удовлетворяет
условию (Е), то, как мы доказали.
существует равномерно по $ и по Л. Если J5x не удовлетворяет условию

192 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
{?) и если А ? &х, то, заменив JFX допустимым борелевским полем,
содержащим А, мы получим, что этот предел существует и притом
равномерно по ?. Для того чтобы полностью распространить результаты
этого параграфа на общий случай, поступим следующим образом. Мы опре-
определили эргодические классы Ег, Е2, .. ., не используя условие (S). Пусть
JP^ — некоторое допустимое борелевское поле Е-множеств такое, что
{¦?„} С &'х- Такое допустимое борелевское поле существует согласно утвер-
утверждению (I). Заменяя JFх на &'х, мы построим относительно 3-'х цикли-
циклические подклассы аС1л ...,aCda, da>l, входящие в Еа. Если ^^ — какое-
нибудь другое допустимое борелевское поле, содержащее Jf'x, то при
каждом а циклическими подклассами относительно 3F"X будут или те же
самые аС;, или множества, получаемые из подклассов аС;. дальнейшим,
более тонким расщеплением классов Еа, причем новое значение da будет
кратно первоначальному. Так как da*C<p(X)/e, то для каждого а должно
существовать допустимое поле ^'х, для которого da принимает макси-
максимальное значение. В силу (II) тогда должно существовать допустимое
борелевское поле $х, для которого da максимальны при всех а. Предпо-
Предположим теперь, что &'х — любое допустимое борелевское поле ^-множеств
с ЗхС^^- Тогда циклические подклассы относительно jF^. будут теми же
самыми, что и относительно $Х'< теми же самыми будут и все постоянные,
ха; чтеризующие скорость сходимости вероятностей к их предельным
значениям. Так как JF'X может быть выбрано такпм образом, чтобы
оно содержало любое наперед заданное множество из .?¦ х, то, комбинируя
(I) и (II), мы получаем, что все наши результаты 'S включая и результаты
о равномерной сходимости, подытоженные в соотношениях E.9) — E.15),
верны и без гипотезы (S).
Если функция вероятностей перехода р(•, •) удовлетворяет гипотезе (D)
для некоторой тройки величин <р, ч, е, то мы будем называть эту тройку
(Б)-тройкой (для заданных вероятностей перехода). Если функция вероят-
вероятностей перехода имеет хотя бы одну (О)-тройку, то она имеет их и беско-
бесконечно много. Этот факт вместе с тем обстоятельством, что даже для задан-
заданной (Б)-тройки полученное выше разбиение пространства X определяется
не однозначно, делает несколько неясным значение нашего условия и полу-
полученных результатов. Дальнейшее обсуждение проводится для того, чтобы
разъяснить вопрос о выборе (Б)-тройки и получаемого разбиения простран-
¦ства X.
В дальнейшем множество F, для которого
lim/>(") (?,/")• = О,
•будет называться несущественным множеством состояний. Предположим,
что пространство X разбито на непересекающиеся инвариантные множества
Е1г Ег, ... и несущественное множество F = Х— [J Еа а что каждому Еа
а
соответствует вероятностная мера „я, определенная на множествах
такая, что
Тогда множества Еа называются эргодическими классами (или эргодическими
множествами). Предположим далее, что Еа можно разбить на с?а > 1 непе-
непересекающихся множеств аСг, ..., aCda таких, что
pE,aC«+i)=l, $eaCa, a=l,...,da

§ 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИИ 193
(где под аСа +i понимается аСг), и что каждому аСа соответствует вероят-
вероятностная мера „-* на множествах из SFх такая, что
Тогда множества аСг, ..., aCda называются циклическими подклассами эрго-
дического класса Еа. Если возможны описанные только что разбиения,
то можно так же, как и раньше, определить р(;, Еа) и р(?, аСа), и при этом
будут выполнены соотношения E.13), E.14) и E.15). Мы доказали, что
такие разбиения возможны, если выполнена гипотеза (D). Мы покажем
теперь, что если разбиение на эргодические классы возможно, то функции
множеств jit, 2-. ... определяются однозначно (с точностью до порядка).
Для этого предположим, что
К,. F.t,.... F, 1=, ,*,...
и
Е[, Е'г F', 1Я'(?), ,*'(?),...
— два разбиения пространства X на эргодические и несущественное мно-
множества и соответствующие этим разбиениям функции множеств. Ясно, что
ни один из классов Е^ (соответственно Ej) не может целиком содержаться
в F' (соответственно в F), так как эргодические классы инвариантны,
а система, находившаяся вначале в несущественном множестве состояний,
переходит в конце концов в его дополнение. Множество Ех должно, сле-
следовательно, иметь непустое пересечение с некоторым из Е'а, скажем с Е\.
Из E.14) при %$.EJL\ тогда следует, что ^(Ь) = xr:' (E). Так как при
а Ф Ь функции множеств aic' и ь-' совпадать не могут, то Ех не может
иметь общих точек с каким-нибудь другим 2?„. Рассуждая и дальше
таким же образом, мы, очевидно, придем к тому, что Еа и Е'а можно
занумеровать так, чтобы имели место соотношения
ЕаЕ'а == О,
а«(Е)з=а«'{Е), а-1,2, ... .
Таким образом, мы доказали, что функции множеств хтс, 2тс, ... опреде-
определяются однозначно (с точностью до порядка) и что эргодическпе классы
также определяются однозначно, если пренебречь состояниями, лежащими
в несущественных, множествах. Аналогичные соображения показывают,
что если имеются циклические подклассы аС17 ..., „С^, с соответствующими
функциями множеств an:t, -..,a^da> т0 эти функции множеств определяются
однозначно (с точностью до порядка); однозначно определяются также
(с точностью до порядка) и сами циклические подклассы, если пренебречь
состояниями, лежащими в несущественных множествах. Число эргодиче-
эргодических классов в разбиении на эргодические и несущественные множества
не зависит поэтому от разбиения. Если это число равно п, то мы будем
говорить просто, что имеется п эргодических классов. Аналогично мы будем
говорить, что эргодический класс состоит из da циклических подклассов,
если da — это число подклассов при любом разбиении этого эргодического
класса на подклассы. В дальнейшем мы будем предполагать, что можно
разбить пространство X на циклические подклассы п несущественное мно-
множество состояний и что классы и подклассы занумерованы фиксирован-
фиксированным образом, так что функции множеств {arj и {ас„} определены одно-
однозначно. Значения функций р(?, Еа) и р(?, аСа) также определяются одно-
однозначно (т. е. эти значения зависят только от Е и а и от ?, а и а соответ-

194 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
ственно). Это следует очевидным образом из определения функций р(Е, Еа)
и р(;,аС.).
Можно построить разбиение пространства X на эргодпческие и несу-
несущественное множества, используя только функции множеств 1tz, Зтс, ... .
Для этого нужно определить Еа, как множество точек ?, для которых
п
Нт — 2 Р(т)$, Е)=аъ(Е), Ei^Fx
Г-*СО " т=1
(это множество Еа совпадает с множеством состояний, для которых р (Е, Еа) = 1).
Аналогично мы можем задать разбиение на циклические подклассы, опре-
определив аСа как множество точек ?, для которых
(множество аСл совпадает с множеством состояний, для которых р E, аСа) =1).
Если мы положим
то множества Elt Е2, ..., X — (J Еа дадут еще одно новое разбиение на эр-
а
годические и'несущественное множества. Если Elt Е2, ..., X— [j Ea— любое
~ о
разбиение на эргодические и несущественное множества, то при соответ-
соответствующем упорядочении эргодических классов
Если aCj, aC2, ...—какое-либо подразбиение класса Еа на циклические
подклассы, то при соответствующем упорядочении этих подклассов
Предположим теперь, что гипотеза (D) выполнена, так что, как было
доказано выше, существуют эргодические и несущественное множества {Еа},
F и циклические подклассы {аСа}. Определим <?(Е) равенством
Тогда при соответствующем упорядочении рассматриваемых множеств
EaC2EaCEa+F, аС.С&Са
Мы можем записать теперь функцию 9. фигурирующую в формулировке
гипотезы (D), в виде
\
Е
где /(Е)>0 и конечная мера $(Е) является сингулярной компонентой
меры 9 относительно меры у. так что ф принимает максимальное значение
ф [X) на некотором множестве <р-меры 0. Так как прп ф (ЕЕа) > 0 всегда
и аъ (Е) > 0, то из 9 (¦?') = 0 следует <р (Е (J Еа) = 0. Поэтому

S 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИЯ 195
Другими словами, мера ф сосредоточена па F. Поскольку
то из условия (D) следует, что ср (<,?„)>?. Следовательно,
и поэтому /(?) должно быть положительно на подмножестве положитель-
положительной ср-меры каждого подкласса aCadaCa. Обратно, если выполнена гипо-
гипотеза (D) и если /х — любая неотрицательная функция, измеримая относи-
относительно .-Fy, и положительная на некотором имеющем положительную
<р-меру подмножестве каждого подкласса аСа, и ^/х — любая конечная мера
на множествах Е?&х, сингулярная относительно меры <р, то положим
Тогда легко проверить, что гипотеза (D) удовлетворяется при некоторых
vlt et для тройки <рц vi> ei- Мы охарактеризовали, таким образом, класс-
функций <?, входящих в (Б)-тройки [в предположении, что существует
хотя бы одна (Б)-тройка]. Проще всего выбрать в качестве 9 саму функ-
функцию у; Для этого надо положить f1 = l, фг = 0. При таком выборе выпол-
выполняется условие, много более сильноэ, чем гипотеза (D). Легко показать,
используя тесную связь между 9 и вероятностями перехода, что для
любого заданного ех > 0 существуют е2 > 0 и целое число v такие, что
если 9(-?')<s2> т0 />(v>(?>-^)<si ПРИ всех ?• (Если ег очень мало, то v
должно быть очень большим.) На практике, конечно, существование такой
функции 9 неизвестно до тех пор, пока не установлено, что существует
хотя бы одна (Б)-тройка, и функция 9 из этой (Б)-тройкп оказывается
обычно отличной от 9- Тем не менее приведенное замечание показывает,
что гипотеза (D) эквивалентна a posteriori много более сильному условию.
Из предыдущих рассмотрений вытекает, что если /?„*' и аСа\ г = 1,2,
выбранные двумя разными способами эргодические классы и циклические
подклассы, определяемые заданной функцией вероятностей перехода, удо-
удовлетворяющей гипотезе (D), то (при соответствующем упорядочении этих
классов и подклассов)
0, <=1, 2,
Далее, если ф„ чг, et — некоторая (D)-Tpomm, соответствующая этим веро-
вероятностям перехода, и если E'J' — минимальные инвариантные множества
для этой ф)-тройки, то
?i (К" - Е™ Е?) = 0, 9l СС?» - аСГаСТ) = 0-
Таким образом, если Е'" — минимальные инвариантные множества для
(Б)-тройки <р2, v2, е„ то Е'а1' отличается от Е?' (а аС'а1) от аС2') самое
большее на сумму двух множеств: множества <рх-меры 0 и множества
92-меры 0.
Стационарные абсолютные распределения вероятностей полностью опи-
описываются следующей теоремой.
Теорема 5.7. Если выполнена гипотеза (D), то функция с/(?,Е),
определенная как предел E.14), задает при каждом 5 стационарное
абсолютное распределение вероятностей; при %?Еа, q(-,E) не зависит

196 ГЛ. "V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
от ?, и q(l, ?) = ак(Е). Обратно, каждое стационарное абсолютное рас-
распределение вероятностей является линейной комбинацией (с неотрица-
неотрицательными коэффициентами, в сумме равными 1) мер ая. Вообще, каждое
решение уравнения
(где у — конечная вполне аддитивная, функция) является линейной комби-
комбинацией мер сР.
Доказательство является точно таким же, как и в случае стохасти-
стохастической матрицы (теорема 2.4), и мы не станем поэтому его приводить.
Из сформулированной теоремы следует, что число эргодических классов
зависит только от заданной функции вероятностей перехода и не зависит
от ф)-тройки, входящей в условие (D). Мы уже вывели раньше этот факт
другим способом. Можно показать, что стационарные абсолютные распре-
распределения вероятностей образуют выпуклое множество в соответствующим
образом определенном линейном пространстве, и что гт., 2тс, ... являются
крайними точками (вершинами) этого множества. Это дает нам описание
стационарных абсолютных распределений вероятностей, не зависящее от вы-
выбора (D)-TpoiiKH.
Важные частные классы функций вероятностей перехода, удовлетворя-
удовлетворяющих условию (D), могут быть изучены точно темп же способами, как
и соответствующие классы стохастических матриц, и поэтому дальнейшие
результаты будут нами даны без доказательств. Во всем дальнейшем пред-
предполагается, что существует некоторая (Б)-тройка 9, v, e, и что эргодические
классы, множество несущественных состояний и циклические подклассы
выбраны некоторым определенным способом.
Случай д). Предел q(?, E), определяемый соотношением E.14), не зави-
зависит от ? тогда и только тогда, когда имеется только один эргодический
класс..
Случай е). Предел q(i,E) является обычным пределом (а не пределом
по Чезаро) тогда и только тогда, когда ни один из эргодических классов
не содержит циклических подклассов (с?а=1).
Случай ж). Предел q(?, E) положителен при <р(?')>0 для всех ?
тогда и только тогда, когда имеется лишь один эргодический класс и мно-
множество несущественных состояний имеет <р-меру 0.
Случай з). Если при условии B) для каждого 8 > 0 существуют мно-
множества SltSt,..., входящие в J2гх, такие, что U^j = -^> ?(Л<^
и />„($, 7j) > 0 для каждой пары $, tiG^, при всех /', то не может суще-
существовать циклических подклассов эргодических классов. Это будет верно,
например, если X — евклидово пространство, &х~поле борелевских мно-
множеств, и плотность ро(-,-) непрерывна, причем /?„(?, ?) > 0 при всех ?.
Случай и). Если при условии B) распределение вероятностей />(?, •)
абсолютно непрерывно относительно <?(•) и имеет плотность /?„(?, •)
и если jdo(?, ttj) ==/>0(ttj, $), то />(">(?, •) будет также иметь симметричную
плотность. Тогда в каждом из эргодических классов будет содержаться
¦не больше двух циклических подклассов и множество несущественных
состояний будет иметь ср-мору 0. Предел q(l, E) будет задаваться симмет-
симметричной плотностью <?„(•, •) (см. ниже обсуждение примеров 2.3), удовле-
удовлетворяющей соотношениям
1 г»
(Еа) аУ а'
0, $ G Еа,
{ 0, t,GF.

§ 5. ОБОБЩЕНИЕ НА ПРОИЗВОЛЬНЫЕ ПРОСТРАНСТВА СОСТОЯНИИ
197
В частности, если существует только один эргодпчеешш класс, то
Случай к). Если
р(Ъ, ?)<?(&) =<?(Е), E?.FX
(т. е. еслп z>(¦)/<?(X) является стационарным абсолютным распределением
вероятностей), то /><"'(¦, •), а следовательно, и ?(•,-) удовлетворяют
этому же соотношению. Взяв в предыдущей формуле в качестве Е мно-
множество несущественных состояний F, получаем, что это множество должно
иметь cp-Mepv 0. Далее, так как при s?Ea имеет место равенство </(?, Е)~
= „*(?). то"
?(«,?) = „*(?)-;j@, ~itEa, EdEa.
Таким образом, так же, как п в случае п) q {%, Е) задается плотностью 1/о (Еа),
постоянной про ? ? Еа. Так как в случае к) могут быть циклические под-
подклассы, то предел по Чезаро в E.14) нельзя заменить обычным пределом.
Примеры 2 и 3 (продолжение). Предположим, что (I) выполнено,
и что функцпя вероятностей перехода обладает тем свойством, что при
некотором v п некоторой конечной мере <в
для всех q п E^Jf-x Как мы уже виделп, в этом случае гипотеза (D)
удовлетворяется с заданными о и ч> еслп г<1/2. Вероятность перехода
/О*4' (•, ¦) задается плотностью
и вообще плотность р$ («, -) вероятности перехода р(п)(с, •) определяется
при всех п > v формулой
Отметим, что хотя /?о (•, •) определяется функцией/>(v>(•, •) неоднозначно,
тем не менее функция />о (S, •) определяется при каждом \ однозначно с точ-
точностью до ^-множества <р-меры 0. Мы можем предположить, что Ръ{--, •)
удовлетворяет следующим условиям:
) = 0,
тогда /?оп)(?, "Ч), и > v можно однозначно определить приведенной выше
формулой, причем p("\i, т|) будет удовлетворять тем же самым условиям,
что и /5ov'(c, т]) с v, замененным на п (как всегда, второй пндекс в а6л,
берется по модулю da). Поскольку при y(?) = 0is>v также и р(п> (t, ?) = 0.
то пределы q(l,E), аъ(Е), а~а(Е) должны обращаться в нуль при о (?) = 0,
так что от п а-а абсолютно непрерывны относительно ш и задаются плот-
плотностями. Мы покажем сейчас, что пз предельных теорем, доказанных выше
для функций множеств, вытекают соответствующие очевидные предельные

198 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
теоремы для плотностей.
Например, так как
/><">(?, Л <ТР".
где 1 и р @ < р < 1) — постоянные, не зависящие от ? и п, то
Действительно,
Другие предельные теоремы переносятся на плотности аналогичным образом;
оказывается, что плотности приближаются к предельным плотностям равно-
равномерно и с той же скоростью, с какой сами распределения приближаются
к предельному распределению. Чтобы оправдать только что сформулиро-
сформулированный принцип, рассмотрим случай, когда имеется только один эрго-
дический класс, не содержащий циклических подклассов, и докажем, что
из неравенства
!//»>(*, Е)-р(Е) 1<ТР«,
где р = jjz — (единственное) стационарное абсолютное распределение веро-
вероятностей, 7<0 и 0<р<1, уже выведенного для этого случая раньше,
следует, что при всех $ и т]
Здесь р0(•) — плотность распределения /?(•),
Условие, что /?„(•) является плотностью распределения /?(•)> определяет
/>„(•) только с точностью до множества ср-меры 0. Чтобы определить ра{-)
однозначно, поступим следующим образом: так как р(-) является стацио-
стационарным абсолютным распределением вероятностей, то
х
и отсюда следует, что для почти всех т] (в смысле меры 9)
Мы можем, следовательно, определить однозначно /?„ (tj) как левую часть
этого соотношения при п = ч. Тогда последнее соотношение будет выпол-
выполняться при всех п > v. При таком определении мы имеем
что и требовалось доказать. Если отказаться от принятого выше соглаше-
соглашения о выборе //()"'(?> т)) и j°o (i)' т0 эти Результаты останутся верными
при каждом ? с точностью до ^-множества ср-меры 0.
Наконец, посмотрим, к чему приводит более сильное из двух условий,
приведенных в примере 3: для некоторого целого числа v и некоторой
константы К

S в. ЗАКОН БОЛЬШИХ ЧИСЕЛ 199
при всех ?, 1} п Е? 3-х. Из этого условия вытекает, что
-^¦рСЦ-ц, Е)<рМA, ЕХКрСЦу, Е).
Если положить теперь f(E)=^ р^'~>(-ц, Е) при некотором т\, то предыдущие
рассуждения останутся в силе, и, более того, плотности /^>v'($, ^) можно
будет определить так, чтобы выполнялись неравенства
Это значит, что здесь выполнены предположения случая б). (В действи-
действительности и без введения плотностей очевидно, что из рассматриваемого
условия следует, что должен существовать лишь один эргодическпй класс,
не содержащий циклических подклассов.) Этот случай был впервые рас-
рассмотрен Колмогоровым, получившим результаты, выведенные нами для
случая б), и применявшим по существу тот же метод доказательства (без
введения плотностей, совершенно излишних в этом случае).
В заключение мы приведем простой пример, в котором выполнены не-
некоторые из утверждений, доказывавшихся в этом параграфе, но неверна
гипотеза (D).
Пример 4. Пусть xv х„, ... — действительные случайные величины,
образующие гауссовский процесс, причем
Е {*„} = (),
Здесь р — действительный параметр, 0 < р< 1. Процесс хп является стацио-
стационарным марковским процессом (см. § 8 и гл. X, § 4). Условное распреде-
распределение величины xntl при заданном значении величины х1 является гаус-
совским с математическим ожиданием р™ х1 и дисперсией 1 — р2**, т. е.
/>("> (&, Е) = [2тс A - р2")]-1/2 *[ е 2A V») ^
Следовательно,
Если Е — конечный интервал, то эта сходимость не равномерна по ?, так
как при каждом п вероятность />("> E, Е) можно сделать сколь угодно
малоа, взяв достаточно большое \. Таким образом, в этом чрезвычайно
простом примере гипотеза (D) не выполняется. Итерированные вероятности
перехода сходятся здесь (но не равномерно) к стационарному абсолют-
абсолютному распределению вероятностей.
§ 6. Закон больших чисел
В этом параграфе мы получим один из вариантов закона больших
чисел, применимый к процессам, изучавшимся в § 5. Сначала мы предпо-
предположим лишь, что /?(•,•) является функцией вероятностей перехода (это
понятие определялось в §5), п что хъ х2, ... —случайные величины (не
обязательно принимающие численные значения), образующие марковский
процесс, для которого р(-, •) является вероятностью перехода (от хп к
Теорема 6.1. Если величина хх имеет стационарное абсолютное
распределение вероятностей р(-) и если f — функция от EgX, измеримая

200 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
относительно 3-х а такая, что
Е{|/(*,)|}=-$|/($)|р(Д)<«.
то предел
limi S f(zm) F.1)
п-*со пг=1
существует с вероятностью 1. В частности, если выполнена гипотеза (D)
и если имеется только один эргодический класс, то с вероятностью 1
F.1')
Первое утверждение теоремы является просто приложением к рассмат-
рассматриваемому случаю усиленного закона больших чисел для стационарных
в узком смысле процессов (эргодической теоремы), который будет доказан
в гл. X (гл. X, теорема 2.1). В § 1 гл. X показано, что если выполнены
условия второй половины теоремы 6.1, то рассматриваемый процесс метри-
метрически транзптпвен, а в.этом случае усиленный закон больших чисел при-
приводит к F.1').
В качестве простого приложения сформулированной теоремы предполо-
предположим, что изучаемый процесс является цепью Маркова с конечным числом
состояний (такие цепи рассматривались в § 2) и что эта цепь имеет только
один эргодический класс без циклических подклассов. В силу результа-
результатов § 2 прп этом предположении существует ровно одно стационарное
абсолютное распределение вероятностей; предположим, что с помощью этого
распределения определен стационарный процесс. Тогда, если /„--- число по-
попаданий системы в состояние / за первые п шагов, то с вероятностью 1
Действительно, если положить / (?) равным 1 при г = j и 0 в остальных
случаях, то
п
1 У f(x) = b.
m=l
и искомое утверждение следует из теоремы 6.1. Обобщение этого резуль-
результата иа случай произвольного пространства состояний является очевидным,
Если выполнена гипотеза (D) и если имеется больше одного эргоди-
ческого класса, то наиболее общее стационарное абсолютное распределение
вероятностей имеет вид 2?аатс. гДе 0<1а> 2?а==1 (мы используем здесь
а а
и в дальнейшем обозначения § 5). Ясно, что в этом случае предел в F.1)
равен с вероятностью 1 следующему выражению:
[ $ (<#)> Л Н 6 Еа.
Отметпм, что
Таким образом, если имеется больше чем один зргодическпй класс, то
предел будет зависеть от xt (ш).
В теореме 6.1 и в только что рассмотренном ее уточнении мы предпо-
предполагали, что соответствующие вероятности определяются заданной функцией

ьшш
6. ЗАКОН БОЛЬШИХ ЧИСЕЛ 201
вероятностей перехода и стационарным начальным распределенпем величи-
величины хх. Теперь мы допустим, что задано произвольное начальное распреде-
распределение тс величины xY. Для того чтобы подчеркнуть зависимость от началь-
начального распределения it, мы будем обозначать соответствующие математиче-
математические ожидания и вероятности через Е^{ —), Рл{ —}. Наиболее важными
начальными распределениями являются стационарные распределения и рас-
распределения, сконцентрированные в одной точке. В последнем случае, если
этой точкой является точка \, то математические ожидания и вероятности
превращаются в условные математические ожидания п вероятности
Е{-КН = *} и l"l-|*iH = 5}-
Теорема 6.2. Пусть f — функция от. Z?X. измеримая относитель-
относительно .§-х и такая, что
^ I/¦(?)! a-(di)<co, „=1, 2,... .
Еа
Тогда если выполнена гипотеза (D), то для любого начального распределе-
распределения вероятностей существует с вероятностью 1 предел
и этот предел с вероятностью 1 равен \ /(?) „¦*(«?;) при х1(ш)?Еа.
Еа
В силу теоремы 6.1, а также сделанных после ее доказательства уто-
уточнений, сформулированная только что теорема справедлива, если начальное
распределение тс является стационарным абсолютным распределением вероят-
вероятностей. Если положить тс = A//) 2 а1*! где / — число эргодпческпх классов,
то отсюда следует, что если a;1(ui)=?1g IJ Еа и 1Х не принадлежит некото-
а
рому исключительному множеству Ао, для которого ^ BI(A) = "i T0 пРе~
а
дел F.2) будет существовать с вероятностью 1„ если начальное распределе-
распределение тс сконцентрировано в единственной точке ?х; если st G Еа> т0 этот
предел будет иметь указанное в теореме значение. Мы видим теперь, что
предел F.2) будет существовать с вероятностью 1 и иметь нужное значе-
значение при любом начальном распределении тт, если только ¦z(Ao) = 0. Для
того чтобы закончить доказательство, достаточно показать, что Ао являет-
является пустым множеством. В соответствии с результатами § 5, если a;1(ui)=5t,
где jj — любое состояние, то при достаточно большом п состояние системы
хп(и>) окажется принадлежащим одному из эргодических классов, и систе-
система останется навсегда в том из эргодпческих классов, в который она
впервые попала. Более того, хп(ш) окажется через некоторое время в мно-
множестве состояний
так как из того, что а-(Л0) = 0 при всех а и из E.11) следует, что
lim ?(">(«!, G)=l.
П-+ОО
Рассмотрим выборочную последовательность ¦с1(и>), ж2(ш), ... . Пусть
xn(*») — первое из жп(ш), лежащее в G. Тогда для выборочных последова-
последовательностей с фиксированным Лг предел в F.2) будет совпадать с пределом
средних

202 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
(если только этот предел существует). Но эти средние ведут себя точно
так же, как средние
n-N+l
— V /Г ( VI =N
п
т=1
при начальном распределении величины хх, сосредоточенном на G. Следо-
Следовательно, при xN(m)?Ea эти средние стремятся с вероятностью 1 к
Поэтому предел F.2) существует с вероятностью 1 для начального распре-
распределения ^(^4), сосредоточенного ' в точке Zj (ш) = ?г В частности, если
5аб?а, то этот предел равен указанному в формулировке теоремы значе-
значению. Таким образом, Ао пусто, что и требовалось доказать.
§ 7. Центральная предельная теорема
В этом параграфе мы рассмотрим вопрос о применимости центральной
предельной теоремы к марковским процессам. Мы сделаем следующие
предположения (Do):
а) Выполнена гипотеза (D);
б) существует только один эргодический класс, и этот класс не содер-
содержит циклических подклассов.
Как мы показали в § 5, при гипотезе (Do) существуют положитель-
положительные постоянные тир, р < 1 и (однозначно определенное) стационарное
абсолютное распределение вероятностей р(-) такие, что
|р<»>E, E)-p(E)\<tPn, « = 1,2 G.1)
Если распределение р(-) принять за начальное распределение вероятно-
вероятностей, то вместе с заданными вероятностями перехода оно определит
стационарный марковский процесс; в этом параграфе будет в дальнейшем
всегда подразумеваться (если только не будет явно оговорено противное),
что все рассматриваемые вероятности и математические ожидания относятся
именно к этому стационарному процессу. Таким образом, здесь
и т. д.
Определим S E, А) равенством
5E, А)= 2[р(п)(?, А)-р(А)]
и Fn(c, А) равенством
7П(«, Л) = тах[р<»>($, ?)-p(B)]-min[p№($, В)-р(В)].
ВСА BtZA ¦
Тогда при фиксированном $ функция Fn(?, А) представляет собой вариа-
вариацию п-го из слагаемых суммы S (?, •) на множестве А; первый член справа
представляет собой положительную вариацию, второй — отрицательную
вариацию. Существует множество А= такое, что на всех его подмножествах
р(»)E, А)-р(А)>0,

5 7. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 203
а на всех подмножествах его дополнения
р<»)(Е, А)-р(А)<0,
так что соотношение, определяющее Vn(l, А), можно заменить соотноше-
соотношением
Уя(«. 4) = [рС«)({, А45)-р(А4г)]-[р<"»F, ^(^-^))-рМ(^-^))]-
Вариация Fn(S, Л) является при фиксированном ? вполне аддитивной
функцией от А, причем
Уп(«, 4)<27РЯ,
G.2)
Перейдем к рассмотрению ряда лемм, нужных для доказательства
центральной предельной теоремы. Во всех этих леммах предполагается,
что выполнена гипотеза (Do), и все они выражают разными способами тот
факт, что в этом случае при больших п величины хт и xmtn почти неза-
независимы ,
Лемма 7.1. Пусть выполнена гипотеза (Do). Если f — случайная
величина, измеримая относительно семейства величин хи...,хт, и g —
случайная величина, измеримая относительно семейства величин xm+h,
xm*k*f ••¦Iй если пРи некоторых г > 1, s > 1 таких, что (ljr) —- A/s) == 1,
Е{|/П<«, Е{|?|'}<со,
то
|E{/rf-E{/}E{g}|<27«/'p»/'E'/r{|/|r}E«/»{|gn, A>1. G.3)
В частности, если / и g — функции от i?X, измеримые относительно &х,
если г и s удовлетворяют тем оке условиям, что и выше, и
то
Jf [Е {/ to) g K+i)} - Е {/ (хг)) Е {g (x,)}] =
X X
Действительно, применяя несколько раз неравенство Гельдера, полу-
получаем
{ / \ Е {g \ xm+ft («) = Tj} [pW (xM

204 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
откуда и следует G.3). В частном случае, когда fag таковы, как это
предположено во второй часты леммы, мы можем применить к f{x1), g(xkfl)
предыдущую серию неравенств с /и = 1. Из третьей и последней строк этих
неравенств находим, что
х
Так как
«, А)\< У Vk(i, A),
то интеграл в правой части G.4) мажорируется абсолютно сходящимся
рядом
S
S \[ 2
k=l X X fc=l
и поэтому сам является абсолютно сходящимся. Абсолютная сходимость
ряда, стоящего в левой части G.4), следует из неравенства G.3). Из соот-
соотношения
X
вытекает поэтому при и—»¦ со искомое равенство G.4).
В соответствии с леммой 7.1 корреляция между f(x{) и функциями от
xh с большими к стремится к 0 экспоненциально быстро при к —»¦ со.
Если функция / ограничена, то истинная причина этотЬ факта вскрывает-
вскрывается следующей простой леммой.
Лемма 7.2. Если выполнена гипотеза (Do) и если f — ограниченная
случайная величина, |/|<i/', измеримая относительно семейства случайные
величин ?fttl, Th+2, . .., то
G.5)
Если /(и>)=1 при xhfl(ia)?A и /(ш) = 0 в остальных случаях, то это
неравенство принимает вид
и в силу G.1) оно верно даже без множителя 2. В общем случае
Лемма 7.3. Пусть выполнена гипотеза (Do), и пусть /(•) — функция
от 1?Х, измеримая относительно JFX и такая, что
(^)Is}+ 23iJ

§ 7. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 205
Тогда
и, более того.
Если. о2ф0, то величина в правой части G.6);ti a\ не могут оановременно
обращаться в нуль.
В частном случае, когда величины х- взаимно независимы, выражение,
стоящее в G.61 под знаком предела, обращается в нуль, и cj = a-. Лемма
оказывается в этом случае тривиальной. В общем случае это выражение
равно
2» 2 (»-*)Е{/(*1O(^Г1))-2вЖ 2
= - 23* 2 *Е {/ (*iO(^)} - 2лЯ 2
Как показывает лемма 7.1 с g=/, r = s—2, отсюда следует при и—э-со
искомое соотношение G.6). Если Oj = 0 и если нулю равна также правая
часть соотношения G.6), то из G.6) следует, что
l.i.m. 2 /(^) = 0.
Но тогда и l.i.m. f(xn) = 0, и так как Е {|/(жп)|2] = а-, то это возможно
лишь, если о = 0, т. е. если /(^^ = 0 с вероятностью 1.
Лемма 7.4. Пусть выполнена гипотеза (Do) и пусть /(•) — функция
от ? g X, измеримая относительно ^х и такая, что
некотором />2. Гогба существует константа а, для которой
«=1, 2, ... . G.7)
2
Лемма 7.3 показывает, что G.7) верно при 1 = 2. Следовательно,
достаточно, предположив, что G.7) верно при I, равном целому числу
тп>24, доказать, что оно верно прл 1 = т-\-Ь, где 0<о<1. Предположим
поэтому, что Е {|/(а:][)|т+5} < со и что для 1 = т лемма верна.
Пусть к — положительное целое число, которое будет определено точнее
в дальнейшем'. Определим sn, tn, sn, cn, как
*-=2/<*,). '.= 2/(*,). *»= /(*,)•
1 n+i n+h+1 '
Мы хотим доказать, что при подходящем выборе константы a
cn<an(m+8>/2, n=l, 2 G.7')
Для того чтобы доказать это, мы покажем сперва, что если е, > 0. то при
соответствующем выборе чисел а1 п к
E 4^)cn + aI«('"+8)-2, я=1,2 G.8)

206 гл- V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Действительно, вспоминая, что sn и sn имеют одинаковые распределения,
находим, что
Е {| sn + «„ |т+5} < Е {| sn + sn |т (| sn |« +1 s\ |«)} <
m—l m
<2cn+E{ 2 G)l«nK+4|*»l"l-^+SG)l*«lM*B|m-y+*}. G-9)
;'=0 >=i
Применив теперь лемму 7.1 с
i* ffl-f-O /Л-f-u
будем иметь
E {| sn|" \%n П < 27u/(m+5)P«№+"«'«+3) Cn + E {] ,a j"} E {| sn |»}. G.10)
Мы будем подставлять неравенство G.10) в неравенство G.9), давая м и v
соответствующие значения. Во всех случаях мы имеем 0<8<!и^дг
и 0<8<о</тг. Следовательно, используя неравенство Гельдера, находим,
что последний член в G.10) не превосходит
Е {[ Sn П«'т Е {| Sn \т}»<т = Е {| Sn |m}(m+3)/m.
Предположим теперь, что G.7') выполнено при 8 = 0 (п некотором а). Тогда
предыдущее произведение не превосходит постоянной, умноженной на nSm+®12-
Соединяя эти результаты, находим, что
E{!sn + 4lm+5}<B + 6p'1(''+))/(m+5))cn+aI«(m+s)/2, л = 1. 2,...
при некоторых постоянных а1 и 6, не зависящих от к. Чтобы доказать G.8),
нам осталось только, увеличив, если необходимо, к, сделать второе слагае-
слагаемое в скобках меньше ех. Докажем теперь, что для любого е > 0 существуют
постоянная а2 и целое число к такие, что i
с2п<B + е)сп + а2и(+5)/2, и>1. G.11)
Действительно, применяя неравенство Минковского и G.8), находим, что
при достаточно большом п
< [A + el) [B + ex) Cn + ain
Тогда при достаточно большом п
Если ех настолько мало, что A-f sx)m+s B + ej) <2 + s, то должна суще-
существовать константа а2, при которой верно G.11). В силу G.11), если е
настолько мало, что 2 + е < 2(т+3>/2, то
0(r-i)(m+3)/2

§ 7. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 207
Тогда если е выбрано так, как указано выше, то
с2г<а32Г~, г>0, G.12)
где
2-(m+5)/2
= сг + а2
Наконец, любое целое положительное число я\можно записать в виде
п = 2r + v12r-1+ ... +vr< 2r + 2r-»+ ... +1,
где
2г<и<2гп,
и каждое из v, равно 0 или 1. Следовательно, sn можно представить
в виде суммы г+1 групп слагаемых, содержащих соответственно по 2Г,
v12r~1, ... членов, и, используя неравенство Минковского, неравенство G.12)
и тот факт, что процесс f(Xj) стационарен, мы находим, что при некоторой
постоянной а
"-^} + E»/(m+5> {| s2r_i |m+5} +...
2 j -im+5
[o(r+i)/2 j -i
что и требовалось доказать.
Мы теперь в состоянии приступить к самой центральной предельной
теореме. Пусть х — некоторая вероятностная мера на множествах поля
^-х. Рассмотрим марковский процесс, индуцируемый этим начальным
распределением и некоторой функцией вероятностей перехода, удовлетворя-
удовлетворяющей условию (Do). Для того чтобы отличать соответствующие математи-
математические ожидания и вероятности от тех, которые получаются при тс = р,
мы будем придавать им индекс х, так что
и т. д. Мы хотим показать, что, каково бы ни было начальное распре-
п
деление х, для широкого класса функций / сумма -j=. 2 f (xm) распреде-
* " m=l
лена при большом п приблизительно нормально. Наиболее важными
случаями является случай тс = р и случай, когда распределение тс сосре-
сосредоточено в одной точке ?х. В этом последнем случае вероятностп становятся
условными вероятностями при условии ж1(ш) = 51.
Теорема 7.5. Предположим, что выполнена гипотеза (Do), и что
/(¦) — действительная функция от 1?Х, измеримая относительно 3-х
и такая, что при некотором 8 > О
Тогда существует предел
п
2 ]2}a;; G.13;

208 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
если Oj > 0, то при любом начальном распределении я {величины хг)
п 1
limP7t{-i=2(/(a:™)-E{/(^)»<4=—Tnr \ е~^!2Л^ G-14)-
п-«х> У. у П *-* J Oj у 2я •>
ТП= I —ОС
равномерно по \.
Предельное соотношение G.13) уже было доказано раньше (лемма 7.3)
и вновь приводится здесь только для полноты. Не ограничивая общности,
мы можем предположить, что Е {/(а:т)} = 0.
Пусть а, р — положительные целые числа, и пусть ft (а + Р) — наибольшее це-
целое число, кратное а + р и не превосходящее п. Определим ут и у'т формулами
(m-i) (я+р)-(-а
Ут= X /( 1
(
m (ot+3)
2
Идея доказательства теоремы состоит в том, что р выбирается настолько
большим, чтобы величины г/т были почти взаимно независимы и к ним
почти можно было бы применить центральную предельную теорему для
независимых слагаемых, и настолько малым, чтобы при п—¦> оо можно
было пренебречь привносом величин у'т в соотношении G.14). Мы рас-
рассмотрим сначала случай, когда х = р. В ходе наших рассуждений мы будем
предполагать, что о, {$ и ji меняются вместе с п, стремясь к оо при п—> оо
таким образом, чтобы удовлетворялись соотношения G.15) й G.18).
Докажем сперва, что если
lim;^ = 0, G.15)
plim=2 »»-°- G
П-+ОО У П j
Действительно, используя G.6) и неравенство Минковского, получаем'
, 1» + '
^(W + coMt.) + t
уп у п
Еелп выполнено G.15), то правая часть этого неравенства стремится к 0
при п—*• со и из этого следует G.16). Таким образом, если выполнено G.15).
то можно пренебречь при п—> оэ привносом величин у'т в G.14).
Во-вторых, докажем, что если определить Фт(?) равенством
m
Ф@ Е{ ' j

S 7. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 209
то при каждом и.
Е{е' < "'¦}=Ф.(О" + СЦ, ГЧ1|<2ГрР»+«. G.17)
Действительно, левая часть соотношения G.17) равна (мы используем здесь
лемму 7.2)
Е{е' ' "'Е^К }} Е{ ' "'
ц-1
" 1 "'}Ф.
= Е{е
Повторяя это рассуждение, мы находим, что левую часть соотношения
G.17) можно представить в виде
откуда и следует G.17). Таким образом, если мы сможем выбрать числа
о, р, [1 так, чтобы они удовлетворяли соотношению G.15) и чтобы при
этом
limupP = 0, G.18)
п-*ао
то для того, чтобы доказать асимптотическую нормальность со средним О
и дисперсией о* изучаемого распределения, окажется достаточным доказать
асимптотическую нормальность с теми же параметрами распределения, соот-
соответствующего характеристической функции Фа [t/yn )ц. Но это последнее
распределение совпадает с распределением суммы ^ zm, где величины zm
взаимно независимы и имеют каждая то же самое распределение, что и ве-
величина yjy п . Таким образом, достаточно доказать асимптотическую нор-
ц
мальность с указанными параметрами последовательности величин ^zm.
1
Мы имеем Е {zm} = 0 и, используя лемму 7.3, получаем, что если верно
G.15) и поэтому aft/n—*•!, то
и по лемме 7.4
Следовательно, при больших п
,2fS
Последнее отношение, будучи эквивалентно (a/n)s/2, стремится к 0 ири
п—> со, п по теореме 4.4 гл. III отсюда следует искомая асимптотическая
нормальность (для случая т. = р). Заметим теперь, что условия G.15) и
G.18) не противоречат друг другу; например, мы можем выбрать в ка-
качестве {$ наибольшее целое число, четвертая степень которого не превосхо-
превосходит и, положить a = Р3 и тогда приблизительно (! = п/(а -+- j3) = J3, так что
заведомо выполняются условия G.15) и G.18).
14 д!К. л. Дув

210 ГЛ. V. МАРКОВСКИЕ ПРОЦЕССЫ <3 ДИСКРЕТНЫМ ПАРАМЕТРОМ
Чтобы доказать асимптотическую нормальность при произвольном на-
начальном распределении я, заметим, что в силу леммы 7.2 для любого т
п п
(U/nVa) 2 /(*,) iit/v.xh) 2 Я*)
|Е*{е ™+i }-Е{е "•+' }J =
= \ X
Следовательно, при п > т
п
|Ея{е ' }-Efej
Последнее слагаемое справа можно сделать сколь угодно малым, выбрав т
достаточно большим. После того как выбрано т, два первых слагаемых
также можно сделать сколь угодно малыми равномерно по всем значениям {
в любом конечном интервале, выбрав для этого достаточно большое п.
Таким образом, характеристические функции случайных величин n-x?
я>1, соответствующие двум рассматриваемым заданиям вероятностной меры,
одному с начальным распределением вероятностей р, а другому — с тс, асимпто-
асимптотически совпадают при и—*оо. Отсюда следует, что распределение случай-
п
ной величины п~1/'2. f(xj) асимптотически нормально со средним 0 и
дисперсией а\ при любом начальном распределении вероятностей. Этим
заканчивается доказательство теоремы.
В заключение мы рассмотрим одно обобщение доказанной сейчас тео-
теоремы, полезное для статистических приложений. Предположим, что рас-
рассматриваемые в теореме функции зависят больше чем от одного Xj. Пусть
/(-,...,•) — функпия от $!,...,Sr, bj?X, измеримая относительно
¦&Х X ... X Jfx- Рассмотрим суммы
п
j 2 [/(*„.••¦• ««•«J-E{/(*„, .... WJ}].[*-1, 2. ...
Мы хотим доказать асимптотическую нормальность этих сумм при л—>со.
Теорема 7.1 соответствует частному случаю г=1, п мы теперь покажем,
как общий случай можно свести к этому частному случаю. Чтобы сделать
это, заменим пространство X пространством X, состоящим из точек
} = («!, . ..,?,), ?,?Х, поле &х — произведением полей &х~ JFxy.... x-^x
и пространство точек ш = (с1,Е2,...), tf?X — пространством точек
ш = A1, Е2, .. .),.ij?X. Пусть х^ — новая /-я координатная функция, так
что х^ (ш) = ?.. Определим ш-вероятностн последовательностей хх,хг,... так,
чтобы они совпадали с ш-вероятностями соответствующих последова-
последовательностей хг, х2,..., где ^ — совокупность г величин {xf, ..., xjtr_j)-
Тогда процесс xs будет марковским процессом, удовлетворяющим гипотезе
(Do), ерли ей удовлетворяет процесс Xj. Функция / от (iv ..., ir) опреде-
определяет функцию / от Ej, причем зависящие от точек ш случайные величины
{f(xmi .... *„,„_,

! 8. МАРКОВСКИЕ ПРОЦЕССЫ В ШИРОКОЙ СМЫСЛЕ 211
имеют те же самые совместные распределения, что и зависящие от точек <о
случайные величины {f(xm), /п>-1}. Таким образом, мы свелп задачу об
изучении / к соответствующей задаче об изучении /, а для этой новой
задачи г=1. Применяя к этой новой задаче теорему 7.5, получаем следую-
следующий результат.
Теорема 7.5'. Предположим, что выполнена гипотеза (Do) и. что
/(•,...,•) — действительная функция от 1г, ..., ?г, измеримая относи-
относительно 1РХ х ... X &х и такая, что для некоторого 8 > О
E{\f(xv ...,хг)|2+5}<со.
Тогда, если fm = f{xm zm*r-i)> mo существует предел
если <з\ > 0, то при любом начальном распределении х (величины хх) равно-
равномерно по \
п \
lim Pj~±= 2 (fm - Е {/J) < X } =-4= \ е-»%/г>\ iP. G.14')
п~с° Куп *-> J в1 у 2% J
m=i —оо
В качестве примера приложения теорем 7.5 и 7.5' допустим, что
xv xit ... — взаимно независимые случайные величины с одинаковой функ-
функцией распределения. Тогда заведомо выполняется условие (Do). Можно
применить теорему 7.5, однако она сводится здесь к теореме 4.3 гл. III
(в которой предполагается более слабое условие 8 = 0). Теорема 7.5' дает
кое-что новое и для эюго случая. Предельная дисперсия а\ в G.13') равна
в соответствии с леммой 7.3
1
[это можно также установить без труда прямо из формулы G.13')]. Пред-
Предположим, в частности, что Xj принимают действительные значения и
и что r=2,'rf1 = (xi — xl)i. Тогда
и мы находим, что суммы
п
1 V Ut г t4 In 1
у- Zi l(xM*l хт) —?<h\
асимптотически нормальны со средним 0 и дисперсией 4а4, если
Е {| ж, \i+'} < со при некотором 8 > 0.
Гипотеза (Do) была использована нами лишь для того, чтобы упростить
некоторые формальные рассмотрения. Если предположить только, что вы-
выполнена гипотеза (D) и что имеется лишь один эргодическпй класс, быть
может, содержащий циклические подклассы, то нетрудно обобщить на этот
случай теоремы 7.5 и 7.5'. Однако если имеется больше одного эргоди-
ческого класса, то предельное распределение может оказаться взвешенным
средним из различных нормальных распределении.
§ 8. Марковские процессы в широком смысле
тво действител)
и, что при всех
Е {| х, I2} < со .
Пусть {х„ t f T) — семейство действительных или комплексных
чайных величин. Предположим, что при всех t

212 ГЛ. У. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Определим функцию R (s, t) равенством
(м)!
[О, Е{|*,|*} = 0.
Тогда xt—R(s, t)xa ортогонально к ха, т. е.
t{xt\x3} = R(s,t)xs.
Процесс {xt} называется марковским процессом в широком, смысле
(см. § 6 гл. II), если, каковы бы ни были tx < ... < tn, с вероятностью 1
t{xlu\xtl xla_1} = t{xu\xtir.l). (8.1)
Теорема 8.1. Процесс {х,} является марковским процессом в широ-
широком смысле тогда и только тогда, когда Е {|х,|2} < со и функция R удо-
удовлетворяет функциональному уравнению
R(s,u) = R(s,t)R{t,u), s<t<u. (8.2)
Для доказательства теоремы определим y(t, м) как разность
xu — R(t, u)xt = y(l, и).
Тогда y(t, и) ортогонально к xt. Если процесс xt явдяетси марковским
ироцессом в широком смысле, то
t{xu\x1,xt} = t{xu\xl} = R(t, u)xit (8.3)
так что y(t, и) ортогонально также и к хг, т. е.
Е {x^s}-R(t, и) Е {х,х,} = 0, (8.4)
а это равенство эквивалентно соотношению (8.2). Обратно, если выполнено
(8.2), то также выполнено и (8.4), а соотношение (8.4) показывает, что
y(t, в) ортогонально к каждому из ха при s < t, т. е. что с вероятностью 1
R(t, u)x, = t{xu\xi}=t[xu\x,ir ...,xSh,xt},
если $!<... < sh < t < м. Но это равенство эквивалентно условию (8.1),
определяющему марковский процесс в широком смысле.
В частности, если процесс xt — действительный и гауссовский и если
Е{х(}=0, то в соответствии с общими концепциями о связи понятий
в узком и в широком смыслах условие теоремы является необходимым и
достаточным для того, чтобы процесс х. был марковским процессом в узком
смысле (см. гл. II, § 6).
Теорема 8.1 выглядит особенно просто, если предположить, что про-
процесс х, стационарен в широком смысле (см. § 8 гл. II). В этом случае
R (s, t) зависит только от разности t — s, так что можно писать R(t — s)
вместо R(s, t). Условие (8.2) переходит тогда в условие
tu t.2>0.
Если процесс xt является последовательностью случайных величин
xv x2, ..., то это соотношение означает, что
R(n) = E{xm^J = anR@), «>0,
где а —некоторая постоянная. В силу неравенства Шварца

! 8. МАРКОВСКИЕ ПРОЦЕССЫ В ШИРОКОМ СМЫСЛЕ 213
так что |а|<1. В случае непрерывного параметра, если известно, что ./?(•)
непрерывно, то
Д (О = Е {*„,?,} = е-«'Д@), t>0,
где постоянная с имеет неотрицательную действительную часть.
Отметим, наконец, что если процесс {ж,} —это последовательность слу-
случайных величин xlt х2, ..., то, как нетрудно показать, условие (8.1)
эквивалентно следующему условию: при всех п > 1 с вероятностью 1
Е{хп\х1,...,хп_1} = Ё{хп\Хп_1}. (8.1')

Глава VI
МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
§ 1. Цепи Маркова с конечным числом состояний
В настоящем параграфе мы будем существенно опираться на резуль-
результаты § 1 и § 2 гл. V, где изучался случай дискретного параметра. Пусть
{xt, 0<2< со] — марковский процесс с конечным числом состояний, зану-
занумерованных числами 1, ..., N, т. е. процесс, для которого
N
Vpij. („Л _ ,4 _ 1
(в большинстве приложений случайные величины, образующие процесс,
вообще не принимают других значений, кроме чисел 1, ..., N; это чуть
более сильное требование не вносит существенных изменений в теорию
таких процессов). Если Р {xt (со) = i} > 0, то мы определим pSj. (s, t) равенством
Pij(s, О =-Р{*.(») =/I*,(») = 9-
Обозначим через P{s, fj матрицу [Pi,(s, t)]. Тогда при Р {ха (со) = ?} > О
Pi, (*,*)> О,
) = SPi,-(*.OP,-kС»). 0<*<t<u A.2)
[суммирование в A.2) производится лишь по тем значениям/, для которых
определено pjh{t, и)]. В матричных обозначениях предыдущее соотношение,
являющееся частным случаем уравнения Чепмена — Колмогорова, принимает
вид
P(s, u) = P(s, t)P(t, и), 0<s<t<u.
Удобно определить P(t, t) как единичную матрицу; в дальнейшем мы бу-
будем постоянно пользоваться этим определением. Уравнения Чепмена — Кол-
Колмогорова A.2) будут тогда выполнены при 0<з<г<м. О вероятностном
процессе говорят, что он имеет стационарные вероятности перехода, если
при всех j и / таких, что Р{ж3(ш) = г] > 0, вероятности перехода />h(s, t)
вависят только от t — s. Сам процесс называют в этом случае однородным.
Для таких процессов мы будем вместо ptj (s, t) писать p{(t — s); соотно-
соотношения A.1) и A.2) в этом случае принимают вид
Pt,@>0,
]
2
В матричных обозначениях предыдущее соотношение записывается в виде
P(8+t)=*P(8)P(t).
Матрица Р@) является, по определению, единичной матрицей.

! I. ЦЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ 215
Матричную функцию Р(-, •), удовлетворяющую соотношениям A.1)
и A.2), мы будем называть марковской переходной матричной функцией
(для того чтобы избежать ненужных осложнений, мы будем предпола-
предполагать, что каждый элемент этой матричной функции определен при всех
значениях аргумента). Матричная функция Р(-), удовлетворяющая соот-
соотношениям A.1') и A.2'), будет называться стационарной марковской neper
ходной матричной функцией. Любой марковской переходной матричной
функции соответствует марковский процесс
{xt, 0<г < со},
возникающий, если выбрать каким-либо образом начальные вероятности
Р {хо(ш) — г}, i = l, ..., N, и положить, по определению, для каждого
конечного г-множества 0 = ta < t1 < ... < tn
Р {xt0 (м) = o0> . .., xtn (со) = an) =
- P {xa («) = aj рал @; I,) ... PWn (Vi. tn)
(cm. § 6 гл. II). Заданные таким образом вероятности определяют про-
процесс xt, являющийся цепью Маркова с данными начальными и переход-
переходными вероятностями. За основное <в-пространство можно взять здесь про-
пространство всех функций от t, 0-<i< со, принимающих только целые значе-
значения 1, . .., N, или же пространство всех функций от I, 0<<<со, при-
принимающих любые действительные значения.
Теорема 1.1. Для любой стационарной марковской переходной мат-
матричной функции [Pij{-)} при всех i и j существует limpi}. (I), причем при-
ближение к пределу происходит экспоненциально быстро.
Заметим, что этот результат проще, чем соответствующий результат
в случав дискретного параметра, так как здесь рассматриваются обычные
пределы, а не пределы в смысле Чезаро. Отметим также, что мы не делаем
никаких предположений¦ .о непрерывности и даже об измеримости. Для
доказательства теоремы мы сперва фиксируем t и покажем, что предел
Итр„(п*) = ш,Д0! A.3)
-существует при всех i и /. Затем мы покажем, что матрица ИР(г) = [ш{/ (t)]
не зависит от t, после чего рассмотрим предельное поведение />;,(') при
произвольном стремлении t к бесконечности. Мы видели в § 2 гл. V, что
или предел lim p{j (nta) существует при всех I, / (когда стохастическая
П-*О0
матрица P(ta) задает цепь Маркова без циклических подклассов), или же
при некотором выборе целого числа ч предел Urn pis {mt0) существует для
всех i, f. Здесь v — любое целое число, делящееся на каждое иэ чисел
dt, d/, ..., где di — длины циклов, определенные в § 2 гл. V; при этом
2d, <iV, так что мы можем всегда положить t = N\. Поскольку число t0
i
произвольно, то мы приходим к соотношению A.3), положив t = N\tu.
Очевидно,
п — 1, с, ... .
Предположим теперь, что s< t. Тогда
W (s+ t)=W Bs)W (t - s) = W {s)W {t -s) =W (I),
так что W(u)=W(t) при г<и<2«. Таким образом, матрица IV(t) не зави-
зависит от t, т. е. №"(?)= |сК = [wiS], п соотношение A.3) принимает вид
lim рч (nt) = wit A-3')

216 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
для всех i, / и t. При этом W = W2, и матрица W обладает всеми свой-
свойствами предельной матрицы, описанными в § 2 гл. V: существуют (эрго-
дические) классы состояний Ev E^, ... и класс F несущественных состоя-
состояний такие, что
Pi, @ = 0 (zg
0 ' (ig
о
где
Точно так же, как и в случае дискретного параметра, описанном в § 2-
гл. V, сумма ]F р{ ¦ (i) является при каждом i монотонно убывающей
функцией от t. Если t—> со, принимая только целые значения, то мы имеем
случай дискретного параметра, относительно которого мы знаем, что рас-
рассматриваемая сумма экспоненциально быстро приближается к нулю. Сле-
Следовательно, то же самое верно и если t—*со, принимая все действитель-
действительные значения, так что
Для того чтобы исследовать поведение Pi,@ при i, j?Ea, определим вели-
величины mf, M^p равенствами
Тогда точно так же, как и в случае дискретного параметра [см. § 2 гл. I,
случай б)], функции тУ> будут монотонно неубывающими, а функции
Mf —монотонно извозрастающими. Если t стремится к бесконечности, при-
принимая лишь целые значения, то мы имеем снова случай дискретного пара-
параметра, в котором, как мы знаем, эти функции экспоненциально быстро
приближаются к пределам атс;; следовательно, то же самое будет верно
и если просто t —> со. Тем самым мы доказали, что
Jim Pi y@ =„-,-,
t~>co
причем сходимость к пределу является экспоненциально быстрой- Наконец,
Л»(« + 0 = 2 Pa(s)Р,-к@ + 2 Л,(в)Р,к@. »6Л
так что при t—> со первая из этих сумм экспоненциально быстро стремится
к пределу (при фиксированном s), в то время как вторая не превосходит
суммы 53 Pij(s), которая (экспоненциально) мала при больших s. Следова-
Следовательно, при i?F, k$F существует предел Jim pih(u), п стремление к пре-
U—. СО
делу является экспоненциально быстрым. Этим заканчивается доказатель-

S 1. ЦЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ 217
ство теоремы. Как и в случае дискретного параметра, строки предельной
матрицы образуют стационарные распределения вероятностей, и каждое
стационарное распределение вероятностей является линейной комбинацией
этих строк.
Приступим теперь к изучению выборочных функций однородной цепи
Маркова с заданной матрицей вероятностей перехода Р(-)- ^ы будем
всегда предполагать, что функция Р(-) непрерывна при t — О, т. е. что
lim Pi. «) = [*' ! = /: . A-4)
(Учитывая A1'), мы видим, что вторая строка этого равенства следует
из первой.] Из предположения о непрерывности функций pi;(-) при г=О
вытекает их непрерывность при всех t. В самом деле,
lim p;j(s + E)= lim
lim
-*u+o
lim
-+0+0
Так как #
V {xt(u>) Ф х,(и>)) = %Р {х^и)^ i}[l- Pii(\t -
<max[l — pH(\t — s\)], T = min(s, t),
то условие A.4) эквивалентно требованию, чтобы вероятность
стремилась к 0 при t—>s для любого начального распределения вероят-
вероятностей и для всех s. Иначе говоря, A.4) верно тогда и только тогда,
когда
plimz, — xt A-4'}
(->s
при любом начальном распределении вероятностей. Как показывает при-
приведенная ниже теорема 1.2, предел по вероятности можно заменить здесь
пределом с вероятностью 1.
Вели выполнено A.4), то при малых t имеет место неравенство
РаA)> 0- Следовательно, поскольку
Pii(s+t)>pit(s)Pii{t),
то Рц{()>0 при всех г>0. Далее, если f Ф i, то />и@ или не равно
нулю при всех t > 0, или обращается в нуль тождественным образом.
Действительно, фиксируем i и / с i =? j п предположим, что p{j (s) > 0 при
некотором s, которое также будет считаться фиксированным в дальнейшем
рассуждении. Докажем, что тогда Pij(t)>0 при всех t > 0. Так как
РЧA)>Рц{»)Рц(*-»)> 0<u<t,
и так как второй множитель справа всегда положителен, то достаточно-
доказать, что р4у(и) j> 0 при некотором и < t. Но при каждом положи-
положительном целом яг выполняется неравенство pi;- ( т— j > 0, т. е., на
языке § 2 гл. V, состояние / является последующим порядка т за состоя-

218 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
нием i для стохастической матрицы Р(~) - В § 2 гл. V было доказано,
что тогда / является последующим за состоянием i некоторого порядка.
и<7У, так что р^Лп— ) > 0. Если m>Nsjt, то за искомое значение и
можно взять ns/m.
Тот факт, что если верно A-4), то вероятность Pij(t) не обращается
в нуль при t > 0, если только эта вероятность не равна нулю тождест-
тождественно, показывает, что стохастическая матрица Р (t) (при фиксированном t)
•соответствует цепи без- циклических подклассов. Этот факт был уже обна-
обнаружен нами при доказательстве теоремы 1.1 [причем даже без предположе-
предположений A.4)].
Допустим теперь, что функции pif{-) имеют производные plj(-) при
всех t > 0, и положим
Обозначим через Q матрицу [<7{j],
<1.Г), находим, что
где мы считаем ?л= — <7i- Используя
qu>0, Ъди^Чг- A.6)
Дифференцируя уравнение Чепмена —Колмогорова A.2') По каждой [из пере-
переменных и полагая эту переменную равной нулю, получаем две системы
дифференциальных уравнений:
Pih(t)=-qiPik{t)+^qijPjh(t), i, &=1 N, A.7)
/4@= -P*(t)qh+ S Pn(tLiv i, *=1 N. A.7')
1Ф*
Первую из них мы будем называть обратной системой дифференциальных
¦уравнений цепи Маркова, а вторую—прямой; соображения, оправдывающие
эту терминологию, будут приведены ниже. Начальные условия для обеих
¦систем задаются равенствами
Величины gt я q^ определяют вероятности перехода pu(t) одно-
вначно. Мы рассмотрим этот вопрос с двух точек зрения. Во-первых,
мы покажем, что если матрица Q удовлетворяет условию A.6), то системы
уравнений A.7) и A.7') при начальных условиях A.8) имеют единствен-
единственное решение, удовлетворяющее условиям (!•!') и"A.2'). Во-вторых, мы
построим, исходя из заданной матрицы Q, удовлетворяющей соотноше-
соотношениям A.6), вероятностный процесс, являющийся цепью Маркова с вероят-
вероятностями перехода, удовлетворяющими уравнениям A.7), A.7') и A.8).
Рассмотрим сначала систему уравнений A.7). Эту систему диффсрен-
пиальиых уравнений удобнее всего изучать в матричной форме:
¦с начальным условием
Р@)=/,
тде /—единичная матрица. Решение [как системы A.7), так и систем
0-7')] можно записать в таком случае в виде

i 1. ЦЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИИ 21»
где экспоненциальная функция от матрицы определяется (поэлементно)
тем же степенным рядом, что и обычная (числовая) экспоненциальная функ-
функция. Ясно, что для любой матрицы Q определенаая таким образом функ-
функция P{t) представляет собой решение уравнения A.7), удовлетворяющее
начальным условиям A.8) и уравнению Чепмена — Колмогорова A.2').
Если Q удовлетворяет условиям A.6), то решение Р(-) является вероят-
вероятностным решением в том смысле, что оно удовлетворяет условиям A.1').
Действительно, во-первых, если Q удовлетворяет условиям A.6), то, сум-
суммируя в A.7') по к, мы находим, что
откуда следует, что 2 />ш@ — const.; константа справа здесь равна 1, тан
h
как она равна 1 при i = 0. Во-вторых, следующие соображения показы-
показывают, что все функции Pij{t) неотрицательны. Предположим сперва, что
ни одно из <7{/ не обращается в нуль. Тогда Piy (*) > 0 при достаточно
малых t, так как, если i — j, то pi;. @)=1, а если i Ф /, то р„@)=0,
Р1]@) — д{1 > 0. Если бы теперь не все ptj (t) были неотрицательны, то
существовало бы конечное положительное число 3, являющееся наибольшим
из значений h таких, что
рчA)>0, i, /=1 N, 0<t<h.
Но тогда из соотношения /* (8 -f- А) = Р (8) Р (h) следовало бы, что элементы
матрицы P(t) неотрицательны при 2<28, что противоречит определению
числа 8. Таким образом, если все qi- не равны нулю, то и все р{;(г)>0.
В общем случае обозначим через Qn матрипу Q, в которой элементы
qi{ =—qi заменены на —д{ — (N — 1)/и, а элементы gij(i-f=/) заменены
на ^j^+1/и. Тогда Qn удовлетворяет условиям A.6) и не содержит нуле-
нулевых элементов, так что элементы матрицы Pn(t), определенной ревенством
Рп(*) = еСп<(
€удут все неотрицательны. Элементарное вычисление показывает, что при
п—»со матрица Pn(t) стремится к P(t); следовательно, и все элементы
матрицы Р (t) также неотрицательны. Остается еще только доказать един-
единственность полученного решения. Для этого заметим, что из уравнения
вытекает, что
Применяя теорему Тейлора с остаточным членом, получаем, что P(t)
должно иметь вид
что и требовалось доказать.
Система'A.7') в матричной форме имеет вид P'(t) = P(t)Q и может
быть изучена аналогичным образом. Она имеет решение
Таким образом, при допущенном нами начальном условии .Р@) = / системы
A.7) и A.7') имеют одно и то же решение.
Следующие два примера являются типичными образцами примеров,
возникающих в практических приложениях. В подобных примерах вели-
величины <7| и 5ij обычно или определяются из теоретических соображений,

220 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
или же находятся из экспериментальных данных на основе того факта,
что с точностью до членов второго порядка малости qisdt равно вероят-
вероятности перехода системы за время dt из состояния i в состояние /,
а 1—<7{ dt — вероятности того, что за это время не произойдет ни одного
перехода из состояния i в другое состояние.
Пример 1. Предположим, что возможны только переходы из состоя-
состояния i в состояние i -j-1 (и из N в 1), и при этом
0, }'ф1+1 (modiV),
, / = г-И (modiV).
Если теперь фиксировать к и отождествить N — 1 с 1, то система A.7)
перейдет в следующую систему уравнений
Ptk(t)= -gpik(t) + gpMk(t), » = i, .... JV.
Если положить Pib(t) = eqlpih(t), то мы будем иметь
Pik(t) = qpitlb(t), pift@) = 3ir
Отсюда следует, что
так что pih(t) должно иметь вид
Pik @ = 2 cW
Подставляя это выражение в дифференциально-разностное уравнение для
Pik(-), находим, что с'Л' можно записать в виде cffc) = ay<4v). Присоединяя
к этому результату начальные условия, находим, что
N
PiAtj—jf Zi ч е
N
\ — ± V ai~
) — lv Z) Sv
Если v = iV, то ov—1=0; при других v число av —1 имеет отрицательную
действительную часть. Следовательно,
lim pik{t) = ~ ,
что, впрочем, было интуитивно ясно с самого начала.
Пример 2. В примере 1 был только один эргодпческии класс состо-
состояний и совсем не было несущественных состояний. Для того чтобы про-
проиллюстрировать различные другие возможности, мы видоизменим предыду-
предыдущий пример, предположив, что система, попав в состояние Л^, остается в
этом состоянии:
0, /ФО-1, .
l 1Л1
В этом случае уравнения A.7) принимают вид
pih (t) = - qpih (t) + qpi+i h (t),

i t. ЦЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ 221
с начальными условиями pih @) = bih. Тогда
) = O, кфN,
и нетрудно проверить, что решение нашей системы имеет вид
0, k<i,
В этом примере существует только один эргодический класс состояний,
содержащий единственное состояние с номером N. Все остальные состоя-
состояния несущественные.
Предыдущий пример иллюстрирует построение, которое может быть
проведено и в общем случае. Если' задана некоторая цепь Маркова, то
можно, выбрав одно из состояний цепи, скажем N~e состояние, видоизме-
видоизменить процесс так, чтобы, попав в это ./V-e состояние, система оставалась
там навсегда. В терминах величин qt и qtj это означает просто, что q^ и
¦qNV ...,qNN_l полагаются равными нулю. В терминах старого процесса и
выборочных функций получающиеся при этом новые вероятности пере-
перехода pij (t) представляют собой вероятности того, что при условии х0 (ш) = i
будет х((ш) = / и xs(u>) j= N при всех s < ?, а рш(')~ вероятности того,
что при условии xo(ia)=i будет xs(ia) = N хотя бы для одного s<i. Мы
будем говорить, что такое построение превращает состояние N в поглоща-
поглощающий экран. Можно, конечно, пойтроить цепь, в которой одновременно
несколько состояний будут поглощающими экранами.
Перейдем теперь к подробному изучению марковских переходных
матричных функций однородных марковских цепей, предполагая вы-
выполненным требование непрерывности A.4). Мы покажем, что вероят-
вероятности перехода всегда имеют производные, удовлетворяющие системам
дифференциальных уравнений A.7) и A.7'). Особое внимание будет уде-
уделено связи между свойствами вероятностей перехода и свойствами выбо-
выборочных функций сепарабельного марковского процесса, определяемого соот-
соответствующей марковской матрицей. Мы будем всегда считать, что услов-
условные вероятности вида Р {А | ж/0(ш) = г'}, где событие А определяется усло-
условиями, наложенными на выборочные функции при t > tn, определены одно-
однозначно независимо от того, положительна или нет вероятпость Р [ог.а (ш) = i);
мы примем за эти условные вероятности числа, определяемые естественным
и очевидным образом при помощи заданных вероятностей перехода.
В остальной части настоящей главы нам большей частью будет удоб-
удобнее случайные величины, зависящие от параметра t, обозначать через x(t),
а не через xt, и соответственно этому значения рассматриваемых величин
в точке ш пространства элементарных событий обозначать через x(t, ш),
а не через х, (ш).
Теорема 1.2. Если [pi;(-)]—стационарная марковская переходная
матричная функция, удовлетворяющая условию A.4), то при всех i суще-
существует предел
<00.
Если {x(t)t 0 <Ct < оо} — сепарабельный процесс, определяемый вероят-
вероятностями перехода [pi;- (•)] и некоторым начальным распределением ее-

222 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
роятностей, то
a\x(tg, o) = i} = e-V, A.10),
причем, если x(t0, шо) = г", Упо с вероятностью 1 x(t, uio)si в некоторой
окрестности точки tg (величина этой окрестности зависит от ш0).
Подчеркнем, что в последнем предложении не утверждается, что почти
все выборочные функции непрерывны, а утверждается только, что в любой
фиксированной точке t разрывы могут иметь лпшь выборочные функции
из некоторой совокупности выборочных функций, имеющей вероятность 0.
Сушествование предела A.9) представляет собой, конечно, чисто ана-
аналитический факт, который сам по себе совершенно не связан с теорией
вероятностей; этот факт вытекает из условий A.1') и A.2') и условия не-
непрерывности A.4). Однако будет полезно и в какой-то мере поучительно
для доказательства существования этого предела использовать теорию ве-
вероятностей, что мы и сделаем. Итак, предположим, что процесс x(t) удов-
удовлетворяет предположениям второй части нашей теоремы. Тогда стоящая
в левой части соотношения A.10) условная вероятность является функцией
/(•), удовлетворяющей функциональному уравнению
Кроме того, 0</(а)<1. Следовательно, функция /(•) должна быть моно-
монотонно неубывающей, а при этом ограничении единственное решение напи-
написанного здесь функционального уравнения имеет вид
где постоянная в показателе степени неотрицательна и может равняться
+ оо (в последнем случае мы считаем экспоненциальную функцию равной 0).
Таким образом, мы сразу получаем соотношение A.10), где q-x—неко-
q-x—некоторая постоянная, 0<^с<+оо; однако пока мы еще не имеем права
отождествить эту постоянную с пределом A.9). Следующие соображения
показывают, что случай qi=-\-ca невозможен. Предположим, что
0 = то< ... < in = a, и определим чРн равенством
Тогда, если е>0 и если о настолько мало, что при всех / и 2 <а выпол-
выполняется неравенство ^(?)>1— е, то
п-2
2 2 чРцРцЫ+ у)„;нНA — пРц).
В соответствии с определением сепарабельного процесса (см. § 2 гл. II)'
вероятность прц можно сделать сколь угодно близкой к /(а), выбрав со-
соответствующим образом моменты времени tfe. Поэтому из предыдущега-
соотношения вытекает, что
причем, выбрав достаточно малое а, можно сделать сколь угодно малым
входищее в это соотношение число е. Взяв е < -^ , мы видим, что случай
/() = 0 невозможен. Значит, /(•) должно быть обычной экспоненциаль-
экспоненциальной функцией от —q^; при этом, как мы только что доказали, длнлю-

I I. ЦЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИИ 22$
бого е > 0 при достаточно малом t выполняется неравенство
Комбинируя его с неравенством
находим, что
отсюда и вытекает A.9). Наконец, из A.9) мы получаем, что если
Р{*(*„, ш)=?}>0, Л,>0 и
10
Р{ж(т, ш)= i, tg— Лх-<х< tg-{- А2|ж(tg, ш)= i] ¦
P {*(*„, a)=if
Если hi—>0 и Л2—>0 (в обоих случаях со стороны положительных зна-
значений), то выражение, стоящее справа, стремится к 1, а это значит, что-
если x{tg, ш) = г", то и при t, близких к t0, будет x(t, ш)^г (за исключе-
исключением, быть может, множества выборочных функций вероятности 0). Следо-
Следовательно, почти все выборочные функции непрерывны в точке t0, что и
требовалось доказать.
Заметим, что если предположить заранее существование предела q{ в
A.9), то вероятность A.10) можно немедленно вычислить следующим спо-
способом. В соответствии с определением сепарабельного процесса (см. § 2
гл. II) на интервале [tg, '„ + <*] существует последовательность точек {*,} та-
такая, что два ш-множества
отличаются не более, чем на множество вероятности 0. Далее, из условия
непрерывности A.4') следует, что в качестве последовательности {Z;} мож-
можно выбрать любую последовательность, всюду плотную на отрезке [t0, 10 + а].
В частности, выбрав в качестве {^} последовательность всех точек вида
to + ku/2n, к = 0 2", и= 1, 2, ..., будем иметь
P{*(T,(B)=i,
= ]imP{i(@+fa/2",(«)=i>] к=1 2"} =
а это эквивалентно A.10).
Мы будем называть функцию g(-) ступенчатой функцией, еслп она
имеет на каждом конечном замкнутом отрезке лишь конечное число точек
разрыва, тождественно равна постоянной в каждом открытом интервале
своих точек непрерывности и ее значение в любой точке разрыва ta удов-
удовлетворяет одному из неравенств
?('о-0)<?(*о)<*('о + 0) или S Со-0) >?('„)>? ('о-г О)- A.11)
Мы будем говорить, что функция g (•) имеет скачок в точке tw если
она разрывна в этой точке, п при этом существуют односторонние пределы
g(t0 — 0) и g(to + 0), удовлетворяющие одному из двух указанных нера-
неравенств. Разрывы ступенчатой функции, лежащие внутри интервала, на ко-

224 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
тором она определена, являются скачками. Функция от t, принимающая
только конечное число значений и непрерывная всюду, кроме точек, в ко-
которых она делает скачок; является ступенчатой функцией. . ¦
Мы докажем, что почти все выборочные функции марковской цепи
рассматриваемого типа являются (в сепарабельном случае) ступенчатыми,
функциями. Теорема 1.2 показывает, что вероятность разрыва в любой
фиксированной точке равна 0. Следующая теорема существенно уточняет
этот результат.
Теорема 1.3. Пусть [/?^(-I—стационарная марковская переходная
матричная функция, удовлетворяющая условию A.4). Тогда:
(I) Существуют пределы
lim-2iW = 9i, {i-ФП, A.12)
причем
Ичц^Яг- A-13)
(II) Пусть {x(t), 0<?<co}—сепарабелъный процесс, определяемый
марковской переходной матричной функцией [Pij(-)] вместе с некоторым
начальным распределением вероятностей. Если q{ > 0 и если x(t0, со) = г, то
с вероятностью 1 выборочная функция имеет при некотором t > t0 первый
разрыв, являющийся скачком. При атом если 0<а<со, то условная веро-
вероятность того, что первый разрыв выборочной функции в интервале [t0, *„ + <*)
(при условии, что такие разрывы в атом интервале имеются) будет скач-
скачком в состояние /, равна Ч{\^{.
Пусть {x(t), 0<<<оа}—сепарабельный процесс, фигурирующий в
пункте (II) теоремы. Предположение о существовании такого процесса не
является ограничением на марковскую матричную функцию. Кроме того,
при доказательстве пункта (II) можно, не ограничивая общности, считать
1о = 0, что мы и будем делать.
Если <7i = 0i то A.10) показывает, что коль скоро ж@, со)=г, то и
x(t, <o)=i при всех ?.> 0, так что />и(г) = 1. В этом случае теорема, оче-
очевидно, будет верна, и мы предположим в дальнейшем, что qi > 0. Пусть
5 и t—любые положительные числа и тЬ—наименьшее из кратных чи-
числа о, превосходящих t. Вероятность ptj (mb), i=j=j, очевидно, не меньше
вероятности того, что при х@, ш)=г будет х (то, со) = /, и первое измене-
изменение величины х(рЪ, ш), рассматриваемой как функция от целого р., будет
переходом из i в /; аналитически
m-i
Если t настолько мало, что р^ (s) > 1 — е при s<<, то из предыдущего
неравенства вытекает, что
При Ь—>0 в силу теоремы 1.2 отсюда следует, что
Следовательно, верхний предел справа Должен быть конечным. Разделив
теперь обе части неравенства на t, положив t—*0 и пользуясь тем, что е
можно выбрать произвольно малым, получаем, что
Г->о

! I. ПЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИИ 225
Таким образом, предел A.12) существует, после чего соотношение A.13)
вытекает из равенства
Докажем теперь, что при любом а > 0 первый разрыв выборочной функции
на интервале 0<i<a является скачком (если только разрывы на этом
интервале вообше существуют). Фиксируем состояние i, примем началь-
начальное условие х@, ш) = г и рассмотрим ш-множество Л„'р, для которого при
некотором ч, 2<v<tx, выполняется соотношение
Тогда
р {д2),|*@, «)=«}- 2J
v=2
)'
Отсюда следует, что если определить Л^ как совокупность точек со, содер-
содержащихся в множествах А„ш р для бесконечного числа значений п, т. е.
если положить
л*я= П U л«р>
k=l n=h
ТО
Р {Л^> | х @, ш) = i) > A - е-«*°) |Ае-9^.
Множество Л|,л возрастает при убывании р. Следовательно, если опреде-
определить Л1", как множество точек, содержащихся в Л^' при некотором р > О,
то
Р {Л(>> | х @, ш) = i] > A - е-9'") Ш.
Каждая из выборочных функций, соответствующая элементарному событию
ш, входящему в Л"'1, равна тождественно г на некотором интервале с ле-
левым концом в точке 0, имеет разрыв при некотором тх<а н равна тож-
тождественно / на некотором открытом интервале с левым концом в точке тх.
Так как
2 Р{Л"Ча:(О, ш) = г}>1-е-''*'1 =
= Р{г(т,ш)=Ы, 0<t<a|z@, oo) = i},
то это неравенство является на самом деле равенством, и, следовательно,
равенством является также предыдущее неравенство. Итак, для всех ш,
за исключением ш-множества вероятности 0, x(t, ш)^г при t < xx и
x(t,u>) = j при ij < t < г, +5, где / и о зависят от си, причем в предположе-
предположении, что в интервале @, а) существует разрыв выборочной функции, ве-
вероятность того, что х (iy (ш) -j- 0, ш) =- / равна q4iqv Если q{ = 0 и если
ж@, <о) = I, то, как мы уже отмечали выше, вероятность существования

226 ГЛ. "VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
разрыва выборочной функции в интервале @, а) равна 0 при всех а. Если
<7j > 0 и если х@, u>) — i, то вероятность разрыва выборочной функции на
интервале @, а) равна 1 — e~9i", т. е.
Р {*! (со)< а | х (О, со) = г} =: 1 — e-V, а > 0.
Мы не доказали еще, что для почти всех со разрыв в точке тх (ш) являет-
является скачком, так как мы не проверили, что в точке ti(co) выполняется
условие A.11). Этот не очень существенный факт выводится из следую-
следующих соображений. По определению свойства сепарабельности вероятност-
вероятностного процесса (см. § 2 гл. И) существует счетное г-множество Т такое,
что для всех точек ш, за исключением ш-множества вероятности 0, для
любого открытого интервала оси t функция х (¦, ш) имеет на множестве
всех точек этого интервала те же самые наименьшую верхнюю и наиболь-
наибольшую нижнюю грани, что на совокупности точек счетного множества Т,
содержащихся в этом интервале. Так как вероятность разрыва в какой-
либо из точек счетного множества Т равна 0, то х(-1(чу), ш) должно быть
заключено между ж(т1(ш) — 0, со) и а;(х1(ш)-(-0, л) включительно, т. е. раз-
разрыв в точке х1 (со) является с вероятностью 1 скачком. Этот факт является
более или менее случайным следствием нашего определения сепарабельно-
сепарабельности вероятностного процесса. Если предпол&жить, что процесс сепарабелен
относительно класса замкнутых множеств, то почти все выборочные функ-
функция окажутся даже непрерывными справа или слева в точке хх (со).
Теорема 1.4. Выборочные функции сепарабелъной однородной цепи
Маркова (с конечным числом состоянии), для которой вероятности пере-
перехода удовлетворяют условию непрерывности A.4), почти все являются
ступенчатыми функциями. •
Мы будем предполагать при доказательстве, что существует стационар-
стационарная марковская переходная матричная функция, которая вместе с начальным
распределением вероятностей определяет процесс. Это предположение
является небольшим ограничением, так как условные вероятности перехода
P{x(t, u>) = f\x(s, со) = г}, вообще говоря, могут быть определены не при
всех i и /, однако оговорки, которые нужно сделать в некоторых рассуж-
рассуждениях, для того чтобы придать доказательству полную общность, явля-
являются очевидными.
Пусть {х(t), 0<i < со} — процесс, указанный в формулировке теоремы.
Мы уже видели, что (за исключением множества выборочных функций
вероятности 0) если ж (О, со) = г и qi = 0, то х{1, со)==г, если же х@, со) = »
и <7j > 0, то выборочная функция имеет в некоторой точке х1(ш) первый
разрыв, являющийся скачком. Если д; = 0, то положим \1 (ш) = т2 (ш) == ...
... = со. Повторяя это рассуждение, легко показать, что если
х(~.г-\-0, со) = / и если <7,- = 0, то ж(г,со) = / при <>tx(co); в этом случае
положим т2(со) = т3(ш)= ... = со. Если же <?, > 0, то существует первый
разрыи после момента t1(co), являющийся скачком, происходящим в неко-
некоторый момент т:2(ш), причем
РЫ(»)-*iН>а\*(*iН + 0, «) = /] = е~^
и т. д. Вообще, мы имеем
(здесь предполагается, что qi > 0). Более того, если дополнить условие
ж(хп(со) + 0, ш) = / любыми другими условиями, наложенными на выбороч-
выборочные функции при значениях параметра, пе превосходящих т„(со), то это
не изменит экспонеяииальную функцию, стоящую справа. Этот факт объяс-
объясняет, почему можно бесконечно продолжать проведенное выше построение.
Чтобы доказать теперь теорему, покажем, что Птт„ = + со с вероятностью 1.

J 1. ЦЕПИ MAPKOB\ С КОНВЧНЫМ ЧИСЛОМ СОСТОЯНИИ 227
Пусть g = max<?r Тогда для последовательности случайных величин
{*„, п>1} имеем
2 а>0.
>=1
Здесь мы положили т0 (ш) = 0 и понимаем разность со — с при любом
с<оо как со. Тогда с вероятностью, не меньшей чем е~я", бесконечно
много разностей т„+| (ш) — тп(ш) примут значение, не меньшее чем а, так
что limtn(uj)=co с вероятностью, не меньшей чем e~t* при любом а.
П-*-оа
Следовательно, вероятность тогсг, что lim тп (ш) = оэ равна 1, что и требо-
валось доказать.
Пусть jPj,,(t) — вероятность того, что еслиа;(го, <a) = i, то x(ta-{-t, ш) = А,
и что переход из i в к совершается при помощи ровно одного скачка.
Кажется соблазнительным вычислить iPib(t), основываясь на том, что
функция х{~, ш) должна быть в этом случае тождественно равна » до
точки скачка s (вероятность чего равна е~''8), затем должен быть совершен
скачок в состояние к (вероятность чего равна q^dt) и после этого х(х, <в)
должно быть тождественно равно к вплоть до момента i (вероятность чего
равна е~'ь('~"8)); отсюда
О,
Мы дадим сейчас подробное обоснование приведенного рассуждения; в по-
последующем, однако, мы будем использовать подобные рассуждения уже
без всяких дальнейших обоснований. Положим снова io = 0, фиксируем
состояния г и к -?= i и обозначим через Мп—ш-множество, для которого при
некотором v, 0 < v < га—1, выполняется соотношение
и через М—ш-мнсжество, для которого при некотором s, таком, что 0 < * < t,
выполняется соотношение
Тогда М совпадает с множеством точек ui, входящих в бесконечное число
множеств М„, а также с множеством точек ш, входящих во все множества
Мп, кроме конечного их числа, т. е. в обычных обозначениях теории мно-
множеств limMn — M. Отсюда следует, что
limP{MJ*@, ш)=г} = Р(М|х@, o))-i} = lPih@-

228 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
С другой стороны,
n—2 v
п—V—1
и так как при п —*¦ со сумма справа стремится к интегральному выражению
для \Pib(t), полученному выше с помощью эвристических рассуждений,
то мы оправдали тем самым для данного случая этот эвристический способ
вычисления.
Пусть npih(t) — вероятность того, что если x(t0, со) = ?, то в момент
to + l будет x(t^-\-t, ш) = к и переход из ? в & произойдет при помощи
ровно п скачков. Мы уже вычислили iPik(t). Тем же самым способом мы
выразим вероятности n+ipih(t) через вероятности npih(t) п получим, таким
образом, рекуррентный способ их определения:
О, кФ
Ф1, \
\
<i'qijnplk(t-s)ds, n>0, I
J
y
или же
О,
= 2
Ф(, )
> A.14')
Так как почти все выборочные функции являются ступенчатыми функ-
цинми, то
оо
Л*@=2»Л*@- A-15)
п=0
Соединяя A.14) и A.15), находим, что
Pi»«-8u«~ei< + 2 $ <~ч*ЧчР1ь(*-1)Ь> A-16)
а соединяя A.14') и A.15), получаем, что
Эти два интегральных уравнения являются столь важными, что мы дадим
длн них другой, независимый от только что проведенного вывод, поясняю-
поясняющий их вероятностный смысл. Первое из этих уравнений показывает, что
Pib{t) есть вероятность того, что если х@, ш)= ?, то или ж(т, ш) останется
равным t до момента t (это возможно лишь, если к = ? и вероятность этого
равна тогда в"9»'), или же ж(т, ш) остается равным ? до момента s (вероят-
(вероятность этого равна е~9;!), переходит затем за время ds в некоторое состояние
/ =ь ? (вероятность этого равна qijds) и за оставшееся время t — s переходит
в к [вероятнрсть этого равна р<к(( — s)]. Таким образом, уравнение A.16)
основывается существенным образом на том факте, что почти все выбо-

5 I. ЦЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЯ 229
рочные функции имеют первый разрыв, являющийся скачком. Аналогично
A.16') основывается существенным образом на существовании в интервале
[О, t] последнего разрыва, также являющегося скачком.
Уравнения A.16) и A.16') показывают, что элементы стационарной
марковской переходной матричной функции, удовлетворяющей условиям не-
прерывностп A.4), имеют непрерывные производные. Взяв производные от
обеих частей этих уравнений, мы получим, соответственно, уравнения A.7)
и A.7'), которые мы вывели раньше прямым дифференцированием уравнения
Чепмена—Колмогорова. Таким образом, дифференциальные уравнения
A.7) и A.7') могут быть истолкованы в терминах свойств непрерывности
выборочных функций. Это истолкование окажется особенно важным в случае
более общих процессов, которым . посвящен § 2,
Уравнения A.14) или A.14') и A.15) дают явный алгоритм для вычис-
вычисления вероятностей pif(t) через величины qi и qif. Этот алгоритм более
нагляден с вероятностной точки зрения, чем приведенное ранее решение
системы дифференциальных уравнений A.7) и A.7') в виде P(t) = e'Q.
Предположим теперь, что qlt ..., q<, qi}, i,f = i, ..., N(i=?]') —
произвольные постоянные, удовлетворяющие условиям A.6). Мы уже доказа-
доказали, что существует стационарная марковская переходная матричная функция
[удовлетворяющая условию непрерывности A.4)], для которой выполнены
соотношения A.9) и A.12) при заданных qi и qij. В самом деле, мы показали
выше, что такой матричной функцией будет функция е10. Второй метод
состоит в построении рчA) по формулам A.14) и A.15) или A.14') и A.15),
и, на самом деле, нетрудно непосредственно доказать, что ряд A.15) схо-
сходится и определяет стационарную марковскую переходную матричную функ-
функцию [косвенное доказательство этого факта сводится просто к замечанию,
что существует единственная стационарная марковская переходная матричная
функция, удовлетворяющая условиям непрерывности A.4) и соответствующая
заданным q{ и qip а именно функция elCi, и что, как мы уже показали, для
этой функцпп верно A.15)]. Теперь мы укажем третий метод для построения
матрицы вероятностей перехода. Этот метод важен тем, что здесь строятся
явно выборочные функции соответствующей цепи Маркова и при их помощи
определяется марковская переходная матричная функция. Таким образом,
доказательство существования решения систем дифференциальных урав-
уравнений A.7) и A.7') проводится здесь чисто вероятностным способом, при-
причем этот метод применим также в случае значительно более сложных
систем интегро-дифференциальных уравнений, рассматриваемых в § 2. Для
построения цепи Маркова с заданными qi и <?i> мы просто переделаем сле-
следующим образом доказательство теоремы 1.3.
Пусть z1 — произвольная случайная величина, принимающая только
значения 1, ..., N. Пусть ¦z1 — положительная случайная величина, для
которой ее совместное распределение вероятностей вместе с величиной zx
определяется формулой
P{TI(o))>a|zI(«,) = i} = e-9i% a>0
(если <7i = 0. то мы считаем, как и раньше, что 11(ш)=оо). Если уже оп-
определены случайные величины z,, ..., zn, ъ1г ..., tn, то мы определим
величину zn+i, как случайную величину, принимающую только значения
1, ..., N и такую, что совместное распределение вероятностей для нее и
длн величин zn ..., zn, тх, ..., tn задается равенствами
а величину Tn+i —как положительную случайную величину такую, что
совместное распределение вероятностей для нее п для величин

230 ГЛ. "VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
zv ..., Zn+ь т1( ..., хп определяется равенствами
PDiW-<cn(u))>ahi. •••> V zv ¦••> zn+i} = e~'*a
Bn+i («>) = /, a>0).
Мы предположили здесь, что если zn(i») = i, то <?i > 0. Чтобы дополнить
определение, положим
Таким образом, мы индуктивно определили последовательность случайных
величин zlt т1э z2, t2, ...; как мы сейчас увидим, эта последовательность
совпадает с последовательностью случайных величин, полученной при дока-
доказательстве теоремы 1.4, с а^-Сд + О) = zn+i- Чтобы показать это, заметим
сперва, что Пт хп = оо с вероятностью 1 {мы используем здесь доказатель-
п~*ао
ство соответствующего факта в теореме 1.3), так что, положив то = 0, мы
можем определить x(t) при 0<г< со, как
X(t, u>)=zn(co), т:„_, (ш)< t < т:п(ш).
Следующие рассуждения показывают, что определенный таким образом
процесс x(t) является цепью Маркова, которая удовлетворяет соотношениям
A.9) и A.12) с данными qi и qir Воспользуемся тем фактом, что если
с — положительная постоянная, х— положительная случайная величина,
имеющая плотность се~сЯ-(Х > 0), и $ — любое положительное число, то
Этот тривиальный факт показывает, что если мы выберем некоторое число
* > 0 и прервем описанное выше построение общей выборочной функции
в тот момент, когда дойдем до величины tj, превосходящей s, так что
функция х (I) окажется определенной лишь при t < s, и если мы возобно-
возобновим после этого наше построение, начав его с момента t = s аналогично
тому, как раньше оно начиналось с момента i = 0, и используем при этом
в качествэ начальных значений для этого нового построения значения
величины x(s) с соответствующими уже найденными вероятностями, то
результат будет тот же самый, как если бы мы не прерывали наше по-
построение. Но тогда
а) условное распределение вероятностей величины x(t) при условии,
что заданы значения ж(х) при t<s, зависит только от x(s), т. е. постро-
построенный процесс является марковским,
б) вероятности Р {а; (t, v>) = / j x (s, ш) = i} зависят только от t — s, т. е.
процесс является однородным.
Условие непрерывности A.4) удовлетворяетсн очевидным образом, и
так как постоянные q{ и qit, использованные при построении, по отношению
к выборочным функциям имеют тот же самый смысл, что и постоянные q{
и ^ii, существование которых следует из теорем 1.1 и 1.2, то эти постоян-.
ные можно отождествить друг с другом. Этим заканчивается построение
цепи Маркова с заданными величинами <ji и qir Отметим, что соответ-
соответствующее аналитическое вычисление величин pit (t) проводится при помощи
A.14) и A.15) или A.14') и A.15) и использует тот факт, что
пР» @ = *{*»+! («О = *. *»(••)< «<'n+i («) 1*1 (<") = '}•
Связь между системой дифференциальных • уравнений A.7) и сопря-
сопряженной системой A.7') яснее проявляется в неоднородном случае, о кото-
котором мы сделаем поэтому несколько замечаний. Мы не будем при этом
стремиться к максимальной строгости изложения и к тому, чтобы выбрать

5 2. ОБОБЩЕНИЕ НА СЛУЧАИ НЕПРЕРЫВНОГО ПРОСТРАНСТВА СОСТОЯНИИ 231
минимальную систему гипотез. Предположим, что [р4,{-, -)] —это марков-
марковская переходная матричная функция, для которой 'существуют функции
?i(-)> Чц(-) такие, что
ЯЧ @ («-«) +о («-«),
так что в силу A.1)
Тогда
дри (г, I)
tit
Взяв частные производные по s от обеих частей системы уравнений Чеп-
мена — Колмогорова A.2), положив s=l и заменив затем переменные (t, и)
на (s, t), будем иметь
Взяв далее частные производные по и от обеих частей A.2) и положив
и =/, найдем, что
Система .уравнений A.17) называется обратной системой уравнений, так
как она связана с дифференцированием по начальному моменту времени s;
система уравнений A.17') называется прямой системой дифференциальных
уравнений, так как она связана с дифференцированием по конечному мо-
моменту времени t1). В однородном случае мы видели, что обратная система
{1.7) существенным образом предполагает существование первого скачка
выборочной функции после заданного момента t0 (и до момента to + l),
тогда как прямая система A.7') предполагает существование последнего
скачка (после момента t0) перед моментом времени ta + t.
В настоящем параграфе мы использовали существенным образом тот
факт, что рассматриваемая нами цепь имела конечное число состояний.
Положение становится значительно более сложным, если имеется счетное
число состояний. Как мы увидим в следующем параграфе, для таких про-
процессов характерным является то, что в широком классе случаев справед-
справедлива обратная система дифференциальных уравнений, но не справедлива
прямая система. Этот факт связан со свойствами разрывов выборочных
функций, которые могут быть более сложными, чем скачки.
§ 2. Обобщение результатов § 1 на случай непрерывного
пространства состояний
Пусть X — одномерное борелевское множество. В настоящем параграфе
мы будем рассматривать марковские процессы {хA), 0<*<оо), для кото-
которых образующие процесс случайные величины принимают значения из X.
') В русской литературе вместо «обратной» а «прямой» чаще говорят о «первой» и
tBTOpou> системах уравнений.—Прим. ред.

232 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
В частности, если X является совокупностью пелых чисел 1, ... , N, то
наш процесс будет цепью Маркова с N состояниями, изучавшейся в пре-
предыдущем параграфе.
Выбор пространства X, разумеется, hs является однозначным, так как
вместо X всегда можно взять любое более широкое множество, и тот
факт, что в этом случае X будет содержать больше точек, чем это необ-
необходимо, не принзсет никакого вреда. Например, если X — вся действи-
действительная прямая, но если
то независимо от того, могут ли или нет случайные величины принимать
значения, отличные от 1 N, сохранятся в силе все результаты пре-
предыдущего параграфа. Если мы захотим считать рассматриваемый процесс
сепарабельным, то, как это указывалось в § 2 гл. II, мы должны будем
предположить, что X замкнуто на расширенной бесконечной прямой.
Результаты настоящего параграфа останутся справедливыми, если пред-
предположить, что X — подмножество n-мерного пространства; лишь малосу-
малосущественные изменения возникнут и в том наиболее общем случае, когда
X — абстрактное пространство (необязательно дажз, чтобы на нем была
задана какая-либо топология). Однако последний указанный здесь случай
связан с некоторыми проблемами теории меры, что изменяет характер
доказательств.
Будем считать заданным не сам марковский процесс, а вероятности
перехода этого процесса. Именно:
Предположим, что задана функция р(-, •; •, •) or s, ?, t. А, опреде-
определенная для 0 < s < 2, i?X, и множеств А, являющихся борелевскими
подмножествами множества X, и удовлетворяющая следующим условиям:
а) p(s, ¦ ; t, А) при фиксированных s, t, А является беровской функ-
функцией от ?.
б) p(s, ?; t, •) при фиксированных s, ?, t является вероятностной
мерой по А.
в) Р (• i •! • > •) удовлетворяет уравнению Чепмена — Колмогорова:
p(s, &; и, Л)= \p(t, Г, и. A)p(s, 5; t, d-q), s < t < и.
x
Функцию р(¦, •; •, •)> удовлетворяющую всем этим условиям, мы будем
называть марковской переходной функцией. Удобно считать, что p(s, t;l,A)
при s=? равно 1, если ? б А, и 0 в противоположном случае; в дальней-
дальнейшем мы будем именно так понимать p(t, ?; t, А). Если р(-, ¦; -, ¦) —
марковская переходная функция, р(-) — любое распределение вероятностей
на множествах А, то, как мы видели в § 6 гл. И, существует марковский
процесс {x(t), 0<г< оэ], для которого образующие его случайные вели-
величины принимают значения из X и для которого с вероятностью 1
(s)} = ^(s, x(s); t, A)
(исключительное ш-множество нулевой меры, разумеется, может зависеть
от s, t и А). Вообще, о любом марковском процессе, для которого с ве-
вероятностью 1 выполняются написанные здесь равенства, мы будем гово-
говорить, что это процесс с переходной функцией р.
В случае однородного по времеии процесса, когда, по определению,
p(s, E; t, А) зависит только от t—s, мы будем пользоваться обозначением
p(t-s, I A) = p(s, E t, A)

12. Обобщение на случая непрерывного пространства, состоянии 233
и называть р (•, •, •) стационарной марковской переходной функцией.
Уравнение Чепмена — Колмогорова принимает в этом случае вид
p{s + t, $, А)= \р{1, ij, A)p(s, $, dri).
х
В дальнейшем всегда, когда не будет явно оговорено протпвное, мы
будем подразумевать, что рассматриваемый процесс является однородным.
Результаты, которые мы получим, будут включать в себя в качестве
частного случая все результаты § 1; выделение случая конечного множе-
множества состояний в отдельный параграф имело целью лишь пояснение более
общих результатов настоящего параграфа.
Мы будем говорить, что выполнено условие Деблина (D), если суще-
существуют конечная мера <?(•)> определенная на борелевских подмножествах
множества X, а чвсла е>0 и s>0 такие, что p(s, ?, Л);; 1-е при
(р(Л)-йе. Отсюда, так же как и в случае дискретного параметра (см.
гл. V, § 5), следует, что
p(t, $, Л)<1— е, t>s,
при <р (А) < е, так что каждому числу tg соответствует некоторое целое v,
такое, что
р{ч10, ?
при (р(Л)<Е. Таким образом, при любом фиксированном t0 функция ве-
вероятностей перехода p(t0, •, •) удовлетворяет условию Деблина в смысле
§ 5 гл. V.
Теорема 2.1. Если стационарная марковская переходная функция
Р(шг •> •) удовлетворяет условию (D), то при всех ? и А существует
lim p(t, E, А), причем сходимость к пределу является равномерно экспо-
l-tco
ненциалъно быстрой.
Доказательство этой теоремы аналогично доказательству теоремы 1.1,
являющейся ее частным случаем, и мы набросаем здесь кратко лишь на-
начало этого доказательства. Именно покажем, что есЛп у(-) — мера, фигу-
фигурирующая в условии (D), и N — наибольшее целое число, не превосходя-
превосходящее f(X)js, то N играет теперь ту же самую роль, какую играло число
состояний системы в случае конечной цепи, рассмотренном в § 1. Действи-
Действительно, в § 5 гл. V мы видели, что при фиксированном tg или
Vim p(nt0, i, A)
П-ЮЭ
существует при всех ?, А, или же вероятности перехода p(t0, •, •) соот-
соответствуют цепи с циклическими подклассами состояний, причем н силу усло-
условия (D) каждый вз таких подклассов должен иметь <р-меру не меньше е.
Если длины циклов равны dlt dt, .... то мы имеем ^jdjt^zi(X), так
что Yd.-^N. Далее, мы показали, что если v — целое число, делящееся
i
на все djt скажем v = iV!, то limp(nvi0, l, А) существует при всех 5 и 4.
п-ют
Так как tg произвольно, то ]imp(nt, ?, А) существует при всех t, 5, А, и
п-юэ
дальнейшее доказательство проходит так же, как и в частном случае
теоремы 1.1.
В остальной части настоящего параграфа мы будем заниматься веро-
вероятностными процессами, для которых почти все их выборочные функции
являются ступенчатыми функциями, а также близкими к ним процессами.
Соответствующее условие непрерывности, накладываемое на веровтностп

234 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
перехода, состоит в том, чтобы при всех ? имело место равенство:
limp(t, ?, Ш)=1, B.1)
1->0
где {?} — точечное множество, содержащее единственную точку ?. Среди
прочих результатов мы получим результат Дэблдна о том, что если B.1)
выполняется равномерно по 5, то почти все выборочнае функции сепара-
бельного продесса будут ступенчатыми функциями. Бзз дополнительного
условия равномерности это утверждение является, вообще говоря, невер-
неверным. Если X—конечное множество, то из того, что B.1) выполнено при
всех %, следует, что оно выполняется равномерно по ?. В предыдущем
параграфе мы изучали тот случай, когда X состоит из точек 1, ... , /V,
и обозначали p(t, i, {/'}) через Pij(t). При таком изменении обозначений
B.1) переходит в A.4).
Используя уравнение Чепмена — Колмогорова, мы находим, что если
= г, то
p(s, i, A)-p(t, Е. A) = p(s, E, A)[i-p(e, ?, $))}- \p(s,rl,A)p(e, I, dr,),
так что
\p(s, t, A)-p(t, l, Л)|<1-р(е, E, {?})•
Отсюда следует, что марковская переходная функция при фиксирован-
фиксированном !¦ определяет функцию от t, непрерывную равномерно по всем А и
всем неотрицательным значениям t.
В дальнейшем нам будет удобно иметь однозначно определенные
условные вероятности вида
где событие Л задается условиями, наложенными на выборочные функции
при t>t0. Эти условные вероятности определяются следующим образом:
используя заданные вероятности перехода, построим марковский процесс
со значениями параметра t > tg, для которого начальное распределение
величины x(tg) сосредоточено в точке С Вероятность, приписываемая при
этом событию Л, определяется однозначно, и под указанной выше услов-
условной вероятностью Л будет всегда подразумеваться именно эта вероятность.
Ясно, что такое определение вполне законно, и мы будем использовать
«го без дальнейших пояснений.
Теорема 2.2. Для любой стационарной марковской переходной функ-
функции р(-, -, •), удовлетворяющей условию непрерывности B.1), при всех ?
существует предел
*<* К» . B.2)
Если функция q{-) ограничена на множестве А, то условие непрерывно-
непрерывности B.1) выполняется равномерно на А. Если условие B.1) выполняется
равномерно на всем X, то q(-) является ограниченной функцией, а стрем-
стремление к пределу, в B.2) происходит равномерно по ?.
Если {хA), 0 < К. оэ} — сепарабелъный марковский процесс, для кото-
которого />(-, •, •) является функцией вероятностей перехода, то из того, что
x(t0, ш) = 5 и 9(?)<со вытекает, что с вероятностью 1 в некотором
интервале (tg, to-\-x) (где ~ зависит от ш) x(t, u>) = ?.
Так же, как и в случае теоремы 1.2, являющейся частным случаем
настоящей теоремы, будет поучительно доказать нашу теорему при по-
помощи вероятностных рассуждений, хотя существование предела q (I) может
быть, конечно, доказано п без явного использования понятий теории

I 2. ОБОБЩЕНИЕ НА СЛУЧАЯ НЕПРЕРЫВНОГО ПРОСТРАНСТВА СОСТОЯНИЯ 235
вероятностей. Итак, предположим, что {x{t), 0< t < со} - сепарабельный
процесс, фигурирующий во второй половине теоремы. В § 2 гл. II мы
видели, что такой процесс всегда существует, если X — замкнутое мно-
множество на числовой прямой, пополненной точками -j-co и —со. Мы пред-
предположим сначала, что на X наложено указанное ограничение; в конце
доказательства мы покажем, как от него можно избавиться. Пусть
а и 8— положительные числа, и пусть тЪ — наименьшее кратное числа Ь,
превосходящее или равное о. Поскольку из B.1) следует очевидным обра-
8ом (см. § 2 гл. II), что
р lim x(t) = x(tg),
t-*ttt+o
то мы имеем (см. теорему 2.2 гл. II; эта теорема применима, как легко
видеть, к нашему случаю)
P{x(t, ш) = :-,
= НтР{ж(/3, ш) = $, / =
»о
/3, ш) = ?, /=1 т\х@, ш) = Ц. B.3)
Если этот предел положителен, то его логарифм равен
lim m log р (8, 5, {?}) = - lim а ^Р'М*» ,
г-»о г->0 °
так что мы установили существование предела B.2), причем
V{x(t, (в) = {, 0<г<а|ж@, ш) = $} = е-^)". B.4)
Если предел B.3) равен 0, то величина q(l) в B.2) становится бесконечной
и B.4) попрежнему выполняется (при очевидном соглашении о смысле
выражения е~°°). Соотношение B.4) показывает, что
Отсюда следует, что условие непрерывности B.1) выполняется равномерно
по ??Х на любом множестве, на котором функция ?(•) ограничена.
Пусть теперь стремление к пределу в B.1) происходит равномерно по
всем EG-^l. Выберем некоторое е>0 и настолько малое а>0, чтобы вы-
выполнялось неравенство
Если 0 = то< ... <тп = о и v^($, ?) определено равенством
то
1-.<р(а, «, {5}) =
п-2
V=0
Следовательно,

236 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
и так как это верно при любом выборе чисел ty, то
(l-e)[l-e-9O]<l_p(a, f, {-))<е.
При е < */2 полученное неравенство показывает, что q (•) является огра-
ограниченной функцией. Далее, неравенство
имеющее место ври достаточно малом а, равномерно по ?, показывает, что
сходимость в {2.2) равномерна по { и даже что
равномерно по ? (при очевидных соглашениях относительно случая q (?) = 0).
Если 7(') = 0 и x(t0, ш) = &, то в соответствии с B.4) x(t, ш)=? с ве-
вероятностью 1 при t > tn (вспомним, что процесс однороден). Если 0 < q E)< со
и x(t0, со) = ?, то B.4) показывает, что функпия распределения длины
максимального интервала (t0, tg-\-x), в котором x(t, to)^= S, равна
_,,-«<;>* х>0
> х<0.
В заключение отметим, что предположение о сепарабельности процесса
не требуется для доказательства первой части теоремы. Это интуитивно
очевидно, так как утверждения первой части теоремы не связаны с пове-
поведением выборочных функций. Однако только что приведенное нами дока-
доказательство существенно использует предположение о сепарабельности, так
как без этого предположении условная вероятность B.3) может быть
не определена. Существуют два простых способа обойти эту трудность.
Один из них состоит в том, чтобы заменить левую часть B.3) на
P{x(t, ш) = 5, 0<i<a (t рациональное) |z@, ш) = ?}.
Для того чтобы определить эту последнюю условную вероятность, сепара-
сепарабельность процесса не нужна. Такая замена не влечет за собой никаких
изменений в только что приведенном доказательстве [за исключением,
конечно, аналогичной замены в соотношении B.4)]. Второй способ, пригодный
для замкнутого множества X (как это было в случае цеди Маркова в § 1,где
мы использовали этот способ) состоит в том, чтобы сделать процесс сепарабель-
ным, изменив каждое x(t) не более чем на ш-множестве вероятности 0 (см. § 2
гл. II). Такое изменение процесса не меняет его вероятностей перехода.
Если X не замкнуто, то для применения этого второго способа надо заме-
заменить множество X его замыканием X; эта замена не приводит ни к каким
трудностям, если положить p(t, ?, il) = 0 при \$A(Z.X—X и p(t, 5, {?}) = l
при ?gX — X.
В дальнейшем мы будем называть любое борелевское подмножество
пространства X, на котором функция q(-) ограничена, q-ограниченным
множеством. Так, любое конечное множество, для всех точек которого
^(?)<со, является ^-ограниченным множеством.
Теорема 2.3. Пусть р(-, •>'•) - стационарная марковская пере-
переходная функция, удовлетворяющая условию непрерывности B.1).
(I) Если д(?)=со, множество А не содержит ?, условие непрерыв-
непрерывности B.1) выполняется равномерно на А (в частности, если А является
q-ограниченным) и ?х ф I, то
\™i-P<«ГГ<6Т)- ,™ i-Pit, s, ts»-°' (Z5)

I 2. ОБОБЩЕНИЕ НА СЛУЧАЯ НЕПРЕРЫВНОГО ПРОСТРАНСТВА СОСТОЯНИЯ 237
(II) Если q(t)<co и на множество А и точку J, наложены те же
ограничения, что и) утверждении A), то существуют пределы
\\mp{t'*'A) = q{\,A)<q{t) B.6)
B.7)
Если В является q-ограниченным множеством, то при каждом ?? В схо-
сходимость в B.6) является равномерной по ACZB — (?}, и функция д(?, А)
¦вполне аддитивна по Ad В— (?}.
(Ill) Положим при q(l)< со
q (;) = sup<7(?, Л) (где А q-ограничено, АаХ — {I}).
Тогда q(I) <g(«)> и если при некотором ? здесь имеет место равенство,
то (для этого ;) предел B.6) существует равномерно по всем борелевским
подмножествам А множества X — {?}, и функция д(?, А) вполне аддитивна
по А.
(IV) Предположим, что {x(t), 0< t < со) — сепарабелъный марковский
процесс, имеющий р(-, •, •) своей функцией вероятностей перехода. Если
q(l) = 0 и ж(/0,'ш) = ?, то x(t, ш) = ? при t > tg с вероятностью 1. .Если
^ <?(«)< °° а если x{t0, со) = Е, /по с вероятностью 1 выборочная функция
имеет разрыв при некотором t > i0. Предположим, что 0 < </(?) < оэ и что
АсХ — {?} является q-ог раниченным множеством. Тогда отношение
<?(?, Л)/^E) равно вероятности того, что если выборочная функция имеет
разрыв в конечном или бесконечном интервале (l0, 20-j-a), то существует
первый разрыв, являюгцийся скачком, и существуют положительные числа
*! < т3 в некоторая точка Ь2(-А, ^Ф1 {все эти, три величины зависят
¦от выборочной функции) такие,9что x(t, и>)=? при 0 < I < х1 и x(t, ш)=&2
при tj < t < т2. isc/m 0 < g(?) = g(&) < o°. wo с вероятностью 1 суг^е-
ствует первый после момента tg разрыв выборочной функции, обладающий
указанными в предыдущей фразе свойствами, а описанная там вероят-
вероятность равна q(s, A)/q(i) для любого борелевского подмножества А множе-
множества X— {?}.
Прежде чем приступить к доказательству утверждений этой теоремы,
мы выведем некоторые неравенства, которые потребуются при доказатель-
доказательстве. Пусть В является 9-°ГРаниченным множеством. Возьмем некоторое
е > 0 и выберем о > 0 настолько малым, чтобы выполнялись неравенства
A— ?)a9($)<l-e-«(=>"<e, t?B.
Пусть А — борелевское подмножество множества В и пусть ? п Е: — точки
пространства X такие, что ix =t= i,?B— А. Выберем некоторое о, 0 < 8 < о,
и пусть тЬ — наименьшее целое кратное число 8, которое больше или
равно о. Тогда
Л1-1
р(тЬ, *, А)> У РC- МЧУ $ «-«<1Н"-*-»>«,(а, Е, di,)>
V=0 A
-(*-)^\{;?><8'б'л>- B-8)

238 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРЬМЕТРОМ
Заметим, что последнее неравенство верно при достаточно малых о также
н тогда, когда А — борелевское множество, не обязательно ^-ограниченное,
на котором условие непрерывности B.1) выполнено равномерно. Кроме того.
P{ml, lv
m1
, tv И) S ^(8. «• Ш)*-A—)р(». «1, W) Й^ШГ B-9>
v=0
m-1
Доказательство пункта (I). Если q(l)—co, то, положив в B.8)
и B.9) S —* 0, получаем
Если г <" 1, то из этих неравенств вытекает при о —> 0 искомое соотноше-
соотношение B.5).
Доказательство пункта (II). Для случая дA) — 0 утверждения этот
пункта сразу вытекают из соотношения B.4). Если 0< д{1)< со, то B.8)
и B.9) переходят при S—»0 н неравенства
Из этих неравенств вытекает конечность стоящих справа верхних преде-
пределов. Далее, из первого неравенства следует, что
откуда вытекает существование предела B.6). Аналогичным образом
из второго неравенства следует существование предела B.7). Первое нера-
неравенство принимает теперь вид
O(a, J, А)>A-ь) l~f^ g(fr, A)>(i-t)*aq$, A)>aq{t, A)-
Применив это неравенство к множеству В — А— {(,} и комбинируя перво-
начальное и вновь полученное неравенства, находим, что
Следовательно, сходимость б B.6) является при фиксированном 5 равног
мерной по АСВ — {?}. Функция множества д(Ь, ¦) является, очевидно,
аддитивной. Равномерная сходимость, которую мы только что доказали,
показывает, что' при каждом 5 функция д(%, •) вполне аддитивна для мно-
множеств АСВ — {!¦}.
Доказательство пункта (III). Пусть g(i) = g(i); точка ? будет фикси-
фиксирована во всем дальнейшем рассуждении. Мы будем неоднократно поль-
пользоваться тем [см. утверждение (II)], что д(Ь, •) является аддитивной функ-
функцией на 9-°гРаниченных подмножествах множества X— {1} и является
вполне аддитивной функцией на подмножествах фикспрованного ^-ограни-

I 2. ОБОБЩЕНИЕ НА СЛУЧАЯ НЕПРЕРЫВНОГО ПРОСТРАНСТВАч СОСТОЯНИЯ 239
ченного множества. По определению величины </(?) существует последо-
последовательность Сх, Сг, ... 9ГРаниченных подмножеств множества X — {?}
такая, что
П
Заменив, если нужно, Сп на \jCjt мы можем считать, что C1CZCici ¦ ¦ ¦ ¦
оо
Пусть C=[jCn и С'—Х — С — {?}. Тогда, если А ^-ограничено и если
, то
Далее, если бы q(%, AC) было положительным, то отсюда следовало бы,
что при достаточно большом л
что невозможно. Следовательно, q(t, ЛС') = 0, и если AciX — {(,) и А
является ^-ограниченным множеством, то q(Z, А) можно записать в виде
Поэтому для любого борелевского подмножества А множества X — {5} мы
можем, по определению, считать q(t, А) равным этому пределу, не вступая
в противоречие с первоначальным определением. Покажем теперь, что при
таком определении предельное соотношение B.6) выполняется равномерно
на всех рассматриваемых множествах А. Отсюда будет следовать, что
функция q(i, •) (которая является, очевидно, аддитивной) является также
вполне аддитивной. Пусть е —положительное число. Выберем л настолько
большим, чтобы имело место неравенство
При таком выборе л выберем 5 > 0 настолько малым, чтобы выполнилось
неравенство
1-P(t,%,№) „,
- 5 '
и чтобы для всех борелевских подмножеств А множества X—{?} имело
место неравенство
Возможность добиться выполнения второго неравенства следует из пункта
(II), так как множество АСп является подмножеством фиксированного
^-ограниченного множества Сп. Тогда при 0 < t < 3
что и доказывает искомую равномерную сходимость.
Доказательство пункта (IV). Первые два утверждения пункта (IV)
следуют прямо пз равенства B.4). При доказательстве остальных утвер-
утверждений мы будем считать, как обычно, tg = 0. Фиксируем точку ? с q(t,) < оэ.

240 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Пусть А — борелевское подмножество множества X — {?], ^-ограниченное,
если q(t) < q(\). Выберем числа а > О, Р > 0 и обозначим через Aj?'p мно-
множество точек ш, на котором при некотором », 2<*<л,
x(t, ш) =
Тогда точно так же, как и в § 1,
и все искомые результаты вытекают из этого предельного соотношения
(ср. соответствующие рассуждения при доказательстве теоремы 1.3).
Пример 1. Цепи Маркова со счетным числом состояний. В каче-
качестве примера приложения доказанных теорем рассмотрим случай, когда
X — это множество положительных целых чисел, и положим, как обычно,
P(t> ?> U}) — Piji^)- Условие непрерывности B.1) переходит тогда в условие
l\mPii(t) = l, ;--=l, 2, ... . B.10)
i-»0
Согласно теореме 2.2, при всех t существует предел
Если <74 = оэ, то в силу теоремы 2.3
lim -/"(t),. = lim r^^r, = 0, }Ф i.
С другой стороны, если <7i < со, то пределы
bmM± = 9i,, j + t.
конечны, причем 2?^<?i- Величине q(?) соответствует здесь 2 ?>j (мы
отождествляем ? с i). В силу пункта (IV) теоремы 2.3, если 2 qtj — qit
к счетной цепи применима теорема 1.2. Наконец, если условие B.10)
выполняется равномерно по всем i, то в соответствии с теоремой 2.2 все qt
конечны и последовательность {gj является ограниченной, так что каж-
каждое подмножество множества X будет <7~огРаничеыо- Тогда Я1 = ^.Яи ПРИ
всех i. Следующая теорема показывает, что в этом очень частном случае
выборочные функции непрерывны всюду, за исключением отдельных точек,
где они имеют скачки (если процесс сепарабелен). Таким образом, теорема
1.3 обобщается на этот случай. Однако мы построим примеры цепей, для
которых qi = 2 <7ij < со при всех г, но у которых почти все выборочные

§ 2. ОБОБЩЕНИЕ НА СЛУЧАЙ НЕПРЕРЫВНОГО ПРОСТРАНСТВА СОСТОЯНИЯ 241
функции имеют разрывы более сложные, чем скачки. Согласно теореме
2.4 в любом таком примере обязательно sup qi = ca.
i
Для дальнейшего нам будет полезно определить сейчас смысл утверж-
утверждения <4<7(-)> <?(•, ¦)] является стандартной парой «/-функций». Это утвер-
утверждение означает, что выполнены следующие три условия:
а) Существует одномерное борелевское множество X такое, что q(-)
определено на X и q{-, ¦) определено для ? 6X и множеств А, явля-
являющихся борелевскими подмножествами множества X — {?}. (Борелевское
подмножество множества X, на котором функция д(-) ограничена, будет
называться q-ограниченным.)
б) Функция д{-) является беровской функцией; функппя q(-, ¦)
является беровской функцией по ? при фиксированном А и является вполне
аддитивной функцией по А при фиксированном 5. Обе функции неотри-
неотрицательны и принимают конечные значения.
в) Имеет место равенство q{k) = q(i, X - {5}). Заметим, что так как
функция q принимает конечные • значения, то X является соединением
последовательности g-ограниченных множеств, так что <7(?) = supg(?, A)
А
по ^-ограниченным множествам АсХ — {I}.
Теорема 2.4. Пусть р(-, •, ^ — стационарная марковская переход-
переходная функция, удовлетворяющая условию непрерывности B.1) равномерно
по I. Тогда пара функций q(-), q(-, •)> определяемая теоремами 2.2 и 2.3,
является стандартной парой q-функций, и функция q(-) ограничена. Если
{x{t), 0 ^1<оэ} — сепарабелъный марковский процесс, вероятности пере-
перехода которого задаются функцией р(-, •, •), то почти все выборочные
функции этого процесса являются ступенчатыми функциями.
Обратно, если[у(-), q(-, •)]— стандартная пара q-функций, и функ-
функция ?(¦) ограничена, то существует единственная стационарная мар-
марковская переходная функция, удовлетворяющая условию непрерывности
B.1), и для которой определяемые теоремами 2.2 и 2.3 функции q(-)
и q(-, ¦) совпадают с данными функциями. Условие непрерывности B.1)
выполняется в этом случае равномерно по ?.
Если стационарная марковская переходная'' функция удовлетворяет
условию непрерывности B.1) равномерно по ?, то, как мы видели в тео-
теореме 2.2, определяемая этой теоремой функция q(-) ограничена. Тогда
функция q(-) вместе с функцией q(-, •), определенной в теореме 2.3, обра-
образует стандартную пару д-функций. Доказательство остальных утверждений
теоремы 2.4 проводится аналогично доказательству теоремы 1.4 и после-
последующим рассуждениям. Мы, однако, кратко набросаем здесь это доказа-
доказательство, так как осногные его идеи будут затем обобщены. Пусть
{х (t), р <.* < ее} — сепарабельный процесс, определяемый заданной функ-
функцией р{-, -, •) и некоторым начальным распределением вероятностей. Если
х@, u)) = z1(co) п если 9(г1(ш)) = 0, то x(t, ш)=Егг, (си); если же q(z^ (ш)) > О,
то, как мы впдели, существуют момент ^(ш) первого разрыва выборочной
функции, соответствующей элементарному событию ш, и состояние
z, (ш)- Zj(u)) такие, что x{t, <s>y^zx (ш) приО<2<т1(ш) и x{zi (ш)-)-0, ш) =
= za((u). Еслп <7(zi(M)) — 0, то мы положим т, (ш) = т3(ш) = .. . = со; если
q(z2(a>)) = 0, то положим т2(ш) = т3(ш)= ... -- со; если же q{z2{u>)) > 0, то
существуют момент та(ш) и состояние z3(«>)- z2(u>) такие, что хA, ш) =
s=z2(cu) при •:, (ш)< t < т2 (ш) и аг(т3(ш) + 0, ш) = 2з(ш) и т. д. Здесь
с вероятностью 1
рК.1 Н-'»И
(если <7(-) обращается в нуль, то в эти соотношения надо внести очевид-

242 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
ные изменения). Приведенные здесь соображения применимы, даже если
предположить только, что [<?(•), <?(-, •)] —стандартная пара ^-функций; они
дают значение (почти всех) выборочных функций процесса для г<Пттп(ш),
П-ЮО
за исключением точек, в которых происходят скачки. Сделанное нами
дополнительное предположение об ограниченности q(-) позволяет теперь
точно так же, как и при доказательстве теоремы 1.4, показать, что
lim xn = оэ с вероятностью 1, откуда следует, что почти все выборочные функ-
п-юо
ции процесса являются ступенчатыми функциями. Обратно, если
I?(•)>?(¦> ')] ~ любая стандартная пара ^-функций и если zx — любая слу-
случайная величина, принимающая значения из X, то определим zIf xlt z2, ?,,...
так, чтобы все эти величины имели выписанные выше совместные распре-
распределения вероятностей, и положим
x(t,a>) =
Это построение определяет x{t) при 0<г<Ншт„(ш), и снова, если, как
п -ют
мы предположили в этой теореме, функция <?(•) ограничена, то lim. хп=оо
71— ОО
с вероятностью 1, так что x(t) с. вероятностью 1 определено при всех t.
Те же самые простые соображения, которыми мы пользовались в § 1 для
случая цепи Маркова, показывают, что процесс x(t) имеет требуемую
марковскую переходную функцию.
Теорема 2.5 Пусть [q(-), <?(•, •)] — стандартная пара q-функций.
Тогда существует по крайней мере одна стационарная марковская пере-
переходная функция, удовлетворяющая условию непрерывности B.1) и связан-
связанная с функциями q(•), q(-, -)так, как это указано в теоремах 2.2 и 2.3.
Имеет место следующая альтернатива: либо существует лишь одна такая
переходная функция, и в этом случае почти все выборочные функции сепа-
рабельного марковского процесса с такой переходной функцией являются
ступенчатыми функциями; либо существует бесконечно много таких пере-
переходных функций, и в этом случае каждой переходной функции соответ-
соответствует некоторый сепарабелъный процесс, для которого вероятность того,
что его выборочные функции являются ступенчатыми функциями, меньше 1.
Чтобы доказать эту теорему, предположим, что [<?(•), <?(•, •)] — стан-
стандартная пара j-функций, и определим x(t) при t < limxn((u) = xm((u) так же,
как при доказательстве обратного утверждения теоремы 2.4. Мы должны
пополнить это определение в том случае, когда с положительной вероят-
вероятностью т,„ конечно. Один из способов (впрочем, не единственный) такого
пополнения состоит в следующем. Пусть тс(-) — любое распределение веро-
вероятностей на борелевских подмножествах пространства X; выберем в каче-
качестве z«+i случайную величину, независимую от величин z} и х;., и имею-
имеющую распределение •*(•). Построим величину тш+1>т1О, распределение
вероятностей которой задается соотношением
Р{хм+« (со) —t«(ci))>o|z1, tlf z2, т2, . ..} = е Ч *-+1 ", а> О,
и положим x{t, и>) — z,o+i при х„(и)).< t < х„,+ 1 (ш). Мы продолжим это по-
построение, как и раньше, определяя x(t, <o) так, чтобы система совершала
переходы в соответствии с распределением §(•, •)/</(•)> а в каждый момент
времени, который, подобно моменту ха(а>), является предельной точкой
для скачков выборочной функции, определяя x(t, o>) так, чтобы процесс
начинался вновь из состояния, задаваемого распределением тс(•). Элемен-

§ 2. ОБОБЩЕНИЕ НА СЛУЧАИ НЕПРЕРЫВНОГО ПРОСТРАНСТВА СОСТОЯНИИ 243
тарные рассуждения с порядковыми числами показывают, что это построе-
построение с вероятностью 1 определяет x(t) при любом t. Построенный таким
образом пропесс x(t) является марковским процессом со стационарной
марковской переходной функцией, удовлетворяющей поставленным усло-
условиям. Действительно, соображения, использованные в § 1 для случая
конечного числа состояний, применимы и в рассматриваемом сейчас более
общем случае. Если для любого распределения величины х@) с вероят-
вероятностью 1 будет Шптп=со, то таким путем можно получить только один
марковский процесс (с точностью до выбора начального распределения) и,,
следовательно, только одну марковскую переходную функцию. В этом,
случае почти все выборочные функции любого сепарабельного процесса
с этой переходной функцией будут ступенчатыми функциями. С другой.
стороны, если при некотором выборе начального распределения
то полученный в конце концов процесс будет зависеть от выбора распре-
распределении «(•), и при каждом выборе ^(-) вероятность того, что выбороч-
выборочная функция окажется ступенчатой, будет равна /?<1. Тем самым теорема
доказана.
Предположим теперь, что р(-, •, •) —стационарная марковская пере-
переходная функция, удовлетворяющая условию B.1), для которой соответ-
соответствующая пара [?(•), ?(•,¦)] является стандартной парой ^-функций.
Тогда, точно так же, как и в § 1, мы можем вычислить (для сепарабель-
ного процесса) вероятность np{t, l, А) того, что еслп x(t0, w) — l, то
x(to~\-t, <о) ?А (где .А — некоторое борелевское подмножество пространства X)
и что этот переход совершается за п скачков, т. е. что выборочная функ-
функция имеет в интервале (t0, to+t) ровно п разрывов и что в каждом из
п + 1 открытых интервалов, ограниченных точками разрыва п точками
*0 и t0 -(-t, выборочная функция тождественно равна постоннной. Используя
те же самые соображения, что и в § 1, находим, что
НА,
«"=>', НА,
о хЛ> J
или
О, НА,
}
t } B.11')
.„Pit, 6, А) = J ds \ np(s, ?, dn) I е-яЫС-Уд (т,, Д). 1
О X А~А.{т,} )
Тогда функция p(t, l, А), определенная равенством
p(t,l,A)= § nP(t,k,A), B.12)
равна вероятности перейти за время t из точки ? в какую-либо из точек
множества А с помощью конечного чпела скачков. В частности, если из-
известно, что почти все выборочные функции являются ступенчатыми функ-
функциями (в соответствии с теоремой 2.4 это будет так, если, например, B.1)
выполняется равномерно по \), то р{1, I, A) = p(t, \, А) при всех t, i. и А.

244 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Однако ясно, что и без этого предположения всегда p(t, ?, A)iCp(t, ?, A);
в соответствии с теоремой 2.5 существуют случаи, когда p(t, i, A) <
< p(t, ?, АI). Очевидно, p(t,t,A) = p{t,l,A) при всех t, ? и А тогда
п только тогда, когда p(t, S, Х) = 1 при всех / и 5.
Обратно, для любой стандартной пары ^-функций [q(-),q(-, • )] соот-
соотношения B.11) и B.12) определяют неотрицательную функцию />(•,-,•)>
являющуюся беровской функцией от ? при фиксированных t и А и вполне
аддитивной функцией от А при фиксированных t и ?, удовлетворяющую
уравнению Чепмена — Колмогорова и условию p{t, X, Х)<1. Формулы
•B.11) и B.12) могут быть использованы для определения марковской
переходной функции в терминах заданной стандартной пары ^-функций
в том и только в том случае, когда этим ^-функциям соответствует сепа-
рабельный процесс, в котором почти все выборочные функции являются
ступенчатыми. Это построение приложимо, следовательно, если, например,
q(-) ограничено, и в этом случае оно является просто аналитической фор-
формой вероятностного доказательства обратного утверждения теоремы 2.4.
В соответствии с теоремой 2.5 функцию р(-, ¦, •) можно, если это необ-
необходимо, всегда увеличить так, чтобы она стала марковской переходной
функцией; однако если это увеличение действительно необходимо, оно
может быть сделано бесконечно многими способами, приводящими к раз-
различным марковским переходным фуикциям.
Предположим теперь, что />(-, ¦, •) —стационарная марковская пере-
переходная функция, удовлетворяющая условию непрерывности B.1), и что
соответствующая пара [?(•)> q (•. •)] является стандартной парой j-функ-
ций. Тогда
о х-цу
где
5, 1$А.
Это уравнение является обобщением уравнения A.16) и выводится тем же
самым способом. А именно, его вывод основан на рассмотрении сепара-
бельного процесса с заданными вероятностями перехода и использует
то обстоятельство, что переход из ? в какое-либо состояние из А может
произойти или если система просто остается в 5 (при ?f А), или же если
она остается в 5 в течение некоторого времени s, затем перескакивает
в состояние т), а из т) переходит в А за оставшееся время. Строгое обосно-
обоснование такого рода рассуждений, применяемых для вывода соотношений
типа B.13), проводится точно так же, как это было сделано в аналогич-
аналогичном случае в § 1. Уравнение B.13) показывает, что /)(•,?, А) является
непрерывной функцией от t и имеет нэпрерывную производную, задаваемую
равенством
{t?A) ^ dy,), B.14)
являющимся обобщением равенства A.7). Естественным дополнзнием урав-
уравнения B.13) является уравнение для р(-, •, •), которое выводится, исходя
из того, что переход из t в А может произойти или если система просто
') Точнее здесь было бы сослаться на частный случай пспи Маркова со счетпым
числом состояний, рассмотренный ниже на стр. 246; из одной теоремы 2.5 еще не
следует, что указанная в ней вторая возможность действительно может иметь
место. — Прим. ред.

§ 2. ОБОБЩЕНИЯ НЛ СЛУЧАИ НЕПРЕРЫВНОГО ПРОСТРАНСТВА СОСТОЯНИЯ 245
остается в ? в течение времени t (при t ? Л), или же если перед моментом
s последнего скачка система находится в некотором состоянии т\, затем
перескакивает в какое-либо состояние из Л и остается в этом состоянии до
момента t. Так как из условий, наложенных нами иа <?(•) и q(-, •), вовсе
не следует, что существует момент последнего скачка, после которого
система не меняет свое состояние, то мы описали только часть способов
перейти из f в А, так что
p{t, i,A)>\ds[ p(s, I, di)) ^ e-«<'-H'-"ty(T], <T,) + e-» <'O t5(?, Л). B.13')
Соображения того же самого типа приводят и к несколько более общему
неравенству
p(t2, ¦., А)-\ e-9Mlh-ti)p{tv I, di,)>
А
Н
>\ds\ p{s, i, ii)) \ е-*ы«%—)ч{ъ (Ц, t, < tt.
Разделив обе части этого неравенства на t2 — ?г и переходя к пределу при
?s —*• /, i[—*Z, мы найдем, что если множество А является ^-ограниченным
множеством, то
d\ ,d^. B.14')
А Х-А
Последнее неравенство является обобщением равенства A-7'). Заметим, что
полученное неравенство перейдет для всех ? и всех ^-ограниченных мно-
жеста А в равенство, если марковской переходной функция р (•, •, •)
соответствует сеаарабельный процесс, длн которого почти все выборочные
функции являются ступенчатыми; однако можно показать, что это усло-
условие не является необходимым.
Интересно отметить, что из вероятностного смысла функции />(•, -, •)
сразу следует, что эта функция, удовлетворяющая неравенству
p{t,$,A)s*p{t, t,A)
и обладающая, как мы уже указывали выше, всеми свойствами стацио-
стационарной марковской переходил! функции, за исключением того, что
рA, Ь, X) нз обязано равняться 1, удовлетворяет обратной системе интегро-
дифференциальных уравнений, а также и прямой системе (с точным равен-
равенством1). То, что р{-, ¦, •) удовлетворяет этим системам уравнений, можно
вывести также из B.11) и B.11'), просуммировав указанные равенства по
всем п. При этом мы приходим к соотношениям B.13) и B.13') (с заменой
в последнем пз них неравенства равенством) для р, которые после диф-
дифференцирован пя и приводят к обратной и прямой системам интегро-диф-
ферешшальных уравнений. Таким образом, обратная система имеет беско-
бесконечно много решений при одних и т6х же начальных условиях р@, Е, А) =
= о(?, А), если только не выполнено условие p(t, I, A)*^p(t, i, А), и среди
этих решении имеются решения, которые, подобно р, не являются стацио-
стационарными марковскими переходными функциями.
Пример I. Цепи Маркова со счетным числом состояний (продолже-
(продолжение). В соответствии с нашими результатами, для произвольных последова-
последовательностей неотрицательных чисел [qit i»l) и {q^, i, ]>1, f^i}< таких,
что >7i = z <7U при всех i (это условие совпадает для данного случая с ус-

246 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
ловием, определяющим стандартную пару ^-функции), существует соответ-
соответствующая стационарная марковская переходная матрица [/?i/(-)]> удовлет-
удовлетворяющая обратной системе дифференциальных уравнений A.7) (разумеется,
без ограничения i, /<iV). Прямая система A.7') переходит вдесь в систе-
систему неравенств, получаемых при замене в A.7') знака « = » знаком «>».
В то же время матричная функция [р^(-)]> где pij (t) — вероятность пе-
перейти из i в / за время t посредством конечного числа скачков, удовле-
удовлетворяет как обратной, так и прямой системам дифференциальных уравнений
со знаками равенства в них и е теми же самыми начальными условиями
Л,@)=р„@) = 8„.
Три этом
Ри @ По-
Последующий очень простой частный случай иллюстрирует эти результаты.
Предположим, что
9.. = 0, j+i, i+1.
Пусть z@) = l с вероятностью 1. Построим в соответствии с теоремой 2.5
"юцесс с этими qi и с принятым начальным условием. В этом случае
юности х2 — тх, х3—т2, ... взаимно независимы, и хп+1 — хп является
положительной случайной величиной с плотностью распределения вероят-
вероятностей gn+ie~e"*l\ Х>0. Тогда Е {xn+1 — xn} = l/gn+i, так что если ни одно
из qn ие обращается в нуль и если "? 1/<7п < °°» то I'm хп < со с вероят-
п п-юэ
ностью 1. (Более тщательное исследование частных сумм этого ряда, ска-
скажем, при помощи характеристических функций, показывает сразу, что
достаточное условие сходимости ряда }¦ (xn+i — тп), которое мы только что
получили, является также и необходимым, но мы не будем использовать
этот факт.) Предположим, что qn выбраны так, чтобы ряд ? 1/д„ сходился.
Один яз простейших способов определить распределение ¦*(•), фигурирую-
фигурирующее в теореме 2.5, для нашего случая, т. е. определить распределение
величины х(х,о-|-0), состоит в том, чтобы положить х(х,„ -0)=1 с вероят-
вероятностью 1, т. е. предположить, что после любой предельной точки своих
скачков выборочная функция принимает значение 1. Конечно, очевидно,
что существует бесконечно много различных распределений тс (¦), которые
приводят к различным типам выборочных функций и различным вероят-
вероятностям перехода для результирующего процесса. Обратная система диф-
дифференциальных уравнений имеет в этом случае вид
а прямая система дифференциальных неравенств имеет вид
Pii(t)> —Pn(t)qi, i>i,
р'гк{t) > - pih (t) qk + pu_! («) g/t-i. i > 1,
*>1.
Если применить прямую систему к pit (t) (тогда неравенства заменятся
на равенства), то получится, например, что />21B)^0; и, в самом деле, при
нашем задании величин g{j невозможен переход из состояния 2 в состоя-
состояние 1 за конечное число скачков. Однако если ^_ ljgn < со и если х(-)
п
выбрано так, как указано выше, то такой переход возможен при помощи
бесконечного числа скачков. При другом выборе распределения тс (•) (на-

5 3. ДИФФУЗИОННЫЕ УРАВНЕНИЯ И МАРКОВСКИЕ ПРОЦЕССЫ 247
пример, если сконцентрировать это распределение в состоянии 2, а не в со-
состоянии 1) такой переход может оказаться невозможным даже за бесконеч-
бесконечное число скачков.
В настоящем параграфе мы исследовали некоторые типы марковских
переходных функций, а именно переходные функции, выделяемые условием
непрерывности B.1), методом, позволявшим проследить вероятностный смысл
каждого шага наших рассуждений. Однако результаты, не относящиеся
явно к поведению выборочных функций, могут быть получены и без ссылок
на теорию вероятностей. Пусть, например, р(-, •, •) - произвольная мар-
марковская переходная функция, удовлетворяющая условию непрерывности
B.1), и пусть существуют пределы q (?) и q(\, А) в B.2) и B.6), определяю-
определяющие стандартную пару ^-функций. Тогда функция р{-, •, •) должна при
любых фиксированных i. а. А иметь вид
p(t, Ъ, A)~[l
Уравнение B.14) легко выводится теперь при помощи элементарных опе-
рапий из уравнения Чепмена — Колмогорова, и вопрос сводится тогда
к изучению решений уравнений B.14) и B.14') при начальных условиях
р@, В, А) = 8(t, A).
Наметим кратко вывод уравнений, обобщающих B.14) и B.14') на
неоднородный случай. Пусть р(- , •; •, ^ — соответствующая марковская
переходная функция. Предположим, что
( l — q{t,l){t-s) + o(t — s),
p(s, ?;г,Л) = | q{tttiA){t_sHo{t_s)t
где
q{t,\)>0, q{t,t,A)>0, q(t,t,X-{Z}) = q{t,l)
и q(t,%, ¦) является вполне аддитивной функцией от ACZX— {;}. Тогда
dp{s, 5; t, A)
dp{s, i; t, A)
t=t
dt
-"{
q(t,t), keA,
-q{t,b,A), ЦА,
-q{s,t), ?6^,
q(s,t,A), ЦА,
и при некоторых дополнительных условиях, которые мы не будем здесь
рассматривать, справедливы соотношения
•~ a's "'— 9(s'^) Р^Л; t, А)— \ p{s,t\\ t, A)q(s,i, drt),
q(t, 1), A)p(s, ?; t, dt-q),
\
обобщающие уравнения B.14) и B.14'). Эти соотношения являются также
обобщениями соотношений A-17) и A.17') и называются, так же как и их
частные случаи B.14) и B.14'), соответственно обратными и прямыми
уравнениями марковского процесса.
§ 3. Диффузионные уравнения и соответствующие марковские процессы
Этот параграф посвящен (действительным) марковским процессам с не-
непрерывным параметром таким, что приращенпе процесса ж(?2) — хA^ за
время от момента tt до момента 12 складывается из малых приращений
dx(t), каждое из которых является гауссовской случайной величиной
со средним mdt и дисперсией a2dt. Обе эти величины имеют порядок dt;

248 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
параметры т и о являются функциями от t и x(-t). Это описание про-
процессов x(t) является, конечно, очень грубым; оно приведено лишь для
того, чтобы подсказать ход последующих рассуждений. Мы будем писать
dx(t) = m[t,x(t)]dt + a[t,x(t)]dy(l). C.1)
Здесь у (t) — процесс браунэвского движениями, гл. II, § 9, и гл. VIII, § 2)
с дисперсионным параметром 1, т. е. действительный гауссовский процесс
с независимыми приращениями, у которого '
Почти все выборочные функции сепарабельнэго процесса y(t) являются
непрерывными функциями, но почти все они имеют неограниченную варн-
ацшо на любом конечном интервале (см. гл. VIII, § 2). Точный смысл
соотношения C.1) будет . разъяснен ниже; пока его следует рассматривать
как наводящее соображение.
•В настоящем параграфе мы будем использовать материал некоторых
последующих параграфов, а именно § 3 гл. VII, § 2 и § 5 гл. IX.
При а = 0 C.1) естественна интерпретировать как обычное (не вероят-
вероятностное) дифференциальное уравнение
dx .
-ЙГ = 'я(М).
В этом случае вероятностные понятия могут входить в задачу только через
начальные условия.
Если величина о в C.1) зависит только от t и не зависит от г и если
т - 0, то естественно интерпретировать C.1) как символическую запись
соотношения
t
x(t)-z(to)=[v(i;)dy(s}
(такой стохастический интеграл будет изучен в § 2 гл. IX). Процесс х (t)
пэлучается в этом случае из процесса брауновского движения при помощи
замены переменного, играющего роль времени. Переходные вероятности
задаются здесь равенством
p() ()i\) r: \ s<t,
' —оо
где
t
Д= f о(т)а(?т.
в
Отсюда следует, что
dp{s, S; t, т) o(sf d*p(s, jt, tj) „
' * 2 W l
(
dp(s, ;; t, ->))_ e{tf d'p(s, S; t,
Первое из этих уравнений называется обратным, уравнением процесса,
так как оно включает дифференцирование по начальному моменту времени;
второе уравнение называется прямым уравнением, так как оно включает
дифференцирование по конечному моменту времени.
Мы не будем здесь подробно исследовать обобщения обратного и пря-
прямого уравнений C.2) и C.2') на случай произвольных тис, так как нас

§ 3. ДИФФУЗИОННЫЕ УРАВНЕНИЯ И МАРКОВСКИЕ ПРОЦЕССЫ 249
интересуют больше сами процессы, а не дифференциальные уравнения.
Мы ограничимся поэтому лишь следующими замечаниями. При любом
разумном понимании соотношения C.1) из него следует, что
f^'T- -«}"!¦¦ ¦]¦¦ М
Рассмотрим теперь класс марковских процессов, для которых существуют
функции т[-, ¦] и «[•,•], определяемые соотношениями C.3). При раз-
различных предположениях типа регулярности, о которых будет идти речь
ниже, можно показать, что функция вероятностей перехода р{-, •; •, •)
удовлетворяет обратному диффузионному уравнению
C.4)
и прямому диффузионному уравнению
д iff 12 '] п ' Р а / '\
Прямое уравнение называется уравнением Фоккера — Планка и является
обычно наиболее естественным аппаратом при изучении физических задач.
Первое систематическое изучение марковских процессов рассматриваемого
типа принадлежит А. Н. Колмогорову, который вывел при этом оба диф-
диффузионных уравнения.
Отметим, что обратное уравнение является параболическим дифферен-
дифференциальным уравнением в частных производных относительно переменных s
и ( при s<Z; переменные t и т) входят только через начальные условия
A, Е<ч,
I U, ? > т).
Прямое уравнение является параболическим дифференциальным уравнением
в частных производных относительно переменных t и т) при /,>s; пере-
переменные s yl i входят только через начальные условия
О, т)<Е.
Для вывода этих дифференциальных уравнэний на процесс накладываются
обычно следующие ограничения (мы опишем их только качественно):
F,. Предполагается, что функция р(-, •; •, -) обладает определенными
свойствами регулярности (диффзренцнруемость и т. п.).
F2- Предполагается, что пределы C.3) существуют и определяют функции
"*(•»•] и c["i *]i обладающие определенными свойствами регулярности.
F3. Предполагается, что для любого 8 > О
= o(t — s), s<t.
[Можно также заменить C.3) соотношениями, в которых используются
усеченные случайные величины, и тем самым обойтись без предположений
о существовании первого и второго моментов разности x(t) — x(s).]
Условие F3 не удовлетворяется для процессов, рассмотренных в § 2,
так как для этих процессов вероятность
Р{г(«, ш) i=x(s, <o)\x(s)}

250 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
имеет, вообще говоря, порядок t - s. Типичные выборочные функции сепара-
бельных процессов, рассмотренных в § 2, являются ступенчатыми функциями, .
изменяющимися скачками (хотя это верно я не во всех случаях). Типичные
выборочные функции процессов, рассматриваемых в настоящем параграфе,
являются непрерывными функциями, хотя и здесь имеются исключения.
При этом следует ожидать, что здесь, так же как п в § 2, для широкого
класса этих исключительных случаев останется выполненным лишь обратное
уравнение, в то время как прямое уравнение перейдет в неравенство;
впрочем, эти вопросы остаются еще не вполне выясненными, так же как
и многие другие вопросы, связанные с рассматриваемыми процессами.
Мы приведем в настоящем параграфе одну интерпретацию уравнения
C.1), которая даст нам возможность решить это уравнение и тем самым
найти сепарабельный марковский процесс, удовлетворяющий условиям C.3),
почти все выборочные функции которого будут непрерывными функциями.
Мы покажем, что и обратно, если даны функции т[-, ¦] и о[-, •], то
любой марковский процесс, удовлетворяющий C.3) и имеющий с вероят-
вероятностью 1 непрерывные выборочные функции, может быть получен как реше-
решение уравнения C.1).
Феллером было показано, что при соответствующих ограничениях,
наложенных на от [ •, •] и о[-, •], существует решение диффузионных
уравнений при указанных выше начальных условиях, дающее марковскую
переходную функцию процесса, удовлетворяющего условиям C.3), и что
такое решение является единственным. Далее, Форте показал, что при
условиях Феллера (по крайней мере, если о = 1) почти все выборочные
функции соответствующего сепарабельного процесса являются непрерывными
функциями.
В соответствии с замечаниями, сделанными в предыдущих абзацах,
процессы, полученные Феллером, должны в точности совпадать е процессами,
получаемыми при решении уравнения C.1) [предполагается, конечно, что
условия Феллера на т[-, •] и о[-, •] усилены, если это необходимо, так,
чтобы обеспечить справедливость всех утверждений предыдущих абзацев].
Из приведенных только что результатов следует, что если функции
т[-, ¦] и о[-, •] «достаточно хорошие», то марковские переходные функции,
являющиеся решениями уравнения C.1), должны совпадать с функциями,
получающимися в результате решения диффузионных уравнений Колмо-
Колмогорова—Фоккера—Планка, и, следовательно, эти переходные функции
должны обладать теми или иными частными производными. Прямое дока-
доказательство этого факта до сих пор не получено.
Отметим, наконец, что процессы, рассматриваемые в настоящем и рас-
рассмотренные в предыдущем параграфа, являются частным случаем более
общего типа процессов, включающего и те, и другие процессы. Вероятности
перехода процессов этого более общего типа удовлетворяют интегро-диф-
ференциальным уравнениям, получающимся путем комбинирования Уравне-
Уравнений, выведенных в предыдущем параграфа, с уравнениями Колмогорова —
Фоккера — Планка. Мы не будем заниматься более подробным рассмотрением
этого общего случая.
Займемся теперь изучением уравнения C.1). Пусть областью значений
параметра t является конечный интервал [а, Ь]. Естественной интерпрета-
интерпретацией равенства C.1) является уравнение
t i
x(t)-x(a)=\m[s, x(s)]ds+[ о[s, x{s)]dy(s]. C.1')
а 0
Это уравнение нужно решить для процесса x(t), для которого имеют смысл
оба интеграла, стоящие в правой части C.1'). Для любой выборочной
функции любого процесса х (t) подынтегральная функция первого интеграла

S S. ДИФФУЗИОННЫЕ УРАВНЕНИЯ И МАРКОВСКИЕ ПРОЦЕССЫ 25J
справа становится обычной функцией от s, к которой применимы обычные
критерии интегрируемости. Второй интеграл будет определен, например,
если o[ta, x(t0)] является при каждом t0 случайной величиной, независимой
от совокупности разностей {у (Ь) — y(s), s > tQ] (см. гл. IX, § 5). Наглядное
представление о том, что x(t) нвлнется суммой х{а) и подходящим образом
нормированных нриращений dy (s) при a-is<>t0, соответствует этому огра-
ограничению. Таким образом, интерпретация C.1), как C.1'), является практи-
практически возможной. Мы подробно рассмотрим эту интерпретацию, следуя
работам Ито.
Мы сделаем следующие предположения:
Uv Функция т[-, ¦] и о[., •] являются беровскими функциями
от пары переменных (/, V) при а-С t < Ь, — со < ? < со.
Н2. Существует постоянная К такая, что
\m\t, 5]
Н3. Функции т[-, •] и о [., .] равномерно удовлетворяют условию
Липшица по Ь
\m[l, y-m[i, EJ
\a[t, ?,]-«[*, y
где К не зависит от ( и ?. Не будет ограничением предположить, что по-
постоянная К здесь та же, что и в Н2.
Предполагая, что выполнены гипотезы Hlf H2 и Н3, мы найдем процесс
x(t), обладающий следующими свойствами:
Р,. Почти все выборочные функции процесса x(t) являются непрерыв-
непрерывными функциями на [а, Ь\.
ь
Р,. \E[xVy)dt<co.
а
Р3. При каждом Zof (a, b) разность x(to) — x(a) не зависят от совокуп-
совокупности разностей {y(b) — y(s), s j> tg\.
Pt. При каждом i&[a, b] с вероятностью 1 выполняется соотношение
C.1').
Мы покажем, что процесс x(t) определяется этими свойствами, по суще-
существу, однозначно-и что он удовлетворяет также условию
Р;* E{max x(t, шJ} < со.
Лемма 3.1. Если процесс x(t) обладает свойствами Pv P2, Р3 и если
/я[-, •] и о[., •] удовлетворяют гипотезам Hlt Ht, H3, то любой процесс
x(t), определенный равенством
t t
?@= ^ m[s, x(s)]ds+] «Is, x(s)]dy{s), C.5)
a a
обладает свойствами Р2 и Р3. Второй интеграл в C.5) можно определить
при каждом t таким образом, чтобы процесс x(t) обладал также свой-
свойством Р{, при этом процесс х(<) бпдет обладать свойством Р'2-
В силу предположений Hj, Н^ и Р1 первая из подинтегральных
функций в C.5) является для почти всех выборочных функций огра-
ограниченной беровской функцией от t. Следовательно, с вероятностью
1 первый интеграл определяет непрерывную функцию от t. Второй интеграл

252 Гл. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
является частным случаем стохастического интеграла, который вводится
в § 5 гл. IX, так как в нашем случае удовлетворяются все качественные,
условия, которые накладываются в этом параграфе, и так как
'. ;
\ E{a[s, x(s)f}ds<K2 V [l+E{x(sJ}]ds< со.
а а
Таким образом, второй интеграл в C.5) вполне определен и является при
каждом t случайной величиной, однозначно определенной с точностью до
значений на множестве вероятности 0. Процесс хA) обладает, очевидно,
свойством Р3 при любом выборе этих интегралов. Свойство Р2 легко про-
провернется прямым вычислением, однако, кроме того, оно будет следовать
и из того, что, как мы докажем ниже, при соответствующем выборе этих
интегралов будет выполнено даже болев сильное свойство Р^; поэтому
мы опустим здесь соответствующее вычисление. В § 5 гл. IX будет
показано, что второй интеграл в C.5) определяет прп переменном t веро-
вероятностный процесс, являющийся мартингалом, и что этот интеграл можег
быть определен при каждом I так, чтобы выборочные функции мартингала
оказались с вероятностью 1 непрерывными. При таком определении про-
процесс хA) будет обладать свойством Рг Он будет тогда обладать и свой-
свойством Р' так как
Е i max
О
m[s, x(s)]ds^^E {[ \j \m[s, z(s)]|&]2} <
~~ ~ a a
Ь
E {I+x(sf}ds< со
и так как в соответствии с вариантом теоремы 3.4 гл. VII, относящимся
к случаю непрерывного параметра, примененным к абсолютному значению
последнего члена в C.5) (этот член определяет полумартингал), мы имеем
EJmax \ a[s, г (s)] cfy (s) !Ч < 4Е { \ о [,?, x(s)] dy(s)\*\ =
a a
Ь Ь
= 4 \ E[z{s, x(s)]2}ds^.AK2 [ [1+E{x(sf}]ds< oo.
Уравнение C.1') решается методом последовательных приближений.
Пусть х (а) — любая случайная величина с Е{х(аJ} аз, независимая
от совокупности разностей {у (?,) — у(t,), I,, t2P [a, b]}. Пусть, далее, xo(t) —
любой процесс, обладающий свойствами Р,, Р2, Р3 [например, можно поло-
положить xo(t) = 0]. В соответствии с леммой можно рекуррентно определить
величины xn(t), n > 1, соотношением
t i
хп @ = х (а) + ^ m [*, хп_, (*)] ds + J a [s, xn_, (s)] dy (s) C.6)
a • a
так, чтобы каждый из процессов хпA) обладал свойствами Р1? PI, Р3. Мы
докажем, что при таком определении с вероятностью 1 равномерно по t
существует предел
l\mxn(t) = x(t), a<t^b, C.7)

S 3 ДИФФУЗИОННЫЕ УРАВНЕНИЯ И МАРКОВСКИЕ ПРОЦЕССЫ 253
и что этот предел определяет процесс х (t), обладающий свойствами Plf Р,,
Р3 и такой, что с вероятностью 1 равномерно по /
Г Г 1
lira \ m[s, xn(s}]ds = \ m[s, x(s)]ds, а<«<6,
a a ^
V.m\a [s, xn (s)] dy (s) = \ a [s, x (s)] dy (s).
a a J
Процесс x(t) будет тогда решением уравнения C.1'). Чтобы доказать все
эти утверждения, положим
так что в силу Н3
Тогда
C.8)
Следовательно,
J C.9)
где с — некоторая постоянная. Используя это неравенство, находим, что
( ь
Р ( шах I \ *nm(s)ds >2~"}<Р { \ К | *nx(s) | ds>2rn\ <
a a
Ь
4"(Ь-а) А'2с"
Так как последний член этого неравенства является общим членом сходя-
сходящегося ряда, то с вероятностью 1
шах
\&nm(s)ds < 2rn C.10)
при всех достаточно больших л (в силу леммы Бореля — Кантеллп, см.
теорзму 1.2 гл. III). В соответствии с результатами § 5 гл. IX процесс
I
является мартингалом. Следовательно, процесс, образуемый квадратами этих
случайных величин, будет полумартингалом, и к нему можно применить

254 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
вариант теоремы 3.2 гл. VII, относящийся к случаю непрерывного пара-
параметра. Учитывая C.9), мы получаем
( Ь
Р { шах К Дпа (*) dy(s) > Z*\ < 4"Е { I \ Лпа (*) dy(s)} Ч =
ь ь ^
= 4п\ Е {[4пст E)]2} ds < 4"Я2 \ Е{[Дпя($;
Так как последний член этого неравенства является общим членом сходя-
сходящегося ряда, то с вероятностью 1
I
шах К Ano(s)dy(s) <2-" C.11)
а
при достаточно больших п. Из C.10) и C.11) следует, что с вероятностью 1
интегралы в правой части соотношения C.6) сходятся к некоторому пределу
равномерно по t, когда п —»оо. Следовательно, с вероятностью 1 предел
C.7) существует равномерно по t. Определенный таким образом процесс
x(t) обладает, очевидно, свойствами Рх и Р3. Для каждого t при п > га
m-fi
о
2-^-^0 (m-*oo). C.12)
Следовательно, при каждом / существует l.\.m.xn(t), и этот предел должен
п- оо
равняться x{t), так как предел в среднем и предел с вероятностью 1 всегда
совпадают (с вероятностью 1). Далее, положив в C.12) п—>оо, находим, что-
так что процесс x(t) обладает свойством Рг. Наконец, с вероятностью 1
соотношения C.8) выполняются равномерно по t [так что верно и C.1')],
так как в первом из этих предельных соотношений о вероятностью 1 имеет
место сходимость подинтегральных функций, а ко второму соотношению-
можно применить, как и выше, вариант теоремы 3.2 гл. VII, относящийся
к случаю непрерывного параметра, из которого следует, что
t
p{maxK(a[s, x{s)]-<s[s, xn(s)])dy(s) >
Ь
E{(a[S> *(*)]_ о [s, Xn(s)])*}ds<
Поэтому в силу леммы Бореля— Кантелли рассматриваемый максимум будет
с вероятностью 1 меньше 1/п при достаточно больших п, так что с вероят-

5 3. ДИФФУЗИОННЫЕ УРАВНЕНИЯ И МАРКОВСКИЕ ПРОЦЕССЫ аоо
ностью 1 равномерно по t выполнено второе из предельных соотношений
C.8).
Дэказательство существования решения уравнения C.1'), такпм образом,
закончено. Это решение (удовлетворяющее условиям Р,, Р2, Р3), по суще-
существу, однозначно определяется начальным значением х(а). Действительно,
если 4 (t) — разность двух решений с одним и тем же х (а), то соображения,
приведшие нас к неравенству C.9), показывают, что
так что лря каждом t с вероятностью 1 будет A (t) = 0. Отсюда п ял свой-
свойства Pi вытекает, что
Любое решение уравнения C.1') удовлетворяет соотношению
t
x(t)—x{*)= ^ m[s, x{s)]ds + ^ a[s, x(s)]dy(s). C.13)
т
Мы, как и раньше, все время будем предполагать, что случайная величина
х(а) не зависит от совокупности разностей {у(<2)— y(t\), tlt 1г?[а, Ь]}. Это
свойство является самоповторяющимся в том смысле, что если оно выпол-
выполнено, то и случайная величина х (т) не зависит от совокупности разностей
{У Са)~ У ('i)i 'i> 'г€[т1 А]}. В соответствии с C.13) величина хA) зависит
только от ж(т) и от разностей процесса у для значений аргумента, лежащих
между т и t. Эти последние разности не зависят от г(т) и х{а), а если
5<т, то и от разностей »процесса у со значениями аргумента, лежащими
между а и -с, от которых зависит х (s). Отсюда следует, что условное рас-
распределение x(t) при заданных {z(s), s< -} зависит только от х (т). Другими
словами, процесс [х (t)} является марковским процессом, и условное рас-
распределение вероятностей для,величины хA) ирн условии, что г(т, ш) = ?,
совпадает с распределением вероятностей для «решения уравнения (ЗЛ')
при а = т и Р {х(а, <о) = {} = 1. A priori не очевидно, что это однозначно
определенное условное распределение вероятностей тождественно удовле-
удовлетворяет уравнению Чепмена — Колмогорова (т. е. что не нужно исключать
множество вероятности 0). Следующие соображения показывают, что в дан-
данном случае уравнение Чепмена — Колмогорова удовлетворяется тождествен-
тождественным образом. Мы будем выделять распределение вероятностей, полученное
из C.1') при a = t и Р{х(а, <о)=4}=1, индексами т, 5. Пусть t<s<«.
Тогда
= Et, ¦, {Ps, „ {x (t, .о) <».}}.
Здесь мы использовали тот факт, что при любых начальных условиях (не
зависящих от приращений dy, относящихся к последующим моментам
времени) наш процесс является марковским процессом с заданными пере-
переходными вероятностями. Последнее соотношение в точности совпадает
с уравнением Чепмена— Колмогорова.
Для дальнейшего нам будет полезно иметь оценку для величины
Е{тах \x\s) — x(a)\2}. Эту оценку можно получить из предыдущих резуль-
татов, но поучительнее будет вывести ее прямым путем. В ходе выкладок
через К17 К2 п К3 будут обозначаться постоянные, выбор которых зависит
лишь от К и (Ь — а). Используя неравенства, полученные при доказатель-

256 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
стве леммы 3.1, мы находим, что
s
Е { шах | х (s) — х (а) \-} < 2Е { max \ тп [т, х
+ 2Е
Если заменить теперь левую часть этого неравенства на Е {\х (t) — х (а) ;2},
то, проинтегрировав обе его части, получим, что
и первоначальное неравенство обратится в неравенство
(в)М. C.14)
Заметим, что в этом неравенстве математическое ожидание в левой части
можно заменить условным математическим ожиданием при условии
х{а, <о)=М, и что, конечно, точку а можно заменить любой другой точкой
из интервала [а, Ь\. Когда потребуется, мы будем производить такую за-
замену без дополнительных пояснений.
Теперь уже нетрудно исследовать строение процесса x{t) в малом.
Рассмотрим распределение вероятностей для величины х (t ¦+¦ h) — x (t) при
условии, что x(t, <i>) = ?. При этом условия мы имеем
f+h
x(t-t h) — z(Z)= I [m[s, x(s)] — m{s, f)] ds-f-
f
(+Л f+h f+h
+ ^ [c[s, x(s)]-a(s, t)]dy(s)+ ^ m(s, l)ds+ ^ a(s,t)dy(s). C.15)
f f f
Сумма последних двух членов имеет гауссовское распределение со средним
значением и дисперсией, соответственно равными
t+h f+h
\ тп (s, $,)ds, \ a(s, lJds.
i f
Эта гауссовская случайная величина не зависит от прошлого процесса,
т. е. на зависит от совокупности случайных величин {х(~:), ti(J. Если
функции тп и а непрерывны, то приведенные выше среднее и дисперсия
равны hm{t, i.) и ha(t, tJ с точностью до остаточного члена порядка o(h).
Даже без предположения о непрерывности это утверждение верно при
каждом к Для всех значений а, за исключением множества, имеющего
лебегову меру 0. С другой стороны, два первых члена в правой части
C.15) имеют порядок о(Л) в том смысле, что [в силу C.14) применительно

§ 3. ДИФФУЗИОННЫЕ УРАВНЕНИЯ И МАРКОВСКИЕ ПРОЦЕССЫ 257
к данному случаю]
Е< 5 { шах ^ [т. [s, х («)] — т (s, ?)] ds *\
*¦ t^^t+h •{ '
t+h
\m[s, x(s)]-m(s,
'i
C.16)
и (в силу варианта теоремы 3.4 гл. VII, относящегося к случаю непре-
непрерывного параметра)
т
иЦ шах К [о [*,
s,x{s)]-a(s, l)]dy(s)'\} =
l+h
5
= 4
t+h
C.17)
Из приведенных выше результатов вытекает, что при каждом
t+h
{x(t + h)-x(t)\x(t, «,) = $
C.18)
r(t + h)-x(t)f\x(t, <o) = i}= \ a(s, c.)*ds+(l + ?)O (h3h), \
t J
где оценка О( ) равномерна по t и ?. Эти уравнения показывают, что для
решений стохастического дифференциального уравнения C.1) выполняются
соотношения C.3). Отметим еще раз, что при каждом 5 первые члены пра-
правой ча*сти равны соответственно h[m{t, \) + o A)] и h[a(t, &J + " A)], если
т и а непрерывны по t, и что без предположения о непрерывности это
утверждение остается верным (при каждом 5) для всех значений /, за
исключением, быть может, множества значений лебеговой меры 0.
Заметим, наконец, что если г > 0 и если h настолько мало, что
t+h
V m(s, l)ds <-i-,
t
то соотношение C.15) с учетом C.16) и C.17) приводит к неравенству
u>)-x(t, to)
t+h
C.19)

258 ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Последний член здесь равен
где
х=т
В силу неравенства B.2) гл. VIII этот интеграл не превосходит
Следовательно, мы доказали, что
Р {\x(t + h)-.v (t)\> s\x(t, u>) = t}<(i^r-f* 0{hVi), C.20)
где оценка О (Л3/2) равномерна по \ и /. Мы имеем даже более сильное
неравенство
Р{ max \x{*)-x(t)\>s\x(t, w) = S}<(l-i-S*)8/2 O(h*li). C.20')
В самом деле, проведенные оценки доказывают также и это неравенство,
если только (используя теорему 2.1 гл. VIII) удвоить мажоранту послед-
последнего члена в C.19).
Мы проверили, таким образом, что решения стохастического дифферен-
дифференциального уравнения C.1) удовлетворяют условиям того же самого харак-
характера, что и условия F2 и F3, рассматривавшиеся в начале этого параграфа.
Мы уже отмечали в начале настоящего параграфа, что из условий Fj, F2
и F3 вытекает (по крайней мере, в широком классе случаев) непрерывность
почти всех выборочных функций соответствующего сепарабельного процесса.
Таким образом, мы изучаем здесь тот самый общпп класс процессов, кото-
который рассматривают в теории диффузии. Этим объясняется принятое нами
заглавие параграфа.
Заметим, что если заменить уравнение C.1') уравнением
m[s, x(s)]ds+ ^a[s, x(s)]dy(s), (З.Г)
a
где x(t) — заданный процесс с непрерывными выборочными функциями,
ь
удовлетворяющий условию j Е {х (/)*} dt < со, то доказательство существо-
a
ванпя и единственности не потребует никаких изменений. Различие будет
состоять только в том, что если Е{ шах x(fJ} = co, то уже не будет вы-
подняться утверждение Р^- В частности, еслп х (t) в действительности не
зависит от t, скажем x(t) = x, то мы имеем х = х(а) и приходим к част-
частному случаю уравнения C.1'). Если в C.1") а = 0 п если при каждом t
случайная величина хA) может принимать только одно значение, то урав-
уравнение C.1") теряет свой вероятностный характер. Наши результаты, одна-
однако, остаются в силе; они доказывают теперь тот хорошо известный факт,
что для каждой непрерывной по t функции х (t) существует одна и толь-
только одна непрерывная функция x(t), удовлетворяющая уравнению
ф, x(s)]ds. C.1'")

S 3. ДИФФУЗИОННЫЕ УРАВНЕНИЯ И МАРКОВСКИЕ ПРОЦЕССЫ 259
До сих пор наши рассуждения были посвящены решению стохастиче-
стохастического дифференциального уравнения C.1). Мы рассмотрим теперь обратную
задачу, какие процессы x(t) могут быть представлены как решения этого
уравнения. Решение этой задачи будет проведено в несколько этапов.
Теорема 3.2. Пусть {x(t), а^.1-^.Ь} — сепарабелъный вероятност-
вероятностный процесс, обладающий следующими свойствами:
а) процесс является измеримым;
ь
б) E{,x(t)\}< со, a<t<b; \ Е{|ж@|} dt < со;
а
в) существует беровская функция т(-, •)> удовлетворяющая условию
\т{1, \)\ < К A + t1I"
для некоторой постоянной К такая, что при o<i1<ia<6 с вероят-
вероятностью 1
E{x(t2)-x(tl)\x(t), t<t1} = E^m[s, x(s)]ds\X(t),
Тогда Процесс x(t), определенный формулой
t
x(t) = x{t)— { m[s, x(s)]ds, a
а
является сепарабелъным мартингалом, и при tx<i t2 с вероятностью 1
E(x(tJ\x(t), t<tJ = Z(t1). C.21)
В силу наших предположений
<з h
Е{|х(у-г(У|}<со, Е [^mls, x(s)]ds}i:KE{\ [I + \x(s)\ ] ds} ,
ti h
так что величины, стоящие в обеих частях равенства пункта в), вполне
определены, и Е{|х(t)\] < со при а<г<6. Далее, с вероятностью 1
Е {!(«,)-ж(«01 ж@, t<h} =
h
= E{z(O-z(;1)|a;(«), *<*J- E { [ m [s, x(s)]ds\x(t),
ii
и равенство C.21) доказано. Из этого равенства вытекает свойство мартин-
мартингала для процесса х (t). Так как процесс х (t) сепарабелен и так как интег-
интеграл, входящий в определение x(t), является непрерывной функцией от t
для почти всех выборочных функций процесса х (t), то процесс х (t) также
является сепарабельным. Заметим, что из этой теоремы следует, что (почти
все) выборочные функции процесса х (t) являются непрерывными всюду,
кроме точек скачков, так как это верно для выборочных функций про-
процесса x(t).
Теорема 3.3. Пусть {хA), а </¦< Ь) — действительный вероятност-
вероятностный процесс, ^( — наименьшее борелевское поле ш-множеств, относитель-
относительно которого измеримы все функции x(s) при 5<г, и т(-, •), а(-, ¦) —
функции от t и \. Делаются следующие предположения:
а) Почти все выборочные функции процесса x(t) непрерывны на [а, &].
17*

2flO ГЛ. VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
б) Е{х(/J} < оо для всех t?[a, b], и при s< t с вероятностью 1
E{x(ty\JF3}<Zs,
где z, при каждом s является случайной величиной, измеримой относи-'
телъно поля &3, независимой от t и такой, что Е {z.} < со.
в) Существует монотонная неубывающая функция /(•) с lim/(&)=0
такая, что для всех t и h таких, что а<г<г+Л<6, с вероятностью 1
f+h
- ^ m[s,
i
f+h
\ o[s, x(t)]*ds\<[l+x(t)*]hf(h).
t
г) Функции т{-, ¦) и a(-, •) являются беровскими функциями, непре-
непрерывными по второму переменному, и существует постоянная К, для ко-
которой
\m(t,
При этих предположениях процесс x(t) — x (а) является марковским
процессом. Если a(t, ?) не обращается в нуль ни при каких tut, 'то
существует процесс броуновского движения {y(t), a</<6} такой, что
x(t) является решением стохастического дифференциального уравнения
C.1). Если а B, ?) может обращаться в нуль, то утверждение остается
верным, если присоединить к ^-пространству процесс броуновского дви-
Лсения.
О понятии присоединении процесса к Заданному ««-пространству
см. § 2 гл. И.
Заметим, что если функции т(-, •) и а(., •), кроме требований тео-
теоремы, удовлетворяют дополнительно равномерно по t условию Липшица по
I, то из проведенного нами изучения стохастического дифференциального
уравнения C.1) следует, что это уравнение имеет решение x(t), и это ре-
решение, однозначно определяемое величиной х(а) и заданным процессом
брауновского движения y(t), удовлетворяет предположениям настоящей
теоремы при
(см. C.14)] и /(Л) = const. AVi. Таким образом, условия, при которых задан-
¦ый процесс может быть записан как решение уравнения C.1), являются
менее ограничительными, чем условия, при которых мы доказали суще-
существование решения уравнения C.1).
. Мы покажем сперва, что в рассматриваемом случае выполнены пред-
предположения теоремы 3.2. Не очевидным :... .лется только третье предполо-
предположение этой теоремы, касающееся функции m(t, 5). Чтобы доказать его,
положим <1 = 50 <*!<...< sn=^2> 8 = max ($у+1—Sy). Тогда с вероят-
яостыо 1
h
n-i
E {S
1=0

5 S. ДИФФУЗИОННЫЕ УРАВНЕНИЯ Н МАРКОВСКИЕ ПРОЦЕССЫ 2Я
E
п-1 «,ч,
{S [ [m[s,x(s)]-m[s, я^)]]^^,,}
Vi - */) / (Vi - *,) Г 1 + Е {*(*,Л ^(J ] -
Достаточно доказать, что оба члена правой части этого неравенства могут
быть сделаны сколь угодно малыми при подходящем выборе точек деле-
деления Sj. Последний из этих двух членов мажорируется с вероятностью 1
величиной
стремящейся к 0 при a—»0. Первый из этих членов имеет вид E{o|jF(l},
Следовательно, достаточно доказать, что
(I) о—* 0 при 8—»0 и подходящим образом выбранных sr
(II) Efcp2!^^} равномерно по 8 мажорируется интегрируемой функ-
функцией от ч>.
Первое утверждение имеет место (с вероятностью 1), так как m{t, •)
является непрерывной функцией по второму переменному, и почти все вы-
выборочные функции процесса x(t) непрерывны. Что касается утверждения
(II), то достаточно заметить, что
так что
B
и, следовательно,ьс вероятностью 1
Таким образом, мы получили искомую мажоранту и показали тем самын,
что теорема 3.2 применима. Пользуясь этой теоремой, определим процесс
x(t) при помощи формулы
х (t) = х (t) — \ т [s, х (s)] ds;
а
при этом пропесс хA) будет мартингалом, почти все выборочные функция
которого непрерывны.
Определим число с равенством
ь »
Тогда
Е {х (tf}< 2E {х(*)*} + 2с < со,
так что, используя вариант теоремы 3.4 гл. VII, относящейся к случаю
непрерывного параметра, мы получаем, что
Е { шах х (tf] < 2Е { шах х (гJ] + 2с < 8Е {х (ЬJ} + 2с < оо.
Если /1=50< s1#. .< sn= t2, то из C.21) следует, что с вероятностью i

262 гл. yi. марковский процессы с непрерывным параметром
Следовательно, с вероятностью 1
Е {х (sk) х (s.) | JF,.} = х (s,)\ j<k.
Используя это соотношение, находим, что с вероятностью 1
]1
J=0 ,=0 s;.
E { S \ № *(*)?-*[*, sfyHW-^i }\
nt
Покажем теперь, что, выбрав достаточно малое 8 = max (sJtl—^), можно сделать
сколь угодно малыми оба члена правой части последнего неравенства; из
этого будет следовать, что с вероятностью 1
1
} C.22)
Второй из этих двух членов мы уже рассмотрели выше. Первый член
имеет вид EfflJ^,}, где f —>0 при 8—»0 для почти всех ш. Следова-
Следовательно, согласно свойству СЕ5 из § 8 гп. I, нам достаточно показать, что
Itl^ti с вероятностью 1, где функция ijij не зависит от 8 и E{^j} < <х>.
Но
>=° .-1
[1 + х (sf] ds + К"' 2 [1 + х (*,)'] (»,»! - *,) <
*„- О max [1+ х{
и выше мы уже видели, что Е{<!/1}<со. Предположим теперь, что а({, 5)
нигде не обращается в нуль. Тогда (поскольку выполнзно соотношение
3.21) из теоремы 5.3 гл. IX следует, что существует процесс брауновского
движения {y{t), a<^<i) такой, что
t
c[s, x(s)]dy(s),
и, следовательно,
x(t)-x(a)= ^ m[s, x(s)]ds+ J e[s, x(s)]dV(s).
a a
Если a(t, с) обращается в нуль, то в силу той жз самой теоремы x(t)
можно представить в этой форме после прясоедпнзния к основному ю-про-
странству процесса брауновского движения. В обоих случаях отсюда сле-
следует, что процесс x(t) — x(a) является марковским процессом, что завер-
завершает доказательство теоремы.

Глава VII
МАРТИНГАЛЫ
§ 1. Определения; мартингалы и полумартингалы
Мартингал был определен в § 7 гл. II, как (действительный или комп-
комплексный) вероятностный процесс {xl, t?T], для которого Е {(ar( |} < со, z ? 71,
и с вероятностью 1
*<n = E{z<ntl|a;;i, ...,x,n}, A.1)
каковы бы ни были целое число п и значения параметра tx < ... < tn+i-
Из этого определения следует, что если процесс {xt, t?T] является мар-
мартингалом, то и каждый процесс {xt, {?7^}, где Т1С1Т, также является
мартингалом, и обратно, если процесс {?,,t^Tj} является мартингалом
для каждого конечного множества T1Clf, то и сам процесс {х,, t?T)
является мартингалом.
Пусть {xt, t?T] — произвольный вероятностный процесс, и А — некоторое
«>-множество, измеримое относительно семейства величин х, (см. § 7 гл. I).
Для того чтобы приблизить терминологию к наглядному содержанию поня-
понятий, мы будем в дальнейшем называть такое множество А множеством,
определяемым условиями, наложенными на величины xt. Таким образом,
«-множество будет множеством, определяемым условиями, наложенными
на случайные величины х1г ..., хп, тогда и только тогда, когда оно имеет
вид {[х^ш), ...,in(»)]ffi}, где В является борелевским n-мерным мно-
множеством (в действительном или комплексном пространстве) или отличается
от такого множества на множество вероятности 0.
Используя данное в гл. I определение условного математического
ожидания и изменив обозначения, находим, что соотношение A.1) экви-
эквивалентно равенству
jj xsdP = ^ x,dP, s<t, A.2)
л
выполненному для каждого со-множества А, определяемого условиями,
наложенными на конечное число величин хТ с г < s. Последнее равенство
будет ^'этом случае верным также для любого ю-множества, определяемого
условиями, наложенными на величины хт с г <; s, так как любое такое
множество может быть сколь угодно точно аппроксимировано множествами,
определяемыми условиями на конечное число хт с r<s (или в сплу теоре-
теоремы 2.1 дополнения). Условие A.2) эквивалентно соотношению
я, = Еfo|a:r, t<s\,\ s<]t, A.1')
выполненному с вероятностью 1 для каждой пары значений параметра s и {.
Соотношение A.1') используется иногда вместо A.1) для определения мар-
мартингала. Равенство A.2) мы будем называть равенством мартингала. Если
равенство A.2) выполняется для комплексных величин, то оно выпол-
выполняется отдельно и для действительных и мнимых частей величин xt. Таким
образом, если процесс xt является мартингалом, то процессы, определяе-
определяемые действительной и мнимой частями xt, также являются мартингалами.
В дальнейшем мы будем использовать этот факт для сведенпя теорем
о комплексных мартингалах к теоремам о действительных мартингалах.

264 ГЛ. VII. МАРТИНГАЛЫ
Пример 1 (см. также пример 1 из § 7 гл. II). Пусть z— случайная
величина с Е {| z |} < оо. Предположим, что каждой точке t одномерного
множества Т соответствует борелевское поле JF, измеримых ш-множеств
такое, что JFt CZ 3Fi при s < t. Положим
Процесс {хи t?T] является при таком определения мартингалом. Более
того, мартингалом оказывается также процесс, получающийся, если добавить
к Г еще одно значение параметра, лежащее правее всех значений из Т,
и сопоставить этому значению параметра саму величину z. Это утвержде-
утверждение можно было бы доказать, пользуясь правилами комбинирования услов-
условных математических ожиданий. Однако так как этот метод уже был исполь-
использован нами в частном случае примера 1 из § 7 гл. II, то теперь мы пойдем
по другому пути, а именно, проверим само равенство мартингала; иначе
говоря, мы покажем, что если .?< t и если Л —произвольное ш-множество,
определяемое условиями, наложенными на конечное число величин хг
с r<s, то
sdP=^xtdP,
А
а также, что это соотношение остается верным для всех s ? Т, если заме-
заменить в его правой части я, на z. Последующие рассуждения применимы
независимо от того, проведена эта замена или нет. Рассматриваемое ю-мно-
жество Л или само входит в &s, или самое большее отличается от неко-
некоторого множества из 3~s на множество вероятности 0. Поэтому, согласно
определению условного математического ожидания, обе части этого соот-
соотношения равны
и искомое соотношение доказано.
В качестве частного случая только что рассмотренного примера мы
получим теперь пример 1 из § 7 гл. II. А именно, пусть z определено,
как и выше, и пусть ш,, w2, ... — любые случайные величины. Тогда, если
определить хп соотношением
xn = E{z\w1 wn],
то случайные величины xlt хг, ..., z будут образовывать мартингал. В самом,
деле, если определить $-п как борелевское поле ш-множеств, задаваемых
условиями, наложенными на ш,,...,шп, то только что данное определе-
определение хп будет совпадать с определением, приведенным выше. На практике
JFt определяют обычно именно так, как в последнем частном случае, т. е-
задают его как борелевское поле ш-множеств, определяемых условиями,
наложенными на зависящую от f совокупность случайных величин, причем
эта совокупность возрастает с ростом {. Общий принцип, который мы будем
многократно использовать, состоит в том, что если помещать под знак
условного математического ожидания все более и более широкие системы
условий, то возникающее при этом упорядоченное семейство случайных
величин будет мартингалом.
Полумартингалом называется действительный процесс {xt, t?T], опре-
определяемый так же, как и мартингал, но с той разницей, что в основном
определяющем соотношении равенство заменяется на неравенство, т. е.
в A.1), A-2), A.1') знак « = » заменяется на «<». Неравенство
(dP, s<t, A.2s)

S 1. ОПРЕДЕЛЕНИЯ; МАРТИНГАЛЫ И ПОЛУМАРТИНГАЛЫ 265-
мы будем называть неравенством полумартингала. Относящиеся к полу-
полумартингалам варианты соотношений A.1), A.2), A.1') являются снова экви-
эквивалентными, так что каждое из этих неравенств может быть использовано
для определения полумартингала. Иногда нам будет удобно (хотя это
несколько непоследовательно) называть процессы, определяемые соотноше-
соотношением A.2s) со знаком неравенства, направленным в дру ую сторону, ниж-
нижними полумартингалами.
Частные суммы любого ряда, составленного из неотрицательных слу-
случайных величин с конечными математическими ожиданиями, образуют
полумартингал. Более интересные примеры будут даны ниже.
Мы несколько сузим теперь определения мартингала и полумартингала.
Пусть {xt, 16Г} — вероятностный процесс, в котором Е{|ж,|}<оо, t?T.
Предположим, что каждому t 6 T соответствует борелевское поле JF, изме-
измеримых ю-множеств такое, что
(I) &.CZ&t, s<t;
(II) величина xt или измерима относительно поля ЛРt, или равна при
почти всех ш измеримой относительно JFj функции;
либо
(III) каковы бы ни были значения параметра s и t, s < t с вероят-
вероятностью 1
либо
(Ills) процесс xt является действительным, и каковы бы ни были зна-
значения параметра s и t, s< t с вероятностью 1
Из условий (III) и (Ills) вытекают, соответственно, равенство мартин-
мартингала A.2) и неравенство полумартингала A.2s) для множеств Л, содер-
содержащихся в .#-,, или отличающихся от множества из JFS самое большее
на (в-множество вероятности 0. В частности, они вытекают для множеств А,,
определенных условиями, наложенными на хГ при г-4 s. Поэтому процесс xt
будет мартингалом, если выполняется условие ^Ш), и полумартингалом,
если выполняется условие (Ills). Чтобы подчеркнуть роль полей jF(,
мы будем обозначать такой мартингал или полумартингал через [ж,, &t, t?T)
и будем называть этот процесс мартингалом (или полумартангалом\
относительно J-t. В соответствии с этим определением, если {yt, t?T} —
любой мартингал (полумартингал) и если g( — борелевское поле ш-мно-
жеств, измеримых относительно семейства величин у3 с s< t, то процесс
{^1. Sd'6 71} является мартингалом (полумартингалом) относительно ?,.
Таким образом, каждый мартингал (полумартингал) является мартингалом
(полумартингалом) относительно некоторых борелевских полей ш-множеств,
и в тех случаях, когда эти поля точно не указаны, мы всегда можем взять
вместо них определяемые заданными случайными величинами поля, анало-
аналогичные только что рассмотренным S,.
Если {xt, ^,, tg T] — мартингал или полумартингал и если ^(' — бо-
борелевское поле множеств, порожденное множествами из &, и множествами
вероятности 0, так что JF(' состоит из множеств поля JF, и множеств,
отличающихся от множеств из 3-1 на множества вероятности 0, то процесс
{х,, jF',, t?T] также является мартингалом или полумартингалом. Другими
словами, предположение, что JF, содержит все множества вероятности 0,
не ограничивает общности. Еслп это предположение выполнено, то можно-
несколько упростить условие (И), так как в этом случае величина xt,
равная почти всюду функции, измеримой относительно &',, будет сама
измерима относительно .F,.
Заметим, что если два процесса {х[, &[, t?T) и {x"t, JF"t, t?T) явля-
являются мартингалами (полумартингалами), определенными на одном н том же-

266 ГЛ, УП. МАРТИНГАЛЫ
пространстве Q, и если Jf't = Jf", при t?T, то процесс
также является мартингалом (полумартингалом). Однако если соответству-
соответствующие поля множеств не совпадают, то процесс {х[-\-х1, t?T] может
и не быть мартьга'галом (полумартингалом). Если процесс {xt, JFt, l?T]
является мартингалом и если xt = ut-\-ivt, где ut и и, действительны, то
процессы
{ut, &t, г6Г}, {vlt&t,tsT}
также будут мартингалами.
Теорема 1.1. (I) Если процесс {xt, 3F t, t?T] является полумартин-
галом, то для любой действительной монотонно неубывающей и выпуклой
функции Ф действительного переменного \ такой, что Е {I Ф (zio) | }< со
при некотором to^T, процесс {Ф(х(), jF,, t?T, <<*„} является полумар-
тингалом.
(II) Если процесс {xt, 3Ft, t?T] является мартингалом, то процесс
{\xt\, ?¦{, t?T) является полумартингалом.
(III) Если действительный процесс {xt, ^,, t?T] является мартин-
мартингалом., то для любой действителънойнепрерывной и выпуклой функции Ф дей-
действительного переменного \ такой, что Е {| Ф (ж,0) |} < оо при некотором ta g T,
процесс ['^(х,), 3Ft, t?T, <<Z0} является полумартингалом.
Поскольку доказательства этих трех утверждений основаны на одном
и том же принципе, то мы докажем здесь только первое из них. В слу-
случае (I) при t < ta, t?T, из неравенства Иенсена (см. § 9 гл. I) следует, что
ф(х()<ф[е:х@|^}]<е{Ф(^)|^}-1 A-3)
Далее, из выпуклости функции Ф вытекает, что существует положитель-
положительная постоянная с такая, что при всех X, меньших некоторого Хо > — со,
с\<Ф(к).
Если теперь Ф(х() велико, то воспользуемся тем, что эта величина не пре-
превосходит интегрируемой функции, стоящей в правой части A.3), если же
велико —Ф (а;,), — то тем, что величина —Ф(ж() не превосходит интегри-
интегрируемой функции — cxt; отсюда следует, что интегрируема и сама функ-
функция Ф(?(). Наконец, заметим, что неравенство A-3) будет теперь выпол-
выполняться для любой пары значений параметра s и s0 (подставленных вместо
t и <„), если только s < so<i t0, а это — одно из условий, необходимых
и достаточных для того, чтобы процесс {Ф{х1), JF,, t$T, t<t0] был полу-
полумартингалом.
Приведем теперь наиболее важные приложения этой теоремы. (Как
обычно, мы считаем log* X равным 0, если X < 1, и равным logX, если X > 1.)
а) Если процесс xt является полумартингалом, то процессы, образо-
образованные случайными величинами
также будут полумартингалами,, если только существуют соответству-
соответствующие математические ожидания.
б) Если процесс xt является мартингалом, то процессы, образованные
случайными величинами
[\xt\log*\xt\), l\xt\«) (а>1),
будут полумартингалами., если только существуют соответствующие
математические ожидания.

1. ОПРЕДЕЛЕНИЯ; МАРТИНГАЛЫ И ПОЛУМАРТИНГАЛЫ 267
Рассмотрим любой ряд 2з^> составленный из случайных величин,
имеющих математические ожидания. В соответствии с результатами § 7 гл. II
последовательность частных сумм этого ряда образует мартингал тогда
и только тогда, когда с вероятностью 1
Е{у«+1|у1,...,уя}«0, п>\. A.4)
Вычитая соответствующие условные математические ожидания, мы всегда
можем получить из ряда ^ г/; новый ряд
2 [У, ~ Е {Vj I Vi, ¦¦•'Vi-iW-
Слагаемые этого нового ряда обладают уже свойством A.4), так что его
частные суммы образуют мартингал. Таким образом, если в каком-нибудь
частном случае удается оценить подходящим образом вычитаемые матема-
математические ожидания, то можно свести общий ряд к более удобному ряду,
удовлетворяющему условию A.4). Нам будет удобнее переформулировать
развитые сейчас соображения в терминах частных сумм ряда. Пусть хх,х2,^..—
любая последовательность случайных величин, имеющих математические
ожидания. Определим х'п и Дп соотношениями
Д1 = 0, )
п 1 A 5)
>=l m 1
Тогда процесс х„ является мартингалом (так как при т < п выполняется
равенство Е {Хп \ xv ..., хт] =х'т). Переход от хп к х'п может принэстп пользу
лишь в тех случаях, когда имеется достаточно сведений о поведении вели-
величин Ду. Так, например, если процесс хп является полумартингалом, то вели-
величины Дп неотрицательны. Обратно, если хп можно представить в виде
п
Хп -у- 2 Ду, где величины Д;. неотрицательны, а величины х'п образуют мар-
мартингал, так что с вероятностью 1
т<п,
то величины хп образуют полумартингал. Это описание полумартингалов
в терминах мартингалов будет играть в дальнейшем важную роль.
Пример 2. Пусть ух, у2, ... — взаимно независимые случайные вели-
п
чины, имеющие математические ожидания, и пусть хп= 2 у.. В этом случае
процесс' хп является мартингалом тогда и только тогда, когда Е{у-} = О
при / > 1, и полумартингалом тогда и только тогда, когда у^ действи-
действительны и Е{з^}>0 при />1. В этом последнем случае представление
| [У,- ~Е {у,}] +1 Е{^
является просто частным случаем представления A.5), в котором величины Д;
являются неотрицательными постояняымп.
Если процесс {хп, JFn, n > 1} является полумартингалом, то можно
слегка обобщить представление A.5) и получить

268 ГЛ. VII. МАРТИНГАЛЫ
Здесь процесс {х„, ЗРп, га>1} является мартингалом, Д;>0 и величины Д?
измеримы относительно 3")-\.
Условимся говорить, что процесс {xt, t?T] мажорируется полумартин-
полумартингалом {xt, t?T], если
Теорема 1.2. Пусть процесс {хп, jFn, га> 1} является полу мартин-
мартингалом. Рассмотрим для этого полу мартингала представление A.5').
00
(I) Если snp Е {ж } < оэ, то 2 Е {ДЛ < оо и с вероятностью 1
п t
(II) Если, sup Е {[ хп \} < <х>, то [в дополнение к заключениям пункта AI
п
(III) Если величины хп равномерно интегрируемы, то \в дополнение
к заключениям пунктов (I) и (II)] величины х„ также равномерно инте-
интегрируемы.
(IV) Полумартингал {хп, Jfn, л>1} всегда мажорируется некоторый*
полу мартингалом ?«. В частности, можно положить
Доказательство пункта (I). Пользуясь равенством мартингала, нахо-
находим, что
так что
В силу предположения пункта (I) стояшие справа частные суммы ограни-
ограничены при п—» оо, и отсюда сразу следует утверждение (I). Заметим, что
в соответствии с неравенством полумартингала [или в силу равенства A.7)}
левая часть A.7) монотонна по п, так что предположение пункта (I) озна-
означает просто, что
lim E{zJ<oo.
Доказательства пункта (II). Если предположение пункта (I) усилить
до предположений пункта (II), то величина, стоящая в левой части нера-
неравенства
окажется равномерно ограниченной по п.
Доказательство пункта (III). Если предположения пункта (II) усилить
до предположений пункта (III), то величина в левой части неравенства
окажется равномерно интегрируемой.
Утверждение (IV) очевидно.

5 2. ПРИЛОЖЕНИЕ К ВЕРОЯТНОСТНЫМ ИГРАМ
В этой главе мы не будем предполагать, что множество значений па-
параметра процесса является обязательно либо интервалом, либо натуральным
рядом чисел. Свойство A.1') и соответствующее неравенство для полумар-
полумартингалов имеют, очевидно, смысл всегда, когда область значений t является
упорядоченным множеством. Например, мы будем иногда рассматривать
упорядоченные семейства случайных величин вида
Xv Xv ..., Ха, ИЛИ Х-а,, ..., X_v Xo.
Мы будем допускать в качестве множества значений параметра любое под-
подмножество бесконечной прямой, пополненной точками +оои — со, и будем
пользоваться соответствующими топологическими понятиями. Например,
приведенные выше два множества значений параметра являются замкнутыми
в этой топологии, в то время как множество всех целых чисел не является
замкнутым, так как его предельные точки + <х> и — оо не входят в само
множество.
§ 2. Приложение к вероятностным играм
Предположим, что игрок с первоначальным капиталом хх играет в ка-
какую-нибудь вероятностную игру и что его капитал после одной игры ра-
равен хг. Здесь х2 является случайной величиной, и игру считают обычно
•«безобидной», если
Щхг) = ху.
Это определение безобидности является несколько произвольным, хотя оно
и освящено традицией. Если игрок будет затем играть снова в ту же самую
или какую-нибудь другую игру, то предыдущий критерий безобидности
примет вид
с вероятностью 1), где х3 — капитал игрока после второй игры, причем
выбор второй игры может зависеть от xz(v>). Продолжая это рассуждение,
мы приходим к тому, что естественным определением безобидности игры
является условие мартингала: с вероятностью 1
^{xn*l\xl> •••' хп) = хп< «=1.2
где хп — капитал игрока после (п— 1)-й игры. (Так как сейчас у нас
.Zj = const., то безразлично, входит или нет хх в число случайных величин,
¦относительно которых берется условная вероятность. Однако в дальнейшем
¦это будет уже не так.)
Более тщательный анализ идей, заключенных в понятии безобидности,
показывает, что первую игру нужно считать безобидной, если с веро-
вероятностью 1
где ух обозначает одну или несколько случайных величин, отражающих
сведения о прошлом, имеющиеся у игрока к моменту первой игры. Для
следующей игры критерием безобидности будет равенство
Щхг\у3 = хг
(с вероятностью 1), где у3 отражает прошлое (в частности, значение х2),
известное игроку к моменту второй игры, и т. д. Эти новые условия безо-
безобидности игры несколько снльнзе приведенных выше, и они подсказывают
следующую математическую модель безобидной игры: безобидная игра —
это мартингал {хп, 3-п, п >1} относительно некоторой последовательности
€орелевских полей jfn. Борелевское поле JFn отражает влияние прошлого

270 ГЛ. VII. МАРТИНГАЛЫ
вплоть до момента п включительно. Мы дадим еще и второе определение
в том же стиле: благоприятная игра— это полумартингал {хп, cfn, га>1}
относительно некоторой последовательности борелевских полей J-n. Мы
не будем предполагать, что хх с вероятностью 1 принимает фиксированное
значение, хотя такое предположение подсказывается рассмотренной только
что интерпретацией.
Если введенные нами понятия безобидности и благоприятности вы-
выбраны удачно, то безобидные и благоприятные игры должны оставаться
соответственно безобидными и благоприятными, когда игрок меняет
в некоторых допустимых пределах свой метод игры, что приводит к изме-
изменению заданного процесса хп. Это обстоятельство подсказывает различные
математические теоремы, рассмотрение которых будет являться основным
содержанием настоящего параграфа и которые имеют важные теоретические
приложения.
Предположим, например, что игрок решает в некоторый момент пре-
прекратить игру, вместо того чтобы продолжать ее до бесконечности, потому
ли, что он думает, что он уже достаточно выиграл (или проиграл), или
потому, что он разочарован ходом игры, или по каким-нибудь другим при-
причинам. Тогда игра остается все равно безобидной (или благоприятной),
если таковой была первоначальная игра, если только игрок не прервал
игру потому, что он может предвидеть будущее и знает, например, что
следующая игра приведет к невыгодному для него результату (или же
потому, что он знает, что следующая игра приведет к выгодному для него
результату, и он по-рыцарски отказывается использовать преимущество,
даваемое ему его сверхъестественными способностями). Математическая фор-
формулировка такого способа ведения игры состоит в следующем. Пусть пг —
случайная величина, которая может принимать с положительной веро-
вероятностью значение + со, и все конечные значения которой являются неот-
неотрицательными целыми числами (т является числом игр, после которых
игрок останавливается). Определим случайные величины хх, xv ... ра-
равенством
^Ч^ИЧ /
Предполагается, что условие т (ш) = р. является условием, наложенным
только на прошлое вплоть до момента р.; точнее, предполагается, что
Преобразование, переводящее процесс {xv, &n, л>1} в процесс {хп, п>1},
мы будем называть преобразованием свободного прекращения игры. Есте-
Естественно ожидать, что при таком преобразовании безобидная игра остается
безобидной, а благоприятная игра — благоприятной, т. е. что мартингал
переходит в мартингал, а полумартингал — в полумартингал. Эти свойства
инвариантности и составляют содержание теоремы 2.1. Существенное ис-
использование этой теоремы в § 4 при доказательстве свойств сходимости
мартингалов показывает, что полезнее заниматься вопросами сходимости
последовательностей, а не азартными играми. Хотя теорема 2.1 является
очень частным случаем теоремы 2.2, мы докажем ее здесь отдельно, чтобы
облегчить чтение § 4.
Теорема 2.1. Предположим, что полумартингал (мартингал)
{хп, Jfn, n > 1} в результате свободного прекращения игры преобразуется
в процесс {хп, п>1}. Тогда процесс хп также будет полу мартингалом

§ 2. ПРИЛОЖЕНИЕ К ВЕРОЯТНОСТНЫМ ИГРАМ 27t
{мартингалом). В случае полу мартингала
в случае мартингала
Так как при любом ю величина гп равна одной из величин хх, ..., хп, то-
Предположил, что процесс хп является полу мартингалом. Чтобы показать,
что процесс хп также являетси полумартингалом, мы должны доказать,
что для любого ш-мяожества Л, определяемого условиями, наложенными
на ij, ..., хп, имеет место неравенство
sndP. B.1)
Если т — функция, определяющая прекращение игры (см. определение
преобразования свободного прекращения игры), то х4 (») = гт(„)(и) при
/>т(ш). Поэтому
так как под интегральные функции здесь совпадают. Нетрудно проверить,
используя выражение случайных величин xlt ..., хп через ж,, ..., хп,
что если событие Л определяется условиями, наложенными на хх, ...,хп,
то Ag.izrn. Далее ш-множество {т (ш)-^п), а следовательно, и его допол-
дополнение— множество {m(u>)>n} входят в JFn, Наконэц, из всего этого сле-
следует, что и множество Л \т (и>) >п) входит в JFn. Но тогда, используя свой-
свойство полумартпнгала, находим, что
\ xntldP> ^ xndV. B.3)
A{m((!>)>n} Л{т(ш)>п}
Мы можем заменить здесь под знаками интеграла гп+1 на zn+1 и хп на хп,
так как
^lM^ut11)! Xn((i>) = xn(m)< если m(<o)>n.
Складывая B.2) и B.3), мы получаем соотношение B.1), показывающее,
что процесс хп является полумартингалом. Если процесс хп является мар-
мартингалом, то в B.3), а значит и в B.1) будет знак равенства, так что
процесс хп также будет мартингалом. В обоих случаях хх (ш) = Zj(u>). Сле-
Следовательно, в случае мартингала
В случае полумартингала мы находим, пспользуя свойство полтмартингала,
что
п-1
5 J xndP<E{xn].

272 ГЛ. VII МАРТИНГАЛЫ
Мы хотим теперь, обобщив понятяе свободного прекращения игры,
прийти к понятию свободного выбора. Мы будем говорить, что процесс
{хп, 3F п, п > 1} переходит в процесс {хп, п > 1} в результате преобразова-
преобразования свободного выбора в следующем случае. Пусть тг, т2, ... — конечная
или бесконечная последовательность случайных величин, принимающих
целые значения, обладающая следующими двумя свойствами: с вероят-
вероятностью 1
1 < т1 < тг -< ... < со
Положим
В терминах игр переход от хп к хп соответствует тому, что игрок подсчи-
подсчитывает свой выигрыш (или проигрыш) не после каждой игры, а лишь
в какие-то моменты, зависящие от результатов всех прошлых и настоящей
игр. В частности, если т — целозначная случайная величина, определяющая
преобразование свободного прекращения игры, и если т, определено ра-
равенством
то величины т^ удовлетворяют условиям, наложенным на т^ в определении
свободного выбора, и свободный выбор, определяемый этими т;, приводит
к тому же процессу хп, что и свободное прекращение, определяемое слу-
случайной величиной т.
Теорема 2.2. Предположим, что полумартингал {хп, ?~п, «>1J
*— результате преобразования свободного выбора переходит в процесс
{хп, га>1}. Тогда, если
E{|zn|}<co, п>1 B.4)
и если
Km ^ xNdV = 0, л>1, B.5)
то процесс хп также является полумартингалом, причем
EfoXEizJ, п>1. B.6)
Условие B.4) всегда выполняется, если sup Е {|гп|} < схз.
п
Если выполнены условие B.4) и условие
Цт \ |acjv| «зГР = 0, л>1, B.5')
то неравенство -B.6) можно усилить следующим образом:
& B.6')
если при этом процесс хп является мартингалом, то и процесс хп оказы-
оказывается мартингалом, и неравенства B.6') переходят в равенства.
Каждого из следующих условий Сх — С4 достаточно для выполнения
условий B.4) ц B.5').

5 2. ПРИЛОЖЕНИЕ К ВЕРОЯТНОСТНЫМ ИГРАМ 273
Сг. Величины хп равномерно интегрируемы.
С2. Каждая из случайных величин тп (с вероятностью 1) ограничена
{это условие всегда выполнено в случае преобразования свободного пре-
прекращения).
С3. При всех f
E{m,}< oo,
и существует постоянная^ К такая, что для любого /. с вероятностью 1
при )
С4. Процесс хп является мартингалом, выполнено условие B.4) и су-
существуют случайная величина z>0 с E{z}'<^ оэ и последовательность
целых чисел j\ < /2 < ... такие, что с вероятностью 1
Если заменить в~этом условии величины \х^\ величинами г,-., то из такого
ослабленного условия будет вытекать справедливость соотношений B.4)
ц B.5), даже если процесс хп является всего лишь полумартингалом.
Доказательство будет проведено в несколько этапов.
а) Вывод соотношения B.4) из условия supE {|а;п|} < оо. Фиксируем п
п
и предположим, что преобразование свободного прекращения, определяемое
случайной величиной тяп, переводит процесс {хк, к > 1} в процесс {zk, к^>1),
так что
М(ш), к>тп{ш).
Тогда lim zk = Хт„ = хп с вероятностью 1, причем в силу теоремы 2.1 процесс
А-*оо
{zk, A>1} является полумартингалом. В силу теоремы Фату нам доста-
достаточно показать, что supE {|гй|} < оо. Но
zkdP-E{zk}<
<2 \ _
откуда^ пользуясь тем, что z1 = x1 и что процесс {х}, />1} является полу-
полумартингалом, находим, что
<Ж{\х11\}-Щх1}.
б) Вывод неравенства полумартингала для процесса хп из соотноше-
соотношений B.4) и B.5). Нам нужно доказать, что если («-множество Л задается
условиями, наложенными на хл, ..., хп, если процесс хп является полу-
полумартингалом и если выполняются соотношения B.4) и B.5), то
ntldP. B.7)

274 ГЛ. VII. МАРТИНГАЛЫ
На самом деле мы получим более сильное неравенство, а именно докажем,
что если
то
]xndP<\xnfldP. B.8)
Ч Ч
Положим
ASk = AK(») = /, mntl(a>) = A}, к>),
к
A-ft = A{mn(<o) = /, mml(u))>?}=A.- [J A.r,'_
Тогда
Пользуясь этими соотношениями и неравенством полумартингала, получаем
x.tldP+
xNdP =
^ здеД». B.9)
И A 4N'
При ЛГ —>¦ оо первый член последней строки Этого неравенства стремится к
Следовательно, учитывая B.5), мы видим, что
\а;сЛ><\а:<1сД>+ lim \ XNdP< \ х , dP,
Ау. Aj "-""tjN- Aj
и мы получили, таким образом, искомое неравенство B.8). В частном случав,
когда пропесс хп является мартингалом, неравенство B.9) превращается
в равенство
[ xNdP.
A,w/

Z. ПРИЛОЖЕНИЕ К ВЕРОЯТНОСТНЫМ ИГРАМ 275
Если выполнено предположение B.5'), то, полагая здесь N —> оо, мы полу-
получаем соотношенпе B8), а следовательно, и B.7) со знаком равенства.
Таким образом, в этом случае процесс хп является мартпнгалом.
в) Вывод неравенства B.6) из соотношений B.4) и B.5). Предположим
сперва, что т!(ш)?=1. Тогда, поскольку процесс хп является полумартин-
полумартингалом и поскольку свойство полумартингала инвариантно отноептельно
заданного преобразования свободного выбора, то процесс хп также будет
полумартингалом, так что
так как ^(u^sao (ш), то мы сразу получаем B.6). В случае мартингала
это рассуждение приводит вместо неравенства к аналогичному равенству.
При доказательстве мы пока предположили, что первые случайные вели-
величины процессов хп и хп совпадают. Следующие соображения показывают,
что это предположение в действительности не является ограничением.
В самом деле, положим
J-oMsEW, ^o=^i. mo(u)) = O.
Дополненный процесс {хп, jFn, л>0} является полумартингалом илп
мартингалом тогда и только тогда, когда этим свойством обладает перво-
.начальный процесс; дополненное преобразование свободного выбора мы
определим так, чтобы х0 переходило в х0, а все остальные величины пре-
преобразовывались, как и раньше. Для дополненных процесса и преобразо-
преобразования соотношения B.4) и B.5) или B.5') остаются выполненными, если
они выполнялись и раньше; наконец, Е {х0} = Е [х,]. Поэтому из справед-
справедливости соотношения B.6) для дополненных процесса и преобразования
свободного выбора следует справедливость этого соотношения и для перво-
первоначального процесса и первоначального преобразования. Эти же рассужде-
рассуждения показывают, что если процесс хп является мартингалом и если вы-
выполнены условия B.4) и B.5'), то в B.6) будет на самом деле знак ра-
равенства. Покажем еще, что в предположениях B.4) и B.5') верно правое
из неравенств B.6'). В случае, если процесс хп является мартингалом, это
неравенство превращается в равенство, так как крайние его члены совпа-
совпадают. В случае полумартингала мы, пользуясь неравенством полумартин-
полумартингала, находим, что
XNdP+ ^
<Е{хя}+ ^ l
{mK(<o)>iV}
В силу B.4) п B.5') это неравенство при N—=> со переходит в искомое
неравенство.
г) Каждое из условий СЛ — СА влечет за собой соотношение B.4). Из
условия Cj следует, что supE{ja:n|j < со, а значит, в соответствии с пунк-
п
Tosi а) доказательства вашей теоремы, нз него следует п соотношение B.4).
Справедливость соотношения B.4) можно также легко вывести и из того.

276 ГЛ. VII. МАРТИНГАЛЫ
что в этом случав в силу пункта (II) теоремы 4.1s существует полумартин-
гал {а?, J^n, 1<п<оо}, мажорирующий процесс хп. (Нетрудно показать,
что при условии С1 величины хп являются даже равномерно интегриру-
интегрируемыми.) Если выполнено условие С2, так что случайная величина тп
с вероятностью 1 не превосходит некоторого целого числа Nn, то
Nn
так как хп равно одной из величин xv ... , ху . Если выполнено усло-
условие С3, то положим
При таком определении у) являются неотрицательными случайными вели-
величинами, и с вероятностью 1
\хп(а>)\<УЛ">)+ ¦¦¦ >
В дальнейшем мы будем использовать только факт существования семей-
семейства величин уп, обладающих этими свойствами, и условию С3 можно
было бы придать поэтому несколько более общую форму. Положим
Тогда процесс zn мажорирует процесс хп и
Е{|^„|}= 2
Так как («-множество {тпп (ю) > А}, так же как и его дополнение {mn(u>) < к},
входит в поле ^k_j, то последняя сумма может быть записана в виде
Следовательно, существуют математические ожидания Е {хп} и Е {zn},
причем
Наконец, при условии С4 соотношение B.4) верно по предположению.
д) Каждое из условий C1 — Ci влечет за собой соотношение B.5').
Так как
N-.CO
то при условии Сх (т. е. в предположении равномерной интегрируемости
величин хп) соотношение B.5') выполнено. В случае условия Сг при
достаточно больших N вероятность Р{тп(ш)>Л'} равна 0, так что
при достаточно больших N интеграл в B.5') обращается в 0. При условии

§ 2. ПРИЛОЖЕНИЕ К ВЕРОЯТНОСТНЫМ ИГРАМ 277
С3, пользуясь обозначениями, введенными в пункте г), находим, что
^ \xN\dP<
{mn(u))>iV} {m
причем интеграл, стоящий справа, стремится к 0 при iV—*oo, пбо, как
мы только что доказали, Е {zn} < со. Если выполняется ослабленный
вариант условия С, и процесс хп является полумартингалом, то при /4 > N
n()
Un(.o)>0
21 \
h=N+l fmn(.o)=ftl
< 2
ft=.V+l {m
< [ (\~xn\ + z)dP.
<mnM>JV}
Так как последний член этого неравенства стремится к 0 при N—*со, то
соотношение B.5) доказано. Если процесс хп является мартингалом, то из
условия С4 для этого процесса вытекает ослабленный вариант условия С4
для процесса \хп\, являющегося полумартпнгалом. Следовательно, как мы
только что доказали, соотношение B.5) выполняется для процесса \хп\, а
это эквивалентно соотношевию B.5') для процесса хп.
Следующий пример, из которого можно сделать интересные выводы
для случайного блуждания, иллюстрирует возможность применений тео-
теоремы 2.2 даже в том случае, когда имеется только одна величина ти;-.
Пример 1. Пусть {хп, и>1} — действительный мартингал. Предпо-
Предположим, что
Определим лг^ш) как первый из индексов /, для которых х}(<а) > E{xJ.
Тогда, если применима теорема 2.2, то процесс хп, где п принимает един-
единственное значение 1 и хх = хт , является мартингалом, причем
В этом случае свойство мартингала становится для процесса хп бессодер-
бессодержательным и поэтому выполняется, но последнее соотношение между ма-
математическими ожиданиями является, очевидно, неверным. Следовательно,
условия теоремы 2.2 не могут быть выполнены, и из их невыполнения
вытекает целый ряд результатов. Например (см. условие С3), предположим,
что yv y2, ... — взаимно независимые случайные величины с одинаковой
функцией распределения, и что
ЕЫ = 0, Е{|г/п|}>0,
^„=2 у г

278 ГЛ. VII. МАРТИНГАЛЫ
Тогда процесс хп является мартингалом, и с вероятностью 1
Таким образом, если мы определил! JFn как поле ш-множеств, задаваемых
условиями, наложенными на xv .. . , хп, т. е. условиями, наложенными
на yv ... , уп, то вторая половина условия С3 будет выполняться
с К = Е [\ ух [}, так что должна нарушаться перпая половина этого условия.
Отсюда следует, что поскольку, как известно (си. Чжун и Фукс [1]),
при указанных предположениях о величинах у- всегда
P{supzn(a>)>0} = l,
то "
Ттчыми словами, система, совершающая случайное блуждание, описываемое
цессом хп, наверняка достигнет когда-нибудь положительной полуоси,
н^ математическое ожидание времени до ее достижения равно бес-
бесконечности.
С целью рассмотреть еще один тип преобразованпп, оставляющий инва-
инвариантным свойства мартингала и полумартингала, мы обобщим, следуя
Халмошу, теорему о системах игры из § 5 гл. Ш. Рассмотрим безобидную
игру, т. е., с нашей точки зрения, мартингал {хп, J^nlj л>1}, и положим
так что уп— это выигрыш в л-й игре. Безобидность игры, т. е. свойство
мартингала, выражается в терминах уп в виде условия: с вероятностью 1
Борелевское поле .9-п отражает, как обычно, влияние прошлого вплоть до мо-
момента п. Если игра является безобидной, то игрок обнаружит, что она подреж-
нему кажется безобидной и в том случае, когда ои участвует не во всех
играх, решая вопрос, участвовать ли ему в очередной игре, на основании
результатов прошлых игр. Это означает, что если гп(ш)=1 или 0 в за-
зависимости от того, участвует ли игрок или нет в n-й игре (выигрыш
в этой игре равен уп(и>)), то событие en(u>) = 1 должно определяться ходом
игры до момента п, т. е. должно быть
Пусть тп (ш) — это л-е по порядку целое число /, для которого еДи>) = 1,
так что игрок имеет теперь выигрыши ут , ут , .. .вместо yv у2 ... . Мы
ожидаем, что процесс 1 2
{?у )
снова окажется мартингалом. Для того чтобы предотвратить недоразуме-
недоразумения, мы сфэрмулируем снова наши предположения, уже не ссылаясь на
игры. При atoM, чтобы облегчить сравнение с теоремой о системах игры
из § 5 гл. III, мы сфэрмулируем результаты в терминах процесса yjt а не
процесса ж;.. Мы рассмотрим наряду с мартингалами также и полумартин-
полумартингалы, т. е. наряду с безобидными играми мы допустим и благоприятные
игры.
Пусть {уп, п > 1) — вероятностный процесс и пусть J^x С гР% С . ¦ ¦ —
борелевские поля измеримых ш-множеств, обладающие следующими свой-
свойствами:
(I) Е{|2/„|}<°°. п>1.

5 2. ПРИЛОЖЕНИЕ К ВЕРОЯТНОСТНЫМ ИГРАМ 279
(II) Случайная величина уп или измерима относительно 3-п, или сов-
совпадает почти всюду с величиной, измеримой относительно J-n. Либо
с вероятностью 1 при всех п > 1
(Ш)
либо процесс является действительным и с вероятностью 1 при всех п > 1
Мы будем обозначать наш процесс через {уп, JPп, л>1}, подчеркивая
тем самым роль полей .>-„. Пусть тх, т2, ...—целочисленные случайные
величины, обладающие следующими свойствами с точностью до ш-множеств
вероятности 0:
(IV) 1<т1<щ< ... <оо,
(V) {вуМ =
Определим величины г/;. равенством
Мы будем говорить, что процесс у; получается из процесса г/; при помощи
преобразования свободного пропуска. Если величины г/п взаимно незави-
независимы и имеют одинаковую функцию распределения и если $гп является
борелевским полем ш-множеств, определяемых условиями на ух, ... , уп,
то по теореме 5.2 гл. III величины уп тоже должны быть взаимо незави-
независимыми величинами и иметь ту же самую функцию распределения. Сле-
Следующая теорема показывает, что свойства ' мартингала и полумартингала
также сохраняются при таком преобразовании.
Теорема 2.3. Предположим, что процесс [уп, J^n, n>i}, облада-
обладающий свойствами (I), (II), (Ills), сформулированными в предыдущем абзаце,
преобразуется в результате свободного пропуска ' в процесс {уп, п>1],
причем
Е{|»„|}<«, и>1. B.10)
Тогда процесс уп с вероятностью 1 удовлетворяет соотношению
Е(йщ|У1> ••• , yJ>0, п>1. B.11)
Если условие (Ills) заменить условием (III), то с вероятностью 1 в B.11)
будет иметь место равенство. Условие B.10) выполняется, если выпол-
выполнено одно из следующих условий:
Сх. Каждая из случайных величин т., определяющих преобразование
свободного пропуска, является ограниченной с вероятностью 1 случайной
величиной.
С2. Существует число К такое, что при каждом j с вероятностью 1
Для того чтобы вывести B.11), нам достаточно показать, что для
любого ш-мно/ксства М, определяемого условиями, наложенными на вели-
величины ух, ... , ~уп.

280 ГЛ. VII. МАРТИНГАЛЫ
Мы получим на самом деле более сильное неравенство; именно, мы пока-
покажем, что при
имеет место неравенство
или, что то же самое,
Но последнее неравенство следует из (His), так как М{ ? &j-\ при
/>2. Условие B.10) заведомо выполняется, если каждая из величин /ге}
ограничена с вероятностью 1, так как если mn-%N с вероятностью 1, то
Условие B.10) выполняется также, если выполнено условие С8 нашей
теоремы, так как в этом случае
Достаточным является также следующее более общее условие: с вероят-
вероятностью 1
где а>0. При а = 0 это условие сводится к С%.
§ 3. Основные неравенства
В дальнейшем, когда мы будем писать Е{|а:|}<Е{|г/|}, то мы будем
считать, принимая очевидные соглашения, что это неравенство имеет смысл,
даже если одна или обе его части равны + оо.
Теорема 3.1. Пусть {х,, t^T} —полумартингал.
(I) Математическое ожидание Е {х,} является монотонно неубывающей
функцией от t. Оно тождественно равно постоянной тогда и только
тогда, когда процесс xt~является 'мартингалом.
(II) При любых t0, t^T, таких, что tu<Ctlt имеет место неравенство
E{\xt\}< -E{ar@} + 2E{|a:A|}, to<t<tr
(III) Если величины х, неотрицательны и tx?T, то величины xt с t < <,
равномерно интегрируемы.
(IV) Предположим, что s1>s2> ... , sn?T. Тогда величины х,п
равномерно интегрируемы в том и только в том случае, если
UmE{xSn}> - со.
Я—f ОО
Доказательство пункта (I). Если s < tf то с вероятностью I
х.<Е{х,\х,).
Взяв математические ожидания^ от обэпх частей этого неравенства, мы
получаем
E{xs}<E{xt),

5 3. ОСНОВНЫЕ НЕРАВЕНСТВА 281
причем равенство здесь имеет место тогда и только тогда, когда с вероят-
вероятностью 1 оно илгело место в предыдущем соотношении. Отсюда следует,
что равенство Е {х,} = Е {х,} имеет место при всех s и t тогда п только
тогда, когда процесс х, является мартингалом.
Доказательство пункта (II). Если <0<i<ilt то, используя неравен-
неравенства полумартпнгала и пункт A), находим, что
Доказательство пункта (III). Если ?^<1F то
\ xt d? < ^ xtl dP.
Так как подннтегральные функц;; аеотрицательны, то условие их равно-
равномерной интегрируемости (при i^^) совпадает с условием равномерного
(по t < ?j) стремления величины в левой части этого неравенства к 0 при
X.—»>со. Поэтому достаточно показать, что равномерно по <
lim Р {яг( ((о) > X} = 0.
Но этот факт следует из неравенства
Доказательство пункта (IV). Если величины х,п равномерно инте-
интегрируемы, то sup Е {| a:Srj |} < оо; этот факт совершенно не связан с тео-
п
рией мартингалов. Обратно, пусть HmE{a;Sn}> — оо. Мы хотим показать,
71-М»
что равномерно по п
lim J |*sn|dP=0. C.1)
Пусть
^= lim Efc }.
Тогда в силу пункта (II)
так что вероятностная мера области интегрирования в C.1) стремится к О
равномерно по п при X—»оо. Далее, при n>N
\ |a:,n|iP=» \ xsndP+ \ xsrt rfP - Е {xSn} <
-IT. C.2)
Для любого заданного s > 0 выберем N столь большим, чтобы иметь нера-
неравенство

282 гл. лгп. мартингалы
выберем затем Xt столь большим, чтобы вероятность Р {( a;sn (со) j > Хх} была
(при всех п) настолько мала, что
и, наконец, выбзрем Х2>Х1 настолько большим, чтобы выполнялись нера-
неравенства
\xtn\dB<*. n<N. C.3)
При таком выборе числа Х2 из C.2) п C.3) следует, что
так что соотношение C.1) выполняется равномерно по п, что и требовалось
доказать.
Существуют примеры, показывающие, что утверждение (IV) становится
неверным, если вместо монотонно убывающей последовательности {sn} рас-
рассмотреть монотонно возрастающую последовательность. Именно, мы построим
в дальнейшем полумартингал {хп, l-^n-^oo}, для которого
гп<0, Е{хп}— — 1, п<со, limxn = 0 = xa>
(предельное равенство выполняется здесь с вероятностью 1). В этом при-
примере величины хп не могут быть равномерно интегрируемыми, так как
Е{хп) не сходится к Е{хт].
Используя теорему 1.1, можно получить много довольно очевидных
приложений теоремы 3.1. Например, если {xlt t^T}—действительный или
комплексный мартингал и если при некоторых 1а и я>1, Е {| х1о |а}<оэ,
то процесс \х,\" при t^l0 является полумартингалом, математическое ожи-
ожидание Е{|а;(|а} является монотонно неубывающей функцией от ? и вели-
величины \х, \" равномерно интегрируемы при *</„. Этот результат всегда
применим при я=1, но если я> 1, то величина Е {| ж, |°} может быть при
всех / бесконечной.
Если процесс х, является полумартингалом как в том случае, когда
xt упорядочены в порядке возрастания I, так и в том случае, когда они
упорядочены в порядке убывания I, то, согласно пункту (I) теоремы 3.1,
этот процесс является действительным мартингалом при обоих упорядоче-
упорядочениях. Мы покажем теперь, что любой процесс, являющийся мартингалом
при обоих упорядочениях, обладает тем свойством, что для каждой пары
значений параметра я и t с вероятностью 1 будет xs = xt. Чтобы доказать
это утверждение, достаточно проверить, что если
для всех множеств вида А = {у(ш)? В) и вида Л = \х(ш) ? В], где В—боре-
левское множество, то х = у с вероятностью 1. Мы можем считать, что х
и у действительны. Тогда для каждого действительного с
(y-x)dP= ^ (y-x)dP- \ {y-x)dP =
(y-x)c№ =

3. ОСНОВНЫЕ НЕРАВЕНСТВА 283
(y-x)dP + \ (y-x)dP =
y — x)dP.
Так как подпнтегральная функция в первом члене этого равенства поло-
положительна, а в последнем члене отрицательна, то оба эти интеграла должны
равняться 0, так что
Р {уП > с > х(<о)} =Р {у(ш) < с <х(*)} .-=0.
Теперь, считая с рациональным, находим, что
Р {у (со) = *(»)} < У, Р[г/(и>)>с> *(»)} + 2 Р {y(w)<c<x(w)} = 0,
с с
что и требовалось доказать.
Теорема 3.2. Пусть {х^1 <; /-^ п]—полумартингал иХ— любое дей-
действительное число. Тогда
ХР [max^(ai)>>,}< ^ xndP<'E{}xn]}
}. C.4*)
Для того чтобы проиллюстрировать различные возможности, мы дока-
докажем две частя этой теоремы двумя различными методами. Неравенство
C.4') мы получим сейчас при помощи прямого вычисления. Пусть
Л = {maxZj(«))>A}. Определяй ю-множество 'Ак как множество точек и>,
j
для которых хк (ш)—первое из xj (ш), больших пяи равных X:
Тогда множества Лй определяются условиями, наложенными на величины
х} с /<А; онп не пересекаются друг с другом и (JAft = A. Пользуясь
h
неравенством полумартингала и тем, что ^(ш^Х на множестве Ак, иахо-
днм, чсо
[ 5
k Aft ft Aft ft
откуда и следует C.4').
Докажем теперь неравенство C.4"), опираясь на одну из теорем пре-
предыдущего параграфа, относящуюся к играм. Пусть М = {mina^.(ш)О.)
и пусть для ш g М т (ш) равно первому значению /, при котором xt (и>) ¦< X;
если же и>$Л/, то положим т(и>) = п. Тогда условие т(и>)=к является
условием, наложенным на величины xlt ...,xh. Мы применим теперь пре-
преобразование свободного прекращения, определяемое только что введенной.
величиной т (см. §2). Тогда в обозначениях теоремы 2.1 zn = a:m и в силу
этой теоремы

284 ГЛ. VII. МАРТИНГАЛЫ
так что
E{xt}<E{xn}=\xndP +
м а-м м
откуда и следует C.4").
Доказанная теорема содержит в себе теорему 2.1 гл. Ш (совпадающую
по существу с принадлежащим Колмогорову обобщением неравенства Чебы-
шева). В самом деле, если процесс {xjt 1;/<п} является мартингалом
и если Е {| хп |а} < со, то процесс {i-Zjl2, 1 ¦</<?»} является полумартинга-
полумартингалом, так что, согласно C.4'), при любом е > О
{|,();}{v,!}
Это неравенство в точности совпадает с неравенством B.1') гл. III.
Пусть tj, ..., ?п—любые действительные числа и г}, г^—действитель-
г^—действительные числа такие, что гх < г2. Числом пересечений интервала [гг, г2] пос-
последовательностью ?lt ..., ?„ мы будем называть число переходов в этой
последовательности от значений, меньших г,, к значениям, большим г2.
Точнее, пусть tVl—первое из тех ^ (если только такие ?t существуют),
для которых Sj-sJ/-!, и вообще пусть ?v.—первое из «4 после ?v (если
только такие 54 существуют), для которых
?г^"г2 (если /—четно),
^i<ri (если /—нечетно),
так что
Тогда число пересечений равно {3, где 23 является наименьшим четным
числом /, для которого определена величина 5-»>и Р=0, если не опреде-
определена величина SV2.
Теорема 3.3. Шустъ {кр 1 </< п} — полумартингал и Р(и>) - число
пересечений интервала [гх, г2] выборочной последовательностью [21 (ш), ...
...,хп(ш)]. Тогда
Чтобы доказать эту теорему, предположим сперва, что величины х}
неотрицательны и что гх = 0. Определим функции v,, ..., vn от ш при по-
помощи величин ?1 = ж1(и>) ,..., Jn = хп((о) так, как это сделано выше, и по-
положим Vj(u>) = n + 1, если описанное выше построение не придает величине
Vy(u>) определенного значения. Величины v^ и р оказываются теперь слу-
случайными величинами. Определим случайные величины и2, ..., ип, х равен-
равенствами
и;.(ш) = | 1, "»4(ш) < /^^i^iC")) (i—четное число),
(О, \(">) < /<viti@>) (i—нечетное число),
Тогда
{в. (Ш) = 1} = у [{v{ (о>) < /} — {vi+1 (ш) < /]] (j—четное число),
так что это ш-множество определяется условиями, наложенными на
хх, .. .,Х)_-у. Следовательно, в силу свойства полумартингала должно выпол-

§ 3. ОСНОВНЫЕ НЕРАВЕНСТВА
няться неравенство
Отсюда вытекает, что
п
E{x) = E{xJ + 2 ^ (*,-*м)<*Р>0. C.6)
y=2{Uj(<i>)=l}
С другой стороны,
и значит
0<Е{*}<Е{*п}-г,Е{р},
что и требовалось доказать. В общем случае, когда Xj не обязательно не-
неотрицательны и не обязательно гг=0, положим
г5(ш) = тах[а^(ш) — гг, 0].
Тогда, согласно пункту (I) теоремы 1.1, процесс х] будет полумартингалом.
Число пересечений интервала [г17 г2] последовательностью х. (ш) равно чис-
числу пересечений интервала [0, r2 rt] последовательностью xj (ш). Сле-
Следовательно, мы можем применить только что выведенный частный случай
теоремы и получить, что
а это и требовалось доказать.
Следующая теорема уточняет теорему 3.2. Важной чертой обеих этих
теорем является то, что в их формулировках не используется число п слу-
случайных величин, образующих полумартингал, так что обе теоремы примо-
нимы к мартингалам с бесконечным числом случайных величин, если
только среди этих случайных величин есть последняя.
Теорема 3.4. Если {х^ 1</<п}—полумартингал и величины х^
неотрицательны, то
Е (max г?} <
i
^ +
C.7)
йаметим, что коэффициент во втором неравенстве является убывающей
функцией от а, стремящейся к е, когда а—»оо. Учитывая теорему 3.2, мы
видим, что C.7) вытекает сразу из следующей теоремы 3.4'. Мы приво-
приводим эту- теорему отдельно для того, чтобы использовать ее при дальней-
дальнейших ссылках, а также потому, что она представляет самостоятельный
интерес.
Теорема 3.4'. Если х и у — неотрицательные случайные величины,
для которых при всех \ > 0 выполняется неравенство
C.8)
то
+
1

ГЛ. VII. МАРТИНГАЛЫ
Доказательство. Пусть \F—монотонно неубывающая функция от X,
Х>0, причем ЧГ(О) = О. Тогда
со со
Е {Ф (у)} = - ^ 1" 00 ^р {У (ш) > М < ^ р B/ (ш) > М «W W <
о о
^^^>. C.9)
{им?».} а о
Для того чтобы доказать первое из неравенств C.7'), положим
X,
Тогда в силу C.9)
E{2/-l}<E{<F(y)}< ^ xlogydP.
{иЙЯ>
Учитывая неравенство
a\ogb< a\og*a + — (a>0, b>0),
видим, что отсюда сразу следует первое из неравенств C.7'). Чтобы дока-
доказать второе из неравенств C.7'), положим
Тогда в силу C.9) будем иметь
применяя неравенство Гельдера, получаем отсюда, что
Возводя здесь обе части в степень а, приходим к искомому неравен-
неравенству C.7').
§ 4. Теоремы о сходимости
В настоящем параграфе мы докажем ряд теорем о сходимости мартин-
мартингалов и полумартингалов. Теоремы, относящиеся к полумартингалам, лишь
немногим слабее соответствующих теорем о мартингалах. Однако для достиже-
достижения большей ясности мы будем формулировать теоремы для мартингалов
и полумартингалов отдельно, в связи с чем нам придется допустить неко-
некоторое дублирование.
Если xt, xit ...—случайные величины, образующие . тингал, и если
Е{|а^,Р}<оо, то, как мы уже знаем, величину хп можно представить в
виде
где величины yt ортогональны. Следовательно,

§ 4. ТЕОРЕМЫ О СХОДИМОСТИ 2Я7
так что E{|arni2} не убывает с ростом п, как и должно быть в силу пункта
(I) теоремы 3.1. В соответствии с теоремой 4.1 гл. IV \Л.т.хп существует
тогда и только тогда, когда 2 Е (I У] Н <°°> т- е- тогда п только тогда.
i
когда Нт Е {| хп \-} < со. Следующая теорема уточняет этот не очень глу-
П-*0О
бокий результат.
Теор'ема 4.1. Пусть процесс {zn, .Fn, n > 1} является мартинга-
мартингалом. Тогда в силу пункта (I) теоремы 3.1
(I) Если lim Е{\хп\}=К <со, то с вероятностью 1 существует
lima;n = a:oe в Е [\х^[] < /С. 5 частности, неравенство К—»со имеет место,
П-»оэ
если все величины хп действительны и неотрицательны или же все они дей-
действительны и неположительны.
(II) Следующие условия являются эквивалентными:
а) К < оо и случайные величины xlt х2, ..., х^ образуют мартингал.
б) Случайные величины хх, хг, ... равномерно интегрируемы.
в) #<оэ и Е{|^!} = Я.
г) .ЙГ < оэ в lim E {] х„ — л;п |} = 0.
выполнены эти условия и если J^^—наименьшее борелевское поле
ш-множеств, содержащее [J &п, то процесс {хп, &п, 1 < л< ее} являет-
п
ся мартингалом.
(Ill) Если при некотором а>1 имеет местонеравенстеоМт Е {|a:n|tt}<co,
П-+со
«о выполняются условия пункта (II), Е{|жоэ|а}< оэ и
Обратно, если выполнены условия пункта (II) к если Е {| жга j"} < со
некотором а > 1, то
EflxJ'XEfl^l»}, п>1.
(IV) Если величины хп действительны и если
Е {sup (*ntl - хп)) < оо К = 0), D.1)
то предел Пт жп(ш) существует и конечен для почти всех ш, для которых
П-*со
lim xn («))< оэ.
(V) Если
Efsupla^-VfXoo (^o = O), D.2)
то с точностью до ш-множеств вероятности 0 предел lim ж„(ш) существует
в конечен для тех и только тех ш, Зля которых
1Е{| *«¦!-*» 1*1.^»} < СО.
Эта теорема является вариантом в узком смысле теоремы 7.2 гл. IV.
Доказательство пункта (]). Это утверждение теоремы достаточно
доказать только для действительного случая, и мы будем считать поэтому,
что все величины хп дейстпнтслыш. Предположим, что А'<со. Пусть хг

288 ГЛ. VII. МАРТИНГАЛЫ
и х* — соответственно нижний и верхний пределы последовательности {хп}.
Тогда
{х*(ш) — хщ(и>)Ф 0}= (J {ж*(ш)> г2>г1>г,(ш)} (t-j — рациональны). D.3)
Г1-Г2
Фиксируем гх и г2 > г1 и обозначим через ^„(ш) чпсло пересечений интер-
интервала [rlt r2] последовательностью xl{ai), ..., хп(и>). Если х*{ф) > г2 > гх >
>-г*(и)). то Рп> монотонно возрастая, стремится к со. В то же время в силу
теоремы 3.3
Из этих двух фактов следует, что каждое из слагаемых в D.3) имеет
вероятность 0, так что х* = хш с вероятностью 1 и, значит, с вероятностью 1
существует конечный или бесконечный предел lim xn = х^. По лемме Фату
|жет[<со с вероятностью 1, и
Е{\Хсо\}<ПтЕ{\хп\}=:К.
П->со
Далее, равенство здесь имеет место тогда и только тогда, когда величины
хх, xz, ... равномерно интегрируемы. В частности, если все хп неотрица-
неотрицательны или же все неположительны, то, как следует из пункта (I) тео-
теоремы 3.1,
Е {] хп)} = Е {хп} = const, или Е {| хп |} == — Е {хп} == const.
и, следовательно, К <Z со. И вообще, если мы положим хп = х^ — Хп, где
хп и хп неотрицательны, ri К будет конечно, если Е {х„} или Е {х„} огра-
ограничены при всех п. В самом деле, первое утверждение следует, например,
из равенства
Таким образом, К конечно, если величины хп равномерно ограничены
сверху или снизу случайной величиной, имеющей математическое ожи-
ожидание.
Доказательство пункта (II). Если выполняется условие б), то К < со.
Следовательно, при любом из условий а) —г) пункта (II) К < со, так что
во всех этих случаях определена величина х^. Условия в) и г) являются
просто необходимыми и достаточными условиями для равномерной инте-
интегрируемости почти всюду сходящейся последовательности функций, и в них
нет ничего специфически связанного с мартингалами. В силу пункта (III)
теоремы 3.1, примененного к процессу \хп\, из условия а) следует усло-
условие равномерной интегрируемости б). Обратно, если имеет место равно-
равномерная интегрируемость, то для того, чтобы проверить выполнение усло-
условия а), т. е. чтобы показать, что процесс {хп, jFn, 1<л<со} является
мартингалом, надо показать, что с вероятностью 1 при каждом (конечном) п
т. е. надо показать, что
^ D.4)
Поскольку первоначальная последовательность нвляется мартингалом, то
при т. > га
[ xmdP= ^ E{xm\&JdP = [ xndP.
i a a

§ 4. ТЕОРЕМЫ О СХОДИМОСТИ 289
При т —> со с вероятностью 1 будет хт —* х^, и так как имеет место
равномерная интегрируемость, то можно перейти к пределу под знаком
интеграла в левой части равенства и получить искомое равенство D.4).
Доказательства пункта (III). Если при некотором а > 1 выполняется
веравенстио Jim Е {|гп|°} < со, то пз ограниченности этой сходящейся после-
П-»со
довательностя математических ожидавши следует равномерная интегри-
интегрируемость величин хп, так что здесь выполняются условия пункта II.
По лемме Фату
Е{|Г}11Е{|Г}< «¦
Поэтому в силу пункта (III) теоремы 3.1 или в силу более глубокой
теоремы 3.4 последовательность {!¦?„)"} (а следовательно, также п после-
последовательность {| гга— хп\"}) является равномерно интегрируемой, так что
из сходимости хп к Хсо с вероятностью 1 следует, что ИтЕ,{\хсо — ?пП = 0.
Обратно, если выполнены условия пункта (II), то Е {| хп |"} < Е {| х^ I"}
в силу пункта (I) теоремы 3.1.
Доказательство пункта (IV). Предположим, что выполнено условие
D.1). Пусть N — произвольное положительное число. Обозначим через т (ш)
первый индекс /, для которого xi(co)>./V; если же такого индекса нет,
го положим яг(ш)= 4-со. Определим величины хп равенством
<»>'¦ если »<*(»). D.5)
(Ш) (">), если п > т (ш),
и положим w = sup (х г1— хп). Условие т(ш) = к является условием,
наложенным на величины xlt ..., xk, я поэтому процесс х^ получается
из процесса хп прп помощи преобразования свободного прекращения, опре-
определяемого случайной величиной т. Значит, в силу теоремы 2.1 процесс
{х^, п>1] является мартингалом. Далее, х^ < AJ 4- w. Согласно замеча-
замечанию, сделанному в конце доказательства пункта (I), из того, что вели-
чины хп ограничены сверху случайной величиной, имеющей математиче^
ское ожидание, следует, что последовательность Е{|.г„ |} (л>1) ограни-
ограничена. Из пункта (I) теперь следует, что предел lim x^ существует
TV-ЮЭ
и конечен с вероятностью 1. Так как
a4N>(u>) = .rn(io), если sup x} (u>)<iV,
то отсюда след}гет, что предел lim xn (<в) существует и конечен для почти
п-*со
всех ш, для которых sup^n(m)^Ar, т. е., так как N произвольно, для почти
п
всех ш, для которых lim xn (ш) < со.
Доказательство пункта (V). Пусть N — произвольное положительное
число и m{w) — первое целое /, для которого | а:^ (ш) J > N; если такое /
не существует, то положим т (ш) = 4- оэ. Определим процесс х-п ' прп помощи
равенства D.5) п обозначим через W2 верхнюю грань в соотнотенип D.2).
Тогда, так же как и в пункте (IV), пропосс х^ получается пз процесса хп
при помощи преобразования свободного прекращения. Согласно теореме 2.1,
процесс {хп\ п^-Ц является мартингалом и
N -f W, Е {| х^> |2} < 2№
-

290 ГЛ. VII. МАРТИНГАЛЫ
Таким образом, здесь выполнены условия пункта (III), и, значит, после-
последовательность {хп \ л>1} сходится с вероятностью 1 и сходится в сред-
со
нем. Так как ряд 2 (^ti+i — ^n}) состоит из взаимно ортогональных вели-
величин и сходится в среднем, то в силу теоремы 4.1 гл. IV
Поэтому с вероятностью 1
так как операция Е{ —}, примененная к членам этого ряда, приводит
снова к сходящемуся ряду. Далее,
0, Л>7И(а>),
так что неравенство
хп?\&п)<со D.6)
имеет место почти всюду, где лг(ш)=ро, и, так как iV произвольно, почти
всюду, где существует и конечен lim хп. Тем самым доказано одно
П-*СО
из утверждений пункта (V). Чтобы доказать обратное утверждение, опре-
определим т(»>) как наименьшее целое /, для которого
.2 Е{\хи1-х^\<Р,)>.Ч,
а затем определим величину х(п ' при помощи соотношения D.5). Тогда,
как и раньше, процесс {х(п \ л>1} оказывается мартингалом, и имеет
место равенство
со т— 1
1 n=l
Беря здесь математические ожидания, находим, что
2°° F Г I т(!у) r^I'l-limFflT'"' ¦-A?'><4^N
cj {I xn+i — xn | j = urn & {| xn —?i i ) <;. iy,
1 П-+О0
так что величина Е {| аг„ |2} остается ограниченной при га—э-оо. Поэтому
из пункта (III) следует, что с вероятностью 1 предел lim arjf* существует
и конечен, и следовательно, так как N произвольно, что предел
1гагп(ш) существует почтя всюду, где яг(ш) = со, т. е. почти всюду, где
выполнено D.6).
Если последовательность xlt хг, ... является мартингалом и если
lim E{|.rn|} < со, так что существует предел lim.rn=.rOD, то отсюда вовсе
п-юо П-»со
не следует, что мартингалом будет также последовательность xv х2, ..., хт.
Другими словами, пункт (!) теоремы 4.1 описывает более общий случай,
чем пункт (II). Существуют простые примеры, подтверждающие этот факт;
однако мы не будем приводить эти примеры здесь, так как они появятся

§ 4. ТЕОРЕМЫ О СХОДИМОСТИ 291
естественным образом в § 8. В § 5 мы увидпм, что условия пунктов (I)
и (II) становятся эквивалентными, если разности {xntl — хп] взаимно неза-
независимы, т. е. еслп хп являются частными суммами ряда из взаимно неза-
независимых случайных величин.
Приводимые ниже следствия показывают силу теоремы 4.1. В после-
последующих параграфах будет дано много других приложений этой теоремы.
Следствие 1. Пусть уг, у„, ...—последовательность равномерно
ограниченных неотрицательных случайных величин и пусть
Pi = Е {У} 12/i Vj-i}-
оэ
Тогда ряд 2у>(ш) сходится для почти всех ш, для которых сходится ряд
оэ
1 Pj(u>), и наоборот.
п
Если ?„ = 2! (Vj — P,)> то процесс {хп, я>1} является мартингалом.
Применяя к этому процессу и к процессу { — хп, л>1} пункт (IV) тео-
теоремы 4.1, находим, что почти всюду существует предел Jima;n(tu) и что
этот предел конечен-при тех ш, для которых
lim гп(ш)<со или limrn(«>) > — со.
Далее,
Р{Птж„(ш)=оо}=Р{Нтж„(ш)= -оэ} = 0,
П—КО 71—>ОЭ
и отсюда вытекает, что рассматриваемые в этом следствии ряды должны
с вероятностью 1 сходиться вли расходиться одновременно, что и тре-
требовалось доказать.
Следствие 2. Пусть Mlt M2, ... — измеримые w-множества и пусть
рл —условная вероятность Мп относительно Mlt ..., Mn_t, т. е. относи-
относительно поля, порождаемого этими множествами. Тогда множество точек ш,
содержащихся в бесконечно многих М;, и множество точек расходимости
со
ряда 2 Pj (m) отличаются не больше, чем на множество меры 0.
Это следствие формулируют иногда более наглядным образом, говоря,
что с точностью до вероятности 0 бесконечно много событий из заданной
последовательности событий Elt E2 происходит тогда и только тогда,
когда расходится ряд, составленный из условных вероятностей собы-
событий Е^ относительно предшествующих событий. (Заметны, что эти услов-
условные вероятности являются, вообще говоря, не константами, а случайными
величинами.)
Это следствие является обобщенпед! леммы Бореля — Кантеллп (тео-
(теорема 1.2 гл. III). Оно получается, как частный случай следствия 1, если
положить уп(ш)=1 или 0 в зависимости от того, входит ли <» в множе-
множество Мп или нет.
Следующая теорема представляет собой аналог теоремы 4.1, отно-
относящийся к полумартингалам.
Теорема 4.1s. Пусть процесс {хп, jFn, л>1} является полумартин-
полумартингалом, и пусть ,-?'о,— наименьшее борелевское поле ^-множеств, содержащее
со
U ,Fn. Тогда в соответствии с пунктом (I) теоремы 3.1

292 ГЛ. VII. МАРТИНГАЛЫ
(I) Если sup Е{|жп|} < оо, то с вероятностью 1 существует предел
п
lim хп = хоа, причем Е {|ж«,[} < оо. S частности, если величины хп неполо-
П-*СО
житслъны, то математическое ожидание E{ja;n|} является монотонно
невозрастающей функцией от п, так что в этом случае условие
sup Е {| хп |} < оо всегда выполнено; если величины хп неотрицательны, то это
п
условие сводится к условию lim Е {хл} = К < оо. В этом последнем случае
{}
(II) а) Если величины хп равномерно интегрируемы, то
supE{a;n} < оо, lim E{ |ж«, — жп'|} = 0,
процесс {хп, JFn, 1<л<оо} является полумартинга-гом и мажорируется
некоторым полумартингалом относительно тех же самых полей.
б) Если supE [\хп\} < оо, так что существует х^,, и если, процесс
п
{хп, 1<л<оо} является полумартингалом, то
11тЕШ<ЕЫ, D.7)
причем равенство здесь имеет место тогда и только тогда, когда вели-
величины хп равномерно интегрируемы. В частности, оно всегда имеет место,
если хп неотрицательны.
(III) Предположим, что величины хп неотрицательны. Тогда
Если lim E {x*} < оо при некотором а > 1, то величины х„ равномерно
интегрируемы и
Обратно, если хп равномерно интегрируемы и если Е {x^J < оо при неко-
некотором <х> 1, то
n-t-co
(IV) Если
E{supK+l-E{zntl|^n}]}<co, D.8)
то предел Пт хп (ш) существует и конечен для почти всех и>, для которых
lim хп (со) < оо.
П-и»
(V) Если
l*n+l- E {xMl\ &n)f} < оо, D.9)
то (с точностью до ^-множества вероятности 0) предел Iimxn(u>) суще-
ствует а конечен для тех и только тех ш, для которых
S [E Ktl | ^„} - Е'{хя
, со,

§ i. ТЕОРЕМЫ О СХОДИМОСТИ 293
Доказательство пункта (I). Метод доказательства пункта (I) тео-
теоремы 4.1. [являюшегося частным случаем пункта (I) теоремы 4.1s] прило-
приложим без изменения к доказательству существования предела х„, и в рас-
рассматриваемом случае полу мартингала. Мы однако приведем здесь другое
поучительное доказательство, которое сводит искомый результат к соот-
соответствующему результату для мартингалов. В соответствии с пунктом (II)
теоремы 1.2 пз предположений пункта (I) следует, что величины хп можно
представить в виде
где процесс {х'п, jFn, л>1} является мартингалом, величины А, неотри-
неотрицательны, последовательность Е {| х'п \} (i > 1) ограничена, с вероятностью!
«О СО
2 А- < °° и 2 Е i-^,} < °°' Следовательно, согласно пункту (I) теоремы 4.1
1 1
предел lima:n = 2:,U существует и конечен с вероятностью 1, так что
с вероятностью 1
GO
lim 1„ = 1ш+ЕД(=*»'
П-+ОЭ 1
Утверждения пункта (I) являются тривиальными следствиями этого резуль-
результата.
Доказательство пункта (II). Заменим предположения пункта (I) более
сильными предположениями пункта (II) а), состоящими в равномерной
интегрируемости величин хп. Чтобы доказать, что процесс
{хп, &п, 1</г<со}
является полумартингалом, нужно проверить, что с вероятностью 1
Это можно показать прямым методом так же, как и в случае мартингала.
Представляет интерес, однако, следующий метод доказательства. Согласно
пункту (Ш) теоремы 1.2, величины хп в рассматриваемом случае равно-
равномерно интегрируемы. Поэтому из пункта (II) теоремы 4.1 следует, что про-
процесс {Хп, &п, 1<га<оо} является мартингалом, так что с вероятностью 1
что и требовалось доказать. Далее, если мы обозначим через х„ величину
в правой 'части неравенства
то процесс хп будет мажорироваться полумартингалом {х„, JFn, 1<га<Тоо}.
Этот результат дополняет собой результат пункта (IV) теоремы 1.2. Пред-
Предположим теперь, что выполнены условия пункта (И) б). Тогда неравен-
неравенство D.7) следует из неравенства полумартингала. Далее, так как удвоен-
удвоенные положительные части величин хп образуют полумартингал
то в силу пункта (III) теоремы 3.1 случайные величины \хп\ + хп раввг
мерно интегрируемы. Следовательно,
Jim

294 ГЛ. VII. МАРТИНГАЛЫ
(в частности, в соотношении D.7) имеет место равенство, если величины хп
неотрицательны). С другой стороны, согласно лемме Фату,
НтЕ{\хп\-хп}>Е{\ха>\-ха1}.
Комбинируя эти два соотношения, находим снова, что в нашем случае
выполнено соотношение D.7), и что в D.7) равенство имеет место тогда
и только тогда, когда пмело место равенство при использовании леммы
Фату, т. е. когда отрицательные части величин хп равномерно интегрируемы.
Так как мы уже показали, что в наших предположениях положительные
части величин хп всегда равномерно интегрируемы, то отсюда следует, что
в D.7) равенство имеет место тогда и только тогда, когда хп равномерно
интегрируемы.
Доказательство пункта (III). Если величины хп неотрицательны,
то величины х"п образуют полумартингал для любого а > 1, при котором
они имеют конечные математические ожидания. Следовательно, Е {а?}
не убывает с ростом п. Если
lim Е {х°п} < оо
при некотором а > 1, то величины хп равномерно интегрируемы; этот вывод
совершенно не связан с теорией мартингалов. Поэтому в соответствии
с пунктом (II) существует предел Як,, и процесс {хп, jpn, 1<л<оо}
является полумартингалом. По лемме Фату Е{а?)}<оо; следовательно,
согласно пунку (I) теоремы 1.1, процесс {а:*, 1<л<оо) также является
полумартингалом. Так как случайные величины, образующие этот, полу-
полумартингал, неотрицательны и так как среди них есть последняя, то в силу
пункта (III) теоремы 3.1 эти величины равномерно интегрируемы. Переход
к пределу под знаком интеграла приводит к соотношениям
sup Е {&} = lim E {xl} = Е {а?,} < с»,
1% П—«О
НтЕ{|жа>-аЕ„|<1} = 0.
Для того чтобы доказать обратное утверждение пункта (III), достаточно
заметить, что если {хп, 1<л<оо} — полумартпнгал, образованный неотри-
неотрицательными случайными величинами, и если Е{а?,}<оо, то в силу
пункта (I) теоремы 1.1 процесс {а?, 1<л<оо} также является полумар-
полумартингалом, так что, согласно неравенству полу мартингала,
Мы уже видели, что так как хп неотрицательны, то в пределе при га—> со
имеет место равенство.
Доказательство пунктов (IV) а (V). Используя обозначения, введен-
введенные в соотношении D.10), находим, что
*»1 ~ Е fowl1 &п} = <ц - Х'п,
С помощью этих соотношений утверждения пунктов (IV) и (V) сводятся
к соответствующим утверждениям (IV) и (V) теоремы 4.1, примененным
к мартингалу х'п. Заметим, что при Е [sup (xntl — xn)} < оо выполняется
условие D.8).

§ i. ТЕОРЕМЫ О СХОДИМОСТИ 295
Заметим, что как в этой теореме, так и в теореме 4.1 мы использовали
степенную функцию
только потому, что мы имели в виду некоторые приложения; с тем же
успехом мы могли бы взять любую выпуклую монотонно неубывающую при
s>0 функцию Ф, для которой
1 • ф(»)
lim —— = со.
Теорема 4.2. Пусть процесс {хп, з?п, л< — 1} является мартин-
мартингалом. Положим
Тогда предел lim жп = г_«, существует и конечен с вероятностью 1,
а процесс {хп, J-n, —оо<;л< —1} также является мартингалом. Вели-
Величины хп равномерно интегрируемы и
Е{|х_м|}= lim E{[zJ}<...<E{|a;_2|}<E{|a;_1|}. D.11)
Если при некотором а>1 математическое ожидант Е {) х_г\"} конечно, то
Эта теорема является вариантом в узком смысле теоремы 7.3 гл. IV.
Достаточно доказать существование предела ж-,*, в действительном случае,
и поэтому мы предположим пока, что хп действительны. Пусть хх и х* —
соответственно нижний и верхний пределы последовательности {хп}. Фикси-
Фиксируем числа rx и г2 и обозначим через рт (ш) число пересечений интервала
[/*!, г2] выборочной последовательностью хт(ш), ...,z_i(u>). Тогда для каж-
каждого to, для которого х* (ш) > г2> гг> хг(ю), величина ?т(ш) при т—=>— оо
монотонно стремится к бесконечности. С другой стороны, в силу теоремы 3.3
и поэтому для любой пары чисел гх и га
Так же, как и при доказательстве пункта (I) теоремы 4.1, отсюда следует,
что xt*=x* с вероятностью 1, а значит, и что существует предел
lim хп = ж_«,, являющийся конечной или бесконечной случайной вели-
rt—¦¦—с»
чиной. При любом а>1, для которого
процесс {|а;^|, — оо<л< — 1} является полумартингалом. Так как этот
полумартингал образован неотрицательными случайными величинами, то
в соответствии с пунктом (III) теоремы 3.1 эти величины равномерно
интегрируемы. Отсюда следует (при а = 1), что х^т принимает с вероят-
вероятностью 1 конечные значения, что
lim EflzJ^Eflz^l}, lim E {!*_»-zn|} = 0
л-* —с» П-*—а>
и что то же самое верно и для степени а>1, если только существуют
соответствующие математические ожидания. Покажем теперь, что х _«>

298 ГЛ. VII. МАРТИНГАЛЫ
совпадает с Е [х_г | ^г_оо}. Для этого надо проверить, что для любого Л ? ^г_ж
Но из равенства мартингала и того факта, что Ag^n при каждом га,
следует, что
При л—>— оо это соотношение и переходит в искомое равенство (ввиду
равномерной интегрируемости хп).
Теорема 4.2s. Пусть \хп, Щп, п < — 1} — полу мартингал. Тогда
предел iim xn = a:_co существует с вероятностью 1 и с вероятностью i
— оо < х_00 < оо. Положим
в салу пункта (I) теоремы 3.1
Iim E{xn}=K> — оо,
71-*-—ОЭ
то величина г_оо конечна с вероятностью 1 в
Iim E{a;n}=A'=E{a;_oo}, Iim Е {| г.*, - zn |} = 0.
П—*- —ОО П~*- —ОЭ
Кроме того, процесс {хп, JFn, — оо<п<—1} является полумартингалом,
образованным равномерно интегрируемыми случайными величинами. Если
величины хп неотрицательны и если при некотором а > 1 математи-
математическое ожидание E{a;li} конечно, то
Метод доказательства теоремы 4.2 применим без существенных изме-
изменений и к этой более общей теореме. Если хп = п, то К = — оо и г_оо = — со
с вероятностью 1. В то же время из теоремы 3.2 легко выводится, что
sup хп < со с вероятностью 1, так что то же самое верно и для величины х^т.
Приводимое ниже доказательство для случая К > — оо помогает уяснить
тесную связь между мартингалами и полумартингалами.
Если предел , Iim E {хп} конечен, то ряд
все члены которого неотрицательны, сходится с вероятностью 1, так кав
математические ожидании его частных сумм мажорируются величиной
E{*J- Iim E{*J.
Далее, определим величины х'п так, чтобы
*» = «» +5

§ 4. ТЕОРЕМЫ О СХОДИМОСТИ 297
аналогично тому, как это мы делали в A.5'). Процесс {х„, 3-п,п-^.-—1[
является мартингалом, и, следовательно, по теореме 4.2 предел \\шхп = х'-а,
п—оз
существует и конечен с вероятностью 1, и процесс {х'п, :?п, — оо<в< —1}
также является мартингалом. Поэтому с вероятностью 1
lim Хп = Х_а, = Х'_аь.
П-*—оэ
Для того чтобы показать, что процесс {хп, &п, —оо<л< —1} является
полумартиягалом, остается проверить, что с вероятностью 1
но так как слагаемые в соотношении D.12) неотрицательны, то
Е {хп | J?_OT} > Е {х'п | jf-o°] = г.,».
Величины хп равномерно интегрируемы, поскольку равномерно интегрируемы
как величины х'п [в силу вункта (III) теоремы 3.1], так и суммы, входящие
в D.12), так как они мажорируются суммой сходящегося ряда [равномер-
[равномерную интегрируемость хп можно получить и из пункта (IV) теоремы 3.1).
Наконец, если хп неотрицательны и если
Е {*_»}_< оо
при некотором а>1, то процесс х* является полумартингалом, образован-
образованным неотрицательными случайными величинами и содержит последнюю
случайную величину, так что в силу пункта (III) теоремы 3.1 величиаы х%
равномерно интегрируемы; переходя к пределу под знаком интеграла, мы
находим, что
lim E {| *_,-*„ Г) = 0.
Теорема 4.3. Пусть ъ — случайная величина, у которой Е{!г|)<оо,
и ... СdFxC&iC ¦ • • —последовательность борелевских полей измеримых
и>-множеств. Пусть 3:-<а=[\3:п и J^oo есть наименьшее борелевское
п
поле множеств такое, что JF<x,ZD{J -SP^- Тогда с вероятностью 1
п
lim Е{г|^п} = Е{г|^_оо}, \
limE{z|^n} = E{Z|^co}. *
Положим
гп = Е{г|^„}, -оо<га<со.
Так как последовательность ?Fn не убывает с ростом л, то (см. пример 1 § 1)
процесс [хп, .?п, — оо<л<оо} является мартингалом, и первое из соот-
соотношений D.13) оказывается простым следствием теоремы 4.2. Процесс
{|гп|, —oo<re-<oo} является полумартингалом, образовааныи неотрица-
неотрицательными случайными величиаами, и содержит последнюю случайную
величину. Следовательно, в соответствии с пунктом (III) теоремы 3.1
случайные величины этого процесса равномерно интегрируемы. Поэтому
в силу пункта (II) теоремы 4.1 предел lim in = у существует с вероят-
яостьго 1, и если заменить величину ж,*, на у, то процесс {хп, JFn, 1 ¦< га< оо}
будет мартингалом. Чтобы показать, что величины у и хх совпадают, и тем
самым доказать второе из соотношений D.13), заметим, что условное
математическое ожидание хт характеризуется (с точностью до со-множества
вероятности 0) следующими двумя условиями: оно равно почти всюду слу-
случайной величине, измеримой относительно &т и его интеграл по любому

298 ГЛ. VII. МАРТИНГАЛЫ
множеству из поля '&&, совпадает с интегралом по тому же множеству
величины z. Если А ? Jpnt то применяя равенство мартингала, мы находим,
ydP= \ xndP=[ zdP.
Так как крайние члены равны при всех Ag :f-n, а следовательно, и при всех
Л ? у &п, то, они равны и при всех А ? J^. В самом деле, так как JFa,
есть по определению борелевское поле, порожденное полем (J сРп, а крайние
¦л
члены приведенного выше равенства определяют две вполне аддитивные
функции на множествах из JFca, совпадающие на множествах (j ^ni To>
п
следовательно, эти функции совпадают на всем .у-т (см. дополнение,
теорема 2.1). Таким образом, величина у удовлетворяет условиям, харак-
характеризующим Хсо, так что эти две величины совпадают с вероятностью 1,
что и требовалось доказать.
Заметим, что если поля jFn определены только для достаточно больших
или для достаточно малых значений п, то остается выполненной соответ-
соответствующая половина теоремы 4.3.
Приводимое ниже следствие относится к наиболее важному частному
случаю теоремы 4.3.
Следствие 1. Пусть z — случайная величина, для которой
Е {] г j} < оо, и ух, у2, ... —произвольные случайные величины. Тогда, если
$fn есть борелевское поле ш~м; ожеств, определяемых условиями, наложен-
наложенными, на величины ys с />д, то с вероятностью 1
{|ynyllrtf} {in11}.
П-*ОО 1 D.13')
lim E{z|yiI .... yn} = E{z|^, y2, ...}.
В частности, если случайная величина z измерима относительно семейства
величин уу то второй предел равен просто ъ.
Первое из этих соотношений сводится к первому из соотношений D.13)
при SF^= <!fn. Чтобы свести второе из соотношенийD.13') ко второму из соот-
соотношений D.13), отождествим с ЛРп борелевское поле ш-множеств, опреде-
определяемых условиями, наложенными на величины yi с /< л. В частном случае,
когда случайная величина z измерима относительно семейства величин у;,
второй предел по определению условного математического ожидания с веро-
вероятностью 1 равен самой величине z.
Следующая теорема является прямым следствием теоремы 4.3. Однако
эта новая формулировка оказывается более удобной при изучении некоторых
вопросов.
Теорема 4.4. (I) Предположим, что случайные величины
w, ..., х_2, х_х образуют мартингал относительно последовательности соот-
соответствующих полей Jfw, ..., J2^,,, ^г_1. Положим 3F-&> = Г) &п- Тогда
—со
с вероятностью 1
lim г„ = Е{ш|^_со},
а случайные величины
W, E{W\ J^-cc}, ...,X_%, 2_i
образуют мартингал относительно последовательности борелевских полей

§ i. ТЕОРЕМЫ О СХОДИМОСТИ 299
(II) Предположим, что случайные величины xJt х„, ..., z образуют
мартингал относительно борелевских полей ^Fx, Jp2. • • •> &v Пусть
оо
JFm —наименьшее борелевское поле ш-множеств, для которого .?<я ZD П 3-п-
Тогда с вероятностью 1
а случайные величины
образуют мартингал относительно последовательности борелевских полей
Эта теорема показывает, как можно расширить множество значений
параметра для мартингалов некоторых типов; мы вернемся еще к этому
вопросу в предпоследнем параграфе настоящей главы. Вариантом теоремы 4.4,
относящимся к полумартингалам, является следующая теорема 4.4s, дока-
доказательство которой мы проведем во всех деталях, так как некоторые из них
не являются очевидными.
Теорема 4.4s. (I) Предположим, что случайные величины
w, ..., х_г, х_г образуют полумартингал относительно боремвских полей
¦?ш, • • ¦. .F-», J7-!- Положим &-е> = П ^„. Тогда предел
—со
lim хп — г_оо
существует и конечен с вероятностью 1, и случайные величины W, ж_«,, .. .
..., х_г, х_х образуют полумартингал относительно последовательности
борелевских полей. /„, &-а>, ..., ^_а, .?г_1-
(II) Предположим, что случайные величины хи ж3, ..., г образуют
полумартингал относительно последовательности борелевсках полей
•^1. -Уъ, •¦-,•!? z- Пусть & ж —наименьшее борелееское поле ц>-множейтв,
с»
для которого JFozZD LJ &п- Тогда предел
lim xn = г,»
существует и конечен с вероятностью 1, и
}. D.14)
Случайные величины хг, ж2, ..., 1Ш, г образуют полумартпнгал (и если
образуют, то обязательно и относительно последовательности боре-
борелевских полей J^p *Fa, ..., .^co, jF.) тогда и только тогда, когда
равны друг другу два первых члена неравенства D.14) или. (зквивалентное
условие) тогда и только тогда, когда величины хп равномерно интегри-
интегрируемы. Эти условия удовлетворяются, если, например, величины хп
неотрицательны и, вообще, если процесс xlt х2, ..., г мажорируется
некоторым полумартингалом.
В связи с последним утверждением заметим, что если величины хя
неотрицательны, то мы можем предположить также, что аеотрпцатсльна
и величина г, так как процесс, образованный положительными частями
величии хх, х„, ..., г, также является полумартпнгалом.
Доказательство пункта (I). В соответствии с теоремой 4.2s предел х~ю
существует и величины х^т х_2, х_х образуют полумартипгал относи-
относительно соответствующей последовательности полей. Остается только дока-

300 ГЛ. Vtl. МАРТИНГАЛЫ
вать, что с вероятностью 1
т. е. что
Если заменить здесь #_„ на хп, то это неравенство полумартингала будет
вьшолняться по предположению теоремы. Так как по теореме 4.2з
Г.ш Etfa^-zJ^O,
то при п—>—оо мы получаем искомое неравенство.
Доказательство пункта (II). В соответствии с пунктом (II) теоремы 3.1
из наших предположений следует, что
supE{|a;n|}< со.
п
Отсюда вытекает существование величины хт. Остальные утверждения
пункта (II), за исключением неравенства, связывающего два последних
члена в D.14), легко следуют из пункта (II) теоремы 4.1s. Что касается
вывода неравенства, то он проводится следующим образом. Пусть К — про-
произвольное действительное число. Положим
Ф (s) ~ шах [0, s].
Тогда в силу пункта (I) теоремы 1.1 случайные величлвы
Ф{х1-К), Ф{хЛ-К) Ф{г-К)
образуют полумартингал. Следовательно,
Е{Ф(хп-К)}<Е{Ф(г-К)},
так что при га—»оо мы находим, используя лемму Фату, что
Ъ{Ф(Хоо-К)}<Е{ФB-К)},
т. е. что
^ (z-K)dP.
it (».) > К}
Поэтому при К < 0
{г (») > КУ
{Т (Ш) > К} {Яда (Ш) « К\
а жз атого неравенства при К—>•— <х> вытекает искомое неравенство.
§ 5. Приложение к суммам Еезависимых случайных величин
Хотя закон нуля или единицы легко доказывается прямым способом
(см. теорему 1.1 гл. III), поучительно вывести его из теории мартингалов.
Итак, пусть хг, xz, ... — взаимно независимые случайные величины. Заков

f 5. ПРИЛОЖЕНИЕ К СУММАМ НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН 301
нуля или единицы утверждает, что если ж —случайная величина, измери-
измеримая при каждом п относительно семейства величин хп, хп+1, ... , то
х = const, с вероятностью IV Чтобы вывести этот результат из теории мартин-
мартингалов, предположим сперва, что Е{|ж|}<оо. Тогда, так как при каждом
п случайная величина х не зависит от случайных величин хх, ... , хп,
то о вероятностью 1
Согласно следствию 1 из теоремы 4.3, это соотношение прп п—*-со пере-
переходит в равенство
г = Е{ж} (с вероятностью 1),
а это и есть искомый результат. Если математическое ожидание Е [х] не
существует, то положим г/лг (ш) равным ?/(<») при |a:(u>)|giV и равным О
в остальных случаях. Тогда только что полученный результат показывает,
что y/v = E{y;v} с вероятностью 1. Но это возможно при всех N лишь
в том случае, когда х= const, с вероятностью 1.
Теорию мартпнгалов можно использовать как основу для изучения воп-
оо
роса о сходимости рядов jl Ур составленных из взаимно независимых случай-
случайных величин. Мы не станем делать это во всех подробностях, а докажем лишь
методами теории мартингалов основную теорему о сходимости, а затем при-
меним теорему 4.1 к частным суммам ряда 2 У,-- Мы будем предполагать для
простоты, что ys действительны.
Пусть Ф^ — характеристическая функция величины yf. Предположим,
что при некотором X. ни одна из величин ФДХ) не равняется нулю. Тогда,
используя это X, нетрудно проверить, что процесс хп, определенный равен-
равенством
\ о
Фу (к)
1
является мартингалом. В § 2 гл. III было показано, что если бесконечное
со
произведение П Ф} сходится на Х-множестве положительной лебеговой меры,
оо
то ряд 2 У) сходится с вероятностью 1. Этот результат, из которого сле-
дует, что сходимость по мере или сходимость в среднем ряда 2 Vj влечет
8а собой его сходимость с вероятностью 1 (см. следствие 2 из теоремы 2.7
гл. III), будет теперь выведен при помощи изучения процесса хп. Отбросив,
«ели нужно, несколько первых членов ряда 2 2/j> мы можем предполо-
предположить, что на множестве А значений X, имеющем положительную лебегову
оо
меру, П ] Ф^ ().) | > 1/2. Тогда | хп (ш) | < 2 при X ? А, п, следовательно, в силу
теоремы 4.1 предел lim xn существует с вероятностью 1. Поэтому при каж-

302 ГЛ. VII. МАРТИНГАЛЫ
дом X ? А с вероятностью 1 существует предел
hm e '
п-*аэ
Значит (по теореме Фубини), для всех ш, кроме некоторого ш-множества
вероятности 0, предел
lira е ' /(> о)
существует для почти всех X, входящих в А. Для завершения доказатель-
доказательства мы покажем, что если ш0 не входит в это исключительное множество,
то ряд 2 У] (шо) сходится. Пусть А1 — произвольное измеримое по Лебегу
подмножество множества А, имеющее конечную положительную меру. Тогда
- U S V,-(«о) Г
Ит \ е i dk= \ /(X, <o0)dk.
A A
В силу классической теоремы Лебега об интегралах Фурье отсюда следует,
п
что если Ит | 2 Vj (то) I = °° > то (для каждого множества Aj) правая часть
П~*СО 1
последнего равенства должна обращаться в 0. Но тогда /()., %) = 0 для почти
всех \?А, а это противоречит тому очевидному факту, что|/| = 1. Значит,
lim{ 2 У,-(%)I<со. Если s, HSj- два неравных предельных значения для
П-*ОО 1
последовательности частных сумм ряда 2 2/j (шо)> то> как Уже показано,
st и Sj конечны, и для почти всех X ? А
Но это равенство не может выполняться одновременно для двух значений
X, отношение которых иррационально. Следовательно, последовательность
частных сумм ряда 2^j(<0o) имсет только одно предельное значение, т. е.
этот ряд сходится, что и требовалось доказать.
Применим теперь теорему 4.1 к процессу хп, определенному равенством
хп = 2 2Г,ч считая, что Е [у^ = 0 при / > 1, так что процесс zn является
мартингалом. В силу пункта (I) теоремы 4.1
Е{\Х1\}<Е{\хг\}<...,
со
РЯД 2 У) сходится с вероятностью 1, если lira E{|zn|}=j^<oo, и в этом
1 п-»со
случае Е {] хх \} < ^Г. Следующая теорема дает обращение этого результата,
которое справедливо не для всех мартингалов.
Теорема 5.1. Пусть ух, у„, ... —взаимно независимые случайные
со
величины, причем Е{г^} = 0 при / > 1. Предположим, что ряд 2 У, схо~
вится с вероятностью 1 к величине Ха,, и Е {| х^\} < оо. Тогда

i 5. 'приложение к суммам независимых случайных величин зоз
n-^yjt то
E{sup[zJ<}<8E{| *«,(«}, а>1. E.1)
п
При а >'1 величина в правой части этого неравенства, разумеется, может
быть бесконечной. При а > 1 применима теорема 3.4, и из этой теоремы
вытекает неравенство E.1) для значений а > 1,3. Таким образом, нам нужно
доказать E.1) только для а<1,3; мы, однако, пока не будем накладывать
этого ограничения на а (когда мы позже введем его, оно будет особо огово-
оговорено). Предположим сперва, что величины г/, распределены симметрично.
Тогда из тривиального обобщения теоремы 2.2 гл. III следует, что
P{K2P{)} P(|()|X} 0
и поэтому
E{sup|;rJ*}= [ Р{зир|:гп(ш)|*>Х}ей< 2 [ 2{\xa>(m){<->i}d>,= 2E {\х^\").
•о п о
В несимметричном случав обозначим через у*, у\, ... случайные величины,
имеющие соответственно те же распределения, что п величины у,, и не
И СО
зависящие друг от друга и от величин уп. Пусть Хп — ^у*, Ясо«=2^7-
1 1
Так как разности у^ — у* распределены симметрично, то
E{suv\xn-xZ\-'}<2E{\x«,-x*ca\''}^2*+tE{lxco\°}. E.2)
п
Покажем теперь, что
Efa;»]^ хп} = хп. E.3)
В самом деле,
Е{х^|xv ..., хп} = Е{х^-хп\хх, ..., хп}-гхп =
= Е {хх - xj + хп = Е {ув} - Е {Уг} + хп, E.4)
и Е {жго} = Е {у,}, так как при п—» со как величина хп, так и левая часть
этого соотношения (в силу следствия 1 из теоремы 4.3) стремятся к хм.
Таким образом, E.3) выполнено и (см. пример 1 § 1) процесс {хп, 1<гс<оэ}
ивляется мартингалом. Если ос:>1, то, согласно пункту (III) теоремы 4.1,
Далее, при а > 1
\хп\"<?-1
т
Следовательно,
-• Е
так что, используя E.2), находим, что
Е {sup\хп Y) <2«-< Е {sup | хт - х*тh + 2'-' sup E {| хт («} <
n m пг
< E.5)
Теорема 4.1 дает общий критерий сходимости мартингалов {хп, п> 1}.
п
Предположим теперь, что zn=^I у;-, где у} независимы и Е{^;}=0,/> 1.

ЗП4 ГЛ. VII. МАРТИНГАЛЫ
Для этого частного случая мы имеем две теоремы, усиливающие теорему
4.1: из закона нуля пли единипы (теорема 1.1 гл. 111) следует, что после-
последовательность {хп} сходится к конечному пределу или с вероятностью О,
или с вероятностью 1; теорема 5.1 утверждает, что в случае, когда с веро-
вероятностью 1 имеет место сходимость к проделу жю, из того, что Е, {) хт \} < от,
следует, что и E{sup|arn|} < оо. Это означает, между прочим, что в этом
специальном случае пункты (I) и (II) теоремы 4.1 совпадают. Усиленный
вариант тооремы 4.1 сводится для этого частного случая к следующему
утверждению.
Пусть уг, уг, ...—взаимно независимые случайные величины, для ко-
которых
Тогда если хп = 2
(I) Если lim Е {| хп |°} < со при некотором о>1, то предел limxn = Xa,
существует с вероятностью 1, Е {sup [ хп ["} < от, lim Е {| хп — х^, \"} = О
п л— оо
к последовательность [хп, Л< оо} является мартингалом. Обратно, если
предел lim хп = Ха, существует с вероятностью 1 и если Е {I х^ И < со
П-ЮЭ
при некотором о>1, то и ПшЕ } | хп\"} < со.
(II) .Если величины у^ действительны, если
Е {sup yj < оо
п
и если с положительной вероятностью lima;n<oo, то с вероятностью 1
предел lim zn существует и конечен.
(III) Ясли
Е{зир|г,п|2}<со, E.6)
/ло предел lim a;n существует и конечен с вероятностью 1 тогда и только
п-*ао
со
тогда, когда 2 Е {| г/п |2} < оо.
Пункты (I) и (II) не требуют дальнейших пояснений. В пункте (III)
оэ
утверждается, что если выполнено неравенство E.6), то ряд ^]уу сходится
с вероятностью 1 тогда и только тогда, когда он сходится в среднем.
Утверждение «тогда» не представляет особого интереса, так как в силу
следствии из теоремы 2.7 гл. Ill из сходимости в среднем любого ряда
с взаимно независимыми слагаемыми всегда следует его сходимость с веро-
вероятностью 1. Утверждение «только тогда» является обобщением теоремы
2.4 гл. III, в которой вместо условия E.6) предполагалось более сильное
условие равномерной ограниченности величин уг
Прежде чем продолжать изложение, сделаем следующее простое заме-
замечание. Если z, и z2 —взаимно независимые случайные величины, то из
того, что Е {| z, + гг\} < оо, следует, что конечны также и математические
ожидания E{|zj|} и Е {| z2 |}. Действительно, достаточно показать, что

S 5. ПРИЛОЖЕНИЕ К СУММАМ НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН 305
Е { I zi I} < °° > а это вытекает из неравенства
E{|Zl + z2|}> ^ [|z1|-a]dP=P{|z2(@)|<a}[E{|z1l}-a].
{ I га (">) ls=a}
Теорма 5.2. Пусть уи уг, ...— взаимно независимые случайные вели.
со
чины. Предполооким, что ряд ^ у^ с вероятностью 1 сходится к конечной
величине хт и что Е {[ х^ I"} < со при некотором о> 1. Тогда Е { | ys \a] < со,
/1
E.7)
^-S^I-J-O. E.8)
П—*ОО 1
Последнее утверждение, состоящее в том, что частные суммы сходятся
в среднем порядка а, следует из того, что в соответствии с E.7) величина,
стоящая в скобках в E.8), мажорируется функцией, имеющей конечное
математическое ожидание. Мы не будем поэтому больше возвращаться
к равенству E.8). Так как величины у} независимы и так как хх =
=УП+ 11 У г где Е{|ж0о]}< со, тоиЕ{|уп|} < со. Пусть хп = 2 У г Тогда.
/т=П 1
согласно соотношению E.4),
Полагая здесь п —> со, мы получим, что
Отсюда следует, что
2
Но тогда по теореме 5.1
Е {sup | | [у, - Е ВД Г} < 8Е {| ха. - Е
П 1
p|f yj\°)<8-2''-lE{\xa,-E{xa,}\
п 1
так что
P|S
n 1
<8-22*-1 Е{\х*,\'} + 2"-1 sup| S E {y } |«.
n 1
На этом мы закончим обсуждение приложений теории мартингалов
к изучению рядов из взаимно независимых случайных величин. Показа-
Показательно, что хотя общие теоремы о сходимости мартингалов могут быть

306 ГЛ. VII. МАРТИНГАЛЫ
усилены в том специальном случае, когда мартянгал является последова-
последовательностью частных сумм ряда из взаимно независимых случайных величин,
общая теория мартингалов оказывается полезной даже для вывода таких
усилений.
В настоящем параграфе мы опирались главным образом на теорему 4.1-
Многие результаты, однако, можно было получить и с помощью приложе-
приложения теоремы 4.2 к мартингалу, образованному случайными величинами
..., z-2, z_j, где
я1
(мы здесь предполагаем, что ряд 2 20 сходится с вероитностью 1 и что
существует математическое ожидание суммы этого ряда).
§ 6. Приложение к усиленному закону больших чисел
Пусть у[, у'г, ... —взаимно независимые случайные величины с одина-
одинаковой функцией распределения, причем Е {| у[ |} < аэ. Тогда с вероятностью 1
F.1)
Эта теорема была получена в гл. III (теорема 5.1) в качестве прило-
приложения теоремы о сходимости бесконечного ряда из взаимно независимых
случайных величин. Она может быть выведена также как частный случай
усиленного закона больших чисел для стационарных в узком смысле
процессов (теорема 2.1 гл. X). Вариант в широком смысле утвержде-
утверждении F.1) состоит в следующем. Пусть У1( Y — ортонормированная
последовательность случайных величин. Тогда
1Л.т.У1+" + Уп = 0. F.1')
Л
Это последнее предложение тривиально, так как
В § 7 гл. IV соотношение F.1') было получено в качестве приложения
теоремы о сходимости мартингалов в широком смысле. Мы покажем теперь,
что это доказательство после замены понятий в широком смысле на соот-
соответствующие понятия в узком смысле может быть превращено в доказа-
доказательство соотношения F.1).
Положим уп — у'у+ ¦ ¦ ¦ -тУп', согласно следствию 1 из теоремы 4.3,
с вероятностью 1 существует предел
lim E{^|yn, yntl, . ..} = «_„.
П-»ОО
Далее, ясно, что
Efe,'l2/n. 2/„*1. ¦¦•} = Е{^|уп, уп+i, Уп+2, -..},
и так как величины Уп+i, Уп+2, ¦¦• не зависят от величин yt и уп,
то с вероятностью 1
Таким образом, с вероятностью 1
lim Е {у[ | у'х + . .. + ук)

5 7. ПРИЛОЖЕНИЕ К ИНТЕГРИРОВАНИЮ
307
Наконец, из соображений симметрии
=42
что и доказывает существование предела в F.1). Для того чтобы показать,
что этот предел равен Е {у[}, заметим, во-первых, что предел Х-х не меняется
при изменении любого конечного числа величин у) и, следовательно,
в силу закона нуля или единицы (теорема 1.1 гл. III) с вероятностью 1
?_„> = const. = E {ж-оо} и, во-вторых, что в соответствии с теоремой 4.4
последовательность
Ъ{у[\уг, у3 ...}
у2,
у[
образует мартингал и, следовательно, Е {х-^} = Е {у[}.
Интересно было бы обобщить приведенное выше доказательство, с тем
чтобы доказать методом мартингалов общий случай усиленного закона
больших чисел для стационарных в узком смысле процессов (эргодпческую
теорему, см. гл. X, теорему 2.1). До сих пор такое доказательство еще
не получено. Впнер обратил внимание на то, что эргодическая теорема
является по существу теоремой об интегрировании, тесно связанной
с основной теоремой математического анализа. Теоремы о мартингалах
тоже являются по существу теоремами об интегрировании, хотя л в несколько
ином контексте. В самом деле, соотношение
КО 1 т г \ — т
^ \хп \xi> ¦ • •' xn-il — хп-г<
выполнение которого с вероятностью 1 является свойством, определяющим
мартингал {хп, гс>1}, показывает, что хп-1 получается из хп путем инте-
интегрирования по одной из переменных. Мы несколько глубже коснемся этого
вопроса в следующем параграфе.
§ 7. Приложение к интегрированию в бесконечномерном пространстве
Роль теорем о сходимости мартингалов, как теорем об интегрировании,
ясно видна в следующих примерах, рассмотренных впервые (с другой точки
зрения) Иессеном. Пусть основным пространством Q является пространство
последовательностей (т]1? тJ, ...), 0<i);.< 1, а заданной вероитностноа
мерой — бесконечномерная лебегова мера. Тогда если гл обозначает ;'-ю ко-
координатную переменную, то случайные величины ylt y2, ... взаимно неза-
независимыми имеют каждаи равномерное распределение на интервале [0, 1].
Пусть z — случайная величина, у которой Е {| z |} < оо. Рассмотрим интегралы
1 1
G.1).
Определение величин хп, как интегралов G.1), подсказывает, чти е вероят-
вероятностью 1 должно быть
lim xn=E{z},
"Г" G-2)
hmxn — z.
П-*со
a:n(@)=^ [ ¦¦¦ 2(Ъ> Ъ> ¦ ¦ ¦)di)n*idi)n*2 ¦¦¦=E[z\y1, ..., yn).

308 ГЛ. VII. МАРТИНГАЛЫ
И действительно, определение величин хп, как условных математических
ожиданий, показывает, что последовательности ..., а;_2, х_г и xlt х%, ...
являются мартингалами. Следовательно (см. теорему 4.2), с вероятностью 1
существует предел lim хп = х^.<х> и (см. следствие 1 из теоремы 4.3) предел
Пг-*~ СО
lim xn=z. Остается показать, что a;-aJ = E{z}. Так как при каждом л
П-*ОЭ
величина х-^, не зависит от величин уг уп, то (в силу закона нуля
или единицы) х_а, = Е{х-а>} с вероитностью 1, а по теореме 4.2 E{x^.J} =
= E{z}, так что a;_co=E{z} с вероятностью 1.
Заметим, что полученные результаты (и их доказательства) остаются
в силе, если предположить только, что величины у, независимы; предпо-
предположение о том, что они имеют одинаковую функцию распределения
(с постоянной плотностью), было принято лишь для того, чтобы упростить
интегра -'ъные обозначения.
§ 8. Приложение к теории производных
Пусть Q — произвольное абстрактное пространство и, как обычно, Р {•}—
вероятностная мера, определенная на ш-множествах этого пространства.
Пусть при каждой п последовательность M&n), M(in), ... явлиется конечной
или счетной последовательностью непересекающихся ш-множеств, дающих
в сумме все пространство Q. Пусть, далее, jFn — борелевское поле ш-множеств,
являющихся суммами множеств М'п> (при фиксированном п). Мы предпо-
предположим, что каждое из множеств М}"+1) является подмножеством одного
из множеств Mjin) и что Р {М^п)} > 0 при всех / и п. Тогда класс множеств
\}-^п ивляется полем. Пусть JS'o, — борелевское поле множеств, порожден-
п '
ное зтим последним полем. Очевидно,
Пусть 9 — любая функция множеств, определенная на поле \J jFn, вполне
п
аддитивная на &п при каждом п. Определим «-функцию хп равенством
Тогда тривиальным образом проверяется, чго при m]< n с вероятностью 1
так что процесс {хп, &п, л>1} явлиется мартингалом. Настоищий параграф
посвящен различным приложениям этого факта. Замшим, что на самом
деле наши результаты не ограничиваются лишь тем случаем, когда
основная и>-мера явлиется вероятностной мерой, так как любая конечная
мера (не равная тождественно 0) может быть сведена к вероятностной мере
введением подходищего нормирующего множителя.
В дальнейшем мы будем говорить, что мы имеем мбеговстй случай,
если Q есть одномерный интервал [0, 1], измеримыми ш-множествами
являются измеримые по Лебегу подмножества интервала [0, 1] и Р — обыч-
обычная мера Лебега.
Пример t (абсолютно непрерывная функция ср). Предположим, что
функция 9 абсолютно непрерывна, т. е. что существует ш-функция х,
измеримая относительно JF^,, для которой Е {| х |} < от, и такая, что
9(А =

S 8. ПРИЛОЖЕНИЕ К ТЕОРИИ ПРОИЗВОДНЫХ 309
Тогда тривиальным образом проверяется, что с вероятностью 1
E{x\<Fn} = xn.
Таким образом, в этом случае величины xlt х2, ..., х образуют мартингал,
и в соответствии с теоремой 4.3 с вероятностью 1
lim хп = Е {х | JPv,} = х. (8.2)
П-4-СО
Применяя к полумартингалу \х1\, \х2\, ..., \х\ теорему 3.1, находим,
что в нашем случае величины хп равномерно интегрируемы. Обратно, если
величины хп равномерно интегрируемы, то с вероятностью 1 существует пре-
предел lim xn = Zoo", далее lim E {| г„, — хп |} = 0, и в силу пункта (II) теоремы 4.1
П П
процесс {хп, 1<1л<оо} является мартингалом. Но тогда если определить
функцию у! равенством
А) =$*
д
то мы получим (в силу свойства мартингала), что
i
если только п настолько велико, что А? 3Fn. Полагая л—>оо, найдем,
что
Следовательно, это равенство выполняется при всех Л ? ЗРсп (см. теорему 2.1
дополнении). Мы показали, таким образом, что величины хп равномерно
интегрируемы тогда в только тогда, когда функция ср абсолютно непре-
непрерывна (относительно &„)• Если функция ср определена на поле & всех
измеримых ш-множеств и абсолютно непрерывна относительно jF и если X
обозначает ее плотность относительно 3F (а. а; — ее плотность относительно
J^oo), то с вероятностью 1
и развитые выше соображения остаются в силе без каких бы то ни было
изменений. Наконец, х = Х с вероятностью 1 тогда и только тогда, когда
функция X совпадает почти всюду с функцией, измеримой относительно ЗР&>.
Например, в лебеговском случае, если М;п) — интервалы и 8п — наименьшая
верхняя .грань длпн интервалов M(in)> M^n)j __ и если limSn = 0, то, как
легко видеть, поле ЗРа> содержит все подинтервалы интервала [О, 1],
а значит, и все борелевские подмножества этого интервала. Отсюда следует,
что в этом случае i=Ic вероятностью 1.
Пример 2 (сингулярная функция ср). Предположим, что функция ср
сингулирна, т. е. что о определена на множествах из ЗРа>, что ср вполне
аддитивна и что существует множество M^J2-^,. называемое сингулярным
множеством функции <р> такое, что ср ( Л) Ф 0 для некоторого Л CZ М,
A g .jFc и что
Р {М} = О,
ср(А) = О,
Предположим сперва, что функция ср неотрицательна. Тогда и величины хп
неотрицательны; следовательно, в сплу пункта (I) теоремы 4.1 предел
lim хп = Ха, существует и конечен с вероятностью 1. По лемме Фату для
П-ЮО

310 ГЛ. VII. МАРТИНГАЛЫ
любого измеримого множества А
\ x^dP^ lim { xadP.
i i
С другой стороны,
A
Комбинируя эти два соотношения, находим, что
1
Так как .^о ~ борелевское поле множеств, порожденное полем (J jFn
п
то это неравенство, будучи справедливым при всех A g (J ?-п, должно
выполняться я при всех AgjFco (см. теорему 2.1 дополнения). Но тогда'
если М — сингулярное множество функции ср, то
cp (Q —М) = 0,
а-м
так что (поскольку а;«,>0) с вероятностью i ip^xoo = 0. Если функция ер
принимает как положительные, так и отрица. ¦.,* значения, то ее можно
представить в виде разности двух неотрицательных сингулярных функций,
так что мы снова находим, что Iimxn = 0 о вероятностью 1.
П-*ОЭ
Пример 3 (функция <? с ограниченным изменением). Пусть функция ер
определена на множествах из .<$¦„, и вполне аддитивна. Мы предположим
(как всегда в этой книге при рассмотрении функций множеств), что 9
принимает лишь конечные значения. Тогда, согласно известной теореме
теории функций множеств, функция <р имеет ограниченное изменение. Это
значит, что существует постоянная if такая, что для любой системы непе-
непересекающихся множеств Aj, A2 входящих в &¦„>,
Но тогда
так что в силу пункта (I) теоремы 4.1 предел lim xn — Ха, существует
п-юэ
и конечен с вероятностью 1. Функция х<х> называется производной функции ср
по заданной вероятностной мере относительно разбиений М'"', и мы дока-
доказали таким образом, что каждая вполне аддитивная функция множества
имеет производную по заданной мере относительно заданных разбиений.
Так как функция f является суммой абсолютно непрерывной и сингуляр-
сингулярной функцией относительно JFc*» то результаты предыдущих примеров
позволяют отождествить производную Жсо с плотностью абсолютно непре-
непрерывной компоненты функции ср относительно JF&,. Если функция ср опре-
определена на 3~, то эта производная совпадает с плотностью абсолютно
непрерывной компоненты функции ср относительно & тогда и только тогда,
когда разбиение является достаточно мелким, или, точнее, тогда и только
тогда, когда эта плотность совпадает почти всюду с функцией, измеримой
относительно ^о,, и когда сингулярная компонента функции ср относи-
относительно & имеет среди своих сингулярных множеств хотя бы одно множе-
множество, входящее в &-т.

5 8. ПРИЛОЖЕНИЕ К ТЕОРИИ ПРОИЗВОДНЫХ 311
Пример 4 (лебеговский случай). В лебеговском случае мы предпо-
предположим, что для каждого п. выбраны точки 0 = Цп)< ... <Й") = 1. причем
каждая из точек ?уп~ ' совпадает с одной из точек Кь\ и определим Mj1*'
как
10. #°]. /=°>
Пусть .F — действительная функция, определенная на интервале [0, 11.
Положим
(Ui)
JV
Тогда определение величины хп примет вид
Мы будем считать, что
так что ^оо совпадает с классом всех борелевских подмножеств
•отрезка [0, 1]. Предположим, что функция F имеет ограниченную вариацию,
и будем считать известным тот факт, что производная F' существует почти
.всюду, что абсолютно непрерывная компонента Fx функции F является
интегралом от F',
и что сингулярная компонента F2 функции F имеет почти всюду производ-
производную, равную 0. Тогда, согласно примеру 3, с вероятностью 1
С другой стороны, можно также использовать результаты примера 3 для
того, чтобы доказать сформулированные выше утверждения о существова-
существовании и свойствах производной F". Мы не станем этим заниматься. Пусть
R — множество всех точек ^п), /, л!>0. В соответствии с примером 1, если
•функция <р абсолютно непрерывна (это условие совпадает с условием,
чтобы F совпадало на R с абсолютно непрерывной функцией, заданной
на [0, 1]), то величины хп равномерно интегрируемы, и обратно, если хп
равномерно интегрируемы, то функция F совпадает на Л с абсолютно
непрерывной функцией, определенной на отрезке [0, 1]. Можно получить
интересные патологические примеры мартингалов, выбрав в качестве F
сингулярную функцию. Мы приведем один из таких примеров; в этом
примере функция F является ступенчатой функцией со скачком в одной
единственной точке. Определим F равенством
О,
л положим
t(") / .' — О

312 ГЛ. ЧП1. МАРТИНГАЛЫ
Тогда
Г
Го, о<?«-|--~,
О, Y
Процесс {zn, п>1} является мартингалом, величины жп неотрицательны,.
Е{а;п}=1, но lim а;п = а;оо = 0 с вероятностью 1. В самом деле, точка $ = '/»
п-*оо
является единственной точкой, где нет сходимости к 0. Процесс
{хп, 1<л<оэ} не является мартингалом, так как Е {хг} 4= Е {хх}. Эта
первый приводимый нами пример мартингала xlt x,, ..., в которой
предел Хоо существует, но процесс х1г х%, ..., Ха> уже не является мартингалом.
§ 9. Приложение к изучению отношения правдоподобия
в математической статистике
Мы рассмотрим теперь пример 3 из § 7 гл. И. Пусть у1г у2, ¦ ¦. — слу-
случайные величины и пусть распределение вероятностей для величин ylt..., уп
задается плотностью распределения рп{-, ..., •) или плотностью qn (¦,..., •),.
являющимися беровскими функциями. Определим величину хп равенством.
_
П
ь ¦¦;УП)"
Если распределение случайных величин ylt у2, . .. на самом деле опреде-
определяется плотностями Рр то хп является случайной величиной, определенной
с вероятностью 1. Как мы видели в § 7 гл. II, последовательность хг,хг,...
оказывается мартингалом, если только яЛ^к ¦ - -»Еп) = 0 всюду, где-
j»n(?It .. .,?п) = 0. Мы не будем делать здесь этого предположения; обсужде-
обсуждение, проведенное в § 7 гл. II, показывает, что без этого предположения
рассматриваемая последовательность является нижним полумартингалом,
т. е. что последовательность —х1г —х2, ... является полумартингалом.
Так как величины —xj неположительны, то из теоремы 4.1s следует, что-
с вероятностью 1 существует предел
и что
1 > Е {хг} > Е {х2} >..., Е {zOT} < lim E {zn}. (9.2>
П-XXi
Эти два утверждения можно рассматривать как обобщение принципа макси-
максимума правдоподобии. В самом деле, идея принципа максимума правдопо-
правдоподобия в математической статистике состоит в том, что если распределение
величин уг, ..., уп задается плотностью рп (•, ..., -), то в каком-то среднем
смысле жп<1, т. е.
<7„(Ух &J<Рп'.(У1, •¦¦¦>Уп)- (9-3)'
Кроме неравенства (9.2), этот факт выражается также неравенством
(), (9.4)
являющимся основным средством при доказательстве состоятельности оценки
максимального правдоподобия. Идею неравенства (9.3) выражают иногда
утверждением, что если [уг (ш) уп (ш)] — совокупность выборочных зна-
значений, то эти полученные в действительности значения являются более-

i 9. ПРИЛОЖЕНИЕ К ИЗУЧЕНИЮ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 313
вероятными тогда, когда вычисления делаются в терминах истинной плот-
плотности, чем тогда, когда вычисления делаются в терминах какой-либо другой
плотности.
Если наложить на плотности рп и дп подходящие ограничения, то при
больших л тенденция величины хп не превосходить числа 1 будет про-
проявляться очень явственно. Например, предположим, что плотности рп и дп
соответствуют независимым величинам yjt имеющим одинаковые распреде-
распределения, т. е. что
{У])
Мы докажем, что в этом случае с вероятностью 1
limxn — xai = 0,
если только p1(i) не равно почти всюду (по Е-мере Лебега) ?i(?), т. е. если
распределения рг и дг не являются идентичными. Это будет один из резуль-
результатов интересующего нас типа.
а) Докажем сперва, что Ха,~0 или с вероятностью 0, или с вероят-
вероятностью 1. В самом деле, из вида бесконечного произведения, определя-
определяющего величину Ха,, ясно, что если величина х?, имеет то же распределе-
распределение, что и величина х<я, но не зависит от х», то произведение XcoxS, имеет
снова то же самое распределение, что и величина Жоо. Значит,
¦П = Р {*оо (u>) Х? (<о)= 0} = 1 - A - 7])г,
так что
т\ = 0 или ij = 1.
б) Покажем, что если агаэ = О с вероятностью 0, то х„,= 1 с вероят-
вероятностью 1. Действительно, в. этом случае величина leg (oc^xto) — logx,» +
+ log 2-м имеет то же самое распределение, что и lcgXa, и \ogxtz. Пусть Ф —
обшая характеристическая функция этих случайных величин. Тогда Ф2=Ф„
откуда следует, что Ф(г)=1 (поскольку Ф @) = 1 и Ф —непрерывная функ-
функция), так что leg г,» = 0 с вероятностью 1. Это значит, что с вероятностью 1
в) Наконец, очевидно, что если хх—1 с вероятностью 1, то также
с вероятностью 1
Чг(У1)_,
п
Отсюда следует, что <7Х (yi)//>i (^i) = 1 с вероятностью 1. А это значит,
что 9j (f) = Pi(^) почти всюду, где Рг^Х), т. е., поскольку интеграл
по всей оси от каждой из функций р1 и qx равен единице, почти всюду
на оси ?•
Мы проверили, таким образом, общий принцип, лежащий в основе
метода максимума правдоподобия, для взаимно независимых величин, имею-
имеющих одинаковую функцию распределения: всегда, кроме того случая, когда
два распределения совпадают, величина хп с вероятностью 1 стремится к О
при п —»оз (вероятности вычисляются на основании распределения

314 ГЛ. VII. МАРТИНГАЛЫ
На практике этот принцип применяют следующим образом: выбирают поло-
положительную постоянную а, и если при заданной выборке Ух(ч>), ...,yn{ia)
оказывается, что жп(ш)>а, то считают, что истинным является распреде-
распределение р; в противном случае принимают за истинное распределение д.
Мы только что показали, что если п велико, то вероятность неправильного
решения будет мала и, более того, что с вероятностью 1 наступит в после-
последовательности испытаний такой момент, после которого этот метод вообще
перестанет приводить к ошибкам (на статистическом языке это означает,
что принятый метод оценки является «состоятельным»). Обычно выбор нужно
производить из целого семейства распределений, <7(•) = ?((', ¦), зависящего
от параметра б, причем известно, что одно из значений этого параметра
приводит к истинному распределению ?(90> •) =/>(•)• Метод максимума
правдоподобия состоит в том, что по заданной выборке у1(<о), .. ,,уп(т)
выбирают то значение параметра ^п[у1[ш), ...,уп(<о)], при котором произ-
ведение П^[б, у.(ш)] достигает максимума (если только такое значение
существует). Согласно только что доказанной теореме, для любого «непра-
«неправильного» значения б неравенство
где а — фиксированная положительная постоянная, в конце концов начнет
ларушаться. Однако чтобы обеспечить сходимость 6„ к 0о с вероитностью 1,
нужно наложить дополнительные ограничения.
§ 10. Приложение к последовательному анализу
Пусть ylt уг, ... — взаимно независимые случайные величины с одина-
одинаковой функцией распределения и конечным математическим ожиданием
Е{г^} = а. Пусть т — целочисленная случайней величина, обладающей тем
свойством, что при любом к условие т{ф) = к является условием, наложен-
наложенным только на первые к из величин у., т. е. что ш-множество {т(т) = к}
определяется условиями, наложенными на величины у1г ..., yk. Положим
\-ут.
Для некоторых вопросов последовательного анализа важно уметь находить
условии, при которых
E{z'} = aE{7rc}. A0.1)
¦Эту задачу легко решить при помощи теории мартингалов. В самом деле,
если положить
„ 2(^) S
то, как мы видели, последовательность случайных величин хг, х2, ... будет
мартингалом. Если Е {т} < со и если для некоторой постоянной К с вероят-
вероятностью 1
E{\xn+l-xn\\xl,...,xn} = E{\\yn+t-a\}<K, n<m(m), A0.2)
то, согласно теореме .2.2, «последовательность» xlt xm, получаемая при
помощи свободного выбора, явлиется мартингалом, и Е {х,} = Е {хт}. В нашем
случае условие A0.2) заведомо выполняется при К = Е {\уг — а |}. Равен-

5 10. ПРИЛОЖЕНИЕ К ПОСЛЕДОВАТЕЛЬНОМУ АНАЛИЗУ 315
ство Е fa]} — Е {^„J означает, что
0 = Е {xj = Е {х' — та} = Е {ж'} — аЕ {т},
а это и есть искомое соотношение. Подобным же образом можно получить
аналогичные соотношения, включающие моменты старших порядков. На-
Например, если E{jyj|2} < со, то, как легко видеть, последовательность
,-паУ-по\ 11 = 1,2,...), o3=E{(^-aJ},
является мартингалом. В самом деле, с вероятностью 1
Пусть JFn— борелевское поле «-множеств, определяемых условиями, нало-
зкенными на величины ух, .. ., уп. Мы доказали, что процесс
является мартингалом. Условие С3 теоремы 2.2, примененное к этому про-
процессу, выглядит следующим образом:
п
Е! | (ум ~ о) [yntl - а + 2 2 (У! - а)] - о* 11 &п } < ЛГ, п]<> («).
Если Е {зД} < со и если
п
1^1 = 12 (^ —a)i< const., п^т(ф),
то это условие заведомо будет выполнено при соответствующим образом
подобранном К. Оно удовлетворяется, например,4 если определить величи-
величину т(<л), как наименьшее целое /, для которого \х^{ш)\'>Кг, и если дано,
что jjh !<.?,, где Кг и ЛГ2 —заданные постоянные. Если это условие вы-
выполнено, то мы находим, рассуждая аналогично тому, как это делалось
выше, что
Е{(х'-тгеаJ}=агЕ{пг}.
Покажем теперь, как с помощью развитых выше соображений можно
получи/ь основную теорему последовательного анализа. Определим функ-
функцию Ф(г) комплексного переменного г равенством
Тогда последовательность случайных величин иг, щ, ..., где
фB)" '
является мартингалом при любом значении z, для которого существует Ф (z).
В самом деле, при п < v с вероятностью 1
n v
zyv х у
„1 и г. n+i »

316 ГЛ. VII. МАРТИНГАЛЫ
Следовательно, процесс {ип, JFn, л>1} является мартингалом. Поэтому,
если можно применить теорему 2.2, то
а это и ость основная теорема последовательного анализа. Условие С3
теоремы 2.2 означает в рассматриваемом случае следующее: существует
такая постоянная К, что с вероятностью 1
п+1
ЩГ)—е%
е. с вероятностью 1
Если существует такое значение г, для которого Ф(г) определено в
|Ф(г)|>1, и если при n-<7n(cn) действительная часть произведения га;л
не превосходит Klt где ЛГХ — некоторая постоянная, то это условие оказы-
оказывается выполненным.
Мы предполагали в настоящем параграфе, что величины у} имеют
одинаковую функцию распределения. Однако развитые методы приложимы,
очевидно, и к общему случаю.;
§ 11. Мартингалы с непрерывным параметром.
В предыдущих параграфах мы занимались главным образом мартинга-
мартингалами и полумартингалами, зависящими от дискретного параметра, хотя в опре-
определении этих процессов требуется лишь, чтобы область значений параметра Т
была упорядоченным множеством. В настоящем параграфе мы будем, как
всегда, предполагать, что Т — некоторое множество точек на прямой, быть
может включающее точки ± со, и не будем, как правило, накладывать на
Т никаких дальнейших ограничений. Теоремы, которые мы будем рас-
рассматривать, включают в себя как частный случай теоремы о последователь-
последовательностях случайных величин, доказанные в предыдущих параграфах; однако
основную роль в этом параграфе будут играть приложения к случаю не-
непрерывного параметра, в частности к случаю, когда Т— интервал, чем и
объясняется заглавие параграфа.
Обобщения относящихси к случаю дискретного параметра теорем пре-
предыдущих параграфов окажутси просто вариантами для случая общего мно-
множества значений, параметра соответствующих теорем для дискретного пара-
параметра. Мы не будем, однако, приводить обобщения на случай произволь-
произвольного множества значений параметра всех без исключения рассматривав-
рассматривавшихся ранее теорем, так как в некоторых случаях такие обобщения неинте-
неинтересны и ненужны, поскольку в первоначальных формулировках не наклады-
накладывалось никаких ограничений на множество параметра (например, теоремы
1.1 и 3.1), а в других случаях такие обобщения неизвестны. В связи
с последней возможностью заметим, что, например, неизвестно, при каких
условиях представление A. 5') случайных величин, образующих полумар-
полумартингал, в виде суммы мартингала и частных сумм ряда из неотрицатель-
неотрицательных случайных величин остается верным для случая, когда множество
значений параметра является интервалом.

8 П. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 317
Мы отложим на некоторое время также рассмотрение вариантов для
случая общего множества значений параметра теорем об играх, содержа-
содержащихся в §2.
(Теорема 3.2.) Если {х,, t ? Г} — сгпарабелъный полу мартингал и
множество Т содержит максимальный элемент Ь, то для любого веще-
вещественного X
XP{supxtH>X}< \ xbdP<E{\xb\},
t?T ,1
(sup se,(u))SM
{1()} [ xbdP-E{xb}+ME{x,}>
is г .) ter
lint x,(u)):? X\
\t?T I
>miE{xt}-E{\xb\}.
<?T
Для доказательства заметим, что в силу теоремы 3.2 написанные выше
неравенства выполняются, если заменить множество Т любым его конеч-
конечным подмножеством, содержащим точку Ь. Используя очевидный предель-
предельный переход, мы видим, что эти неравенства остаются верными, если заме-
замелить множество Т любым его счетным подмножеством, содержащим точку Ь.
Наконец, верно и само утверждение теоремы, так как по определению
сепарабельного вероятностного процесса (см. § 2 гл. И) существует счетное
подмножество S множества Т, обладающее тем свойством, что (если пре-
пренебречь подмножеством вероятности 0) все выборочные функции имеют на
множестве S те же верхнюю и нижнюю грани, что и на множестве Т.
Так как при замене Г на 5 теорема справедлива (ибо мы всегда можем
предположить, что S содержит Ь), то она верна и без такой замены. За-
Заметим, что если inf Е {х,} = — со, то второе неравенство становится триви-
<€Т
альным. Если множество Т содержит минимальный элемент а, то
>,} >a}
¦если Т не содержит минимального элемента, то
(Теорема 3.4.) Эта теорема обобщается точно так же, как и тео-
теорема 3.2, и ее формулировку мы поэтому опускаем.
(Теорема 4.1.) Пункт (V), невидимому, не обобщается сколько-
нибудь интересным образом на случай общего множества значений параметра.
Пункт (IV) будет распространен на этот случай позже. Пункты (I), (II) и (III)
обобщаются без затруднений, и мы приведем здесь только обобщение
пункта (I), чтобы показать новую форму этого утверждения. Пусть процесс
{х,, t?T} является мартингалом. Тогда величина Е{|а;,|} монотонно не
¦убывает с ростом t. Предположим, что b $T
(I) Если
то существует случайная величина хь с Е {| хь \} <^К такая, что для любой
последовательности {sn} значений из Т из условия limsn=i следует, что
п-*са
Hma:,n = хь с вероятностью 1. Если процесс х, сепарабелен, то с вероят-
ностью 1 выполняется более сильное предельное соотношение Итх)=хь.

318 ГЛ. VII. МАРТИНГАЛЫ
В частности, К < со, если все величины х, действительны и неотрица-
неотрицательны или все действительны и неположительны.
В этом утверждении b может быть как конечным, так и бесконечным..
Для того чтобы доказать существование предела хь, мы заметим сперва, что-
если К < со и {sn} — последовательность значений параметра, монотонно
сходящаяся к Ь, то процесс {х^, л>1} является мартингалом, удовлетворя-
удовлетворяющим условию Е {| xSn |} < К, так что в силу пункта (I) теоремы 4.1с вероят-
вероятностью 1 существует и конечен предел limxsn- Предельная случайная вели-
П-+СО
чина с точностью до значений на множестве вероятности 0 не зависит от
выбора последовательности snt так как любые две последовательности {sn}
можно объединить в одну общую последовательность, которой также будет
соответствовать последовательность случайных величин, сходящаяся с веро-
вероятностью 1. Кроме того, предел должен существовать с вероятностью 1 и
в том случае, когда последовательность {«„} сходится к Ь,ко не является
обязательно, монотонной, так как любую такую последовательность можна
превратить в монотонную при помощи переупорядочения ее членов. Таким
образом, доказано, что существует величина хь, ивляющаяся пределом х,
по любой последовательности. Но мы знаем (см. теорему 2.3 гл. II), что
еслн процесс х, сепарабелен, то предельный переход по последовательностям
можно заменить обычным предельным переходом. Остальные утверждения,
содержащиеся в варианте пункта (I) теоремы 4.1 для случая общего-
множества значений параметра, доказываются в точности тем же путем, что
и в случае дискретного параметра.
(Теорема 4.1s.) Эта теорема обобщается точно так же, ;:ак и теоре-
теорема 4.1, и ее доказательство тоже основано на сведения к случаю дискрет-
дискретного параметра.
(Теоремы 4.2, 4.2s.) Обобщение проводится точно так же, как и обоб-
обобщение теорем 4.1 и 4.1s.
(Тео р е м а4.3.)Пусть z—случайная величина, для которой Е {| z\ } < со,
в пусть каждому t из одномерного множества Т соответствует, борелевское
пом измеримых ш-множеств JF,, причем JFsC2^t при s < t. Положим
а = inf t, b = sup t,
/?T /?T
^а*о= П -Fl,
и пусть JFb-n — наименьшее борелевское поле w-множеств, содержащее
I) JF,. Тогда условные математические ожидания EfzlJ^/} можно опре-
ЕТ
делать при каждом t?T таким образом, чтобы с вероятностью 1
{|/} {|b_0}
/ —* ь
Чтобы доказать эту теорему, заметим, что в силу теоремы 4.3 интере-
интересующие нас предельные соотношения выполняются, если переходить к пре-
пределу по некоторой. последовательности значений t. Далее, так как каждое
из условных математических озкидании можно изменить произвольным обра-
образом на ш-множестве вероятности 0, то вероятностный процесс (Е {z | .9-{\, t б Т)
можно сделать сепарабельным процессом путем подходящего выбора этих
условных математических ожиданий. Еслн такой выбор сделан, то в соот-
соответствии с теоремой 2.3 гл. II уже можно не ограничиваться предельным
переходом только по последовательностям.
Тот факт, что рассматриваемый в этой теореме вероятностный процесс
может быть определен так, чтобы он стал сепарабельным, означает, что

I К. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 319
для этого процесса будут выполнены свойства выборочных функций,
о которых идет речь в теоремах 11.2 и 11.5, если только сам процесс
выбран подходящим образом.
Пример 1. Пусть {х„, п > 0}—мартингал. Зададим процесс {х,, 0< г< от}
равенством
Тогда процесс х, является сепарабельным мартингалом. Его выборочные
функции могут иметь разрывы лишь при целых значениях аргумента t,
и при каждом целом t = n разрыв всегда имеет место, если только
Пример 2. Пусть {xt, 0-<2<со}— процесс с независимыми прира-
приращениями, у которого
Тогда процесс
{x,-xo~m(t),
является мартингалом. Этот тип мартингалов с непрерывным параметром
соответствует мартингалам с дискретным параметром, образуемым частными
суммами ряда из взаимно независимых величин с нулевыми математиче-
математическими ожиданиями. В частном случае пуассоновского процесса (см. § 9
гл. II и § 4 гл. VIII)
л» (г) = const, t-
В § 4 гл. VIII будет показано, что если хо(ш) = 0, то выборочные функции
процесса xt мозкно использовать для описания числа событий определенного
типа, наступивших за промежуток времени от момента 0 до момента t:
если этот процесс сепарабелен, то почти все его выборочные функции
являются монотонно неубывающими функциями и возрастают единичными
скачками. Далее, при каждом t с вероятностью 1
lim ?S'=X(,
т. в. точки скачков меняются при переходе от одной выборочной функции
к другой таким образом, что хотя при любом заданном значении t вероят-
вероятность скачка равна 0, но вероятность наличия хотя бы одного скачка
в любом интервале времени положительна.
Мы покажем ниже, что в отношении свойств непрерывности выбороч-
выборочных функций два предыдущих примера являются характерными и для
общего случая. Почти все выборочные функции сепарабельного мартингала
непрерывны всюду, кроме точек разрыва, в которых существуют (конечные)
пределы справа и слева, причем имеется самое большее счетное число зна-
значений параметра, при которых вероятность разрыва положительна. Процесс
броуновского движения (см. § 9 гл. II и § 2 гл. VIII) является нетри-
нетривиальным примером сепарабельного мартингала, почти все выборочные
функции которого непрерывны (зто есть частный случай примера 2).
Теорема 11.1 Пусть {х(, t ? Т] — вероятностный процесс и Т1 — сово-
совокупность предельных точек множества Т. Предположим, что при каждом
t\Tx существует по крайней мере один из пределов по вероятности
р lim xs = хио, р lim хв = z,_0.
s-*(+0 s-*(— 0
Тогда существует не более чем счетное подмножество То множества Тг
такое, что если t^,T1 — То, то существуют оба предела по вероятности

320 гл. та. мартингалы
xt-o u хио и с вероятностью 1,
xt-<s — xt*o
если t?T.
В условиях теоремы подразумевается, что в точках Tv являющихся
лшпь односторонними предельными точками для множества Т, не накла-
.дывается никаких предельных условий на поведение х3. Заметим, что мно-
множество 7" односторонних предельных точек множества Т не более чем
счетно. В самом деле, каждая точка множества Т' является граничной
точкой замкнутого отрезка, не содержащего ни одной точки из Т. Поэтому
каждый такой отрезок может пересекаться не более чем с еще одним
отрезком того же типа, так что можно предположить, что эти отрезки
попарно не пересекаются. Совокупность рассматриваемых отрезков ивляется,
таким образом, не более чем счетной, откуда следует, что не более чем
счетным является и множество Т'. Поэтому мы можем дальше предпо-
предполагать, что каждая точка множества Т1 является двусторонней предельной
точкой множества Т.
В наиболее важных приложениях теоремы 11.1 множество Т является
интервалом, и известно, что пределы по вероятности xt_<> и хио существуют
в каждой точке множества Т. Теорема утверждает в этом случае, что при
каждом t, не входящем в некоторое исключительное не более чем счетное
множество значений параметра, с вероятностью 1
xt = xt-a = xt+u-
Чтобы доказать эту теорему, определим расстояние между любыми
двумя случайными величинами х и у, как наибольшую нижнюю грань
значений s, для которых
При таком определения расстояния d(х, у) равенство lim d(x, xn)-=0 будет
п->оо
иметь место тогда и только тогда, когда plima;n = a;. В этом случае при
п-*оо
каждом t?T случайная величина xt оказывается точкой полного метриче-
метрического пространства, так что случайные величины, образующие процесс х,,
определяют функцию / от t?T, принимающую значения из этого метри-
метрического пространства. По предположению, для каждого t^Tx существует
один из пределов / (t — 0) или f(t + O). Чтобы доказать теорему, нам надо
показать, что множество точек из Тг, в которых колебание функции / поло-
положительно, не более чем счетно. Для этого достаточно показать, что при
любом п не более чем счетно множество точек Тг (л), в которых колебание
функции / больше 1/п. Если t? T^n) и если существует предел/(г —0) [соот-
[соответственно /((-1-0)], то t явлиетси правым (соответственно левым) концом
интервала, содержащего точку t и не содержащего никаких других точек
множества Т1 (л). Мы получили, таким образом, совокупность интервалов,
которые мы можем считать попарно непересекающимися и каждый из которых
содержит только одну точку множества 7\(л); сумма этих интервалов
подержит внутри себя все 7^G1). Так как совокупность непересекающихся
интервалов не может быть более чем счетной, то не более чем счетным
является и само множество 2т1(л).
В дальнейшем мы будем называть точку to$T фиксированной точкой
разрыва вероятностного процесса {xt, t?T], если не для любой последова-
последовательности sn~>Z0 с вероятностью 1
limxSn=:a;,0.

5 И. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 321
Если процесс сепарабелен, то согласно этому определению t0 является
фиксированной точкой разрыва тогда и только тогда, когда для нее не-
неверно утверждение, состоящее в том, что с вероятностью 1
lima;s = a;/0,
в-tto
т. е. тогда и только тогда, когда с положительной вероятностью выбороч-
выборочная функция процесса имеет разрыв в точке t0- Любую точку разрыва
выборочной функции сепарабельного процесса, не являющуюся фиксирован-
фиксированной точкой разрыва, мы будем называть подвижной точкой разрыва. Даже
если нет фиксированных точек разрыва, то отсюда вовсе не следует, что
выборочные функции сепарабельного процесса почти все (т. е. с вероят-
вероятностью 1) являются непрерывными функциями, так как эти выборочные
функции могут обладать подвижными точками разрыва. Так, например,
обстоит дело в случае процесса Пуассона (см. приведенный выше пример 2).
Теорема 11.2. Пусть (х,, t?T} — полумартингал, и пусть аи Ь —
соответственно минимальная и максимальная точки замыкания множе-
множества Т. Определим множество Т' как совокупность предельных точек
множества Т с тем, однако, исключением, что точка Ъ считается не вхо-
входящей в Т', если Ь$Т, и что точка а считается не входящей в Т', еели
inf Е{а;,}= —оз.
s?T
(I) Каждой точке t?T', являющейся предельной точкой множества Т
слева (справа), соответствует случайная величина xt_Q (соответственно
хЫо) такая, что если sn —* t и sn< t (соответственно sn > t) и sn € T,
mo limxSn = x,_0 (соответственно Hm xSn = #,,.„ с вероятностью 1). Если
П-tCO П- CO
процесс xt сепарабелен, то эти пределы по последовательностям можно
заменить обычными пределами lim а; = х,_„ (соответственно lim х — хЫп).
8-(-0 «-(+0
(II) Для каждого t?T', за исключением не более чем счетного множе-
множества значений, с вероятностью 1. выполняется следующее соотношение
между теми из трех входящих в него величии, которые при данном
t определены:
В частности, фиксированных точек разрыва имеется не более чем счетное
число.
Пусть t$T' — предельная точка множества Т слева. Существование
предела ж,_„ будет следовать из варианта для случая общего множества
значений параметра теоремы 4.1s, примененного к полумартпнгалу
{xs, s?T, s<t],
если только мы покажем, что при некотором t0 < t
sup Е{|ж,|}<оо.
Пусть tl — точка из множества Т такая, что 1Л~>1; такая точка существует,
поскольку t ? Z". В качестве t0 возьмем любую точку из Т, для которой
to<t. Тогда, в силу пункта (II) теоремы 3.1,
Таким образом, здесь применим вариант теоремы 4.1s для случая общего
множества значений параметра, и тем самым существование величины х,_^
доказано. Существование х,л0 следует из теоремы 4.2s. Наконец, пункт (II)
следует из теоремы 11.1. Заметим, что если бы величина E{|Xj|J была

322 ГЛ. VII. МАРТИНГАЛЫ
ограничена при s, близких к Ъ, то течку Ъ теже межно было бы вклю-
включить в Т'.
Пусть {ж,, t? Т] — полумартингал. В §§ 1—3 мы рассмотрели различные
условия, при которых величины xt равномерно интегрируемы. Следующая
теорема дает для этого необходимые и достаточные условия.
Теорема 11.3. В предположениях теоремы 11.2 имеют место сле-
следующие соотношения:
EWEW s<t,
lim E {*„} < Е {х,^} < Е {ж,} < Е {xtj = lim Е [х,].
s-,(-0 s-t + й
Если tt?T, то величины х, при t^,tl равномерно интегрируемы тогда
и только тогда, когда
inf E{xs}>-co, lim E {xs} = E[xt4>), t<tv
s?T s—t—O
для всех t, являющихся предельными слева точками множества Т.
Неравенства, связывающие математические ожидания, при некоторых
значениях t могут оказаться тривиальными, потому что рассматриваемые
случайные величины определены не обязательно для всех t. Однако вхо-
входящее в формулировку теоремы двустороннее неравенство выполняется при
всех значениях t в том смысле, что если какие-нибудь две из фигуриру-
фигурирующих в этом неравенстве случайные величины, существуют, то верно при-
приведенное неравенство между их математическими ожиданиями. Эти нера-
неравенства были нами доказаны для случая дискретного параметра и не тре-
требуют дальнейшего обсуждения. Утверждение о равномерной пнтегрируемостп
следующим образом выводится из соответствующего утверждения для част-
частного случая дискретного параметра. Интересующие нас величины х, равно-
равномерно интегрируемы тогда и только тогда, когда равномерно интегрируемы
величины ж( из любой последовательности {г8п)> и мы можем даже огра-
ограничиться монотонными последовательностями {sn}. Далее, в пункте (IV)
теоремы 3.1 мы показали, что если {sn}—монотонно убывающая последо-
последовательность, то величины хг равномерно интегрируемы тогда и только
тогда, когда
lim E {xs } > — со;
в пункте (II) теоремы 4.1s мы показали, что если {sn} монотонно возра-
возрастающая последовательность и sn—>t, то величины xs равномерно инте-
интегрируемы тогда и только тогда, когда
Эти два условия и есть условия нашей теоремы.
Согласно теореме 11.3, случайные величины полумартингала xt равномерно
интегрируемы, при /<<,, где tx входит в множество значений параметра, если,
например, монотонная функция Е{ж,} ограничена по t и не имеет скачков,
т. е. если Е {xt} пробегает все значения из некоторого интервала (этот
интервал может вырождаться в точку). Это будет верно, в частности, еслп
процесс ж( является мартингалом, так как для мартингала Е {х,} постоянно.
Однако мы не получаем для этого случая ничего нового, так как в соот-
соответствии с пунктом (III) теоремы 3.1 (примененным к процессу \xt\) слу-
случайные величины ж( равномерно интегрируемы при t < tv
Теоремы 4.4 и 4.4s показывают, как можно раеттрпть множество зна-
ченпп параметра для некоторых простых типов мартингалов и полумартин-
полумартингалов. Следующая теорема является варпантом этих теорем для случая
общего множества значений параметра.

5 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Теорема 11.4. Пусть {xt, jF(, t?T) — полумартингал {мартингал)
и I — замкнутый интервал, концами которого служат минимальная
и максимальная точки замыкания множества Т, с тем, однако, исключе-
исключением, что правый конец считается не входящим в I, если он не входит
в Т, и что левый конец считается не входящим в I, если, ir.f Е(х,}= — оо.
Тогда можно определить величины xt и поля :Ft при t?l — T таким обра-
образом, чтобы процесс {xt, .ft, t?l] был полумартингалом (мартингалом).
Пусть процесс xt является полумартингалом (мартингалом). Если
t?l—T и t — предельная справа точка множества Т, то положим
Используя вариант теоремы 4.1s (соответственно теоремы 4.1) для случая
общего множества значений параметра, легко убедиться, что процесс
с таким расширенным множеством значений параметра является полумар-
тингалом (мартингалом). (См. также теорему 4.4.) Пусть теперь [с, d] —
замкнутый интервал, такой, что его начальная и конечная точки и только
эти его точкп входят в замыкание множества Т. Величина xd и поле JFd
уже определены. Положим
x, = xd, 3pl=3Fd (c<t<d)
если хс и JFU еще не определены. Получившийся в результате процесс
{ж,, 3-1, t?l\ будет тогда полумартингалом (мартингалом). В заключение
отметим, что в ряде случаев построенное намп расширение процесса не
является единственно возможным.
Теорема 11.4 показывает, что при изучении мартингалов п полумартин-
полумартингалов мы можем, если хотим, предполагать, что множество значений пара-
параметра является интервалом.
Пример 3. В § 8 был дан пример мартингала {хп, я>1}, удовле-
удовлетворяющего следующим условиям:
lim xn — 0
с вероятностью 1. Положим
Процесс {хп, 1<я<оо} будет тогда полумартингалом, случайные величины
которого не являются равномерно интегрируемыми. Множеством / из тео-
теоремы 11.4 будет в этом случае интервал [1, со], причем xfX_0=0 с вероят-
вероятностью 1. Определение величин xt с нецелым I такое, как при доказатель-
доказательстве теоремы 11.4, дает
х,=хп, п— 1<г<л, и = 2, 3, ....
В этом примере можно было бы взять в качестве х^ любую неотрицатель-
неотрицательную случайную величину с конечным математическим ожиданием, но ника-
никаким выбором величины хх нельзя добиться того, чтобы этот процесс стал
мартингалом.
В дальнейшем, как п в § 1 гл. V, мы будем говорить, что функция
имеет скачок в некоторой точке, если эта точка является течкой разрыва;
функции, причем в ной существуют пределы функции справа и слева.
21 •¦

324 ГЛ. VII. МАРТИНГАЛЫ
и само значение функции в точке заключено между этими пределами.
Если функция принимает комплексные значения, то мы будем говорить,
что она делает скачок, если делают скачок ее действительная и мнимая
части или если одна из этих двух частей делает скачок, а другая непре-
непрерывна.
Теорема 11.5. За исключением, быть может, множества выбороч-
выборочных функций вероятности 0, все выборочные функции сепарабельного полу-
полумартингала [xt, t?T] обладают следующими свойствами:
(\)'Они ограничены на каждом t-множестве вида [аи bt]T, где
а,, 6,^7"; если процесс xt—мартингал, то требуется лишь, чтобы
(II) При каждом tсТ, являющемся предельной точкой Т слева (справа),
они. имеют конечные пределы слева (справа).
(III) Всюду, за исключением, быть может, фиксированных точек раз-
разрыва, разрывы выборочных функций являются скачками.
Так как функция, имеющая конечные пределы слева и справа при
всех значениях аргумента, которые являются предельными точками Т слева
(справа), имеет не'более чем счетное число точек разрыва, то почти все вы-
выборочные функции полумартингала имеют не более чем счетное число
точек разрыва. Теорема остается верной и для комплексных мартингалов,
так как она верна для их действительных и мнимых частей.
Пункт (I) сразу вытекает из варианта теоремы 3.2 для случая общего
множества значений параметра. При доказательстве пунктов (II) и (III) ¦
мы предположим, что множество Т бесконечно (в противном случае утвержде-
утверждения этих пунктов выполняются тривиальным образом). В силу пункта (I)
существует ш-множество А1 вероятности 0 такое, что каждая выборочная
функция процесса xt, соответствующая точке ш(?Л,, ограничена на любом
конечном интервале, концы которого принадлежат Т. В соответствии с опре-
определением сепарабельности вероятностного процесса существуют последова-
последовательность [tn].cT, всюду плотная на множестве Т, и ш-множество Л2
вероятности 0 такие, что каждая из выборочных функций, соответствующих
точке ш(?Л2, имеет на любом открытом интервале те же самые верхнюю
и нижнюю грани, что и на совокупности значений tn, содержащихся в этом
интервале, т. е. что
inf х. (ш) = infz- (<o), supx, (to) = sup z. (ш), ш?Л2.
tvr t}a I kit tJE? l
Пусть теперь точки а, и i, выбраны так, что а1 < Ь, и множество (а,, ij) T
не пусто. Возьмем множество точек, образованное точками а,, Ь, и теми
п • п еотых по порядку точек tjt > оторые содержатся в (а,, 6,). Обозна-
Обозначим все точки этого множества через t("\ занумеровав их при этом так,
что t,n) < iin) < ••• • Пусть rj и г2 — действительные числа, г, < rg,
и рп(ш) —число пересечений интервала [г1г г2] последовательностью xt^ (ч>),
ж*,"' (ш). . • • • Согласно теореме 3.3,
Следовательно, если положить Mnft= {Рп(ш) > А}, то
так что

! Н. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 325
Предположим, что выборочная функция g{-), соответствующая точке w(JA2,
не имеет в некоторой точке ^[а^ 6X] T предела справа или слева, так что
либо
Пт g(t) > г2 > гх > ljmg(t), t?[alt Ьг] Т,
!->в-0 I-+S-0
либо эти неравенства выполвяются при t—»s + 0. Тогда те же самые нера-
неравенства останутся выполненными, если t будет стремиться к s, пробегая
лишь значения параметра из {tt}, так что число пересечений интервала
[rv г2] последовательностью g(t[n)), g(l[n)), ... становится бесконечным при
п—»оо. Таким образом, если М есть множество точек и>, которым соответ-
соответствуют выборочные функции g описанного вида, то
MCZLJM^. A=l, 2 A1.2)
п
В силу A1.1) пересечение по к стоящих в правой части A1.2) ш-множеств
имеет вероятность 0. Обозначим это пересечение через Л (rlt r2, alt bt)
и положим
Лз= U Л (г„ г2, fl!, ii),
П, rj, Oi, bi
где суммирование проводится по всем парам рациональных чисел гх, г2,
^ < г2 и где а, (соответственно Ьг) — минимальный (соответственно макси-
максимальный) элемент множества Т, если такой элемент существует; в против-
противном случае суммирование проводится по некоторой последовательности
чисел а1 (соответственно ЬЛ, содержащихся в Т, сходящейся к inf l (соот-
ветственно sup*)- Тогда
Р{Л3}=0,
и люб^я выборочная функция процесса, соответствующая точке ш, не вхо-
входящей в -AiU-^U-As' имеет конечные пределы слева и справа в каждой
точке разрыва. Далее, из определяющих свойств последовательности tj сле-
следует, что разрывы таких функций в любой из' точек, отличной от tjt
должны быть скачками. Если точка t. не является фиксированной точкой
разрыва, то с вероятностью 1 выборочные функции непрерывны в точке tj.
Следовательно, исключив еще одно ш-множество Л4, имеющее вероятность О,
мы можем сказать, что для всех выборочных функций, соответствующих
точкам и, не лежащим ни в одном из множеств Ля разрыв такой функции
является скачком всегда, кроме, быть может, тех исключительных случаев,
когда эта точка разрыва является одновременно одной из точек tj п фикси-
фиксированной точкой разрыва. На этом доказательство теоремы заканчивается.
Теорема 11.5, так же как и некоторые из предыдущих результатов
настоящего параграфа, относится лишь к сепарабельным, а не к любым
полумартннгалам. Однако из результатов § 2 гл. II (теоремы 2.4 гл. II)
следует, что для любого полумартингала {Х(, t$T} существует сепарабель-
вый полумартингал (xt, t?T} такой, что при каждом t
Наши опирающиеся на сепарабельность результаты применимы тогда к про-
процессу х,. Можно также сформулировать эти результаты, не используя
понятие сепарабельности. Чтобы показать, как это делается, мы приведем
здесь следующую перефразировку пункта (II) теоремы 11.5.
[Теорема 11.5 (II).] Пусть процесс \x,,tt;T} является полумартин-
полумартингалом и Тх — конечное или счетное подмножество множества Т. Тогда
почти все выборочные функции процесса х{ обладают следующим свойством:

о26 ГЛ. VII. МАРТИНГАЛЫ
они совпадают на множестве Тг с функциями, определенными на всем Т
и имеющими конечные пределы слева (справа) при каждом 1?Т, явля-
являющемся предельной точкой множества Т слева (справа).
Так как
р{ж((ш)-ж((и)), гег,} = 1,
то пз первоначального варианта теоремы 11.5 вытекает п этот новый вариант.
С другой стороны, взяв в качестве Т, конечное илп счетное множество,
входящее в определение сепарабельности, мы видим, что из нашего нового
варианта теоремы 11.5 следует также и ее первоначальный вариант.
Мы продолжим теперь рассмотрение вариантов теорем предыдущих
параграфов, относящихся к случаю общего множества значений параметра.
¦ (§ 5, закон нуля или единицы.) Пусть {хь t^T} — процесс с незави-
независимыми прирагцениями и z — случайная величина, которая при каждом
A1<6 = supi измерима относительно семейства разностей ж, — ж с
ЦТ
*!<«,' < Ъ.
Тогда z(u)) = const с вероятностью 1. Как и в случае дискретного параметра,
доказательство может быть проведено либо прямым методом, либо с помощью
теории мартингалов.
Мы займемся теперь изучением сепарабельного вероятностного процесса
{Х(, t?T]. В частности, нас будут интересовать разности xt — xa. Мы будем
использовать в дальнейшем без особых ссылок тот очевидный факт, что
если процесс х, является сепарабельным и z —любая случайная величина,
•го процесс ж( — z также является сепарабельным.
(Теорема 5.1.) Пусть {х„ t?T} —сепарабельный вероятностный про-
процесс с независимыми приращениями и пусть множество Т имеет мини-
минимальную точку а и максимальную точку Ь, Тогда, если Е {ж<— жа}=.0,
то
Е{5ир|ж(-жаП<8Е{|жь-ж0П, а>1.
(Придерживаясь ближе формулировки теоремы 5.1, можно было бы
высказать несколько более общий результат, однако такое обобщение оказы-
оказывается немедленным следствием теоремы 5.1 и не представляет самостоятель-
самостоятельного интереса.) Сформулированный здесь результат можно доказать, повто-
повторив для случая непрерывного параметра доказательство теоремы 5.1;
с другой стороны, его можно свести к теореме 5.1, заметив, что, согласно
этой теореме, искомое неравенство выполняется, если заменить левую часть
неравенства на
, ' 'у
где {*.) — конечное подмножество множества Т. Отсюда следует, что нера-
неравенство остается выполненным, если взять в качестве {lj\ счетное под-
подмножество множества Т. Так как процесс ж, сепарабелен. то последователь-
последовательность {^) можно выбрать таким образом, чтобы с вероятностью 1 выпол-
выполнялось равенство
sup | х,. - ха |" = sup \xt — c
j
и теорема полностью доказана.
Обобщэнце теоремы 5.2 на случай общего множества значении пара-
параметра очевидно, п мы но будем приводить поэтому его подробную форму-
формулировку.
(§ 6, усиленный закон больших чисел для взаимно независимых
случайных величин с одинаковой функцией распределения.) Пусть

§ 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 327
{х,, 0<i < оо} — сепарабелъный процесс со стационарными независимыми
приращениями, у которого Е [xt — х0] == 0. Тогда, с вероятностью 1
lim-^- = 0. A1.3)
Чтобы доказать эту теорему, заметим прежде всего, что в соответствии
с ее вариантом для случая дискретного параметра, содержащимся в § 6,
п
limfiZ^.^limi ^ (^-xj_1) = E{x1-x0}=0, A1.4)
и что с вероятностью 1
п
«-жA=Е{ sup
(В силу варианта теоремы 5.1 для случая общего множества значений па-
параметра последнее математическое ожидание конечно.) Тогда
причем мы можем, очевидно, заменить здесь множитель 1/(п— 1) на 1/и.
Вычитая получающееся соотношение из предыдущего предельного равен-
равенства, находпм, что с вероятностью 1
lim — sup \xt — жо|=0.
Комбинируя этот результат с соотношением A1.4), получаем, что с вероят-
вероятностью 1
что и требовалось доказать. Эту теорему можно-было бы также доказать,
установив сначала, что при t >1
и показав затем при помощи варианта теоремы 4.2 пли 4.3 для случая
непрерывного параметра, что члены этого равенства сходятся к пределу
при t—э со. По закону нуля или единицы этот предел должен быть по-
постоянной величиной, причем эта постоянная равна 0, так как наш предел
является случайной величиной того же самого мартингала, в который вхо-
входит и величина х1 — х0, и, значит, имеет одинаковое с ней математическое
ожидание.
Сейчас мы займемся предварительным обсуждением некоторых вопро-
вопросов, в ходе которого мы придем к вариантам теорем 2.1 и 2.2 для случая
общего множества значений параметра. По сравнению с § 2 наше изложе-
изложение будет более цельным, так как в § 2, имея в виду удобство дальней-
дальнейших ссылок (в § 4), мы отдельно рассмотрели теорему 2.1 и лишь затем
перешли к теореме 2.2.
Смысл интересующих нас вариантов теорем 2.1 и 2.2 состоит в том,
что в предположении, что процесс {х,, t?T (х)} является лолумартингалом
или мартингалом, утверждается, что новый процесс [х-,, а?Т(х)}, получае-
получаемый из прэцосса ж, при помощл некоторого выбара, такжз является полу-
мартцнгалом пли мартингалом. В теоремах 2.1 н 2.2 оба множества Т (х)

328 ГЛ. VII. МАРТИНГАЛЫ
я Т (х) были множествами целых чисел. В рассматриваемом теперь более
общем случае каждое из этих множеств может быть произвольным мно-
множеством на числовой прямой. Мы сделаем следующие предположения,
которые сводятся в случае дискретного параметра к предположениям, при-
принятым в § 2:
OSr {ж,, t?T{x)} —вероятностный процесс.
052. При каждом t ? Т (ж) задано борелевское поле J2-', измеримых
ш-множеств, причем
а) J^CIJ^, s<t\
б) величина ж, или измерима относительно &о или совпадает почти
всюду с функцией, измеримой относительно J2",.
053. Почти все выборочные функции процесса xt имеют при всех t? Т(х)
конечные пределы справа
li
OS4. {т„ a?T(t)} — вероятностный процесс, определенный на том же
пространстве Q, что и процесс xt, и обладающий следующими свойствами:
а) при каждом а? Т (х) значения, принимаемые величиной тЯ) входят в
множество Т (х);
б) величина xe (u>) является при фиксированном и> монотонно неубы-
неубывающей функцией от а;
в) если a^Ti'z), то или
или оке стоящее слева т-множество отличается не более чем на множе-
множество вероятности 0 от некоторого множества из HF3.
Если каждое из полей 3Ft содержит все ш-множества вероятности О,
то более слабые альтернативные предположении в пунктах OSS б) и OS4
в) становятся ненужными. Предположение о том, что каждое из полей
&-х содержит все ш-множества вероятности 0, не является ограничением,
так как если этого не было, то JF( можно заменить борелевским полем,
порожденным множествами из jFt и множествами вероятности 0.
Мы определим теперь процесс {ж„, а^Т'(т)}, получаемый из процес-
процесса х, при помощи свободного выбора. Пусть при каждом а через Su обоз-
обозначена (не более чем счетная) совокупность всех тех значений величины
т„, которые она принимает с положительной вероятностью. Определим
ха(и>) равенством
} xw) И. если т« (ш) СS'-
, если *.(«)$$.. AL5)
Это определение имеет смысл на ш-множестве вероятности 1, соответствую-
соответствующем тем выборочным функциям процесса xt, для которых существуют пре-
пределы справа при всех значениях параметра, с тем исключением, что ж, не
определено, когда т„ принимает с вероятностью 0 одно из не более чем
счетного числа значений из Т (ж), не являющихся предельными точками
для Т(х) справа. Другими словами, с вероятностью 1 мы определили хя
при каждом a?T(t).' Мы докажем, что при таком определении величина
ха является случайной величиной, т. е. измеримой функцией от ш. Сле-
Следует ожидать, что точно так же, как и в случае дискретного параметра,
свойства мартингала и полумартингала для процесса ж( перейдут в анало-
аналогичные свойства процесса жя. Заметим, что, по теореме 11.5, предположе-
предположение OS3 выполняется, когда процесс xt является сепарабельным мартинга-
мартингалом или полумартингалом.

I 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 329
Наиболее важным частным случаем свободного выбора является сво-
свободное прекращение, определяемое следующим образом. Пусть выполнены
предположения OS,, 0S2, OS3 и пусть случайная величина т, — оэ < т(ш)^ оэ,
удовлетворяет следующему условию:
OSj. а) Величина т принимает значения только из множества Т{х),
а также, быть может, значение sup t.
б) Или1
или стоящее слева ш-множество отличается не более чем на множество
вероятности 0 от некоторого множества из 3-,..
Если мы положим, далее, Т (т) = Т (ж) и
т< (u>) = min [t, т(ш)], t?T(x),
то величина т, будет удовлетворять предположению 0S4, и определенный
таким способом свободный выбор мы будем называть свободным прекра-
прекращением. Согласно этому определению
( хыо(а>), если К^ИиР{т(ш)>1] = 0,
ж, (ш)= { х,(ч>), ' если <<т((в) и Р {т(«>)>г} > О,
> если <>'с(и)))
с тем, однако, исключением, что если т принимает значение s с положи-
положительной вероятностью, то
ж, (u)) = ж, (а)), если i>s и t(m) = s.
Предположим, что выполнены условия OSX — OS4. Мы будем пользова-
пользоваться следующим методом аппроксимации. Для каждого положительного
целого q выберем конечную совокупность точек
•гак, чтобы первые q точек из множества <SO, точки которого занумерованы
в каком-то порядке, входили в совокунность а"', чтобы любая точка мно-
множества Т(х), лежащая в интервале [ — q, g], отстояла от векотороп точки
aft' на расстояние, не большее чем \jq, и чтсбы бесконечные точки, содер-
содержащиеся в Т{х), также были бы среди а'*. Положим
ач
хаЧ (ш), если а<?_>, < 1,(ю)<#, / > 1,
О , если max aW < ta (ш).
Тогда величина ai" будет измеримой функцией от ш, т. е. случайной ве-
величиной, и с вероятностью 1
limi?=v
q~- оэ
Следовательно, ж„ также является случайной величиной. Нам будет полез-
полезно разобраться более полно в свойствах борелевского поля $-а, относитель-
относительно которого 'измерима величина х*. Наиболее важным является тот факт,
что это борелевское поле определяется при помощи полей J~t п величин
ta, и его определение не связано, такнм образом, с хс. Фиксируем a ? Т (т)

330 ГЛ. VII. МАРТИНГАЛЫ
При каждом положительном целом q обозначим через j-^ борелевское по-
поле, порожденное ш-множествами вероятности 0 и ш-множествами вида
А {а < т. (»)<&}, Ле [) JFct
с<ь
где числа а, Ь, с не обязательно конечны, ни одна из первых д точек
множества Sa не является внутренней точкой интервала (а, Ь), и
arctg b - arctg a<Cl[q. He будет ограничением предположить при этом,
что Ь?Т(х) и с = Ь. Если 6= — со?Г(х), то мы понимаем указанные выше
множества как
А {т. (u) =-co}, A6^_m.
Положим
Определенный выше аппроксимирующий процесс ж; измерим относитель-
относительно jf\ при достаточно большом q. Следовательно, при каждом г случай-
случайная величина ж„ измерима относительно JF,, так что ха измерима также
и относительно jfa. Далее, при а < [3 имеет место включение У'аС.З'ъ-
Чтобы доказать это, мы покажем, что &% CZ 3'\ для всех q. А для этого
достаточно проверить, что каждое множество из класса множеств, порож-
порождающих J2^, входит в J^p. Достаточно рассмотреть множества из Jfa вида
А1 = Л{а<тв(и>) <6}, А?&ь, b?T(x),
где Ъ — конечно; случай бесконечного b требует лишь тривиальных изме-
ненип в рассуждениях. Заметим, что Ах? 3-ь. Так как тя<тр, то
U A^u-f л8<т?(и>)<оо})
и это выражение в виде суммы показывает прп 3 > 0, arctg о <l/q и
Т./2— arctg (Ь'+пЪ) < l/q, что Л, является одним из множеств J^.
Цель дальнейших рассуждений состоит в 'том. чтобы показать, что
при подходящих условиях регулярности полумартингал (мартингал)
{ж(, S-x, t?T(x)\ переходит в результате преобразования свободного выбора
в полумартингал (мартингал) [ха, jfa, а. ? Т(-:)}. Заметим, что если Ф — бе-
ровская функция от <, X и если определить <у< равенством
то для продесса .<. удовлетворяющего условиям ОЗХ п OS2, процесс <у(
также будет удовлетворять этим условиям с тем же самым семейством бо-
релевских полей. Далее, если <pt удовлетворяет условию OS3, и если прп
свободном выборе, - определяемом величинами т,, для которых верно OS4,
процесс 9( переходит в процесс у„ то при выполнении некоторых предпо-
предположений о регулярности процесс {<рг, j-\, t?T(-.)} также будет мартинга-
мартингалом (полумартпнгалом). Здесь поля j'a определены так же, как и выше,
и не зависят от выбора функции Ф. В частности, есля функция Ф непре-
непрерывна, то
Оа (Ш) = Ф [та (ш), Ха (<!))],

I II. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 331
и процесс <у, удовлетворяет условию OS3, если этому условию удовлетво-
удовлетворяет процесс ж,; это —наиболее важный частный случай.
Перейдем теперь к рассмотрению варианта теоремы 2.2 для случая
общего множества значений параметра. Для большей ясности мы разделим
наши результаты на серию лемм и теорем. Эти результаты будут содер-
содержать теорему 2.2 как частный случай и будут даже усиливать ее в не-
некоторых направлениях. Частный случай свободного прекращения, соответ-
соответствующий теореме 2.1, не будет рассматриваться отдельно. Мы будем пред-
предполагать во всех доказательствах- что наши процессы действительны, опу-
опуская тривиальные замечания, которые нужно сделать для перехода к
комплексному случаю. Во всем дальнейшем обсуждении мы будем пред-
предполагать, что {ж,, J*t, t?T(x)\—полумартингал или мартингал, удовлет-
удовлетворяющий условиям ОЭц OS2 и OS3, и что он преобразуется в процесс
{жя. SFa, а €?"(•)} при помощи величин т„, удовлетворяющих условию OS4.
Лемма 11.1. Если. a?T(-z), s?T(x) и A^J?, то
А {-;, (<о)<л} ?.FS. A1.6)
Для того чтобы доказать это соотношение, мы> предположив сперва,
что s? Sa, скажем, что s — это <70-я по порядку точка множества Sa, упо-
упорядоченного так, как при определении полей 3-\. Мы лишь усилим утвер-
утверждение леммы, показав, что A1.6) верно для всех Ag^2 с ?>90. Доста-
Достаточно рассмотреть только множества А вида
Л=М{с1<тя(и>)<с2}, M?jFc, е?Т(х), с<с2, s$(clt сг),
так как множества такого впда порождают &\. Для каждого такого мно-
множества
!Л? & если s>c2,
пустому множеству €.#",, если s<Cj,
что и требовалось доказать. В качестве второго случая предположим, что s
не является предельной точкой множества Т (х) справа (в этом случае s
может как принадлежать, так и не принадлежать Sa). Выберем число q
настолько большим, что
arctgSj — arctgs > — , если sx > s, s1^T(x).
Тогда мы снова лишь усилим утверждение леммы, если покажем, что
A1.6) верно даже при Af ^f%. Достаточно рассмотреть множества А того
же вида, что п выше, с тем, однако, изменением, что точка s может теперь
лежать в интервале (с,, с2). Однако в соответствии с нашим выбором чис-
числа д, если sf(cx, с), то в этом интервале справа от точки s не лежит ни
одна точка множества Т(х). Следовательно,
/ Af.^,, если s>cn,
А{тя(ш).О} =
1 пустому множеству €^FS, если s< Cj,
А {•:„ (ш) .^' s) 6 J^s, ' если с1 < s < с2.
Предположим, наконец, что s?S« и что s является предельной точкой мно-
множества Т (х) справа. Мы докажем сперва, что если s1^T(x) и s1 > s, то
при
—о 1
Mfj'-i, —< arctg^! — arctgs.
7

332 ГЛ. VII. МАРТИНГАЛЫ
Достаточно рассмотреть только те из множеств М, входящих в ff\, кото-
которые имеют вид
), c<e2.
Из нашего предположения относительно q следует, что если s > cv то
si > С2> так чт0
! М б &в1, если s>c2
{ *(ш) '~\ пустому множеству ? &t , если s<ex
М {т„ (ш) < s} € ^Si, если сг < s < с2.
Мы доказали, таким образом, соотношение A1,6'). Из этого соотношения
следует, что
Так как в соответствии с предположением, что
так что
M{ta(a)) = s}€ JP3,
то мы вывели искомое соотношение A1.6).
Лемма 11.2. Предположим, что процесс xt мажорируется полумар-
полумартингалом. Тогда если of7'(x) и если s?T(x), то случайная величинах,,
интегрируема на щ-множестве {та(<»)^?} равномерно относительно о.
Если s является при каждом q одной из точек а', то случайные величи-
величины, составляющие последовательность {xl, <7>1}, интегрируемы на т-мно-
жестве {та(ш)<8} равномерно относительно а и выбора чисел а'.
Напоминаем, что полумартингал {ж+, J5,, t?T(x)} называется мажо-
мажорирующим для процесса {ж,, &t, t?T(x)}, если
Если процесс xt является мартингалом, то мы можем положить x+—\xt['
Мы можем, конечно, положить ж+ = ж,, если процесс ж, является полумар-
полумартингалом, образованным неотрицательными случайными неличинами. И во-
вообще, так как положительные части величин xt образуют процесс
{(\х, |+ж,)/2, &t, t?T {x)\, являющийся полумартингалом, то условие сущест-
существования процесса х+ является условием на размеры отрицательных частей
величина;,, т. е. на —A**1 — xt)l^- Если существует случайная величина
г>0, для которой
Р{жДш)>-г(ш)} = 1, t?T(z),
E{z}<co,
то полумартингал х+, мажорирующий процесс xt, можно определить, как
В соответствии с пунктом (IV) теоремы 1.2, каждый полу мартингал, для
которого совокупность значений параметра является множеством целых
положительных чисел, мажорируется некоторым полумартингалом, так что
в этом случае всегда существует процесс z+. Этот факт объясняет отсут-
отсутствие упоминания о процессе х+ в теоремах 2.1 и 2.2. Заметим, однако,
что даже без предположения о существовании процесса xl можно доказать.

S if. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 333
что величины \х"\ интегрируемы на ш-множестве {т„(ш)<8}, s?T(x), если
принять несколько более слабое допущение
inf Е {ж,} > — со .
Приступая к доказательству леммы, положим
Пользуясь свойством полумартингала для процесса ж+, получаем
< 2
A1.7)
где iS — совокупность тех из точек af, которые содержатся н интервале
(—оо, s]. Далее, в соответствии с теоремой 3.2
Р{тахх+(ш)>Х}<-|-Е{х+]. A1-8)
Следовательно, равномерно по 5
lim P {шах ж+ (ш)"> X} = 0.
^->со (е s
Поэтому левая часть неравенства A1.7) стремится к 0 при X—* оо равномерно
no a, q и всевозможным набором afK В силу равномерной интегрируемости,
A1.7) приводит при у—> оо к соотношению
^ x+dP, A1.9)
I »;. ("О > Х \ ( SUP x\ (io) > X I
.где U — некоторое конечное или счетное подмножество множества Т(ж),
содержащееся в интервале ( —оо, s). Так как соотношение A1.8) выпол-
выполняется для конечных множеств, то оно выполняется и для счетных мно-
множеств. Следовательно, вероятность области интегрирования для интеграла,
стоящего в правой части соотношения A1.9), стремится к 0 при X —> со
равномерно по U, откуда и следует справедливость леммы.
Лемма 11.3 Предположим, что процесс х: мажорируется полумар-
полумартингалом. Пусть a, p? T(i), a-<p, s^T(x), &?jfa. Тогда если процесс xt
.является полумартингалом, то
¦{ zadP< \ x$dP+ \ xsdP A1.10)

334 ГЛ. VII. МАРТИНГАЛЫ
^ жя<Л>< \ xsdP. A1.11)
A{i,WS"( Мт„ («О ^ »}
/Гели процесс xt является мартингалом, то эти неравенства превращаются
в равенства.
Предположим, что процесс xt является полумартингалом. Выберем точки а'
сразу п для ia и для тр так, что теперь определены обе величины xj9i и жр"
и с вероятностью 1
lim х? = ха, lim ж^ = хр.
Положим
A? = A{ej»,<x.(«))<eJe>},
AJ» = А] {fl<«, < х? («)< 41"}, А > /,
Mjk = А? {-ср С«) > og} = AJ - U К, *>/•
Тогда в силу леммы 11.1
так что, используя свойство полумартингала для процесса х,, получаем, что
$
A1.12)
Предположим теперь, что при каждом ? точка s —одна из точек а'. Тогда,
выбрав в предыдущем неравенстве N так, чтобы было а^ = s, и суммируя
по всем /<Л^, находим, что
В соответствии с леммой 11.2 подинтегральные функции интегрируемы
здесь (по указанным областям интегрирования) равномерно по q. Следо-
Следовательно, при q—> оо мы получаем A1.10). Для того чтобы получить A1.11),

§ 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫЙ ПАРАМЕТРОМ 33л
применим неравенство полумартингала к первой строко соотношений A1.12);
тогда будем иметь
л? л?
Суммируя по всем /<./V и положив д —» оо, получагем отсюда A1.11).
В случае мартингала все использованные неравенства обращаются в равен-
равенства, так что равенство имеет место также в A1.10) и A1.11).
Теорема 11.6. Предположим, что
inf Е [xt] > — оо
t 6 Т (х),
и что
sup t = й? Т(х).
Тогда если процесс {xt, ^,, t?T(x)} является полумартингалом (мартин-
(мартингалом), то и процесс {ха, &х, а??'(т)] также является полу мартингалом
(мартингалом), причем
inf Е {ж,} < Е \ха} < Е {хь}. A1.13>
В случае мартингала эти неравенства превращаются в равенства.
Мы предположим сначала, что процесс ж, мажорируется полумартинга-
полумартингалом ж+. Позже мы укажем, как можно избавиться от этого ограничения.
Применяя лемму 11.2 при s = 6, видим, что Е{|а:а1}< со. Положив s = b
в соотношении A1.10), находим, что
Это и есть неравенство полумартингала для процесса ха. Согласно лемме
11.3, если процесс ж, является мартингалом, то в последнем соотношении
можно заменить неравенство на равенство, так что процесс ж„ также будет
мартингалом. Положив в A1.11) Л=2 и s = b, мы получаем правое из не-
неравенств A1.13), причем в случае мартингала это неравенство превра-
превращается в равенство. Так как в случае мартингала первый и третий члены
неравенства A1.13) равны друг другу, то и в левом из соотношений A1.13)
будет при этом равенство. Остается доказать левое из неравенств
A1.13) для случая полумартингала. Если множество Т (х) имеет мини-
минимальный элемент а, то левое из неравенств A1.13) доказывается точно
так же, как и в случае дискретного параметра, где а = 1 (см. доказатель-
доказательство теоремы 2.2), и мы не станем повторять здесь этот вывод. Покажем
теперь, что мы можем всегда предположить, что множество Т (х) со-
содержит минимальный элемент. Именно покажем, что если вначале Т(х)
не имело минимального элемента, ^о мы можем присоединить к Т (х) такой
минимальный элемент, причем из выполнения рассматриваемого нами нера-
неравенства для расширенного процесса будет следовать его справедливость
и для первоначального процесса. Сделав, если нужно, монотонное преобра-
преобразование множества Т (х), мы можем добиться того, чтобы множество Т(х)
стало ограниченным. Итак, пусть Т (х) ограничено, но не имеет минималь-
минимального элемента: положим а = inf t. По условиям теоремы
* е т (.х)
lim E {xt} > — оо.
(-¦а

336 ГЛ. VII. МАРТИНГАЛЫ
Тогда в соответствии с пунктом (I) теоремы 11.2 с вероятностью 1 суще-
существуют пределы
lim xt — xa_lt lim х\ = х*а_х
(здесь Ж(+ — мажорирующий полумартингал), где / стремится к а по любой
последовательности значений параметра. Присоединив к Т (х) точку а— 1
и положив
мы получим искомый процесс, обладающий минимальным значением пара-
параметра. Мы присоединили к Т(х) точку а —1, а не точку а, для того, чтобы
не нужно было проверять свойство OS3 для нового значения параметра.
Избавимся теперь от предположения о существовании мажорирующего
полумартингала. Если xt — полумартингал и если unt = тах(ж(, п), где
п — отрицательное целое число, то процесс unt также является полумартин-
полумартингалом, и
К/Г< -n + max(a:(, 0).
Правая часть этого неравенства является полумартингалом, мажорирующим
полумартингал unt. Применяя теорему 11.6 к процессу ип1 и переходя
к пределу при п —*¦ — оо, найдем, что утверждение этой теоремы верно
и для самого процесса ж,.
Теорема 11.7. Всегда
Е{|5„|}.<3( sup^ E{\x,\], A1.14)
причем если величины xt неотрицательны, то множитель 3 молено заме-
заменить на 1.
Сделав, если нужно, мэнэтоннэз прзобразование множества значе-
значений параметра, мы мэжзм считать, что это множзство ограничено. Пусть
L — наименьшая верхняя грань математических ожиданий, входящих в пра-
правую часть A1.14), и t?T(x). Определим t's равенством
min [s, т„ (ш)], s<i, s?T(x),
t, 5-* + 1.
Пусть
Т(хУ = Т(х)Г\{-со, t],
и пусть множзство 7"(т)' состоит из точек множества 7* (ж)' и точки f-J-1.
Тогда семейство величин {т?, J27,, sfT(t)'} удэвлетворяет условию OS4.
Предположим, что процесс {х., s?T(x)'} переходит в результате свобод-
свободного выбора, определяемого семзйством величия z'$, в процесс {х'г, s^T(i)'}.
Так как множество Т(х)' содержат последний элемэнт t, то в соот-
соответствии с теоремой 11.6 прэцзес х'г является полумартянгалом. Следова-
Следовательно, для этого преобразования свободного выбора удовлетворяется соот-
соотношение A1.13), которое показывает, что
E{x's}> in? E{xs}>-L.
• ЕГр)
В соответствии с пунктом (II) теоремы 3.1

§ 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 337
Вспомнив определение величин т,, находим, что это неравенство эквива-
эквивалентно при s = t неравенству
откуда при 4—>со следует A1.14). Как видно из доказательства, оценку ZL
можно заменить на
2L- inf Е{ж,}.
¦ <етм
В частном случае, когда ж, неотрицательны, неравенство A1.13) показы-
показывает, что
{'а («О € «}
При t—»оо это. неравенство приводит к неравенству A1.14) с той разни-
разницей, что в правой части вместо ЪЬ будет теперь L. Использованный здесь
способ вывода можно было бы также применить для получения правой
части неравенства A1.13).
Лемма 11.4. При а?Т(т), slts2?T (x), sx < s2 и А?^пимеет место
неравенство
{ xSidP.
Для доказательства этой леммы введем случайные величины т', т",
определяемые равенствами
!sv если -с» (ю) < slt
t«(u)), если s^x.fmXSj,
s2, если х« (ш) > s2.
Семейство случайных величин, состоящее из двух-величин т' и т", удовле-
удовлетворяет условию OS4. Пусть в результате свободного выбора, определяе-
определяемого величинами т' п т", процесс {ж,, J^,, «g [s1( s2] Г(а:)} переходит в про-
процесс, образованный двумя случайными величинами ж8, и ж. Так как сово-
совокупность, значений параметра содержит последний элемент s2, то по тео-
теореме. 11.6 процесс {xsv ж} является полумартингалом, и в силу неравенства
полумартингала мы имеем
)^ss} А {т
что и требовалось доказать.
Теорема 11.8. Пусть
6= sup t&T(x).
t 6 Г (х)
(I) .Если процесс xt является полумартингалом, если
Е{|ж«|}<сс, «еПт), (И-15)
Пш ^ z,rfP = 0, аеГ(т), A1.16)

338 гл- У11- МАРТИНГАЛЫ
то процесс ж„ также является полумартингалом, причем
inf Е{ж,}-<;Е{^}, *€Т(х). A1.17)
(II) Если выполнено условие A1.15) и если
Пт С \xs\dP*=O, абГ(т), A1.16')
то неравенство A1.17) можно усилить до неравенства
inf E {z,} < Е {ха} < sup Е{ж,}, а?Т(*); A1.17')
»б т (х) • (е г w
иуэи этом, если процесс ж, является мартингалом, то процесс х„ также
является мартингалом и в соотношении A1.17') имеет место равенство.
(III) Из каждого из' указанных ниже условий Cj.C.Cj вытекает соотно-
соотношение A1.15). Из каждого из условий Сг и С2 вытекает также соотноше-
соотношение A1.16'), а из условия С3 вытекает соотношение A1.16).
Сх. Величины ж, равномерно интегрируемы.
Cj. Каждая из величин т« с вероятностью 1 ограничена сверху некото-
некоторой постоянной, входящей в Т (ж), и
inf Е{ж,} > — оо.
*?Т()
Cj. Существует постоянная К > 0, обладающая следующими свойствами.
Множество значений параметра Т (х) содержит все целые числа, большие
или равные К (но не содержит й=оо). Для каждого целого п*>К и каж-
каждого а? Т (z) с вероятностью 1
E{max(Xn+I, O)-max(xB, O)|JPn}<iC при л<т„(и>). A1.18)
Кроме того,
Е{Ы+т0}<оо, а 6 7», (И.19)
а
inf Е {ж,} > — оо.
г 6 т (х)
(IV) Из указанного ниже условия Q, [соответственно С^] следует выпол-
выполнение условий A1.15) и A1.16) [соответственно A1.15) и A1.16')].
С4. Выполнено соотношение A1.15), и существуют случайная величина
г>ОсЕ{г}<оо и последовательность чисел ?х < i2 < ..., tn?T(x), tn—>b,
такие, что
Р{|*,(ш)|>я!,1(«)-г(«)} = 1, г>«4, i>\. A1.20)
CJ. Процесс xt является мартингалом, выполняется условие A1.15)
и существуют случайная величина 2>0сЕ{г}<оо и последовательность
чисел tx < г2 < ... , tn б Т (х), tn —» Ь, такие, что
Р{|ж(Н|>|ж,1(шI-2(ш)} = 1, t>tit i>l. A1.20')
Доказательство пунктов (I) и (II). Мы могли бы использовать для
доказательства пункта (I) теорему 11.6, рассуждая аналогично тому, как
это было сделано при выводе леммы 11.3. Однако в нашем распоряжении
уже есть необходимые неравенства, и мы поступим поэтому по-другому. Мы
предположим при доказательстве, что процесс ж, мажорируется полумар-
тиягалом. Переход к общему случаю проводится точно так же, как в кон-
конце доказательства теоремы 11.6. Согласно лемме 11.3, если s^T(x),

5 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 339
о, C? Т(т), о<р, A.?&a, и если процесс xt является полумартиягалом, то
XsrfP- A1.21)
При s—»6 мы в силу A1.15) и A1.16) получаем
так что процесс ха является полумартингалом. Неравенство A1.17) дока-
доказывается точно тем же путем, что и левое из неравенств A1.13). При ус-
условиях A1.15) и A1.16') правое из неравенств A1.17') следует из A1.11)
при Л = Й и s—> Ь. Этим заканчивается доказательство пунктов (I) и (II)
для случая полумартингала. В случае мартингала знак неравенства в пер-
первой строке A1.21) заменяется на знак равенства; это равенство и приво-
приводит при s—>Ъ к равенству мартингала для процесса ха. В случае мартин-
мартингала крайние члены неравенства A1.17') равны друг яругу.
Доказательство пункта (III). Если величины xt равномерно интегри-
интегрируемы, т. е. если выполнено условие С,, то Е{|ж(|} ограничено по t, и тог-
тогда в силу теоремы 11.7 Е{|ж„|}<оо. Таким образом, условие A1.15)
выполнено. В'этом случае выполняется также и предельное соотношение
A1.16'), так как при s—г Ъ область интегрирования в A1.16') стягивается
к множеству вероятности 0. Если каждая из величин т, с вероятностью 1
ограничена сверху некоторым числом, принадлежащим Т(х), т. е. если
верно С2, то A1.15) выполняется н силу леммы 11.2. (По тем же сообра-
соображениям, что и выше, здесь несуществевно использованное в лемме 11.2
предположение о существовании мажорирующего полу мартингала.) Так как
в этом случае интеграл в A1.16') обращается в нуль при значениях s,
достаточно близких к Ъ, то выполвяется. также условие A1.16'). (Изуче-
(Изучение случая С2 мсяшо было бы свести тривиальным образом к случаю, рас-
рассмотренному в теореме 11.6.)
Пусть теперь выполнено условие С3. Мы предположим сначала, что
существует полумартингал {х/, ,<F,, t?T(x)}, мажорирующий процесс xt
и такой,* что при каждом а ? Т (?)
E{x*n+i~x*n\^n}<K при п>К и га<та(ш). A1.18')
Впоследствии мы покажем, каким образом ысжно избавиться от этого огра-
ограничения. Положим
Мы предположили здесь, что К — целое число. Если это не так, то К мож-
можно заменить любым целым числом, большим К. Полежим также
\x*j(m), если /—1 <тв(ш)</, /Ж,
w (ш) = {
( 0 , если т„ (">)<#.

340 ГЛ. VII. МАРТИНГАЛЫ
Тогда
¦ О'-К'яО»)^/}
По предположению, ш-множество {са(ш) >/'—1} принадлежит полю 3f~,_x.
Следовательно, мы можем использовать условия A1.18') и A1.19) для того,
чтобы продолжить это неравенство и получять
E{w}<E{xk}+ %^KP [ia(u>)> /-1}<Е{хк}+КЕ{\ха\+-.а] < со.
Предположим теперь, что точки /'—1 и /' входят в чпсло точек а?3). Тогда
Учитывая, что подинтегральная функция в левой частп неравенства интег-
интегрируема равномерно по д, мы находим, что при q —> оо это неравенство пе-
переходит в неравенство
x+dP.
Мы получаем, таким образом, что если s — целое число и $~>К, то
Так как из леммы 11.2 мы ужэ знаем, что величина | ха | имеет конечный
интеграл по множеству {i:,((o)<s}, то мы показали тем самым, что соотно-
соотношение A1.15) верно при условии С3. Так как последний интеграл в пре-
предыдущем неравенстве стремится к 0 при s—>со, то верно также и условие
A1.16'), а следовательно, и более слабое условие A1.16).
Откажемся теперь от предположения о существовании мажорирующего
мартингала х\. Для этого мы положим, аналогично тому, как это было уже
сделано раньше, unt = тах(ж,, л), где и —целое число, га<0, и введем
лолумартингал
*«,* = — га-f-max (ж,, 0),

|II. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 341
мажорарующий процесс ип1. Из основного предположения A1.18) следует,
что для полумартингала x*n,t верно условие A1.18'). Значит, для процесса
unt выполнены условия A1.15) и A1.16). Переходя к пределу при п—* —оо,
получаем искомое утверждение теоремы.
Доказательство пункта (IV). В случае С4 условие A1.15) выполняется
по предположению. Чтобы доказать соотношение A1.16), заметим, что в слу-
случае С4 с вероятностью 1
|ж„(ш)|>жн(ш)— г(ш), если т„ (ш) > t{.
Отсюда следует, что если г фиксировано и s < tit s?T(x), то
\ x,.dP<
¦
s(u>)>0 f
^ (Ц.22)
{тя
Таким образом, условие A1.16) выполнено. Наконец, в случае С4' надо
применить только что развитые соображения не к процессу х,, а к процессу
\xt\, и отсюда будет следовать искомый результат.
Доказательство теоремы теперь полностью закончено. В приложениях
в качестве поля J^ выбирают обычно поле ш-множеств, определяемых
условиями, наложенными на xs при s<i, и мы будем считать в дальней-
дальнейшем, что поля j^, задаются именно таким образом, если только специально
не будет оговорено противное.
Данное нами определение произвольного выбора оказывается полезным
для многих целей. Его можно, однако, видоизменять различными способами.
Например, мы можем увеличить каждое множество S*, присоединяя к нему
любое конечное или счетное множество точек из -Т (ж) и меняя тем самым
определение A1.5) величин ха. При таком изменении как полученные толь-
только что результаты, так и их доказательства остаются в силе.
В качестве приложения свободного выбора рассмотрим обобщение ре-
результатов о последовательном анализе, полученных для случая дискрет-
дискретного параметра в §10. Пусть [yt, 0<?<оо} — сепарабельяый однородный
по времени процесс с независимыми приращениями, и пусть у0 = 0. Мы при-
примем следующие предположения регулярности (в гл. VIII мы увидим, что
эти предположения в значительной степени вытекают из только что данного
качественного описания процесса).
SAX. Почти все выборочные функции процесса у, непрерывны справа при
всех значениях параметра.
SAj. E {\yt |} < оо при всех t, и
E{yL) = at, t>0,
где а —постоянная.
Пусть х —случайная величина, удовлетворяющая условию OSj для
функции, определяющей преобразование свободного прекращения. Мы хотим
вычислить Е {г/-}. Естественно ожидать, что
E{2/c} = flE{T}.
Мы введем поэтому дополнительное ограничение, состоящее в существова-
существовании Е {т}. При выводе искомого соотношения мы будем действовать точно
так же, как и в случае дпскретного параметра, рассмотренном в § 10.

,2 ГЛ. VII. МАРТИНГАЛЫ
Пусть xl—yi — at. Тогда процесс х, является мартингалом с независимыми
приращениями. Применим к этому процессу теорему 11.8. Множество 7*(х)
в этом примере состоит только из одной точки, и соответствующая величина
т, равна просто т. Условие С3 выполняется в нашем случае с
K = E{\Xl\).
Согласно теореме 11.8,
т. е. в нашем случае
О = Е {z-} = Е {у, - at} = Е {г/-} - аЕ {-.},
что и дает искомое выражение для Е {г/т}.
Пример 4. Пусть процесс {хп, я>0} является мартингалом. Опре-
Определим величину т, @</< со), как наибольшее целое число, не превосхо-
дящзе t. Тогда семейство случайных величин {т(, 0<<< оо} (все эти слу-
случайные величины являются, конечно, константами) определяет преобразова-
преобразование свободного выбора, а процесс х,, получаемый в результате этого выбо-
выбора, задается равенством
< П+1,
так что полученный мартингал совпадает с мартингалом, рассмотренным в
примере 1. Здесь Т (х) — множество неотрицательных целых чисел, а Т (т) —
множество неотрицательных действительных чисел.
Пример 5. Пусть {xt, 0</<оо} — сепарабельный процесс браунов-
ского движения (см. пример 2) с хо = О. В гл. VIII будет показано, что
почти все выборочные функции этого процесса непрерывны во всех точках.
Для каждого со, соответствующего непрерывной выборочной функции, опре-
определим т (ш) как наименьшее значение параметра, при котором эта выбороч-
выборочная функция принимает значение d. Здесь d— некоторая фиксированная
отличная от нуля константа. Случайная величина т удовлетворяет условию
OS^, и ее можно поэтому использовать для определения преобразования
свободного прекращения, приводящего к процессу xt такому, что
х, = \
Согласно теореме 11.8, процесс xt является мартингалом, причем
Е{х,} = 0,
хотя, конечно, в отличие от xt распределение величины х, уже ие будет
симметричным. Продолжая рассмотрение этого примера, покажем, что
Е{т} = оз. Чтобы сделать это, определим систему свободного выбора, в кото-
которой множество Т (т) состоит только из одной точки, и соответствующая ве-
величина 1а совпадает с т. Тогда условия теоремы 11.8 должны нарушаться,
так как иначе мы получили бы, что
О = Е {х,} = Е {ха} = Е {z-} = й]ф\0,
ибо x~ — d по определению т. В частности, не может выполняться условие
С, теорэмы 11.8. Поскольку условие A1.18) выполняется при
то не может выполняться вторая половина условия С3 — соотношение A1.1 У),
откуда Е {т} = оэ .

§ 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 343
Пример 6. Пусть {уи 0< f< оз} — сепарабельныипуассоновскпи про-
процесс, у которого
2/о=0, E{yt} = ct.
В гл. VIII будет показано, что почти все выборочные функции процесса yt
непрерывны всюду, за исключением точек, где они делают скачки вели-
величины 1. Для каждого ш, соответствующего такой выборочной функции,
определим случайную величину т (ш), как значение параметра, при котором
выборочная функция делает свой первый скачок. Тогда величина т имеет
распределение, задаваемое плотностью се~", s>0, и
Положим
xt-yt—ct.
Тогда процесс х, окажется мартингалом. Мы иллюстрируем теорему 11.8
одним примером, в котором можно провести точные вычисления. Определим
преобразование свободного выбора, в котором множество Т (т) состоит только
из одной точки, причем соответствующее т„ = т, так что Хсс = ж-+о- Тогда
Здесь приложпма теорема 11.8 (используется условие С3), и мы находим,
что
Тем самым мы еще раз вычислили Е {т}. Этот пример иллюстрирует также
вариант для случая непрерывного параметра рассмотренных выше резуль-
результатов, относящихся к последовательному анализу.
[Теорема 4.1s (IV).] Пусть {xt, а</ < 6) — сепарабельный полумар-
полумартингал, и пусть почти все выборочные функции этого процесса являются
непрерывными функциями. Тогда предел limz, существует и конечен почти
t~*-b
всюду, где limx,< 00.
Прежде чем доказать эту теорему, мы заметим, что по теореме 11.5
два (о-множества
{sup xt (u>) < оз} и {limx, (ш) < оз}
отличаются не больше, чем на ш-множество вероятности 0. Пусть ~ (о>) — пер-
первое значение параметра t (если такое значение существует), для которого
х, (ш) > d, где d — некоторая постоянная. Зададим преобразование свободного
прекращения, определяемое величиной т. Тогда процесс х, — d состоит из
неположительных случайных величин и является полумартингалом. Следо-
Следовательно, в соответствии с вариантом для случая общего множества значе-
значений параметра пункта (I) теоремы 4.1s, предел limx, существует и конечен
с вероятностью 1, т. е. предел limx((u>) существует и конечен почти всю-
t—*b
ду, где sup ж, (tu)<d, откуда, так как d произвольно, следует, что этот пре-
предел существует п конечен всюду, где supa;((co)< со. Этим заканчивается
t
доказательство теоремы. Используя по существу те же самые раесужденяя,
можно было бы вывести утверждение теоремы, заменив предположение о

344 гл- VII. МАРТИНГАЛЫ
непрерывности выборочных функций предположением о том, что
E{sup(z,+o — Z(_o)} < со.
(Нужно также предположить измеримость этой верхней грани.)
Сделаем теперь небольшое отступление, вернувшись к теории мартин-
мартингалов с дискретным параметром. Пусть у1, ..., у.х — действительные слу-'
чайные величины, удовлетворяющие условиям
Е{^} = 0, Е{у,|У1, ...,уу_1} = 0, />1, A1.23)
где в1( о„ ..., оп — неотрицательные постоянные. Положим
к
'Ч = 2 2//
Мы уже отмечали, что условие A1.23) означает просто, что процесс
{?j-. /<«} является мартингалом, для которого
Е{х;}=0, />1.
Пусть &-j — борелевское поле ш-множеств, задаваемое условиями, наложен-
наложенными на величины х±, ..., xjt или, что то же самое, условиями на вели-
величины ух уг Тогда из A1.23) и A1.24) следует, что с вероятностью 1
Другими словами, если выполнены соотношения A1.23) и A1.24), то про-
процесс {х) — о', J^j, /<«} также является мартингалом (один из способов
обнаружить этот факт основывается на замечании, что, поскольку процесс
Xj является мартингалом, процесс х) является полумартингалом, и что в
представлении A.5') для этого полумартингала величины Ду сводятся к кон-
константам). Обратно, если выполнено соотношение A1.23), и если процесс
{tf—a), 3Fj, /<w} является мартингалом, то выполнено также и соотно-
соотношение A1.24). В частности, A1.24) верно, если величины ys взаимно неза-
независимы и имеют нулевые математические ожидания и конечные дисперсии.
В этом частном случае приложима центральная предельная теорема (см.
§ 4 гл. III), которая показывает, что при соответствующих дополнительных
ограничениях, сводящихся по существу к требованию, чтобы был мал
тах|уг. I, величина хп имеет приблизительно гауссовское распределение.
Доказательство этого утверждения методом характеристических функций
состоит, грубо говоря, в том, что если Ф}—характеристическая функция
случайной величины" уя а Ф — характеристическая функция величины хп,
то (приблизительно)
так что (приблизительно)

§ 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 345
Как мы сейчас увидим, эти соображения применимы и в общем случае,
когда величины ys удовлетворяют лишь условиям A1.23) п A1.24). Пре-
Пренебрегая остаточными членами, находим, что
Ф, (X) = Е {eiXxi} = E {eUxM E {eiXyi | J^_i]J =
= Е [е«*,-* [ 1 -1 X*] } = Е {е'*У-.}[ 1 - aJ»] , / > 1.
так что (приблизительно)
log Ф, (X) - log Ф,-_, (X) = -$? , / > 1.
Складывая эти соотношения, находим, что (приблизительно)
так же как и в случае суммы независимых случайных величин уг Таким
образом, ясно, что центральная предельная теорема приложима к мартин-
мартингалам так же, как и к суммам взаимно независимых случайных величин.
Этот факт был отмечен впервые Леви. Мы ие будем здесь подробно рас-
рассматривать случай дискретного параметра, но нам пригодится один резуль-
результат в этом направлении, относящийся к случаю непрерывного параметра.
Мы будем рассматривать действительные мартингалы {х,, JFt, a-^t^b],
для которых Е [х]} < оо. Тогда процесс xt — ха также является мартивгалом
относительно полей jF(, так что процесс (xt — хаJ является полумартинга-
полумартингалом относительно тех же полей. Следовательно, функция F, определяемая
равенством
является монотонно неубывающей функцией. Более того, легко проверить,
что процесс X; имеет ортогональные приращения, так что
Фиксированные точки разрыва процесса xt являются точками разрыва
функции F. По аналогии с A1.24) мы будем считать, что для любой пары
чисел s, t, s < t, с вероятностью 1
E{(xt-xsr\^s} = F(t)-F{s). A1.24')
Это условие эквивалентно условию, состоящему в том, что процесс
является мартингалом. Если допустить, что функция F непрерывна, т. е
что процесс xt не имеет фиксированных точек разрыва, то замена параметра I
на t', где t' = F(t), сводит наш процесс к частному случаю, когда F(t)^
= i — а. Этот случай мы теперь и рассмотрим.
Теорема 11.9. Пусть процесс [х„ .?t, а<г<6} является действи-
действительным мартингалом и пусть почти все выборочные, функции этого про-
процесса непрерывны. Предположим, что
и что для каждой пары чисел s, t, где s < t, с вероятностью 1
Е{(г(-^J|.^5} = г-5, A1.25)
т. е. что процесс {x] — t, JPt, a</<t} является мартингалом. Тогда
процесс xt является процессом с независимыми прирагцениями, а именно
процессом брауновского движения.

346 ГЛ. VII. МАРТИНГАЛЫ
Основной пункт доказательства этой теоремы состоит в том, чтобы
показать, что разность хь — ха имеет гауссовское распределение. Такой
характер распределения интуитивно ясен, так как разность хь — ха может
быть представлена как сумма большого числа п малых случайных величин
Величины yj удовлетворяют условию A1.24) с o) = cjn, так что естественно
ояшдать, что в этом случае применима центральная предельная теорема,
которая и приведет к искомому результату. В приводимом ниже формаль-
формальном доказательстве интересующей нас теоремы отчетливо видны упроще-
упрощения, которые вносит правильное использование теоремы 11.8. Для того
чтобы упростить обозначения, мы положим а = О, Ь = \. Далее, мы пред-
предположим, что каждое из полей JF, содержит все ш-множества вероятности О
(как мы показали выше, это предположение не ограничивает общности).
Заменив, если это нужно, xt на х, — ха, мы можем предположить, что
хо = 0. Пусть s —некоторое положительное число, п — положительное целое
число и т(«, ё, (о) — наименьшее значение t, для которого
max |xS2(u>) — z81(u))|=e,
•l. S2«!
l«l-«2lsS!/n
и ' = 1, если не существует такого значения (мы игнорируем здесь раз-
разрывные выборочные функции). Тогда 0 < т < 1, и условие т (ш) > s является
ограничением на поведение непрерывных выборочных функций только при
значениях параметра, не превосходящих s, так что {-.(и>) > s}? JFS. Дей-
Действительно, если 0 < s < 1 и если ограничиться только непрерывными
выборочными функциями, то
u n {I а И-
m=t 0<ri, ^ I
где т"! и г2 рациональны. Следовательно, {т (u>)<;s} б ^з. и мы можем опре-
определить при помощи случайной величины -с преобразование свободного пре-
прекращения, в котором х, задается равенством
т («о И. т («>)<«.
Так как оба процесса ж, и ж? — t являются мартингалами, то, согласно
пунктам (I) и (III) теоремы 11.8, процессы
{xt, jFt, 0<i<l}, (x\ — min(/, т), *F
также являются мартингалами, так что
A.
Следовательно,
(t-s)dP.

5 11. МАРТИНГАЛЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ 347
Подинтегральная функция в левой части неравенства измерима относи-
относительно поля *г3, а само неравенство верно для всех A?^FS. Следовательно,
с вероятностью 1
E{z?-z!|^s}</-s. A1.26)
Процесс xt обладает, таким образом, почти теми же тремя основными
свойствами, что п процесс xt. А именно, процесс {xt, JFt, 0< ?< 1} является
мартингалом, почти все выборочные функции процесса xt непрерывны
и выполнено условие A.26) [заменяющее теперь более сильное условие
A.25); условпе A.26) эквивалентно утверждению, что процесс \x\ — t, Jfu
0<t<l} является нижним полумартингалом]. Далее, процесс xt обладает
тем простым свойством, что при малых t приращения за время t равномерно
ограничены. В частности, если
Vi — XjIn—XfjLiyn, /=1, ...,«,
то
Ы<- (И-27)
Из свойства мартингала, примененного к процессу х(, и неравенства A1.26)
следует, что с вероятностью 1
Е{ух} = 0, E{y]\yv...,yj_1}=0, (И28)
...,?,-*}<¦! , / = 1 п.
Мы покажем теперь, используя соотношения A1.27) и A1.28), что распре-
распределение величины хг близко к нормальному. Выберем п = п(г) так, чтобы
п —*¦ оо при е —> 0 и чтобы п (s) удовлетворяло еще некоторым условиям,
которые мы укажем ниже.
При / > 1 мы имеем
Е {eu*>7"} = E {eu*O-')/n Е {е<*«; | Ух у__^ =
= Е
где под оA) (и здесь, и в дальнейшем) понимается любое выражение,
которое при s—>0 стремится к 0 равномерно по всем переменным, от кото-
которых оно зависит, при X, заключенном в некотором конечном интервале,
а под 0A) понимается любое выражение, остающееся ограниченным при
тех же условиях. Отсюда следует, что при />1
Е {е**и«} - Е { } |

348 ГЛ. VII. МАРТИНГАЛЫ
Следовательно,
Складывая эти неравенства, находим, что
так что
Далее, при заданном s мы можем, выбрав достаточно большое и, сделать
вероятность Р {x1(u>) = x1(u>)} сколь угодно близкой к 1; следовательно,
выбрав достаточно большое п, мы можем добиться того, что характеристи-
характеристические функции величии хг и х1 окажутся сколь угодно близкими друг
к другу равномерно на любом фиксированном конечном интервале. Таким
образом, можно выбрать п = п (е) настолько большим, чтобы имело место
неравенство
Далее, из неравенства о*<1/л вытекает, что E{xJ}<1, и поэтому
\ (x\-xi)aT< \ x\dP.
Мы выбрали h настолько большим, чтобы вероятность Р{т(ш) = 1} была
близка к 1, так что близка к 1 и вероятность ?{хх (ш) = х1 (ш)}. Следова-
Следовательно, последний интеграл в предыдущем неравенстве равен о A), и это
показывает, что
Так как от s зависит только последний член оA), то этот член должен
равняться нулю, и, следовательно, величина х1 имеет гауссовское распре-
распределение вероятностей с математическим ожиданием 0 и дисперсией 1.
Изменив тривиальным образом проведенное выше рассуждение, можно
показать, что при 0 < t0 < ... < tk < 1
к k-l
Е '
Тогда
откуда следует, что величины х, образуют гауссовскпй процесс с незави-
независимыми приращениями, что и требовалось доказать.
§ 12. Приложение теории мартингалов к выводу свойств непрерывности
выборочных функций процессов некоторых типов
а) Приложение к марковским, процессам. Пусть {х,, а <; t < b) —марков-
—марковский процесс с заданными вероятностями перехода. Иначе говоря, мы пред-
предполагаем, что задана некоторая функция р от ?, s, tj, t, являющаяся при

§ 12. НЕПРЕРЫВНОСТЬ ВЫБОРОЧНЫХ ФУНКЦИИ НЕКОТОРЫХ ПРОЦЕССОВ 343
фиксированных s, t\, t беровской функцией от с, а при фиксированных
%, s, t — функцией распределения относительно переменного ц. Предпола-
Предполагается, что при всех ?, s, t, где s < t, с вероятностью 1
Р(х„ s; tj, /) = Р{г(((о)<т||г,},
и что тождественно по 5, s, tj, t при s < t выполняется уравнение Чепмена —
Колмогорова
/?(«, s;tj, /)= ^ р(С, u; tj, t)drp(t, s; С, a), s < u < /.
— оо
Тогда вероятностный процесс {xt, a < t <; t}, определяемый равенством
будет мартпнгалом, так как справа стоит условная вероятность относи-
относительно системы условий, возрастающей с ростом t. Из известных свойств
непрерывности выборочных функций мартингалов вытекают соответствую-
соответствующие свойства выборочных функций процесса х,. Например, если наш мар-
марковский процесс является однородной цепью Маркова (см. § 1 гл. VI), то
определим х, (слегка видоизменяя определение, данное выше), как
где
Теперь можно использовать свойства непрерывности выборочных функ-
функций процесса х, для того, чтобы показать, что почти все выборочные функ-
функции сепарабельной цепи Маркова с конечным числом состояний явля-
являются ступенчатыми функциями (ср. теорему 1.4 главы VI).
б) П. риложение к процессам с независимыми приращениями. Пусть
{х() а < t < b)—действительный сепарабельный процесс с независимыми
приращениями. Предположим, что при каждом t?[a, b\ существуют и ко-
яечны с вероятностью 1 пределы
Mm ж3 = х,_0, lim z3
В теореме 6.3 гл. VIII доказывается, что почти все выборочные функции
такого процесса ограничены. (В теореме 6.3 предполагается, что процесс х,
центрирован, а это означает, что, кроме указанного выше условия, на
процеес накладывается ограничение, состоящее в том, что разности х<—xt_0
или х,+0 —х, не могут быть с вероятностью 1 равны постоянной, не рав-
равной 0. Однако это дополвительное ограничение не используется при дока-
доказательстве теоремы.) Мы применим теперь теорию мартингалов, для того
чтобы изучить свойства непрерывности процесса хи и получпм при этом
результат Леви (теорема 7.2 гл. VIII), состоящий в том, что почти все выбо-
выборочные функции процесса xt непрерывны всюду, за исключением точек раз-
разрыва, в которых существуют конечные пределы слева и справа. Чтобы
доказать это, обозначим через Ф, характеристическую функцию разности
и положим

350 ГЛ. VII. МАРТИНГАЛЫ
В этом определении предполагается, что число ^ выбрано так, чтобы
Ф, (]i) ф 0. Если число 8 > 0 выбрано настолько малым, что
то соотношение
показывает, что
Ф1 (р.) Ф 0, | |х |< 8, а < f < b.
Таким образом, процесс х, определен при всех р, для которых |[i|<8.
Пусть $¦ t — борелевское поле ш-множеств, задаваемых условиями, наложен-
ны и на величины xs — xa, где s < t. Тогда процесс [х,, J^,,
является мартингалом, так как при s < t с вероятностью 1
Мы выберем в дальнейшем некоторое множество R, лежащее в интервале-
[a, b]. Мы будем говорить, что функция g, определенная на [о, Ь], обла-
обладает свойством Cr, если она совпадает на Л с некоторой функцией, опре-
делевной на всем отрезке [а, Ь] и имеющей и каждой точке отрезка [a, b],
конечные пределы слева и справа. Другими словами, функция g обладает
свойством Cr, если ее можно переопределить в точках множества [a, b] — R
так, чтобы возникшая в результате этого новая функцпя имела пределы спра-
справа и слева во всех точках отрезка [а, Ь]. Пусть R ~ любое счетное подмно-
подмножество отрезка [а, 6]. Мы видели, что, хотя процесс xt (где р фиксировано)
ие обязательно является сепарабельиым, из теоремы 11.5 вытекает, что
иочти все выборочные функции процесса xt обладают свойством Сц- В соот-
соответствии с нашим основным предположением функцпя Ф, (jj.) имеет при
любом фиксированном р и всех t из отрезка [a, b\ конечные пределы слева
и справа по t. Следовательно, при каждом р почти все выборочные функции
процесса xt таковы, что функция от t
обладает свойством Cr. Поэтому почти все выборочные функции процесса xt
обладают тем свойством, что одновременно для всех рациональных ji в ин-
интервале [ — 8, 8] приведенные выше функции от t, а звачит, и их мнимые
части обладают свойством Cr. Далее, если действительвая функция /(•)
ограничена и |fi/|<tt/2, то функция sirifi/ обладает свойством Св тогда
и только тогда, когда этим свойством обладает функция /. Отсюда следует,
что свойством С-ц обладают почти все выборочные функции процесса х,.
По предположению, процесс xt является сепарабельным. Пусть R — совокуп-
совокупность значений параметра, входящая в определение сепарабельности. Тогда
из того, что почти все выборочные функции процесса х, обладают свойством
Cr, следует, что почти все выборочные функции имеют конечные пределы
слева и справа во всех точках отрезка [а, 6], что и требовалось доказать,
в) Приложение, к гауссовским процессам. Поучительно применить тео-
теорию мартингалов к изучению условных математических ожиданий в гаус-
совскцх процессах. Предположим сперва, что задан гауссовский процесс'
{хп, и>0} (случай дискретного параметра). Тогда Е^о^ хп} является
линейной комбинацией величин хх, .. ., хп, и так как с вероятностью 1
(теорема 4.3, следствие 1)
Е{хо\х1,ха, ...} = НшЕ{жо|л;1, ...,хп],

5 12. НЕПРЕРЫВНОСТЬ ВЫБОРОЧНЫХ ФУНКЦИИ НЕКОТОРЫХ ПРОЦЕССОВ 35t
то стоящее слева условное математическое ожидание, будучи пределом нор-
нормально распределенных случайных величин, и само имеет нормальное
распределение. И вообще, ясно, что любые условные математические ожи-
ожидания величин хт при условии, что заданы конечные или бесконечные
совокупности величин х., имеют совместные нормальные распределения, так
как эти условные математические ожидания являются пределами линейных
комбинаций величин ж; (возникающие гауссовские распределения могут,
конечно, быть вырожденными). В общем случае гауссовского процесса
{Х(, t$T) рассмотрим условные математические ожидания вида
Тогда существует конечная или счетная последовательность чисел {sn},
принадлежащих Тх, такая, что с вероятностью 1
(см. теорему 8.2 гл. I), и поэтому в соответствии с проведенным выше
рассмотрением случая дискретного параметра эти условные математические
ожидания должны иметь нормальные распределения; и вообще, любая
совокупность условных математических ожиданий такого впда образует
некоторый гауссовскии процесс. В качестве примера предположим, что
величины xt определены равенством
Тогда семейство величин х, образует гауссовскии мартингал. (Легко заметить,
что гауссовскии мартингал, не имеющий фиксированных точек разрыва,
с точностью до постоянного слагаемого и замены временного параметра совпа-
совпадает с процессом брауновского движения. Это вытекает из того, что такой
процесс имеет некоррелированные приращения.) Отметим, что величину
xt можно рассматривать как прогноз значения величины хь при условпи,
что известно все «прошлое» процесса xs вплоть до момента t (см. гл. XII).

Глава VIII
ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
§ 1. Общие замечания
Процессы с независимыми приращениями были определены в § 9 гл. II.
Случай, когда значениями параметра являются целые числа, был уже рас-
рассмотрен ранее: в самом деле, мы заметили в § 9 гл. II, что если процесс,
образованный случайными величинами xv хг, ... , имеет независимые при-
ращеиия, то хп является n-й частной суммой ряда из взаимно независимых
случайных величин, а такие суммы были изучены в гл. III. Практически
термин «процессы с независимыми приращениями» используют только в слу-
случае непрерывного параметра. Иногда пользуются также терминами «диффе-
«дифференциальные процессы», «аддитивные процессы» и «интегралы от незави-
независимых случайных элементов». Последний термин подсказан формальной
записью
в которой дифференциальные элементы взаимно независимы.
Процессы с независимыми приращениями имеют вариант в широком
смысле — процессы с некоррелированными (или ортогональными) прнраще-
ниямд; последние рассмотрены в гл. IV (случай дискретного - параметра)
и гл. IX (случай непрерывного параметра).
Нам будет удобно в некоторых дальнейших параграфах обозначать слу-
случайные величины, образующие процесс, через x{t), а не через xt, как
обычно.
Если [xt, t?T} — процесс с независимыми приращениями, и/ —некото-
—некоторая функция, определенная на множестве Т, то процесс {xt — / (t), I ? Т}
также является процессом с независимыми приращениями. Нам окажется
иногда удобным заменять xt на xt—f(t), где функция /(/) подбирается
таким образом, чтобы выборочные функции нового процесса обладали про-
простыми свойствами непрерывности. Если множество Т содержит минималь-
минимальный элемент а, то обычно оказывается удобным заменить xt на xt — ха\
при этом получается новый процесс с независимыми приращениями, почти
все выборочные функции которого обращаются в нуль при i = a.
§ 2. Процесс браувовского движения
Процесс брауновского движения был определен в § 9 гл. II. Так назы-
называется действительный процесс {xt, t?T] [в качестве Т выбирается обычно
некоторый интервал, чаще всего интервал ( — со, со) или [0, со)], имеющий
независимые гауссовские приращения, у которого
E{x(l)~x(s)} = 0, Е {[*(*)-*(*)]•} = оV-*|. B-1)
где с — положительная постоянная. Этот процесс является очень важным
как из-за той центральной роли, которую он играет в теории стационарных
гауссовских процессов (см. гл. X и XI), так и из-за его многочисленных
физических приложений.

§ 2. ПРОЦЕСС БРАУНОВСКОГО ДВИЖЕНИЯ
353
В дальнейшем мы будем пользоваться неравенством
B.2)
Теорема 2.1. Для сепарабелъного процесса брауновского движения
Р{ sup [x(t, (fl)-x(O, ю
= 2Р{л;(Г)
B.3)
Предположим, что 0 = ta < . . . < tn = 71. Тогда в соответствии с теоре-
теоремой 2.2 гл. III
?{max[x(tit ш) —3@, со)] >Х} < 2Р{ж(Г, со) —х@, ш)>Х}. B.4)
Выбирая последовательность i,, .., , tn все более плотной и переходя к пре-
пределу, получим в силу теоремы 2.2 гл. II
Р{ sup [x/t, ш) — х@, ш)]>Х}<2Р{хG1, ш)-х@, ш)>).}. B.3')
л;^^-,ш^—л;@, co)>s|>
Чтобы доказать обратное неравенство, положим tj — jTjn; тогда, применяя
вторую половину теоремы 2.2 гл. III, получим, что при каждом г > О
Р{ sup [x(t, ш)-х@, u>)]>X}
¦ Orgies т
>2Р{х(Т, ш)-л;@> со)>Х +
>2Р{х(Т, ^-^(О,
-»2Р{х(Т, ш)-
Теорема 2.2. Почти все выборочные функции сепарабелъного процесса
брауновского движения являются непрерывными функциями.
Предположим, для определенности, что областью значений параметра
является интервал [0, со). Мы докажем, что, за исключением ш-множества
вероятности 0, при достаточно больших N
x{t, u))-x(i,u.j
<iV-1/4) если
l, /<iV«. B.5)
Используя теорему 2.1, находим, что
PJ,- sup x(t, u>)-xf4 • О
Np\ snp
Правая часть последнего неравенства является Лг-м членом сходящегося
ряда; следовательно, по лемме Бореля — Кантелли, с вероятностью 1 инте-
интересующее нас событие произойдет лишь конечное число раз. Отсюда выте-
вытекает, что с вероятностью 1 указавная верхняя грань не превосходит N-1!*
при достаточно большом N. Таким образом, верно неравенство B.5), кото-
которое показывает (при соответствующем выборе =. и 6), что почтп все выбороч-
выборочные функции равномерно непрерывны в каждом конечном интервале изме-
изменения t.

354 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИИМИ
Проведенное нами доказательство непрерывности выборочных функций
использует оценку вероятности Р{ sup [x(t, u>) — л; @, ш)]>Х}, даваемую
теоремой 2.1. В действительности нам здесь была нужна лишь верхняя
граница для этой вероятности, т. е. лишь одна половина теоремы 2.1,
а именно неравенство B.3'). Допустим, что нам известно только неравен-
неравенство B.3'), а не B.3). Доказательство теоремы 2.2 не потребует при этом
никаких изменений. Если уже доказана непрерывность выборочных функ-
функций, то, используя так называемый принцип отражения Дезире Андре,
легко вычислить вероятность B.3), а также и другие аналогичные величины.
Чтобы проиллюстрировать этот метод, мы выведем равенство B.3), исполь-
используя только непрерывность выборочных функций.
Очевидно,
Р{ max [x(t, u>)-z@, u>)]>X; х{Т, <o)-z@, »)».] =
= Р [х (Г, и>)-х (О, со) > X} B.6)
(мы можем писать в этом равенстве шах вместо sup, так как с вероятностью
1 выборочные функции непрерывны). С другой стороны, рассмотрим непре-
непрерывные выборочные функции, удовлетворяющие условиям
max [x(t, ш)-х@, ш)]>Х, х(Т, ш)-х(О, ш)<Х. B.7)
S(s=T
Если - .Л — наименьшее значение t, при котором x(t, ш) —х@, ш) = Х, то
поведен.,, рунщии x(t, со) после момента i(ui) не зависит от ее поведения
до момента т(со), и поэтому одинаково вероятно, что приращение функции
после момента х (со) будет положительно или отрицательно; мы не изменим
распределение вероятностей, отразив при ?>т(ш) выборочные функции
относительно прямой х = Х. Это значит, что
P{maxJx(J, ш) —х@, ш)]>Х, х(Т, ш) — х@, со) < X} =
==P{max [x(t, со) —л: (О, со)]>Х, х(Т, w)—x(Q, ш) > X} =
= Р{х(Г, ш)— х@, ш)>Х}. B.8)
Складывая B.6) и B.8), получаем B.3). Доказательство остается, конечно,
неполным, пока не уточнено утверждение, выделенное курсивом. На самом
деле, однако, рассмотрение, проведенное в предположении, что t пробегает
дискретный ряд значений Tjn, 2Tjn, ..., дает в пределе (при п—*оо) точ-
точный резуль!, ., так что при желании утверждение, выделенное курсивом,
можно считать сокращенной записью рассуждения, основанного на указан-
указанном предельном переходе; поэтому можно обойтись без разбора деликатных
вопросов, связанных с точным обоснованием утверждения, выделенного
курсивом.
Хотя (почти все) выборочные функции сепарабельного процесса брау-
новского движения являются непрерывными, они устроены на самом деле
очень нерегулярным образом. Например, мы сейчас покажем, что при любом
фиксированном t0 с вероятностью 1
ц^-»(')-« Со) =00- B.9)
'-'о °
Другими словами, при каждом t0 с вероятностью 1 почти все выборочные
функции имеют бесконечные верхние производные. Это означает (так как
по теореме 2.5 гл. II наш процесс измерим), что для почти всех выборочных
функций их верхние производные равны + со во всех точках, за исключе-
исключением некоторого множества лебеговой меры 0. Разумеется, это исключитель-
исключительное множество значений t меняется при переходе от одной выборочной

5 2. ПРОЦЕСС БРАУНОВСКОГО ДВИЖЕНИЯ 355
функции к другой. Чтобы доказать соотношение B.9), предположим, что
X —некоторое положительное число, и рассмотрим вероятность
sup
Достаточно доказать, что эта вероятность стремится к 1 при 3—>0, а это
следует из того, что
sup ДС'")—»(*0' ") >х}>Р{ max [x(t, w)—x(ta, ш)]>ХЗ} =
так как величина [ж(го + 8, ш) — х (t0, ш)]/{/? имеет при любом 8 нормальное-
распределение со средним 0 и дисперсией о2.
Мы можем привести и еще более поразительные факты о нерегулярном
характере выборочных функций процесса брауновского движевпя. Пусть
/ — любая фиксированная непрерывная функция от t и пусть O=to< ..-
... <tn=T. Тогда
n-l П-!
2 [f(tj-i) — f (t<)Y ** max \f(tj+1) — f(ti)\ 2 |/('i+i)~" /('<¦)! ¦
Следовательно, если функция / непрерывна на интервале [О, Т] и если
сумма, стоящая справа, ограничена постоянной, не зависящей от л и *;.,
т. е. если функция / имеет ограниченную вариацию (говоря геометрически,
если ее график имеет конечную длину), то стоящая слева сумма стремится
к 0 при max (tj+i — t)—>0. Согласно следующей теореме, для почти всех
выборочных функций нашего процесса эта сумма не стремится к нулю,
и поэтому почти все выборочные функции процесса брауновского движения
имеют неограниченную вариацию.
Теорема 2.3. Пусть [x(t), t?[0, T]} — процесс брауновского движения,
и ta, tlt ... — последовательность точек, всюду плотная в интервале [О, Т).
Пусть t(,n) t^ — это точки t0, ... , tn, расположенные в порядке
возрастания, так что ffl < ... < 1*?К Тогда с вероятностью 1
2И8\)D)]
П-+оа j"=0
и ото кредельное равенство выполняется также и в смысле сходимости
в среднем.
Действительно, пусть Sn — сумма, стоящая слева. Предположим сперва,
что *0 и гг — это соответственно точки 0 и Г. Точки t("+i\ ... , t'X*t полу-
получаются тогда добавлением точки «п+1 между двумя из точек tf1'. Мы пока-
покажем, что последовательность случайных величин . .. , S2, S1 (обратите вни-
внимание на порядок) образует мартингал. Достаточно показать, что для любой
пары положительных целых чисел типе вероятностью 1
т. е. с вероятностью 1
E{Sn-Sn+1\Sn+m 5п+1} = 0. B.10).
Мы опустим подробный вывод этого факта, основанный на соображениях
симметрии, и проведем доказательство лить для т = 2 (яспо, что если наше

356 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
соотношение верно при т = 2, то оно будет верно п при т — 1). Имеются
две возможности: или точки fn+1 и tn+i попадают в один и тот же интервал
D"\ $и)| или в разные интервалы. В обоих случаях применяется один
и тот же метод, и мы рассмотрим поэтому лишь первую возможность. В этом
случае соотношение B.10) вытекает из следующего утверждения: пусть xlt
х2, х3, s — взаимно независимые случайные величины, причем первые три
величины имеют гауссовское распределение с нулевым средним значением;
тогда с вероятностью 1
= 0. B.11)
Чтобы доказать соотношение B.11), заметим, что из соображений симметрии
с вероятностью 1
Е{2(ж1+а:,)а:3|а;1, х2, х\} = 0.
Но так как величина s не зависит от величин х;, то, следовательно, с ве-
вероятностью 1
Е{2(х1+хг)х3\х1, х2, xl s} = 0, B.12)
и B.11) получается, если взять от обеих частей равенства B.12) условные
математические ожидания относительно условий, используемых в B.11).
[Дело в том, что эти условия менее ограничительны, чем условия, фигури-
фигурирующие в B.12).]
Так как последовательность случайных величин ... , S2, S± образует
мартингал, то с вероятностью 1 существует предел lim Sn (см. теорему
п—>со
4.2 гл. VII). Чтобы показать, что этот предел равен о2Г, мы покажем, что
числу а*Т равен соответствующий предел в среднем. В самом деле,
Е{(Sn- а'ГJ} = 2о*2 D+1 ~ tTf < 2°*Т max(ЗД - *<">) _* 0 (и ->«).
Мы закончили, таким образом, доказательство теоремы в том частном
случае, когда *0 = 0, ^ = 74 В общем случае положим
S'n = [x (W) - х @)]» + Sn + [х (Т) - х D"})]а.
Мы показали только то, что с вероятностью 1
lim 5; = оаГ.
п-*со
Так как с вероятностью 1
то мы получаем отсюда и утверждение нашей теоремы в общем случае.
§ 3. Физические приложения процесса брауновского движения
Пусть х (t) — координата х в момент t частицы, движущейся в некото-
некоторой среде. Значительная часть последующего анализа применима к столь
различным случаям, как
а) частица является молекулой жидкости или газа;
б) частица имеет микроскопические размеры и находится в жидкости,
например является коллоидной частицей;
в) частица является звездой; среда — это звездная вселенная.
Английский биолог Браун заметил в 1826 году, что частица в случае б)
совершает беспорядочное и кажущееся самопроизвольным движение; теперь

5 3. ПРИЛОЖЕНИЯ ПРОЦЕССА ВРАУНОВСКОГО ДВИЖЕНИЯ 357
известно, что это движение вызывается столкновениями частицы с молеку-
молекулами среды. Такое движение называют брауновским движением; при ана-
анализе этого физического явления используется вероятностный процесс, рас-
рассмотренный в предыдущем параграфе (откуда и происходит название про-
процесса). Существенным условием применимости приводимого нпже анализа
является возможность пренебречь взаимодействием между частпцей и окру-
окружающей средой в промежутки времени между столкновениями (это усло-
условие выполняется, например, в случае движения молекулы газа при низком
давлении). Под «столкновением» здесь понимается просто нахождение
частицы в поле сил, создаваемом какой-либо частицей среды; не обязательно
представлять себе столкновение как нечто напоминающее соударение двух
биллиардных шаров.
Столкновения брауновской частицы следуют одно за другим беспоря-
беспорядочным образом и с большой частотой (в подходящем временном масштабе);
таким образом, если время s достаточно велико по сравнению с промежутком
между двумя столкновениями, то изменение координаты x(l-\-s)—x(t)
является суммой большого числа, малых компонент. Естественно рассматри-
рассматривать функцию x{t) как .выборочную функцию вероятностного процесса,
и задача состоит в том, чтобы описать этот процесс (зависящий от непре-
непрерывного параметра). Предполагается, что среда находится в состоянии
макроскопического равновесия; из этого предположения следует, что распре-
распределение разности x(t-\-s) — x(t) естественно считать симметричным и не
зависящим от t. В качестве первого приближения предполагается, что при
s>0 разность х (t-\-s) — x (t) не зависит от перемещений частицы в моменты
времени, предшествующие t; это предположение вместе с предыдущими
приводит к более сильному допущению 6 том, что процесс x(t) имеет не-
независимые прпращения. Центральная предельная теорема подсказывает нам,
что разность x(t-\-s) — x{i), являющаяся суммой почти независимых малых
случайных величин, имеет гауссовское распределение. Если принять все
перечисленные гипотезы, то процесс x(t) должен быть тем вероятностным
процессом) который мы назвали процессом брауновского движения. В слу-
случае частицы, находящейся в жидкости, параметр процесса а2 можно отож-
отождествить с 2ZJ, где D — коэффициент диффузии жидкости, так что
(эта формула принадлежит Эйнштейну). Еще Эйнштейном отмечалось (это
ясно и из проведенного выше обсуждения), что следует ожидать, что ука-
указанная формула даст лишь грубое приближение в том случае, когда t имеет
порядок промежутка времени между двумя столкновениямп молекул.
Во всяком случае, развитые здесь соображения, даже еслп положение
не осложняется какими-либо специфическими особенностямп динамики
частид, вряд ли можно считать более чем наводящими. В самом деле,
более точный математический подход позволяет заключить лишь, что
процесс x(t) имеет стационарные независимые приращения и что распре-
распределение каждой из разностей x(t-\-s) — x(t) будет безгранично делимым
(см. § 4 гл. III). Процесс брауновского движения—далеко не• единственный
процесс, удовлетворяющий этим условиям (см. § 7 этой главы). Правда,
все другие процессы можно исключить, если рассмотреть точные условия,
обосновывающие выполнение центральной предельной теоремы, и признать,
что эти условия подтверждаются экспериментом. Можно также заметить
(см. теорему 7.1), что для всех остальных процессов выборочные функции
не будут непрерывными, и решить, что предположение о разрывности тра-
траекторий частиц не является разумным. Однако независимо от того, на-
насколько убедительным является проведенное выше обсуждение, оно наводит
на мысль о возможности использования рассмотренного нами сепарабель-
ного процесса брауновского двпжения в качестве моделп физпческого брау-

358 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
новского движения, после чего эта математическая модель может быть
проверена на опыте или, во всяком случае, на опыте могут быть прове-
проверены некоторые выводы из этой модели. Хорошо, что выборочные функции
нашего процесса являются непрерывными; менее удовлетворительным
является тот факт, что эти выборочные функции имеют неограниченную
вариацию, так что траектории должны иметь бесконечную длину. Кроме
того, в нашей модели не существует скорость частицы; в самом деле, мы
показали в § 2, что для любой заданной точки t = ta с вероятностью 1 ниж-
нижняя и верхняя производные выборочной функции равны соответственно
-}-а> н —со. Эти свойства процесса ¦ • нужно принимать слишком всерьез
с практической точки зрения, так к ни являются свойствами выбороч-
выборочных функций в малом и зависят от приращений х (t -j- s) — х (t) при малых s,
а как мы уже отмечали, нельзя ожидать слишком хорошего согласия тео-
теории с практикой в отношении свойств малых приращений. Более точный
анализ брауновского движения • нриводит к несколько иной математической
модели, в которой процесс х (t) имеет выборочные функции с непрерывными про-
производными. Как и следует ожидать, для такого процесса Е [[х (l-{-s)^-x (t)]2}~
~s2E{z'(tK} имеет при малом s порядок s2.
§ 4. Пуассоновский процесс
Процесс этого типа был определен в § 9 гл. II, как действительный
однородный процесс с независимыми приращениями, принимающими только
целые значения, причем
Y{x(t, ш) — x(s, u>) = m} = * гс| ¦ *>s, m = 0,l,2..., D.1)
где с —положительная постоянная. Математическое ожидание и дисперсия
приращения процесса x(t) равны
Е {*(*)-*(*)} = с A-«),
E{[x(t)-x(s)-c(t-s)f} = c(t-s), t>s. D.2)
В соответствии с D.1) Р {х (t, ш)>х (s, ш)} = 1 при фиксированных
t > s. Следовательно, если tlt г2, ...—любая последовательность зна-
значений t и если рассматривать x(t) — х@), как функцию, определенную
лишь на этой последовательности точек, то она будет с вероятностью 1 мо-
монотонно неубывающей функцией, принимающей лишь целые значения.
Это значит, что почти все выборочные функции (рассматриваемые только
в точках t.) являются монотонно неубывающими функциями с целочислен-
целочисленными приращениями. Но если процесс сепарабелен, то последовательность
{^¦} можно выбрать так, чтобы почти все выборочные функции x{t) имели
на любом открытом интервале те же самые верхнюю и нижнюю грани,
что н на точках t , содержащихся в этом интервале (см. § 2 гл. II). Таким
образом, если пренебречь совокупностью выборочных функций вероятности
О, то каждая выборочная функция будет обладать следующими свой-
свойствами: она является монотонно неубывающей функцией и возрастает только
скачками, причем величина скачка является целым числом, т. е. если
выборочная функция /(•) имеет скачок в точке ta, то
П*о - 0)< / ft,) </(ta + 0) = / (*„ - 0) + п,
где « — положительное целое число; разность f(t) — f(O) принимает целые
значения всюду, кроме, быть может, точек скачков. Мы сейчас покажем,
что величину скачка, обозначенную выше через п, можно считать равной 1,
т. е. что вероятность TorOj что выборочная функция пмеет хотя бы один
¦скачок, больший 1, равна нулю. Очевидно, достаточно показать, что на
любом заданном конечном интервале, скажем интервале @, Т), вероятность

i 4. ПУАССОНОВСКИЙ ПРОЦЕСС 359
скачка, превосходящего по величине 1, равна 0. Но это следует из пре-
предельного соотношения
(л-» со),
тят{ как если бы выборочная функция имела на интервале @, Т) скачок,
оилыпий 1, то рассмотренный максимум был бы при каждом п больше 1.
Выборочные функции сепарабельного пуассоновского процесса не
являются непрерывными функциями; в самом дело, вероятность того, что
выборочная функция непрерывна на интервале (t, t -j- T), равна е~сТ, и эта
вероятность стремится к 0 при Т —> со. Тем не менее при каждом задан-
заданном значении i0 параметра t непрерывность имеет место с вероятностью 1.
В самом деле,
Р {д:(го + е, ui) — x(ta — t, ш)'> 0} = 1 — е~2" —•> 0 (г—»0).
(Это, конечно, не противоречит тому, что вероятность непрерывности выбо-
выборочной функции одновременно во всех точках интервала оказывается меньше
единицы.)
Для некоторых приложений оказывается удобным изменить термино-
терминологию и говорить о каждом скачке выборочной функции, как о событии.
Число событий, происшедших за интервал времени (s, t), равно тогда
х (t — 0) — x(sJr0). (Здесь и всюду в дальнейшем мы игнорируем те выбо-
выборочные функции, которые не являются монотонными и не возрастают лишь
скачками величины . 1.) Отметим, что, как мы только что показали,
х (t — 0) — х (s -j- 0) = х (t) — x (s) с вероятностью 1, так что если можно пренебре-
пренебрегать множествами вероятности 0, то при подсчете числа событий, происшед-
происшедших за некоторый интервал времени, включение, или невключение гранич-
граничных точек этого интервала ничего не меняет. В нашей новой термпнологин
первое из соотношений D.2) показывает, что математическое ожидание
числа событий в интервале длины / равно cl. Константа с является, таким
образом, (средвей) плотностью числа появления событий.
Еслп события происходят по описанному здесь закону Пуассона, то их
характеризуют иногда, как «чисто случайные», а в физической литературе
и просто как «случайные». Это распределение событий можно оппсать сле-
следующим образом, не используя терминологии вероятностных процессов:
События происходят таким образом, что вероятность появления
« течение открытого интервала времени (s, t) ровно т событий задается
правой частью равенства D.1) (при этом вероятность того, что за замк-
замкнутый интервал времени [s, t] произойдет ровно т событий, равна той оке
величине); если <ilt ..., цп — это количества событий, происшедших за п по-
попарно не пересекающихся (за исключением, быть может, их концов) интер-
интервалов времени, то (tj, ..., ftn при любом целом положительном п являются
взаимно независимыми случайными величинами.
Заметим, что при условии, что в интервале времени (s, l) произошло
ровно т событий, условное распределение моментов появления етпх событий
такое же самое, как еслп бы т точек выбирались независимо друг от друга
в этом интервале, каждая с равномерным распределением вероятностей
[с плотностью lftt — s)]. Поэтому плотность условного совместного распре-
распределения вероятностей для этих т точек (т. е. плотность вероятностп того,
что наши т случайных точек примут значения t1 tm) здесь

360 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРПРАЩВНИЯМИ
будет постоянна и равна m\j{t — s)m. В самом деле, вероятность того, что
в п непересекающихся интервалах времени, содержащихся в E, t) и имею-
п
щах длины 1г, ..., 1п, где 2 lf = t — s, произойдет соответственно mlt ..., тп
событий при условии, что всего в интервале времени (s, t) произошло
п
ровно т = 2 т; событий, равна
т\е№1
И тЛ п
;=' _ Г тт (Ji_Y' I ml
а это выражение сводится к
т
—s)m П &>•
(t—s)
если считать, что т из величин т. равны 1 (а остальные 0), и заменить
соответствующие /. на Л;. Таким образом, пуассоновское распределение
событий в заданном конечном интервале времени длины / можно получить,
если задать сначала число ft событий, происшедших в этом интервале, при
помощи распределения
и выбрать затем в этом интервале ft (ш) точек независимо друг от друга
с плотностью распределения вероятностей, для каждой из них равной 1/1.
Исходя из аналогичных соображений можно приближенно получить также
н пуассоновское распределение событий на бесконечном интервале, скажем
на интервале @, со). Для этого выберем в интервале @, Т) независимо
друг от друга [iT точек, каждую с постоянной плотностью вероятностей,
равной \.\Т. Здесь ftr является для каждого интервала Т постоянной,
удовлетворяющей соотношению
lim -?-=с;
например, в качестве [ir можно выбрать целое число, наиболее близкое
к сТ. Тогда при Т —* со полученное распределение событий будет прибли-
приближаться к пуассоновскому в том смысле, что если /,, ..., /„ — любая сово-
совокупность интервалов, попарно непересекающихся (кроме, быть может,
совпадающих конечных точек) и имеющих соответственно длины /,, ..., /„,
и если [1, (Т) — число точек, выбранных в /., то для случайных величин
(Г) (Г)
НтР{,.,G» = т., / = 1 n> = ;Qe-Vi^.
В самом деле, если интервал @, Т) содержит все интервалы 11 и если
п п
/ = 2 lv то = 2т;. то интересующая нас вероятность равна
/1 1
\T J

S 4. ПУАССОНОВСКИИ ПРОЦЕСС 361
) \Т )--\ Т ) mi\...mn\
m^ ... mnl » ''
что и требовалось доказать.
Важно найти простые качественные условия, при которых распреде-
распределение событпй следует закону Пуассона. Мы приводим здесь одну сово-
совокупность таких условий, относящуюся к бесконечному интервалу [0, со).
Каждое событие отождествляется с точкой на временной оси, т. е. предпола-
предполагается, что в любой заданвый момент может произойти только одно событие.
а) За каждый конечный интервал времени происходит лишь конечное
число событий. Мы будем обозначать через x(t) число событпй, происшед-
происшедших за интервал времени 0-<s<f. Тогда х(() при каждом t > О является
случайной величиной; мы положим х@) = 0.
б) Процесс x(t) имеет независимые приращения.
в) Распределение разности х (t) — х (s) зависит только от t — s, т. е.
процесс х{?) является однородным по времени. Чтобы показать, что процесс,
удовлетворяющий условиям а)—в), является пуассоновским, обозначим через
Ф(г) вероятность того, что в течение интервала времени [0, t) не прои-
произойдет ни одного события,
—а:@, <и) = 0}, t>0.
Функция Ф (t) не равна тождественно нулю, так как иначе события должны
были бы наверняка появляться в любом сколь угодно малом промежутке-
времени, а это противоречит условию а). В силу условий б) и в) прн
s>0 и г>0
D.3).
Согласно D.3), если Ф(го) = О, то
так что Ф(г) обращается в нуль в точках, сколь угодно близких к t = 0r
а следовательно, так как функция Ф (t) монотонно невозрастающая, то-
и тождественно обращается в нуль. Так как этот вывод неверен, то Ф (t)
нигде не обращается в нуль. Единственное ненулевое монотонное решени&
уравнения D.3) имеет вид
где с>0 — некоторая постоянная. Случай с = 0 соответствует вырожденному
пуассоновскому распределению событий, при котором не осуществляется
ни одно событие. Мы закончим доказательство выводом формулы Пуассона
D.1)^ Не ограничивая общности, можно положить s = 0. Так как вероятность,
того, что событие произойдет в любой фиксированный момент времени,
равна 0 (поскольку НтФ(г) = 1), то мы имеем
(-t-0
P{x(t, u>) —x@, ш) = т} =
по крайней мере одно событие произойдет в каждом
= Р
из т каких-то интервалов времени (ft/n, (/ + 1)
D.4>
/ = 0, ..., n — 1, и нп одно событие не произойдет
в остальных из этих интервалов
где
(два или больше событии произойдет по крайней 1
мере в одном из интервалов (jl/n, (f-\-l)t/n) J '
Пусть Лп—множество точек ш, описанное в предыдущей строке. Тогда
если «>ёА Яля бесконечной последовательности значений п, то отсюда

362 ГЛ. УШ. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
будет следовать, что ш ? Л.п для всех достаточно больших га, а при таком а>
в интервале @, t) произойдет бесконечно много событий. Поэтому в силу
условия а) Лп сходится при га —> со к ш-мношеству вероятности 0. Первый
член в правой части D.4) равен
то! (п — т)\ \ I \ I m{ v '
Таким образом, при га —> со D.4) переходит в D.1) (с s = 0).
Заметим, что если отбросить условие в), то мы уже не сможем найти
явным образом функцию Ф, но она все равно останется монотонно неубы-
неубывающей. Если предположить, что равна 0 вероятность того, что событие
случится в любой фиксированный момент времени, то функция Ф будет
непрерывной. Развитые выше соображения показывают тогда, что
P{z(f, u))-z(s, м) = т} = e-H-W-fW] ^ ^"^ (')lm , s < t,
где *F=log®. Другими словами, рассматриваемый процесс превращается
в пуассоновский после замены переменной по оси времени.
Наконец, еще одно важное свойство" пуассоновского распределения со-
событий на интервале [0, со) состоит в следующем. Пусть st — время до
появления первого из событий и пусть Sj — промежуток времена между
Ц—1)-м и j-м событиями (/>1). Тогда slt s2, ...— взаимно независи-
независимые случайные величины с одинаковой функцией распределения
P{Sl(@)<X}={
-е-<*, Х>0,
0, Х<0.
Для того чтобы избежать сложных обозначений, мы рассмотрим только
величины sx и s2. Во-первых,
P{sl((o)<il} = P{x(i1,<B)-x@,(o)>l} = l-e-^, t1>0,
откуда следует наше утверждение относительно распределения величины Sj.
Во-вторых,
n-l
1=0
n-l
i=o
Вторая сумма в этом неравенстве равна 0( —Л при га—>со, так как она
мажорируется величиной
п-1 _с(
2 e-^h'n<^l-e-^ln-e-^ln^^ = -^—l^±-oDA = o(^
а первая сумма равна
п- 1
У _ "Ч.
[ — е-с(«) —»A — е—c'i) A — е-сB), га—>-со.

i 5. ПРИЛОЖЕНИЕ ГГУАССОНОВСКОГО ПРОЦЕССА 363
Следовательно,
e-«*). D.5)
Чтобы доказать обратное неравенство, заметим, что величина в левой части
неравенства D.5) не меньше суммы
-,(^±1|1, .)>!}-
;=о
n— 1 с;'(г с(г
;=о
Иногда бывает полезно рассматривать пуассоновский процесс с мно-
множеством значений параметра, иаменяющимся не от 0 до оо, а от — оо
до оо. Для такого процесса можно рассмотреть случайную величину s',
промежуток времени между событиями, непосредственно предшествующим
и непосредственно следующим за данным моментом времени t0. Тогда
величина s' имеет то же распределение, что и сумма ^t + s2, так что она
имеет плотность распределения вероятностей с"}.е~ск, а не плотность се~л,
которую имеют величины s;. При рассмотрении «промежутка времени между
двумя событиями» нужно обращать внимание на разницу между величи-
величинами S' И Sj.
§ 5. Приложение пуассоиовского процесса
к распределенинм молекул и звезд
Рассмотрим некоторое множество точек на конечном или бесконечном
интервале, например множество звезд в «одномерной модели» вселенной.
Пусть ..., х0, хи ...—координаты этих точек; будем считать, что они
распределены равномерным образом, и рассмотрим вопрос о том, как могут
двигаться эти точки так, чтобы при этом сохранялась равномерность их
распределения, то есть вопрос о том, какого рода движение совместимо
со статистическим равновесием системы частиц (это требование не нужно
смешивать с требованием стационарности процесса, управляющего движе-
движением отдельной частицы). Следующие два примера разъясняют имеющиеся
возможности.
а) Предположим, что на бесконечной прямой имеется бесконечно много
частиц, участвующих в брауновском движении. Если а; (г) —координата
одной из таких частиц в момент t, то, как мы уже видели, процесс x(t)
является вероятностным процессом брауновского движения, для которого
E{[x(i) — x(O)Y} = 2Dt—»оо при t—>oo. Следовательно, в любой заданный
момент времени t, где t достаточно велико, частица окажется с вероятно-
вероятностью, близкой к 1, далеко от своего начального положения. Другими сло-
словами, отдельные частицы будут диффундировать из любого конечного
интервала наружу; такой процесс x(t), разумеется, не является ста-
стационарным. Тем не менее интуитивно ясно, что система, состоящая из
бесконечного числа частиц, будет стационарной; частицы, находившиеся
первоначально далеко от начала координат, будут меняться местами с ча-
частицами, находившимися вблизи начала координат.
б) Предположим, что имеется конечное число частиц, диффундирующих
в интервале (а, Ь) и отражающихся от границ этого интервала в те моменты,
когда они достигают точек а или Ь («отражающих экранов»). Здесь есте-
естественно ожидать, что процесс х (t) становится асимптотически стационарным

364 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
при t—>co, каковы бы ни были начальные условия; более того, при помощи
подходящего выбора начальных условий этот процесс, повидимому, можно
сделать просто стационарным процессом. Иначе говоря, в этом случае си-
система будет стационарной, каково бы ни было число частиц, если только
различные частицы перемещаются независимо друг от друга.
Мы будем рассматривать только случай бесконечного интервала. Первое,
что нам надо сделать, — это точно определить, что подразумевается под
распределением бесконечного числа частиц с плотностью с на оси к. Опре-
Определение этого понятия формулируется иногда с помощью предельного пере-
перехода. Именно, выбирают независимо друг от друга ji, частиц в интервале
(— I, I), каждую с постоянной плотностью распределения вероятностей,
равной 1/BZ), после чего полагают р.,—>со и I—> со таким образом, что
[i[/2/—»с. В соответствии с результатами § 4, это есть косвенное опреде-
определение того факта, что точки распределены на оси ? в соответствии с законом
Пуассова со средней плотностью числа событий с. (Заметим, что параметр $
здесь играет роль не времени, а расстояния; «событиями» являются коор-
координаты xi — положения частиц на оси \. События распределены здесь уж&
не на полуоси, а на всей оси.)
Мы можем отказаться от такого косвенного подхода к вопросу и пред-
предположить просто, что при каждом t задана последовательность случайных
величин ..., xo(t), xx(t), ..., где x.(t) — положение /-й частицы в момент
времени t. В момент времени t = 0 частицы имеют распределение Пуассона
на оси $ со средней плотностью (равной числу частиц, приходящихся на
единицу длины) с, и занумерованы они таким образом, что ... < х0 @) <
<zl@)< ... . Мы хотим найти условия на процесс x;(i), которые обеспе-
обеспечили бы сохранение при всех t пуассоновского распределения частиц на
оси $ с той же плотностью частиц с. Процессы х^A) не являются взаимно
независимыми, так как при t = 0 их связывают указанные выше неравенства.
Мы предположим, что при t > 0 распределение вероятностей для разности
Xj (t) — Xj @) не зависит от /. Кроме того, мы предположим, что при
каждом t > 0 две совокупности случайных величин
{х, (t) - Х$ @), - со <у < оо}, {х. @), - со < / < со}
взаимно независимы, и что взаимно независимы между собой также и все
величины из первой совокупности.
Пусть [ij (ш), ..., jin (u>) — это числа точек х^ (?, ш) (при некотором фикси-
фиксированном t >0), лежащих соответственно в конечных интервалах 1г, ..., 1п.
Длины этих интервалов обозначим через 1г, . . ., 1п. Предполагается, что
интервалы /1; .. ., 1п не имеют попарно общих внутренних точек. Для того
чтобы показать, что распределение частиц в момент t совпадает с распре-
распределением в момент 0, достаточно показать, что
Заметим, что это соотношение вовсе не означает, что распределение вероят-
вероятностей координаты каждой индивидуальной частицы не зависит от времени.
Действительно, если, например, каждая из частиц подчинена вероятностному
процессу брауновского движения, то с возрастанием t она будет стремиться
уйти все дальше и дальше от точки ? = 0. Соотношение E.1) означает,
однако, что система находится в состоянии макроскопического равновесия,
если рассматривать только относительное взаиморасположение частиц..
Например, если каждая из частиц движется по осп с в положительном
направлении с постоянной единичной скоростью, то условия, наложенные
выше на рассматриваемые движения, здесь выполняются, а также выпол-
выполняется очевидным образом и E.1). Чтобы доказать соотношение E.1) в общем

! 5. ПРИЛОЖЕНИЕ ПУАССОНОВСКОГО ПРОЦЕССА 3R5
случае, мы воспользуемся тем, что если а < 6 и F — некоторая функции
распределения, то
со со b—(-f-0 со Ъ—а
С [F(b-t)-F{a-t)]dt= \ dt ^ dF{s)= ^ dF(s) ^ dt = b-a.
—оэ —ао <I—f-f-0 —со а—8
Нам будет удобно в дальнейшем обозначать разность F (Ь)—F (а) через
F(I), где / — это интервал (а, 6]; под / — t мы будем подразумевать ин-
интервал /, сдвинутый на — t единиц. Предыдущее соотношение можно пере-
переписать в виде
GO
\ F(I-t)dt = b — a. E.2)
-Это соотношение остается верным, если подразумевать под / любую сумму
интервалов, а под F (I — t)—сдвинутое на —t единиц множество / и за-
заменить b — а на длину /. Пусть F — функция распределения разности
xs (t) — xs @). Вероятность того, что из числа частиц, находившихся в момент 0
в интервале | ? | < а/2, ровно по т, частиц окажутся в момент t в каждом
из интервалов I-, /=1, ..., п, равна (просуммированной по всем
А > 2те( = те) вероятности того, что к частиц находились вначале в ин-
тервале | \ | < у и что ровно по т^ из этих частиц окажутся в момент вре-
времени t в интервалах Ijt / = 1, •••, п, т. е. равна
*' ГП/Т F4 _й-^Лт>1 х
K J ' Vt V a ) JX
ГП/Т F4 _й-^Л
i=l -a/2
-a/2
n '
где /= П /,. Полученное выражение можно записать в виде
a/2
[с J .
-a/2
F (/,— $) i
my!
«]mj со
2j
fc=0
n
=n
["
[e
a/2
-a/2
a/2
-a/2
— F(l— ?)]d
kl
r(Ij — i) di]m
mA
'j
— e
a/2
_c J
-a/2
и, используя E.2), находим, что последний член равенства сходится при
a—ъ со к правой части соотношения E.1), что и требовалось .доказать.
Рассмотрим теперь частный случай, когда существуют скорости частиц,
т. е. когда почти все выборочные функции процессов xs(t) абсолютно не-
лрерывны. Если vs (I, <o) =cte/(Z, u>)ldt, то условия, которые мы наложили
на процесс х-{1), будут выполняться при следующих предположениях. При
любом конечно.», наборе моментов времени 0<?1< ... <<п совместное рас-
распределение вероятностей для величин v^t^), ..., Vj(tn) не зависит от /.
Две совокупности случайных величин
{v}(t), 0<«< со, —со</<со}, {xs @), — со </<оэ}
взаимно независимы; ссвокупности случайных величин
{у. (t), 0<t < со}, - со < / < со,

366 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
также взаимно независимы. Таким образом, при этих предположениях пуас-
соновское распределение частиц, заданное в момент 0,. воспроизводится
и во все последующие моменты времени. Заметим, что, хотя система нахо-
находится в этом случае в состоянии макроскопического равновесия, мы вовсе
не предполагали, что процесс Vj (l) является стационарным, и не предпо-
предполагали даже, что наши условия относительно [v(l)\ и {а^. @)} сохраняются
при любом выборе начального момента времени. Так, например, величина
Xj(s) может оказаться зависящей от v(l) при t > s, если только s Ф 0.
Все приведенные выше рассмотрения носили одномерный характер.
В г-мерном случае пуассоновским распределением частиц называется рас-
распределение, для которого выполняется соотношение E.1), где под р^ пони-
понимается теперь число частиц в /-м из г-мерных интервалов 1г, ..., 1п, не-
непересекающиеся нигде, за исключением, быть может, точек своих (г— ^-мер-
^-мерных граней, и имеющих г-мерные объемы 1г, ..., 1п. Перенесение всех ре-
результатов этого параграфа на r-мерный случай является тривиальным.
§ 6. Центрирование общего процесса с независимыми приращениями
Если {xt, t?T} — процесс с независимыми приращениями и / — некоторая
(неслучайная) функция от t ? Т, то процесс {х, — f (I), 16 Т} также является
процессом с независимыми приращениями. Леви показал, что функция /
может быть выбрана таким образом, чтобы выборочные функции процесса
xt—f(t) обладали простыми свойствами непрерывности. В качестве первого-
шага к получению его результатов мы докажем следующую теорему.
Теорема 6.1. Пусть {xt, t?T] — процесс с независимыми прираще-
приращениями. Определим Т' как совокупность предельных точек множества Т
с тем, однако, исключением, что минимальная и максимальная точки за-
замыкания множества Т считаются не входящими в Т', если они не при-
принадлежали Т. Тогда существует функция /, определенная для t?T такая,
что если положить zt = xt — /(?), то процесс {zt, t?T] будет процессом
с независимыми приращениями, обладающим следующими свойствами:
(I) Каждой точке t?T', являющейся предельной точкой множества Т
слева (соответственно справа) можно сопоставить случайную величину г,^
(соответственно ztt0) так, что если sn—>t, sn < t (соответственно sn>t),
и sn?T, то с вероятностью 1
lim zSn = zt_o (соответственно lim z,B = z(+0).
Если процесс zt сепарабелен, то эти пределы по последовательностям
можно заменить на обычные пределы с вероятностью 1
lim za = zt_g (соответственно lim za = zt+0) (S?T).
(II) Если разность zt — z3 или любая аналогичная разность с t, заме-
замененным на t + 0^ или t — 0 или s, замененным на s + О ила s—О, равна
с вероятностью 1 некоторой постоянной, то эта постоянная равна 0.
(III) Для каждого t?T, за исключением, быть мажет, не более чем
счетного множества точек SciTT', выполнены с вероятностью 1 следую-
следующие равенства между теми из фигурирующих в них величинами, которые
имеют смысл:
иначе говоря, не более чем счетное множество значений параметра соот-
соответствует фиксированным точкам разрыва процесса zt. Это множество
фиксированных точек разрыва S не зависит от выбора функции /.
Любая функция /, обладающая описанными в теореме свойствами,
называется центрирующей функцией процесса xt, а процесс, для которого'

! 6. ЦЕНТРИРОВАНИЕ ОБЩЕГО ПРОЦЕССА 367
центрирующей функцией служит функция / = 0, называется центрирован-
центрированным процессом. Например, процесс zt в теореме 6.1 является центрирован-
центрированным процессом. Центрирующая функция определяется для заданного про-
процесса неоднозначно, так как если g — любая функция, определенная
и непрерывная на замыкании множества Т, то f + g также будет центри-
центрирующей функцией. Достаточно доказать теорему для действительных
процессов, так как в комплексном случае можно рассмотреть отдельно
действительную и мнимую части величин xt. Мы будем рассматривать
поэтому лишь действительный случай. Наш выбор центрирующей функции
подсказывается следующим фактом. Если {шп, п > 1} — последовательность
действительных случайных величин такая, что для некоторой последова-
последовательности констант {сп} существует и конечен с вероятностью 1 предел
Ит(шп-сп) = ш,
и если при каждом п обозначить через с„ константу, однозначно опреде-
определяемую условием
E{arctg(^n-C;)} = 0,
то предел lim(iyn —с^) существует и конечен с вероятностью 1; другими
п-*ао
словами., существует и конечен предел lim (с'п—сп). Чтобы доказать это
п—юо
утверждение, обозначим через с какую-нибудь предельную точку последо-
последовательности {Сп~сп}- Тогда с вероятностью 1
lim' (wn — Сп) = w — с,
П-ЮО
где штрих над знаком предела указывает, что предел берется по некото-
некоторой подпоследовательности последовательности всех целых чисел. Следова-
Следовательно,
0= lim' E {arctg (шп — <)} = Е {arctg (ш — с}}.
Число с однозначно определяется этим соотношением, и поэтому последова-
последовательность {cj, — cn} имеет не более одной конечной предельной точки.
Так как бесконечные предельные точки удовлетворяют при очевидных
соглашениях тому же соотношению, то они не могут существовать. Следо-
Следовательно, предел lim(c^—сп) существует, что и требовалось доказать.
Учитывая доказанный только что факт, мы выберем функцию f(t) так,
чтобы при всех t ? Т она удовлетворяла условию
E{arctg[x(-/@]} = 0,
и положки
Доказательство пункта (I). Предположим, что sn—>t, sn < t,
и что st^s2<C ... . Ряд
является рядом из взаимно независимых случайных слагаемых, и соотно-
соотношение

368 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
в котором разности, стоящие в скобках, взаимно независимы, а правая
часть не содержит п, влечет за собой сходимость с вероятностью 1 этого
ряда после центрирования (см. теорему 2.8 гл. III), так что
существует и конечен с вероятностью 1 при некотором выборе центри-
центрирующих констант cv c2 Тогда из определения величин zSn следует,
что lim zSa существует и конечен с вероятностью 1. Можно отказаться
от предположения о монотонности последовательности {sn}, так как если эта
последовательность вначале не была монотонной, то ее можно переупоря-
переупорядочить так, чтобы она стала монотонной. Наконец, если
то с вероятностью 1
limz / = limzs»,
n->ao Sn n->ao n
так как из двух последовательностей {s^} и {s*} можно составить
общую последовательность, сходящуюся к (-0. Таким образом, величину
г,_„ можно определить, как предел величины zs, когда s—>t — О по всевоз-
всевозможным последовательностям. Величина z(t0 определяется вполне анало-
аналогично. (Можно такше прямо использовать предыдущий результат, заменив
длн этого xt на х\ -- x_t и сведя предельный переход справа к предельному
переходу слева.) В частном случае, когда процесс сепарабелен, как и всегда
в случае сепарабельности, можно заменить односторонние пределы по после-
последовательностям обычными односторонними пределами.
Доказательство пункта (II). Так как
E{arctgz(} = 0, t?T,
то, переходя к пределу под знаком интеграла, находим, что
Е {arctgz,.,,} = Е {arctg z,+0} = 0, г 6 Т'.
Эта соотношения показывают, что если указанные в пункте (II) разности
являются с вероятностью 1 константами, то эти константы должны рав-
равняться нулю.
Доказательство пункта (III). Из результатов пункта (I) следует, что
plimzs=z,_0, plimz, = z(+0> t?T',
если только определены правые части этих равенств. Поэтому пункт (III)
оказывается непосредственным следствием теоремы 11.1 гл. VII. Множество S
фиксированных точек разрыва не зависит от выбора центрирующих функ-
функций, так как изменение центрирующей функции приводит только к изме-
изменению разностей z/ — zt_0 и zlta — zt на некоторую постоянную, а такое
изменение не может в соответствии с пунктом (II) привести к тому, чтобы
одна из этих разностей обратилась в 0. Если t^T'T является предельной
точкой множества Т справа и слева, то точка t не является фиксированной
точкой разрыва тогда и только тогда, когда с вероятностью 1
z(+o - z(-o = (z( — z(_o) -Ь (z(+0 — zt) = 0.
В самом деле, сумма двух взаимно независимых случайных величин равна
с вероятностью 1 постоянной тогда и только тогда, когда с вероятностью 1
постоянно каждое из слагаемых. (Это утверждение следует из того факта,
что произведение двух характеристических функций имеет модуль, тож-

§ 6. ЦЕНТРИРОВАНИЕ ОБЩЕГО ПРОЦЕССА 369
дественно равный 1, тогда и только тогда, когда этим свойством обладает
каждый из сомножителей.)
В дальнейшем мы условимся считать, что если {хп t?T]—центриро-
t?T]—центрированный процесс с независимыми приращениями и если t 6 Т не является
предельной точкой множества Т слева (справа), то ?,_„ (соответственно xtt0)
определяется просто как xt.
Мы полностью завершили доказательство теоремы 6.1, но, быть может,
поучительно будет еще заметить, что множество S, введенное в теореме,
можяо описать, не прибегая к центрирующей функции. В самом деле,
мы сейчас покажем, что если а —некоторое значение параметра, которое
останется в дальнейшем фиксированным, то S (а, со] является множеством
точек разрыва монотонно невозрастающей функции от t, равной
Е{е4"<Ч-и>} <1Ъ t>a.
Чтобы доказать это, обозначим через Ф( характеристическую функцию раз-
разности xt — ха,
<Mp)=E{,>(*<-*a>}.
Тогда, так как
то функция | Ф, (р) | является при фиксированном р монотонно невозрастающей
функцией от t. Пусть / — любая центрирующая функция процесса,
zt = xt—f(i) и Ч\ — характеристическая функция величины z,,0 — г,_„.
Тогда | xVt | = 1 при t$S, но |'Г,(A)| < 1 при некотором (i в интервале [0,1],
если t?S, так как для каждого такого t разность z,40 — z,_0 не равна
с вероятностью 1 константе. Далее, абсолютная величина характеристи-
характеристической функции разности zi—za равна |Ф(|, и так как эта характеристи-
характеристическая функция изменяется скачком при s?S (умножается на ЧГ,) и непре-
непрерывна в остальных точках множества Т, то и | Ф, | изменяется скачком
(на множитель | Ts |) в точках s? S и непрерывна во всех других точках Г.
Таким образом, S совпадает с множеством, точек разрыва функции
t>a,
аргумента t, что и требовалось доказать.
Хотя с точки зрения теоремы 6.1 нет никаких оснований предпочесть
одну центрирующую функцию процесса другой, мы увидим все же, что
некоторые центрирующие функции обладают особыми преимуществами.
Теорема 6.2. Пусть {xt, t$T] — процесс с независимыми прираще-
приращениями, и пусть I — интервал, концами которого являются минимальная и мак-
максимальная точки замыкания множества Т, причем эти конечные точки вклю-
включаются в 1,лишь если онивходятвТ. Т огда можно определитьвеличины xt при
t?l— T так, чтобы процесс {xt,t(I} был процессом с независимыми при-
приращениями, и чтобы этот новый процесс оказался центрированным, если
был центрирован первоначальный процесс.
Пусть / — центрирующая функция процесса, и пусть z, = xt — / (t).
Если t?l-T и если t — предельная точка для множества Т справа,
то положим xt — zua. Остальные точки множества / содержатся в полу-
полуоткрытых интервалах [с, d) или открытых интервалах (с, d), где d может
как входить, так и не входить в Т, но где d обязательно является пре-
предельной точкой Т справа. Положим в каждом таком интервале xt — xd.
Тогда процесс [xt,t?l], определенный таким способом, будет процессом

370 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
с независимыми приращениями. Если процесс xt центрирован, то мы можем
взять /(г) = 0, и в этом случае расширенный процесс xt также будет
центрированным.
Теорема 6.3. Пусть {х,, t^T) — центрированный сепарабелъный про-
процесс с независимыми приращениями. Тогда, если с, d?T, то почти все вы-
выборочные функции процесса ограничены при с -< t < d.
Это утверждение достаточно доказать в действительном случае, и мы
будем предполагать поэтому в дальнейшем, что процесс является действи-
действительным. Пусть т (t) — медиана разности xd—xt. Если sn —±t — 0 (соответ-
(соответственно sn—э-г-j-O), c<csn<id и sn? T, то каждая предельная точка после-
последовательности {m (sn)} должна быть медианой разности xd — xt_0 (соответ-
(соответственно xd — х/+0). Отсюда следует, что при с<г<е? функция m(t)
ограничена, так что \m(l)\^K для некоторой константы К. Положим
zt =xt— xc-\-m(l), с<г<й.
Тогда процесс zt является процессом с независимыми приращениями
и разность zd — zt имеет медиану, равную 0. Если
с = io<... <in = d, t^T,
то из теоремы 2.2 главы III следует, что
P{maxz(»>X}<2P{zd(u>)>X}, X>0.
1 '
Следовательно,
Р {max [xt. (u>) - хс (ui)] >Х +К} < 2Р {хл (<о) - хс(и,)> Ц.
Так как это неравенство верно для всех конечных подмножеств {i;} мно-
множества Т [с, d], то оно верно также для счетных его подмножеств, и поэ-
поэтому (так как процесс xt сепарабелен)
Применяя этот результат к процессу —xt и комбинируя два найденных
неравенства, получаем, что
P{sup |*,(«)-*е(«)|>Х + #}<2Р{|*»-*е(«)|>Х}. F.1)
Это неравенство показывает, что почти все выборочные функции процесса xt
ограничены в интервале [с, of].
Мы построим теперь один пример, который разъяснит нам роль фикси-
фиксированных точек разрыва процесса с независимыми приращениями. Пусть
tlt tt, ... —конечное или счетное множество точек на прямой, и пусть / —
интервал, концами которого являются минимальная и максимальная точки
замыкания множества {^.}, причем эти концы считаются принадлежащими /,
лишь если они входят в число точек t-. Предположим, что каждой из точек tf
соответствуют две случайные величины ujt vjt обладающие следующими
свойствами:
DP,. Случайные величины uv vlt м2, v2, ... взаимно независимы.
DP2. P {u},(urJ-)-o; (шJ > 0} > 0, />1, и если us или vt с вероят-
вероятностью 1 равно константе, то эта константа есть 0.
DP3. Для каждого конечного замкнутого интервала JciJ ряды
ifii ifiJ
сходятся с вероятностью 1 независимо от порядка слагаемых (т. е. в тер-
терминах § 2 гл. III оба эти ряда имеют абсолютно центрирующие кон-
константы 0, 0, ...).

I 6. ЦЕНТРИРОВАНИЕ ОБЩЕГО ПРОЦЕССА 371
Напомним, что в § 2 гл. Ill было показано, что суммы в DPS
не зависят от порядка суммирования, если пренебречь их заачениямя
на (в-множестве вероятности 0.
Фиксируем теперь некоторую точку а из интервала / и определим
случайные величины xt при t?j равенством
| 2 в,+ 23 «я «><*>
Х^\ V V ^ F)
[ t<t,<a .' t^.tj<x
Тогда процесс {xt, t?l] является процессом с независимыми приращениями, и
х, — xs = 2 й, 4; 23 «у s < г-
Заметим, что хотя при каждом t введенная нами величина xt опре-
определена с вероятностью 1, может оказаться, что множество точек <в, для ко-
которых определены все величины х, одновременно, имеет вероятность,
меньшую 1, так как мы не предполагали, что ряды, входящие в DP3,
сходятся абсолютно с вероятностью 1. Однако там, где не определена какая-
нибудь из величин xt, мы определим ее произвольным образом'. В силу
следствия 1 из теоремы 2.7 гл. III при sn-^t — 0, i${i;}, с вероятно-
вероятностью 1
а при sn—>?-~0, t${tj}t с вероятностью 1
со
Следовательно, в каждом из этих случаев lim x, —х, с вероятностью 1.
Аналогично с вероятностью 1
( х, -в,,- sn-**,-(),
lim x, =
Процесс х, является центрированным, и с вероятностью 1
Точки, i;- являются фиксированвымп точками разрыва процесса.
Мы суммируем эти и некоторые дальнейшие результаты в следующей
теореме.
Теорема 6.4. Если процесс с независимыми приращениями xt опре-
определен при помсщи соотношений F.2) черег величины и-, v)t удовлетворяющие
условиям DPX—DP3, то фиксированными точками разрыва процесса
являются точки ijt а величины разрывов задаются предыдущими равен-
равенствами. Далее, если определенный таким образом процесс сепарабелен,
то почти все его выборочные функции непрерывны во. всех точках, за исклю-
исключением точек tj. 30
Нам остается доказать лишь последнее утверждение этой теоремы.
Оно намного сильнее, чем утверждение о том, что только точки t. явля-
являются фиксированными точками разрыва процесса. Свойства непрерывности
рассматриваемого здесь процесса представляют собой противоположную
крайность по сравнению с соответствующими свойствами сепарабельного
пуассоновского процесса, у которого, (за исключением вырожденных слу-

372 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
чаев) почти все выборочные функции являются разрывными, хотя и нет
фиксированных точек разрыва. Мы докажем теорему, сведя ее к тому
частному случаю, когда величины и; и Vj равномерно ограничены и имеют
нулевые математические ожидания. Достаточно показать, что для каждого
замкнутого интервала JCl, концы которого принадлежат {?;}, почти все
выборочные функции процесса xt непрерывны во есех точках /, отличных
от точек {?,). Мы можем поэтому предположить для упрощения обозна-
обозначений, что условие DP3 справедливо с /, замененным на /, и что / —
со со
гамкнутый интервал. Мы предполагаем тем самым, что ряды 2u/> S vj
сходятся с вероятностью 1, каков бы ни был порядок суммирования. При-
Применим теперь теорему о трех рядах (теорема 2.5 главы III). Положим
где JTiuj и mVj соответственно медианы величин ц^ и о;, я обозначим через о*
дисперсию суммы u'j-\-v}. Тогда в соответствии с упомянутой теоре-
теоремой ряды
все сходятся, и, более того, все сходятся абсолютно, так как сходимость
со со
имеет место при любом порядке суммирования. Ряды 2 uh 2 vi являются
рядами из взаимно независимых случайных величин и имеют абсолютно
центрирующие константы 0, 0, 0,... (так как с вероятностью 1 при до-
достаточно больших / будет и} (ш) = uj (u>), о; (u>) = uj (ш)). Следовательно, анало-
аналогично тому, как при помощи величины и,- и О/ был построен процесс xt,
можно при помощи величин и] и о,; построить процесса;/. Согласно принадле-
принадлежащему Колмогорову обобщению неравенства Чебышева (теорема 2.1 гл. III),
если а — начальная точка интервала / и а = s0 < ... < sn, то
оо
Р{max | x'ti (я) - Е [а;,'.} -\х'а (со) - Е {х'п})) >В} < Е «*'"-*№<±J- .
Предположим теперь, что
2[|Е{В;}|+|Е{о;}1]<8,
1 F-3)
2 [Р {в, Н Ф щ (ш)} + Р {v, (си) Ф v} (ш)}] < В.
Тогда
оо
P{max|a;s'.(cfl) — а;^(св)|

5 в. ЦЕНТРИРОВАНИЕ ОНЩЕГО ПРОЦЕССА 313
Следовательно,
оэ
Р{шах|хг. (ш) -ха (ш)| > 28)<^j—|- 8.
Так как процесс xt сепарабелен, то из этого неравенства следует, что
Р {sup | xt («) - ха (») | > 28} < -Lf- + S. F.4)
Предположим теперь, что некоторая выборочная функция процесса xt имеет
разрыв в точке, отличной от всех точек tp и что колебание функции в точке
разрыва не меньше 48. Для такой функции
Другими словами, множество точек ш, которым соответствуют такие функ-
функции, входит в ш-множество, вероятность которого не превосходит правой
части неравенства F.4), т. е. внешняя мера р. рассматриваемого ш-множе-
ства удовлетворяет неравенству
Далее, если исключить из нашего построения конечное число точек ?;- вместе
с соответствующими величинами ц;. и о;, то разрывы выборочных функций
нигде не изменятся, кроме как в исключенных точках t}. Следовательно,
для каждого к, для которого соотношения F.3) выполняются, если заменить
в них суммирование-по />1 суммированием по />&. Таким образом,
выписанное неравенство для pt верно для всех достаточно больших к, и мы
получаем, что
ps<b.
Так как р3 является монотонно невозрастающей функцией от 8, то это
неравенство означает, что />5 = 0 пря каждом S, и, следовательно, почти все
выборочные функции процесса xt непрерывны всюду, кроме, быть может,
точек tj (их разрывы в точках t. были исследованы раньше). Это и тре-
требовалось доказать.
Заметим, что, применяя результаты пункта б) § 12 гл. VII, мы могли бы
без всяких вычислений получить тот факт, что почти все выборочные функ-
функции процесса х, имеют пределы слева и справа во всех их точках разрыва
(отсюда следует, что выборочные функции не могут иметь более чем счетное
число точек разрыва), но приведенные выкладки были нужны для того,
чтобы показать, что почти все выборочные функции непрерывны всюду,
за исключением точек tf.
Рассмотрим теперь любой действительный процесс {xt,t?T} с независи-
независимыми приращениями. Мы предположим для удобства, что Т является интер-
интервалом. Согласно теореме 6.2, это преднолежение не ограничивает общности.
Пусть /j - центрирующая функция процесса xt, и пусть {tj} — совокупность

374 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
фиксированных точек разрыва центрированного процесса. Определим и{ и о;-
как скачки центрированного процесса слева и справа от точки tjt
u- = Xt. — fi(tj)— lim [%t—/i(')]i
Ясно, что случайные величины ult u2, ...,vv o2, ... взаимно независимы.
Мы видели в § 2 гл. III, что если ряд из взаимно независимых случайных
величин сходится с вероятностью 1 после центрирования, то существуют
абсолютно центрирующие константы (в качестве которых можно взять
всегда, например, усеченные математические ожидания), при которых
центрированный ряд сходится с вероятностью 1, каков бы ни был порядок
суммирования, причем каждый частичный ряд, составленный из некоторой
подпоследовательности членов основного ряда, обладает этим же свойством.
Пусть {ц;}, {о,} — величины, получаемые из {мД, {и;} в результате центриро-
центрирования усеченными математическими ожиданиями, так как это было опре-
определено в § 2 гл. III. Тогда если J — [a, b] — замкнутый подинтервал интер-
интервала Т, {tan} — совокупность точек {f;}, входящих в /, и величины Д„
определяются соотношениями
Е1Кьа
то слагаемые, стоящие в левой части этого равенства, взаимно независимы,
оо
и поэтому в соответствии с теоремой 2.8 гл. III ряд 2 иа;. сходится с вероят-
вероятностью 1 после центрирования. Те же самые соображения применимы
ж к ряду 2! °а.- Так как центрирование уже было проведено раньше, то
мы показали, что для любого замкнутого интервала /, входящего в область
значений параметра, ряды
7 и,, 24
сходятся с вероятностью 1, каков бы ни был порядок суммирования. Поло-
Положим теперь zjd> равным правой части соотношения F.2). Мы уже видели
(теорема 6.4), что процесс x<f> имеет независимые приращения и является
центрированным, и что точки t} являются фяксированными точками разрыва
этого процесса, причем
Процесс. {xt — fi(t) — xf, t?T] также является процессом с независимыми
приращениями. Пусть /2 — центрирующая функция этого процесса. Определим
процесс х\ так, чтобы выполнялось соотношение
Тогда процесс Z(C> имеет независимые приращения, центрирован и не имеет
фиксированных точек разрыва. Далее, два процесса
{х?\ «6 Г}. {tf
взаимно независимы. Заметим, что / является цзнтрирующэй функцией про-
процесса xt. Одаако это нэ люэая цзнтряруюдш функция. Она выбрана так,
чтобы ее разрывы в фдксярэваннах точках разрыва прэцэс'са обладали

! 7. ВИД ФУНКЦИЙ РАСПРЕДЕЛЕНИЯ 375
некоторыми специальными свойствами. Процесс xf® является одним из про-
процессов, описанных в теореме 6.4. Разложение F.5) было впервые получено
Леви. В частных случаях может оказаться, что некоторые из трех компонент
этого разложения отсутствуют. Очевидно, разложение F.5) справедливо
и для комплексных процессов с независимыми приращениями.
§ 7. Вид функций распределения и свойства непрерывности
выборочных функций
Пусть \х,, а <; t •< b] (а и b конечны) — процесс с независимыми прира-
приращениями; предположим, что этот процесс центрирован и что он ие имеет
фиксированных точек разрыва. Пусть Ф51,—характеристическая функция
разности xt—xs ()
Тогда из независимости приращений следует, что при s1<s2< s3
Ф = Ф Ф G.1)
Далее, так как процесс центрирован и не имеет фиксированных точек
разрыва, то равномерно по s, t, [i при р, заключенном в любом конечном
интервале,
НшФ3|; (,ч)= 1.
В соответствии с G.1) отсюда следует, что функция Ф3> ((и) непрерывна
по s, t, A, если считать ее равной 1 при s — t. Тогда если мы запишем
Ф„ , в виде
' п-1
Ф. , = ТТ Ф.. *. . s<
то это будет означать, что Ф,р ( представляется в виде произведения характе-
характеристических функций, которые могут быть сделаны равномерно близкими
к 1 на каждом конечном интервале значений р. Отсюда следует, что рас-
распределение вероятностей для разности xt — хл является безгранично делимым
(см. § 4 гл. III), так что (теорема 4.1 гл. III) при каждом t > О
G.2)
где G{t, X) является монотонно неубывающей, непрерывной справа и огра-
ограниченной по X. функцией такой, что G(t, — со) = 0, a it —некоторая постоян-
постоянная. В левой части этого соотношения стоит непрэрывная функция от t.
Отсюда вытекает, что fi непрерывно зависит от t и что
lim G(tn, X)=G (t, X)
для всех X, при которых непрерывна по X функция G(t, X). (См. в § 4 гл. III
обсуждение вопроса о том, в какой мере f и G определяются соответству-
соответствующими распределениями вероятностей. Мы будем использовать в дальней-
дальнейшем тот факт, что функция G однозначно определяется левой частью соот-
соотношения G.2), даже если не предполагать монотонности G как функ-
функции от X, а предположить лпшь, что она имеет ограниченную вариацию.)
Если применить развитые выше соображения к интервалу [s, t\, то мы придем
к аналогичной фэрмуле для Ф3§, с iStt и G (s, t, X) вместо ff я ?('. ^-)-

376 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
С другой стороны, в соответствии с G.1)
)^X)-G(s,X)]. G.3)
Мы находим отсюда, что
Т». ( = Т( — Ts.
G(s, t,X) = G(t, X)-G{s, X),
так что G.3) дает для log Ф8>, такое же выражение, какое формула Леви—
Хинчина дает для безгранично делимого распределения. Поэтому при s < I
функция G(t, X)— G (s, X.) должна быть неотрицательной и монотонно неубы-
неубывающей функцией от X. Другими словами, функция G является монотонно-
неубывающей по X и по t, dkG и dfi монотонны по t и по X, и с помощью-
функции G можно определить меру \ \ dtdtfi в пространстве t, X. Эта мера
окажется для нас очень важной.
Обратно, предположим, что при всех s, t таких, что 0 < s < t, функция
®s, t Ы определяется из соотношения G.3), где функции т и G обладают
писанными выше свойствами. Тогда существует центрированный процесс
независимыми приращениями, не имеющий фиксированных точек разрыва г
для которого разности xt — xs имеют распределение, задаваемое соотноше-
соотношением G.3).
Если распределение разности xt — xs зависит только от t — s и если
процесс xt имеет независимые приращения, то говорят, что он является
процессом со стационарными независимыми приращениями (или однородным
процессом с независимыми прираи^ениями). Если такой процесс центрирован,
то он ие может иметь фиксированных точек разрыва, так как этот процесс-
обладает при всех значениях параметра одними и темп же вероятностными
свойствами. В этом случае соотношение G.3) вместе с G.1) показывает
(мы считаем а = 0), что
для некоторой постоянной f и некоторой функции G(X). Таким образом
соотношение G.3) переходит в
Пример 1. Если рассматриваемый процесс — это процесс брауновског»
движения, изученный в § 2, то т = 0, а функция G ().) постоянна всюду,
кроме точки >. = 0, где она имеет скачок величины а2.
Пример 2. Если рассматриваемый процесс —это пуассоновский про-
процесс, изученный в § 4, то | = 1 и G (I) постоянна всюду, кроме точки Х=1,
где она имеет скачок величины с/2.
Пример 3. Рассмотрим следующий процесс. Происходят события
в соответствии с распределением Пуассона со средней плотностью числа
событий с. Случайная величина xt определяется как сумма N независимых
случайных величин, каждая из которых имеет заданную функцию распре-
распределения F, где N — число событий, наступивших между моментами 0 и t
включительно. Другими словами, в момент осуществления каждого из ссСытий

§ 7. ВИД ФУНКЦИЙ РАСПРЕДЕЛЕНИЯ 377
производятся независимым образом испытания с функцией распределения F,
а I,-общая сумма результатов этих испытаний за время t. Процесс xt
является однородным процессом с независимыми приращениями; он центри-
центрирован и не имеет фиксированных точек разрыва. Легко вычислить харак-
характеристическую функцию Фо,,:
так что
—оо
Сравнив это соотношение с G.3'), находям, что здесь
Пример. 4. Гауссовский случай. Предположим, что {z(, а
процесс с независимыми приращениями и что разность хь - ха имеет гаус-
совское распределение вероятностей. Согласно теореме Крамера, если сумма
двух независимых случайных величин имеет гауссовское распределение, то
и каждое из слагаемых имеет гауссовское распределение. Поэтому каждая
из разностей xt — xs имеет гауссовское распределение. Однако в том инте-
интересующем нас случае, когда процесс центрирован и не имеет фиксирован-
фиксированных точек разрыва, для получения этого результата вовсе не обязательно
опираться на теорему Крамера. В самом деле, используя обозначения G.2),
мы находим, что в этом случае G (Ь, X), как функция от X, постоянна всюду,
кроме точкп Х = 0, где она имеет скачок. Так как dkG(t,\) монотонно
не убывает с ростом t, то всюду следует, что и функция G(t,k) должна
быть постоянной всюду, кроме точки Х = 0, вде она имеет скачок. То же
самое верно п для разности G{t, X)— G(s, X), так что величина х, — xs вмеег
гауссовское распределение. Положим теперь
Если о (гJ имеет вид const, (t — а), то xt является процессом брауновского
движения с множеством значений параметра [а, Ь]. Если это и не так, то
функция аA)г все равно является непрерывной, и если положить yt = xs,
где t - o2(s), то процесс yt будет процессом брауновского движения, опре-
определенным на интервале [0, а (бJ]. Мы заключаем отсюда, что почти все
выборочные функции процесса xt являются непрорывными на [а, Ь], если
этот процесс сепарабелен.
Следующая теорема успливает и обращает результат, полученный при
изучении предыдущего примера.
Теорема 7.1. Пусть {xt, a<i<6} — центрированный процесс с неза-
независимыми приращениями, не имеющий фиксированных точек разрыва. Тогда:
(I) Распределение вероятностей для каждой из разностей xt — ха является
безгранично делимым.
(II) Следующие условия являются эквивалентными:
а) Разность хъ — ха имеет гауссовское распределение.
б) Каждая из разностей xl—xi имеет гауссовское распределение.
и) Если Л — счетное подмножество интервала [а, Ь], всюду плотное
в [а, 1>], то почти все выборочные функции совпадают в точках R с функ-
функциями, определенными и непрерывными на всем интервале [а, Ь] (т. е.

378 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
если процесс сепарабелен, то почти все выборочные функции непрерывны на
[а, Ь]).
т) Ecdua = so< ... <sn = b и если Ъ = max(sjtl — sy), mo
j™ "|o P {| *s;41 H - **, («) I > e} = 0. G.4)
Мы уже доказали утверждение (I), эквивалентность условий (II), а)
и (II), б) и тот факт, что из условия (II), б) следует условие (II), в). Чтобы
закончить доказательство, мы покажем, что из (II), в) следует (II), г) и
что из (II), г) следует (II), а).
Если выполнено условие (II), в) и если процесс сепарабелен, то почти
все выборочные функции равномерно непрерывны на [а, Ь], и отсюда сле-
следует, что при любом е > 0
limP{max|z. , (м) - z. (м) | > е} = 0. G.4')
{-¦0 ; '*I I
Мы уже отмечали (§ 1 гл. III) и несколько раз использовали тот факт,
что соотношения G.4) и G.4') являются эквивалентными, т. е. что вероят-
вероятность того, что произойдет хотя бы одно из взаимно независимых событий,
и математическое ожидание числа просшедших событий могут стремиться
к 0 лишь одновременно. Следовательно, в сепарабельном случае условие
(II), г) выполнено. Если процесс не сепарабелен, то можно сделать его
•сепарабельным, изменив каждую из величин xt на ш-множестве вероят-
вероятности 0. Такое изменение не влияет на справедливость соотношений G.4)
и G.4'). Наконец, если выполнено условие (II), г), то условие (II), а)
вытекает из одного из вариантов центральной предельной теоремы (см.
•следствие из теоремы 4.1 гл. III).
Для изучения структуры процесса с независимыми приращениями
удобно записать G.3) в том виде, в каком это соотношение было получено
первоначально Леви:
0+0
где
I \ °* daG{t'a)'
G(t, 0 — 0).
X<0,
)- >0,
Тогда при X < 0 и X > 0 функция F (t, >.) является монотонно неубывающей
по X п \\ dtd\F(t, X) определяет меру в плоскости t, X. Вероятностный
хидысл этой меры будет рассмотрен ниже. Можно предположить, что функ-
функция F(t,-) является непрерывной справа функцией от X при всех X ,= 0;
¦ояа обращается в 0 при Х= ± оз. Хотя функция F может оказаться не-
неограниченной при X, близких к 0, но всегда
I 0-0
0+0 -1

5 7. ВИД ФУНКЦИЙ РАСПРЕДЕЛЕНИЯ 379
Если xt — пуассоновский процесс со средней плотностью числа событий с, то
Y4 = ci/2, а?=0, а функция F(t, X) имеет скачок величины ct при Х=1
и постоянна при всех остальных X. Рассмотрим теперь более общий случай
процесса х,, когда
п
где процессы x(l\..., z<n>, у, взаимно независимы; процесс x<f> является
пуассоновским процессом со средней плотностью числа событий с-; нроцесс ух
является процессом брауновского движения с единичным дисперсионным па-
параметром; Х1 Xn, ct, ..., сп, а, C —постоянные; а > 0, постоянные \}. все
различны и не обращаются в 0. В таком случае процесс xt будет центриро-
центрированным однородным процессом с независимыми приращениями, у которого
и F(t, X) = tF(k), где функция F (к) при X Ф 0 изменяется лишь скачками
величины Cj в точках Х(. Таким путем наиболее общий центрированный
однородный процесс с независимыми приращениями можно аппроксимиро-
аппроксимировать суммой процесса брауновского движения, линейной комбинации пуас-
еоновских процессов и линейной функции, причем при этой аппроксимации
точно воспроизводятся два первых члена суммы в правой части G.5), а
интеграл заменяется суммой Римана — Стильтьеса. Для аппроксимиру-
аппроксимирующего процесса интеграл
\ \dtdaF{t,a)
i i
равен просто математическому ожиданию числа скачков выборочной функ-
функции (чисел появлений событий в пуассоновских компонентах), которые
происходят на отрезке времени от s до t и имеют величину, заключенную
между X и A. Эти соображения легко обобщить- и на неоднородный случай,
и они делают правдоподобным тот факт, что и в наиболее общем случае
почти все выборочные функции центрированного сепарабельного процесса
с независимыми приращениями, не имеющего фиксированных точек разры-
разрыва, непрерывны во всех точках, кроме тех, где они имеют скачок, и что
приведений выше двойной интеграл равен математическому ожиданию
числа скачков выборочной функции, происходящих на отрезке времени
от у до i и имеющих величину, заключенную между X и р. Мы докажем
теперь эти результаты, принадлежащие Леви.
Теорема 7.2. Почти все выборочные функции сепарабельного центри-
центрированного процесса с независимыми приращениями {xt, t$T] обладают
следующими свойствами:
(I) Они ограничены на каждом множестве значений параметра вида
[с, d]T, где c,d?T.
(II) Оки имеют конечные пределы слева (соответственно справа) в каж-
каждой точке t?T, которая является предельной точкой множества Т слева
(соответственно справа).
(III) Их разрывы являются скачками всюду, за исключением, быть
может, фиксированных точек разрыва.
Э.ту теорему следует сравнить с соответствующей теоремой о мартин-
мартингалах (теорема 11.5 гл. VII). Утверждение (I) представляет собой просто
повторение теоремы 6.3 и приводится здесь лишь для полноты. Утвержде-
Утверждение (II) было получено в § 12 гл. VII как приложение теории мартинга-
мартингалов [пункт б)]. То обстоятельство, что в § 12 гл. VII предполагалось, что

380 ГЛ. VIII. ПРОЦЕССЫ С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ
множество значений параметра является интервалом, в силу теоремы 6.2
является несущественным. Утверждение (III) следует сразу же из пункта
(II) и определения сепарабельности (см. соображения, использованные при
доказательстве теоремы 11.5 гл. VII). Функция, все разрывы которой
являются скачками, должна быть непрерывна всюду, кроме не более чем
счетного числа точек. Следовательно, почти все выборочные функции будут
в рассматриваемом случае обладать этим свойством.
В качестве трех основных примеров мы отметим сепарабельный про-
процесс брауновского движения, у которого (почти все) выборочные фувкции
непрерывны; сепарабельный пуассоновский процесс, у которого (почти все)
выборочные функции монотонны и возрастают скачками единичной величи-
величины в точках, положение которых меняется при переходе от одной выбороч-
выборочной функции к другой; и, наконец, процесс, рассмотренный в теореме 6.4,
у которого почти все выборочные функции непрерывны всюду, кроме фикси-
фиксированных точек разрыва.
Мы закончим этот параграф изучением распределения вероятностей для
числа скачков выборочных функций сепарабельного центрированного про-
процесса {xt, a<i<6} с независимыми приращениями, не имеющего фиксиро-
фиксированных точек разрыва. Пусть vi>( — число скачков, которые происходят за
время от а до t и величина которых (т. е. разность между правым и ле-
левым пределами) не превосходит X, где X < 0. Тогда ч\, < является конечной
и целочисленной случайной величиной. Процесс Vx,< (при фиксированном X}
имеет, очевидно, независимые приращения и центрирован; он является
однородным, если однородным является сам процесс xt. В этом последнем
случае процесс tkt t должен быть пуассоновским, так как он удовлетворяет
качественным условиям а) — в), подробно изученным, в § 4. Если процесс
xt не является однородным, то процесс vx,, становится пуассоновским после
соответствующей замены временного переменного. Мы хотим показать, что
X
J d. ds F (s, a) = F (t, X), G.6)
где F(t, X) —функция, используемая в G.5) (мы предполагаем, что она
непрерывна справа). Тем самым будет выяснен смысл меры, определяемой
функцией F (t,\). [Вопрос об отождествлении функции —F (?, X) при
X > 0 с математическим ожиданием числа скачков, больших X, за время
от а до f может быть изучен аналогичным образом; случай положи-
положительного X можно также свести к случаю отрицательного X, заменив
xt на —xt.] Для того чтобы получить интересующий нас результат, нам
достаточно вспомнить вывод соотношения G.5), приведенный в § 4 гл. III.
Идея этого вывода состоит в следующем: представим xt — x0 в виде
= 2 тГ.)+2(\ггтгаГ''
j=0 j=0
где m<*> — центрирующие константы, получаемые так же, как и в § 4
гл. III; а именно m(n> — это математические ожидания разностей xs.^ — х3 ,
усеченных на некотором расстоянии выше и ниже медианы. Так как
процесс xt не имеет фиксированных точек разрыва, то константы т^ будут
равномерно малыми при больших п. Отсюда следует соотношение G.5) для
характеристических функций, причем

§ 7. ВИД ФУНКЦИЙ РАСПРЕДЕЛЕНИЯ 381
F(t, y)-F(t, X) = lim 2 Р{х. 1(*)-х.<*)-т?><У.}, Х<0' GЛ>
по крайней мере, во всех точках, где эта предельная функция распреде-
распределения непрерывна по X. Фиксируем теперь t и обозначим через Л (не более
чем счетное) множество значений X, при которых функция F(t, Ц имеет
разрыв, т. е. значений X, для которых положительна вероятность того,
что выборочная функция будет имэть скачок величины X хотя бы один
раз за промежуток времени от а до t. Обозначим через v<n> число индек-
индексов /, при которых осуществляются события, указанные в скобках в соот-
соотношении G.7). Тогда для почти всех выборочных функций
limv(")=Tx,(, v$A, G.8)
и соотношение G.7) принимает вид
F(t, X) = limE{v<">}, ЦА. G.7')
Далее, vM—это сумма п взаимно независимых случайных величин, каж-
каждая из которых принимает лишь значения 0 и 1. Ее дисперсия равна
поэтому сумме дисперсий слагаемых и не превосходит суммы вторых мо-
моментов этих слагаемых, а вторые моменты равны в этом случае первым
моментам
Е {vW 2} _ Е2 {v<«>} < Е {vj>> )-*F(t, X).
Таким образом, Е {v(™J} остается ограниченным при п—»оо. Следовательно,
интегрирование под знаком предела в G.8) является законным, и, учиты-
учитывая G.7'), мы видим, что из этого соотношения следует искомое соотно-
соотношение G.6) при \§А. По непрерывности соотношение G.6) будет выпол-
выполняться при всех X < 0, что и требовалось доказать.

Глава IX
ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
§ 1. Свойства непрерывности
Процессы с ортогональными приращениями были определены в § 10
гл. II. Там было доказано, что каждому такому процессу [yt, t?T] соот-
соответствует монотонно неубывающая функция F, определенная с точностью-
до постоянного ела. !емого, удовлетворяющая соотношению
которое мы будем также записывать символически в виде
Свойства непрерывности функции F следующим образом определяют свой-
свойства непрерывности процесса yt.
Теорема 1.1. Пусть {yt, t?T] — процесс с ортогональными прира-
приращениями. Определим I" как множество всех предельных точек Т, за исклю-
исключением максимальной и минимальной точек замыкания множества Т, ко-
которое мы не будем включать в Т', если только эти точки не принад-
принадлежат Т.
(I) Каждой точке t?T', являющейся предельной точкой Т слева (соот-
(соответственно справа), можно сопоставить случайную величину у<_о (соответ-
(соответственно yt+o) такую, что
Li.т. у, = у(_о [соответственно Li.т. у — yt+d\-
«-W-0 l—t+O
(II) Для каждого t) за исключением самое большее счетного множества
значений, с вероятностью 1 выполняется следующее равенство между
теми из фигурирующих в нем величин, которые имеют смысл:
Эта теорема почти очевидным образом вытекает из A.1). Например»
для того чтобы доказать, что существует г/<_о, достаточно заметить, что-
если t$T' и t есть предельная точка слева для Т, то функция F (s) огра-
ограничена сверху при s< t и
lim- Е{| ^-^1*}= lim [F («,) - F &)] = О,
откуда и следует, что l.i.m. у = у(_о существует. Множество исключитель-
»-«•(—О
ных значений t, упомянутое в пункте (II) — это множество точек разрыва
монотонной функции F; при этом, очевидно,
F {t + 0)- F (t) = E{\yt+o-yt
Обозначим через / интервал, ограниченный максимальной и минималь-
минимальной точками замыкания Т, причем сами эти крайние точки мы будем
включать в / в том и только в том(случае, если они принадлежат Т. Тогда
мы можем определить yt и для значений t?l — T так, чтобы полученный

I 2. СТОХАСТИЧЕСКИЕ ИНТЕГРАЛЫ 383-
процесс попрежнему имел ортогональные приращения. Действительно, пред-
предположим, что t?l — T есть предельная точка Т справа. В таком случае мы
положим yt — Vt+o- Остальные точки множества I — T заполняют сумму не-
яересекающихся между собой полуоткрытых или открытых интервалов [с, d)
или (с, d), где d либо принадлежит, либо не принадлежит Г, но всегда
является предельной точкой Т справа. Положим в каждом из этпх интервалов
Уь — Уй' эт0 п завершает построение расширенного процесса yt.
В дальнейшем в этой главе всегда будет предполагаться, что область
Т значений параметра t является интервалом. Полученный здесь результат
показывает, насколько слабым ограничением является это предположение.
§ 2. Стохастические интегралы
Пусть {у,, t ? Т) — процесс с ортогональными приращениями. В даль-
дальнейшем под Т мы все время будем понимать конечный или бесконечный
интервал. Пусть Ф — не случайная (т. е. не зависящая от ш) функция от t.
Наша цель состоит в том, чтобы определить величиау
для широкого класса функций Ф и множеств A CZ Т. Интеграл о будет
случайной величиной. Поскольку выборочные функции процесса yt, за
исключением некоторых специальных случаев, имеют неограниченную ва-
вариацию, <j> нельзя определить просто как обыкновенный интеграл Стильтье-
са от отдельных выборочных функций процесса уг Однако рассматриваемый
нами интеграл является обобщением интеграла Стильтьеса; поэтому, для
того чтобы он и выглядел более похожим на этот интеграл, мы заменим
обозначение yt на y(t), т. е. будем писать
В дальнейшем мы предположим, что Т совпадает со всей прямой ( — со, со);
изменения, необходимые в случае, когда Т—отличный от нсей прямой
интервал, будут очевидны. Определим сперва <р для ступенчатых функция
Ф специального типа и Л = Т. Если ах < ... < ап и
0, t < alt
мы положим 107
7 = \ Ф (о dy (г) = 2 с! fУ К- - °) ~ У (Vi ~ °I- <2Л>
Ъ 2
Точнее говоря, мы примем за <р любую случайную величину, равную с
вероятностью 1 сумме справа. Однако под интегралом мы всегда будем по-
понимать некоторую определенную случайную' величину, а не класс эквива-
эквивалентных между собой случайных величин.
Формула B.1) определяет интеграл функции Ф однозначно (если толь-
только пренебречь значениями 9 на множестве вероятности 0). причем ли-
линейным комбинациям функций Ф соответствуют такие же линейные комби-
комбинации величин <р, и
Е
[ \ f @dy(*)]} = *\ Q(t)?(i)dF(t). B.2)
г г

384 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
Будем теперь интерпретировать равенство B.1), как соотношение, уста-
устанавливающее соответствие между некоторыми функциями переменного t
(а именно, ступенчатыми функциями Ф) и случайными величинами <р. Если
в пространстве функций Ф и в пространстве случайных величин у опре-
определить расстояния между парами эмементов при помощи соотношений
B.3)
то равенство B.2) будет означать, что наше соответствие между элемен-
элементами двух рассматриваемых пространств сохраняет расстояние. Предпо-
Предположим теперь, что Ф является пределом (в смысле сходимости относительно
определенного нами расстояния) некоторой последовательности {Фп\ ступен-
ступенчатых функций рассмотренного выше типа. Тогда
т. е.
l.i.m.ФП =
П-ЮО
где под l.i.m. понимается предел в среднем с весом dF(t). При этом из того,
что соответствие B.1) сохраняет расстояние, следует, что существует также
и l.i.m. yn, являющийся некоторой'случайной величиной у, причем у, как
П-*ОО
предел в среднем, определяется лишь с точностью до значений на множе-
множестве вероятности нуль. За исключением этой естественной неоднозначности,
tj> не зависит от специального выбора последовательности {Ф„}; действи-
действительно, любые две последовательности, сходящиеся в среднем к одной
и топ же функция Ф, могут быть объединены в одну последовательность,
сходящуюся к той же функции, откуда вытекает, что соответствующая этой
объединенной последовательности функций Фп последовательность случайных
величин <р„- сходится в среднем. Получаемую с помощью такого предель-
предельного перехода случайную величину у, так же как и любую величину,
совпадающую с у с вероятностью 1, мы и примем по определению за
\
т
При этом класс функций Ф, для которых определен наш интеграл, будет
совпадать с классом функций от t, измеримых относительно меры Лебега —
Стильтьеса dF, задаваемой равенством
и таких, что
\\4>(t)\*dF(t)< со.
т '
(Заметим, что наше определение интеграла является простым приложение^
общего принципа, согласно которому функция, равномерно непрерывная
на точечном множестве метрического пространства и принимающая значение
из другого полного метрического пространства, всегда может быть доопре-
доопределена по непрерывности для всех точек замыкания ее области определе-
определения.) Заметим еще, что из того, что равенство B.2) верно для ступенчатых
подиитегральных функций, следует, что оно будет верно и в общем случае.

I 2. СТОХАСТИЧЕСКИЕ ИНТЕГРАЛЫ 385
Наконец, еслп Л — борелевское множество значений t или вообще любое
множество значений t, измеримое относительно меры dF, и Фд(?) — функ-
ция, равная Ф (t) на Л и нулю вне А, то мы положим по определению
(если только пнтеграл правой части существует). При таком определении
равенство B.2) будет справедливо и при замене Т произвольным множе-
множеством А. Очевидно, определенный намя стохастический интеграл линеен
и однороден относительно подинтегральной функция п аддптпвен относи-
относительно области интегрирования (как всегда, с точностью до значений
на множество вероятности 0).
В приложениях очень часто оказывается, что
В таком случае, очевидно,
поскольку это равенство немедленно вытекает из B.1) для ступенчатой
подинтегральноп функции и А = Т.
Заметим еще, что если Т = { — со, со), то
оо
l.i.m. [ Ф(*)«*у(О= \ ®(t)dy(t), B.4)
так как если пнтеграл справа существует, то
о
®{t)dy(t)- \ ФA)<1уA)\*} = ^ \®(t)\*dF{t)->0 B.5)
° ta> *1 {( $ [о, Ь]}
(а—>—оо, b—>-f-co).
Легко показать, что если функция Ф непрерывна на конечном интер-
интервале (а, Ь] илп даже только интегрируема в смысле Римана — Стильтьеса
относительно F, то
—1 "t°
1Л.ш. S Ф(«;)[у (г>+,)-2/ («>)]« \ Ф@^У@. B-6)
»-° '=° а-о
где
и все точки t. являются точками непрерывности функции F. Здесь интеграл
понимается, как пнтеграл по замкнутому интервалу [а, Ь]; при этом
еслп F разрывна в точках а, Ь, то в левой части этого равенства у A0)
надо заменить на y{tn — 0), a y(tn) на г/('п + 0). Для доказательства пре-
предельного равенства B.6) введем в рассмотрение функцию W(t), определяе-
определяемую равенством

386 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
Тогда математическое ожидание квадрата модуля разности между суммой
и интегралом, фигурирующими в B.6), равно
{|2
5
о-О
В силу сделанных относительно Ф предположений, функция ЧГ ограничена
равномерно по всем выборам значений t, и t) и стремится к нулю при 8 —> О
для почти всех (относительно меры dF) значений t. Отсюда следует, что
правая часть последнего равенства стремится к нулю при 8—*0, что и тре-
требовалось доказать. Если допустить, что tj могут совпадать с точками раз-
разрыва функции F, то аппроксимирующие суммы будут соответствовать полу-
полузамкнутым интервалам, но доказательство при этом не изменится.
В дальнейшем нам нужен будет критерий сходимости последователь-
последовательности стохастических интегралов. Так как
С AС С №~\
J к j j I J
А А А
то последовательность стохастических интегралов | \ Фп (t) dy (t) V схо-
сходится в среднем к \®(t)dy(t) тогда и только тогда, когда подинте-
гральные функции сходятся к Ф (t) в среднем [с весом dF(t)] на А.
Предположим теперь, что процесс {у (t), t?T} имеет ортогональные
приращения и что Е {\dy^} — dF. Как обычно, мы будем считать; что Т
является интервалом. В дальнейшем нам придется использовать двойные
интегралы вида
\j^(s,t)dsdy(t), ф.1)
А
где А — двумерное борелевское множество или, в более общем случае, мно-
множество, измеримое относительно двумерной меры Лебега — Стильтьеса ds dF,
задаваемой равенством
Интеграл B.7) мы определим как повторный интеграл. При этом нам пона-
понадобится следующая теорема.
Теорема 2.1. Пусть {у(t), t^T}— процесс с ортогональными прира-
приращениями, у которого Е {\dy |2} = dF, и Ф (s, t) — измеримая относительно
меры Лебега — Стильтьеса dsdF функция такая, что
для почти всех (относительно меры Лебега) значений s. В таком случае
стохастический интеграл
z{s)=\®{s,t)dy(t)
т
может быть определен так, чтобы процесс z(s) был измерим.
Задача заключается в том, чтобы, воспользовавшись неоднозначностью
задания стохастического интеграла, определить z(s) так, чтобы получить
измеримую функцию от s и <в. Для доказательства теоремы предположим

3 2. СТОХАСТИЧЕСКИЕ ИНТЕГРАЛЫ 387
еперва, что Ф(в, t) является конечной суммой вида
Ф(*,*)=Е *!,(«)«„ (9-
где первые множители измеримы по Лебегу, вторые —по dF, и
\<bt>(t)\*dF(t)< со.
^\
Тогда равенство
т s
показывает, что стоящий здесь слева стохастнческпй интеграл пред-
представим в впде суммы произведений функций, измеримых относительно отдель-
отдельных переменных, и, следовательно, является измеримой функцией относи-
относительно совокупности обоих переменных. После этого общий случай дока-
доказывается с помощью обычного предельного перехода.
Вернемся теперь к определению двойного интеграла B.7). Достаточна
рассмотреть только тот случай, когда А является бесконечной полосой
— oo<s<oo, t?T, поскольку интеграл по другим множествам А можно
определить, используя функции, заданные на этой бесконечной полосе и рав-
равные нулю на дополнении к А. Итак, предположим, что Ф есть функция,
определенная на нашей бесконечной полосе, измеримая относительно меры
dsdF(t) и такая, что или
оо
" \ \Ф(з, t)\dsV < оо, B.8')
? ""-со
ИЛИ
со
\ ds П |Ф(в, «)|2c?F(?)l1/!<oo . B.8')
-со Г
Если верно B.8'), то повторный интеграл
со
z'= \ dy(t) \ Ф(«, t)ds B.9')
Г -оо
определяется естественным образом, причем E{|z'|2} будет ограничено
левой частью неравенства B.8'). Если верно B.8"), то естественным образом
определяется повторный интеграл
оо
2"= \ ds \<b(s,t)dy(t), B.9')
—со Т
где надо только выбрать результат первого интегрирования так, чтобы
он был измерим относительно s, u>, а это всегда можно сделать в силу
теоремы 2.1; здесь Е {| z"|} будет ограничено левой частью неравенства B.8").
При этом если верны одновременно неравенства B.8') и B.8"), то
Р {г'(ш) = г"(ш)} = 1, B.10)
так что порядок интегрирования несущественен. Для доказательства этого-
факта предположим опять, что Ф задается формулой

3S8 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
где Ф1;. измеримы относительно меры Лебега, а Ф2^ — относительно меры dF, и
Тогда справедливы оба неравенства B.8') и B.8"), и B.10) проверяется
тривиальным образом. Доказательство равенства B.10) в общем случае,
когда выполнены B.8') и B.8"), может быть после этого осуществлено
при помощи обычного предельного перехода. Таким образом, двойной
интеграл B.7) при А, совпадающем с бесконечной полосой — оо <s<oo,
t?T определен нами для всех случаев, когда справедливо B.8') или B.8"),
как повторный интеграл. Согласно этому определению наш интеграл равен
любой величине из совокупности случайных величин, каждые две вели-
величины из которой равны между собой с вероятностью 1 и в которую входит
любая случайная величина, равная с вероятностью 1 входящей в нее
величине.
В качестве приложения определенного здесь двойного интеграла рас-
рассмотрим следующий специальный случай. Пусть h — абсолютно непрерывная
функция от t на интервале [а, Ъ\ С.Т. Положим
h' (s), s<Ct,
Тогда, подсчитывая двойной интеграл с помощью повторного интегрирова-
интегрирования в том и другом порядке, мы найдем, что если функция F непрерывна
в точках а и Ь, то с вероятностью 1
ь ь ь ь
^Q>(s,t)dsdy(l)=^[h(t)-h(a)]dy(t) = ^[y(b)-y(s)]h'(s)ds =
а а а а
Ъ
= [h(b)-h(a)][y(b)-y(a)]-^{y(t)-y(a)]h'(t)dt. B.11)
а
Таким образом, мы получили формулу, интегрирования по частям. Если
функция F не обязательно непрерывна в точках а п Ь, то эта. формула
слегка изменится; изменения, разумеется, зависят от того, включаются
пли нет точки а и b в область интегрирования.
Во многих приложениях процесс y(t) является процессом не с орто-
ортогональными, а с независимыми приращениями. В последнем случае процесс
{y(t) — m(t)} будет пметь ортогональные приращения, если только опреде-
определить m(t) равенством
Мы распространим на этот случай наше определение стохастического инте-
интеграла, положив
$ ^(t) B12)
А А А
(здесь предполагается, что функция тп достаточно регулярна, так что послед-
последний интеграл может быть определен обычным образом). При таком опреде-
определении, если
E{\y(t)-m(t)-[y(s)-m(s)]\*}=F(t)-F(s), s<t,
то

§ 3. ПРИЛОЖЕНИЕ К ВЫВОДУ ТЕОРЕМЫ КЕМПБЕЛЛА 389
= ^ Ф (г) Т («) d/" @+• ^ <!>[i)dm(t)^W(t)dm(t). B.13")
А ДА
Полезно еще иметь формулу для дисперсии стохастического интеграла:
B14)
А А А
Рассмотренный здесь стохастический интеграл впервые был введен
Винером (предполагавшим, что у (/) — это процесс брауновского движения).
В следующих главах мы рассмотрим приложения этого интеграла к теории
стационарных процессов. Два простых практических приложения будут
даны здесь.
§ 3. Приложение к выводу теоремы Кемпбелла
Предположим, что какие-то события происходят в случайные моменты
времени в соответствии с законом Пуассона, причем средняя плотность
числа событий за единицу времени равна с > 0. Пусть каждое событие
имеет некоторую интенсивность и и вызывает эффект, величина которого
через время t после момента возникновения этого события равна иФ(?).
Обозначим через в (г) суммарный эффект в момент t от всех событий, слу-
' чившихся до этого момента; тогда
в @ = 2 ф (*-',) и,. (з-1)
где tlt t%, ... —всевозможные предшествующие t моменты появления собы-
событий, a ult щ, ¦ ¦ ¦ — интенсивности соответствующих событий. Мы будем пред-
предполагать, что м1; щ, ...—взаимно независимые случайные величины, име-
имеющие одинаковую функцию распределения. Пусть {y(t), —оо<?<оо} —
вероятностный процесс, выборочные функции которого постоянны в проме-
промежутках между событиями, а в момент возникновения события возрастают
на соответствующую интенсивность и у Тогда этот процесс имеет стационар-
стационарные независимые приращения, и
E{[y{s + t)-y(s)-catf} = $t, }
где
E{Ml} = a, E{«J}=p. C.3)
Выражения для 9 (?) мы можем теперь записать в виде
t со
в(«)= J $(«-s)d2/(s)= J <b(t-s)dy{s), C.4)
если положить Ф(<) = 0 при t < 0. Следовательно, 9 (t) есть стационарный
в узком смысле вероятностный процесс, а именно процесс, получаемый
скользящим суммированием. Если обозначить
со
= a, \<S>(tJdt = b, C.5)

390 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
то мы будем иметь
Е{9(г)}=саа,
В
В частном случае, когда распределение вероятностей для и сосредоточено
в одной точке, J3 = a2. В этом специальном случае формула C.6) для диспер-
дисперсии 6 (t) называется теоремой Кемпбелла.
Согласно теореме 2.1, d(t) для каждого t можно определить таким
образом, чтобы процесс 9 (t) был измерим. Тогда математические ожида-
ожидания в C.6) можно отождествить с временными средними: действительно,
так как процесс 6(t) стационарен в узком смысле и метрически транзи-
тивен (см. § 1 гл. XI), то из закона больших чисел для стационарных
в узком смысле вероятностных процессов (т. е. из эргодической теоремы;
см. теорему 2.1 гл. XI) вытекает, что с вероятностью 1
1 Г
lim — \
lim-
]
> C.6')
В большинстве приложений средняя плотность с числа событий весьма
велика. В таком случае нетрудно доказать (например, при помощи метода
характеристических функций), что распределения для приращений процесса
у{\), а также для значений процесса b(t) близки к гауссовским. Это озна-
означает, что процесс {y(t) — cat, — оо < t < со] очень близок к процессу брау-
новского движения (см. § 2 гл. VIII). Для того чтобы сформулировать этот
факт более четко, введем в рассмотрение процесс {y1(t), —оо < t < оо} с
независимыми гауссовскими приращениями, удовлетворяющий условию
C.2), так что процесс {уг (t) — cat, — со < t < оо} будет процессом браунов-
ского движения. Определим 8j (t) при помощи равенства
s). C.4')
Тогда 91(t) есть стационарный в узком смысле гауссовский процесс, и про-
процесс 9(г) асимптотически сближается с B1(t) при с—>оо; в приложениях
обычно рассматривают именно процесс 9lt а не сам процесс 8.
§ 4. Преобразование Фурье процесса с ортогональными приращениями
В дальнейшем нам понадобится преобразование Фурье процесса
{У{1)' — оо<г<оо} с ортогональными приращениями, у которого
E{|dy@l»} = e»A, =>0. D.1)
Иначе говоря, мы хотим найти второй процесс {у* (t), — со < t < оо} с орто-
ортогональными приращениями, также удовлетворяющий условию D.1), для
которого выполняются формальные равенства
у'@=
y*'(t)=

§ 4. ПРЕОБРАЗОВАНИЕ ФУРЬЕ 391
Конечно, эти равенства нельзя понимать в буквальном смысле, так как
производная у' (t) не обязательно существует. Эти равенства служат лишь
сокращенной заиисью следующих соотношений, получаемых из них фор-
формальным интегрированием в пределах от X до |»:
I
* ^ dy(s).\
CO -'
Покажем, что второе из равенств D.3) определяет процесс у* с ортогональ-
ортогональными приращениями, удовлетворяющий условию D.1) и первому из равенств
D.3). Обозначим через Ф\, ^ функцию, равную 1 в промежутке от X до р и
равную 0 вне этого промежутка; через Ф*, ц мы будем обозначать преобра-
преобразование Фурье этой функции, т. е. функцию, стоящую под знаком интег-
интеграла во втором равенстве D.3). Тогда, используя тождество Парсеваля для
преобразований Фурье, из второго равенства D.3) мы получаем
{[у* Ы - у* (К)] [у* (к)-У*
В частности, если Хх < (д.х < Х2 < (д.а, то интеграл в правой части D.4) обра-
обращается в нуль. Следовательно, процесс у* [получаемый из второго равен-
равенства D.3) хотя бы при Х = 0] будет процессом с ортогональными прираще-
приращениями. Далее, если в D.4) Хх = Х2 < цх = j*2, то интеграл в правой части
«того равенства обращается в fix — \; следовательно, процесс у* удовлетво-
удовлетворяет условию D.1). Вместо доказательства первого из равенств D.3) нам
€удет удобнее доказать сразу более общее соотношение
dy(s) = ^ ГТЪ ^У* (sf, D.5)
—со
где / и /* являются преобразованиями Фурье друг друга:
ОО Ч
/@= 5 e^"f*(s)ds, I
"Г } D-6)
/•@= 5 e-wf(s)ds. !
—со
Здесь / — произвольная измеримая по Лебегу функция с интегрируемым
квадратом (плп, что то же самое, /* — произвольная измеримая по Лебегу
¦функция с интегрируемым квадратом). Для таких функции связь меж-
между/и /* дается теоремой Фурье — Планшереля, и в соответствии с этой
теоремой интегралы в D.6) должны пониматься, как некоторые пределы в
среднем, так что равенства D.6) верны лпшь для почтп всех t. Доказатель-
Доказательство равенства D.5) является одновременно и доказательством первого из
равенств D.3) — это равенство является частным случаем D.5) при/ = Ф^1И..
Мы уже знаем, что равенство D.5) выполняется при /* = фХ[1: в этом слу-
случае оно совпадает со вторым из равенств D.3), являющимся определением у*.
Но ясно, что множество функций /*, для которых выполняется D.5), яв-

„ ^ ^илинДЛЬНЫМИ ПРИРАЩЕНИЯМИ
ляется линейным многообразием функций, замкнутым относительно расстояния
со
11/Г-ЛГ||=[ [ \K-K\3ds] \
Так как это многообразие содержит все функции Ф\,,ц, то оно содержит и
все функции /* из указанного выше класса функций, что и требовалось
доказать.
§ 5. Обобщение стохастического интеграла, введенного в § 2
Пусть {2/@. '6?"} — вероятностный процесс, п Ф — функция от t?T a
от ш. Стохастические интегралы вида
ср
С Ф(г,
многократно используются в этой книге. При этом каждый раз предпола-
предполагается, что процесс y(t) является процессом некоторого специального типа
и что функции Ф принадлежат некоторому линейному классу функций, за-
зависящему от заданного процесса y[t), а в качестве множеств А берутся
множества из некоторого специального класса г-множеств. Общий принцип,
используемый при определении стохастического интеграла, состоит в следу-
следующем. Всегда предполагается, что Т является интервалом, быть может
бесконечным. В простейшем случае, когда А = Т п Ф — ступенчатая функ-
функция, стохастический интеграл определяется при помощи задаваемой естест-
естественным образом суммы Римана — Стильтьеса. Для А = Т и произвольной
функции Ф стохастический интеграл определяется затем при помощи пре-
предельного перехода. Наконец, интеграл по произвольному множеству А оп-
определяется равенством
: \ ФЛ (t, (B)dy(t),
т
где
Ф (t, ш), t? A,
О ,
Подобное построение было уже проделано в § 2. Случай, рассматриваемый
в настоящем параграфе, тесно связан со случаем, рассмотренным в § 2. Мы
будем считать здесь, что А — Т = ( — со, со). Обобщение на другие А и Т
совершенно очевидно. Мы примем следующие предположения.
It. Процесс {у{1), 3~I, —со < t < со} является мартингалом (см. § 1
гл. VII). Существует монотонно неубывающая функция .F такая, что при
s < < с вероятностью 1
В частности, если F(?) = const, t, если процесс действителен п если
почти все выборочные функции процесса непрерывны, то (согласно теореме
11.9 гл. VII) процесс y(t) будет процессом брауновского движения. Этот
частный случай .является наиболее важным.
12. Функция Ф (t, и)) измерима относительно меры dldP. При каждом
фиксированном s функция Ф(«, ш) измерима по ш относительно поля ,FS-
Наконец,

§ 5. ОБОБЩЕНИЕ СТОХАСТИЧЕСКОГО ИНТЕГРАЛА
Стохастический интеграл
5 E.1)
будет определен так, чтобы для интегралов ср и ф, соответствующих под-
интегральным функциям Фиф", удовлетворялись соотношения
= о,
> E-2>
= \ Е{Ф (t, I
Эти соотношения обобщают равенство B.13), к которому они сводятся, если
Ф и W зависят только от t. Из предположения Ij следует, что процесс у (t)
имеет ортогональные приращенпя. Стохастический интеграл, определяемый
в этом параграфе, с одной стороны, является более общпм, чем интеграл,
определенный в § 2, так как теперь иодпнтегральная функция может зави-
зависеть как от t, так и от <о; однако, с другой стороны, он является менее
общим, так как теперь предполагается, что у it)— это мартпнгал, а в §2
предполагалось лишь, что y(t) — процесс с ортогональными приращениями.
Мы будем использовать в дальнейшем следующий факт, не оговаривая
его каждый раз особо. Если Ф(ш) — функция, измеримая относительно поля
&(,, и если Е{| Ф(ш)|} < об, то (в предположении Ij) при <0<г1<г2
-2/(^)И<« E-3)
Е{Ф(ш)| y(t2)-y(tj 12
} E.4>
Для того чтобы доказать E.3) и E.4), заметим, что если верно E.3), то в.
силу неравенства Шварца
и, следовательно,
Таким образом, первое из соотношений E.4) выполнено, п второе доказы-
доказывается точно так же. Нам остается только показать, что при Е{|Ф(ш)|} < оо-
должно выполняться условие E.3). Чтобы сделать это, положим
Ф"(Ш) = { О, (
Тогда E.3) будет верно с Ф, замененным на Ф„, так что в сплу уже дока-
доказанного
При п—>ао пз этого соотношения вытекает E.3).
Мы определим теперь стохастический интеграл E.1). Предположим
сперва, что функция Ф имеет вид
0 , t<av
Ф3», о;<г<а;Ч1
0 , а„<г,

394 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
где ах < ... < а„, функция Ф;- измерима относительно &а , и
Е{|ФДш)|2} < оо. Любую такую функцию мы будем называть (t, ш)-ступен-
чатой функцией. В этом случае мы положим
Точнее говоря, мы будем называть интегралом любую случайную величину,
равную почти всюду сумме, стоящей справа. При этом интеграл <р опреде-
определяется по функции Ф однозначно с точностью до ш-множества меры 0, и для
наших интегралов имеют место соотношения E.2). Мы получаем тем самым
соответствие между (t, ш)-измеримыми ступенчатыми функциями Ф и неко-
некоторыми случайными величинами ср, при котором линейным комбинациям
функций Ф отвечают соответствующие линейные комбинации величин ср.
Если определить расстояние между парами функций Ф, удовлетворяющих
условию 12, и между парами случайных величин <? с Е{|<р]2}<оо при
помощи формул
II Ti — Т. II = Е1'- {| <рх —«?,!¦},
то из соотношения E.2) будет следовать, что наше соответствие сохраняет
расстояние.
Далее, так же как и в § 2, если Ф является пределом (в смысле рас-
расстояния, введенного для функций Ф) последовательности (t, ш)-ступенчатых
функций, то мы определим стохастический интеграл E.1) как предел (в
смысле расстояния, введенного для величин <р, т. е- в смысле сходимости
в среднем) соответствующих интегралов. Ясно, что при таком определении
условие E.2) будет всегда выполняться. Остается только доказать, что в
замыкание класса (t, ш)-ступенчатых функций входят все функции, удовле-
удовлетворяющие условию 12, т. е. доказать, что если ЭД2 — класс функций, удов-
удовлетворяющих условию 12 и допускающих сколь угодно точную (в смысле
расстояния Ф) аппроксимацию при помощи (t, <о)-стуленчатых функций, то
в 231 входят все функции, удовлетворяющие условию 12. Перейдем к дока-
доказательству этого утверждения. Мы можем записать функцию F (t) в виде
) = Л С)+ *"•(*).
где F1 — монотонно неубывающая функция, возрастающая только скачками
в точках Tlf т2, ..., являющихся точками разрыва функции F, a F2 — моно-
монотонно неубывающая непрерывная функция. Мы будем предполагать в даль-
дальнейшем, что Ft(t)^t. Если вначале это было не так, то при помощи за-
замены переменного t'=F^{t), y(t') = y(t) всегда можно перейти к такой
функции F2. (Если функция Fa ограничена, то после такой замены мы при-
придем к интегралу с конечными пределами, но это не потребует изменений в
наших рассуждениях. В том случае, когда преобразование от t к t' не яв-
является взаимно однозначным, нужно сделать очевидные дополнительные
оговорки.) Мы докажем сперва, что если при заданном к функция Ф (ш)
измерима относительно поля J^ и Е {| Ф(ш)|2} < оо, то функция от t, u>i
определенная равенством
Ф U, со) =
входит в класс ЯЛ- Мы докажем это утверждение, построив последователь-
последовательность (г, (в)-ступенчатых функций, сходящуюся к Ф в смысле Ф-расстояния.

t 5. ОБОБЩЕНИЯ СТОХАСТИЧЕСКОГО ИНТЕГРАЛА 395
В самом депе, функция Фп(г, ш), определенная равенством
Ф(»), *k<*<'k4-jj-,
О в остальных случаях,
является (т, ш)-ступенчатой функцией и
Множество функций ЗИ является линейным многообразием. Следовательно,
конечные суммы функций рассмотренного выше типа также входят в 9JJ.
Так как ЭД1 замкнуто в смысле Ф-расстояния, то функция Ф (•, •) опреде-
определенная равенством
Ф (t, ш) ¦- ,
(,0в остальных случаях,
также входпт в 2J2, если каждая из функций Ф^ измерима относительно
поля JF*h, и если
В'самом деле, такая функция Ф (¦, •) является пределом в смысле Ф-рас-
Ф-расстояния конечных сумм функций рассмотренного выше типа. Мы доказали,
таким образом, что в 2JJ входят все функции Ф(-, •), удовлетворяющие
условию 1г и обращающиеся в нуль при t&{zk]. Предположим теперь, что
функция F непрерывна, так что F(t)'=Ft{t):=t, и докажем, что если
Ф(-, •) удовлетворяет условию 12, то Ф(-, -)€$>Ь Очевидно, это утвержде-
утверждение достаточно доказать для ограниченных функций Ф(-, •), обращающихся
в нуль вне некоторого конечного интервала значений параметра t. Предпо-
Предположим, что Ф(-, •) обладает этими свойствами. Положим
J <^. /-0, ±1
Тогда Ф[ап(? — s) + s, u>] является ((, ш)-ступенчатой функцией, и нам до-
достаточно показать, что точку s можно выбрать так, чтобы выполнялось
соотношение
Чтобы сделать это, мы докажем сперва, что если /—любая ограниченная
измеримая по Лебегу функция от s, обращающаяся в нуль вне некото-
некоторого конечного интервала, то
со
lim \
E.5)
В самом деле, для каждого г > 0 существует непрерывная функция /„
обращающаяся в нуль вне некоторого конечного интервала, для которой

396 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
Используя неравенство Минковского, мы получаем отсюда
что и доказывает E.5). В соответствии с E.5) для почти всех ш
lim
Значит, при каждом ? для почти всех
lim
П-+СО
Следовательно,
lim
п-*со
т. е. подинтегральная функция при п —»оо сходится к 0 в среднем по
(s, t, (в)-мере. Но тогда существуют последовательность целых чисел ns
и значение s такие, что
lim С \ |Ф[оп.@ + «, ш]—
что и требовалось доказать.
Мы показали таким образом, что если функция F непрерывна,
то в класс функций 3JJ входят все функции Ф, удовлетворяющие усло-
условию 12; кроме того, раньше мы показали, что при любой функции F
класс 331 содержит все функции Ф, удовлетворяющие условию 12 и обра-
обращающиеся в нуль вне точек разрыва функции F. Эти два результата можно
скомбинировать следующим образом. Пусть функция Ф (t, u>) удовлетворяет
условию 12. Положим
1 о , цы,
Ф2(г, (и) = Ф(<, ш)_Ф1(г, ш).
Тогда обе функции Ф^, ш) и Ф2(^, ш) удовлетворяют условию 12 и
так как эта функция обращается в нуль при ?(J{ift}. Остается показать,
что функция Ф2 (t, (о), удовлетворяющая условию 12 п обращающаяся в нуль
при /€{тй}, также входит в 2R. Мы уже показали, что существует после-
последовательность функций fS"n(i, ш)}, входящих в ЗК (п, более того, явля-
являющихся (t, (в)-ступенчатыми функциями), такая, что
со
lim ^ Е {| Ф (г, о>) - Wn (t, o>) |2} dF2 = 0.

§ 5. ОБОБЩЕНИЕ СТОХАСТИЧЕСКОГО ИНТЕГРАЛА 397
Если мы видоизменим каждую из функций Wn(t, i»), положив ее равной О
при t?{th}, то видоизмененная функция все еще будет входить в 3JK и мы
будем иметь
I»
Шп |^2-'FJj2 = Hm ^ Е(|Ф,(*. ш)-Т„(«,ш)|»}^@ = 0.
—оэ
Следовательно, Ф2A, и)€ЗК, что и требовалось доказать.
Определение интеграла E.1) теперь закончено. Мы определили этот
интеграл сначала для функций Ф(?, *»)> являющихся (/, ш)-ступенчатыми
функциями, а затем распространили это определение на все функции,
являющиеся пределами (г, ш)-ступенчатых функций в смысле расстояния Ф.
Мы показали, что в полученный таким образом класс функппй, имеющих
интегралы, входят все функции, удовлетворяющие условию 1„. В действи-
действительности, этот класс функций является даже несколько более широким.
Стохастический интеграл по любому борелевскому г-множеству или по ^-мно-
^-множеству, измеримому относительно меры dF, можно определить, положив
подинтегральную функцию равной 0 вне этого множества. Отметим, что
из использованного здесь метода определения интеграла следует, что сто-
стохастический интеграл определен лишь с точностью до ш-множества меры О,
т. е. что любой подинтегральной функции соответствует целое семейство
интегралов, из которых каждые два совпадают при почти всех ш.
Если функция ФA, со) на самом деле зависит лишь от одного t, то наш
интеграл сводится к интегралу, определенному в § 2. Однако, как мы
видели в § 2, в этом частном случае наш метод доказательства требует
лишь, чтобы процесс y(t) имел ортогональные приращения.
В частном случае, когда подинтегральная функция обращается в нуль
всюду, кроме точек множества {-rj разрывов функции F, стохастический инте-
интеграл, как легко видеть, равен
к
где ряд (еслп число точек "zh бесконечно) сходится в среднем. И вообще,
при вычислениях удобно пользоваться тем, что если a = io< ... <.tm = b,
если функция а (г) определена равенством
а@ = ',-. tj<t<tjtV }<m,
и функция F непрерывна в точках tjt то
Е
, <„)-Ф[а@,
— со
т— i *;+1
,(о)-Ф(*у, (о) |»}dF(*). E.6)
Пример. Пусть Ф(г, со) = у (t, ш) — у (а, со). Мы хотим вычислить для
двух различных процессов у (г) интеграл
ь
\{y(t)-y{«)]dy(t).

398 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
В каждом из этих частных случаев dF(i)=dt, так что последний член
в E-6) имеет вид
m-i 'ui
,-a)
Следовательно, если тах(г;Ч1— t,) мал, то стохастический интеграл от функ-
функции Ф[а(?), ев] будет близок к интегралу от Ф(?, (в). Первый из этих инте-
интегралов нетрудно вычислить, так как функция Ф [a (t), ш] является (t, ш)-
ступенчатой функцией, и поэтому
Ъ m-i
J=0
Положив b = max(tjtl — tj), находим отсюда, что
Ъ 171-
Заметим, что формальное интегрирование дало бы лишь первый из этих
двух членов. Предположим теперь, что y(t)=zz(t) — t, где г (г) является
пуассоновским процессом (см. § 4 гл. VIII) со средней плотностью числа
событий 1, так что
E{dy(t)} = 0, E{[dy(t)f} = dt. E.7)
Тогда г (t0) < ... < z (tm) с вероятностью 1 и с вероятностью, стремящейся
к 1 при 8—>0, любые два соседних члена этой конечной последователь-
последовательности отличаются друг от друга не больше чем на 1. Отсюда следует, что-
при почти всех и>
m-i
lim 2 [у(t )-y(tj)? = y{b)-y{a) + b-a E.8>
a->0 j=o
(если рассматривать лишь точки ts из некоторого счетного множества).
Следовательно, здесь
В качестве второго примера предположим, что y(t) — процесс брауновского
движения (см. § 2 гл. VIII) с дисперсионным параметром 1. Тогда соотноше-
соотношения E.7) снова выполняются, а соотношение E.8) надо заменить в соот-
соответствии с теоремой 2.3 гл. VIII соотношением
так что интересующий нас стохастический интеграл равен в этом случае
ь

5 5. ОБОБЩЕНИЕ СТОХАСТИЧЕСКОГО ИНТЕГРАЛА 399
.—. . —
Рассмотрим теперь процесс x(t), определенный равенством
{s, u)dy(s), t>a. E.9)
Этот процесс определен не однозначно в том смысле, что при каждом t
величина x(t) определена лишь с точностью до ее значений на ш-множе-
стве вероятности 0, и, следовательно, мы можем при каждом t произвольно
изменять значение х (t) на ш-множестве меры 0. В соответствии с теоре-
теоремой 2.4 гл. II эта свобода выбора дает возможность определить x(t) так,
чтобы процесс х (t) был сепарабельным.
Теорема 5.1. Процесс хA), определяемый равенством E.9), всегда
является мартингалом.
Пусть b > а — некоторое фиксированное число. Мы показала, что суще-
существует последовательность (t, ш)-ступенчатых функций {Фп(*> «0} такая,
что
lim \
а
Стохастический интеграл xn(t), определенный равенством
является просто конечной суммой, и при любом фиксированном t g [a, b]
z{t)=li.m.xn(t).
так как
ь
Е {| Ф (s, ш) - Фп (s, ш) |=} dF (s) -> 0.
Далее, из вида суммы, определяющейся,, (t), следует, что при t <
о вероятностью 1
Е{*„ ih)
т. е.
Л А
При п —¦*¦ оо это соотношение переходит в
л
гак что с вероятностью 1
Последнее равенство означает, что процесс {x(t), J27,, t? T} является мартин-
мартингалом.

400 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
Теорема 5.2. Стохастический интеграл E.9) можно определить при
каждом t так, чтобы процесс x(t) был сепарабелъным мартингалом. Почти
все выборочные функции этого процесса будут иметь тогда во всех точках'
односторонние пределы. Фиксированными точками разрыва процесса x(t)
являются точки разрыва функции F. Если почти все выборочные функции
процесса y(t) непрерывны, то будут также непрерывными и почти все
выборочные функции сепарабелъного процесса x(t).
Нам осталось доказать только два последних утверждения теоремы.
Так как
то фиксированные точки разрыва процесса x(t) должны быть точками раз-
разрыва функции F. Если почти все выборочные функцпп процесса у (t) непре-
непрерывны, то должна быть непрерывна также и функция F. Это следует
из того, что
Е {12/ (*,) - У (h)\*) = F(tJ -F(h)-
В этом случае в соответствии с теоремой 11.9 гл. VII после замены времен-
временного параметра процесс y(t) становится процессом брауновского движения.
Для доказательства того, что здесь непрерывны почти все выборочные функ-
функции (сепарабельного) процесса x(t), заметим, что это утверждение очевидно,
когда Ф является (t, ш)-ступенчатой функцией; после этого доказательство
сделанного утверждения в общем случае может быть проведено при помощи
аппроксимации заданной функции Ф ступенчатыми функциями. Ясно, что
интересующее нас утверждение достаточно доказать для значений t, заклю-
заключенных в конечном интервале [а, Ь]. Пусть Ф„ —это (t, ш)-ступенчатая функ-
функция, для которой
ь
а
Зададим процесс xn(t) при помощи равенства
Тогда
1
X(t, Ш)-Хп(г, »)= J [Ф(Э, (О)-Ф„ (*,
а
так что процесс x(t) — xn{t) является мартингалом, причем соответству-
соответствующим выбором xn(t) при каждом t можно добиться, чтобы процесс
x(t) — xn{t) был сепарабельным. Следовательно, согласно варианту тео-
теоремы 2.1 гл. III для случая непрерывного параметра (или в соответствии
с теоремой 3.2 гл. VII), примененному к процессу | x(t) — xn(t) j2,
{t)-xn(t)\>±} <Е {\х(Ь)-хп(Ь)Г-} n><c? = -±r .
Так как в правой части последнего неравенства стоит член сходящегося
ряда, то из леммы Бореля — Кантелли (гл. III, теорема 2.1) следует, что
для всех достаточно больших п с вероятностью 1

5 5. ОБОБЩЕНИЕ СТОХАСТИЧЕСКОГО ИНТЕГРАЛА 401
Отсюда вытекает, что с вероятностью 1 выборочные функции процесса
xn(t) равномерно сходятся к выборочным функциям процесса х(t), что
и доказывает искомый результат.
Для некоторых приложений к гл. VI желательно обобщить данное
выше определение стохастического интеграла E.1) при условии, что функ-
функция F абсолютно непрерывна, на более широкий класс процессов y(t).
Условие 1г мы заменим условием
Ц. Процесс \y{t), jFt, — оо < i< 00} является мартингалом, причем для
всех s и t
существует неотрицательная функция /(?, u>), измеримая относительно
меры dldP и такая, что при каждом фиксированном s функция f(s,u>)
измерима по ш относительно поля J-\, что при s < t
| ^)} <oo,
S
и с вероятностью 1
Условие 12 мы заменим условием
Ц. Функция ФA, ш) измерима относительно меры dtdP. При каждом
фиксированном s функция Ф(«, ш) измерима по ш относительно поля JF,.
Наконец,
о
j Е{|Ф(*,<о)|»/(«,
В частном случае, когда функция / зависит только от t, введенные пред-
предположения сводятся к 1Х и 12 с F' (t) = f (t).
Мы опишем теперь oupeделение стохастического интеграла E.1) при
наших новых предположениях. При этом потребуются лишь несуществен-
несущественные изменения. Так, E.2) надо заменить на
S° E.2')
Е{?<Ь}= \ Е{Ф(<, ш) W(t, a>)f(t,u>)}dt.
—СО
Расстояние между функциями Ф и W, используемое при определении инте-
интеграла, надо задать как
со
J Е{|Ф(г, m)-
Новые (t, ш)-ступенчатые функции определяются аналогично старым с тем,
однако, отличием, что в обозначениях иервоначального определения пред-
предположение об интегрируемости Ф] заменяется предположением о том, что

402 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
При доказательстве того, что любая функция Ф, удовлетворяющая усло-
условиям Ц, может быть сколь угодно близко (в смысле нового расстояния)
аппроксимирована новыми (t, <л)-ступенчатыми функциями, мы можем,
не ограничивая общности, предположить, что функция Ф ограничена,
|'Ф)<СЙГ, и что она обращается в 0 вне конечного интервала [а, Ь]. Тогда
функция Ф удовлетворяет условию 12 и, следовательно, существует после-
последовательность (t, <л)-ступенчатых (в первоначальном смысле) функций Ф1г
Фа, ... таких, что
ь
lim \ Е {| Ф {t, об) - Фп (t, со) j2) dt = 0.
Далее, проведенное выше обсуждение показывает, что мы можем пред-
предположить, что |ФП|><ЛГ. Тогда Фп сходится к Ф по мере dtdP, так что
| Ф — Фп |2 / сходится по мере dt dP к 0, и эту последнюю последовательность
можно мажорировать интегрируемой по мере dtdP функцией 4К%/. Следо-
Следовательно,
ь
lim
П—*со
а
а это и есть искомый результат об аппроксимировании. Теоремы 5.1 и 5.2
остаются в силе, и метод их доказательства не требует никаких изменений.
В теореме 5.2 теперь не нужно, конечно, рассматривать фиксированные
точки разрыва.
Заметим, наконец, что если положить
>(s, a>)dy(s),
то в соответствии с теоремой 5.1 процесс x(t) убудет .мартингалом, п с вероят-
вероятностью 1
Ф(н,
!/,(«, m)du].F.},
где
Таким образом, процесс x(t) и функция Д удовлетворяют тем же самым
предположениям, что и процесс y(t) u функция /. Это означает, что мы
можем рассматривать стохастические интегралы вида
\ъ{Ь, m)dx(t).
Далее,
так как это равенство верно, когда Ф]^ является (t, о))-ступспчатой функ-
функцией. В частности, если фупкцпя Ф не обращается в 0 пли обращается

5 5. ОБОБЩЕНИЕ СТОХАСТИЧЕСКОГО ИНТЕГРАЛА 403
б 0 не более, чем на множестве <Й<?Р-меры 0, то
Рассмотрим теперь следующий вопрос: какие процессы x(t) можно пред-
представить в виде E.9), если y(t) является процессом брауновского движения.
Как мы уже впдели, не будет ограничением предположить, что определен-
определенный таким образом процесс х (t) сепарабелен. Если мы предположим, что
процесс брауновского движения y(t) имеет дисперсионный параметр 1, то
мы найдем, что при t1 < t% с вероятностью 1
|Ф(в, «)|»<fe|.#-A}. E.10)
Далее, в соответствии с теоремой 5.2 почти все выборочные функции про-
процесса х {t) непрерывны. Следующая теорема показывает, что двух этих
условий также достаточно для того, чтобы процесс x(t) мог быть представ-
представлен в требуемом виде.
Теорема 5.3. Пусть {x(t), 3~t, a<t<&}— мартингал, обладающий
следующими свойствами:
(I) E{\x(t)\*}<oo,
(II) Почти все выборочные функции процесса х (t) непрерывны на от-
отрезке [а, Ь].
(III) Существует неотрицательная функция ФA, ю), измеримая отно-
относительно меры dtdP и такая, что Ф (s, w) при любом фиксированном s из-
измерима nd ш относительно поля JF, и что при ty < t2 соотношение E.10)
выполняется с вероятностью 1. Тогда, если функция Ф почти нигде на
пространстве (I, и>) не обращается в нуль, то существует процесс браунов-
брауновского движения {y(t), a-^t<^b} такой, что при каждом l?[a, b] с вероят-
вероятностью 1
Вез дополнительного предположения о необращении в нуль функции Ф
утверждение теоремы остается верным после присоединения к процессу x(t)
процесса брауновского движения.
О понятпп присоединения к заданному процессу другого процесса см.
в § 2 гл. II. В качестве тривиального примера того случая, когда необхо-
необходимо т^кое присоединение, рассмотрим ш-пространство, состоящее пз одной
точки, и положим хA, ю) = 1 при всех t. Предположения нашей теоремы
в этом примере, конечно, выполнены и Ф==0. Очевидно, здесь не сущест-
существует процесс брауновского движения {y(t), a</<Z>}, так как наше ш-про-
ш-пространство имеет слишком простую структуру для того, чтобы на нем мож-
можно было определить такой процесс.
В силу предположений теоремы мы можем определить процесс y(t)
равенством
dx(<)
d>(s, ш)
а
(положив 1/Ф(-у. ш) = 0 при Ф (s, (o) = O). Процесс у (t) является мартпнга-
лом, и при /х < tz с вероятностью 1

404 ГЛ. IX. ПРОЦЕССЫ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ
В частности, если функция Ф вообще нигде не обращается в нуль или
если она не равна нулю почти всюду по (t, ю), то отсюда следует, что пра-
правая часть этого соотношения равна t2 - 1г. Далее, согласно теореме 5.2,
можно определить процесс y(t) так, чтобы почти все его выборочные функ-
функции были непрерывны. Следовательно, по теореме 11.9 гл. VII процесс у (t)
является процессом брауновского движения, и обращение формулы, опре-
определяющей у (t), дает E.11). Если функция Ф может обращаться в нуль,
то правая часть предыдущего соотношения уже не равна t2 — tu и поэтому
использованные выше рассуждения неприменимы. Предположим, однако,
что существует процесс брауновского движения {z(?), a^t^b) такой,
что при ty < t2, t1^,t'1< t'2 с вероятностью 1
E {I z (У — z (t1)\*\.3f't,} = {ti — ti),
E {[x(tj-x(tl)] [z(O - z(I')] | jFa} = 0.
Такой процесс можно всегда получить посредством присоединения. Поло-
Положим
при Ф (t, ш) =0,
при ФB, <)>) Ф О,
выбрав интегралы так, чтобы процесс у (<) был сепарабельным. Тогда по
геореме 5.2 процесс y{t) будет иметь непрерывные выборочные функции.
Далее, так как Ф0Ф = 0, то, используя выведенные выше правила обраще-
обращения со стохастическими интегралами, находим, что
KiWQ^s.^dxis)] \ = \ Е{|Ф0Ф;*}& = 0. E.12)
Теперь легко проверить следующие соотношения (выполняющиеся с вероят-
вероятностью 1):
'г
-¦- *г*+
= /г - ^ E.13)
Далее, из E.14) следует, что с вероятностью 1
, E.15)
и из E.12) вытекает, что первый из этпх интегралов равен нулю. Нако-
Наконец, процесс y(t) является процессом брауновского движения, так как
(см. теорему 11.9 гл. VII) почти все его выборочные функции непрерыв-
непрерывны и верно E.13). Таким образом, соотношение E.15) сводится к E.11).

Глава X
СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
§ 1. Общие свойства; метрическая транзитивность
а) Процессы, стационарные в узком смысле. Процессы, стационарные
в узком смысле, были определены в § 8 гл. II. Изучение таких процессов
обычно проводится вне рамок теории вероятностей в терминах преобразова-
преобразований, сохраняющих меру; однако связь этих двух понятий не всегда до-
достаточно четко отмечается в литературе, так что имеет смысл остановиться
на ней несколько подробнее.
Примем нашу обычную основную гипотезу: существует вероятностная
мера, определенная на борелевском поле множеств некоторого пространст-
пространства Q. Преобразование Т, переводящее точки Q в точки Q, называется
взаимно однозначным сохраняющим меру точечным преобразованием, если
оно взаимно однозначно, имеет областью определения и областью значений
все S и если оно само и обратное ему преобразование переводят измери-
измеримые множества в измеримые множества той же вероятности. Такое преоб-
преобразование индуцирует взаимно однозначное преобразование случайных ве-
величин в случайные величины (которое мы также будем обозначать бук-
буквой Т), задаваемое равенством
Ясно, что еслп л; —случайная величина, равная 1 на измеримом «-множе-
«-множестве А и равная 0 вне этого множества, то при преобразовании Т она
перейдет в величину Тх, равную 1 на множестве, в которое Т переводит
А, и 0 вне него. Для любой случайной величины х величина Тх имеет то
же самое распределение вероятностей, что и х, п вероятностный процесс
{хп, — со<п<со}, хп=Т1х
стационарен в узком смысле. Таким образом, любое сохраняющее меру то-
точечное преобразование порождает некоторый стационарный в узком смысле
вероятностный процесс.
Преобразование Т, переводящее множества в множества, определенное
на борелевском поле измеримых ш-множеств, и переводящее измеримые
множества в измеримые множества, называется сохраняющим меру преобра-
преобразованием множеств, если выполняются следующие условия:
МРХ. Преобразование Т однозначно с точностью до множеств вероятно-
вероятности 0, т. е. еслп At есть один из образов А при преобразованип Т, то
класс всех образов А совпадает с классом измеримых множеств, отличаю-
отличающихся от Aj на множество вероятности 0. В дальнейшем ТА всегда будет
обозначать некоторый определенный образ множества А при преобра-
преобразовании Т.
МР2.Р(ТА) = Р(А).
МР3. С точностью до ui-.нножеств вероятности 0 имеют место соотно-
соотношения
T(A1IJA2)=TA1UTA2,
T(U Д„)= U ТАП,
-A) = 2 —ТА.

406 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Из условия МР3 вытекает, что с точностью до множеств вероятности О
конечные и счетные пересечения множеств переходят при преобразовании
Т в соответствующие пересечения и что еслп АХС1А2, то ТЛ1С1ТЛ2.
Если каждое измеримое множество является образом некоторого измеримо-
измеримого множества при преобразовании Т, то это преобразование будет взаимно
однозначным с точностью до множеств вероятности 0, и можно бу-
будет определить обратное преобразование Т, которое также будет сохра-
сохраняющим меру преобразованием множеств. В этом случае мы будем гово-
говорить, что преобразование Т допускает обращение.
Взаимно однозначное сохраняющее меру точечное преобразование Т,
очевидно, индуцирует сохраняющее меру преобразование множеств: доста-
достаточно определить семейство образов множества А как совокупность всех
ю-множеств, отличающихся от образа А при нашем точечном преобразова-
преобразовании самое большее на множество вероятности 0. Это преобразование мно-
множеств, разумеется, будет допускать обращение. Однако не каждое преобра-
преобразование множеств, допускающее обращение, может быть получено таким
образом с помощью некоторого точечного преобразования.
В дальнейшем мы увидим, что в теории вероятностей всегда можно
избежать рассмотрения сохраняющих меру преобразований множеств и огра-
ограничиться лишь более простыми взаимно однозначными сохраняющими ме-
меру точечными преобразованиями; однако при этом в какой-то мере затем-
затемняется значение полученных результатов.
Для каждого сохраняющего меру преобразования множеств Т суще-
существует одно и только одно преобразование Т1? переводящее случайные ве-
величины -в случайные величины, определенное для каждой случайной вели-
величины и обладающее следующими свойствами;
RVj. Преобразование Тх однозначно с точностью до случайных величии,
обращающихся в нуль с вероятностью 1, т. е. еслп х1 есть один из обра-
образов х при преобразовании Т1? то класс всех образов величины х при этом
преобразовании совпадает с классом случайных величин, с вероятностью 1,
равных величине хх. В дальнейшем Тхх всегда будет обозначать некоторый
определенный образ случайной величины х при преобразованип Tj.
RV2. Преобразование Т\ согласовано с преобразованием Т; т. е. если
л; —случайная величина, равная 1 на измеримом ю-множестве А и 0 вне А,
то случайная величина Тхх равна 1 почти всюду на ТА и 0 почти всюду
вне ТА. Таким образом, преобразование Тх можно рассматривать как рас-
расширение преобразования Т.
RV3. Преобразование Тх линейно; т. е. еслп а и Ь — постоянные, a x и
у —случайные величины, то с вероятностью 1
RV4. Преобразование Tj сохраняет сходимость, т. о. если lima;n = .-
П-*оо
с вероятностью 1, то с вероятностью 1 и
Ясно, что существует не более чем одно преобразование Т1; обладаю-
обладающее этими свойствами: в силу RV2 и RV3 любые два преобразования с
этпми свойствами должны тождественно совпадать в применении к случай-
случайным величинам, принимающим конечное число значений, а следовательно,
в силу RV4, п в применении ко всем случайным величинам. Для доказа-
доказательства того, что существует хотя бы одно такое преобразование Тх, мы
явно определим это преобразование следующим образом. Достаточно рас-
рассмотреть только действительные случайные величины, поскольку в комп-
комплексном случае можно отдельно рассматривать действительные п мнимые

§ 1. ОБЩИЕ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 407
части. Положим для каждого рационального г
причем множества Аг мы выберем так, чтобы выполнялись условия
пХ=о, 1Мг = 2
г г
(это, очевидно, возможно). Положим теперь
[Т>] (ш) = s, если ш ? Г) А,. - U Лг;
функция Тух определена для всех значений ю, и с точностью до множеств
вероятности О
так что ТуХ является случайной величиной (т. е. измеримой функцией
от ш). Если теперь определить класс образов х при преобразовании Tlt
как класс всех случайных величин, равных с вероятностью 1 построенной
выше случайной величине, то легко проверить, что полученное преобразо-
преобразование Тх будет обладать всеми нужными нам свойствами. В дальнейшем
и для преобразования множеств, и для преобразования случайных величин
мы будем чаще всего употреблять одно и то же обозначение Т. Заметим,
что в частном случае, когда сохраняющее меру преобразование множеств Т
индуцировано взаимно однозначным сохраняющим меру точечным преобра-
преобразованием S, очевидно, с вероятностью 1
Если Т — сохраняющее меру преобразование множеств, а ж —случай-
—случайная величина, то вероятностный процесс
хп, п^-Щ, хп— 1 х^
стационарен в узком смысле; если прп этом Т допускает обращение, то
и вероятностный процесс
{хл, — со < п < оо}, хп = Т"х,
также стацпопарен в узком смысле. Таким образом, сохраняющие меру
преобразования множеств могут быть попользованы для получения стацио-
стационарных в узком смысле вероятностных процессов.
До сих пор мы предполагали, что сохраняющее меру преобразование
множеств Т имеет в качестве области определения и области значений со-
совокупность всех измеримых ю-множеств. Ясно, однако, что во всех наших
рассуждениях нпчего не изменится, если допустить, что как область опре-
определения, так п область значений совпадают с произвольным, борелевским
полем измеримых множеств, включающим все множества вероятности 0.
Это тривиальное обобщение развитых нами понятий пригодится в даль-
дальнейшем. Индуцированное преобразование случайных величин будет в та-
таком случае иметь областью определения п областью значении совокупность
случайпых величин, измеримых 'относительно рассматриваемого борелевско-
го доля.
Рассмотрим теперь стационарный в узком смысле вероятностный про-
процесс {хп, п>0] п исследуем условия, прп которых он может быть получен
описанным выше способом из некоторого сохраняющего меру преобразова-
преобразования множеств. Прп изучении этого вероятностного процесса интерес будут
представлять только те измеримые w-множества, которые могут быть опре-

408 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
делены с помощью условий, наложенных на величины xjt т. е. множества,
измеримые относительно семейства величин х;. Поэтому следует искать
сохраняющее меру преобразование множеств, имеющее областью определе-
определения совокупность множеств, задаваемых условиями на величины х}, для
которого Тпх0 — хп, п>1 с вероятностью 1. Мы покажем, что такое пре-
преобразование существует и определяется однозначно. Это преобразование
называется сдвигом, поскольку для него Тл;п = а;п^], л >0 с вероятностью 1.
Если такое преобразование Т существует, то оно должно переводить ю-мно-
жество
где А — борелевское множество, в множество, отличающееся от множества
самое большее на множество вероятности 0. Следовательно, если бы суще-
существовали два преобразования сдвига, то они совпадали бы на всех множе-
множествах указанного здесь вида, а значит, и на всем борелевском поле мно-
множеств, порожденном этими множествами. Иначе говоря, они совпадали бы
на всех множествах, определяемых условиями, наложенными на величины Xj.
Тем самым доказано, что если преобразование сдвига существует, то оно-
может быть только одно. Далее, преобразованпе сдвига действительно
существует, так как мы всегда можем определить Т для множеств рассмот-
рассмотренного сейчас специального вида так, как адесь было указано, и затем
распространить это определение на все множества, определяемые условиями
на х.. (В самом деле, если мы положим расстоянпе между измеримыми
множествами Лх и Л2 равным числу ¦
то пространство всех измеримых множеств станет полным метрическим
пространством, а искомое преобразование сдвига—однозначной сохраняющей
расстояние функцией, определенной на замкнутом подмножестве этого
пространства, а именно на подмножестве Е, состоящем из всех измеримых
множеств, определяемых условиями, наложенньшп на х,. Рассмотрен-
Рассмотренные нами выше множества Л составляют подмножество Е, плотное в Е,
а преобразование Т, определенное иа этом подмножестве указанным выше-
способом, сохраняет расстояние, т. е. является равномерно непрерывной
функцией. Поэтому имеется один и только один способ расширить наше
определение преобразования Т на все Е, сохраняя его непрерывность.)
Аналогично, если [хп, — со < л < оо} — стационарный в узком смысле-
вероятностный процесс, то существует единственное сохраняющее меру
преобразование множеств Т, называемое сдвигом (относительно этого про-
процесса), такое, что областью определения этого преобразования является
борелевское поле множеств, определяемых условиями на xjt и что Тпх0 — хп
для всех целых п.
Мы уже отмечали, что можно избежать введения сохраняющих меру
преобразований множеств (вместо точечных преобразований) в исследованиях по-
теории стационарных вероятностных процессов. Покажем теперь, как это сде-
сделать. Пусть {хп, 0 < п < со} — стационарный в узком смысле вероятностный
процесс. Мы сейчас покажем, что можно найтп связанный с этим процес-
процессом новый вероятностный процесс, который для большинства целей вполне-
замениет первоначальный, причем этот новый процесс порождается взаимно
однозначным сохраняющим меру точечным преобразованием. Будем рас-
рассуждать следующим образом (ср. §§ 5 и 6 гл. I и J 1 гл. II). Пусть
U — координатное пространство всех последовательностей ю вида {..., ?1( ?2,...}.
Определим в этом пространстве вероятностную меру, приписав конечномер-
конечномерное распределение вероятностей каждому конечному множеству координат..

S 1. ОБЩИЕ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 409
А именно, еслп хп — это n-я координата в пространстве Q, т. е. еслп хп (ю) = ?„,
когда «)= {...,$!, 52, ...}, то ю-множеству
{жт>(»)е^я / = 1, ... л}
мы припишем вероятность
Здесь Aj — борелевскпе множества, a h выбирается настолько большим,
чтобы выполнялись неравенства
/=1, ..., п.
Согласно теореме Колмогорова о бесконечномерных мерах (см. § 5 гл. I),
это задание конечномерных распределений вероятностей определяет вероят-
вероятностную меру на некотором борелевском поле ю-множеств. Прп этом все
координаты хп оказываются случайными величинами на 2. Стационарный
в узком смысле вероятностный процесс {хп, —со < п<со} обладает тем
свойством, что многомерные распределения вероятностей для случайных
величин х0, ...,хп, заданных на пространстве U, совпадают с распределе-
распределениями вероятностей для случайных величин х0, ..., хп, заданных на про-
пространстве У. Следовательно, во всех вопросах, в которых приходится рас-
рассматривать только эти конечномерные распределения вероятностей, процесс хп
можно заменить процессом хп. Для примера рассмотрим средние значения,.
Закон больших чисел представляет собой некоторое утверждение о сходи-
сходимости этих средних при п—»со. Совершенно ясно, что эти средние схо-
сходятся в среднем квадратичном по вероятности или с вероятностью 1 тогда
и только тогда, когда они сходятся в соответствующем смысле для величин хп.
При этом с нашей теперешней точки зрения процесс хп более удобен, чем
процесс хп, поскольку сдвиг для процесса хп порождается взаимно одно-
однозначным сохраняющим меру точечным преобразованием, а именно преобра-
преобразованием, переводящим каждую координату точки ш в следующую ее коор-
координату.
Мы здесь предполагали, что значениями параметра для процесса хп
являются всевозможные неотрицательные целые числа. Если бы значениями
параметра были просто всевозможные целые числа, то процесс хп опреде-
определялся бы точно таким же образом; в этом случае мы получилп бы то, что-
в § 6 гл. I называлось изображением процесса хп.
Мы показали, что при рассмотрении стационарных в узком смысле
вероятностных процессов мы фактически рассматриваем итерации оператора
сдвига, действующие на заданную случайную величину, и что во многих
случаях мы можем даже считать, что сдвиг является просто взаимно одно-
однозначным сохраняющим меру точечным преобразованием. В дальнейшем
изложении мы будем пользоваться как языком теории стационарных веро-
вероятностных процессов, так и языком теории сохраняющих меру преобразо-
преобразований.
Измеримое ю-множество мы будем называть инвариантным относительно
сохраняющего меру преобразования (точечного или преобразования мно-
множеств), если оно отличается от своего образа на мпожество вероятности 0.
Ясно, что любое множество вероятности 0 пли 1 является инвариантным.
Инвариантные множества образуют борелевское поле. Случайная величина х

410 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
будет называться инвариантной относительно сохраняющего меру пре-
преобразования Т, если Тх = х с вероятностью 1. Прп этом каждая случай-
случайная величина, тождественно равная постоянной, будет инвариантной. Если
преобразование Т допускает обращение, то одни п те же измеримые ш-мно-
жества и случайные величины будут инвариантными как относительно
прямого, так и относительно обратного преобразования.
Если Л — измеримое ш-множество и х— случайная величина, равная 1
на А и 0 на дополнении к Л, то А является инвариантным множеством
тогда и только тогда, когда х— инвариантная случайная величина. Если
ж —инвариантная случайная величина, то («-множество {х(ю)?А} является
инвариантным при любом борелевском множестве Л. Обратно, если множе-
множество {х(<й)?А} инвариантно при любом выборе борелевского множества А
или даже (в действительном случае) при любом выборе интервала А, то
х—инвариантная случайная величина.
Сохраняющее меру точечное преобразование или преобразование мно-
множеств называется метрически транзитивным, еелп единственными его
инвариантными множествами являются множества вероятности 0 или 1,
т.е. если единственными инвариантными случайными величинами являются
случайные величины с вероятностью 1, равные постоянной.
Мы уже видели, что каждому стационарному в узком смысле процессу
можно сопоставить единственное сохраняющее меру преобразование мно-
множеств (сдвиг), определенное на ю-множествах, задаваемых условиями
на случайные величины, образующие процесс. Множества и случайные
величины, инвариантные относительно этого преобразования, называются
также инвариантными множествами и инвариантными случайными величи-
величинами процесса. Процесс называется метрически транзитивным, если этим
свойством обладает соответствующее преобразование сдвига. Ясно, что про-
процесс будет метрически транзитивным тогда п только тогда, когда метри-
метрически транзитпвен определенный выше процесс хп — соответствующий про-
процесс на координатном пространстве.
Пусть Т — метрически транзитивное сохраняющее меру преобразование
множеств и х — случайная величина. Тогда процесс
{хп, п>0}, хп=^Тпх,
будет метрически транзитивным. Для того чтобы доказать это, достаточно
заметить, что если Тх — сдвиг, отвечающий нашему вероятностному про-
процессу, тоТ и Т[ совпадают на всех ю-множествах, определяемых условиями,
наложенными на х}, т. е. Т = Т1 на всей области определения преобразо-
преобразования Тх. Отсюда следует, что если некоторое множество значений ш инва-
инвариантно относительно Хх, то будет инвариантно п относительно Т, так что
из метрической транзитивности Т вытекает метрическая транзитивность Tj.
Важным частным случаем последнего результата является следующий
факт. Пусть {хп, — со < п < со} — метрически транзитивный стационарный
в узком смысле процесс; тогда любая функция, измеримая относительно
семейства величин xjt т. е. любая случайная величина, измеримая отно-
относительно поля множеств, определяемого условиями, налагаемыми на хр
образует прн последовательных сдвигах величин х} метрически транзитив-
транзитивный вероятностный процесс. Например, если пропесс хп метрически транзи-
тивен, то и процессы
{х-п, — со < п < со], {хп + ж3п+2, — оо < п < со)
также будут метрически транзитивными. Аналогичный результат верен и
для процессов, определенных лишь для неотрицательных значений параметра.
Если {хп, —со < п < со} —стационарный в узком смысле процесс, то
процесс {х_п, — со < п < со} также будет стационарным в узком смысле

§ i. ОБЩИЕ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 411
и будет иметь те же самые инвариантные случайные величины, что и ис-
исходный процесс; в самом деле, преобразование, обратное к сохраняющему
меру преобразованию множеств, допускающему обращение, пмеет те же
инвариантные случайные величины, что и первоначальное преобразование.
Процесс {хп, п > 0} также будет стационарным в узком смысле п будет
иметь те же инвариантные случайные величины, что и исходный процесс.
Это утверждение не является очевидным; мы его сейчас докажеж Отсюда
будет следовать, что три рассматриваемых здесь вероятностных процесса
все одновременно. будут или не будут метрически транзитивными. Для до-
доказательства заметим прежде всего, что любая случайная величппа, инва-
инвариантная относительно процесса {хп, «>0J, очевидно, будет инвариантной
также и относительно процесса {хп, — со < п < со). Остается доказать обрат-
обратное утверждение; но для этого достаточно показать, что каждая случайная
величина у, инвариантная относительно процесса {хп, — ее < п < со},
измерима относительно совокупности величин хп с »>0. Заметим теперь,
что поскольку случайная величина у измерима относительно совокупности
всех хп, то каждому числу к > 0 соответствует случайная величина yh,
измеримая относительно поля множеств, определяемых условиями на неко-
некоторое конечное число величин хп, и такая, что
(см. § 1 гл. II). Далее, мы можем заменить здесь, если нужно, ук на Tyh,
где Т —преобразование сдвига, соответствующее процессу {хп, — ее < п < со};
действительно, в силу инвариантности у относительно Т также и
Таким образом, мы можем даже предположить, что ук измеримо относи-
относительно совокупности величин хп с п > 0. Так как с вероятностью 1
то мы заключаем отсюда, что случайная величина у также измерима отно-
относительно совокупности величин хп с и>0, что и требовалось доказать.
Тривиальное изменение приведенных выше рассуждении дает следующий
результат, на который нам придется ссылаться в. дальнейшем. Если
{хп, — со < п < со} или {хп, п>0} - стационарный в узком смысле про-
процесс и если у — инвариантная случайная величина, то при любом п слу-
случайная величина у измерима относительно совокупности величин, хп, xnil, ... .
Ирпмер 1. Цепи Маркова. Пусть [ptJ-] — Л-мерная стохастическая
матрица, т. о. пусть
Как было доказано в § 2 гл. V, в таком случае существуют числа рг, ..., ру,
называемые стационарными абсолютными вероятностями, которые удовле-
удовлетворяют соотношениям
Мы предположим, что яти стационарпые абсолютные вероятности выбраны
таким образом, что ръ > 0 для всех г, принадлежащих эргодичеекпм клас-
классам. Такой выбор всегда возможен (например, мы можем в теореме 2.4
гл. V взять коэффициенты линейной комбинации положительными для i$F

412 ГЛ; X. СТАПИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Пусть {хп, — со < п< оо} —цепь Маркова с заданными абсолютными веро-
вероятностями и вероятностями перехода, так что
Р К Н = 0 = Л.
Р {жп+1 (ш) = / I хп И = *} = Pij
(с вероятностью 1). Тогда процесс хп будет стационарным в узком смысле.
Пусть Е — эргодический класс состояний; положим
Л = {х0 (»)€?}.
Так как из того, что хп(а>)?Е, вытекает, что и xntl (ш) ? Е, и наоборот
(с точностью до ш-множеств вероятности 0), то множество Л является инвари-
инвариантным множеством. При этом
Если существует еше один эргодический класс, то подобным же образом
можно определить второе инвариантное множество. Это новое множество
также будет иметь положительную вероятность п не будет иметь общих
точек с Л. Следовательно, в этом случае 0<Р(Л)< 1, т. е. мы доказали,
что если существует более чем один эргодический класс, то процесс не яв-
является метрически транзитивным. Обратно, если существует только один
эргодический класс, то процесс метрически транзитивен. Для доказательства
этого утверждения достаточно показать, что каждое инвариантное множе-
множество имеет вид {ж0 (<•>)€ Е}, а этот факт является частным случаем следующей
теоремы:
• Теорема 1.1. Если {хп, п>0} — стационарный марковский процесс
и если z—инвариантная случайная величина, то z измерима относительно
случайной величины х0.
В терминах ш-множеств (а не случайных величин) эта теорема утвер-
утверждает, что любое инвариантное ш-множество может быть определено усло-
условиями, наложенными на одну величину хп. Разумеется, величину х0 можно
заменить любой из величин xh. В соответствии с формулировкой рассмат-
рассматриваемой теоремы в терминах ш-множеств мы можем предположить, если
это удобно, что z— ограниченная случайная величина. Мы докажем здесь
нужное нам утверждение, предположив, что z интегрируема, и показав,
что. тогда z = E{z]x0} с вероятностью 1. Выше мы уже отмечали, что
из инвариантности z вытекает, что величина z измерима относительно семей-
семейства величин хп, xntl, ... при каждом п. Следовательно, поскольку про-
процесс хп является марковским, с вероятностью 1
и в силу следствия 1 из теоремы 4.3 гл. VII с вероятностью 1
lim E {z | хп] = z.
П ~* СО
Тогда при любом в > 0
Поскольку величина z инварианта, вероятность, фигурирующая в левой
части последнего равенства, на самом деле не зависит от п, и, полагая
гс = 0, мы находим, что с вероятностью 1
z = E{zK),
что и требовалось доказать.
Пример 2. Процессы с взаимно независимыми значениями. Предпо-
Предположим, что {хп, п>0} — случайный процесс, у которого величины хп вза-

$ 1. ОБЩИЕ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 413
имно независимы. Этот процесс будет стационарным в узком смысле тогда
и только тогда, когда все величины хп одинаково распределены. Согласно
следующей теореме, такой стационарный процесс всегда метрически тран-
зитивен.
Теорема 1.2. Если х0, хх, ... — взаимно независимые случайные
величины с одинаковой функцией распределения, то стационарный в узком
смысле процесс {хп, п>0} метрически транзитивен.
Поскольку инвариантная случайная величина обязательно измерима
относительно совокупности величин хп, xntX, . .., где я — любое целое число,
то в силу закона нуля или единицы (теорема 1.1 гл. III) единственными
инвариантными случайными величинами будут постоянные (точнее, вели-
величины, постоянные с вероятностью 1), что п требовалось доказать. Эта
теорема немедленно следует также п из теоремы 1.1.
Пример 3. Скользящее суммирование. Рассмотрим процесс хп, опре-
определенный равенством
где 2 I сп |2 < °° и Уп — взаимно независимые случайные величины с оди-
наковой функцией распределения, имеющие нулевое среднее значение
и конечную дисперсию. (В силу теоремы 2.3 гл. III рассматриваемый ряд
сходится как в среднем, так и с вероятностью 1.) Согласно теореме 1.2,
процесс уп метрически транзитивен. Пусть Т — сдвиг, соответствующий
этому процессу. Тогда процесс хп также будет метрически транзитивным,
поскольку он порождается применением к х0 метрически транзитивного
сохраняющего меру преобразования множеств Т.
б) Процессы, стационарные в широком смысле. Процессы, стационар-
стационарные в широком смысле, были определены в § 8 гл. II. Все понятия, отно-
относящиеся к процессам, стационарным в узком смысле, имеют свои аналоги
и для случая стационарности в широком смысле. Предположим, как обычно,
что существует вероятностная мера, определенная на борелевском поле
множеств некоторого пространства Q. В дальнейшем мы будем пользоваться
некоторыми элементарными понятиями геометрии гильбертова простран-
пространства, введенными в § 2 гл. IV. Пусть ЭД2 — замкнутое ливейное многообра-
многообразие случайных величин с интегрируемым квадратом. Преобразование U,
переводящее элементы 37} в элементы ЗД?, называется изометрическим, если
выполняются следующие условия:
ISj. Преобразование U однозначно с точностью до случайных величин,
равцых 0 с вероятностью 1, т. е. если хх—один из образов х дри пре-
образоваппи U, то класс всех образов х при этом преобразовании сов-
совпадает с классом случайных величин, равных хх с вероятностью 1. В даль-
дальнейшем Мх всегда будет обозначать некоторый определенный образ х при
преобразовании U.
IS,- Преобразование U линейно, т. е. если а и Ь — постоянные, aiaj-
случайные величины из 501, то с вероятностью 1
U (ах + by) = allx -f bVy.
IS3. Преобразование V сохряняет норму, задаваемую корнем квадрат-
квадратным из среднего значения квадрата модуля, т. е.
E{jto|2} = E{jzj2}, z€3K.
Легко проверить, что условие IS3 выполняется тогда и только тогда,
когда
E{VxVy\=E{x~y}, х,

414 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Если каждый элемент многообразия 5ДО является образом некоторого х при
преобразовании U, то U оказывается взаимно однозначным преобразованием1
с точностью до случайных величин с вероятностью 1, равных 0, так что-
в этом случае U будет иметь обратное преобразование, также являющееся
изометричным. В этом случае преобразование U называется унитарным.
Если Т — сохраняющее меру преобразование множеств, имеющее
областью определения борелевское поле 3* и переводящее элементы из JF
в элементы из &, то существует соответствующее ему изометрическое пре-
преобразование случайных величин. Действительно, пусть Ш — замкнутое ли-
линейное многообразие случайных величин с интегрируемым квадратом, изме-
рЕмых относительно &¦'. Тогда преобразование Т, рассматриваемое как
преобразование случайных величин с областью определения ЗЛ, будет изо-
изометричным, а если Т допускает обращение, то даже ц унитарным.
Если U — изометрическое преобразование ах — случайная величина из.
его области определения, то вероятностный процесс
{хп, п>0), xn = Vnx,
будет стационарным в широком смысле. Если U унитарно, то соответству-
соответствующее утверждение будет верно и для области значений параметра
— оо < п < со.
Обратно, пусть {хп, п > 0} — вероятностный процесс, стационарный
в широком смысле. В таком случае всегда существует изометрическое пре-
преобразование, порождающее этот процесс в том смысле, как это сейчас было
объяснено. Чтобы доказать это, определим 2JJ как замкнутое линейное
многообразие случайных величин, порожденное величинами хп. Тогда ясно,
что существует одно и только одно изометрическое преобразование U такое,
что Vxn — xntl,n>0 с вероятностью 1. Это преобразование мы будем назы-
называть сдвигом. Аналогично, если параметр, от которого зависит процесс, про-
пробегает значения — оо < п < со, то мы получим однозначно определенное
унитарное преобразование, переводящее хп в zn+1, — со<п<оо; это пре-
преобразование мы также будем называть сдвигом (относительно рассматривае-
рассматриваемого процесса).
Сейчас мы покажем, что введенные здесь изометрические и унитарные
преобразования являются аналогами сохраняющих меру преобразований
множеств и, соответственно, сохраняющих меру преобразований множеств,
допускающих обращение, используемых в теории процессов, стационарных
в узком смысле. Мы также покажем, что при изучении стационарных в
широком смысле процессов изометрические преобразования могут быть
исключены из рассмотрения и что можно лишь ограничиться унитарными
преобразованиями.
Пусть {хп, п>0} или {хп, — со < п < со} — вероятностный процесс,
стаппоиарный в широком смысле; во втором нз этих случаев мы положим
г(т, в)=Е{жтаГ„}.
В первом случае положим
г(т, л)=Е{жт+I, xn,k],
где к выбрано столь большим, чтобы выполнялись неравенства ?л-|-#>0 и
п + к>0. В силу предположения о стационарности так определенная функ-
функция г(т, п) не зависит от к. Далее, очевидно, что
г(т, п) = г(п, т),
и что при любых целых числах tx, . . ., tx матрица [r(tlt t^] является не-

§ I. ОБЩИЕ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 415
отрицательно определенной. В самом деле,
2 (i ^K,
i, }= 1
(к опять выбираем столь большим, чтобы все случайные величины, фигури-
фигурирующие в этом соотношении, имелп смысл). Следовательно, в силу теоре-
теоремы 3.1 (или теоремы 3.2) гл. II существует гауссовскпй процессе
{хп, — оо < и < со}, для которого
Этот гауссовскпй процесс был явно построен при доказательстве теоремы
3.1 гл. II; прп этом за пространство точек ш принималось бесконечномер-
бесконечномерное координатное пространство, хп было n-й координатой этого простран-
пространства, а вероятностная мера строилась с помощью теоремы Колмогорова о
мерах в бесконечномерных пространствах.
При рассмотрении любой теоремы, оперирующей только с корреляцион-
корреляционной функцией /•(•, •), процесс хп можно заменить процессом хп. Так, напри-
например, средние значения
сходятся в среднем тогда п только тогда, когда сходятся соответствующие
средние для величин хп. Однако процесс хп во многих отношениях проще
процесса хп. В самом деле, процесс хп стационарен и в узком, п в широком
смыслах; соответствующий сдвиг (т. е. сохраняющее меру преобразование
множеств) индуцируется сохраняющим меру точечным преобразованием,
а именно обычным сдвигом координатных осей, а изометрический сдвиг
является здесь унитарным. Отсюда следует, что прп доказательстве боль-
большого числа теорем, касающихся стационарных в широком смысле процес-
процессов, мы можем без потери общности предполагать, что изометрический
сдвиг унитарен (см. § 3 гл. II).
Если U — изометрическое преобразование п х — случайная величина из
его области определения, то величина х называется ипвариантпоп, еслп
Vx = x с вероятностью 1. Например, все случайные величины, с вероят-
вероятностью 1 равные 0, являются инвариантными. Если других инвариантных
случайных величин лет, то изометрическое преобразование мы будем на-
называть метрически транзитивным в широком смысле. Заметим, что эта
терминология не является общепринятой, и она нигде пе будет нами при-
применяться вне этого параграфа; здесь мы ее ввели только для того, чтобы
сделать более ясной связь между стационарностью в узком и в широком
смысле.
Случайные величнпы, инвариантные относительно изометрического
сдвига стационарного в широком смысле процесса, будут называться инва-
инвариантными (в широком смысле) случайными величинами процесса. Процесс
будет называться (только в этом параграфе) метрически транзитивным
в широком смысле, если метрически транзитивным в широком смысле
является его изометрический сдвиг.
Если {хп, — со < п < со}— процесс, стационарный в широким смысле,
то процесс {x_Jn, — оз < п < со} также будет стационарным в широком
смысле и будет иметь то же самые инвариантные случайные величины,
что и исходны:! процесс; это вытекает из того, что преобразование, обрат-

416 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
ное унитарному преобразованию, имеет те же инвариантные случайные ве-
величины, что и исходное унитарное преобразование. Процесс {хп, п>0}
также будет стационарным в широком смысле и также будет иметь те же
самые инвариантные случайные величины, что и исходный процесс. Дока-
Доказательство этого утверждения проводится на основе тех же самых идеи,
что и в случае аналогичного утверждения для процессов, стационарных
в узком смысле, доказанного в первой половине настоящего параграфа;
поэтому здесь оно будет опущено. Из всего этого следует, что три рассмат-
рассматриваемые здесь процесса одновременно будут или не будут метрически
транзитивными в широком смысле.
Следующий пример является вариантом в широком смысле рассмотрен-
рассмотренного ранее примера 2.
Пример 4. Процессы со взаимно ортогональными значениями. Пред-
Предположим, что {хп, п > 0} — вероятностный процесс, у которого все величи-
величины хп взаимно ортогональны. В таком случае он будет стационарным в
в широком смысле тогда и только тогда, когда математическое ожидание
Е{|з:п|2} не зависит от п. Согласно следующей теореме, такой стационарный
(в широком смысле) процесс всегда метрически транзитивен в широком
смысле.
Теорема 1.3. Если х0, xv ...—взаимно ортогональные случайные
величины такие, что Е{|з:п[2} не зависит от п, то стационарный (в ши-
широком смысле) процесс {хп, п > 0} метрически транзитивен в широком
смысле.
Согласно предположению теоремы, выполняются следующие условия:
0, тфп,
где о > 0. Пусть 5Ш — замкнутое линейное многообразие случайных вели-
величин, порожденное величинами хп. Если о = 0, то каждая случайная вели-
величина из $01 равна 0 с вероятностью 1, так что процесс заведомо метрически
транзитивен. Если о > 0, то любая величина х из 5ЭД может быть представ-
представлена в виде суммы своего ряда Фурье по величинам хп:
х — 2j aixi' ^j — 55" \хх}1'
о
где ряд сходится в среднем. Если величина х инвариантна, то с вероят-
вероятностью 1
Приравнивая здесь коэффициенты при х} в правой и левой частях, получим
0=а0 = а1 = ...,
так что 1 = 0 с вероятностью 1, что и требовалось доказать.
§ 2. Усиленвый закон больших чисел для стационарных в узком смысле
вероятностных процессов
Важнейшей теоремой теории сохраняющих меру преобразований являет-
является эргодическая теорема, формулируемая обычно следующим образом.
Пусть S — взаимно однозначное сохраняющее меру точечное преобразование

§ 2. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ 417
их — измеримая и интегрируемая функция на соответствующем, простран-
пространстве. Тогда предел
П^сэ П+1
существует и конечен для почти всех га. Так как S также является сох-
сохраняющим меру точечным преобразованием, то в этой формулировке S
можно заменить на S; в дальнейшем мы покажем даже, что величина
предела при этом остается той же самой (с точностью до значений на
о)-множестве меры 0). Поскольку сохраняющие меру преобразования
множеств являются небольшим обобщением сохраняющих меру точечных
преобразований, то следующее предложение несколько обобшает сформу-
сформулированную выше теорему. Если Т — сохраняющее меру преобразование
множеств и х —'измеримая и интегрируемая функция на соответствующем
пространстве, то предел
,. i-i-Tct;+ ... +Тпж
Ьт —: \
Л-*со +
существует и конечен для почти всех ш. Заметим, что преобразованию Т
в этом варианте эргодическон теоремы соответствует в первоначальном
варианте преобразование S. Заметим еще, что последний вариант зргоди-
чеокой теоремы непосредственно приложим и к теоретико-вероятностным
рассмотрениям: в этом случае соответствующая теорема называется усилен-
усиленным законом больших чисел для стационарных в узком смысле вероят-
вероятностных процессов. Использование языка теории вероятностей позволяет
уточнить смысл предела, фигурирующего в теореме; вместе с тем рассмот-
рассмотрения § 1 показывают, что теорема теории вероятностей, к формулировке
которой мы сейчас перейдем, лишь словесно отличается от сформулирован-
сформулированного выше предложения теории меры. (Преобразование Т, используемое
в теореме теории меры, в вероятностной теореме переходит в преобразова-
преобразование сдвига стационарного процесса.)
Теорема 2.1. Пусть {хп, п>0} — стационарный в узком смысле
вероятностный процесс, у которого Е {| х0 \) < со1, и J—борелевское поле
инвариантных w-множеств. Тогда с вероятностью 1
кш"+:--?"п=щх0\з)- B.1)
В частном случае, когда процесс метрически транзитивен, правая часть
равенства B.1) может быть заменена на Е{ж0}.
Эту теорему иногда формулируют, используя несколько иные средние
значения. Так, например, ясно, что среднее значение в левой части равен-
равенства B.1) можно заменить на
n+l
где к фиксировано; величина предела при этом не изменится. Если зна-
значениями параметра процесса Являются все целые числа, то мы можем
также обратить направление оси времени, т. е. заменить х^ на ац-; при
этом предел среднего значения величин х_п, ...,хй нрп п—> со также
будет существовать с вероятностью 1. Поскольку инвариантные множества
оператора сдвига и обратного оператора одни и те же, то этот предел будет
совпадать с B.1). Отсюда следует, что и среднее значение

418 ГЛ. X. СТАДИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
тоже имеет при п—>• оо тот же самый предел (с вероятностью 1). Однако
предел
Km" *»+••• + *»
n-m-со Л —т+1
(с вероятностью 1), вообще говоря, может и не существовать.
Важнейшим частным случаем нашей теоремы является случай взаимно
независимых величин хп. В этом случае гипотеза о стационарности процес-
процесса сводится к предположению, что величины хп одинаково распределены.
Согласно теореме 1.2, каждый процесс такого тппа является метрически
транзитивным, так что предел в B.1) здесь будет равен Е{з:0}. Два различ-
различных доказательства усиленного закона больших чпсел для этого частного
случая нами были уже даны в гл. III (теорема 5.1) и гл. VII (§ 6).
Перед доказательством теоремы 2.1 нам будет удобно привести три
леммы.
Лемма 2.1. Пусть Сх, ..., Сп — произвольные действительные числа;
обозначим через Е совокупность целых чисел т, меньших п, и таких, что
Cm<maxCr B.2)
}> т
В таком случае Е состоит из нескольких групп последовательных целых
чисел; если аи $ —первое и последнее числа одной из таких групп, то
B.3)
Действительно, поскольку Р+1$?", то Cg+i> max С (или f)-j-l = n),
так что из того, что J3 ? Е вытекает, что
Сл < max С, = Сл+1.
Если о < р, то $ — 1?Е и, следовательно,
Св-1 < max C. = Cs+i B.4)
и т. д.
Лемма 2-2. Пусть {хп, п>0} — действительный стационарный
вероятностный процесс, такой, что Е{|жо|}< оо. Тогда, если J3 — произ-
произвольное постоянное число, М — инвариантное относительно нашего процесса
множество значений ш и Sn = xQ-\- ... -{-х^^, то
M
} . [B.5)
При замене последовательности {хп} на {хп— 8} величина Sn/n заме-
заменится на (SJn) — C, так что ясно, что лемму достаточно доказать для [3 = 0.
Определим теперь множества А и Ау соотношениями
A = {supSn(»)>;0}, A={ sup .?„((¦))¦> 0},
гак что Ay будет сходиться снизу к А при /—»со. Применим лемму 2.1
к выборочной последовательности Sr, . . ., Sm, и пусть N^ — совокупность
точек (о, при которых / входит в множество Е, определенное в лемме
2.1. т. е.
Ni = { max [x1(o>)+...+xk(u,)]>0] = T>Am4.

§ 2. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ 419
Тогда в силу указанной леммы
где сумма распространена на те значения /', для которых u>?jN.. Отсюда
следует, что
m-l
1=0 MNy
и поскольку преобразование Т сохраняет меру, то, следовательно,
Ho
lim ^dP= С xodP, B.7}
; МДу MA
так что, разделив B.6) на т и полагая т—*оэ, мы получим B;5)
(при р = 0).
Лемма 2.3. Если выполнены условия теоремы 2.1 а если процесс х^
является действительным, то случайные величины
инвариантны.
Мы приведем здесь доказательство только для величины хх. Требуется-
показать, что с вероятностью 1
Но
lim ** + •••+*» = lim *°+---+*п = и га+...+*п = -
л . п л + 1
П-+СО П-.ОО П-»ОО
и лемма доказана. Заметим, что пока мы еще не доказали, что величины
хг и ж2 принимают конечные значения.
Перейдем теперь к доказательству основной теоремы 2.1. Достаточно
доказать эту теорему для действительного случая. Если а < 3, и если
MOlp обозначает инвариантное ш-множество {ж1(ш) < а < р < х2 («>)}, та,
очевидно,
и, следовательно, в силу леммы 2.2
Применяя этот результат к { — хп) и заменяя а, р па — J3, —а, получаем
p}. B.9)

420 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Комбинируя B.8) и B.9), находим, что Р{М«,р} = 0. Так как
Р {хх (ш) < х2 (us)} = Р {[J М«, fj} < (a, p рациональные)
?} = 0, B.10)
то хх = х2 с вероятностью 1. Отсюда вытекает, что существует (конечный
или бесконечный) предел х. Применяя теперь лемму Фату к средним
| Z, | + ¦ ¦ ¦ + t St. [
получаем, что величина х с вероятностью 1 конечна и интегрируема", это
вытекает также и из дальнейших более глубоких соображений. Для того
чтобы отождествить х с EJa^U), надо доказать, что величина х конечна
с вероятностью 1, интегрируема и для каждого инвариантного Л удовлет-
удовлетворяет соотношению
[xtdP=\xdP. B.11)
i д
Легко видеть, что для этого достаточно показать, что средние значения
—;пп—• п>0'
равномерно интегрируемы; действительно, в таком случае их предел х
будет конечен с вероятностью 1, интегрируем и (поскольку из равномер-
равномерной интегрируемости вытекает допустимость предельного перехода под
знаком интеграла) для любого инвариантного Л будет
о jOjV
т. е. будет верно равенство B.11). Сейчас мы докажем даже более сильное
утверждение, состоящее в том, что не только средние, фигурирующие в
эргодической теореме, равномерно интегрируемы, но и что их 8-е степени
также равномерно интегрируемы, если только 8 > 1 и Е{|жо|5} < оо. Для
доказательства этого обозначим через sx произвольное положительное число
и выберем е2 настолько малым, что
^\xj\*dP<s1, если Р {М} < е2, />0.
м
Поскольку все Xj имеют одинаковое распределение вероятностей, то всегда
можно выбрать положительное е2, обладающее указанным свойством. Далее,
С |"•+-+'»\'dP<[ |*°|Чп;1+|** dP < Ё1, если Р{М} < в„ B.12)
м м
так что рассматриваемые интегралы, взятые по множествам малой вероят-
вероятности, оказываются равномерно малы. Отсюда сразу вытекает равномерная
интегрируемость, если только известно, что интегралы по всему простран-
пространству равномерно ограничены. Но последнее свойство сразу следует из того,
что если в B.12) положить М=2, то интеграл в правой части сведется к
E{[a;0|s}. При 8>1 доказанная нами равномерная интегрируемость выте-
вытекает также из следующего неравенства, получаемого комбинированием

§ 2. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ 421
леммы 2.2 (с заменой хп на |zn|) с теоремой 3.4' гл. VII:
о
Остается еще только заметить, что если E{|a:0|s}<co (о>1), то
= 0, B.13)
поскольку переход к пределу под знаком математического ожидания здесь
возможен ввпду равномерной интегрируемости соответствующих средних.
Таким образом, здесь имеет место сходимость в среднем порядка о.
Из теоремы 2.1 вытекает следствие, которое существенно для гармони-
гармонического анализа выборочных функций стационарных в узком смысле про-
процессов:
Следствие. Если ^ действительное число из интервала ( —1/2, 1/2],
то предел
п
lim -t-j 2 Zje-2™'» =z fc) B.14)
сугцествует с вероятностью 1. Случайная величина х{р) имеет конечное
математическое ожидание
и преобразуется оператором сдвига в eiKiv-x {^.). При этом Э.гя всея: р, за
исключением самое большее счетного множества значений,
Если Е{|з:0|2} < оо, то и E{|a:(fi)|2} < оо; при этом
l.Lm. ~ 2 V2"'*1 = г (р) B.1;-
Заметим, что прп (i = 0 предел x(fi) сводится к пределу, фпгуриру-
Ющему в теореме 2.1. Как и в этой теореме, сроднее значение •——; 2
п +1 о
может быть заменено здесь на 1 2 и т. п. Для доказательства след-
следствия введем в рассмотрение случайную величину о, равномерно распре-
распределенную в интервале @,1) и независимую от процесса хп. Точнее говоря,
для построения такой величины <р присоединим к пространству Q иовое
пространство (как это описано в § 2 гл. II) так, чтобы для любого
борелевского множества А и любого измеримого множества Л иметь
при этом все случайные величины мы должны теперь рассматривать как
функции на расширенном пространство. В таком случае для каждого р

422 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
вероятностный процесс
оказывается стационарным в узком смысле, так что, согласно теореме 2.1,
п п
lim ^-j 2 х}е-гм^+м = е-2"** lim ~-j 2 z,e~2*iy|i
существует с вероятностью 1. Тем самым определена величина a;(fi); совер-
совершенно очевидно, что при сдвиге она будет переходить в я(р)е2?"н-. При
доказательстве теоремы 2.1 мы видели, что если Е{]а;0|5} < оз при некотором
3>1, то случайные величины
равномерно интегрируемы (для этого надо только наше доказательство
применить не к xjt а к \х}\). Следовательно, и случайные величины
T
О
равномерно интегрируемы, откуда вытекает, что
(так как из равномерной интегрируемости следует законность перехода
к пределу под знаком математического ожидания). Таким образом, е этом
случае будет иметь место сходимость в среднем порядка 8. В частности,
яри S= 1 мы находим, что средние B.14) равномерно интегрируемы и, значит,
п п
Е {х (ц)} = Шп Е [^ 2 Xje-***} = E fej^lim ^— 2 ^™* =
Е(ха), V = 0,
О, р=^0
(очевидно, что при fi = 0 наше значение математического ожидания можно
подучить и непосредственно из теоремы 2.1).
При Е {| ха |2} < оэ процесс хп является стационарным в широком смысле;
для этого случая равенство B.15) и взаимная ортогональность величин х(р.)
будут доказаны в § 6 иным методом. Для нашего случая равенство B.15)
уже доказано (действительно, мы доказали даже более общее предложение,
касающееся произвольной степени 8>1). Так как преобразование сдвига
сохраняет вероятности, то оно сохраняет п математические ожидания; поэтому
ПриЕ{К|2}<со
= Е
так что величины х(и.) взаимно ортогональны. Пусть [ij, jx2, ... —значения
для которых Р{а;(и.)., ш) = 0} <1. Тогда последовательность
\^;^)\"'}}, / = 1, 2, ...

8 2. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ 423
будет ортонормированнои последовательностью случайных величин; величину
х0 можно разложить в ряд Фурье по этой последовательности,
где
и (неравенство Бесселя)
Е{!*0|2}>Дкр. B.16)
Применяя теперь преобразование сдвига, получим, что
Е {хах (;а,)} = Е {ххх ([xj е2***} = Е {х2х fa) е4"^} = ...
Но тогда неравенство B.16) принимает вид
Поскольку |ife — произвольные числа, для которых Е {| х fa) |2} > 0, то может
существовать самое большее счетное множество таких значений ц, при
которых Р{ж(и., ш) = 0)<1. Это завершает доказательство нашего след-
следствия с тем только исключением, что утверждение о счетности рассматри-
рассматриваемого множества значений и в формулировке следствия приводилось без
предположения о том, что Efla;,,;2} < оэ. Д^ того чтобы избавиться от
этого ограничения, мы заметим, что если xf* (со) = xj (ш) при |2^(co)|<iV и
равно 0 в противоположном случае, то процесс xf\ (где N фиксировано)
также будет стационарным в узком смысле, причем для него E{^ij'V)|2} <оэ.
Определяя х(у) (а) для величин xf аналогично тому, как х определялось
для х}; мы найдем, что, за исключением счетного множества F(N) значений (i,
Pfi'^^jx, ш) = 0} = 1; предыдущий результат здесь применим, поскольку
-x^J ограничено. Но
п
Е II ~ У x.e-Wv-- —xf Je-2"w
[+1^ ' +1 '
)=0
1=0
Следовательно (в силу леммы Фату или равномерной интегрируемости),
при п —> со мы получаем
так что, если /*= П
№=1
7V = 1, 2, ...
Поскольку правая часть последнего неравенства стремится к нулю при
N—> со, то и левая часть должна быть нулем, что и завершает доказательство.

424 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Пусть Т — преобразование сдвига, соответствующее процессу хп, и пусть
г —случайная величина, измеримая относительно семейства величин хп
и такая, что E{|z]}<cx>. Тогда, согласно приведенному здесь следствию,
для всех р. существует с вероятностью 1 яредел
п
lim iTT 2 T'ze-*4* = z (,1). B.14')
Несколько обобщив наши рассуждения, можно показать, что имеется самое-
большее счетное множество G (не зависящее от выбора z) значений fi, такое, что
Полное нонимание разобранных выше результатов требует знания сяектраль-
ной теории увитарных операторов, с которой читатель может ознакомиться
по специальной литературе, посвященной этому предмету.
§ 3. Корреляционная функция стационарного вероятностного процесса;
примеры
В этом и последующих параграфах мы будем рассматривать стационар-
стационарные в широком смысле процессы {хп, — оэ < п < ее}, причем особое внима-
внимание будет уделено гармоническому анализу таких процессов. Перенос этих
результатов на случай, когда параметр принимает только значения п > О,
будет обычно очевидным.
Известно, что в исследованиях по гармоническому анализу удобнее
иметь дело с действительными функциями и рядами вида
За/2""*,
чем с действительными функциями и рядами вида
2 [ап cos 2
По этой причине мы будем сперва рассматривать комплексные процессы,
а результаты, относящиеся к действительным процессам, будем получать
затем как частные случаи.
Корреляционная функция, определяемая равенством
играет основную роль в теории стационарных в широком смысле процессов.
Следующая теорема описывает класс всевозможных корреляционных функций.
Теорема 3.1. Корреляционная функция является положительно опре-
определенной функцией, т. е.
Л(-п) = Л(п),
N
ЛГ=1, 2,
m, n=i
C.1)
Зля любой совокупности комплексных чисел а1( ..., aN. Обратно, каждая
функция R, удовлетворяющая условиям C.1), является корреляционной функ-
функцией некоторого стационарного (в широком смысле) вероятностного процесса,
который можно выбрать действительным, если функция R действительна.
В § 3 гл. II были найдены необходимые и достаточные условия того,
.чтобы функция r(s, t) была корреляционной функцией некоторого процесса,
т. е. чтобы выполнялось равенство г (s, t)-='E{xixl). В рассматриваемом
здесь случае эти условия превращаются в условия C.1). Следующая тео-
теорема описывает класс положительно определенных функций как некоторый
класс преобразований Фурье.

S 3. КОРРЕЛЯЦИОННАЯ ФУНКЦИЯ; ПРИМЕРЫ
425
Теорема 3.2. Функция R является положительно определенной тогда
и только тогда, когда она может быть представлена в виде
1/2
Л(п)= |j e^^xdF(\), C.2)
-V»
где функция F (определенная при | Х|< 1/2) является монотонно неубывающей.
Функция F однозначно определяется (при соответствующей нормировке) соот-
соотношениями
2
JV-юо
(я)
-2хгпА„
-JV
О
C.3)
Л — действительная функция, то C.2) можно заменить на
Чг
R(n)=\ cos 2r.nk dG (X), C.2')
о
где функция G (определенная при 0<Х<1/2) является монотонно неубываю-
неубывающей финкцией и однозначно определяется (при подходящей нормировке) соот-
соотношениями
0 < X < ± ,
G( 4- 1-
C.3')
Если функция Л (п) определяется равенством C.2), то Л ( — п) => Л (п) и
-1/2 «
Обозначая через Ьп коэффициент при R(n) в правой частп C.3), будем
иметь
'/г
где
О, X < Xj или X > Х2,
с тем исключением, что при Xj= —1/2, Х2 < 1/2 мы принимаем 6A/2)= 1/2V
яри Xj= — 1/2, Х2=1/2 мы принимаем 6(Х)=1 и при \ > — 1/2, Х2=1/2
мы принимаем 6(—1/2) = 1/2.

428 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Таким образом, Ьп есть ге-й коэффициент Фурье функции b (К). Ряд
Фурье функции b (X) сходится к самой этой функцпп, и частные суммы этого
ряда (где под iV-й частной суммой понимается У) являются равномерно
-N
ограниченными. Используя этот факт, мы находим, что
N 1/2 N VI
2 b«R (») = 5 2 winx dF w -
-JV -1/2 -JV
откуда и вытекает C.3).
Обратно, предположим теперь, что R— положительно определенная
функция. Тогда, полагая в C.1) am = e-2nimk, мы получаем
W+l JV
Это равенство представляет fnQ.) в виде суммы конечного ряда Фурье;
используя обычную формулу для коэффициентов такого ряда, имеем
1/2 "I
v. "l/S . C.4,
0= ^ e**l**dFN{\), \n\>N, FN(k)= ^ Ыр)Ф- I
-i/« -i/i ¦»
Заметим теперь, что Fjv — монотонная функция, обращающаяся в 0 при
J.= —1/2 и равная R@) при К= 1/2. Следовательно, согласно теореме
Хелли, существует сходящаяся подпоследовательность последовательности
{Fn}, т. е. существует последовательность значений N (скажем, Nlt Nt> ...),
дли которой Nj-^-co и Fpjf (}.)—¦ F (X) при вс^с X. Полагая iV-^-oo по этой
последовательности, мы видим, что из C.4) следует C.2). Тем самым мы
доказали нашу теорему для комплексного случая. Если нормировать F
условиями
причем скачок из точки к= —1/2 (если такой имеется) переносится в точку
Х= 1/2, то функция F будет однозначно определяться равенством C.3).
Предположим теперь, в частности, что R — действительная функция. В таком
случае R будет четной функцией, и, замечая, что прп замене в равенстве
C.2) F(\) на —F( — X) мы получим вместо R(п) величину R( — п) = R{n),
можно вывести из однозначности определения F (прп соответствующей
нормировке), что
Следовательно, если при люэом выбора F определить функцию G равенством
'~2[F(\)-F@ + 0)] + F(P + 0)-F@-0), 0<X<i-,
G (X) =
О, Х = 0,
то будет выполняться C.2'). Обратно, еслп задана функция G, для которой
выполняется C.2'), то всегда можно найти функцию F, для которой верно

S 3. КОРРЕЛЯЦИОННАЯ ФУНКЦИЯ; ПРИМЕРЫ 427
C.2); достаточно положить для этого
) — G@), X>0,
Х<0.
При этом C.3') будет следовать из C.3). Если функция G нормирована
условиями
G@) = 0, 4
то эта функция будет определяться равенством C.3') однозначно.
Если функция F абсолютно непрерывна, т. е. если она является не-
неопределенным интегралом от своей производной, то говорят, что процесс
имеет спектральную плотность, и функцию F' называют спектральной
плотностью процесса (в комплексной форме). Если процесс является действи-
действительным, то функция F будет абсолютно непрерывной тогда и только тогда,
когда этим же свойством обладает функция G; в этом случае G' = 2F' назы-
называется спектральной плотностью процесса (в действительной форме). Сама
функция F во всех случаях 'называется спектральной функцией (или спек-
спектральной функцией распределения) соответствующего процесса.
со
Если ряд ^\\R(n)\ сходится, то, очевидно, существует непрерывная
—со
спектральная плотность, задаваемая равенством
^"W=S^(n)r2"«; C.5)
—со
в действительном случае C.5) сводится к равенству
G'{\) = 2R @) + 4 f; R (n) cps 2r.nl. C.5')
Действительно, при наложенном только что ограничении на корреляцион-
корреляционную функцию ряды C.5) и C.5') могут быть почленно проинтегрированы,
после чего мы сразу получаем C.3) или C.3').
Спектр процесса состоит из тех чисел Хо, в окрестности которых функ-
функция F строго возрастает в том смысле, что для любого е > 0
F (X0 + e)
Иначе говоря, спектр состоит из тех частот, которые действительно входят
в спектральное разложение функции R, даваемое равенствами C.2) и C.3),
и, как мы увпднм ниже, в спектральное разложение выборочных функций
самого процесса. В частности, если спектр содержит только "конечное или
счетное множество значений X, то F является ступенчатой функцией, причем
скачки ее совпадают с точками спектра.
Пример 1. Предположим, что случайные величины ... , хп, хх, ...
взаимно ортогональны п Е {| хп \") = о2 для всех п. Такой процесс хп стацио-
стационарен в широком смысле и для него
О, пфО,
n-0,
т. е. все частоты здесь одинаково существенны.

428 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Пример 2. Пусть процесс хп —марковский в широком смысле и ста-
стационарный в широком смысле. Тогда (см. § 8 гл. V)
R{n)=a"R@),
Если | а I = 1, то
E {| xn - anx0 |2} = R @) - anR (n) - an R (n) + R @) = 0,
так что с вероятностью 1
х = а,пх /i = 0 Ч- 1
я, наоборот, любая последовательность случайных величин, удовлетворяю-
удовлетворяющих этим соотношениям, очевидно, образует марковский (в широком смысле)
и стационарный (в широком смысле) вероятностный процесс. Если |а|<1,
то, вообще говоря, сразу не очевидно, что соответствующая функция R
будет положительно определенной. Предположив на мгновение, что это так,
мы получим в силу C.5), что соответствующая спектральная плотность равна
ш -1 _
F' W = [2 Л-2™ + 2 (a)-ne-2*H R @) =
0 —со
1-1 а Is
1 + | а |2 — 2| а | C3S2ic (^—9)
Полученная функция от X, очевидно, неотрицательна и интегрируема, т. е.
действительно является спектральной плотностью некоторого процесса.
Соответствующая корреляционная функция R определяется из C.2); ясно,
что она будет совпадать с исходной функцией R, что и доказывает закон-
законность сделанного выше предположения. Другой метод доказательства состоит
в явном построении процесса, обладающего требуемыми свойствами. Напри-
Например, если . ..,i_i, ?0, ...—ортонормированная последовательность случай-
случайных величин и хп определяется равенством
то процесс хп, как легко убедиться, оказывается марковским и стационар-
стационарным (и то, и другое в широком смысле), и для него
), n>0.
Пример 3. Пусть ?1; ... , ?к — взаимно ортогональные случайные
величины с
и Х1; ... , Xk — действительные числа. Положим
к
Тогда математическое ожидание
не зависит от т, так что процесс хп будет стационарен в широком смысле.
Поскольку к каждому из Х;- можно прибавить произвольное целое число,
не меняя величин хп, то без ограничения общности можно считать, что
—1/2 <Х. <1/2; помимо того, можно предполагать, что все Ху различны.
При этих предположениях спектральная функция F процесса хп будет сту-
ступенчатой функцией с разрывами в точках ).1( ... , ).й (т. е. спектр будет
состоять только из этих к точек), причем скачок функции F в точке Xf

§ 3. КОРРЕЛЯЦИОННАЯ ФУНКЦИЯ; ПРИМЕРЫ 429
будет равен ъ). Действительный процесс, соответствующий рассмотренному
комплексному процессу, может быть определен следующим образом. Пусть
«j, ... , uk, vv ... , vh — взаимно ортогональные действительные случайные
величины с
и Vn ,.. , )ц — действительные числа. Определим случайные величины хп
при помощи соотношения
h
жп=2 (
Тогда
Е К,Л) = 2 о* cos 2«Л, = Л (п)
не зависит от т, так что процесс хп стационарен в широком смысле. Как
и в комплексном случае, можно предположить, что
1 < X <-¦
помимо того, мы можем теперь еще более ограничить значения \jt заменив
все отрицательные Ху на j \} | и изменив для компенсации одновременно
знаки при соответствующих Vj. Таким образом, не ограничивая общности,
можно считать, что
и что все Ху различны. При этих предположениях функция G будет ступен-
ступенчатой функцией, возрастающей на величины а) в точках ^(/ = 1, ... , к);
иными словами, спектр процесса (в действительной форме) будет состоять
из к точек (соответствующая комплексная форма спектра будет содержать
или 2к, пли 2к— 1 точек; если Х;. > 0, то функция F будет иметь скачок,
равный 0^/2 в точках ± Х;., а если \f = 0, то в этой точке она будет иметь
скачок, равный о*). Ясно, что комплексный вариант примера 3 сводится
к действительному при соответствующем выборе чисел Х;. и случайных
величин %j.
В частном случае, когда случайные величины ut и Vj распределены по
нормальному закону и
Е{И)} = Е{^] = 0,
процесс хп будет стационарным в узком смысле.
Ниже будет показано, что любой стационарный (в широком смысле)
вероятностный процесс или совпадает е процессом примера 3, или же может
быть сколь угодно точно аппроксимирован подобным процессом. Отсюда
понятно, что гармонический анализ стационарных вроцессов должен играть
весьма существенную роль при их изучении.
Пример 4. Пусть ? — произвольная действительная случайная вели-
величина, такая, что — 1/2<?<:1/2, и а — некоторая постоянная. Определим
случайные величины хп при помощи соотношения
хп ~ ae2*in5.
Тогда
:}= \ e^^dF(\) = Я (п),
-V»

430 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
где F/\a\2 — функция распределения величины I. Процесс хп стационарен
в широком смысле, я его спектральной функцией (в комплексной форме)
является функция F. Этот пример показывает, что существуют стационар-
стационарные (в широком смысле) процессы, имеющие произвольную наперед задан-
заданную спектральную функцию. Заметим, что все выборочные функция про-
процесса в этом случае являются периодическими (точнее говоря, они становятся
периодическими, если продолжить область значений параметра п на всю
совокупность действительных чисел), в то время как в примере 3 это
не так, если только к > 1 (за исключением некоторых весьма специаль-
специальных случаев). Отсюда ясно, что спектральная функция процесса не опре-
определяет еще спектрального разложения индивидуальных выборочных функций
процесса (хотя, конечно, она может определять его в некотором осредненном
смысле).
Действительный пример, аналогичный нашему примеру 4, строится
следующим образом. Пусть у и 2 — действительные взаимно независимые
случайные величины, такие, что 0 < у <; 1/2, и z распределено равномерно
в интервале от —1/2 до 1/2; пусть, далее, а — действительная постоянная.
Определим хп соотношением
хп — q cos 2- (пу + г).
Тогда
1/2
шу) = \>os 2~nldG$) = R (п),
где 2G/a2 — функция распределения величины у. Процесс хп оказывается
стационарным в широком смысле и имеет своей спектральной функцией
(в действительной форме) функцию G.
В этом последнем примере выборочные функции являются элементар-
элементарными тригонометрическими функциями; «случайность» процесса заключается
только в возможности разными способами выбирать значения частоты (у)
и фазы (z), полностью определяющие выборочную функцию. В общем слу-
случае случайной является вся выборочная последовательность, т. е. значения
... , ?_!, ха, xlt ... можно выбирать многими способами в соответствии с их
индивидуальными и совместными распределениямп вероятностей. С первого;
взгляда может показаться, что степень «случайности» в примере 4 меньше,,
чем в общем случае, поскольку здесь выбор значений только двух случай-
случайных величин у (ш) и г(ш) полностью определяет всю выборочную последо-
последовательность хп; на самом деле, однако, это впечатление ошибочно. Действи-
Действительно, в наиболее общем случае задание выборочной последовательности хп
равносильно заданию значения некоторой одной случайной величины, по-
поскольку бесконечномерное пространство можно отобразить на одномерное
таким образом, чтобы все случайные величины х} стали функциями от одной
случайной величины х; при этом выбор значения величины х будет авто-
автоматически определять значения всех х}. Это обстоятельство стоит обсудить
более подробно, поскольку, оно часто приводит к недоразумениям. С нашей
общей точки зрения вероятности выборочных последовательностей являются
вероятностями в некотором пространстве 2 точек ш, так что выбор одной
индивидуальной последовательностп означает выбор определенной точки
в пространстве 2; тот факт, что после того, как все величины ...,х_](ш),
х0 (ш) уже выбраны в соответствии с отвечающими им распределениямп
вероятностей, величина х1 (ш) может оказаться, а может и не оказаться
однозначно определенной функцией от выбранпых ранее значений, ниче-
ничего здесь не меняет. В этом отношении поучятелен следующий пример.
Пусть пространство Q совпадает с интервалом [0,1] на действительной
оси, а вероятностная мера есть мера Лебега на этом интервале. Рас-

i 3. КОРРЕЛЯЦИОННАЯ ФУНКЦИЯ; ПРИМЕРЫ 43t
смотрим в качестве х координату точки этого интервала. Мы можем тогда
записать
где в правой части стоит десятичное разложение числа ш. Если теперь
положить
то хп будут однозначными функциями от х (если пренебречь некоторыми
рациональными значениями ш, имеющими в совокупности вероятность 0).
При этом величины хп будут взаимно независимыми случайными величинами,
для которых
Таким образом, выбор значений величин а;1(ш), хъ (<и), ... с одной точки
зрения эквивалентен осуществлению бесконечного числа выборов (например,
при помощи бесконечного числа бросаний десятигранной костп); с другой
точки зрения все х, (ш) однозначно- определяются выбором значения един-
единственной случайной величины х.
Пример 5. Пусть случайные величины хп определяются равенством
хк = С е2"™ dy (X),
где у (X) — процесс с ортогональными приращениями, у которого
Тогда (см. § 2 гл. IX)
_ 1/г
Е {хтЫхт}) = [ е2™"* dF (X) = R (п),
т. е. это математическое ожидание не зависит от т, так что процесс хп
стационарен в широком смысле и имеет корреляционную функцию R
и спектральную функцию F. В § 4 будет показано, что каждый стационар-
стационарный (в широком смысле) ироцесс может быть представлен в такой форме,
и что в действительном случае это представление может быть переписано
также*'в виде
V»
хп = \ cos 2«nX du (X) + sin 2it«X dv (X),
о
где в (X) и v (X) — действительные процессы с ортогональными приращениями,
такие, что
Е {du. (X) dv ((!)} = 0.
Здесь G — спектральная функция процесса (в действительной форме),
а последнее равенство является символической записью того обстоятельства,
что каждое пз приращений процесса и(Х) ортогонально каждому пз при-
приращений процесса V(X). Рассмотренный выше пример 3 является частным
случаем этого последнего примера, отвечающим ступенчатой фувкции F
(т. е. случаю, когда спектр процесса состоит из конечного числа точек).

432 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Представление хп, рассмотренное в последнем примере, называется спек-
спектральным представлением процесса (соответственно в комплексной или
в действительной форме).
§ 4. Спектральное представление стационарного процесса
В следующей теореме, так же как и в некоторых дальнейших теоремах
о спектральном представлении стационарных процессов, множество значений
параметра все время будет предполагаться множеством всех целых чисел,
а не, скажем, множеством положительных целых чисел. Обобщения, каса-
касающиеся этого последнего случая, мы опустим, так как они завели бы нас
слишком далеко в сторону. Отметим только, что в последнем случае рас-
рассматриваемые нпже теоремы, вообще говоря, требуют некоторых изменений,
однако в общих чертах Характер выборочных последовательностей и здесь
остается тем же самым.
Теорема 4.1. Каждый стационарный (в широком смысле) вероят-
вероятностный процесс [хп, — со < п < со-} допускает спектральное представление
1/2
хп= \ eM*dy(\), D:1)
-Vi
где процесс у (К) имеет ортогональные приращения и
При этом для процесса у(\) с ортогональными приращениями, удовлетво-
удовлетворяющего равенству D.1), выполняются соотношения
—0)
2*„' S :
i D-2)
»(т)-'(-?)—
в при соответствующей нормировке функции yQ.) эти соотношения одно-
однозначно определяют у (К) с точностью до значений на ш-множестве нулевой
вероятности.
Если процесс хп действителен, то равенство D.1) можно переписать
в виде
хп = \ cos 2imX du (k) + sin 2r.n\ do (X),
о
где и().) и V (к) — действительные процессы с ортогональными приращениями,
йля которых
, \>0,
\>0,
При этом йля процессов а(Х) и v{\) с ортогональными приращениями, удо-

§ 4. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
433
влетворяющих последним соотношениям и равенству D.1'), выполняются
равенства
i1
)j-t,(?.._O) у(\л+О) + у(\1 — 0)
~2 = 2 =
D 2')
причем эти равенства определяют функции иA) и У (а) однозначно (с точ-
точностью Зо значений на ш-множестве вероятности 0), если только норми-
нормировать и (л) и v(k) соответствуюгцим сбразом.
Мы уже видели (см. § 3, пример 5), что любой процесс хп, определяе-
определяемый равенством D.1) или D.1') с функциями у (и) или и(л), V(X), удовлетво-
удовлетворяющими указанным в формулировке теоремы условиям, является стационар-
стационарным в широком смысле процессом. Заметим еще, что если E{dy(X)} = 0, то
и Е{жп}=0 для всех п [в силу D.2) верно и обратное], и что процесс хп
оказывается гауссовским тогда и только тогда, когда гауссовским является
процесс у (к) -у@). Аналогичные замечания можно сделать и в отношении
действительной формы спектрального представления.
Доказательство теоремы 4.1 отчасти является вероятностным аналогом
доказательства теоремы 3.2 из § 3; мы будем здесь пользоваться теми же
обозначениями, что и в этом последнем докавательстве. Поскольку ряд
Фурье функпип Ь(\) сходится к 6(Х) и частные суммы этого ряда ограни-
ограничены, то он будет сходиться также и в среднем с любой весовой функцией
относительно X. Следовательно, если случайные величины хп определевы
равенством D.1) то
JV 1/2 JV
-1/2
JV-co
-JV
/а
-1/2
откуда и вытекает D.2). В последнем равевстве символ l.i.m.[ ] под зна-
знаком интеграла означает предел в среднем с весовой функцией <1Р(к),
а законность перехода к пределу в среднем под знаком интеграла была
доказана в § 2 гл. IX.
Пусть теперь ^ — произвольный процесс, стационарный в широком
смысле. Нетрудно доказать, что предел в среднем в равенстве D.2) суще-
существует, так что это ресенство определяет некоторый процесс !/(>>). Этот
процесс у (/.) л будет тем процессом, который фигурирует в спектральном
представлении D.1). Непосредстпеиное доказательство этого факта должно
было бы заключаться в подстановке D.2) в D.1) и последующем преобря-

434 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
зовании правой части полученвого равенства, приводящем к величине хп;
однако такой подход требует сравнительно громоздких преобразований (осо-
(особенно в случае, когда спектральная функция процесса хп разрывна в точ-
1 \
ках ± -j ) , и поэтому мы здесь воспользуемся другим методом, принад-
принадлежащим Крамеру и применимым также и в ряде других задач. Пусть
2й0 — линейное многообразие всевозможных линейных комбинаций вели-
величин Xj. Определим скалярное произведение двух случайных величин х и у,
как Е{ху\, и расстояние между этими величинами, как
Пусть ЗК — замыкание 3JJ0 относительно введенного расстояния. Далее, пусть
Ш'о~ линейное многообразие линейных комбинаций функций e2l"ni,
[1 1 
~ Т ' У ' Определим скалярное произ-
произведение двух функций Фиф, заданных на этом интервале, и расстояние
между нами соответственно как
Ча
-Us
4 г
-4*
где F — спектральная функция процесса хп. Пусть 2Л' — замыкание много-
многообразия 2JJo относительно этого расстояния. Тогда 2JJ' будет совпадать
с классом функций Ф, определенных на интервале ~"Т' ~1 \ ' измеРимых
относительно меры dF (к) и таких, что
-1/,
Будем считать две случайные величины идентичными, если они совпадают
с вероятностью 1, и две функции на —2~' Т идентичными, если они
равны почти всюду по мере dFQ.). Предположим еще, что*7 функция F не-
непрерывна справа, что, разумеется, не является ограничением. Сейчас мы
определим взаимно однозначное соответствие между элементами многообра-
многообразий 2J} и ЗК', которое сохраняет скалярное произведение, а следовательно,
сохраняет и расстояние. Для этого мы сопоставим функции е2 ""*• случай-
случайную величину хп и, вообще, конечной сумме 2. bne2r-inX величину 2 Ь„хп.
П п
Так как
VI- 1 _ V 1 Г)}(т п) =
п т, п
Чг
то это соответствие, определенное пока только на 50}о п yj}'0, является взаимно
однозначным и сохраняет скалярное произведение и расстояние. По не-
непрерывности мы можем распространить это соответствие п на 3JJ и ЯЛ'-
Пусть теперь у (к) — случайная величина, соответствующая функции, рав-
равной 1 на интервале I —g-, X и 0 вне этого интервала. Мы покажем,

§ 4. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ 435
что процесс jy(X), — y<^<y\ как Раз и дает представление D.1) про-
процесса хп. Тот факт, что скалярное произведение сохраняется при введен-
введенном выше соответствии, доказывает, что процесс yQ) будет процессом
с ортогональными приращениями; тот факт, что при этом соответствии
сохраняется расстояние, показывает, что Е {| dy (X) f] = dF (к). Очевидно,
при любом а случайная величина ?/(>.) принадлежит многообразию Щ. Сле-
Следовательно, и любая линейная комбинация величин г/(Х) лежит в 2J}; более
того, согласно определению стохастического интеграла (см. § 2 гл. IX),
1/,
^ ф(х)сг?/(х)езл, если
Покажем, что этот стохастический интеграл является элементом $01, соот-
соответствующим подинтетральной функции Ф в ЗК'. В самом деле, по опре-
определению функции у {\) это утверждение будет справедливо, если Ф — харак-
характеристическая функция интервала —^-, X . Так как класс функций Ф,
для которых справедливо наше утверждение, образует замкнутое линейное
многообразие, содержащее эти характеристические функции, то в силу
элементарного предложения теории приближения функций он будет содер-
содержать также и функцию e2nirU, где « — произвольное, т. е. будет совпадать
со всем многообразием 3ft'• Наконец, согласно определению соответствия
между 50} и 2)}', величине хп соответствует функция e2-llU, что и завершает
доказательство существования спектрального представления DЛ).
Если процесс у (>.) удовлетворяет условиям
) = 2/(Х, <о)} = 1, <X<
(это соответствует требованию, чтобы спектральная функция обращалась
в 0 при Х= —к- и была непрерывна справа j, то у(Х) будет определяться
формулой D.2) однозначно с точностью до значений на множестве вероят-
вероятности 0. Если эти условия не выполняются, то процесс у(\) можно
заменить новым процессом ^(Х), таким, что
j Q. ¦ Х=Ч>
Уг('-)={ 2/(Х + 0)-2/(-| + 0), _1<х<1,
I х Х- J •
при этом yxQ.~) будет уже процессом, удовлетворяющим нашим условиям
и одновременно удовлетворяющим соотношению D.1). Заметим еще, что
в силу произвола, содержащегося в определении стохастического пвтеграла,
точное равенство в соотношении D.1) будет иметь место только для одного
специального выбора интеграла в правой части; при всех остальных спо-
способах выбора мы будем иметь лишь равенство с вероятностью 1.
Если процесс хп является действительным, то, комбинируя D.1) с усло-
условием хп = хп, получаем, что (независимо от нормировки процесса у(Х)}
+ О,ш)-2/(Х1-О, ш) = 2/(-Х1+0, ш)-2/(-Х2-О, ш)}=1,
2 ^ М \ *2 ^ ¦) *
откуда легко выводится соотношение D.1'). Обратная формула D.2') по-

43fi ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
лучается после этого с помощью рассмотрения отдельно действительной
и мнимой частей в формуле D.2). Заметим, что в D.1') под интегральная
функция, стоящая при cfo(X), обращается в нуль в точках 0 и 1/2, так
что если даже эти точки являются фиксированными точками разрыва для
процесса v(k), соответствующие разрывы ничего не добавляют к величине
стохастического интеграла D.1'). Если процессы и(Х) и v(\) удовлетворяют
условиям
Р{и@, ш) = у@, ш) = 0} = 1,
) = и(Х, ю), v у
то они определяются однозначно (с точностью до значений на множестве
вероятности 0) равенствами D.2'); в противном случае нормировка, даваемая
этими условиями, всегда может быть достигнута с помошыо тривиальных
преобразований, аналогичных переходу от у (к) к у1(\) в комплексном
случае.
Если спектр процесса хп состоит только из конечного числа точек,
например F является ступенчатой функцией со скачками величины
а\, ..., о| в точках Xj, ..., >,fe, то наше спектральное представление сво-
сводится к представлению, рассмотренному в примере 3 § 3,
1/2 h
-i/a
где
Процессами, рассмотренными в примере 3, можно в некотором смысле
сколь угодно точно аппроксимировать любой стационарный в широком
смысле процесс хп. Именно, интеграл
является при любом п пределом в среднем соответствующей суммы Ри-
мана — Стильтьеса
при max (X;»i — )-•)—*¦(), а каждая такая сумма образует процесс того же
типа, что и в примере 3 [с у1 = у(Х/+1) — у(''^)].
В большинстве практических приложений Е {хп} не зависит от п. Если,
в частности, Е{жп}=0 при всех п, то, как мы видели, и Е {&/().)} = 0,
так что процесс у (/.) имеет не только ортогональные, но одновременно
и некоррелированные приращения. В более общем случае, когда Е (хп) = т.
не зависит от п, процесс со значениями ...,хд — т, xl — m, ... также
будет стационарным в широком смысле; при этом часто оказывается удобным
вместо спектрального представления самого хп пользоваться спектральным
представлением процесса хп — т. Процессы ух (л) и у (к), отвечающие этим
двум случаям, разумеется, весьма мало отличаются друг от друга; мы имеем
хп= ^ e^^dy^X), xn-m= \ e
-f/a -1/2

§ 5. СПЕКТРАЛЬНЫЕ РАЗЛОЖЕНИЯ 437
где у (к) отличается от j/i(X) лишь скачком величины т в точке Х = 0,
У( >~\ УЛЦ + гп, Х>0.
§ 5. Спектральные разложения
Пусть [хп, — со < п < со} — стационарный в широком смысле процесс,
и Ах, ..., Av — попарно непересекающиеся подмножества интервала
I —y > ~2 \ > ДаЮ1Цне в сумме весь этот интервал. Предиоложпм, что все
эти множества измеримы относительно меры dF. Тогда мы можем пред-
ставпть процесс хп в виде суммы v взаимно ортогональных стационарных
в широком смысле процессов, спектральные распределения которых сосре-
сосредоточены на множествах Аг, ..., А^. Это делается следующим образом: если
спектральное представление хп имеет вид
Чг
Хп « ^ «аил dy (X), Е {| dy (Ц 1"-} = dF (X),
-1/2
ТО ПОЛОЖИМ.
ХО) = ^ е2"^ Ф) (X) dy (X), /=1,2...,
-1/2
где ФДХ) равно 1 на множестве А; и 0 вне этого множества. Каждый
процесс х<^> стационарен в широком смысле и имеет спектральную функ-
функцию, задаваемую равенством
Ясно, что соответствующее 'распределение F^' целиком сосредоточено на
множестве Ау Далее,
-V*
Описанный здесь метод применим также и в случае, когда имеется счет-
счетное число непересекающихся множеств Аг Заметим, что если Е {хп} = О
при лсех п, то и E{xW}=0 при всех п и /, так как в этом случае
E{dy(\)} = 0.
Описанное здесь разложение может быть осуществлено при помощи
линейных операций над величинами Ху Для доказательства этого факта
надо показать, что при фиксированном / можно так выбрать коэффициенты
Л'
a N, ..., aN, что сумма У акх h будет сколь угодно близка кж№ в смысле
среднего квадратичного. Поскольку
JV 1/2 N
то в силу § 2 гл. IX достаточно доказать, что прн соответствующем выборе
л
коэффициентов ak сумма J ake2 xih^ будет сколь угодно близка к функции
k=-N

433 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
ФДХ) в смысле среднего квадратичного с весом dF(l),
V» N
Это, очевидно, верно, если мвожоство Aj является интервалом, концы кото-
которого не входят в число точек ра.чрыва функции F, так как в этом случае
частные суммы ряда Фурье функции Ф; ограничены и сходятся к этой
функции всюду, за исключением концов интервала Ajy а эти концы имеют
нулевую меру dF. Класс функций Ф, измеримых относительно меры dF
в таких, что
Vi
\ |Ф().)|2^(Х)<оо,
-1/2
содержит подкласс функций, допускающих сколь угодно точную аппрокси-
аппроксимацию в среднем квадратичном с весом dF (/.) при псмощи тригонометри-
тригонометрических сумм. Этот подкласс, очевидно, является замкнутым линейным
многообразием; креме того, мы только что показали, что он содержит
характеристические функпии всех интерпалов, концы которых не являются
точками разрыва функции F. Следовательно, рассматриваемый подкласс
совпадает со всем кла.хом и включает, в частности, характеристические
функции всех измеримых множеств Ajt что и требовалось доказать.
Один частный случай рассмотренного в настоящем параграфе разложе-
разложения представляется особенно важным. Пусть F — заданная спектральная
функция. Тогда мы можем представить F в виде
где Fx — ступенчатая функция, возрастающая только в точках разрыва
функции F на величину соответствующего скачка, ^—абсолютно непре-
непрерывная компонента функции F, т. е.
а последнее слагаемое F3 является непрерывной и монотонно неубывающей
функцией, называемой сивгулярвой компонентой функции F. Распределе-
Распределение Fx сосредоточено в точках разрыва функции F\ распределение /'2 со-
сосредоточено на множестве точек, в которых существует конечная произ-
производная F', и, наконец, распределение F3 сосредоточено на оставшемся мно-
множестве меры 0 тех точек, в которых фзнкция F вепрерывыа, но произ-
производная F' или не существует, или равна -f-cc. Это разложение функции F
порождает соответствующее разложение процесса хл на три взаимно орто-
ортогональных процесса. Первый из них сводится к простой сумме: если
).,, ).2, ... — точки разрыва функпии F (которая предполагается непрерыв-
непрерывной справа), то случайные величины yQ-j) — у()^ — 0) образуют ортогональ-
ортогональное множество величин и
>
в силу теоремы Фишера — Рисса этот ряд сходится в среднем. Ясно, что
этот процесс является лишь небольшим обобщенном процесса, рассмотрен-
рассмотренного в примере 3 § 3.
В гл. XII мы увидим, что прп решении задачи о наилучшем (в смысле
метода наимевыппх квадратов) линейном прогнозировании приходится
выделять из процесса хп процесс х'п'.

§ 6, ЗАКОН БОЛЬШИХ ЧИСЕЛ 439
§ 6. Закон больших чисел для стационарных в широком смысле
процессов
Пусть {хп, п>0}~ стационарный в широком смысле процесс. Мы по-
покажем, что существует предел
в этом и будет состоять закон больших чисел для рассматриваемых про-
процессов. Перед тем, как прсЕести полнее доказательство, мы наметим один
метод косвенного доказательства, пенный с педагогической (и только пе-
дагогическей) точки зрения. Согласно § 3 гл. 11, существует гауссовскиц
процесс хп (не обязательно определенный на том же пространстве 2), для
которого
Е {хтхп} = Е {жтж„}, т, п > О,
Этот пропесс хп стационарен в узком смысле и, следогательно, для него
справедлив усплеввый закон болыппх чисел (теорема 2.1), т. е. для него
¦предел
,11^
существует с вероятностью 1. Пользуясь тем, что рассматриваемые слу-
случайные величины являются гауссовскими, легко проверить,. что величцвы
п
4-1 ]S xi не МОГУТ сходиться при п—*¦ оо, если только они не сходятся
о
также и в среднем. Но тогда l.i.m. в F.1) будет также существовать,
так как процессы хп и хп имеют одну и ту же корреляционную функцию,
а сходимость в F.1) зависит только от поведения этой функции. Вряд ли
с какой-либо точки зрения это доказательство можно считать наилучшим,
однако оно удобно тем, что наглядно иллюстрирует связь рассматриваемой
теоремы с усиленным законом больших чисел для стационарных в узком
смысле процессов и показывает тесную связь между теоремами, касающи-
касающимися понятий в узком и в широком смыслах вообще.
Ъеорома 6.1. Пусть {хп, - со < п < ее} — стационарный в широком
смысле процесс, имеющий спектральное представление
Тогда
n
. ,,@-0), F.3)
п
Е A2,@)-у @-0)|8} = /¦(())-/• @-0)= lim —Ltt ^ R(j). F.4)
п-т--со "¦ ""' —
m
Случайная величина у(О)~у(О — О) инвариантна (в широком смысле) отно-
относительно преобразования сдвига и является проекцией величины х0 на замк-

4W ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
нутое линейное многообразие 50}о инвариантных (в широком смысле) случай-
случайных величин,
Заметим, что рассматриваемый предел будет равен 0, если, например,
НтД(га) = 0. Ясно, что, за исключением того обстоятельства, что в равен-
П-+ОТ
стве F.3) допускается большая свобода в осреднении, чем в равенстве B.1'),
теорема 6.1 является точным аналогом теоремы 2.1. Для случая, когда
в теореме 2.1 величины хп взаимно независимы и, соответственно, в теореме 6.1
эти же величины взаимно ортогональны, совершенно параллельные друг
другу доказательства этих двух теорем были даны в § 6 гл. VII и § 7
гл. IV.
Соотношение F.3) доказывается очень просто, так как фигурирующие
в нем средние' значения могут быть непосредственно подсчитаны:
-1/8
1/2
-V»
и аналогично
в/л
Подинтегральная функция в правых частях последних равенств не превос-
превосходит по модулю единицы и при п —> оо сходится к / (X), где
l Х = 0.
Так как сходящиеся к /(X) функции равностепенно ограничены, то эта
сходимость является также сходимостью в среднем с весом dF (X). Следо-
Следовательно (ср. § 2 гл. IX),
ill^ + )
~* /=m -1/2
Аналогично
п 1/2
что и завершает доказательство равенств F.3) и F.4).
Следующее предложение является аналогом следствия к теореме 2.1.
Следствие. Если —:>• < [» <-g-• mo
п
гари этом
п

§ 6. ЗАКОН БОЛЬШИХ ЧИСЕЛ 441
Для доказательства этого следствия надо только применить теорему 6.1
к процессу
{xne-2*in*, — оо < п < от}.
Этот процесс является стационарным в широком смысле и имеет корреля-
корреляционную функцию Л (п) e-2lunH- и спектральную функцию /"(Х + ц) (где
аргумент берется по модулю 1).
Теорема 6.1 и ее следствие в той части, которая касается существо-
существования указанных пределов, прилояшмы также к стационарным в широком
смысле процессам, областью значений параметра которых является множество
неотрицательных целых чисел; действительно, для доказательства суще-
существования пределов в обоих случаях нужны лишь формальные преобразо-
преобразования корреляционных функций. Заметим еше, что пределы, существование
которых утверждается в следствии, во всех случаях будут ортогональныма
ври различных и.; действительно, эта ортогональность также может быть
доказана с помощью простых вычислений, использующих только значения
корреляционной функции. Однако в случае, когда параметр принимает
лишь неотрицательные значения, приходится отказаться от выражения
величины этих пределов через значения вероятностного процесса у(Ц-
Теорема 6.1 и следствие из нее показывают, как с помощью линейных опе-
операций можно найти разрывы функции F и соответствующую компоненту процес-
процесса ^„(процесс х'п' в терминологии § 5). На практике, конечно, не существует
метода, позволяющего, исходя из выборочной последовательности процесса
(точнее, из конечного отрезка такой последовательности), получить что-нибудь
большее, чем смутное указание на то, что некоторое частное значение \,
вероятно, является точкой разрыва F. Существенно подчеркнуть еще, что если
положить в рассматриваемом следствии п = 0, то оно даст нам выражения
для скачков в терминах прошлого поведения процесса, т. е. в терминах
величин хт с m < 0. Предположим, например, что распределение, задавае-
задаваемое спектральной функцией процесса хп, сосредоточено в конечном или
счетном числе точек X (так что в обозначениях § 5 процессы х'п' и х^'
отсутствуют). Тогда, согласно теореме 6.1 и ее следствию, процесс у(Х)
[который представляет собой здесь просто сумму скачков у (ц) — у (;i — 0)J
полностью определяется значениями хп при п < 0. Из спектрального пред-
представления хп сладует, что тогда и сами величины хп при всех п однозначно
определяются значениями хп при п < 0, причем определяются линейно,
т. е. что каждая из величин хп с п > 0 может быть сколь угодно точно
(в среднем квадратичном) приближена линейной комбинацией величин хп
с п <. 0. Тот факт, что это неверно в общем случае, проще всего вытекает
из замечания, что это не так, например, в случае взаимно ортогональных
величин хп (подробнее эти вопросы будут рассматриваться в гл. XII).
Отсюда понятно, что процесс у (/.), вообще говоря, не может быть выражен
N
как линейная комбинация величин хп с п < 0, так что сумма ^ в равен-
N 0
стве D.2) никак не может быть заменена с\'ммой Т или У" .
0 -iV
Теорема 6.2. Если — — < fi <С -г- в условиях теоремы 6.1 и если суще-
существуют положительные числа К и г такие, что перечисленные низке
равные друг другу выражения удовлетворяют неравенству
ж/-

442
ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Ll]
»/a
sin*jc (n + 1)(Х—ц)
Jim
лго с вероятностью 1
Равенство приведенных в теореме выражений проверяется непосред-
непосредственно, н доказательство его может быть опущено. Заметим, что для
любого процесса эти выражения ограничены (величавой Д@)); основные
предположения теоремы состоят, во-первых, в том, что эти выражения
стремятся к 0 при и—» со (откуда вытекает, что предел в среднем, фигу-
фигурирующий в предыдущем следствии, равен 0), п, во-вторых, в том, что
со
они приближаются к 0 не медленнее, чем функция К/п*. Если 2 I R(n)\ < °°>
о
то условие теоремы будет удовлетворено для всех (i прп а— 1; оно будет
также удовлетворено для всех р., если I R (п)! < const./и. В частности, ясно,
что условие теоремы будет выполняться для всех и при а-—1, если только
величины Xj взаимно ортогональны. Для этого частного случая наша
теорема уже была доказана выше (теорема 5.2 гл. IV).
Для доказательства теоремы в случае р. = 0 выберем J3 столь большим,
что Ра > 1. Тогда при ?
так что если е>0 и пт — наименьшее целое число, большее или равное
т}, то
Следовательно (в силу леммы Бореля— Кантеллп), для всех достаточно
больших т с вероятностью 1
О
ц так как е произвольно, то с вероятностью 1
lira -——г У ж, = О.
F.5)
Далее,
«„ ,-'
!'2 1*1 ГЬ

I 7. ОЦЕНКА ФУНКЦИИ 443
для соответственным образом выбранного Кх. Те же рассуждения, что
и выше, показывают теперь, что с вероятностью 1
п пт
и так как второй из множителей 1/(п-\-1) в F.6) может быть заменен
на 1/(ит+1) (поскольку отношение этих множителей стремится к 1 при
л—> со), то из соотношений F.5) и F.6) вытекает утверждение теоремы
для A = 0. Обшпй случай легко сводится к только что разобранному
с помощью того же приема, который был использован при доказательстве
следствия из теоремы 6.1.
§ 7. Оценка функций В(у) и FQ.) по выборочной последовательности
Естественно предположить, что в качестве оценки для Л{ч) можно
взять среднее значение
а
{ у я , аГ. G.1)
Следующая теорема оправдывает это предположение (по крайней мере
для случая больших п). В настоящем параграфе v всюду будет предпола-
предполагаться фиксированным и будет принято обозначение
Теорема 7.1. Предположим, что процессы хп и Хп оба стационарны
•в широком смысле, т. е. что
Е{,хп*}<со, E{|a;v+nsni2}<co, л = 0, ± 1, ....
а что математические ожидания
Е {.rn+m xn}, E {zv+n+m х„+тХч+„ тп]
не зависят от п для всех т = 0, ± 1, .... Тогда существует предел
Этот предел в среднем равен с вероятностью 1 величине R (ч) тогда
и только тогда, когда
п
lira * 2 Е f^W.) =¦¦ IR С),«. G-3)
Если для некоторых положительных К и а выполняется неравенство
п
1 у, (i |/М Ye [х-+ч~х,ХуГа) \Л{ч)\2<К , G.4)
>=-п
п=1, 2, ...,
то с вероятностью 1
п
? a;v+j"x;- = i?(v). G.2')

444 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Если процесс хп стационарен не только в широком, но и в узком
смысле, то предел G.2) при т=0 существует также и как предел
с вероятностью 1. Поеледнее, в частности, будет верно, если процесс
хп— действительный и гауссовский, с Е{жп}=0 при всех п; в этом,
случае равенство G.2') выполняется с вероятностью 1 для всех v тогда
и только тогда, когда
п
= 0. G.5>
Условие G.5) равносильно условию, чтобы спектральная функция процесса хл
не имела разрывов.
Согласно этой теореме, оценка G.1) величины -ff(v), имеющая во всех
случаях правильное математическое ожидание R (v) (т. е. всегда являю-
являющаяся «несмещенной» оценкой), будет «состоятельной» в обычном смысле-
математической статистики (т. е. будет асимптотически равной Я(ч)), только
если выполняются" некоторые специальные ограничения, налагаемые-
на процесс хп. Главное в этих ограничениях то, что они уменьшают влия-
влияние прошлого процесса хп на его будущее.
Для доказательства теоремы отметим, прежде всего, что согласно ее-
условиям, математическое ожидание
не зависит от я. Следовательно, вероятностный процесс, образуемый слу-
случайными величинами {Х„ —Я(м)}, является стационарным в широком смысле
и имеет нулевые математические ожидания. Но в таком случае в силу
теоремы 6.1 существует предел
При этом, согласно той же теореме [см. равенство F.4)], этот предел
будет с вероятностью 1 равен 0 тогда я только тогда, когда предел средних
арифметических от значений корреляционной функции процесса Хп— ¦ft(v)-
при безграничном увеличения янтервала осреднения будет равен 0. Но это
и есть условяе G.3). Применяя, далее, к процессу Хп — i?(v) теорему 6.2,
получям, что условие G.4) является достаточным для выполнения соотно-
соотношения G.2'). Если процесс хп стационарен в узком смысле, то таким же-
будет и процесс Хп; следовательно, так как Е {|Х„|}<Е {| жо|2}, то в этом
случае процесс Хп будет удовлетворять усяленному закону больших чисел.
Это означает, что предел в G.2') будет существовать с вероятностью 1.
Этот предел может быть, вообще говоря, как равен, так и неравен /?(v);
в частностя, если процесс хп метрически транзитивен, то, согласно'
теореме 2.1, этот предел будет заведомо равен Я(-). В частном случае,
когда процесс жя действительный и гауссовский, этот процесс будет стацио-
стационарным в узком смысле, если только Е {хп} = 0 прп всех п и процесс хп
стационарен в широком смысле. Если эти условия выполняются, то равен-
равенство G-2') будет верно тогда и только тогда, когда верно G.3), причем
в рассматриваемом теперь случае математические ожидания, используе-
используемые в G.3), легко могут быть подсчитаны, и G.3) превращается в условие-
Если это условие выполняется при v = 0, то выполняется и усло-
условие G.5). Ясно также, что если верно G.5), то верно и G.6): действи-

I 7. ОЦЕНКА ФУНКЦИИ 445
тельно, в силу неравенства Шварца
j=0
Так как все наши рассуждения полностью симметричны относительно л,
то среднее значение в G.2') можно также заменить на . ^ • Заклю-
j—-n
чптельное утверждение теоремы 7.1 вытекает из следующей тесргмы:
Теорема 7.2. Если {R (п)) — произвольная корреляционная последо-
последовательность, т. е. произвольная положительно определенная последова-
последовательность, так что
V»
Я(л)= \ e^int-dF{\), G.7)
-1/2
п
Iim ^Ь S 1ВД2 = 2 ^(Кч 0)-F(».-0I». G.8)
Доказательство этой теоремы крайне просто. Действительно,
2 j
j=0
При л—>oo подинтегральная функция в правой части последнего равенства,
¦оставаясь ограниченной, сходится к функции /(>>, (i), равной 0 всюду, с тем
исключением, что /(К, Х)=1 . Повторяя уже использованные однажды рас-
рассуждения, получаем
\
= \
Здесь сумма в правой части, разумеется, содержит не более счетного
числа слагаемых, так как F {\ 4-0) — F (>. — 0) > 0 самое большее длл счет-
счетного множества значений к.
Перейдем теперь к рассмотрению проблемы оценки спектральной функ-
функции стационарного процесса по выборочной последовательности. Один из
путей получения такой оценки состоит в использовании оценок для некоторых
значений корреляционной функции, наиденных нами выше. Следующая
теорема показывает, что кроме этого косвенного пути, имеется п более пря-
мой путь.

446 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Теорема 7.3. Предположим, что процесс хп стационарен в широком
смысле и что для каждого ч с вероятностью 1
п
b #(-<)- G.9)
Тогда для любых рг и ji2, являющихся точками непрерывности спектральной
функции F, с вероятностью 1
lim
i=o
G.10)
Сходимость к пределу в G.10) на любом замкнутом интервале непрерыв-
непрерывности функции F с вероятностью 1 является равномерной. Если предел
в G.9) существует только как предел в среднем (или даже только как
предел по вероятности), то предельное равенство G.10) будет верно в смысле
сходимости по вероятности.
Для доказательства теоремы определим функцию Фп равенством
х
-1/2
Тогда при | v ] < п
\
-V» 1=0
Следовательно, в силу условия G.9) с вероятностью 1
1/2
lim \
/2
lim \
^
J=0 — 1/»
Таким образом, коэффициенты Фурье — Стильтьеса функции Фп сходятся
к коэффициентам Фурье — Стильтьеса функции F. Отсюда вытекает (в силу
теоремы Леви о сходимости монотонных функций, определенных на замк-
замкнутом ограниченном интервале), что во всех точках непрерывности функ-
функции F для почти всех выборочных последовательностей имеет место схо-
сходимость Фп—*¦ F-\- const. Это доказывает первую часть теоремы. Если пре-
предел в G.9) понимать только как предел по вероятности, то и соотношение
G.10) может быть получено в смысле сходимости по вероятности при по-
мошя перехода к сходящимся подпоследовательностям.
Заметим еще, что неверно было бы заключить из соотношения G.10),
что величина
;=0
может быть использована для аппроксимации спектральной плотности F' (X).
Действительно, в качестве противоречащего примзра рассмотрим случай,
когда все ж;. действительны, распределены по нормальному закону и вза-
взаимно независимы, причем Е {а:;.} =0 п Е {х)} = 1. В этом случае
(«) = 0, п Ф 0,

I 8. АБСОЛЮТНО НЕПРЕРЫВНЫЕ СПЕКТРАЛЬНЫЕ ФУНКЦИИ 447
Но «приближение» Фп@) здесь является' квадратом действительной гаус-
совской случайной величины со средним значением 0 и дисперсией 1;
ясно, что эта величина никак не может приближаться к /"@) = 1 при
п—*со. Аналогичные соображения могут быть приведены н для других
значений X. Другим, несколько более изящным, противоречащим примером
является следующий: пусть ж;. взаимно независимые комплексные случай-
вые величины с нулевым средним значением и с взаимно независимыми
действительными и мнимыми частями, имеющими математическое ожида-
ожидание 0 и дисперсию 1/2 (так что Е{|ж;. |2} = 1). Тогда величины
также будут обладать всеми перечисленными свойствами, так что
Фп(^) будет здесь квадратом модуля комплексной гауссовской случайной
величины с нулевым средним значением, имеющей взаимно независимые
действительную и мнимую части, дисперсии которых равны 1/2. Ясно, что
здесь Фп(а) не может сходиться при п—> со к F' (X) = 1 нп прп каком X.
§ 8. Абсолютно непрерывные спектральные функции п
скользящее суммирование
Если F — абсолютно непрерывная функция, то спектральное пред-
представление
У2
J Е <| А, р.) р] =с№(>0. (8-1)
/,
можно несколько видоизменить, придав ему более удобную форму. В этом
случае для произвольной беровской функции /, удовлетворяющей условию
существует процесс у(к) с ортогональными приращениями такси, что
V»
jj 5 = «u. (8.2)
Действительно, если /"(X) нигде не обращается в 0, то соотношение (8.2)
будет верно при
Если F' ().) может обращаться в 0, то доказательство существования пред-
представления (8.2) становится лишь немного более сложным. Пусть
\ Ух М> —у-<>,<-у 1-— вероятностный процесс с ортогональными прираще-
приращениями, удовлетворяющий соотношениям
, р.) )'}=<#,
Е {[у Ы -У Оч)] l2/i Ы-Vi (>-.)]} = 0 (h, Pi-любые).
Для получения такого процесса г/iCO. быть могкот, потребуется расширить
пространство точек w при помощи присоединения так, как это было
объяснено в § 2 гл. II. Если теперь Ф(Х) = 1 при тех /., для которых
F'(l) = 0, и Ф(/.) = 0 в остальных точках, то процесс у{1), удовлетворяющпй

448 ГЛ.,Х. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
условию (8.2), можно определить равенством
X X
у(\)= \ ——- dy (X) + \ Ф (X) dy1 (X)
о о
[прп /(Х) = 0 в этом равенстве считается, что 1//(Х) = О]. В тех случаях,
когда Е {хп} = 0 для всех п, процесс у (X) можно выбрать так, чтобы выпол-
выполнялось равенство Е{йу(Х)} = 0.
В качестве приложения рассмотренного здесь спектрального представ-
представления исследуем процессы, волучаемые с помощью скользящего суммиро-
суммирования, т. е. процессы, определяемые рядами вида
;=-оо
где ..., ?о»^х» • • • — взаимно ортогональные случайные величины с
так что $п образуют ортонормнрованную псследовательность. Мы будем
СО
предполагать, что ^j ^nl2^00' 0ТС1°Да вытекает, что ряд в (8.3) схо-
дится в среднем (теорема Фишера — Рисса). Очевидно, здесь
E{WJ= V с 7; = Л(/г).
;=_оо
Так как левая часть этого соотношения не зависит от т, то процесс хп
является стационарным в широком смысле. Если процесс &п стационарен
в узком смысле (например, еслп величины ?п взаимно независимы и оди-
одинаково распределены), то процесс хп также будет стационарным в узком
смысле. Мы сейчас докажем, что стационарный в широком смысле процесс
является процессом, получаемым с помощью скользящего суммирования, тогда
и только тогда, когда его спектральная функция абсолютно непрерывна.
Действительно, если хп — процесс, получаемый с помощью скользящего
суммирования (8.3), то определим функцию с(Х) соотношением
где ряд сходится в среднем. Используя теперь равенство Парсеваля, полу-
получаем, что
00 1/3 '/2
так что спектральная функция процесса хп абсолютно непрерывна, причем
Обратно, если F — абсолютно непрорывная спектральная функттия
некоторого процесса хп, то, используя спектральное представление (8.2)
и подставляя в него разложение в ряд Фурье функции /:

9. ЛИНЕЙНЫЕ ОПЕРАЦИИ 449
(ряд справа обязательно сходится в среднем), находим, что
i/a со оо
—1/2
где
/
Таким образом, мы получили представление (8.3) для процесса хп; орто-
нормированность соответствующих величин ?„ проверяется непосредственно.
Представляет интерес получить явное выражение для процесса у(Х),
входящего в формулу (8.1), в случае процесса хп, задаваемого равенством,
(8.3). Это делается очень просто; в результате получается, что
со ^з
у (К) - у ih)« 2 ( $ с W е~™"х А) *"
-со X,
где функция с (К) была определена выше.
§ 9. Линейные операции над стационарными процессами
Пусть {хп, — со < п < со} — стационарный в широком смысле процесс,
имеющий спектральное представление
Хп=\ e****Ady(k), E{|dy(X)|»}~«iF(X). (9.1)
Под линейной операцией над процессом in мы понимаем преобразование,
переводящее хп в хп, где хп является либо конечной суммой вида
*«=ScjXn+JI
либо пределом в среднем последовательности таких сумм. Процесс хп при
этом также будет стационарным в широком смысле. Поскольку
V»
2 с**, = ] е ****¦ ( 2 e^w.) dy (X)
и поскольку сходимости в среднем для стохастических интегралов отвечает
сходимость в среднем [с весом dF(X)] подинтегральных функций, то ясно,
что наиболее общий процесс хп интересующего нас тппа дается формулой
™, (9.2)
-1/, -'1/2
где с (к) — измеримая относительно меры F функция. Корреляциовная
функция процесса хп определяется равенством
V'
—1/2
так что соответствующая спектральная функция равна
-V»

450 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Иными словами, при переходе от хп к хп спектральные интенсивности
отдельных спектральных компонент умножаются на |e().)j2.
Процессы, получаемые с помощью скользящего суммирования, которые
были рассмотрены в § 8, являются частным случаем процессов хп; они
получаются с помощью линейных операций над процессом хп с взаимно
ортогональными значениями.
В качестве примера приложения линейной операции рассмотрим резуль-
результат сглаживания временного ряда при помощи скользящего суммирования.
Для определенности предположим, что сглаживание достигается осредне-
осреднением трех последовательных значений процесса:
^n = -j(Xn-l + Xn + Xn^).
Тогда с(X) =-g-(e-27tix + 1 +е2т"х), так что спектральные интенсивности
здесь умножаются на множитель
Это означает, что частоты вблизи к = -~- становятся относительно менее
о
важными. Вообще, любое такое осреднение, примененное для сглаживания
опытных данных, приводит к искажению спектрального строения процесса.
§ 10. Рациональные (относительно e2itU) спектральные плотности
В настоящем параграфе мы рассмотрим стационарные в широком
смысле процессы с абсолютно непрерывными спектральными функциями,
у которых спектральные плотности ?' (>.) ^fe 0 являются рациональными
функциями от eiKil,
П (е2«**-и>;-)
F' (к) = с'е2*ьх *?.* ( с'ф0г w-,zj Ф 0,
П (e^-z'i)
1=1
где ни одно из w} не совпадает ни с одним из z^. Это выражение для F'
может быть упрощено следующим образом. Прежде всего ясно, что ни одно
из z'j не равно по модулю единице, так как F" — интегрируемая функция;
что касается w), то любое w) с |м»;'| = 1 должно входить в выражение для
F' (к) четное число раз (ибо F'>0). Далее, в силу действительности функ-
функции F' (\),
П (e^-w'}) П (е-2*а-^>
П (i/ш;—e2xU)i;-
П (l/г;—eiMX)z'i
Следовательно, любому w) соответствует некоторое Доь = 1/ш} и любому г/
соответствует z^ = 1 /г}. Так как при С -^ 0, как нетрудно видеть,

I 10. РАЦИОНАЛЬНЫЕ СПЕКТРАЛЬНЫЕ ПЛОТНОСТИ
451
то F'(k), которое, будучи неотрицательным, равно абсолютной величине
любого из трех написанных выше равных между собой выражений, можно
представить в виде
F'(X) = с
П
П
с>0,
0<\z,\<l.
В последнем выражении ws — это те из корней w), фигурировавших в перво-
первоначальной формуле, которые по модулю меньше единицы, а также поло-
половина тех из w'j, которые равны по модулю единице; что касается zjt то они
точно совпадают с теми из Zy, которые по модулю меньше единицы. Иначе
говоря, мы можем представить F' (>.) окончательно в виде
F'(\) =
А0В0АаВ? ф О,
A0.1)
где все корни многочлена 2 Bjz' по модулю меньше единицы, а все корни
а
2 AjZ1 по модулю не превосходят единицы, причем оба эти многочлена
не имеют общих корней.
В частном случае, когда процесс хп действительный, функция F' (К)
является четной. Отсюда вытекает, что в этом случае каждому корню а»;.
соответствует корень wh=wjt и каждому корню zf— корень zh=zr Сле-
Следовательно, совокупность чисел Zj и w; разбивается на пары комплексно
сопряженных чисел, и коэффициенты -4; и и. или являются действитель-
действительными, или же могут быть сделаны деиствителвными при помощи умно-
умножения многочленов в числителе и в знаменателе A0.1) на соответствующие
постоянные (на |Л0|/Л0 и \В0\/В0).
Согласно результатам § 8, спектральное представление стационарных
в широком смысле процессов рассматриваемого здесь типа может бытв
записано в виде
dy(\),
A0.2)
где "у (к) — вероятностный процесс с ортогональными приращениями. Кор-
Корреляционная функция нашего процесса равна
2
R(n)= \ e2ititU
-1/2
d\.
Так как последний интеграл можно переписать в виде
A0.3)
(") = 2^7 5 гП+?-°-'
1*1=1
¦dz,
A0.3')

452 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
то R(n) совпадает с га-м коэффициентом разложения рациональной функ*
ции от 2 в ряд Лорана по степеням z в некотором кольце, содержащем
окружность |z| = l. Отсюда следует, что значения R(n) при |п|—-*со
убывают по показательному закону (так как рассматриваемый ряд Л орана
сходится в указанном кольце). Точное значение R(n) легко может быть
получено с помощью теории вычетов. Действительно, предположим, как и
Р
выше, что все корни многочлена 2 ^,z' по модулю меньше 1. В таком
случае, если все эти корни различны (например, равны zu ..., z$), то тео-
теория вычетов дает для Я (л) выражение вида
n{n) = 2cjZ?, n>0.
Р _
(Заметим, что все корни многочлена 2j B,z^~j обязательно превосходят
о _
по модулю единицу: они равны l/zIf ..., 1/z?.) Если процесс действитель-
действительный, то каждому корню, Zp не являющемуся действительным, соответ-
соответствует корень zk такой, что zk = zt и ск=с^. Если некоторые из корней z,
являются кратными, то коэффициенты с;. будут многочленами относительно п.
Полученное 'выражение для Rin) показывает,, что эта функция удовлет-
удовлетворяет линейному разностному уравнению с постоянными коэффициентами;
действительно,
k( + ) ^ dz =
*=0 f1
0, n + P-a-l>0, A0.4)
А0Л./Ц,
так как дробь, стоящая под знаком интеграла, не имеет полюсов при
z|<l и принимает значение АаА1/В^ при z = 0. Определим теперь слу-
случайные величины ?п+р равенством
Д^»./=«»+». (Ю.5)
Тогда
V,
О
Используя соотношение A0.4) и это выражение для Е»-|-р, мы получаем, что
0, п — т>а + 1,
~.m m (Ю.6)
AjB ята
0, \п-т\>а+1,
АаАа, \п — т\—а.
Случай 1. Р = 0, Бо = 1. В атом случае

i 10. РАЦИОНАЛЬНЫЕ СПЕКТРАЛЬНЫЕ ПЛОТНОСТИ
453
1/, <
-i/j о
>=о
где
так что Cft образуют ортонормированную последовательность. Таким обра-
образом, в этом случае процесс хп является процессом, получаемым при помощи
скользящего суммирования (см. § 8), где суммирование распространяется
на а+1 последовательных членов. Заметим, что R(n) = Q прп !и|>а.
Обратно, если выпслвяется последнее условие относительно R, то в силу C.5)
функция F будет абсолютно непрерывной, а соответствующая спектральная
плотность будет равна квадрату модуля многочлена от е2ли, степень
которого не превосходит а.
Теорема 10.1. Если стационарный в широком смысле процесс хп
удовлетворяет разностному уравнению A0.5), где коэффициенты Во, ..., В$
произвольны, за исключением того, что В0В$ Ф 0 и многочлен 2 В}т?
не имеет корней, по модулю равных единице, и где случайные величины in
удовлетворяют первому, из соотношений A0.7) и Е {| \п |2} > 0, то спектраль-
спектральная функция процесса хп абсолютно непрерывна и ее производная задается
равенством A0.1) при некоторых Ао, ...,Лт. При этом конечные полюса
дроби 2 ^,Z
о о
единицы, когда справедливо первое из соотношений A0.6).
Если условия теоремы выполнены, то процесс 1п является стацио-
стационарным в широком смысле процессом того типа, который рассматривался
в случае 1. В то же время если процесс хп имеет спектральвую функцию F
и удовлетворяет ссотнсшению A0.5), то спектральной функцией процесса,
стоящего в левей части A0.5), согласно результатам § 9, является функция
.z1 тогда и только тогда будут все по модулю меньше
Приравнивая два получаемых таким образом выражения для спектральной
плотности процесса in, мы будем иметь
р х *
)= \
С
-1/,
-1/,
Следовательно, функция F абсолютно непрерывна и ее производная F'
задается формулой A0.1). Если нули многочлена 2 5,z' все по модулю
о
меньше единицы, то, как мы уже доказали, соотношение .A0.6) будет
выполняться. То же самое доказательство показывает, что оба равен-
равенства A0.6) выполняются, если все конечные полюса дроби, фигурирующей
в условии теоремы, по модулю меньше 1. Обратно, если первое из ра-
равенств A0.6) верно, то
dz,
I ii=i
- о

454 ГЛ. X. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ПАРАМЕТРОМ
Следовательно, разложение в ряд Лорана на окружности | z ] = 1 дроби,
стоящей в квадратных скобках под знаком интеграла, не содержит сте-
степеней z, больших чем а — C, т. е. содержит только конечное число поло-
положительных степеней z. Отсюда вытекает, что это отношение не имеет
конечных полюсов при |zj> 1, что я требовалось доказать.
Теорема 10.2. Если стационарный в широком смысле процесс хп
имеет абсолютно непрерывную спектральную функцию со спектральной
э
плотностью A0.1) и если корни многочлена ? fi;z' все по модулю меньше
единицы, то корреляционная функция R удовлетворяет разностному урав-
уравнению
0, га> -З+а + 1,
1 ^ A0.4')
0 Р + а '
Обратно, если корреляционная функция стационарного в широком смысле
процесса удовлетворяет этому разностному уравнению (с заменой числа
AaA*jB$ во второй строке правой части произвольным числом) при неко-
некоторых значениях постоянных Во, ..., fij таких, что BQB^ Ф 0, и некото-
некотором целом а>0, то величины ?п+п, определенные равенством A0.5), удо-
удовлетворяют первым из равенств A0.6) и A0.7) и условиям
Прямое утверждение этой теоремы нами уже было доказано. Проверка
обратного утверждения является тривиальной. Заметим, что процесс хп,
фигурирующий в этом обратном утверждении, может быть полностью
охарактеризован при помощи теоремы 10.1.
В предыдущих теоремах мы не рассматривали случай, когда разно-
разностное уравнение A0.5) удовлетворяется при ?„ = 0. 'Этот случай факти-
фактически и не относится к рассматриваемым здесь процессам, поскольку ему
отвечает спектр процесса хп, состоящий из конечного числа точек, т. е.
ступенчатая спектральная функция.
Случай 2. а = 0, -Ао = 1. В атом случае определенная выше последова-
последовательность ?п в силу соотношения A0.7) является ортонормированной после-
последовательностью. Если E{tnxm}=0 при п>т, т. е. если все корни много-
члена 2. B}z1 по модулю меньше 1 (см. теорему 10-1), то сумма, стоящая
в левой части равенства A0.5) ортогональна ко всем случайным величинам
..., zn+p-2, Sn+p-i. Следовательно, здесь случайная величина
-В,
является проекцией величины гп+а на замкнутое лпнеиное многообразие слу-
случайных величин, порожденное всеми предыдущими Ху В частности, если Р = 1,
то процесс является марковским в широком смысле. Таким образом, случай 2
включает все те процессы, для которых проекция любого хп на его прошлое
содержит только конечный отрезок этого прошлого и не совпадает с самим хп
(последняя оговорка нужна для того, чтобы исключить случай Еп = 0).
Эта проекция является наилучшим (с точки зрения метода наименьших
квадратов) линейным прогнозом величины хп в терминах его прошлого;
ошибка прогноза при этом равна 1„/В^, а средний квадрат этой ошибки
равен

§ 10. РАЦИОНАЛЬНЫЕ СПЕКТРАЛЬНЫЕ ПЛОТНОСТИ 455
В частном случае, когда процесс хп действительный и гауссовскпй и когда
E{sn}=0 для всех я, процесс хп является также стационарным в узком
смысле, а рассмотренные проекции превращаются в условные математические
ожидания; если р=1, то процесс является марковским, а если р > 1 —то
сложным C-связным) марковским процессом.
В заключение заметим еще, что если а = 0 в условиях теоремы 10.1,
т. е. если а = 0 в A0.7), то, как показывает доказательство теоремы, пред-
положение о том, что многочлен ^ В л' не имеет корней, равных по не»
дулю 1, становится излишним.

Глава XI
СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
§ 1. Общие свойства; метрическая транзитивность
а) Процессы, стационарные в узком смысле. Будем исходить из обыч-
обычного основного предположения: существует вероятностная мера Р{-}, опре-
определенная на борелевском поле ш-множеств, т. е. топочных множеств неко-
некоторого пространства Q. Семейств* преобразований {Т(, —со< ?< оо} (соот-
(соответственно {Tj, 0-<?<оэ}), переводяших точки пространства S в точки
этого же пространства, мы будем называть трансляционной группой (соот-
(соответственно полугруппой) сохраняющих меру взаимно однозначных точечных
преобразований, если каждое преобразование Т; является взаимно однознач-
однозначным сохраняющим меру точечным преобразованием в смысле § 1 гл. X,
и если
TS.( = TST( A.1)
при всех значениях sat. Отсюда, в частности, следует, что преобразо-
преобразование То является тождественным преобразованием. В случае, когда пре-
преобразования Т, составляют группу, преобразование Т_, является обратным
к Т(, и семейство преобразований [Т_(, — со < t < со] также является
трансляционной группой сохраняющих меру взаимно однозначных точечвых
преобразований.
Если х — случайная величина и {Т(, —оо < t < со}— трансляционная
группа взаимно однозначных сохраняющих меру точечных преобразований,.
то вероятностный процесс
стационарен в узком смысле. Аналогичный результат справедлив и в случае
полугруппы.
Семейство {Т(, — оо<?<оо} (соответственно {Т(, 0<t<co}) сохра-
сохраняющих меру преобразований множеств мы будем называть трансляцион-
трансляционной группой (соответственно полугруппой) сохраняющих меру преобразований
множеств, если для этого семейства равенство A.1) справедливо с точ-
точностью до множеств вероятности 0, т. е. если для каждого измеримого-
ш-множества А при произвольном выборе образа Т5Т,Л последнее множе-
множество является одним из возможных образов множества А при преобразо-
нии Т,+(. Преобразование Т„ здесь является тождественным преобразованием
в том смысле, что любой образ измеримого множества А при этом пре-
преобразовании будет отличаться от А не более чем на множество вероят-
вероятности 0. Если преобразования Т( составляют группу, то Т_< является пре-
преобразованием, обратным кТ,, и семейство преобразований {Т_(, — с» < t < со}
также образует трансляционную группу сохравяющих меру преобразований
множеств.
Если х — случайная величина и {Т,, — с» < t < оо} — трансляционная
группа сохраняющих меру преобразований множеств, то вероятностный
процесс
{Ttx, - оо < / < оо}
стационарен в узком смысле при любом выборе значений Ttx для каждого-
t. Аналогичный результат верен и в случае полугруппы.

t l. ОБЩИВ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 457
Каждая трансляционная группа (соответственно полугруппа) сохраня-
сохраняющих меру взаимно однозначных точечных преобразований очевидным обра-
образом порождает трансляционную группу (полугруппу) сохраняющих меру
преобразований множеств (ср. обсуждение аналогичного вопроса § 1 гл. X),
но не все трансляционные группы сохраняющих меру преобразований мно-
множеств могут быть получены таким путем.
В дальнейшем мы будем пользоваться «двумерной» мерой в простран-
пространстве точек (t, ш), понимая под ней прямое произведение обычной меры
Лебега по г и данной вероятностной меры по <в.
Пусть {Т(, — оо <г < оо} — трансляционная группа сохраняющих меру
взаимно однозначных точечных преобразований и А — измеримое ш-множе-
ство. Рассмотрим множество всех пар (t, ш), где <i>6T,A или, что одно
и то же, Т-,™^ Л. Если это (t, <о)-множество при любом Л измеримо отно-
относительно нашей двумерной меры, то и рассматриваемую трансляционную
группу мы будем называть измеримой. Таким же образом определяется
понятие измеримой полугруппы. Если х—случайная величина, то функция
oil Ев
(Т>) («)-*(!»
будет измеримой относительно совокупности аргументов t, ш, если измерима
соответствующая трансляционная группа или полугруппа Т,. Очевидно,
группа {Т,, — оо < t < с») измерима тогда и только тогда, когда измерима
обратная группа {Т_<, — со < t < со}.
В качестве примера измеримой группы преобразований рассмотрим слу-
случай, когда Q совпадает с одномерным интервалом @, 1], вероятностная мера
есть обычная мера Лебега, а преобразование Т( является параллельным
переносом на расстояние t (по модулю 1). Точка ш однозначно определяется
числом е2*'1». Для доказательства измеримости рассматриваемой трансля-
трансляционной группы нам нужно показать, что если А—измеримое по Лебегу
множество точек единичной окружности С комплексной плоскости, то мно-
множество пар (г, ш), удовлетворяющих условию
также измеримо по Лебегу. В случае, когда А является борелевским мно-
множеством ва С, этот результат очевиден в силу непрерывности показатель-
показательной функции. Если теперь А — любое измеримое по Лебегу множество на С,
то его можно представить в виде суммы борелевского множества Aj и не-
некоторого множества А2 нулевой лебеговой меры. Поэтому достаточно пока-
показать, что (t, <о)-множество, определяемое условием
шеримб и имеет двумерную лебегову меру, равную 0. Но поскольку
егда существует борелевское множество А3 нулевой лебеговой меры
¦^.кое, что A2CZA3, то достаточно показать, что множество пар (t, <в), для
которых
имеет нулевую двумерную лебегову меру [измеримость этого (t, «^-множе-
«^-множества уже была нами доказана]. Так как сечение рассматриваемого мно-
множества, задаваемое фиксированием значения t, получается из А3 при помощи
вращения окружности С и, следовательно, имеет нулевую лебегову меру,
то в силу теоремы Фубини и все наше (I, ш)-множество имеет нулевую
меру, что и требовалось доказать.
Пусть {Т,, — со < t < а } — трансляционная группа сохраняющих меру
преобразований множеств и А — измеримое ш-мнсжество. Выберем для каж-
каждого t некоторой образ ТгА множества А при преобразовании Т, и рас-

458 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
смотрим множество всех пар (t, <в), для которых и>6 Т<Л. Если для каждого Л
образы {Т,Л, — со < t < со} можно выбрать так, чтобы указанное
{t, <в)-множество было измеримым относительно двумерной меры, то трансля-
трансляционная группа называется измеримой. Аналогично определяется измеримость
и в случае трансляционной полугруппы. Если трансляционная группа
(соответственно полугруппа) сохраняющих меру точечных преобразований
измерима, то порожденная ею группа (полугруппа) сохраняющих меру преоб-
преобразований множеств также измерима. Очевидно, группа {Т(, — со < t < со}
сохраняющих меру преобразований множеств измерима тогда и только
тогда, когда измерима обратная группа {T_j, —со <<< со}. Если х — слу-
случайная величина, то функция (Ttx)(w) будет измерима относительно дву-
двумерной меры, если группа (или, соответственно, полугруппа) преобразова-
преобразований Т, измерима и если Т,х при каждом t выбраны подходящим образом.
Мы видели, что трансляционная группа (или полугруппа) сохраняющих
меру точечных преобразований или преобразований множеств вместе со слу-
случайной величиной определяет стационарный в узком смысле вероятностный
процесс. Обратно (точно так же, как и в случае дискретного параметра,
рассмотренном в § 1 гл. X), если {х,, — со < t < со} или {х„ 0<? < со} —
стационарный в узком смысле вероятностный процесс, то существует транс-
трансляционная группа или полугруппа сохраняющих меру преобразований
множеств, которая вместе со случайной величиной х0 порождает этот про-
процесс. Далее, так же как и в случае дискретного параметра, можно доказать,
что если пространство 2, на котором задан процесс xh является простран-
пространством функций и xt есть t-я координатная переменная этого пространства,
то преобразования группы или полугруппы становятся точечными преобра-
преобразованиями, и что при помощи перехода к пространству функций всегда
возможно избежать рассмотрения преобразований множеств (заменив их
точечными преобразованиями) и рассмотрения полугрупп (заменив
их группами).
Если {Т(, — оо<г<со} (соответственно {Т(, 0< t < со}) — измеримая
трансляционная группа (соответственно полугруппа) взаимно однозначных
•сохраняющих меру точечных преобразований и х — случайная величина,
то процесс xt, определенный равенством
является измеримым, так как, как мы уже отмечали, функция я, (ш) изме-
измерима в этом случае относительно двумерной меры (t, ш). Однако, если рас-
рассматриваемая группа (полугруппа) является группой (полугруппой) преоб-
преобразований множеств, то процесс xt, определяемый равенством xt = Ttx,
может как быть, так и не быть измеримым, в зависимости от выбора зна-
значений Ttx. На языке § 2 гл. II получаемый таким образом процесс xt может
не быть измеримым, но всегда имеет измеримую стандартную модификацию,
т. е. для него всегда существует измеримый процесс х, такой, что при всех t
Измеримое ш-множество называется инвариантным относительно трансля-
трансляционной группы или полугруппы сохраняющих меру точечных преобразований
или преобразований множеств, если это множество отличается от своих образов
при преобразованиях Т( самое большое на множество, которое, будучи, быть
может, зависимым от t, при любом t имеет вероятность 0. Очевидно, инвариант-
инвариантные множества образуют борелевское поле множеств. Случайная величина х
называется инвариантной относительно трансляционной группы или полу-
полугруппы Т(, если х = Т,х с вероятностью 1 при любом L В случае группы
преобразований инвариантные измеримые ш-множества и инвариантные слу-
случайные величины являются одновременно инвариантными и относительно

5 i. ОБЩИЕ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 459
обратной группы {Т_,, — co<i<oo}. Трансляционная группа или полу-
полугруппа сохраняющих меру точечных преобразований или преобразований
множеств называется метрически транзитивной, если единственными инва-
инвариантными множествами относительно этой группы являются множества
вероятности 0 или 1 (эти множества, очевидно, всегда инвариантны), т. е.
если единственными инвариантными случайными величинами являются
величины, с вероятностью 1 равные постоянной (эти величины всегда инва-
инвариантны).
Мы видели, что каждому стационарному в узком смысле процессу
соответствует однозначно определенная трансляционная группа или полу-
полугруппа сохраняющих меру преобразований множеств. Эта преобразования
множеств определены на борелевс'ом поле множеств, задаваемых усло-
условиями, наложенными на случайные ь :?.ч, образующие процесс. Рас-
Рассматриваемые преобразования называются сдвигами, а соответствующая
группа или полугруппа — группой или полугруппой сдвигов. Множества
и случайные величины, инвариантные относительно группы или полугруппы
сдвигов, называются инвариантными множествами и инвариантными слу-
случайными величинами процесса; процесс называется метрически транзитив-
транзитивным, если его группа или полугруппа сдвигов метрически транзятивна.
Процесс является метрически транзитивным тогда и только тогда, когда
метрически транзитивен соответствующий процесс в координатном простран-
пространстве, для которого преобразования сдвига обращаются в точечные преобра-
преобразования. (Здесь предполагается, что мера в координатном пространстве —
это колмогоровская мера, задаваемая мерами конечномерных множеств
без каких бы то ни было расширений.) Если {Т,, — с» < t < со} или
{Т,, 0 ¦< t < с»} — метрически транзитивная трансляционная группа или
полугруппа и х— случайная величина, то вероятностный процесс xt, зада-
задаваемый равенством х,=Т,х, является метрически транзитивным. Если
{xt, — со < i < со}—стационарный в узком смысле процесс, то процессы
{s_(, — со < t < со} и {xt, 0<t < 00} также стационарны в узком смысле.
Эти три процесса имеют одни и те же инвариантные множества и инва-
инвариантные случайные величины и поэтому могут быть метрически транзи-
транзитивными только все три одновременно (см. соответствующий вывод для
случая дискретного параметра в § 1 гл. X). Если первый или второй из рас-
рассматриваемых трех процессов измерим, то измеримы и остальные два;
но если известно только, что измерим третий процесс, то относительно
первого и второго процессов можно лишь утверждать, что они имеют
измеримые стандартные модификации.
Пусть {xt, — со < t < 00} — вероятностный процесс и &d — борелевское
поле ш-множеств, порожденное множествами вида
{Xt(m)-xs(m)$G},
где G — открытые множества; иначе говоря, Jfd есть наименьшее борелев-
борелевское поле, относительно которого измеримы все приращения («разности»)
процесса х,. Множества из поля &й мы будем называть разностными мно-
множествами, а само поле &й — разностным полем. Иногда удобно бывает
называть процесс х{ стационарным в узком смысле относительно разност-
разностного поля, если при любых *!<...<{„ многомерное распределение вероят-
вероятностей для случайных величин
Xt — X, , . . ., Xt — Xt
'a 'i' п n-i
не меняется при сдвигах по оси t- В частности, каждый стационарный
в узком смысле процесс является одновременно и стационарным в узком
смысле относительно разностного поля. Примером процесса, стационарного
в узком смысле относительно разностного поля, но не являющегося ста-
стационарным в узком смысле в обычном понимании этого слова, является

460 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОДВССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
процесс брауновского движения. Повторяя те же рассуждения, что и в слу-
случае обычных стационарных в узком смысле процессов, легко показать, что-
если процесс г, стационарен в узком смысле относительно разностного поля,
то существует однозначно определенное сохраняющее меру преобразование
множеств Т, (сдвиг), для которого
Эти сдвиги, определенные на множествах поля JFd, образуют трансля-
трансляционную группу или полугруппу, зависящую от множества значений пара-
параметра исходного процесса. Понятия инвариантного множества, инвариантной
случайной величины и метрической транзитивности (все относительно раз-
разностного поля) определяются теперь обычным образом в терминах преоб-
преобразований сдвига.
Пример 1. Цепи Маркова. Ввиду полной аналогии со случаем дис-
дискретного параметра мы опустим обсуждение этого примера. Заметим лишь,
что очевидный аналог теоремы 1.1 гл. X справедлив и для процессов
с непрерывным параметром и что доказательство теоремы 1.1 гл. X пере-
переносится на этот случай с очевидными изменениями;
Пример 2. Процессы с независимыми приращениями. Этот пример
соответствует примеру процесса с взаимно независимыми значениями
с дискретным параметром. Пусть {г,, 0<г< оэ} — процесс с независимыми
приращениями. Этот процесс является Стационарным в узком смысле отно-
относительно разностного поля тогда и только тогда, когда его приращения
стационарны в узком смысле. Следующая теорема показывает, что такой
процесс всегда метрически транзитивен.
Теорема 1.1. Любой процесс [xt, 0<i<c»} со стационарными в
узком смысле независимыми приращениями метрически транзигпивен отно-
относительно разностного поля.
Доказательство этой теоремы аналогично доказательству теоремы 1.2
гл. X, относящейся к случаю дискретного параметра, и мы его опускаем.
Оно опирается на вариант закона нуля или единицы для случая непре-
непрерывного параметра, формулируемый в терминах процессов с независимыми
приращениями.
Пример 3. Скользящее суммирование. Пусть {yt, — оэ<0<оо}—
процесс со стационарными в узком смысле независимыми приращениями,
у которого
Рассмотрим процесс xt, определенный равенством
+ t) = J c(s-t)dy(s).
В силу теоремы 1.1 процесс yt метрически транзитивен относительно раз-
разностного поля. Пусть (Т,, — оо < t < оэ} — соответствующая группа сдви-
сдвигов. Процесс s, является стационарным в узком смысле и метрически тран-
транзитивным, поскольку он порождается метрически транзитивной группой
{Т(, — се < t < оо}, примененвой к величине х0 (т. е. г, =Т, х0).
б) Процессы, стационарные в широком смысле. Мы будем здесь поль-
пользоваться понятиями, введенными в § 1 б) гл. X. Семейство преобразований
{U,, —оо < ( < оо} (соответственно {U(, 0<<< оэ}), действующих на слу-
случайные величины из некоторого замкнутого линейного многообразия слу-
случайных величин, называется трансляционной группой (соответственно
полугруппой) изометрических преобразований, если преобразования этого се-

5 1. ОБЩИЕ СВОЙСТВА; МЕТРИЧЕСКАЯ ТРАНЗИТИВНОСТЬ 461
мейства изометрнчны и если при любых s ж t
(е точностью до случайных величин, равных нулю е вероятностью 1).
Преобразование Uo будет при этом обязательно тождественным преобразо-
преобразованием. В случае группы преобразований U_( будет обратным к U(,
наши изометрические преобразования будут унитарными и семейство
{U,, — оо < ? < со} также будет трансляционной группой унитарных пре-
преобразований, которую мы назовем обратной группой.
Если {U,, — оо < t < 00} или {U(, 0< t < с»} —трансляционная груп-
группа или полугруппа изометрических преобразований иг — случайная вели-
величина из области определения этих преобразований, то процесс xt, задава-
задаваемый равенством xt = Vtx, стационарен в широком смысле. Обратно, если
{хи — со < t < с»} или {г,, 0<t < 00} —стационарный в широком смысле
процесс, то существует соответствующая трансляционная группа или полу-
полугруппа изометрических преобразований такая, что для каждого t е веро-
вероятностью 1 будет х, = Vtx0. Эти преобразования определены на замкнутом
линейном мяогообразии, порожденном величинами xt.
Пусть {Uj, — со < t < 00} или {U,, 0< t < 00} — трансляционвая груп-
группа или полугруппа изометрических преобразований. Случайную величину
х такую, что и,г = х с вероятностью 1 для каждого t, мы будем называть
инвариантной случайной величиной. Трансляционная группа или полугруп-
полугруппа называется метрически транзитивной в широком смысле, если единст-
единственными инвариантными случайными величинами являются те, которые
равны нулю с вероятностью 1. Случайные величины, инвариантные отно-
относительно изометрических преобразований сдвига некоторого стационарного
в широком смысле процесса, называются инвариантными случайными вели-
величинами этого процесса; сам процесс называется метрически транзитив-
транзитивным в широком смысле, если его изометрическая группа или полугруппа
сдвигов метрически транзитивна в широком смысле.
Если вероятностный процесс {xt, —00 < t,< 00} стационарен в широ-
широком смысле, то процессы {з_(, —оо •< t < со} и {xt, 0< t < со} также
стационарны в .широком смысле. Эти три процесса имеют одни 0 те же
инвариантные в широком смысле случайные величины, откуда вытекает,
что все три процесса могут быть метрически транзитивными в широком
смысле только одновременно.
Пусть {х(, — оо < t < 00} —вероятностный процесс такой, что
¦обозначим через SJfj замкнутое линейное1 многообразие, порожденное
разностями 1( —ха. Это многообразие {SJli мы будем называть разностным
многообразием процесса, а принадлежащие ему случайяые велпчияы — раз-
разностными случайными величинами процесса. Если процесс стационарен в
широком смысле относительно разностных случайных величин (т. е. если
он имеет стационарные в широком смысле приращения), то существует
трансляционная группа {\Jt, —co<t< 00} унитарных преобразований,
¦определенных на <jSli, такая, что с вероятностью 1
U, {x,t - xti) = Xta+, — x,i+(.
С помощью группы XJt легко можно сформулировать понятия инвариантной
случайной величины и метрической транзитивности в широком смысле от-
относительно разностного многообразия. Аналогичные замечания, касающиеся
процесса {х,, 0<(<оо}, приводят к полугруппе U,.
Следующий пример является аналогом примера 2 в применении к
цессам, стационарным в широком смысле.

482 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Пример 4. Процессы с ортогональными приращениями. Процесс
{xt, 0</<<х} с ортогональными приращениями является стационарным
в широком смысле относительно разностного многообразия тогда и только-
тогда, когда его приращения стационарны в широком смысле. Как мы ви-
видели в гл. II, последнее будет верно тогда и только тогда, когда
Е {| xt — х3 |aJ = const. 11 — s |.
Следующая теорема показывает, что такой процесс всегда метрически тран-
зитивен в широком смысле относительно разностного многообразия.
Теорема 1.2. Любой процесс {x(t), 0<?<cc} со стационарными
в широком смысле ортогональными приращениями метрически транзити-
вен в широком смысле относительно разностного многообразия.
Предположим, что
Е{|йж(г)|а] =adt.
Если а = 0, то x(t) = x(s) с вероятностью 1 для любой пары s,t, так что-
разностное многообразие 4R}d здесь содержит только случайные величины>
равные нулю с вероятностью 1. Таким образом, в этом случае теорема
является тривиальной. Если а > 0, то рассмотрим класс ЗК случайных
величин вида
о
где функция c(t) измерима по Лебегу и
Так как
то класс 2J} включает все разности x(t2)—ж(/1). Далее, поскольку
Е {| \ Cl(t) dx(t)- \ c2(t)dx(t)
о о
то среднее квадратичное расстояние между подинтегральными функциями
c(t) равно (с точностью до ненулевого постоянного множителя) среднему
квадратичному расстоянию между соответствующими случайными величи-
величинами х. Так как класс подинтегральных функций является замкнутым ли-
линейным многообразием, порожденным функциями, равными 1 на конечном
интервале и 0 вне него, то класс соответствующих случайных величин
является замкнутым линейным многообразием, порожденным разностями
процесса xt, т. е. Ш = 3JV Соответствие между функциями c(t) и случайными
величинами х ? 3J}d, задаваемое интегральной формулой, является взаимно-
взаимнооднозначным с точностью до функций, равных нулю почти всюду, и слу-
случайных величин, равных нулю с вероятностью 1. В частности, если ж — ин-
инвариантная случайная величина из разностного многообразия, то с вероят-
вероятностью 1
00 СО 00
ж= { c(t)dx(l)— \ c(t)dx(t + s)= { c{l — s)dx(t)
0 0 s
длн каждого s > 0. Отсюда вытекает, что с(г) = О для почти всех t из ин-
интервала @, s). Таким образом, c(t)=O для почти всех t, так что 1=0 с

5 2. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
вероятностью 1 и, следовательно, процесс x(t) является метрически тран-1
зитивным в широком смысле относительно разностного многообразия, что
и требовалось доказать.
§ 2. Усиленный закон больших чисел для стационарных в узком
смысле вероятностных процессов
Эргодическая теорема для случая непрерывного параметра, вероят-
вероятностное название которой стоит в заголовке настоящего параграфа, обычно
формулируется следующим образом. Пусть {S,, — ее < I < ее} — измеримая
трансляционная группа сохраняющих меру взаимно однозначных точечных
преобразований их — измеримая и интегрируемая функция на соответствую-
соответствующем пространстве. Тогда предел
t
]im — \ x(S,
существует и конечен для почти всех ш. Так как обратная группа
{S_[, — со < t < 00} является группой того же типа, что и S,, то под зна-
знаком интеграла можно заменить S3 на S_s. В приведенном впде нашу теорему
можно слегка обобщить, заменив группы точечных преобразованпп полугруп-
полугруппой преобразований множеств; при этом мы придем к следующему пред-
предложению. Пусть {Т(, 0<2<со} — измеримая трансляционная ^полугруппа
сохраняющих меру преобразований множеств и х — измеримая'^ интегри-
интегрируемая функция на соответствующем пространстве. Тогда если для каж-
каждого t случайная величина Ttx выбрана так, чтобы функция (Т,я;)(ш) была
измерима по совокупности аргументов B, ш), то предел
t
l\m~\(Tsx)D,)ds
f-юо ' J
существует и конечен для почти всех и>. Группа Т, здесь играет ту же-
роль, которую в предыдущей формулировке играла обратная группа S_(.
Согласно § I, приводимая ниже теорема 2.1 в части, касающейся существо-
существования предела, лишь словесно отличается от только что сформулированного-
утверждения. В той формулировке, которую мы сейчас дадим, наша теорема
называется также усиленным законом больших чисел для стационарных
в узком смысле вероятностных процессов (с непрерывным параметром).
Теорема 2.1. Пусть [xt, 0 <2 < со}— измеримый стационарный в
узком смысле вероятностный процесс такой, что Е{|жо|}<ее, и j —бо-
релевское поле инвариантных w-множеств. Тогда с вероятностью 1
lim±\xs(a>)ds=E{x0\J}. B.1)
В частном случае, когда процесс метрически транзитивен, правая часть
B.1) может быть заменена на Е {ж0}.
Ясно, что содержание теоремы не изменится, если среднее значение в
левой части B.1) заменить на
u+i
(где и фиксировано), и что величина предела при этом останется той же
самой. Если значения параметра процесса пробегают всю ось t, то мы мо-
можем заменить xt на ж_( и получить, что и в этом случае соответствующее

464 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ О НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
предельное среднее значение существует. Поскольку инвариантные множе-
множества обратной группы сдвигов совпадают с инвариантными множествами
прямой группы сдвигов, то и величина предела здесь будет той же, что и
в B.1). Отсюда вытекает, что с вероятностью 1 справедливо также равен-
равенство
Однако предел
is
lim -—- \ xs (<o) ds,
вообще говоря, может и не существовать с вероятностью 1.
Так как по предположению процесс измерим, то почти все его выбороч-
выборочные функции являются измеримыми функциями. Далее, так как
ь
то в силу теоремы 2.7 гл. II почти все выборочные функции интегрируемы
по Лебегу на любом конечном интервале." Таким образом, интегральные
средние значения, фигурирующие в условии теоремы, определены с вероят-
вероятностью 1. Для доказательства существования предела этих средних можно
воспользоваться рассуждением, аналогичным примененному при доказатель-
доказательстве соответствующей теоремы для дискретного случая (гл. X, теорема 2.1);
можно также следующим образом непосредственно воспользоваться указан-
указанной теоремой. Определим величины хт, утпри помощи соотношений
m+l m+l
Тогда процессы хт, ут будут стационарными в узком смысле процессами
с целочисленным параметром. Следовательно, по теореме 2.1 гл. X предел
П-1 !»
lim -i 2 х, («>) = lim i- ^ ха (со) ds B.2)
П-»аэ q -#-00 ф
существует и конечен с вероятностью 1, и то же самое верно и для сред-
средних значений процесса у,. Из последнего факта вытекает, что с вероятно-
вероятностью 1
lim I^lW- — lim — V j a;s(<o)|ds=0. B.3)
n
Если теперь j^j —наибольшее целое число, не превосходя1цее t, то
- i- J *. («О &= 1 { ^ *, («) ds} y + elf
О О
где в силу B.3) с вероятностью 1
Из существования с вероятностью 1 пределов в B.2) и B.4) немедленно
следует, что и предел в B.1) существует с вероятностью 1. Остальные

; 3. КОРРЕЛЯЦИОННАЯ ФУНКЦИЯ; ПРИМЕРЫ 465
утверждения теоремы доказываются точно так же, как и в дискретном слу-
случае (см. теорему 2.1 гл. X). Как и в случае дискретного параметра, если
8>1 и Е{|жо|8}"< ю> т0
limE
Л »fcEtol J} *
) =0,
о
т. е. имеет место сходимость средних к соответстзующему пределу также
и в смысле сходимости в среднем порядка 3. Следствие к теореме 2.1 гл.
X здесь обращается в следующее предложение:
Следствие. При любом действительном ц. предел
lim — \ х3 (ш) е-27С"^ ds = ж (р)
«— ' о
существует с вероятностью 1. Случайные величины х(р) имеют конечные
математические ожидания, причем-
Е {ж ((,)}= 0, ц^О,
а преобразуются при сдвиге на величину t в e2lzltv- х(\х). При этом для всех
р., за исключением самое большее счетного множества значений, справедливо
равенство
если Е {| ха |2} < оо, то и Е {| х (ц) |2} < оо, причем в этом случае
i
1Л.т.±-\х, (ш) e-z*"* ds = ж (ft), B.5)
Доказательство этого следствия совершенно аналогично доказательству
соответствующего предложения для случая дискретного параметра, и мы
t
его опускаем. Как и в самой теореме, среднее значение — \ может быть
и
1 С
заменено средним значением — \ и т. п.
U
§ 3. Корреляционная функция стационарного процесса; примеры
В этом и последующих параграфах мы будем рассматривать стацио-
стационарные в широком смысле комплексные процессы {x(t), t ? Т\, определение
которых было дано в § 8 гл. II; основное внимание будет уделено гармо-
гармоническому анализу таких процессов. Поскольку большинство теорем яв-
является точным аналогом соответствующих теорем для случая дискретного
параметра, подробности часто будут опускаться. При этом мы примем одну
дополнительную гипотезу: мы будем предполагать, что
lim E{\x(t)-x(s)\*}=0. C.1)
t-s-,0
В силу § 2 гл. II пз этой гипотезы непрерывности вытекает, что процесс
х (t) имеет сепарабельпую и измеримую стандартную модификацию. Напом-
Напомним, что переход от псрвопачальпсго процесса к его стандартной модифи-
модификации не изменяет совместных распределений вероятностей для конечных

466 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
совокупностей величин x(t). Можно показать, что и обратно, если процесс
x{t) имеет измеримую стандартную модификацию, то выполнено C.1). Та-
Таким образом, условие C.1) является минимальной гипотезой непрерывно-
непрерывности, и при рассмотрении стационарных в широком смысле процессов мы
всегда будем предполагать, что это условие выполняется. Множеством зна-
значений параметра процесса x(t) мы всегда будем считать либо всю прямую
( — со, оо), либо полупрямую [0, ее).
Если процесс измерим, то, как мы виделп в § 2 гл. И, почти все его
выборочные функции измеримы по Лебегу. Если же процесс стационарен
в широком смысле и одновременно измерим, то квадраты его выборочных
функций почти все интегрируемы по Лебегу на любом конечном интервале;
это следует из теоремы 2.7 гл. И, так как тогда
ь
Корреляционная функция стационарного в широком смысле процесса
определяется равенством
Следующая теорема описывает класс всех корреляционных функций.
Теорема 3.1. Если выполнено условие C.1), то корреляционная функ-
функция R(t) является положительно определенной функцией, т. е. непрерывной
функцией, такой, что
R( — t) = H(t),
n _
2 •R('m-Oaman>°
для любой конечной совокупности значений параметра tlt ..., t^ и любых
комплексных чисел alt ...,aN. Обратно, любая функция R(t), удовлетворя-
удовлетворяющая ьтим условиям и- непрерывная при t=0, обязательно непрерывна
всюду и является корреляционной функцией некоторого стационарного в
широком смысле процесса. Если эта функция R действительна, то и соот-
соответствующий процесс может быть выбран действительным.
Непрерывность корреляционной функции следует из неравенства
\R(t)-R(s)\ = \E{[x(t)-x(s)]x-(O)}\<[E{\x(t)-x(s)\*}E{\x(O)\*}Y'i,
правая часть которого в силу C.1) стремится к нулю при t — s—>0.
В остальном доказательство аналогично доказательству теоремы 3.1 гл. X,
и поэтому мы его опускаем.
Аналогом. теоремы 3.2 гл. X для случая непрерывного параметра яв-
является следующее предложение.
Теорема 3.2. Функция R является положительно определенной тог-
тогда и только тогда, когда она может быть представлена в виде
со
Д@= \
C.2)
где F — монотонно неубывающая ограниченная функция. Функция F при
соответствующей нормировке однозначно определяется соотношением
0) F(K1 + Q) + F(K1-O)
2 2
Г
= Iim [ e-2niX^—e--MXlt R^dL (з.З)

I 3. НОРРВЛЯЦЙОЙНАЯ ФУНКЦИЯ; ПРИМЕРЫ 467
Если функция R действительна, то вместо C.2) можно написать
00
R(t)=\ cos 2*t\dG (К), C.2'f
о
где G — монотонно неубывающая ограниченная функция, однозначно опреде-
определяемая (при соответствующей нормировке) равенством
G(X + 0) + G(X-0)_G@) = 1^sin2!!>?/? х>()
Доказательство является просто переизложенпем доказательства р
мы 3.2 гл. X для случая непрерывного параметра и будет здесь поэтому
только кратко намечено. То обстоятельство, что равенство C.2) в случае
монотонно неубывающей ограниченной функции F (>.) определяет положи-
положительно определенную функцию R (t), легко проверяется непосредственно.
Формула C.3) есть просто известная формула Леви, выражающая функ-
функцию распределения через ее характеристическую функцию. С настоящей
точки зрения наиболее естественным доказательством формулы Леви яв-
является следующее. Предположим, что \ < Х2, и определим функцшо Ф ра-
равенством
Ф(Х) = у, X=Xt, Х2,
О , X < \ или X > Х2.
Пусть Ф* есть преобразование Фурье функции Ф, т. е. пусть
ф* (t) = ^ ф (X) е-2*"* dk = \ е-,2«'^ dk.
—оо Xi
Произведя обратное преобразование Фурье, получаем
т
Ф (X) = lim \ Ф* (t) e27ti» di,
где величина под знаком предела остается ограниченной. Используя этот
факт, находим, что
Т Т со
lim [ Ф* (t)R(t)dt = lim [ <$>*(t)dt \ e^ia
— 00
Т
T-+OO
= lim ^dF(X)^ Ф* (t)
TO J J
-Т
это и есть нужное нам равенство C.3).
Обратно, пусть R — положительно определенная функция от t. В та^
ком случае можно использовать вывод представления R в виде интеграла
Фурье —Стпльтьеса, приведенный выше для случая дискретного параметра,
соответственно видоизменив его; можно также непосредственно свести слу-
случай непрерывного параметра к дискретному случаю при помощи следую-
следующего рассуждения. Для каждого е > 0 значения R (пе) определяют поло-
положительно определенную функцию от целого аргумента п. Следовательно
30»

4C8 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
(см. теорему 3.2 гл. X),
1/2 1/2з
С
/ /2
= С e2t5in* dP.(\) = \ e^int^dF .(>.),
-1J —1/2»
где Fa — монотонно неубывающая функция, полное изменение которой рав-
равно Д@). Пусть е стремится к нулю, пробегая значения 1/2, 1/22, 1/23
Согласно теореме Хелли, если мы доопределим Ft(X), положив Fa(X) = O
при Х< —l/2s и F8(/.) = R@) при Х> 1/2;, то будет существовать беско-
бесконечная последовательность значений е—> 0, для которой предел limFs(X) =
=-F(k) существует при всех ).. Если законен предельный переход под зна-
знаком интеграла, то из выражения для R (nz) тогда будет следовать, что
равенство C.2) справедливо для всех t, имеющих вид л/2т, где л —произ-
—произвольное целое, т — произвольное положительное целое число; для осталь-
остальных t оно будет справедливо по непрерывности. Для оправдания перехода
к пределу под знаком интеграла достаточно показать, что равномерно ио
всем е из некоторой сходящейся к нулю последовательности значений е
А
lim \ dF,(k) = R@). C.4)
Но если е = 2-т, Г = 2т-Ге = 2~г и г<т, то
2m-r-I t/2a „ ._,
-1/2»
• со получаем отсюда
А
Следовательно,
Величина в правой части здесь не превосходит R @); величина в левой
части стремится к R@) при Т—>0. Отсюда вытекает, что и величина спра-
справа равна R@); но это есть просто другое выражение для условия C.4)
(включая равномерность). Тем самым мы полностью доказали все утверж
деняя нашей теоремы, относящиеся к случаю комплексной функции R-
Если функция F нормирована условиями
F( — co) = 0, F(\ + 0) = F(k),
то F однозначно определяется равенством C.3). Как и в случае дискрет-
дискретного параметра, если R — действительная функция, то dF ().) четно, и мы
получаем C.3') с функцией G(X), равной
2[F(k) — F@ + 0)]+ F@ + 0) — F@ — 0), I > 0,

5 3. КОРРЕЛЯЦИОННАЯ ФУНКЦИЯ; ПРИМЕРЫ 469
Функция G однозначно определяется равенством C.3'), если ее нормиро-
нормировать условиями
G@) = 0,
Если функция F абсолютно непрерывна, то ее производная F' называется
спектральной плотностью процесса (в комплексной форме); в действитель-
действительном случае функция F абсолютно непрерывна тогда и только тогда, когда
абсолютно непрерывна функция G; в этом случае производная G' = 2F'
называется спектральной- плотностью процесса (в действительной форме).
Выражение «спектральная плотность» всегда будет подразумевать, что
в рассматриваемом случае спектральная функция абсолютно непрерывна.
оо
Если \ | В (t) | dt < оо, то существует непрерывная спектральная плот-
— со
ность, задаваемая равенством
оо
F'(l)= \ R (t) е-**™ dt; C.5)
— ОО
в действительном случае это равенство сводится к
оо
<?'().) = 4 \ R(t) cos 2-ltdt. C.5')
о
В самом деле, при сделанном ограничении на корреляционную функцию
равенства C.5) и C.5') можно проинтегрировать, после чего они перехо-
переходят в C.3) и C.3').
Спектр процесса, как п в случае дискретного параметра, состоит из
тех чисел Хо> в окрестности которых функция F возрастает. Эти числа
совпадают с частотами, входящими в гармоническое разложение как кор-
корреляционной функции, так и самих выборочных ^функций процесса.
Пример 1. Предположим, что случайные величины процесса удовле-
удовлетворяют условию
О, s * t.
Тогда процесс x(t) стационарен в широком смысле и для него
, «/=0,
Отсюда видно, что этот пример относится к числу тех, которые исклю-
исключаются гипотезой непрерывности C.1).
Пример 2. Предположим, что процесс x(t) — марковский в широком
смысле п одновременно стационарный в широком смысле. Тогда (см. § 8
гл. V)
Л(г) = е-°(Л(О), t>0, c = a-|-iP. a>0.
Если а=0, то
В Я -ос<г<оо,
и, следовательно (см. пример 2 из § 3 гл. X), при каждом t с вероятно-
вероятностью 1
x(t) = e-2:zit?x(O), —co<t<cc.

470 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Обратно, любое семейство случайных величин, удовлетворяющих послед-
последнему соотношению, очевидно, образует марковский (в широком смысле)
и стационарный (в широком смысле) вероятностный процесс. Если а >. 0,
то, допустив на мгновение, что R (t) действительно является корреляцион-
корреляционной функцией, т. е. что эта функция положительно определенна, найдем,
что для нее должна существовать спектральная плотность, которая в си-
силу C.5) равна
со 0
F' (X) = R @) \ e-c-z^'dt + R{0) ^ <*«-**«« dt =
О —со
_ 2*Д @)
Так как эта функция от X неотрицательна и интегрируема, то она и на
самом деле является спектральной плотностью стационарного процесса;
соответствующая корреляционная функция, определяемая соотношением
C.2), очевидно, совпадает с исходной функцией R, что и подтверждает
законность сделанного нами допущения. Заметим еще, что если
{;г, —оэ<*<со} — процесс с ортогональными приращениями такой, что
и с — постоянная с положительной действительной частью, то корреляцион-
корреляционной функцией процесса x(t), определенного равенством
будет функция, пропорциональная е~°' (t>0). В § 8 будет показано, что
вообще любой стационарный (в широком смысле) п марковский (в широ-
широком смысле) вероятностный процесс, за исключением процесса, которому
отвечает значение а = 0, может быть представлен (с точностью до постоян-
постоянного множителя) в такой интегральной форме.
В частности, если процесс x(t) действительный, то с —а и
р _ 2сД@)
Пример 3. Пусть ?1( ...,1к—взаимно ортогональные случайные ве-
величины с
и ).1? ..., Хк — различные между собой действительные числа; определим
процесс x(t) равенством
Тогда математическое ожидание
Е {х (s + t) Щ\ = i oje2*! = R (t)
i=i
не зависит от s, так что процесс x(t) стационарен в широком смысле.
Спектр этого процесса состоит только пз точек )lt ...,")k, причем в точке
Х, спектральная функция претерпевает скачок величины а). Обратно, если
корреляционная функция R дается последней формулой, то, как будет
доказано ниже, процесс x(t) всегда представим в указанном здесь виде.
Действительный процесс, соответствующий рассмотренному комплексному
процессу, строптся следующим образом. Пусть иг uh, vlt . ..,ом —

S 3. КОРРЕЛЯЦИОННАЯ ФУНКЦИЯ; ПРИМЕРЫ 471
действительные взаимно ортогональные случайные величины с
в Х.г, ...,Xh—любые действительные числа. Определим x(t) равенством
к
x(t)= > u,cos2ir«X,-H),sin2iraf.
t=i ' ' ' '
Тогда математическое ожидание
_____ h
Е {х (s -f t) x (s)} = Y, =5 cos 2ir% r= Л (t)
f=i
не зависит от s, так что процесс ж (г) стационарен в широком смысле.
Ясно, что любое отрицательное \j можно заменить на \\,-\, изменив одно-
одновременно знак у соответствующего Vj. Поэтому, не ограничивая общности,
можно считать, что /., > 0 (и что все /.,• различны). При этих условиях
соответствующая спектральная функция (в действительной форме) будет
ступенчатой функцией со скачками величины о], ..., а% в точках \1г ..., Xk.
Спектральная функция в комплексной форме будет возрастать в точках
± )-j со скачком а) в точке X,, если '^ = 0, и скачками оу/2 в точках ± }.jr
если Xj f=> 0. Рассматриваемый действительный процесс, разумеется, легко
может быть получен из комплексной формы примера 3 соответствующим
выбором чисел Х} и случайных величин Ег
В частном случае, когда величины и, и v} — гауссовскпе с Е{мД =
= Е{у^} = 0, процесс x(t) стационарен и в узком смысле.
Ниже будет показано, что любой стационарный в широком смысле
процесс или является процессом, подобным рассмотренному в примере 3,
или же может быть сколь угодно точно аппроксимирован процессами тако-
такого типа.
Пример 4. Пусть $ — действительная случайная величина, и о —
произвольная постоянная. Определим x(t) равенством
x(t) = ae2™'~'.
Тогда
где /*/| а I2 — Функция распределения величины J. Отсюда видно, что про-
процесс x(t) стационарен в широком смысле и имеет спектральную функцию
F ().).* Этот пример показывает, что существуют стационарные в широком
смысле процессы с любой наперед заданной спектральной функцией. За-
Заметим, что все выборочные функции процесса в данном примере являются
периодическими функциями; выбор какой-либо из них просто сводится
к выбору некоторого значения частоты ?. Так как мы уже видели, что
выборочные функции стационарного процесса не должны обязательно быть
периодическими (см. предыдущий пример 3), то, стало быть, спектральная
функция процесса не определяет однозначно спектральное строение инди-
индивидуальных выборочных функций (разве только в каком-либо осреднен-
ном смысле). Это утверждение, разумеется, может оказаться неверным
в применении к отдельным специальным классам стационарных процессов.
Так, например, если ограничиться рассмотрением действительных гауссов-
ских процессов с Е{ж(/)} = 0, то спектральная функция процесса, одно-
однозначно определяющая корреляционную функцию, будет однозначно опре-
определять и все совместные распределения вероятностей для произвольных
конечных совокупностей величин x(t).

472 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Из рассмотрений примера 4 § 3 гл. X ясно, каким будет действитель-
действительный процесс, соответствующий нашему комплексному примеру, и мы не
станем задерживаться на этом вопросе. Дальнейшие замечания о «степени
случайности» процесса, сделанные при изучении процессов с дискретным
параметром, также применимы к настоящему случаю.
Пример 5. Пусть xh(t) определяется равенством
х (t)= у(* + ®-уМ
h
где процесс у (t) имеет ортогональные приращения п
Тогда
О, \t\>h,
т. е. процесс xh(t) при любом фиксированном h стационарен в широком
смысле и имеет корреляционную функцию, даваемую последней формулой;
отсюда видно, что его спектральная плотность существует я равна
При малом h эта спектральная плотность очень блпзка к о2. Иными сло-
словами, хотя xh(t) и не сходится к предельной случайной величине при Л—j-0,
но соответствующая спектральная функция при уменьшении h ведет себя
так, как будто бы процесс xo(t) = y'(t) существует и является стационар-
стационарным процессом с постоянной спектральной плотностью о2. В действитель-
действительности никакого процесса с постоянной спектральной плотностью не суще-
существует, так как интеграл от спектральной плотности по всей прямой
(—оо, -\- ос) должен быть конечен, но поведение xh(l) при малых h заста-
заставляет предположить, что во многих случаях, когда естественно вводить
символическую производную у' (t) (например, при рассмотрении стохасти-
оо
ческих интегралов \ }{t)dy(t), изученных в гл. IX), этот «символический
—оо
процесс» у' (I) с точки зрения гармонического анализа будет проявлять
себя, как обычный стационарный в широком смысле процесс с постоянной
спектральной плотностью. Примеры такого рода нам еще встретятся ниже1).
Пример 6. Предположим, что процесс x(t) определяется равенством
*(*) =
где у (к) — процесс с ортогональными приращениями, для которого
E{\dy(k)\*} = dF(\), F(-a) = 0, F (X - 0) = F (V).
Тогда в силу результатов § 2 гл. IX математическое ожидание
со
Е{х(8 + 1)ф)}= ^ e^dF(l) = B(t)
x) «Символический процесс» xo(t) = y' (t) является типичным примером «обобщев-
ного вероятностного процесса»; по этому поводу см. работы Ито [7j и И. Ы, Гель-
фанда [1], а также добавление переводчиков на стр. 577 настоящей книги. Заметим
еще, что в технических применениях теории вероятностных процессов процесс х0 (t)
обычно называется «белым шумом» (по аналогии с белым светом в оптике) —Прим. ред.

4, СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ 473
не зависит от s, так что x(t) является стационарным в широком смысле
процессом с корреляционной функпией Л и спектральной функцией F.
В § 4 будет показано, что каждый стационарный в широком смысле веро-
вероятностный процесс может быть представлен в таком виде, а что в дей-
действительном случае это представление может быть также записано в виде
со
x(t)=*\ cos 2~tlduQ.) +sin 2r4ldv(l),
где «().) и р(/,) —действительные процессы с ортогональными приращениями.
такие, что
Приведенный выше пример 3 является частным случаем этого последнего
примера, соответствующим ступенчатой спектральной функции F (т. е.
спектру процесса, состоящему только из конечного числа точек). Приве-
Приведенное здесь представление процесса х (t) называется спектральным пред-
представлением процесса (соответственно в комплексной или в действительной
форме).
§ 4. Спектральное представление стационарного процесса
Теорема 4.1. Каждый стационарный в широком смысле процесс
{хA), — со < / < со}, удовлетворяющий условию C.1), допускает спектраль-
спектральное представление
со
x(t)=> [ e™"dy(\), D.1)
где у (X) — процесс с ортогональными приращениями такой, что
Е {\dy(У.)?}=dF(,.).,
При этом процесс у(Х) с ортогональными прираи^ениями, фигурирующий-
в D.1), удовлетворяет равенству
x(t)dt, -co <\,).2< со, D.2)
в при соответствующей нормировке процесса «(X) это равенство однозначно
определяет у(\) с точностью до значений на ш-множестве вероятности 0.
Если процесс x(t) - действительный, то D.1) можно переписать в виде
со
х(t) = f cos 2*a du (X) + sin 2rU). dv (X), D.1')
где и(Х) и v(X) — действительные процессы с ортогональными приращениями
такие, что
Е {[da (X)}2} = Е {[dv (X)]2} = dG (X), X > 0,
X>0,
Удовлетворяющие этим соотношениям процессы и (к) и и (л) с ортогональ-
ортогональными приращениями, фигурирующие в D.1'), удовлетворяют также равен-

474 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
ствам
»—cos2n?X. ... , « _ . , _.
^-, a; (t) dt, 0 < Xx, X2 < со,
причем последние равенства определяют и (К) и V ('/.)• однозначно (с точно-
точностью до значений на ш-множестве вероятности 0), если только нормиро-
нормировать и (X) и v (X) соответствующим образом.
Доказательство этой теоремы совпадает с доказательством теоремы 4.1
гл. X (за исключением того, что ряды Фурье здесь заменяются интегра-
интегралами Фурье) и будет поэтому опущено. Заметим еще, что для нормиро-
нормированного процесса v (X) можно считать, что
Р {0@+0, ш) = о@, (о)} = 1,
поскольку скачок v (X) в точке X — О ничего не добавляет к стохастическому
интегралу в D.1') и поэтому может быть просто вычтен. Интегралы в D.2')
в случае измеримого процесса x(t) можно понимать, как интегралы
Лебега от выборочных функций этого процесса (см. § 3), а в случае неиз-
неизмеримого процесса — как интегралы Лебега от измеримой стандартной
модификации процесса x(t) (см. § 2 гл. II).
Общие рассмотрения, приведенные в § 4 гл. X, также применимы
и к случаю непрерывного параметра и не будут здесь повторяться, за исклю-
исключением обсуждения значения примера 3. Как и в случае дискретного
параметра, если спектр процесса х{1) состоит только из конечного числа
точек, то спектральное представление сводится к конечной сумме того же
.вида, что в примере 3 § 3:
х @ = 2 «*"", Ъ, = I в*»*", [у (X, + 0) - у (Х;. - 0)],
где случайные величины ?;. взаимно ортогональны. Более того, и в общем
случае любая интегральная сумма интеграла Римана—Стильтьеса D.1),
аппроксимирующая x(t), будет иметь аналогичный вид:
2 е**«Ч t, = 2 е**«Ч [у (Х,+1) - у ( .,)].
Таким образом, процессы, рассмотренные в примере 3, могут быть исполь-
использованы для аппроксимации общего стационарного в широком смысле про-
процесса в том смысле, что каждому е > 0 соответствует стационарный про-
процесс x,(t) вида, рассмотренного в примере 3, удовлетворяющий условию
Е{|ж(г)-ж.(г)|2}<?, -co<t<co;
действительно, в качестве хе (t) всегда можно взять некоторую интеграль-
интегральную сумму представления D.1). Возможность такой аппроксимации оправ-
оправдывает следуюший метод, обычно используемый инженерами и физиками
при изучении стационарных в широком смысле процессов. А именно, x(t)
представляют сперва в виде ряда такого вида, как в примере 3, а затем
увеличивают число различных Х;, подбирая соответствующие о* так, чтобы
функция
2 «5

S в. ЗАКОН БОЛЬШИХ ЧИСЕЛ 475
приближалась к искомой спектральной функции процесса. Эта асимптоти-
асимптотическая процедура обоснована постольку, поскольку она сводится к простой
аппроксимации стохастического интеграла, фигурирующего в спектральном
представлении, интегральными суммами; однако чаще всего для замены
этого интеграла аппроксимирующими суммами имеется не больше основа-
оснований, чем для замены интегралов аппроксимирующими суммами в любом
другом разделе математики.
§ 5. Спектральные разложения
Пусть Alt .... Лч — попарно непересекающиеся множества значений X,
измеримые относительно меры F и такие, что соединение этих множеств
совпадает со всей прямой (— со, со). Тогда, как и в случае дискретного
параметра, стационарный в широком смысле процесс {x{t), —со < I < со}
со спектральной функцией F может быть представлен в виде суммы вза-
взаимно ортогональных процессов того же типа, спектры которых сосредото-
сосредоточены соответственно на множествах А1г .. ,,АЧ. Важный пример такого
представления получается (как и в § 5 гл. X) из канонического разложе-
разложения спектральной функции F,
где Ft — функция скачков для функции F, ^ — абсолютно непрерывная
компонента, a F3 — непрерывная сингулярная компонента функции F. Эти
три монотонные функции возрастают на трех непересекающихся множе-
множествах (См. § 5 гл. X), и, следовательно, им соответствует разложение
процесса
Если Xj,X2, ... —точки разрыва спектральной функции F {F предпола-
предполагается непрерывной справа), и если Е {\dy(X) ,2} =dF(X), то
где случайные величины в квадратных скобках взаимно ортогональны.
Этот ряд сходится в среднем для каждого фиксированного значения t.
Соответствующая корреляционная функция почти периодична:
§ 6. Закон больших чисел для стационарных н широком смысле
процессов
Теоремы § 6 гл. X без всяких затруднений переносятся на случай
непрерывного параметра; при этом надо только заменить в формулировках
теорем и в их доказательствах суммы на интегралы. В связи с этим дока-
доказательства здесь будут опущены.
Теорема 6.1. Пусть х(t) — стационарный в широком смысле про-
процесс, имеющий спектральное представление
Тогда
т
l.i.m.4

476 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Е {1 г/ @) - у @ - 0) |2} = /" @) — ^ @ - 0) = lim ±\ R{t)dt.
Последний предел, очевидно, будет равен нулю, если lim/?(i)
t-*oo
оо
или если \ \R(t)\dt < со.
о
Следствие. Для произвольного действительного числа |х
т
l.i.m.^r \ a:(Oe-^^di
Г—оо J ^
_ о
Как и в случае дискретного параметра, одвосторонние средние в пре-
1 С
дыдущих формулах могут быть заменены двусторонними средними: -=• \
о
можно заменить на ;-=- \ или даже на -=-,—=- \ , где 7" — Т—» со. Наиболее
-Т Г
важно, однако, то обстоятельство, что допустимо использование именно
односторонних средних (см. § 6 гл. X).
Теорема 6.2. Предел, фигурирующий в следствии к теореме 6.1
(в частности, при р. = 0 — предел, фигурирующий в самой теореме), суще-
существует с вероятностью 1 и равен 0, если только имеются положительные
постоянные Кии. такие, что следующие равные друг другу выражения
удовлетворяют неравенству
т т т
о
0 0
(
-T
oo
Если \ I R (t) | dt < оо, то условия этой теоремы выполняются для всех (»
о
при а=1; они выполняются также для всех р. прп некотором а > 0, если
только для этого а справедливо неравенство R (.!)< const. |i|~a.
§ 7. Оценка значений B{t) и -F(J.) по выборочным функциям
Теоремы 7.1 и 7.2 гл. X непосредственно переносятся на случай
непрерывного параметра (с очевидной заменой средних по конечному числу
членов на интегральные средние), и поэтому формулировки соответству-
соответствующих предложений будут нами опущены.
Существенно отметить, что функции R(t)ttFQ.) принципиально не мо-
могут быть определены, если выборочные функции известны только на конеч-
конечном интервале. Действительно, предположим, что вероятностный процесс

I 8. АБСОЛЮТНО НЕПРЕРЫВНЫЕ СПЕКТРАЛЬНЫЕ ФУНКЦИИ 477
нам полностью известен на интервале ji|-<T; это, разумеется, больше,
чем то, что можно надеяться извлечь из знания на этом интервале любого
конечного чпсла выборочных функций. Предположим даже, что нам
известно, что рассматриваемый процесс — гауссовскпй, и что для него
Е{ж(?)} = 0. В таком случае функция ЛA) нам будет в точности известна
при 111 < 2Т, но мы не сможем определить значений R {t) для всех t,
а следовательно, и значений спектральной функции [разумеется, речь идет
об абсолютно' точном определении В (t) и F (\)], поскольку существуют
примеры пар положительно определенных функций (т. е. пар корреляцион-
корреляционных функций), совпадающих на произвольном интервале, содержащем
точку t = О1).
Теорема 7.3. гл. X также без труда переносится на случай непре-
непрерывного параметра и показывает, как можно на практике оценить спек-
спектральную функцию процесса: равенство
Ц2
О
G.1)
всегда выполняется, если только ^и^ — точки непрерывности функции F,
но опять же результат, получаемый из G.1) при помощи дифференциро-
дифференцирования:
lim-i-l ( е-2™* х (s) ds
= F'
будет неверен, даже если F абсолютно непрерывна. Предел в равенстве
G.1) является пределом по вероятности для каждой пары j.1? *2 и даже
пределом с вероятностью 1, если для каждого t с вероятностью 1
г
lim -=г \ x(s-\-t)x{s)ds = .
§ 8. Абсолютно непрерывные спектральные функции и скользящее
суммирование
Так же как и в случае дискретного параметра, спектральное представление
(8.1)
при абсолютно непрерывной функции F может быть заменено на
со
\ (8.2)
где \fi = F'; доказательство этого факта здесь нпчем но отличается
от приоеденного в § 8 гл. X п будет поэтому опущено. Если E[.v(t)} = 0,
то и Е {dy ('.)} = 0; в таком случае и у ().) можно выбрать так, что
E{dy(X)}=0.
В случае непрерывного параметра процесс, получаемый с помощью
скользящего суммирования, определяется как процесс вида
J) Первый пример пар функций такого рода принадлежит Б. В. Гнеденко (см.
также Г. Крамер [1], стр. 111). — Прим. ред.

478 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
)= \ C*{\-t)di(\),
—со
где С* —измеримая по Лебегу функция, такая, что
а ?(Х) —процесс с ортогональными приращениями, удовлетворяющий усло-
условию Е {| di ().) |2} = d\. При таком определении, очевидно,
где С —преобразование Фурье функции С", т. е.
С(Х)=
—А
Следовательно, процесс x(t) является стационарным в широком смысле и
так что соответствующая спектральная функция абсолютно непрерывна и
имеет спектральную плотность | С |2. Обратно, предположим, что процесс
x(t) имеет абсолютно непрерывную спектральную функцию..В таком слу-
00
чае x{t) можно представить в виде (8.2), где \ |/()^)|2<?Х< со; нам будет
— 00
удобно здесь изменить обозначения и вместо (8.2) писать
Х)]2} = сй. (8.2')
Запишем теперь / в виде преобразования Фурье:
Если (8.2') переписать символически в виде
со
ж(г)= \ ez*i*f(k)%"(\.)dk (8.2")
—СО
и определить, далее, процесс 5 М как преобразование Фурье процесса
?*(Х), так что символически (см. § 4, гл. IX)
и затем формально применить к (8.2") тождество Парсеваля, то мы получим

i 9. ЛИНЕЙНЫЕ ОПЕРАЦИИ 470
Последнее равенство действительно имеет место (после отбрасывания чисто
символического среднего члена), так как приведенное в § 4 гл. IX опре-
определение преобразования Фурье процессов с ортогональными приращениями
делает законными все наши формальные преобразования. Такпм образом,
мы доказали, что стационарный в широком смысле процесс является процес-
процессом, получаемым с помощью скользящего суммирования, тогда и только
тогда, когда его спектральная функция абсолютно непрерывна.
В качестве примера рассмотрим стационарный (в широком смысле) и
марковский (в широком смысле) процесс, изученный ранее в примере 2 из
§ 3. Спектральная функция такого процесса абсолютно непрерывна, причем
где с имеет положительную действительную часть а (мы исключаем здесь
вырожденный случай, когда а = 0). Легко проверить, что в этом случае
можно принять
о, t > о,
[2аЯ@))'/'
так что процесс x(t) здесь представим в виде
-*di(t — \).
Из этого представления процесса x(t) в виде интеграла от значении «в прош-
прошлом» процесса ? (t) с ортогональными приращениями легко непосредственна
вывести, что наш процесс является марковским в широком смысле.
§ 9. Линейные операции над стационарными процессами
Пусть {х (t)} — стационарный в широком смысле вероятностный процесс,,
имеющий спектральное представление
Линейной операцией над процессом x(t) мы будем называть преобразова-
преобразование, переводящее процесс x(t) в новый процесс x(t), гт x(t) — либо ко-
конечная сумма вида
=2 c;r.
[ 2 с/*"/
либо предел в среднем последовательности таких конечных сумм. Так как
сходимости в среднем фигурирующих в последнем равенстве величин x{t)
соответствует сходимость в среднем с весом dFQ.'^ кций в квадратных
скобках в правой частп последнего равенства, то и. .>;олее общий процесс
х (t) дается формулой
где С (X) — произвольный предел в среднем конечных сумм вида

480 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
т. е. произвольная функция, измеримая относительно F и такая, что
Функцию С мы будем называть ядром линейной операции. Таким образом,
каждая линейная операция имеет ядро, и каждое ядро определяет некото-
некоторую линейную операцию, переводящую х{1) в новый стационарный в ши-
широком смысле процесс. Этот новый пропесс также удовлетворяет условию
непрерывности C.1), поскольку
со
—оо
Новая корреляционная функция равна
так что новой спектральный функцией будет
х.
это значит, что спектральные интенсивности при применении нашей линейной
операции умножаются иа |С(Х)!3. Если ядро тождественно равно 1, то
линейная операция будет тождественным преобразованием.
Если линейная операция с ядром С, переводит процесс x(t) в процесс
x1(t), а операция с ядром С2 переводит хгA) в процесс x2(t), то операция
с ядром CjCj будет переводить x(t) в x2(t), так что если x{t) задается
равенством (9.1), то
Единственными условиями (кроме измеримости), которые здесь надо нало-
наложит на С1 и С2, являются условия
Если, кроме того»
оо
\ \C2(\)\*dF().)<oo
— со
то можно сперва применить к x(t) линейную операцию с ядром С2, а затем
к получившемуся процессу операцию с ядром С, и при этом получится
опять тот же процесс x2(t). Таким образом, последовательное применение
нескольких линейных операций равносильно применению одной линейной
операции с ядром, равным произведению всех ядер отдельных операций;
при этом наши операции коммутативны в том смысле, что если можно
применять операции в том или ином порядке, то получаемый процесс не
будет зависеть от принятого порядка операций.
Сумма двух линейных операций определяется как операция с ядром,
равным сумме ядер этих операций. Она приводит к процессу, являющемуся
суммой процессов, получаемых при помощи операций — слагаемых.

5 9. ЛИНЕЙНЫЕ ОПЕРАЦИИ 481
от
Пример 1. Дифференцирование. Предположим, что \
—со
и рассмотрим операцию с ядром 2тсгХ,
Так как
то из равенства
l.i.m. .—
[здесь предел в среднем берется с весом dF (>.)] вытекает, что
со
l.i.m.— г M-=x(i)= \ 2~i)-e2T-iixdy ().),
л—о " •>
— со
так что ж(г) является производной в среднем квадратичном процесса x(t);
в этом обобщенном смысле выборочные функции процесса x{t) в рас-
рассматриваемом случае имеют производную. Если теперь, как обычно, обо-
обозначить через x(t, и>) значение случайной величины xit) в точке ш, то
мы усилим предыдущий результат, доказав, что в случае сепарабельного
процесса x(t) почти все его выборочные функции абсолютно непрерывны, и
что если х'(¦, ш) есть производная выборочной функции по t, то при каж-
каждом t с вероятностью 1
*'('. ¦) = *(*)¦
Не предполагая сепарабельности x(t), мы можем только доказать следу-
следующий (эквивалентный предыдущему) результат: если R — произвольное
счетное множество значений параметра, то почти все выборочные функции
совпадают на Б с функциями, определенными для всех t, являющимися
абсолютно непрерывными и такими, что их производная удовлетворяет
написанному выше соотношению. Для заданного значения t случайная
величина x(t) определена однозначно с точностью до значений на ш-мно-
жествах вероятности 0. В § 3 мы видели, что благодаря этой неопределен-
неопределенности «сегда можно считать, что наша случайная величина определена
таким образом, что процесс x(t) измерим и почти все его выборочные
функции интегрируемы по Лебегу на любом конечном интервале. Но тогда
интеграл
\ х (s, u>) ds
о
для почти всех ш определяет абсолютно непрерывную функцию от t, и
каждая такая функция от t при почти всех t имеет производную x(t, ш).
Более того, опуская, как обычно, букву ш в обозначениях, с вероятностью 1
мы имеем
f [ оо оо
^ж(.?)с&= \ ds \ 2-Це2*и^dy A) — \ (e27lin — i)dy (X) = х (t) — ж@),
0 0 —QO —СО

482 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
поскольку здесь можно изменить порядок интегрирования (см. § 2 гл. IX).
Последнее равенство нужно понимать следующим образом: для каждого /
правая и левая его части равны с вероятностью 1. Но тогда эти две части
рааны с вероятностью 1 и одновременно для всех значений t из любого
заданного счетного множества S. В случае сепарабельного процесса x(t)
множество S можно выбрать таким образом, чтобы верхний и нижний пре-
пределы почти всех выборочных функций процесса x(t) на открытых интерва-
интервалах совпадали с соответствующими пределами при значениях t, принадле-
принадлежащих множеству S и расположенных в тех же интервалах; отсюда сле-
следует что здесь почти каждая выборочная функцпя х(-, ю) процесса х(t)
будет абсолютно непрерывной и будет иметь пр.. лзводную х(-, ю), что а
требовалось доказать.
Мы показали, что линейная операция с ядром 2-й. отвечает дифферен-
дифференцированию в среднем квадратичном, а также и обычному дифференцирова-
дифференцированию. Обратно, предположим, что возможно дифференцирование в среднем
квадратичном, т. е. что существует предел
на языке функций от X это означает, что существует предел
e2ni(i+hK 2ти().
l.i.m. г
[здесь «предел в среднем» понимается как «предел в среднем с весом
dF(\)t]. Последний предел должен равняться 2-ile2llia, так как если сущест-
существуют пределы и в среднем, и в обычном смысле, то они должны совпадать;
отсюда вытекает, что
Таким образом, мы доказали, что операция дифференцирования в среднем
квадратичном (а, следовательно, и обычного дифференцирования) возможна
оо
тогда и только тогда, когда \ \VF(X)<oo, т. е. тогда и только тогда,
—оо
когда интенсивность высоких частот не слишком велика. Заметим, что из
существования обыкновенной производной еще не вытекает, что обязательно
существует и производная в среднем квадратичном; это легко видеть на
следующем примере. Пусть у (t) — сепарабельный процесс Пуассона со
средней плотностью числа событий с>0 и пусть x{t)~ y{t-\-1) — y(t) — с.
Процесс х (t) стационарен как в широком, так и в узком смысле: его
спектральная функция абсолютно непрерывна, а спектральная плотность
равна
1 — cos 2яХ
С
Так как
оо
, 1 — cos2nX.
то производная в среднем квадратичном здесь не существует. С другой
стороны, производная х' ([, ш) для каждого ш существует и равна 0 всюду,
за исключением счетного множества значений t; действительно, можно
ограничиться только ступенчатыми выборочными функциями, возраста-

i 9. ЛИНЕЙНЫЕ ОПЕРАЦИИ 483
ющими скачками величиной единица, так как в рассматриваемом случае
совокупность таких выборочных функций имеет вероятность 1.
Пример 2. Интегрирование. Предположим, что ядро С представимо
в виде преобразования Фурье интегрируемой функции С*,
Соответствующая линейная операция всегда выполнима, так как такая1
функция С непрерывна и ограничена. Эта операция сводится к интеграль-
интегральному осреднению
оо со со
'x(t)= { е2*ик С (X) dy (X) =
— 00 —СО
= ^ С* (?) dp.
(изменение порядка интегрирования здесь законно в силу результатор
§ 2 гл. 1Х)._0братно, предположим, что имеется интегральное среднее
где условия на весовую функцию С* пока не уточнены- Естественно по-
потребовать здесь абсолютной сходимости двойного интеграла
а это условие в силу неравенства
оо оо
Е{ J I?•((*)*('
— OS
CO
приво^т нас к первоначальному условию \ | С* (jx) | dft < со. Поэтому
— оо
в дальнейшем прп рассмотрении интегрального осреднения мы всегда будем
предполагать, что весовая функция С* абсолютно интегрируема на интер-
интервале (— оо, оо). Ядром операции в таком случае будет преобразование
Фурье С этой функции, так что спектральные интенсивности будут умно-
умножаться на | С B. Поучительно рассмотреть следующий вырожденный слу-
случай: пусть процесс 5 (t) имеет ортогональные приращения и Е {| d$ (I) ;4} = аЫ1.
В таком случае, как мы видели, производная I'(I) формально является
процессом с постоянной спектральной плотностью о2. В соответствии с этим
интегральное среднее
должно было бы иметь спектральную плотность |С|2з2; и действительно,
процесс x(t) является процессом с такой спектральной плотностью, полу-

4S4 ГЛ. Xt. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
чаемым с помощью скользящего суммирования (см. § 8); относителыю С*
.здесь естественно требовать, чтобы выполнялось неравенство
"Если последовательно произвести несколько операций интегрального
^осреднения, то результирующая линейная операция также будет инте-
интегральным осреднением; окончательная весовая функция будет при этом
композицией отдельных весовых функций. Мы докажем это сейчас для
случая двух операций. Предположим, что С* и С* - две весовые функции;
требуется доказать, что если С* определено равенством
то С* является весовой функцией, соответствующей последовательному
осуществлению наших двух осреднений, т.е. что \ | С* (fi) | dp. < со и что
—оо
весовой функции С* отвечает ядро (ее преобразование Фурье) СхСг. Но
ясно, что
что
—оо
ОО
\ C*(fi-X)CJ
последнее равенство и завершает докейательство. Разумеется, наш вывод
сводится к простой проверке того общеизвестного факта, что ком-
композиции функций соответствует произведение их преобразований Фурье.
Изменения порядка интегрирования, использованные в наших рассужде-
рассуждениях, законны в силу абсолютной сходимости соответствующих интегра- ¦
лов.
Рассмотрим теперь ядра вида 2r.i)?, где С, как и выше, есть преобра-
преобразование Фурье интегрируемой функции С*, и выполняется условие (необ-
(необходимое для того, чтобы 2~i'i.C могло быть ядром
со
4*= ^ \2|C(X)jW(X)<co. (9.2)
— оо
Соответствующую линейную операцию можно при этих условиях считать
результатом последовательного выполнения двух операций: интегрального
осреднения с весовой функцией С* и затем дифференцирования. Условие (9.2)
делает законным это дифференцирование. Так как мы не предположили,

5 9. линейные операции 485
оо
что \ \У/'(Х)<со, то изменить порядок операций здесь, вообще говоря,
—оо
нельзя. Однако мы покажем, что результат применения наших двух опе-
операций всегда может быть представлен в виде
со
1@= 5 с'М<**(' + «0. (9-3)
—оо
что сводится к результату дифференцирования и последующего интеграль-
интегрального осреднения, т. е. к
со
?@= [ с»Go*'(и-ц)dp.
если только \ XW(X)<co, так что процесс х' (t) существует. Мы рас-
—оо
смотрим более общий вопрос, а именно вопрос о смысле интегралов вида
где х (t) — произвольный стационарный в широком смысле процесс. Ее ль
x(t) имеет спектральное представление
и если мы примем обычное в нашей книге условие относительно евязи
функций, обозначаемых одной и той же буквой со звездочкой и без звез-
звездочки:
оо
/(Х) = \ e**Mf*{t)dt, (9.4)
— ОО
то формально мы будем иметь
оо со оо оо
\ f*{t)dx{t)=2r.i ^ \ и2"«/*(г)Л%(Х) = 2« [ lf(\)dy(k). (9.5)
— оо —оэ
Интегралы, подобные стоящему в правой части (9.5), были определены
нами в § 2 гл. IX. Условие, наложенное в этом параграфе на подинтег-
ральную функцию, в нашем случае обращается в требование •
X2|/(X)|W(X)<o0. (9.6)
Мы определим теперь для любой функдпп /*, преобразование Фурье / кото-
которой удовлетворяет условию (9.6), левую часть (9.5) как интеграл в правой
части этого равенства. Способ определения функции / по /* должен быть одно-
значпым с точностью до значений этой функции на множестве точек X,
по которому ишеграл \ /MF (/.) равен нулю (иначе наш стохастический
интеграл не будет однозначным) и должен быть линейным в том емысле,
что функции aj*-\-bg* должно соответствовать aj-\-bg (иначе стохасти-

488 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
ческий интеграл не будет линеен относительно подинтегральной функции).
Кроме того, как мы видели, / должно быть обыкновенным преобразованием
Фурье функции /*, если, например, последняя функция абсолютно инте-
интегрируема на интервале ( —оо, со). Для дальнейшего нам будет достаточно
ограничиться рассмотрением класса функций /*, интегрируемых по всем
конечным интервалам и таких, что предел
А
lim
существует для всех X и определяет преобразование / функции /*, удовле-
удовлетворяющее (9.6). Этот класс, разумеется, допустим с точки зрения сформу-
сформулированных выше двух общих принципов. Тогда, согласно определению (9.5),
Е I \ f*{t)dx(t) \ g*(t)dx(t)\=№ \ \y(\)gQ.)dF(k). (9.7)
В частности, если \ l?dF(\) < со, то производная xr (t) процесса х(t)
—оо
существует,
и, комбинируя наше определение с тем, что мы имоли в примере 2,- мы
находим, что
оо оо
^ f*(t)dx(t) = \ f*(t)x'(t)dt,
— ОО — ОО
если только
Используя предыдущие результаты, мы получаем, что если С* абсо-
абсолютно интегрируема на интервале ( — оо, оо) и если С удовлетворяет не-
неравенству (9.6), то, как и утверждалось выше,
так что операция с ядром 2-ii.C может быть представлена в виде (9.3).
§ 10. Рациональные спектральные плотности
В настоящем параграфе мы рассмотрим стационарные в широком смысле
процессы с абсолютно непрерывными спектральными функциями, имеющие
спектральную плотность F'(X)=eO, рациональную относительно ).,
П(*.-К7)
F' (X) = с -? сфО.

§ 10. РАЦИОНАЛЬНЫЕ СПЕКТРАЛЬНЫЕ ПЛОТНОСТИ
487
Очевидно, можно считать, что числитель и знаменатель не имеют здесь
общих корней. Поскольку спектральная плотность F' действительна, то
, J_
П(
11 {X—w'j)
a (>¦-;;>
так что числа z] и w), которые являются комплексными, разбиваются на
пары комплексно сопряженных друг другу чисел. Далее, поскольку функ-
функция F' интегрируема, то никакой из корней z) не может быть действи-
действительным, и поскольку /">0, то каждый действительный корень w] должен
встречаться в числителе дроби, представляющей F' (/.), четное число раз,
и с должно быть действительным положительным числом: с = с > 0. Следо-
Следовательно, используя равенство |\ —?| = |\ —
спектральную плотность F' в виде
мы можем представить
A0AaB9Bf ф 0,
A0.1)
Здесь Р > а, так как функция F' должна быть интегрируема; кроме того,
так как все комплексные корни w, и z выбираются по произволу из пары
комплексно сопряженных чисел, то всегда можно предполагать, если это
удобно, что корни знаменателя и не являющиеся действительными корни
числителя все имеют положительные мнимые части. В дальнейшем всегда
¦будет считаться, что знаменатель и числитель не имеют общих корней.
Если корни выбраны так, как здесь описано, то коэффициенты Af и Bt
будут определены однозначно с точностью до общего множителя пропорцио-
пропорциональности.
В частности, если процесс х@ действителен, то спектральная плот-
плотность F' является четной функцией, и A0 1) можно переписать в виде
?
A—A-V,
A0.1')
где коэффициенты А} и В/ действительны.
Согласно § 8, спектральное представление процесса может быть запи-
¦еано в виде
x{t)=
J
—oo
2 *Л
A0.2)
где z(k) — процесс с ортогональными приращениями. Корреляционная функ-
функция здесь равна
R(l)=
a
0
ii
0
2
OO
—ОЭ
0
0
P _
и
dk.

488 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Пользуясь известными результатами теории вычетов, легко показать, что
R (?)/Biu) при t >0 равно сумме вычетов подинтегральной функпии в пра-
правой части последнего равенства, расположенных в верхней полуплоскости.
Более того, если // — простая замкнутая спрямляемая кривая в верхней
полуплоскости, охватывающая все нули знаменателя в верхней полупло-
полуплоскости, то Я'1" @ дается формулой
/ k>0
BяX)fc A, ^ ^ A0.4)
здесь под R'h) @) понимается односторонняя производная Д1*" @ + 0). Отсюда
видно, что R'k) B)/B«) равно сумме вычетов подинтегральной функции
в равенстве A0.4), расположенных в верхвей полуплоскости. Таким обра-
образом, функция R бесконечно дифференцируема при t^0, а также и при
поскольку R( — t) = R(t). Вычисление R(t) с помощью теории выче-
тов в предположении, что все нули многочлена 2. В,~ имеют положитель-
положительную мнимую часть, дает для R (t) выражение
/ (Ю.5>
где С} — многочлены от t, a Zj — нули функции Y В^. Если функция R
является действительной, то A0.5) можно переписать также в виде
R @= X (C;cos2ita.i + C; sin 2«z;.<)e~2*"V,
где С} и С] —действительные многочлены от t, а а и Ь- — действительные
и, соответственно, мнимые части корней z^..
Мы видели, что функция R имеет односторонние производные всех
порядков в точке 0, причем Rik) @ + 0)/B-г) равно сумме вычетов подин-
подинтегральной функции в правой части A0.4) при 2 = 0, расположенных
в верхней полуплоскости. Аналогично, —R'k'(Q 0)/Bад) равно сумме
вычетов той же функции в нижней полуплоскости. Следовательно, величина
.«¦'"(О—0)
равна сумме всех вычетов рассматриваемой функции во всей комплексной
плоскости, т. е. равна коэффициенту при 1/* в разложении этой функции
в степенной ряд в окрестности точкп со. Таким образом,
Г0, *<23-2а-2,
Л*@ + (»-Д*@-0)= ?i; * = 2?-2а-1. Aа6>
Первая строка здесь является также очевидным следствием формулы A0.3),
поскольку для соответствующих значений к допустимо дифференцирование-
под знаком интеграла в этой формуле. Заметим, что, согласно полученным
результатам, R{t) при |*|—>• со стремится к 0 по показательному закону.

! 10. РАЦИОНАЛЬНЫЕ СПЕКТРАЛЬНЫЕ ПЛОТНОСТИ 489
Из равенства A0.4), а также и из A0.5) немедленно вытекает, что R
удовлетворяет дифференциальным уравнениям
где запись ?>0 + 0 и <<0— 0 означает, что эти уравнения выполняются
на замкнутых полупрямых, если в точке t — Q использовать соответствую-
соответствующие односторонние производные. Из (Ю.7) вытекает, что
2 (iaS^T *"**'('> = 0, 1Ф0. A0.8)
)'. ft=o
Согласно A0.6), это дифференциальное уравнение не может быть справед-
справедливым при t = 0, поскольку первые 2[3 производных функций R в этой
точке не существуют. Даже и без A0.6) тот факт, что эти производные
не существуют, немедленно вытекает из того, что функция R ограничена,
в то время как никакое решение уравнения A0.8) не является ограничен-
ограниченным при всех t, если 2 ^iz' не имеет действительных нулей.
о
Теорема 10.1. Если стационарный в широком смысле процесс
{x(t), — со < t < оо} имеет абсолютно непрерывную спектральную функцию
и спектральную плотность, задаваемую равенством A0.1), причем все нули.
многочлена 2^Bz} расположены в верхней полуплоскости, то соответству-
о '
ющая корреляционная функция R удовлетворяет дифференциальным урав-
уравнениям A0.7) и граничным условиям A0.6). Обратно, если корреляционная
функция стационарного в широком смысле процесса удовлетворяет уравне-
уравнениям A0.7) при некотором выборе постоянных Во, ..., В$ таких,
что ВпВр f=Q, и ни один из нулей многочлена /_ B-z' не является дей-
действительным, то этот процесс имеет абсолютно непрерывную спектраль-
спектральную функцию и спектральную плотность, задаваемую формулой A0.1),
в которой Ап, ..., Ai —некоторые постоянные, причем 2а = 23— т — 1,
где т —наименьшее значение к такое, что Я'1" @+0) я= /?''" @ — 0).
Прямое утверждение этой теоремы мы уже доказала; остается доказать
обратное утверждение. Для доказательства заметим, что если функция R
удовлетворяет уравнениям A0.7), то она должна быть бесконечно диффе-
дифференцируемой при t^-0-rO. Более того, как и всякое решение A0.7), функ-
функция R должна в этом случае иметь вид A0.5), где z — нули многочлена
2^\ и С. — многочлены от t. Так как корреляционная функция R всегда
ограничена, и так как по предположению все z; не являются действитель-
действительными, то в выражение для R (t) могут входить только Zy с положительной
мнимой частью. Но в таком случае R (I) при t —> ± со будет стремиться
к нулю по показательному закону. Следовательно, [см. C.5)], функция F
абсолютно непрерывна и
оо
F' ().)= \ е-2*ш R(t)dt,

•490 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
откуда интегрированием по частям получаем
-У ^-"@ + 0)-Д"-"@-0) , Г «-2"шд(
У=2 —оо
Таким образом,
оо
—оо
где рк — многочлен степени к при к>0, и pfts=0 при к < 0. Отсюда
вытекает, что
0
i, ft=0
оо Р _
([ 2 ?%t, A0.9)
Где А(-) -многочлен степени 23 — т — 1. Так как из A0.7) следует A0.8),.
то интеграл в правой части равенства A0.9) обращается в нуль и мы по-
получаем
что и доказывает обратное утверждение теоремы. Отметим, что в этом
доказательстве мы из ограниченности R (t) заключили, что в представле-
представлении A0.5) функции R (I) могут фигурировать только zh с положительными
мнимыми частями. Если многочлен 2. B{z} имеет нули с отрицательной
о
мнимой частью, то эти нули не могут входить в число показателей сте-
степени в равенстве A0.5). Отсюда вытекает, что в случае существования
таких нулей функция R удовлетворяет дифференциальному уравнению
порядка < Р, так что в представлении A0.1) функции F' многочлены
в числителе и в знаменателе имеют общие корни.
Рассмотрим теперь более подробно случай, когда в равенстве A0.1)
а —0 и Ло = 1; этот случай, очевидно, аналогичен случаю 2 § 10 гл. X.
В этом случае
*"W = -_J , р>0, ВаВ?ф0;
\1\
о
соответствующее спектральное представление удобно писать в виде
@ = \
J
Ясно, что здесь

§ 10. РАЦИОНАЛЬНЫЕ СПЕКТРАЛЬНЫЕ ПЛОТНОСТИ 491
так что процесс x(t) имеет первые C — 1 производных; если процесс сепа-
рабелен, то его выборочные функции имеют р — 1 производных и
-оо > Bjf'
Таким образом, формально можно написать
оо
"х 2™х '" ' Bп')? Xе
где (см. § 4 гл. IX) процесс z(l) есть преобразование Фурье процесса
z*().). Итак, формально выборочные функции процесса x{t) удовлетворяют
стохастическому аналогу равенства A0.7) -линейному дифференциальному
уравнению порядка [3 с постоянными коэффициентами (действительными
в случае действительного процесса), в правой части которого стоит (фи-
(фиктивная) производная процесса с ортогональными и стационарными в ши-
широком смысле приращениями. Продолжая формально применять обычные
математические правила к процессу z' (t) (что, разумеется, является на-
натяжкой1)), можно сказать, что этот фиктивный процесс обладает тем свой-
свойством, что для него
E{z'(s)z' (l)\ =0, sii
[в соответствии с ортогональностью приращений процесса z(t)]. Таким об-
образом, наше дифференциальное уравнение является точным аналогом раз-
разностного уравнения A0.7), полученного при обсуждении случая 2 § 10 гл. X.
Для того чтобы придать смысл символическому равенству A0.10), мы до-
докажем, что для широкого класса функций /* (t) имеет место равенство
f*{t)x{t)dt+ ...
= [ f*(t)dz(t), A0.10')
где все члены в левой части, кромз последнего, являются обычными инте-
интегралами Лебега от выборочных функций. Последний интеграл слева был
определен в § 9 для функций /* таких, что
оо оо
\ \f(t)\dt< СО , \ )?* \ f Q.)\* dF (к) < СО,
—ОО —СО
где
Интеграл в правой части A0.10') был определен в § 2 гл. IX для функ-
функций /* таких, что
1) См., впрочем, примечание на стр. 472 н указанную там литературу. — Прим. ред.

492 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
Мы сейчас покажем, что A0.10') верно с вероятностью 1 для любой беров-
ской функции, удовлетворяющей всем этим условиям (они будут выполнены,
например, если функция /* непрерывна и имеет непрерывную производную
в некотором конечном замкнутом интервале и обращается в нуль вне этого
интервала). Для доказательства равенства A0.10') достаточно заметить,
что, согласно правилам интегрирования, выведенным выше [см. особенно
(9.5)], левая часть A0.10') может быть представлена в виде
{ dz*(k) \ -I .f*(t)e^dt= \ f(-k)dz*(K)= \ f*(t)dz{t)
[здесь используется тот факт, что процесс z(X) является преобразованием
Фурье процесса z* ().)].
Предположим теперь, что, обратно, х (t) — стационарный в широком
смысле процесс, имеющий первые р—1 производных, и что существует
процесс z(t) с ортогональными приращениями, удовлетворяющими условию
Е {\dz(t) |2} = dt, для которого выполняется равенство A0.10) [в смысле
A0.10')]. Докажем, что в таком случае спектральная функция F абсолютно
непрерывна и соответствующая спектральная плотность имеет вид F' (X) =
= | 2 Bjk' | ~2. Основная идея доказательства состоит в том, что (фиктив-
(фиктивный) процесс z'(t) имеет постоянную спектральную плотность, равную 1,
а левая часть равенства A0.10), рассматриваемая как результат примене-
нпя к процессу x(t) линейной операции с ядром 2-В^к', имеет спектраль-
ную плотность | 2 В^' |2 F' ().); приравнивая эти две спектральные плот-
плотности, мы получаем требуемый результат. Более строго мы исходим из
того, что в силу A0.10') для любой функции /*, удовлетворяющей указан-
указанным выше условиям, с вероятностью 1
оо ? — 1 оо
2 (Дг *(Л @ Л + —Э-„- dx(?-n {t) 1 = ^ /* (_ s +1) dz(t).
co j=0 Vl' -co
Но величина в левой части этого равенства является результатом примене-
е>
ния к хA) линейной "операции с ядром f СК) 2. В Л', так что процесс в ле-
о
вой части имеет спектральную функцию, равную
В правой части равенства стоит процесс, получаемый с помощью скользя-
скользящего суммирования и имеющий спектральную функцию
Приравнивая эти две функции, мы находим, что любая точка разрыва
функции F должна совпадать с нулем функции 2.-^А; и что в промежутках
о

§ 10. РАЦИОНАЛЬНЫЕ СПЕКТРАЛЬНЫЕ ПЛОТНОСТИ 493
между точками разрыва функция F абсолютно непрерывна и имеет произ-
производную
Так как функция F' должна быть интегрируема, то знаменатель здесь не
может обращаться в 0. Но в таком случае функция F непрерывна и имеет
тот самый вид, который требовалось получить.
Для теории прогноаирования важно знать, когда процесс z'(t) в равен-
равенстве A0.10) ортогонален прошлому процесса x(t), т. е. когда
E{[z (*,)-г (*,)]*(*)} = 0, s<.t<ti<i2.
Сейчас мы покажем, что это условие выполняется тогда и только тогда,
когда все корни многочлена У В г' имеют положительные мнимые части.
о '
Действительно, если функцию /* в A0.10') определить равенством
то мы найдем, что
О в остальных случаях,
1ТО
Левую часть последнего равенства можно представить в впде
о
0
A
Если корни многочлена > Bz' имеют положительные мнимые части, то
"о" '
з. _
корн» многочлена ^_ В z' имеют отрицательные мнимые части, и из теории
и '
вычетов немедленно вытекает, что последний интеграл равен нулю. Те же
самые соображения показывают, что этот интеграл ве будет тождественным
нулем при всех s, tlt 1„, удовлетворяющих указанным неравенствам, если
хотя бы один из корней многочлена 2! В,2' имеет неположительную мпи-
о
мую часть.
<\
Таким образом, если F'Q.)= v В х' ~2, то выборочные функция процесса
о
удовлетворяют стохастическому дифференциальному уравнению A0.10)
весьма простого вида. Так как \). — с ' = ' X — ? | при действительном J/ /• и так
как при изучении уравнения A0.10) мы не предполагали, что все корни
многочлена 2. Bjz' имеют положительные мнимые часта, то коэффициенты

494 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
В;., а следовательно, и само дифференциальное уравнение могут быть
изменены простой заменой корней на их сопряженные, причем сам процесс
не иаменится. Таким образом, выборочные функции данного процесса удо-
удовлетворяют многим дифферевциальным уравнениям вида A0.10), но среди них
имеется лишь одно, для которого процесс z' (t) ортогонален прошлому про-
процесса x(t) в указанном выше смысле, а именно — уравнение, для которого.
все корни многочлена ^ В^' лежат в верхней полуплоскости.
Дифференциальное уравнение A0.10) относится к типу уравнений,.
решения которых хорошо известны; в нашем случае решение дается фор-
формулой
е-1 ' '
(t-s)dz(s), t>t0, A0.11).
где аа, ... , ар_1, g —функции, которые могут быть явно выражены через
заданные коэффициенты Бо, ... , В$. Конечно, в обычной теории дифферен-
дифференциальных уравнений такое решение уравнения A0.10) рассматривается лишь-
для случая, когда z' (t) в правой части A0.10) есть детерминированная (не
вероятностная) функция от I; однако правая часть равенства A0.11) опреде-
определена и в рассматриваемом нами вероятностном случае, и, поскольку правила
обращения со стохастическими интегралами совпадают с правилами обра-
обращения для обычных интегралов, процесс x{t), определяемый этим равен-
равенством, действительно удовлетворяет A0.10) [т. е. A0.10')]. Если корни.
многочлена ^ Bfz' все имеют положительные мнямые части, то, как мы
видели, приращения процесса z, фигурирующего в A0.11), ортогональны
ко всем случайным величинам x{t) с t< t0. Следовательно, в этом случае-
интеграл в A0.11) также ортогонален ко всем хB) с '<?„, так что
является проекцией x(t) на прошлое этого процесса вплоть до момента t0.
В частном случае, когда Р=1, наш процесс является марковским
в широком смысле. В этом случае A0.11) обращается в
-ьс-») dz(s), i = ^2«, A0.11')-
(о
где уравнение Во4-Btz = 0 имеет единственный корень— -^—-., мнимая часть
которого положительна, так что Ъ име- ' положительную действительную
часть. При tn—*¦ — ос равенство A0.11') дает
(
x(t)=~- ^ e-b«-Vdz(s)- A0.12')-
—оо
таким же образом A0.11) дает
*(9= $ g(t-s)dz(s). A0.12)
Последнее выражение показывает, что х (t) является процессом, получаемым
с помощью скользящего суммирования специального типа: х(?) зависит
только от прошлого процесса z. Формула A0.12') для марковского в ши-
широком смысле процесса уже выписывалась нами в § 3 (см. пример 2).

¦И. СТАЦИОНАРНЫЕ В ШИРОКОМ СМЫСЛЕ ПРИРАЩЕНИЯ 495
§ 11. Процессы со стационарными в широком смысле приращениями
Предположим, что ... , ха, xlt ...—случайные величины такие, что
для всех т, п
E{|*n-xJ*}<«
и что функция
r(mv n,; т2, л2) = Е {(хП1 — хт1) (х„2 - хт,)}
не меняется прп сдвигах оси параметра, т. е. что
r(mx-f h, n1Jf h; m2-\-h, n2-\- h) = r(m1, nx; m2, re2)
для всех целых h. В этом случае мы будем говорить, что величины хп
образуют процесс со стационарными в широком смысле приращениями.
Случай непрерывного параметра получается отсюда, если допустить, что
значениями параметра могут быть любые действительные числа; при этом
мы будем всегда дополнительно предполагать, что выполняется следующая
гипотеза непрерывности:
lira Е {| х U + h) - х (t) | 2} = lira г @, h; О, К) = О
[вместо х, мы здесь пишем x(i)]. В случае дискретного параметра процесс
хп имеет стационарные в широком смысле приращения тогда и только
тогда, когда разности ... , хх — х0, x2 — xlt ... образуют обычный стацио-
стационарный в широком смысле процесс. В этом случае, очевидно, мы имеед
право написать
где у (X) —процесс с ортогональными приращениями. Следовательно, здесь
*n-*m=2 (*,«-*,)= \ e2,u . dy (X) A1.1)
1/
V2 ^Ы1\_е2тЧт1\це2г1пг\_е2тпт,.
-1/2
Основной целью последующего анализа является вывод аналогичных фор-
формул для случая непрерывного параметра; только этот случай и будет
рассматриваться в дальнейшей части параграфа.
Пример 1. Если процесс 2^ (г) стационарен в широком смысле, то
величины x(t)= \ x1(s)ds образуют процесс со стационарными в широком
о
смысле приращениями.
Пример 2. Если процесс xx(t) стационарен в широком смысле и х0 —
произвольная случайная величина, то величины x{t) — xa- ?,(/) образую?,
процесс со стационарными в широком смысле приращениями. Если спек--
тральное представление процесса x1(t) имеет вид
оэ
*i W = \ e2nia dyt (X), Е {| dyx (X) |2} = dFx (X),

',% ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
то, очевидно,
со
x(t)-x (s) = \ (е2л1а — е2™1) dyx (X),
r(slt ti, s2, tt)=
В дальнейшем будет показано, что процесс, рассмотренный в примере
2, аппроксимирует общий случай в том смысле, что каждый процесс со
стационарными в широком смысле приращениями допускает спектральное
представление
х@-*(*)= \ —=^A+\>У'*с1у(к), A1.1')
—оо
где у (X) — процесс с ортогональными приращениями такой, что
и //—ограниченная монотонная функция. Ясно, что формула A1.1') всегда
определяет процесс со стационарными в широком смысле приращениями,
для которого
«!, «i! «„ t2) = E[[x(t1)-x(si)][x(Q-x(s2)}} =
= \ ' 4& } A+Х')<МГ(Х) A1-2')
[в A1.1') и A1.2') подинтегральные функции в точке Х==0 определяются
по непрерывности: первая из них в этой точке равна t — s, вторая раваа
(*i~ si) (h — si)]- Формулы A1.Г) и A1.2') представляют собой аналоги
формул A1.1) и A1.2) для случая непрерывного параметра. Если \ —^у- < со
(и только в этом случае) формула A1.1') может быть переписана в том
виде, какой мы имели в примере 2:
= z@)-y1{co)-{-y1( —
В наиболее общем случае, согласно A1.1'), величина х (t) может быть
аппроксимирована суммой вида
где величины уп, уи ... —взаимно ортогональны.
Для вывода представления A1.1') наметим, что если x(t)— про-
процесс со стационарными в широком смысле приращениями, • то процесс

§ 11. СТАЦИОНАРНЫЕ В ШИРОКОМ СМЫСЛЕ ПРИРАЩЕНИЯ
497
{z[(rc + l)/m] — х(п/т), л = 0, ±1, ...}, зависящий от дискретного пара-
параметра будет стационарным в широком смысле (т — любое фиксированное
число). Спектральное представление последнего процесса после замены
переменной интегрирования может быть записано в виде
Г
-<?)=
Г
—т/2
где ymQ-) — процесс с ортогональными приращениями такими, что
Отсюда вытекает, что если t есть цзлое кратное числа 1/т, то
"г* „*«*" 1
так что
—т/2
т/2
— т/2
e2itiU/m j
и, вообще, если числа slt tlt s2, /2 все являются целыми кратными числа
1/т, то
Е {[х (О - х (Sl)] [x(i2)-x(s2);j =
-т.2 '
Если теперь определить функцию Нт формулой
а.
A 1){е2ш^т_1
2s
то мы будем иметь
— т/2
Нам *будет удобно доопределить функцию Нт(\), положив ее равной
Нт(тB) при \>т/2 и равной Ят( —т/2) = 0 при Х< —т/2. Ниже
будет показано, что последовательность [Нт] ограничена и что величина
равномерно мала при больших а. В силу теоремы Хелли отсюда вытекает,
что из нашей последовательности можно выделить сходящуюзя подпосле-
подпоследовательность {#<!.,}• Обозначим предельную функцию этой подпоследова-
подпоследовательности через Н. Пусть sv tx, s%, /2 - ироизвольные числа. Подставляя
в предыдущее соотношение ближайшие к s17 /x, s.2, t2 целые кратные
числа 1/т а полагая затем, что т стремится к бесконечности но подпо-
подпоследовательности \ап), мы и придем к требуемому равенству A1.2'). Таким
образом, нам остается только доказать указанные выше свойства последи-

498 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
вательности {Нт}. Прежде всего, если t — целое кратное числа 1/т, то
m/2
«
^-* ^ят о.) > J2 J *ят (х) A1.3)
—m/2
для любого а, если только t настолько мало, что ta < 1/2. Далее, если
N — произвольное положительное целое число, то
m/2 JV
-m/2/=
-m/2
так что если N/m — l^-1/а, то
JV
лт / ( J
i=i
цг>«
Поскольку, согласно нашей гипотеза непрерывности, левая часть этого
неравенства стремится к нулю при t —> 0, то и правая часть должна стре-
стремиться к нулю (равномерно относительно т) при а—>со. Кроме того,
соединяя A1.3) с A1.4), немедленно получаем, что последовательность {Нт}
ограничена. Тем самым доказательство требуемых свойств последователь-
последовательности {Нт}, а следовательно, и равенства A1.2'), завершено.
Прежде чем выводить соотношение A1.1'), мы рассмотрим интегралы вида
/*(t)dx(t),
где х (г) — процесс со стационарными в широком смысле приращениями,
удовлетворяющий A1.2'), и /*— фиксированная функция. Как обычно,
мы сперва очевидным образом определим интегралы такого вида для про-
простых ступенчатых функций /*, т. е. для функций, обращающихся в нуль
при больших t и имеющих только конечное число различных значений,
каждое из которых принимается на каком-либо интервале или же на ко-
конечном числе интервалов. Если теперь мы снова воспользуемся нашим
обычным соглашением относительно функций, обозначаемых одной и той же
буквой со звездочкой или без звездочки, т. е. положим
—ОО
то для рассматриваемого класса функций /*B) в силу A1.2') будет иметь
место равенство
оо оо
{| 5 f} J + V)dH{\); A1.5)

§ 11. СТАЦИОНАРНЫЕ В ШИРОКОМ СМЫСЛЕ ПРИРАЩЕНИЯ 499
справедливым будет также и следующее, более общее равенство
Е { ^ f*(t)dx(t) $**@<fc@}= [ /WsW(i + >-2)<2tfW- A1-5')
Распространим теперь наше определение интеграла на более широкий
класс функций так, чтобы равенство A1.5') оставалось в силе. Функ-
Функциями /*, которые мы теперь будем рассматривать, будут беровские
функции, интегрируемые на любом конечном интервале и такие, что
предел
А
e2*»-'/* (i) dt
А-юо
существует при всех \ и удовлетворяет условию
oo. A1.6)
—00
Если принять за расстояние между случайными величинами обычное
среднее квадратичное расстояние
а за расстояние между функциями /* — среднее квадратичное расстояние
с весовой функцией A+X2)dtf (X) между соответствующими функциями /,
00
\
то наш стохастический интеграл будет устанавливать соответствие между
некоторыми функциями переменного X (а именно, простыми ступенчатыми
функциями) и случайными величинами, являющееся линейным (т. е. пере-
переводящим лпнейные комбинации в такие же линейвые комбинации)
и сохраняющим расстояние [последнее в силу A1.5)]. Но в таком случае
стохастический интеграл можно доопределить по непрерывности для всех
функций /, удовлетворяющих условию A1.6), а-следовательно, и для всех
функций /* из рассматриваемого нами класса (ср. аналогичное рассужде-
нне в,§ 2 гл. IX). Равенство A1.5'), разумеется, останется в силе, так
как оно выполняется для простых ступенчатых функций. В частности,
если процесс x(t) стационарен в широком смысле, то наш стохастический
интеграл сводится к интегралу, определенному в § 9.
Мы можем теперь перейти к выводу формулы A1.1'). Если эта форт
мула верна и если
х
то после формального дифференцирования A1.1') переходит в равенство
оо
*'(*)= [ e**"y'(\)dk,
— оо
так что следует ожидать, что обратная формула, выражающая у (X) через
x(t), будет получаться интегрированием из обращения нашего последнего

500 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
соотношения, т. е. из формулы
у'(Х) =
И действительно, мы покажем, что если определить у (к) соотношением
[где всегда допустимо считать у (X) нормированным так, что у (Х + 0) = у (К)],
то процесс у (X) будет иметь ортогональные приращения; если затем
перейти от у('к) к новому процессу г/(Х), положив
> A1.7)
то у (X) также будет иметь ортогональные приращения с Е {| dy (X) |2} = dH (X)
{где предполагается, что Н (X -)-0) = Н (X)] и для г/(Х) будет выполняться
соотношение A1.1').. В самом деле, из написанной выше формулы для у (к)
следует, что
(Заметим, что фигурирующий здесь стохастический интеграл, так же как
и интеграл, входящий в определение у (X), относится к числу тех, кото-
которые были определены нами выше.) Следовательно, в силу A1.5) и A1.5')
х»
Е {| У (Х2) - у (Хх)|2} = ^ A + X») dH (X), Хх < Х2,
Е {[у (Ы - у №i)] [JW-J(fi)])=0, Xi < х, < ft < (ч,
если только Хх, X,,' [1Х, ji2 являются точками непрерывности функции Н (X).
Таким образом, процесс у (X) имеет ортогональные приращения для зна-
¦чеиий X, в которых функция Н (X) непрерывна; что же касается точек
разрыва функции Н(Х), то в них мы положим г/(Х + О) = у(Х). Если
считать также, что Н (Х-\-О) = Н(Х), то мы будем иметь, очевидно,
;E{!<fi/(X)|2} = (l -\-\2)dH (к). Учитывая, что г/(Х) определяется равен-
равенством A1.7), получаем отсюда, что Е {| dy (>.) |2} = dH (X). Заметим. теперь,
что если функция /(X) равна 1 на конечном интервале, концы которого
являются- точками непрерывности функции Н (X), и равна 0 вне него, то
действительно, в этом случае написанное соотношение сводится к опреде-
определению процессов у (к) и у(Х). Обычные рассуждения показывают, что в таком
случае наше равенство справедливо (с вероятностью 1) п для любых функ-
пий /, /*, для которых интеграл в правой части A1.8) имеет смысл.
В частности, если предположить, что функция /* равна 1 на конечном
интервале и равна 0 вне него, то A1.8) обратится в искомое равенство A1.1').

§ 11. СТАЦИОНАРНЫЕ В ШИРОКОМ СМЫСЛЕ ПРИРАЩЕНИЯ
501
После" того как формула A1.1') доказана, немедленно выводится, что
процесс г/(Х), фигурирующий в этой формуле, определяется (с обычными
оговорками) однозначно. Действительно, из A1.1') следует, что если
у(К + О) = у{'к), #(Х + О) = #(Х), то для функции f*(t), равной 1 на ко-
конечном интервале и 0 вне него, справедливо A1.8). Но в таком случае фор-
формула A1.8) верна также и для всех функций /, /*, для которых интеграл
в ее правой части имеет смысл. Если, в частности, положить/(X) равным 1
на некотором конечном интервале, равным 1/2 в конечных точках этого
интервала и равным 0 вне этого интервала, то A1.8) обратится в равенство
_ г° e-2*u2'-e-2*ai'
J —2vit y '" v '
Взяв математическое ожидание от квадрата модуля обеих частей равен-
равенства A1.9), мы придем к формуле, определяющей функцию И,
$
со _
-2tU,f
1' dx(t)f}
A1.10)
(здесь Хх и X, — точки непрерывности Н). Правая часть A1.10), разумеется,
может быть выражена и через корреляционную функцию r(slt tx\ s2, t2).
Пример 1 {продолжение). Если процесс хг (t) стационарен в широком
смысле, то из его спектрального представления мы получаем, что
Таким образом, в этом случае процесс х (?), определяемый интегралом
в левой части, имеет стационарные в широком смысле прирашения, причем
процесс у(\) и функция Я (а.), фигурирующий в его спектральном пред-
представлении A1.1'), находятся из соотношений
Таким образом, в этом случае \ Х2йЯ(Х)<оо. Обратно, если процесс
— оо
х (г) пмеет стационарные в широком смысле приращения и если
00
\ X2d#().) < со, то A1.1') можно переписать в виде
—оо
S2nit\ a2nisX
=-^r dИ, (X),
— оо
X
Так как

502 ГЛ. XI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ
где l.i.m. обозначает предел в среднем с весом A -\-\2)dH(\), то
@=
Определенный последним равенством процесс xt(t) стационарен в широком
смысле; естественно назвать его производной процесса x(t). Если процесс
х(г)сеиарабелен, то его выборочные функции почти все абсолютно непрерывны
в x1(t) = x' (t) (ср. обсуждение примера 1 в § 9). Таким образом, мы доказали,
что процесс со стационарными в широком смысле приращениями совпадает
с процессом примера 1, т. е. имеет производную тогда и только тогда,
когда
со
х2сгя(х)< со.
Мы уже видели в настоящей главе, что процесс х {t) со стационарными
в широком смысле ортогональными приращениями удовлетворяет условию
Е {| otr (i) |2} = с2 di и во многих отношениях ведет себя так, как если бы
его производная х' (t) существовала и была стационарным в широком
смысле процессом с постоянной спектральной плотностью а2. Если отка-
отказаться от требования ортогональности приращений, то мы придем к про-
процессам, рассмотренным в настоящем параграфе, и результат формального
диффзренцирования равенства A1.1'), т. е. соотношение
x'(t)= \ е2»*» A + X»I/» dy (a.),
-оо
показывает, что наиболее общий процесс со стационарными в широком смысле
приращениями ведет себя так, как если бы его производная х' (t) существовала
и была стационарным в широком смысле процессом со спектральной функ-
х
цией \ A+Н-2) dH{p). [На самом деле эта функция от X, разумеется,
—оо
не всегда является спектральной функцией некоторого процесса, так как
со
интеграл' \ A + Ц2) dH (р.) может быть бесконечным.] Смысл этого послед-
— 00
него не вполне четкого утверждепия точно такой же, как и в частном
случае процесса с ортогональными стационарными приращениями, и мы
не будем на нем более задерживаться. Заметим, однако, что наше
утверждение имеет совершенно строгий смысл, если только существует
производная рассматриваемого процесса; заметим также, что формальное
дифференциальное уравнение
при любом процессе x{t) со стационарными в широком смысле прираще-
приращениями может интерпретироваться точно так же, как и в рассмотренном
в § 10 случае, где предполагалось, что приращения этого процесса орто-
ортогональны. Всегда существует стационарный в широком смысле процесс

J 11. СТАЦИОНАРНЫЕ В ШИРОКОМ СМЫСЛЕ ПРИРАЩЕНИЯ 503
X(t), являющийся решением этого уравнения; спектральная функция
такого процесса равна
В частности, если x(t)— процесс с ортогональными приращениями, то чи-
числитель подпнтегральнои функции обращается Bconst.dfi, как это бьло
подробно рассмотрено в § 10.

Глава XII
НАИЛУЧШЕЕ (В СМЫСЛЕ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ)
ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ СТАЦИОНАРНЫХ В ШИРОКОМ
СМЫСЛЕ ПРОЦЕССОВ
[§ 1. Общие принципы (случай дискретного параметра)
Пусть {хп, —со < п < со} — стационарный в широком смысле процесс
со спектральной функцией F. В дальнейшем меру \ dF (к) множеств Е мы
будем кратко называть «мерой F». Это есть мера Лебега—Стильтьеса
на оси X; соответствующие измеримые множества и измеримые функции
мы будем называть множествами и функциями, измеримыми относительно F
(они, очевидно, включают все борелевские множества и все беровские функ-
функции). Нам будет удобно ввести специальные обозначения для некоторых
замкнутых линейных многообразий случайных величин (см. §§ 1 и 2 гл. IV)
и соответствующих многообразий функций, измеримых отвосительно F.
В последнем случае мы всегда будем пользоваться весовой функцией dF(k),
т. е. замыкание наших совокупностей функций будет всегда пониматься
относительно среднего квадратичного расстояния, получаемого при инте-
интегрировании по мере dF (X). В приводимом ниже списке многообразий 5ДО {...}
обозначает замкнутое линейное многообразие, порожденное элементами или
множествами элементов, указанными в скобках.
Xj, — со < / < со} = ЮЗЛ = Ш {е2я?л, — со</<со} =
Ясно, что функции из ПЗЛ совпадают с функциями из m3)Ji помноженными
на е2*'^—т>4 Многообразие аЯЯ состоит из всех функций Ф, измеримых
1/2
относительно F и таких, что \ |'!>(>.) \2 dF (X) < со. Действительно, удо-
-1/2
влетворяющие этим условиям функции Ф, очевидно, определяют замкну-
замкнутое линейное многообразие ЯК, причем ооЗ}?С1ЭЛ> поскольку e2"iia63ft
при любом п. Обратно, элементарные рассуждения с рядами Фурье пока-
показывают, что „ЯЛ. содержит любую функцию, принимающую конечное число
значений (каждое из нпх —на некотором интервале); поскольку эти функ-
функции всюду плотны в 3JJ, то из свойства замкнутости вытекает, что ШСсоШ-
Рассмотрим задачу об аппроксимация величины хп+у такой линейной
N-i
комбинацией 2 bjXn^j, при котором средний квадрат ошибки
;=0
E{|in+V- S Ь,хп-А*}
,=о
будет минимальным. Мы уже доказали в § 3 гл. IV, что при любом фи-
фиксированном N такая минимизирующая линейная комбинация всегда суще-
существует. Эта комбинация, которую мы обозначили через Ё {хп+ч | Zn-w+i, ..-i^},

§ 1. ОВЩИВ ПРИНЦИПЫ (СЛУЧАЙ ДИСКРЕТНОГО ПАРАМЕТРА) 505
является проекцией величины zn+v на линейное многообразие, порожден-
порожденное случайными величинами zn-;v+i> ...,xn. Если не ограничивать значе-
значения N, то нашу задачу можно будет сформулировать следующим образом:
требуется найти такое <р€ЭД?„> Для которого Е {| хп+у — <р |2} принимает наи-
наименьшее значение. И в этом случае всегда существует решение E{zn+V| 9J?n},
являющееся проекцией величины хп+., на многообразие 3J}n. В обоих слу-
случаях решение единственно с точностью до значений на множестве вероят-
вероятности 0 (см. § 3 гл. IV).
В частном случае, когда процесс действительный и гауссовский
и Е {Xj} — 0 при всех /, искомыми решениями являются условные матема-
математические ожидания величины хп+ч относительно семейств случайных вели-
величин xn-n+i хп, и соответственно, ..., xn_lt xn. Напоминаем, что про-
проекции мы называли также условными математическими ожиданиями в ши-
широком смысле.
Случайные величины Ё {arn+v | xn-N+i, ..., хп} и Ё {хп+~, \ ..., хп_х, хп]
называются наилучшим линейным прогнозом величины хп+ч по зна-
значениям zn_iv+i, •••, хп, и, соответственно, по значениям всего прошлого
процесса {хп} до момента п.
Мы не будем здесь детально рассматривать задачу об отыскании наи-
наилучшего (в смысле метода наименьших квадратов) нелинейного прогноза
величины zn+v и ограничимся лишь замечанием об определении такого
прогноза и о его существовании. Задача о ваилучшем нелинейном прогнозе-
заключается в приближении величины хп+у функцией f (хп, ..., ?n-;v+i),
при которой средний квадрат ошибки приближения
Е{\хп+У— f(xn, ...,xn-N+i)\2}
оказывается наименьшим. Функция / является здесь случайной величиной,
измеримой относительно семейства величин хп_м+1> ¦•¦,хп; при этом пред-
предполагается, что E{|/j2}<co. Допустимые случайные величины (при фи-
фиксированных N и п) составляют замкнутое линейное многообразие, и всегда
имеется единственное решение /, для которого достигается минимум ошибки
приближения, а именно проекция g величины zn+v на это линейное много-
многообразие. Это решение g полностью характеризуется тем, что оно принад-
принадлежит указанному выше многообразию и что разность хп+у — g ортогональна
к этому многообразию. Но этн два свойства характеризуют функцию
E{a;n+v]arn_iv+i xn}. Следовательно, g есть обычное условное математи-
математическое ожидание. Таким образом, случайные величины
E{3n+v|sn-iv+i. • . .,*„} и E{a:n+v|a-n_iv+i. •••¦«„}
являются, соответственно, наилучшим линейным и просто наилучшим
(не обязательно линейным) прогнозом величины ?n+v. Распространение всего
сказанного на прогноз по всем прошлым (до момента п) значениям про-
процесса совершенно очевидно. В частности, если рассматриваемый процесс
действительный и гауссовский с Е {х,} = 0 при всех /, то наилучший
линейный и нелинейный прогнозы совпадают между собой. На языке § 3
гл. II линейный прогноз можно назвать общим прогнозом в широком
смысле.
Заметим, что, согласно теореме 7.4 гл. IV и ее аналогу в узком
смысле — теореме 4.3 гл. VII, имеют место равенства:
l.i.m. E{a:n+v|a:n-iv+t хп} = Ъ{хп+у\тп},
IV -*¦ со
lim E {xn+v | xn~N+i, ...,xJ = E {хп+ч \ . ¦ ¦, хп_г, хп]
.V-*co
(во втором случае предел является пределом с вероятностью 1). Эти пре-
дельпые равенства оправдывают использование прогноза, опирающегося

506 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
на конечный отрезок прошлого процесса, для аппроксимации прогноза
по всему прошлому.
В остальной части настоящей главы мы будем рассматривать почти'
исключительно прогноз, опирающийся на знание всего прошлого процесса.
Наилучший линейный прогноз величины хп+у по прошлому до момента л
мы будем обозначать через <pn>v,
§ 2. Наилучший линейный прогноз как полиномиальная аппроксимация
В настоящем параграфе существенную роль будет играть спектральное
представление процесса хп,
V»
Xn= ^ e««t»xdy(x), E{\dy(\)\*} = dF(l), B.1)
-i/j
где у(\) — процесс с ортогональными приращениями. Мы видели в § 2
гл. IX, что если ФбсоЗДО, то стохастический интеграл
^ B-2)
-1/2
определяет случайную величину с Е{|<р[а}<со. Например, если Ф =
И й § 2 . IX
р уу у {р} р
то <? = хп. Из рассмотрений § 2 гл. IX немедленно вытекает, что p
и что, обратно, любой случайной величине убЭКоо соответствует функция
ФбооЗЛ, для которой выполнено B.2). Случайная величина <р однозначно
•определяется функцией Ф с точностью до значений на множестве вероят-
вероятности 0, а функция Ф однозначно определяется случайной величиной <р
с точностью до значений на множестве нулевой меры F. Многообразие 2JJn
•соответствует при 'этом многообразию n2JJ, а 50}_от соответствует _oo3)J.
Любой конечной сумме 2 TiAi соответствует сумма 2 Tne2ltinl> причем
п
E{|taI2} =
Используя это соответствие, задачу об отыскании <po,v можно следующим
образом сформулировать на языке функций от X: требуется найти функцию
¦ФубоЗК' минимизирующую интеграл
-1/8
Другими словами, требуется аппроксимировать функцию e2llivi- линейной
комбинацией функций {е2к1пХ, л<0}. Равенство
1/2
;=0 -i;i ;=0
устанавливает точную эквивалентность этих двух задач. Решение Фч

2. ПРОГНОЗ КАК ПОЛИНОМИАЛЬНАЯ АППРОКСИМАЦИЯ 507
является проекцией e2lIiv* на 0Щ; очевидно, оно определено однозначно
с точностью до значений на множестве нулевой меры F. В сплу соответ-
соответствия B-2)
l/l
-Г/,
аналогично, в более общем случае
B.3)
С некоторой точки зрения рассмотренные здесь две задачп об аппро-
аппроксимации, одна в терминах случайных величин, а другая в терминах
функций от )., не только эквивалентны, но даже тождественны. В самом
деле, предположим для простоты, что F(oo) = l, и определим вероятность
как меру, задаваемую функцией F на оси X. Тогда последовательность
{e2lzinX, — со < п < со} будет последовательностью случайных величин, ста-
стационарной в широком смысле и имеющей спектральную функцию F. Задача
о прогнозе для этого вероятностного процесса, очевидно, в точности сов-
совпадает с задачей о прогнозе для процесса хп, сформулированной на языке
функций от X.
В этой последней формулировке задача о прогнозе для стационарной
последовательности тесно связана с классической задачей о приближении
много членами. В самом деле, рассмотрим задачу о минимизации величины
\P(z) — z~v|, где •» > 0 фиксировано, а Р пробегает всевозможные много-
многочлены степени N — 1. Если «минимизацию» понимать как «минимизацию
среднего квадрата по окружности | г | = 1 с произвольной весовой функцией»,
то наша задача сведется к нахождению многочлена P(z), минимизиру-
минимизирующего интеграл
»/«
V j-jP(e2»il)—е-^'^рй/'р.)
-Уз
JV-1
при заданных v и F; если P{z)= 2 bjZ1, то этот интеграл обращается в
1/2 N-l
{ |xn+v-
-l/a 0 ;=0
Такпм образом, эта задача аппроксимации многочленами совпадает с тем,
что мы выше назвали задачей о прогнозе по конечному отрезку прошлого.
Функция Фу будет называться прогнозирующей функцией на v шагов
вперед. Если о^ — средний квадрат ошибки этого прогноза, то, очевидно,
1/2
c!v=E{|zn+v-9n,vl*}= ^ |«2»*1_фч(х)р«Н?(х). B.4)
-Vj
Так как а', равно нижней грани квадрата ошибки при аппроксимации
величины хп+ч линейной комбинацией случайных величин . .., xn_lt xn,
а s\+l — нижней грани квадрата ошибки при аппроксимации хп+ч ляяей-
нон комбинацией величин ...,жп_2, xn_v то ясно, что Оу<а^+1- Таким
образом,

508 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
Если о\ > 0, то процесс называется регулярнымх), а если а\ = 0 то сингу-
сингулярным или детерминированным. В регулярном случае xntl не принадлежит
Шп, так что последовательность линейных многообразий ..., 3J?0,50Ji, .. • стро-.
го возрастает. В сингулярном случае xntl принадлежит 3Rn, так что все эта
линейные многообразия совпадают между собой, каждое из них совпадает
с ЗКооИ все <jj равны нулю. Заметим, что в регулярном случае последователь-
последовательность оу может не быть строго возрастающей; так, например, если хп
образуют ортонормированное множество случайных величин, то о5=.о' = ... = 1
см. § 3). В сингулярном случае прошлое процесса, очевидно, полностью
определяет его будущее. Это может быть верно и в регулярном случае,
но в регулярном случае будущее не может быть полностью определено
с помощью линейных операций, примененных к прошлому.
В дальнейшем мы полностью решим задачу о прогнозе, найдя явные
выражения для <pn,v и ®v Заметим, что формально, если Фу дается рядом
<Pv(X) = f ie-^A,
то ipn,v дается формулой
представляющей 9n,v B виде результата применения явной линейной операции
к прошлому процесса. Может случиться, однако, что Ф7 нельзя будет
представить в виде простой суммы сходящегося ряда такого вида; при этом
9n,v также будет выражаться более сложной формулой.
§ 3. Решение задачи о прогнозе для простевших случаев
(случай дискретного параметра)
В качестве тривиального примера рассматриваемой задачи о прогнозе
упомянем случай, когда величины хп взаимно ортогональны, так что
Здесь zn+v ортогонально к 9J?n, так что on,v (ш)=0 и <PV(X) = O. Заметим,
что мы не предполагали, что Е {ж;} = 0.
Предположим теперь, что спектральная функция F абсолютно непре-
непрерывна и что
*0. C.1)
*W—в—* ¦
.12 Viftl*
о
Так как функция F' должна быть интегрируемой, то многочлен 2 Bjz'
не может обращаться в нуль при |zj —1. Изменив, если надо, коэффици-
коэффициенты Bjt мы можем, не меняя при этом значений многочлена на окружности
|z| = l, добиться того, чтобы все корни этого многочлена были по мо-
модулю меньше 1 (см. гл. X, § 10). Тогда (см. гл. X, § 10, случай 2) вели-
величину xntl можно представить в виде
^n_?+I) + %i, C-2)
') В работах на русском языке, следуя А. Н. Колмогорову [11], процесс {хп}
обычно называют регулярным лишь в том случае, когда о| > 0 и limap, = E \,rj|> (или,
что эквивалентно этому, тогда и только тогда, когда а| > 0 и спектральная функция F
процесса абсолютно непрерывна). —Прим. ред.

§ S. ЗАДАЧА О ПРОГНОЗЕ ДЛЯ ПРОСТЕЙШИХ СЛУЧАЕВ 5(Л
где величины 1;- образуют ортонормированную последовательность, и каж-
каждое In.i ортогонально всем случайным величинам ..., xn_v хп, т. е. ортого-
ортогонально 50Jn. Это значит, что величина
<Pn,i= — -B-{B^ixn + ... + Boxn^+i) C.3)
является прогнозом величины xntl по известным значениям ..., хп_л% хп,
поскольку здесь <pn,i € ЭД}„ и разность xnfl — onil = tnfl/B$ ортогональна
многообразию Шп- Прогнозирующая функция Ф1 в этом случае дается
формулой
1
Средний квадрат ошибки прогноза (на один шаг вперед) равен
2 \ 1
Для нахождения прогноза на большее число шагов вперед следует итери-
итерировать формулу C.2). Например,
"" Bi ?~* n+1 ° " ?+2 Б?
Последнее равенство показывает, что ipn,2 равно сумме членов в правой
части, содержащих величины Zn-p+i, .. ., хп; при этом
Особый интерес представляет случай р=1 (случай процесса, марков-
марковского в широком смысле). В этом случае (см. гл. X, § 3, пример 2) наши
•формулы принимают особенно простой вид:
I C.4)
Заметим, что on_v>v, т. е. прогноз хп по прошлому вплоть до хп~^, стре-
стремится к нулю при v—> со. Иными словами, прогнозируемое значение хп,
основанное на отдаленном прошлом процесса, близко к нулю, а соот-
соответствующий средний квадрат ошибки близок к R @) = Е {|zn|2}.
Процессы со спектральной плотностью C.1) все регулярны п обладают
тем свойством, что прсгноз <?п,\ здесь зависит только от конечного числа
прошлых* значений процесса. Обратно, регулярный процесс, обладающий
последним свойством, должен удовлетворять разностному уравнению вида
C.2), где В0Въ = 0, Е {| ?п+112] = 1 и fnt1 ортогонально к Щп. Согласно
§ 10 гл. X, такой процесс хп имеет абсолютно непрерывную спектральную
функцию и спектральную плотность вида C.1), где корни многочлена
2 B.z> все можно предполагать по модулю меньшими единицы.

510 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
Ясно, что процесс является детерминированным и обладает тем свой-
свойством, что ipn,i зависит только от конечного чпсла значений процесса в-
прошлом тогда и только тогда, когда выполняется однородное разностное
уравнение
B?xntl+...+Boxn-?+l=0, ВаВгФЪ C.5)
(мы здесь предположили, что <pn,i зависит точно от 3 прошлых значений
процесса). Для того чтобы такое уравнение имело место, необходимо и до-
достаточно, чтобы спектральная функция F была ступенчатой функцией с ко-
конечным числом скачков. В самом деле,
E{\B?xn±1+...+Boxn-?+i\*} = ^ \B?e^+...+B0\*dF(l). C.6)
-i/г
Если имеет место C.5), то интеграл в C.6) равен нулю, а это возможно
только в том случае, когда F (X) постоянно всюду, кроме самое большее $¦
точек, в которых подинтегральная функция обращается в 0. Обратно, если
функция F является постоянной, за исключением скачков в Р отдельных
точках, то коэффициенты Во, ..., В$ можно подобрать так, чтобы подинтег-
подинтегральная функция в C.6) обращалась в 0 в каждой из этих точек. При
этом интеграл в C.6) окажется равным нулю и, следовательно, будет вы-
выполняться C.5).
Следующий пример представляет собой комбинацию регулярного про-
процесса рассмотренного здесь типа и детерминированного процесса. Пусть.
{ип, —оо < п < со} — стационарный в широком смысле и марковский
в широком смысле процесс со спектральной плотностью
так что в силу C.4) с Вг = 1
Пусть v ортогонально всем ип и Е{|о|2}=1; определим процесс vn, пола-
полагая vn = v для всех п. Спектральная функция процесса vn является сту-
ступенчатой функцией с единственным скачком в нулевой точке:
О, X < О,
и прогноз vn на любое число шагов вперед, разумеется, совпадет с vn..
Положим теперь хп = ип + vn, так что спектральная функция F процесса хп
равна Fu+Fv. Для нахождения прогноза ipn,i величины xntl на один шаг
вперед заметим, что
Последний результат может быть получен или из закона больших чисел
для стационарных в широком смысле процессов (теорема 6.1 гл. X), или
при помощи непосредственного подсчета математического ожидания квадра-
квадрата модуля этого отношения. Случайная величина
C.7).

§ 3. ЗАДАЧА О ПРОГНОЗЕ ДЛЯ ПРОСТЕЙШИХ СЛУЧАЕВ
511
принадлежит Щп, а разность xntl — <р = ип+1 — сип ортогональна ffln. Следо-
Следовательно, o = ipn,ii и мы доказали, что прогноз <рПг1 равен сумме отдель-
отдельных прогнозов сип и vn для процессов ип и vn. Если величины xs в фор-
формуле C.7) заменить на ujr то мы получим в итоге сип, т. е. прогноз- ве-
величины untl; если х. заменить на Vj, то мы получим v = vnfl — прогноз
величины vn.v Итак, вычисление прогнозируемого значения может быть
проведено совершенно одинаково для процессов хп, ип и vn. Иными слова-
словами, прогнозирующая функция может быть выбрана одинаковой для всех
трех процессов; именно можно положить
- с) Шп.
где l.i.m. понимается как предел в среднем с весом dF(X), и, следовательно,
ХфО,
Х = 0.
Мы уже видели, что для процесса ип функция Ф^Х) тождественно равна
с [см. C.4)]. Это не противоречит нашему последнему результату, так как
относительно меры dFu(h) изменение значения Ф1 в одной точке совершен-
совершенно несущественно (ибо каждая точка имеет меру Fu, равную нулю).
Разумеется, линейная операция C.7) излишне усложнена, если рассматри-
рассматривать ее, как дающую прогноз процесса кп; это соответствует тому, что
наша функция Фх также усложнена по сравнению с найденной ранее про-
прогнозирующей функцией этого процесса. Существенно, однако, что так опре-
определенная функция Фх является одновременно прогнозирующей функцией
для всех трех процессов хп, ип и оп; как мы увидим в § 4, это обстоятель-
обстоятельство характерно и для общего случая. В заключение заметим еще, что
ошибка прогноза на v шагов вперед для процесса хп равна
т. е. такова же, как и для процесса ип; но при v
стремится к
со это выражение-
В качестве последнего примера рассмотрим случай, когда спектраль-
спектральная функция F абсолютно непрерывна и спектральная плотность F' равна
F' (>.)=
2 суе-2««
и
где ряд сходится равномерно; более того, предположим, что ряд
сходится равномерно при | z | > 1 — е для некоторого е > 0 и нигде не обра-
обращается в нуль в этой области. Так, например, мы впдели в § 10 гл. X,
что если F' есть рациональная функция относительно е2яи, то F' можно
представить в виде
, А0В0Аа В? Ф О,
где z = e2"'x и где многочлен в знаменателе не обращается в 0 при |z|>l;
ясно, что этот случай входит в число рассматриваемых в нашем примере.

512 ГЛ. ХП. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИИ
При указанных предположениях мы можем определить прогнозирующую
функцию Фу при помощи равенства
со
"VI c-e~2rciA
У ...-2.Щ
2.1 с>
1=0
Действительно, при этом ФЧ?ОШ, так как мы можем положить в равен-
равенстве
(где ряд сходится равномерно) z = e2llil; кроме того, e2™vl —Ф7 ортогонально
к 05Ш [с весом dF (X)], так как
l/l V—1 со
-1/1 -1/2 О О
при лг>0.
Таким образом, мы решили проблему о наилучшем прогнозе для слу-
случая, когда функция F' представима в указанном в предыдущем абзаце виде.
Большая часть следующего параграфа будет посвящена изучению ослож-
осложнений, возникающих, когда такое представление F' возможно лишь при
более слабых предположениях о сходимости.
¦§ 4. Общее решение задачи о прогнозе (случай дискретного параметра)
Теорема 4.1. Если {?п, — со < п < со} — ортонормированная после-
оо
дователъностъ случайных величин, 2|СП12<СО' со ^ О к Хп определено
о
равенством
лго процесс хп стационарен в широком смысле и имеет спектральную плот-
ностъ\ 2cne~2'li"x |2. При этом процесс хп регулярен, а средний квадрат а%
о
ошибки прогноза на ч шагов вперед удовлетворяет неравенству
|2. D.2)
D.2) остается в силе и в более общем случае, когда не предполагается,
что хп задается равенством D.1), а предполагается лишь, что спектраль-
спектральная функция F процесса хп (не обязательно абсолютно непрерывная) при
почти всех к (относительно меры Лебега) имеет производную, представи-
мую в виде
*"М = 1 I' спв-2«'-М«, соф,О, D.3)
0

I 4. ОБЩЕЕ РЕШЕНИЕ (СЛУЧАЯ ДИСКРЕТНОГО ПАРАМЕТРА)
513
В обоих случаях равенство в D.2) не может достигаться ни для какого ч,
оо
если функция 2 cnz" имеет нули в круге \г\ < 1.
о
о
Согласно теореме 4.1 гл. IV, ряд для хп в D.1) сходится
Согласно § 8 гл. X, процесс хп может быть представлен в виде
и только тогда, когда его спектральная функция абсолютно
и ее производная F' дается формулой D.3).
Докажем D.2) для v=l; доказательство в общем случае
аналогично. Средний квадрат ошибки прогноза на один шаг
любой конечной прогнозирующей суммы легко подсчитывается;
в среднем.
D.1) тогда
непрерывна
проводится
вперед для
именно,
Е
хп_, | } =
Чп-i) х
+ const. e-2llU+'const.
1/2
1/2
-i/a
Таким образом, Oi>|c0|2. Предположим теперь, что J'cJ-zJ = O, где [ z0 | < 1.
Докажем, что в этом случае о\ > | с012. Прежде всего, в силу равенства
V 7 7П— G— 7 ¦» V
^j cnz — \z zo/ 21i
0 0
так что, полагая здесь jz| = l, имеем
7' 7П
'— — С°
~ T'
J с,.е2»{А = (e27lU - z0) 2 с/ е2«*А,
о ' о
где ряды в обеих частях равенства сходятся в среднем. Далее.
1 —
,2 --а »
= 11- е2»Ч zn
где последний ряд сходится в среднем, так что 2ic>|2< со- Заметив
и
теперь, что равенство
со
х — "> г" ?
;'=о

514 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
определяет процесс, имеющий ту же спектральную плотность, что и про-
процесс хп, а именно, спектральную плотность
Следовательно, сшибка прогноза для этих двух процессов также одинако-
одинакова, и в силу уже дсказавного неравенства мы имеем
Это и завершает доказательство нашего предложения.
Покажем теперь, что любой регулярный процесс меняет быть разложен
на сумму регулярного и сингулярного процессов кавеническего еидэ.
Пусть ..., х0, ^....—случайные ьеличины, образующие регулярный
прспесс; определим не личины in равенством
«n-?n^i,i =ei«». =i = El/Mi^-9n-i,1|2}>0. D.4)
.Так как разность хп— ?„_!,! ортогональна к 9J?n_i, то она ортогональна и
к любой развести хт — <pm_i,i с т < п. Таким образом, величивы ?. обра-
образуют ортонормироЕанную последовательность, и мы межем представить хп
в виде суммы ряда Фурье по зтей последовательности и остатка vn,
ХП КП + »„. Un ^ <^п-У, 2 I С, I < °°' I ,4 5
c — EfxJ^.}, (ce = Ol). J
Очевидно, ип есть проекция хп на 'замкнутее линейное многообразие, по-
порожденное величинами ?Jt a vn ортогонально этому многосбразию. Из опре-
определения величины ?„ ясно, что 1„G 2K; следовательно, и ип, и vn = xn— un
принадлежат $ЩП. Итак,
Е{Цп} = 5т,п1
Е$} 'Е{} ® , Л,
Геометрический смысл D.5) может быть пояснен следующим образом.
Из перечисленных ныше соотношений ортогональнсстп и включения сле-
дует, что &п ортогонально к ?)?„_,. Если теперь 8ug2R_oo= f] 2jjn, то и; op-
тогонально каждому ?т. Обратно, предположим, что ву?9Лп для некоторого
л и что w ортогонально ко всем im. В таком случае w будет принадле-
принадлежать замкнутому ливейному многообразию, порожденному величиной 5П
а величинами, лежащими в 3Rn-i (эт0 всего лишь другой способ описания
многообразия ЭЛП), и поскольку величина ?п ортогональна и к w, и к ЗЛ,^,
то отсюда вытекает, что w ? 5ШП_!. С помощью наших символов это рассуж-
рассуждение можно записать следующим образом:
= ё {w | a»n_j + ё {Ш | у = ё {Ш | sj
Повторяя это рассуждение, найдем, что ш? 9J7;. для всех /, т. е. что €>
Таким образом, многообразие 9J?_co состоит из всех случайных величин
многообразия SD?n, ортоговальных к ?„, En_j, ... (при любом и); иначе го-
говоря, многообразие Ш-а> вместе с одномерными многообразиями, порождеп-
яыми взаимно ортогональными величинами ?п, Еп_1( ..., порождает 5Ш„.

i 4. ОБЩЕЕ РЕШЕНИЕ (СЛУЧАИ ДИСКРЕТНОГО ПАРАМЕТРА) 515
Равенство D.5) представляет хп как сумму его проекций на эти ортого-
ортогональные одномерные многообразия и члена vn—его проекции на 5Щ_оо, т. е.
вклада в хп со стороны бесконечно удаленного прошлого процесса.
Пусть aj?mnCI2R-co— замкнутое линейное многообразие, порожденное
величинами vn, vn_lt .... Докажем, что Ш?„,n = 5D?_<x> при всех п; для этого,
разумеется, достаточно показать, что если o>?3J?_oo, т0 w совпадает со своей
проекцией на 2ЛГ,„. Так как все ?;- ортогональны ко всем vk, то. с вероят-
вероятностью 1
Ё [wI vn, vn_v ...} = Ё {w\ vn, vn_x tn, E^, ...}. D.6)
В силу D.5) замкнутое линейное многообразие, порожденное величинами
Vj и ij с /<л, совпадает с 4ff}n. Следовательно, величина в правой части
равенства D.6) ратна Е{ш|ЭД?п}, т. е. равна w, поскольку w g 5Щ_ооС15Щп.
Аналогичные рассуждения показывают, что величина Е„ принадлежит зам-
замкнутому линейному многообразию, порожденному величинами ип, чп_1, ....
Дадим на этот раз геометрическое доказательство. Случайная вели-
величина ?п принадлежит многообразию 2J?n, являющемуся в силу D.5) замкну-
замкнутым линейным многообразием, порожденным величинами ип, в„_! vn,
ип_1, .... Так как величины о; ортогональны к ?„ и к ип, ип_х, ..., то их
можно здесь не учитывать. Таким образом, замкнутое линейное многооб-
многообразие, порожденное величинами ип, ип_1} ... , совпадает с многообразием,
порожденным величинами ?„, 5п-1
Оба процесса ип и vn стационарны в широком смысле. Так как 9Л„,П =
= Я?ю,п_1( = Я?_со), то vn принадлежит замкнутому линейному многообра-
многообразию, порожденному величинами vn_lt т)п_2, ...; другими словами, процесс
vn является сингулярным. Пусть Fu и Fv — спектральные плотности про-
процессов ип и, соответственно, vn. Так как zn = un-\-vn и так как все Ну ор-
ортогональны всем vh, то
Из этой ортогональности нытекает также, что, аппроксимирующая сумма
2 bjXn_j, используемая при построении прогноза, разлагается на две ортого-
нальные суммы,
N N N
первая из этих сумм содержит только величины uh, вторая — только вели-
величины *vh. Мы покажем, что прогнозирующей функцией для всех трех про-
процессов ип, vn и хп может служить одна и та же функция Фу, так что
если написанная выше линейная комбинация xn~j является Л'-членным при-
приближением к наилучшему линейному прогнозу величины хп, то она рас-
распадается на сумму таких же комбинаций величин ик и vk, являющихся
приближениями к наилучшему прогнозу ип и, соответственно, vn.
Мы можем теперь явно выписать наилучший прогноз <pn-v, v Для про-
процесса 'хп:
со
9n_v, v = Ё {хп 13JJn_v} = 2 с?пЧ + vn. D.7)
Действительно, выражение в правой части этого равенства является слу-
случайной величиной из 5DJn-v. поскольку
&„_/?№„-, С ЗЛп-v. ]'>-<¦

516 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
кроме того, при таком определении <pn-v, v разность
V-1
Хп ?n-v, V — 2 Cfin-j
;=0
ортогональна к 2JJn_v. Те же рассуждения показывают, что бесконечная
сумма в правой части D.7) является наилучшим (в смысле метода наимень-
наименьших квадратов) линейным прогнозом величины ип по величинам Kn-v»
Un-y-i, .... Средний квадрат ошибки при прогнозировании ип тот же са-
самый, что и при прогнозировании хп; именно, он равен
с* = Е {| 2 с Е„_, |*} = [ с, |* + ... +1 cv_, |»: D.8)
Если Фу— прогнозирующая функция процесса хп на v шагов вперед, то
-1/2
-1/2
1/2
-I/a -i/i
Но так как Фу по определению принадлежит замкнутому линейному много-
многообразию o50Ji порожденному функциями {e2ni'1, /СО} при замыкании в смы-
смысле среднего квадратичного с весовой функцией dF (>.), то эта функция
будет принадлежать и замкнутым линейным многообразиям, порожденным
темп же функциями {е2™*'\ /<0}, но при замыкании с весовой функцией
dFu(\) или dFv(\) [поскольку обе эти весовые функции меньше, чем dF(k)].
Поэтому два интегральных слагаемых во второй строке формулы D.9) не
меньше, чем, соответственно, средние квадраты ошибок прогноза на ¦*
шагов вперед для процессов ип и vn, т. е., соответственно, чем о% и 0;
следовательно, первый из этих интегралов равен Оу, а второй равен 0.
Другими словами, мы как раз и доказали, что Фу является- прогнозярую-
щеп функцией на ¦* шагов вперед для процессов ип, vn и хп одновременно.
Процесс ?п стационарен в широком смысле и имеет спектральную
функцию, тождественно равную единице. Записывая спектральное представ-
представление процесса ?в,
-1/2
где у--().) — процесс с ортогональными приращениями, мы получаем, что
со 1/з оо
"«=2%-*= 5 e2lin'(S Cie-^'^dy^). D.10)
;-=0 -I/a j=0
Если записать спектральное представление процесса vn,
-Vi
то приращения процесса yv будут ортогональны приращениям процесса у-..
Спектральное представление процесса хп может быть теперь записано в виде
i/i
i/
;'=o

§ 5. ОБЩЕЕ РЕШЕНИЕ (СЛУЧАИ ДИСКРЕТНОГО ПАРАМЕТРА) 517
так что процесс у (X) в спектральном представлении B.1) процесса хп здесь
равен
А. оо
У W = \ [2 с,*-2*1 <*у4 ОО + dy»
-I/a ;=о
Найдем теперь функции от X, отвечающие ?n, un, vn и ipn, v при соответ-
соответствии B.2), причем заодно мы определим и Fa. Если ?п соответствует
функция Ф, то
1/5 оо 1/j
&п = 5 ФМ [2 c,e-2
-1,. ' )=0
и, приравнивая подинтегральные функции, мы получаем, что для почти
всех (в смысле меры Лебега) значений X
Ф(Х) 21 c,e-2'liA = e2'4«X)
;=0
и для почти всех (в смысле меры Fv) значений X
Последние два условия совместимы только в том случае, если существует
множество S нулевой лебеговой меры такое, что
s
т. е. если Fv является сингулярной монотонной функцией. В дальнейшем
мы будем называть это множество S множеством роста функции Fv. Так
как из выражения для к„ следует, что процесс ип имеет абсолютно непре-
непрерывную спектральную функцию со спектральной плотностью, равной
u () | 2 j \
о
(см. § 8 гл. X), то мы доказали, таким образом, что разложению хп на
регулярвый процесс ип и детерминированный процесс Х)л соответствует
в терминах функции от X разложение F на сумму абсолютно непрерывной
компоненты Fu и сингулярной компоненты Fv. функция Ф, соответствую-
соответствующая 1п, однозначно определяется с точностью до значений на множестве
нулевой меры F написанными выше равепствамн. Очевидно, можно принять
Ф (X) = __
v > о
О,
Отсюда вытекает, что за функции от X, соответствующие ип, vn и
мы можем принять следующие функции:
О,
2_

518 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
Так как прогнозирующая на ¦* шагов вперед функция Фу соответствует
<Ро, v' то> очевидно,
I
1=а
Viz полученных результатов следует, что величины ип в vn могут быть
представлены в виде
ип=\ e2*in*dy(X), vn=\ e****dy(X),
S' S
где 5' — дополнение множества S до всего интеграла —5"' "F " ^ § ^
гл. X мы уже рассматривали разложение процесса на процессы с непере-
непересекающимися спектрами и показали, что это разложение всегда может
быть осуществлено при помощи линейных операций. Теперь мы показали,
что в регулярном случае разложение, выделяющее сингулярную компонен-
компоненту спектральной функции, может быть осуществлено при помощи линей-
линейной операции, действующей только на прошлое процесса, и соответствует
выделению детерминированной компоненты процесса.
Заметим, что <p,n-v, v. т- в. прогноз хп по величинам zn-v> Zn-v-ь ...,
приближается к vn при ¦*—>со. Таким образом, по очень отдаленному
прошлому может быть восстановлена только детерминированная компонен-
компонента процесса, и, как и следовало ожидать,
В разложении регулярного процесса регулярная компонента всегда
присутствует, но детерминированная компонента, т. е. процесс vn, разумеется,
может и отсутствовать, т. е. может быть хп = ип.
Полученные здесь результаты о разложении могут быть суммированы
в виде следующей теоремы:
Теорема 4.2. Пусть {хп, — оо < л < со} —регулярный процесс.
Тогда хп можно представить в виде
оо
хп = 2Q с^п-/ + vn = ип + vn,
где
ОО
2|с |2<со, со>О,
о
= К. n, E {imvj = 0 для всех т, п,
При этом существуют только одна последовательность постоянных {сп}
и только одна последовательность случайных величин {;„}, удовлетворяющих
втим условиям.
В указанном представлении процесса хп процесс ип является регуляр-
регулярным, а процесс vn— детерминированным. Прогноз ipn-v, v здесь дается фор-
V —1
мулой D.7), а ошибка прогноза равна с%= 2 Iе; ]2 и совпадает с ошибкой
прогноза для процесса ип. Спектральные функции процессов ип и vn равны

I 4. .ОБЩЕЕ РЕШЕНИЕ (СЛУЧАИ ДИСКРЕТНОГО ПАРАМЕТРА) gjg
соответственно абсолютно непрерывной и сингулярной компонентам спект-
спектральной функции процесса хп.
В этой теореме нам осталось только доказать единственность коэффи-
коэффициентов с; и случайных величин ?;- при указанных условиях. Из этих
условий сразу следует, что с;-= Е {znfn_;}. Далее, величина <рп_, , должна
даваться равенством
со
?n-i, i= 2 с, ?„_> + «„;
это следует из того, что при таком определении tpn_i i ?3JJn-i и разность
хп — 9n_j ! ортогональна к 3JJn-i. Отсюда ясно, что хп — 9n_i i==co^n
однозначно определяется исходным процессом. Так как этот процесс регу-
регулярен, то | с0 2 = а\ > 0; следовательно, с0 однозначно определяется условием,
что оно положительно, и ?п поэтому также определяется однозначно с точ-
точностью до значений на множестве вероятности 0. Наконец, cf при / > 0
теперь однозначно определяются как коэффициенты Фурье (соответствующая
формула была уже написана выше).
Теоремы § 6 гл. IV позволяют придать полученным результатам сле-
следующую аналитическую форму:
Теорема 4.3. Стационарный процесс является регулярным тогда
и только тогда, когда F' (К) > 0 для почти всех {относительно меры Лебега)
значений X и
.-ос. D.12)
-Va
В регулярном случае постоянные {с„}, фигурирующие в теореме 4.2, удо-
удовлетворяют следующим условиям, которыми они определяются однозначно:
1/4
»/2 J '°g F' (*) <**¦
D.13)
{последнее равенство верно для почти всех \ относительно меры Лебега).
Эти 'постоянные могут быть найдены из соотношений
СО */¦»
А . . • А (¦"
-g- log ^ ().) «V, V ane2nln>- [т. е. ап — -^ \ log F
Отметим, что эта теорема дает явное выражение для о' = с^. Для дока-
доказательства теоремы надо сделать лишь несколько замечаний. Мы уже
видели, что в регулярном случае Fu(\) является абсолютно непрерывной
компонентой F(k). Это значит, что для почти всех к (относительно меры
Лебега)
F' ().) = F'u (к) = j | Сув-*«А Г . D.15)

520 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
Следовательно, по теореме 6.2 гл. IV, F' (X) > 0 для почти всех X и имеет
место D.12). Обратно, если /"(/.)> 0 для почти всех X и выполнено уело- .
вие D.12), то F' можно представить, как квадрат модуля ряда вида D.13)
(см. теорему 6.2 гл. IV); после этого регулярность процесса сразу следует
из теоремы 4.1. Таким образом, D.12) действительно является условием,
необходимым и достаточным для регулярности.
Согласно теореме 4.1, постоянные fcn}, фигурирующие в теореме 4.2,
00
должны обладать тем свойством, что ^> cnzn Ф О прп \z\ < 1 [так как сред-
о
нил квадрат ошибки прогноза для процессов хп и к„ удовлетворяет D.2)
со знаком равенства]. Для вывода формулы D.13) для с0 заметим, что
если выполнено D.12), то согласно теореме 6.2 гл. IV, мы можем пред-
представить функцию F' в виде
F' W = | 2 flFj-e2""* Г > 2 I d, |2 < со,
2 I log F' (X) dk
Но тогда, согласно теореме 4.1, ошибка ч\ = с\ прогноза на один шаг вперед
для процесса ип (имеющего спектральную плотность F') не меньше <Ра.
Следовательно, с0 > d0. С другой стороны, согласно теореме 6.2 гл. IV
[см. гл. IV, равенство F.7')], обязательно верно и обратное неравевство,
так что со = ао. Таким образом, условия D.13) действительно выполняются.
Обратно, согласно теореме 6.2 гл. IV, условия D.13) однозначно опреде-
определяют постоянные сп, причем их можно вычислить с помощью D.14).
Заметим, что если хп можно представить в виде
D.16)
где не все с^ равны нулю, то, сдвигая, если нужно, индексы у величин^,
всегда можно добиться выполнения условия с0 -?= 0. Согласно теореме 4.1,
такой процесс будет регулярвым. Так как в нашем случае функция F
не имеет сингулярной комповевты, то процесс не будет иметь детермини-
детерминированной компоненты. Однако псстсяввые с;- в D.16) совсем не обязаны
совпадать с однозначно определенвыми постоявными, фигурирующими в тео-
теоремах 4.2 и 4.3, даже если величивы is выбравы так, что коэффпцпевт с0
действителен и положителен (последнее всегда можно сделать, и мы будем
считать, что это сделано). Но если условия D.13) здесь не выполнены, то
всегда будет существовать однозначно определенная другая последователь-
последовательность {с'п}, для которой эти соотношения уже выполняются, и будет суще-
существовать другая ортснормирсЕанная последовательность {\п} такая, что
in=Sc;?;_,, c'0>c0. D.16')
Если процесс хп можно представить в виде
*„= S cfin-,. 2К|2<~, Е{ЕД} = 5,А, D.17)
то этот процесс имеет абсолютно непрерывную спектральную функцию F,
и для него
*"W = I2 c^frtj'. D.18)

I 4. ОБЩЕЕ РЕШЕНИЕ (СЛУЧАИ ДИСКРЕТНОГО ПАРАМЕТРА) 52f
Так как любая интегрируемая неотрицательная функция может быть пред-
представлена в виде D.18) (сумма в этой формуле есть просто ряд Фурье любой
функции, равной по модулю квадратному корню из F'), то единственным
ограничением, накладываемым возможностью представления D.17), является
требование абсолютной непрерывности спектральной функции F. Процесс хп
при этом может быть либо регулярным, но без детерминированной компо-
компоненты, либо сингулярвым.
В противоположном.крайнем случае, когда спектральная функция про-
процесса хп сингулярна, этот процесс не может быть регулярным, поскольку
здесь F'(k) = O для почти всех ). по мере Лебега. Интересно отметить, что
хотя детерминированная компонента регулярного процесса всегда будет
процессом такого типа, но, вообще говоря, это не есть самый общий вид
сингулярного процесса. Действительно, согласно теореме 4.3, спектральная
функция сингулярного процесса может быть и абсолютно непрерывной;
нужно лишь, чтобы нарушалось условие D.12).
Нам будет полезно получить еще явное представление линейных
многообразий 5DJn и $Щ_<х> в терминах функций от X. Многообразию Шп
соответствует функциональное многообразие пЩ — замкнутое линей-
линейное многообразие, порожденное функциями {e2*im*, т < п} [с весом
со
dF(к)]; многообразию 2ft_<x> соответствует _co3K=f) „5ГО- Поскольку опре-
—со
деления многообразий П5Щ и -„ЗК зависят от выбора функции F, но
не включают никаких вероятностных понятий, то мы дадпм здесь описа-
описания этих многообразий, избегая таких понятий.
Теорема 4.4. Пусть F —монотонно неубывающая функция, опреде-
определенная при |Х|<1/2 и такая, что F(k + 0) = F(X), f(_--j^) = 0- Обозна-
чим через Fn ее сингулярную компоненту, в пусть множеством роста ком-
компоненты Fv является множество S лебеговой меры 0.
(I) Если F'(X) = 0 самое большее на множестве лебеговой меры 0 и если
г3
logF'().)dl>-oD, D.19)
то имеется одна и только одна последовательность постоянных [cf}, удовле-
удовлетворяющих условиям D.13); эти постоянные Cj могут быть найдены, напри-
например, из соотношений D.14). Многообразие _аЛ# состоит из всех функций а,
измеримых относительно F, обращающихся в 0 при почти всех (относительно-
меры Лебега) значениях X и таких, что
Многообразие ПЭД состоит из всех функций вида
е2титгА. у е-2ж«Д
0 '
о
а(Х),
где а —функция описанного выше типа и ]^ | f;. |2 < со .
(II) Если условия пункта (I) не выполняются, то _оо5Ш=п5П? для всех п
и это многообразие состоит из всех функций Р, измеримых относительно F

522
ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
и таких, что
(Г) Если существуют постоянные {с,}, такие, что 2 I cj Р < °° 'и вы-
выполняется равенство D.18), и если n9ft задается с помощью {сп} так, как
описано в пункте (I), то эти с; с точностью до произвольного постоянного
множителя, равного по модулю единице, совпадают с однозначно определен-
определенными константами, описанными в (I).
(И') Если _аЛЛ такое, как в пункте (II), то D.19) не может иметь
места.
Если F (~2") — 0> то теорема, очевидно, верна [причем имеет место
случай пункта (II)]; в дальнейшем будет удобно с самого начала исклю-
исключить такую возможность. Если рассматривать X как случайную величину
с функцией распределения [Р/^(~т)г то процесс хп, определенный ра-
равенством
будет стационарным в широком смысле и будет иметь спектральную функ-
функцию F. Наша теорема, таким образом, обращается в теорему о стационар-
стационарных в широком смысле процессах и может быть выведена из уже доказан-
доказанных в настоящем параграфе теорем. Некоторых пояснений требует только
описание многообразий nffl и -соЗЛ- Мы видели, что в регулярном слу-
случае ЗН_оо является замкнутым линейным многообразием, порожденным
величинами vn, так что -соЭК здесь является замкнутым линейным много-
многообразием [замыкание с весовой функцией dF (К)], порожденным функциями
л = 0,.±1
т. е. совпадает с многообразием, описанным в пункте (I). Многообразие Jftn
есть замкнутое линейное многообразие, порожденное многообразием ЯЛ-со
и величинами ?, с /< п, так что „ЭД1 есть замкнутое линейное многообразие
4замыкание в том же смысле, что и выше), порожденное _соЗЛ и функциями
к<П,
о,
Рассматривая только функции на дополнении множества S [где весовая
со
¦функция dF(\) сводится к | 2 с;е-27"А |" rfx], найдем, что Д? состоит из всех
-функций вида
О
где 1 — функция из замкнутого линейного многообразия (замыкание свесом с
-порожденного функциями {е2"'х, /<«}, т. е. f — любая функция вида

§ 5. ОВЩЕЕ РЕШЕНИЕ (СЛУЧАИ НЕПРЕРЫВНОГО ПАРАМЕТРА) 523
В нерегулярном случае многообразие пШ = ^Ш состоит из всех функций,
принадлежащих замкнутому линейному многообразию, порожденному сово-
совокупностью функций {е2г"\ / = 0, ± 1, ...}, т. е. совпадает с многообразием,
списанным в пункте (II).
•§ 5. Общее решение задачи о прогнозе (случай непрерывного параметра)
Пусть {х (t), — оо < t < оо}— зависящий от непрерывного параметра ста-
стационарный в широком смысле процесс. Как и в гл. XI, в дальнейшем всегда
будет предполагаться, что выполняется условие непрерывности
Пусть G — спектральная функция нашего процесса. Как и в случае про-
процесса с дискретным параметром, мы введем специальные обозначения для
ряда замкнутых линейных многообразий случайных величин и функций
переменного р. [в последнем случае используется весовая функция dG (р.)]:
Ш(г, s) = m{x(t), r<t<s} (r,s)'ft = 'm{e2*
gi( = 9l(—оо, t) ,9l = (—oo,
«_вв=П31| -.31= Л i3l
— CO —OO
%co = 3ft{z(f). -oo<*<oo} соЗг = Ж{е2^, -oo<*<oo}.
Функции из ,91, очевидно, получаются умножением функций из S9l
на егм <'-') *. Многообразие «91 состоит из всех функций ЧГ, измеримых
со
относительной1 и таких, что \ | W(p)\*dG ([») < со (см. аналогичные утвер-
—со
ждения в § 1).
Задача о прогнозе значения x(t) по известным значениям конечного
отрезка прошлого или всего прошлого этого процесса заключается (при
ограничении линейным прогнозом и при оценке ошибки по методу наимень-
наименьших квадратов) в минимизации
Е{|*(О-ф|*}. Ф€31(г,*),
где г и * фиксированы и г < * < t. Решением задачи в этом случае является
величина E{x(t)\ №(r, s)}, причем, как и в случае дискретного параметра,
l.i.m.E {i(t)| Я (г, «)}«?
Т-*—оо
так что прогноз по известному конечному отрезку прошлого приближается
к прогнозу' по всему прошлому, когда длина этого отрезка неограниченно
возрастает. В силу условия непрерывности, наложенного на процесс,
UI (г, *) совпадает с замкнутым линейным многообразием, порожденным
•случайными величинами x(tt), x(t2), ..., где [tn] —произвольная последо-
последовательность точек интервала (s, t), всюду плотная в этом интервале. Таким
образом, мы могли бы избежать явного использования несчетного множе-
множества случайных величин; однако для этого нет никаких оснований.
Замечания о нелинейном прогнэзе, сделанные в § 1, переносятся
на случай непрерывного параметра без всяких изменений.
Основной нашей задачей будет определение <|> (s, t) — прогноза вели-
величины x(s-\-t) на срок t вперед по всему прошлому этого процесса:

0Z4 ГЛ. XII. НАИЛУЧШЕЕ. ЛИНЕИНОВ ПРОГНОЗИРОВАНИЕ
Эта задача о прогнозе будет нами решена при помощи сведения ее к случаю-
дискретного параметра. Для того чтобы избежать недоразумений, спектраль-
спектральные функции процессов с дискретным и е непрерывным параметром >ш
все время будем обозначать различными буквами, а именно — буквой F
и, соответственно, G.
Спектральное представление
индуцирует соответствие между случайными величинами и функциями от у.
(см. § 2), при котором величине x{t^) соответствует функция е2пио* и, вообще,
величине ф соответствует функция ^([0, где
E.2)
При таком соответствии величина ф 6 З^со однозначно определяется (с точно-
точностью до' значений на множестве вероятности 0) функцией •FfooS'i, а функ-
функция ЧГ однозначно определяется (с точностью до значений на точечном
множестве нулевой меры G) случайной величиной ф. В частности, 51, соот-
соответствует tS!i при любом t, —оэ<?<оэ.
Вместо того чтобы формулировать задачу о прогнозе на языке случай-
случайных величин, ее можно сформулировать на языке функций от р: требуется
найти прогнозирующую функцию Wt, принадлежащую 091 и обращающую
в минимум интеграл
(относительно всех W из 0Щ. Очевидно,
со
ф (s, 0=5 еЖ*Ф, (p.) dy ([i). E.3)
Функция Wt является проекцией e2ltit* на „91. Средний квадрат ошибки
прогноза of равен
Как и в случае дискретного параметра (см. § 2), о' является монотонно
неубывающей функцией от t и или с^ = 0, илп же с^ > 0 при всех t.
Первый случай мы будем называть сингулярным или детерминированным
случаем, а второй —регулярным случаем. Каждому процессу с непрерывным
параметром, имеющему спектральную функцию G, мы сопоставим процесс
с дискретным параметром со спектральной функцией F, где
При этом, очевидно,
Многообразия тЗЛ и „>% соответствуют друг другу при такой замене
переменных. В случае дискретного параметра основную роль при решении

§ 5. ОБЩЕЕ РЕШЕНИЕ (СЛУЧАИ НЕПРЕРЫВНОГО ПАРАМЕТРА) 525
задачи о прогнозе играло многообразие offi, определенное в § 4, как замк-
замкнутое линейное многообразие функций от X, заданных на отрезке |Х|<1/2,
порожденное последовательностью [e2ninK, /г<0} [с весовой функцией dF (к)].
В случае непрерывного параметра подобную же роль играет многообразие „-К.
Заметим, что многообразие 0Щ функций от X при нашей замене переменных
переходит в многообразие 91 функций от ц, являющееся замкнутым линей-
линейным многообразием [замыкание с весовой функцией dG(\i)], порожденным
последовательностью
ШУ- "<•}¦
Мы сейчас докажем, что 91 = „91. Во-первых, из представления
вытекает, что функция f x_ix ) > a следовательно, и функция f узгутJ
при любом п < О может быть равномерно аппроксимирована в каждом
конечном интервале значений ц ограниченными одним и тем же числом
линейными комбинациями функций е2*1'» с (<0. Отсюда ясно, что 91С„Ус.
Во-вторых, при t < 0 функции
в области |г| > 1 регулярна и по модулю меньше единицы. Следователь-
Следовательно, она может быть разложена в ряд по нзположительным степеням
леремеяной z = |z'e27tU, сходящзйся при \z\ >1. Таким образом, при любом
t < 0 и | z | > 1 эта функция является функцией от ). из многообразия „4JJ,
которой соответствует функция от ц из osJi. При j z j —* 1 и фиксированном X,
неравном^ 1/2, эта функция обращается в
Отсюда видяэ, что при t < О функция е2 tUv- мэжэт быть аппроксимирована
равяостепеннэ ограниченными функциями из „9L Таким образом, e2lti''xg9l
при <<0, так что „9t ZI 'Л; комэияируя это с полученным ранее результа-
результатом, получаем, что 91 -09t.
Процесс с дискретным параметром является детерминированным тогда
и только тогда, когда пШ~соЧ1 для всех л; достаточно даже, чтобы это
равенство выполнялось для какого-нибудь одного значения га, например
для >п = 0. Аналогично, и процесс с непрерывным параметром является
детерминированным тогда и только тогда, когда „9t=m9t. Так как „ТО и m9JJ
переходят в „91 и „,91, то мы получаем, что процесс с непрерывным парамет-
параметром является детерминированным тогда и только тогда, когда является
детерминарованным соответствующей ему процесс с дискретным параметром.
Это сразу приводит к следующзму аналитическому условию регуляр-
регулярности, соответствующэму условию D.12), имевшемуся в случае дискретного
параметра:
Теорема 5.1. Для того чтобы процесс с непрерывным параметром
был регулярным, необходимо и достаточно, чтобы производная G' его
спектральной функции обращалась в нуль самое большее на множестве
значений р лебеговой меры 0 и чтобы выполнялось условие
" logG'M

526
ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
Эта теорема немедленно вытекает из теоремы 4.3, поскольку
так что интегралы
-1/2
одновременно являются оба конечными или оба бесконечными.
Прежде чем идти дальше, посмотрим, во что переходит ряд Фурье
для функции от X,
при переходе к функциям от р. Используя соотношение между X и р,
находим, что
Так как, кроме того, при подходящем выборе коэффициентов Ад, ...,А}
г=0
г=0
E.5>
где
/до-
о,
то окончательно мы имеем
Поскольку функции {e%niiX} образуют ортонормированную последователь-
последовательность функций на интервале [ — 1/2, 1/2] (относительно веса d\), то функ-
функции переменного р
;
f 1_ A-.»;
образуют ортонормнрованную последовательность функций на прямой1
(—ее, оо) (относительно веса dp). Таким образом, функции /^ (t) являются
преобразованиями Фурье ортонормированной последовательности функций
и, следовательно, в силу равенства Парсеваля они сами образуют ортонор-
ортонормированную (по мере dt) последовательность функций на (— оо, со). Поэтому
OS
ряд 2 Tj/; сходится в среднем и, следовательно, все использованные выше
операции являются законными. То обстоятельство, что ряд Фурье для функ-
функции т не содержит членов e2l"A с / > 0, соответствует тому, что функция
•j(X)/(l + ifi), как функция от ц, является преобразованием Фурье функции,,
обращающейся в 0 при положительных значениях аргумента.

I 5. ОБЩЕЕ РЕШЕНИЕ (СЛУЧАЙ НЕПРЕРЫВНОГО ПАРАМЕТРА) 527
В случае дискретного параметра важную роль играло условие, что
со
2 с г' Ф О при|г| < 1. Коэффициенты ct здесь обладали тем свойством, что
со
2 I с, I2 < оо. Если произвести замену переменных
о
1 — 1Ш
1 + да '
то это условие перейдет в условие
о
Положим теперь
со
с* со=S cJi (о.
0
Функции /j-(t) были выше определены так, что при действительном ш выпол-
выполнялось соотношение
. со
— ОО
Но тогда это соотношение, очевидно, верно и при § (^0 < 0> так чт0 условие-
со
^cz1 фО, |z]<i переходит в условие
о
[Так как c*(t) = O при <>0, то подинтегральная функция здесь убывает
по показательному закону при возрастании |*|.J
Теперь мы можем перейти к рассмотрению теорем о прогнозе для случая
непрерывного параметра. Нам будет удобнее выводить эти теоремы в другом
порядке, чем соответствующие теоремы в § 4. Начнем с теоремы, аналогич-
аналогичной теореме 4.4.
Теорема 5.2. Пусть G — ограниченная монотонно неубывающая функ-
функция на ( —оо, ос) такая, что G(р ¦+-0) = G([») и G(—оэ) = 0. Обозначим
через (?„ ее сингулярную компоненту, и пусть множество S (лебеговой меры 0).
есть множество роста компоненты Gv.
(I) Если (?'(fi) = 0 самое большее на множестве лебеговой меры 0 и
то существует измеримая по Лебегу функция с* такая, что
со
с* @ = 0, t>0, \|c*@l*&<oo,
E.7)-

328
ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
(где интеграл в левой части последнего равенства действителен и положи-
телен) и такая, что для функции с, определяемой равенством
выполняется соотношение
E-8)
Функция с* определяется этими условиями однозначно с точностью
до значений на множестве лебеговой меры 0.
Многообразие _Ш91 состоит из всех функций C, измеримых относитель-
относительно G, обращающихся в 0 для почти всех (относительно меры Лебега) значе-
значений [1 и таких, что
Многообразие ,91 состоит из всех функции вида
Ш,
где
со
\
о
(II) Если условия пункта (I) не выполняются, то 91 = ,91 для всех t,
и это многообразие состоит из всех функций C, измеримых относительно G
и таких, что
(Г) Если существует измеримая по Лебегу функция с* такая, что
\ с* (t) |2dl < со и с* (t) — 0 при t> 0, ес.г: для функции с, являющейся
со
преобразованием Фурье функции с*, выполняется соотношение E.8) и если
функции из ,91 задаются формулой пункта (I), то с* с точностью до мно-
множителя пропорциональности, равного по модулю единице, совпадает с одно-
однозначно определенной функцией, описанной в пункте (I).
AГ) Если многообразие -o^t такое, как описано в пункте (II), то усло-
условие E.6) не может иметь места.
Представление функции G в пункте (I) [формула E.8)] точно соответ-
соответствует представлению функции F в теореме 4.4 [ср. D.15)]. Мы уже видели,
что при переходе к функциям от р многообразие 09Л переходит в „9J. В силу
теоремы 4.4 отсюда следует, что указанное в теореме 5.2 описание много-
многообразия ,91 для регулярного случаи верно, во всяком случае, при * = 0.
Но так как ,91 состоит из функций из „91, помноженных на e2ntt», то это
описание верно и для всех t. Остальные утверждения теоремы 5.2 немедленно

§ 5. ОБЩЕЕ РЕШЕНИЕ (СЛУЧАИ НЕПРЕРЫВНОГО ПАРАМЕТРА) 529
получаются при помощи перехода в теореме 4.4 от функций аргумента X
к функциям аргумента р.. Последнее из условий E.7) эквивалентно условию
Теореме 4.2 соответствует следующая теорема:
Теорема 5.3. Пусть [хA), —со < t < оо}_—регулярный процесс.
Тогда x(t) можно представить в виде
о
x(t) = ^ c*(s)dl(t+s)+v(t) = u(t)+v(t), E.9)
—со
где с* — измеримая по Лебегу функция такая, что с* (t) = 0 при t > 0, и
о
а процесс ? (<) имеет ортогональные приращения, удовлетворяющие условию
E{\dl(t)\2} = dt, причем каждое приращение этого процесса ортогонально
к любой величине v(s); $ (?2) — ? (tx) g 91, при tt, t2 < t, u v(t) g 9l_co. Указанным
условиям, наложенным на c*(t), удовлетворяют только функции, пропор-
пропорциональные (с множителем пропорциональности, равным по модулю единице)
функции с*, фигурирующей в пункте (I) теоремы 5.2.
В представлении E.9) процесса хA) процесс u(t) является регулярным,
а процесс v(t) — детерминированным. Прогноз <|><_т, т дается здесь равен-
равенством
$ + o(*), E.10)
—во
а ошибка прогноза равна
о
$ E.11)
ц совпадает с ошибкой прогноза для процесса и (t). Спектральные функции
процессов u(t) и v(t) равны, соответственно, абсолютно непрерывной и син-
сингулярной компонентам спектральной функции процесса x(t).
Для получения нужного нам представления x(t) мы воспользуемся
спектральным представлением E.1). Пусть (?„— сингулярная компонента
функции G, пусть S — множество роста компоненты Gv, имеющее нулевую
меру Лебега, и S' — дополнение S. Определим процессы и(?) и u(t) равен-
равенствами
v(t) =
Тогда каждая величина u(t) будет ортогональна каждому v(t'). Процессы
u(t) и v(t) стационарны в широком смысле, и их спектральные функции
равны, соответственно, абсолютно непрерывной и сингулярной компонентам
спектральной функции процесса x(t). Так как процесс x(t) регулярен, то
из теорем 5.1 и 5.2 вытекает существование пары функций с*, с, описанных

530 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
в теореме 5.2. Согласно равенству E.8), процесс u(t) имеет, спектральную
плотность | с (|i.) |2; в силу результатов § 8 гл. X отсюда вытекает, что этот
процесс может быть представлен как процесс скользящего суммирования
впда, даваемого интегральным членом равенства E.9). Точнее говоря, мы
можем представить процесс и (t) в виде
где процессы $* (ц) и $ (t) имеют ортогональные приращения с
и процесс ? (I) является преобразованием Фурье процесса Е*. При этом
процесс 5* (ц) определяется однозначно (с точностью до значений на мно-
множестве вероятности 0) равенством
- S %$
(-», ища»
Приращения процессов ?*(ц) и ? (г) ортогональны ко всем величинам v(s)
Пусть теперь s1<ss<?; определим функцию W как
с Ы j '
E.12)
О, иб^-
Тогда, в силу теоремы 5.2, Фб,91, и, следовательно, случайная величина
? ? .2«is2n -2itis ц
ф= \ W (ft) dz/ (fi) = ^ g^ — «К* (|i) = ? (Sa) — l(Sj) E.13)
—ее —з>
принадлежит многообразию 51,. Пусть функции Г определена равенством
0,
тогда Г^-етЗ^, и, следовательно,
принадлежит многообразию 91_со.
Функция с*, удовлетворяющая условиям нашей теоремы, должна быть
пропорциональна функции с* теоремы 5.2. Действительно, поскольку в усло-
условиях нашей теоремы многообразие 51_со является замкнутым линейным
многообразием, порожденным величинами v (t), а многообразие 91, порождено
многообразием 51_со и приращениями процесса ? (s) с аргументами, не пре-
превосходящими t, то многообразия _co9i и ,91 являются здесь такими, какими
они описаны в пункте (I) теоремы 5.2; после этого пункт (Г) той же тео-
теоремы и дает нам желаемый результат.
Прогноз ф(_т, t величины x(t) по известным значениям прошлого про-
процесса вплоть до момента t — х дается формулой E.10); действительно, при
этом ф,_т>х 6 31(-т и разность x(t) — ф,_1, т ортогональна 9lj-^, так как эта
разность включает только приращения процесса Е со значениями аргумента,
не меньшими чем I — т.

5 в. ОБОБЩЕНИЯ РЕЗУЛЬТАТОВ S5 * И 5 531
Равенства E.12) и E.13) показывают, что при соответствии E.2) случай-
случайная -величина <|> = 5 (s2) — i (h) соответствует функции W, даваемой формулой
E.12). Так'как прогноз фо,1 соответствует прогнозирующей функции W?,
то отсюда вытекает, что Ф"т дается равенством
Можно, конечно, и непосредственно проверить, что при таком определении
^тбоЭД и разность е^~у-—W- ортогональна r< 07t,
§ 6. Обобщения результатов §§ 4 и jy
Рассмотрим теперь следующее обобщение задачи о прогнозе, изученной
в § 4. Пусть {хп, — оо < п < оо} —стационарный в широком смысле процесс
и X — произвольная случайная величина с Е {j X |2} < оо. Требуется аппро-
аппроксимировать X при помощи линейных комбинаций величин х^ с /< п. Точнее,
требуется найти
т. е. случайную величину из 2ftn, наиболее близкую к X. В частности, если
Х=х,ц-Ч1 то <?„(-30 = 911, ч» так что задача о нахождении <р^ (ЛГ) здесь обра-
обращается в ту самую задачу, которой мы занимались в § 4. Если определить х
равенством
x=*t{X\xit / = 0, ±1, ...}
тс X — х будет ортогонально ко всем х;, так что
по этой причине в дальнейшем мы будем, как правило, рассматривать при-
приближения не к X, а к ж. На языке функций от X (см. § 4) нашу задачу
можно сформулировать следующим образом. Задается функция / перемен-
переменного X, измеримая относительно спектральной функции F процесса хп
и такая, что \ | / (к) \2 dF (к) < оо; эта функция отвечает х [при соответ-
-V.
ствив B.2), так что"]
*= \ №dy(k). F.1)
-v*
Требуется найти проекцию функции / на многообразие П23?, т. е. функцию
из замкнутого линейного многообразия, порожденного последовательностью
{eiKilX, /<и} [замыкание с весовой функцией dF(X)], наиболее близкую к/.
Решение Фп (/) этой задачи мы будем называть п-й аппроксимирующей функци-
функцией, а случайную величину <рп(Х) = <?п (х) — п-й аппроксимацией. Ясно, что
[F-2)
В частном случае, когда Х = хп+Ч, очевидно, Фп(/)=е2я"иФ7, где Ф-,—
прогнозирующая функция на v шагов вперед, рассмотренная в § 4. Средний
34»

532
ГЛ. XII. НАИЛУЧШЕЕ ЛИНВИНОВ ПРОГНОЗИРОВАНИЕ
квадрат ошибки л-й аппроксимации дается формулой
о*п(Х) = Е{\Х-9п{Х)\*} = Е{\Х-х\*}+Е{\х-?п{х)\*}. F.3)-
Если процесс хп сингулярен, то 3J}n = Я!ш для всех значений п. Следо-
Следовательно, в этом случае <рп(х) = х, Фп(/) = / и средний квадрат ошибки
л-й аппроксимации не зависит от л,
В общем случае ясно, что
F.4)
Если в регулярном случае представить х в виде его ряда Фурье по орто-
вормнрованной последовательности величин ?;, фигурирующей в «разложении
Волда» (разложении теоремы 4.2),
хо фп(х) можно будет записать в виде
}, F.5)
F.6)
Действительно, при таком задании <pn(z), очевидно, <pn(z)€9Jtn и разность
x—fn(x) ортогональна к aj}n.
Из § 4 мы знаем, что величинам $п при соответствии B.2) отвечают
со
функции e2nitu/2 e,e-2i"J\ где су—постоянные, фигурирующие в теоремах 4.2,
о
4.3 и 4.4. Вообще, легко проверить, что в регулярном случае B.2) дает
нам следующее соответствие между случайными величинами и функциями
от X (мы пользуемся здесь обозначениями § 4):
о,
Н/(Х),
2'
;=0

S в. ОБОБЩЕНИЯ РЕЗУЛЬТАТОВ 83 4 И 5 533
2
^
*=0
коэффициенты yj в этих формулах равны
i/a
-i/i о
Средний квадрат ошибки л-й аппроксимации равен
o'n(X) = E{|X-zH+ | |TJp. F.7)
;=n+l
оо n
Функции 2 Y;e2lt*j4 и 2 T;e2ni;X играют основную роль в нашей задаче.
—оо —оо
Заметим, что из написанного выше выражения функции от X, соответствую-
соответствующей х, следует, что для почти всех X
оо оо
2 Т;е2™Д = / 00 2 С;в-2Й = ^)F'V±- . F.8)
О
Последняя использованная здесь запись приведена нами из-за связи ее
с корреляпионвыми моментами, естественно возникающими в нашей задаче
об аппроксимации,
рп = Е{Ххя} = Е{ххп}= ^ «-*«'«/(X)cZF(X). F.9)
-Vi
Формула F.9) показывает, что рп являются коэффициентами Фурье комплекс-
комплексной функции ограниченной вариации
-i/s
Таким образом, числа рп определяют функцию jF', функция F' опре-
определяет коэффициенты Cj, a fF' вместе с с,- определяют, согласно F.8), коэф-
коэффициенты ?;•
В случае вепрерывного параметра (мы используем обозначения § 5)
задаетси случайная величина X и требуетси определить
где
Мы воспользуемся теоремой 5.3 о каноническом разложении процесса x(t).
Так как :r?9foo, то, с одной стороны, эту величину можно представить в виде
oo, F.1')

J34
ГЛ. XII. НАИДУЧШВВ ЛИНВЙНОВ ПРОГНОЗИРОВАНИЕ
а с другой стороны — в виде
Аппроксимацию ф,(г) можно записать в ииде
Ё {i ]%_„}. F.5')
F.6')
а аппроксимирующая функция 1",(g, ¦), т. е. функция от р, соответству-
соответствующая случайной величине <f>,(z), дается формулой
J Т \ /
Средний квадрат ошибки аппроксимации равен
Если определить функцию р, равенством
то »та корреляционная функция будет определять функцию .gG' для
почти всех (относительно меры Лебега) значений р., функция G' будет
определять сив силу F.1') и F.5') функция т* будет определяться
соотношениями
оо
F.8')
^ { \ ' I
§ 7. Многомерное прогнозирование
В настоящем параграфз мы будем иметь дело с ЛГ-мерными случайными
величинами. Поэтому мы условимся считать, что все случайные величины
к, у, г, ... являются векторными случайными величинами (если только
специально не оговорено обратное), а все постоинные а, Ь, с, ... являются
Л^-мернымз матрицами. Случайные величины при этом удобнее представлять
себе, как матрицы из одного столбца. Если М — матрица, то через М будет
обозначаться транспонированная и комплексно сопряженная матрица, через
Af|2—матрица ММ и через \\М ||2 — сумма элементов матрицы ММ, рас-
расположенных по главной диагонали, т. е. иначе—сумма квадратов модулей
всех элементов М. Если М — матрица из скалярных случайных величин,
то через Е{М} будет обозначаться матрица из соответствующих математи-
математических ожиданий.
В силу наших соглашзнпй для случайных величин х пу произведение
ху "на имеет1смысла (за исключением случая 7V = 1), но ху и |г|2 всегда
определены. Если Е {||х||2} < со и Е{,|г/||2} < со, то расстояние между х vs. у

§ 7. МНОГОМЕРНОЕ ПРОГНОЗИРОВАНИЕ 535
мы Определим, как Е {|| х — у |]2}; мы будем говорить, что х ортогонально
к у, если E{zz/} = 0. Если E{|z|2}=/ (т. е. равно единичной матрице),
то величина х будет называться нормированной. Таким образом, имеет
смысл говорить об ортонормированной последовательности случайных вели-
величин; очевидно, последовательность величин является ортонормированной
тогда и только тогда, когда последовательность всех скалярных компонент
этих величин является обычной ортонормированной последовательностью.
Заметим, что если xv .. ., хп — ортонормированная последовательность, то
Мы можем теперь определить понятии линейного многообразии и замкну-
замкнутого линейного многообразии точно так же, как в § 2 гл. IV (заметим,
что коэффициентами линейных комбинаций здесь служат TV-мерные матрицы).
При ортогонализации последовательности случайных величин мы столкнемся
теперь с тем непривычным обстоятельством, что сх может быть нулевым
вектором, хотн с не есть нулевая матрица, ах — не есть нулевой вектор.
Последовательность ш„ W2, ... случайных величия можно ортогонализовать
в том смысле, что всегда можно найти линейные комбинации уг, уг, ...
величин Wj такие, что каждое ws является линейной комбинацией величин у^
и наоборот, и что или ух, у2> •••—бесконечная ортонормированная после-
последовательность, или же имеется всего конечное число величин Ур скажем,
уг, ..., уп, причем У] взаимно ортогональны, ух, ..., уп_х нормированы,
а Е{|г/П|2} есть матрица, все элементы которой равны 0, за исключением
некоторых равных единице элементов, расположенных на главной диагонали.
Для доказательства этого достаточно просто ортогонализовать все скаляр-
скалярные компоненты величин wjt как это описано в § 2 гл. IV. При этом
получится ортонормированнаи последовательность скалирных случайных
величин; если она содержит всего конечное число элементов, то следует
добавить к ней еще несколько нулей (если это требуется) и получить
последовательность, число членов которой делится на N. Затем наша
последовательность разбивается на группы из N элементен и каждая
из этих групп принимается за одно из у у
Если х — случайная величина с E{|]z||2}< оо и если уи уг, ... —орто-
—ортонормированная последовательность, то ряд 2 ay2/j. где aj~E{xyj}, назы-
называется рядом Фурье величины х относительно последовательности Ур
а о;- соответствующими коэффициентами Фурье. Как и в § 3 гл. IV, дока-
доказывается, что ряд У aiVi сходится (в смысле определенного выше рас-
стояния), что 2 || a,j ||2 < оо и что
Е {|| х||2}>% ||а, ||2. G.1)
В рассматриваемом нами случае это означает, что ряд 2lajT сходится
(т. е. что соответствующая матричная сумма сходится поэлементно) и что
эрмитова матрица | х |а — ]?] | а} |2 является неотрицательно определенной.
Равенство в G.1) равносильно соотношению
Ма=2|а;.|2, G.1')
которое имеет место тогда и только тогда, когда х принадлежит замкну-
замкнутому линейному многообразию, порожденному величинами у}.
Как и в § 3 гл. IV, наиболее близкой к х величиной из замкнутого
линейного многообразии ЯК является проекция х1='Ё{х\'>!}1} величины х

536 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИИ
на это многообразие. Каждая скалярная компонента ху является (скалярной)
проекцией соответствующей скалярной компоненты величины х на замкнутое
линейное многообразие, порожденное компонентами всех случайных вели-
величин из $Щ. Проекция ху характеризуется тем, что а^бЗЛ и разность х — ху
ортогональна к ЯЛ.
Процесс с ортогональными приращенинми определяется здесь точно
так же, как и в случае iV = 1. Можно доказать, что если случайные
величины {y(t), a<?<6} образуют такой процесс, то существует матрич-
матричная функция F, для которой разность F(t) — F (s) при s < t всегда является
эрмитовой неотрицательно определенной матрицей и для которой
Отсюда вытекает, что диагональные элементы матрицы F ивляютси моно-
монотонно неубывающими функциями; все вообще элементы этой матрицы
являются функциями ограниченной вариации. В дальнейшем сумму диаго-
диагональных элементов эрмитовой неотрицательно определенной матрицы М
мы будем обозначать через Е {М). Если Ф есть N -мерная матричная функ-
функция, все элементы которой измеримы относительно Y>{F(t)), причем
то точно так же, как в § 2 гл. IX, можно определить стохастический
интеграл
этот интеграл удовлетвориет соотношению
ь
где Ф4 (t) — подинтегральная функция, соответствующая <р4. Получаемое
таким образом множество случайных величин <р в точности совпадает
с замкнутым линейным многообразием, порожденным приращениями про-
процесса y(t). Если <р —0 с вероятностью 1, то соответствующая матричная
функция Ф удовлетворяет условию
Любым двум фуякциим Фг и Ф2, различающими на функцию Ф, удовле-
удовлетворяющую последнему равенству, соответствует один и тот же стохасти-
стохастический интеграл.
Процесс {хп, —оо<л<оо} называется стационарным в широком
смысле, если Е (|| хп ||2} < со и если корреляционная (матричная) функция
Д(«) = Е{*т+7ЯЛ
не зависит от т. N скалярных процессов, являющихся компонентами
нашего процесса, в этом случае также стационарны в широком смысле.
Спектральное представление здесь имеет вид
1/2
Хп== С ?™4dy(V), E{\dy(k)\*} =

§ Т. МНОГОМЕРНОЕ ПРОГНОЗИРОВАНИЕ 537
где у (X) — процесс с ортогональными приращениями, а I — единичная
матрица. Функция F, нормированная обычными условиями F(— оо) = 0,
F(k-f Q) = F(k), называется спектральной функцией процесса; она опреде-
определяет R (п) с помощью равенства
Д(/г)= \ ez*in* dF (к).
-1/2
Начиная с этого места, мы будем использовать обозначения § 4 для
аналогичных многомерных понятий. Так, например, о, будет обозначать
средний квадрат ошибки прогноза на один шаг вперед,
Матрица о* является эрмитовой и неотрицательно определенной. Мы пред-
предположим, что эта матрица не вырождена, и выведем разложение Волда
для хп, т. е. разложение, даваемое в одномерном случае теоремой 4.2.
Сделанное предположение относительно о" исключает возможность того,
что некоторые линейные комбинации компонент хп могут быть точно вос-
восстановлены с помощью линейных операций над компонентами xi в прошлом.
При этом матрица о^ является положительно определенной, и, следова-
следовательно, существует единственный квадратный корень с„ также являющийся
эрмитовой и положительной определенной матрицей. Определим величины ?п
с помощью равенства
Тогда
и Еп образуют ортонормированную последовательность случайных величин,
подобно тому, как это было в § 4. Для хп имеет место ортогональное
разложение
оо
хп = |jo cs tn_j + vn = un + vn, ct = E {xn f^};
ясно, что при этом остаются в силе все соотношения ортогональности
и включения, указанные в § 4. Спектральная функция Fu является
абсолютно непрерывной функцией с производной
и
F = F A-F .
Пусть Ф — функция от \, соответствующая ?„. Так же, как и в § 4, мы
получаем, что для почти всех X
оо
ФСК) 2 ce-2nijX==eZKin\J
и что
X

538 ГЛ. XII. НАИЛУЧШЕЕ ЛИНЕЙНОЕ ПРОГНОЗИРОВАНИЕ
Согласно первому из этих двух соотношений, ряд, фигурирующий в его
левой части, является невырожденной матрицей при почти всех X, так что
Ф (X) =• е2** [ 2 сг е-г^Л].
Если теперь во втором соотношении взять только абсолютно непрерывную
часть, то мы получим
-it
где матрица F^(X) эрмитова и неотрицательно определенная. Так пак под-
пятегральаая функция является эрмитовой и неотрицательно определен-
определенной матрицей, то для почти всех X должно выполняться равенство
поскольку, кроме того, матрица Ф (X) почти всюду не
F(kO X Т б
()()(); у, р р () у
вырождена, то, значит, F,(k)=O для почти всех X. Таким образом, как и в
§4, Fv является сингулярной компонентой функции F. Прогнозирующая функ-
функция и сам прогноз процесса даются теми же формулами, что и в § 4. Поскольку
аналитические условия, определяющие постоянные с;, здесь неизвестны,
мы ие станем далее углубляться в йопрос о многомерном прогнозировании.

ДОПОЛНЕНИЕ
Мы изложам здесь кратко некоторые сведения из теории меры в форме,
приспособленной для использования в этой книге. Длинные, но стандартные
и имеющиеся во многих руководствах доказательства мы будем при этом
опускать. Всюду в дальнейшем 2 обозначает абстрактное пространство,
состоящее из точек ш; его подмножества будут называться ш-множествами.
§ 1. Поля точечных множеств
Определение. Класс w-множеств J7 называется полем, если он
обладает следующими свойствами:
(I) 2 6^";
(II) если. A?.F, то Q — A^J?;
(III) если Aj, .. ., An? J2", где п —любое натуральное число, то
Поле называется борелевским полем, если оно обладает еще следующим
дополнительным стйством:
(IV) Если А., Л,, ... 6 &, то N Л, ? & и Г) Л
t J 'l
Теорема 1.1. Пусть JFa — произвольный класс ш-множеств. Тогда
существует однозначно определенное борелевское поле ш-множеств у*, обла-
обладающее следующими двумя свойствами:
(I) i^oCiJ7;
(II) если .jFj — борелевское поле io-множеств и <Fod^i, то JFCZ^V
Класс ш-множеств J7 является наименьшим борелевскям полем, содер-
содержащим все множества из JF0. Всегда существует хотя бы одно борелевское
поле» множэств, содержащее все множества из JFn; таким полем является,
например, борэлевскоэ поле всех <о-множэств. Определим &¦, как класс
множеств, каждое из которых входит в любое борелевское .поле ш-множеств,
содержащее все мнэжзства из JPa; другими словами, возьмем в качестве &
пересечаяае всех борзлевских полей, содержащих все множества из JFO.
Тогда З' будет борелевскии полем, обладающим обоими свойствами, ука-
указанными в формулировке теоремы. Единственность такого поля является
тривиальным следствием этих двух свойств.
Поле j2- будэт называться борелевским полем, порожденным классом J5',,
и будет обозначаться черзз ^(J^o).
Теорема 1.2. Пусть $Fa — поле ш-множеств и 8—к.шсс ш-множеств,
обладающий следующими свойствами (I) « (II):
(II) если Aj ?"§, />1, и если
со
л, ел, с..., ил, = л

540 ДОПОЛНЕНИЕ
или
то
а е».
Тогда
Доказательство этой теоремы мы опускаем. Свойство (II) иначе можно
выразить, сказав, что 8 содержит предел любой монотонной последова-
последовательности входящих в него множеств.
Если 2 есть л-мерное пространство и если 3-й — класс всех открытых
множеств этого пространства, то множества из 3? {-9-0) называются п-мер-
ными борелевскими. множествами. Тот же самый класс множеств получится, /
если взять в качестве J2^ класс всех замкнутых множеств или класс
всех (л-мерных, открытых или замкнутых) интервалов. Этот же класс мно-
множеств получается также, если взять за 3-а класс конечных сумм правых
полузамкнутых интервалов, т. е. класс конечных сумм множеств вида
{К<<г<^и 1 = 1,..., Л}.
Здесь числа Х4 и p.j могут быть как конечными, так и бесконечными,
причем если ц4 = оо, то условие «<>4» замениется на «< [V>, чтобы тем
самым исключить точки с бесконечными координатами. Этот последний
выбор J^o обладает тем преимуществом, что &~0 оказывается здесь полем.
В дальнейшем мы будем иметь дело с различного рода функциями
от ш. Любое множество, определенное условиями, наложенными на некото-
некоторые функции от ш, мы будем обозначать при помощи этих условий, заклю-
заключенных внутри фигурных скобок. Так, если х и у— функции от io и если
У —некоторое числовое множество, то
{*(«)< 3, у(<о)бГ}
будет обозначать множество тех точек ш, для которых г(ш)<3 и у(ш)
ивляетси числом, входящим в множество Y.
Пусть 3-— борелевское поле ш-множеств и х—некоторая функция
от ш; функции х называется измеримой-,относительно__J^ или если она
принимает действительные значения ийсли {г(ю)<с}б52: для каждого
действительного числа с, или же если она ивляетси комплексной и ее дей-
действительная и мнимая части являются действительными измеримыми функ-
функциями. Достаточно, чтобы в приведенном .выше определении постоянная с
пробегала не все множество действительных чисел, а лишь некоторое
множество значений, всюду плотное на прямой (— оо, оо). Отметим без
доказательства, что линейная комбинация функций, измеримых относи-
относительно SF, также измерима относительно &. Ёслп {хп, л > ^ — последова-
последовательность функций, измеримых относительно JF, то множество точек,
в которых последовательность сходится, принадлежит JF, и если эта
последовательность сходится всюду, то ее предел является функцией,
измеримой относительно jF.
Если 2F — класс борелевских множеств в n-мерном пространстве,
то функции, измеримые относительно У, называются измеримыми по Бо-
релю или беровскими функциями. Функция от п комплексных переменных
называется измеримой по Борелю (или беровской) функцией, если она
является беровской функцией от 2л переменных — действительных и мнп-
мых частей ее аргументов.
Если А есть л-мерное борелевское множество, то определяемое
им цилиндрическое множество в пространстве л' > л измерений является

5 I. ПОЛЯ ТОЧЕЧНЫХ МНОЖЕСТВ 541
л'-мерным борелевским множеством (цилиндрическое множество, о котором
здесь идет речь, есть множество точек, у которых л первых координат
такие же, как у точек А, а остальные координаты могут принимать про-
произвольные значения). Действительно, класс /г-мерных борелевских мно-
множеств, для которых верно это утверждение, является, очевидно, борелевским
полем, содержащим все л-мерные интервалы, и совпадает поэтому с клас-
классом всех 71-мерных борелевских множеств. В соответствии с этим
замечанием, если г—беровская функция п переменных и если х используется
для задания новой функции от п' > п переменных (такой, что ее значе-
значения определяются лишь первыми л из п' ее аргументов), то эта новая
функция будет беровской функцией п' переменных.
Теорема 1.3. Пусть сР0 — класс и>-множеств такой, что класс конеч-
конечных сумм непересекающихся множеств из JFg образует поле, и 3? — класс
функций от ш, обладающих следующими свойствами'.
(I) ?Ю содержит любую функцию, принимающую значение 1 на неко-
некотором множестве из класса JFa, и 0 на его дополнении.
(II) Ш содержит все линейные комбинации, конечного числа входящих
« него функций.
(III) Если хп?<Ш, л>1, и limхп(ш) = х(ш) существует и конечен при
П-*оо
всех ш, то х? Зв-
Тогда $в содержат все функции, измеримые относительно .Я? (^о)-
В частности, если ?1в — класс функций от п переменных и jF0 — класс пра-
правых полузамкнутых интервалов, то е%? содержит все беровские функции п
переменных.
В случае действительных (соответственно, комплексных) функций коэф-
коэффициенты линейных комбинаций в (II) считаются действительными (соот-
(соответственно, комплексными). Мы докажем эту теорему лишь для случая
действительных функций. Пусть ,# — класс множеств М из .Я? (J^) таких,
что если.г(ш) = 1 на М и г(ш) = 0 вне М, то х???в. Тогда в силу (I)
Л содержит все множества из ^0, в силу (II) содержит все конечные
«уммы непересекающихся множеств из JF0 и в силу (III) содержит пре-
пределы монотонных последовательностей множеств из А. Так как Я (,^0)
является борелевским полем, порожденным полем конечных сумм непере-
непересекающихся множеств из &¦'„, то из теоремы 1.2 следует, что А содержит
все множества из J&(jFn). Далее, для произвольной функции г(ш), измери-
измеримой относительно S&(^0), определим функции xjn и хп следующим обра-
образом:
(^ 0 в противном случае;
п
т V '-г
п— 2л 2" in-
;—-n
Как мы только что видели, z;n ? е55? и, значит, в соответствии со свой-
свойством (II), также и хп?$е. Наконец, так как хп—>х, то по свойству (III)
х??К, что и требовалось доказать.
Теорема 1.4. Если JF— борелевское поле w-множеств, xlt ..., хп —
функции от ш, измеримые относительно ЛР, и F — беровская функция п
переменных, то F{xlt ...,xn) является функцией от ш, измеримой относи-
относительно У-.
Эта теорема сразу вытекает из теоремы 1.3. Действительно, если мы
определим &€ как класс беровских функций от п переменных, для которых
верно утверждение теоремы (а &а — как класс правых полузамкнутых
интервалов), то легко проверить, что Ш будет обладать свойствами, указан-

542 ДОПОЛНЕНИЕ
ными в теореме 1.3, и, следовательно, будет содержать все беровские
функции п переменных.
В дальнейшем мы будем часто рассматривать ш-множества ьида
(feW, .... *„(«>)]€ Л};
это есть множество, состоящее из всех точек ш, для которых л чисел
хх {о) хп (об) определяют точку из множества А. Если х, — действи-
действительные функции, то А является здесь множеством точек л-мерного про-
пространства; если же х} — комплексные функции, то А есть множество точек
2л-мерного пространства (это множество отождествляется естественным обра-
образом с множеством л-мерного комплексного пространства).
Следствие. Если JF — борелееское поле ш-множеств, xv ... , хп—функ-
хп—функции от ш, измеримые относительно .<F, и А есть п-мерное борелееское
множество Bп^мерное, если х, — комплексные функции), то
(К («О хп(ш)]бл}е^.
Чтобы доказать это следствие, определим F как борелевскую функ-
функцию я переменных, равную 1 на А и 0 вне А. Тогда, согласно теореме 1.4,
функция F (xt хп) будет измерима относительно &, так что ш-множе-
ство
{F[Xl(*)t ...,*„(«)! = 1} = {[хг(«) *»(«)] 6^}.
входит в класс.&.
Пусть & — борелевское поле ш-множеств, и пусть {xt, t? T} — семей-
семейство функций от ш, измеримых относительно S'. Обозначим через SB(xt, t^T)
борелевское поле ш-множеств, порожденное классом ш-множеств вида
{xt(w)?A}, где t? T и А — правые полузамкнутые интервалы. Очевидно*
Борелевское поле 3S{xt, t?T) является наименьшим борелевским полем
щ-множеств, относительно которого измеримы все функции xt. Взяв в пре-
предыдущем следствии в качестве J^ поле SB (xt, t?T), мы получим, что если
'i> ¦ • • > 'п — конечное множество из Т и А — это л-мерное борелевское
множество Bл-мерное, если х} комплексные функции), то
Класс ш-множеств, входящих в левую часть этой формулы, образует поле,
которое порождает борелевское поле S& {xt, t?T); это будет справедливо,
и если ограничиться лишь множествами А, являющимися конечными сум-
суммами правых полузамкнутых интервалов. В частном случае, когда Т есть
множество целых чисел 1, ..., п, поле 35 (хи ..., х„) совпадает с классом
множеств вида
где А — это л-мерные борелевские множества Bп-мервые, еслиг^ комплексны).
Теорема 1.5. Пусть & — борелевское поле ы-множеств, и пусть
xv ..., хп — функции от ш, измеримые относительно SF. Функция от ш
измерима, относительно 35 {хх, ...,хп) тогда и только тогда, когда она
имеет вид F(xlt ..., хп), где F — бероеская функция cm л переменных.
Прямое утверждение теоремы представляет собой.уточнение предыдущей
теоремы, в силу которой функция F (хх, ...,хп) измерима относительно &,
если F является беровской функцией. Так как в утверждении теоремы 1.4
J^ может быть заменено на 35 {хх, ..., хп), то из этой теоремы следует,
что функция F(zu ...,х„) измерима относительно 35[хг, ...,хп). Обратно,
пусть у— функция от ш, измеримая относительно S& (xv ...,xn). Пред-

J 1. ПОЛЯ ТОЧЕЧНЫХ МНОЖЕСТВ 543
положим, что у — действительная функция, и положим
Тогда найдется борелевское множество А\т такое, что]
Множества Л;т (при фиксированном те) не пересекаются. Следовательно
если мы определим Ajm как
Ajm = -А-т — A'jm U А(т,
то множества .4j-m при фиксированном те также будут7 непересекающимися,
и мы будем иметь
Положим
Тогда мы можем записать"^ в виде
Ут=Рт(х1 хп)'
где
F (I ^-(^' вСЛИ & En)€^im, / = 0, ±1, ....
{ 0 в остальных случаях.
Пусть Л—множество точек л-мерного пространства, представимых в виде
(z1(co) xn{u>}]. Тогда, поскольку
ЪтРт[хг{а>) sn(<!>)]= lim ym(*>) = y{u)
при всех ш, той предел
существует во всех точках множества R. Но так как Fm являются беров-
скими функциями, то множество точек, в которых последовательность этих
функций имеет конечный предел, является борелевским множеством Д'ИЭ-Й-
Возьмем беровскую функцию F, равную на R' этому пределу и равную
нулю вне R'. Тогда
F{xx, ,..,xn) — y,
так что у оказывается беровской функцией от Xj, что и требовалось дока-
доказать. Если у является комплексной функцией, то предыдущий [результат
применяется к ее действительной и мнимой частям.
Теорема 1.6. Пусть ^ — борелевское поле и>-множеств, и пусть
{xt, t?T) — семейство функций от ш, измеримых относительно S'. Пусть
JFs = & {xit t?S), edeSCZT. Предположим, что Т несчетно. Тогда если
A€^ri то найдется счетное подмножество S множества Т (зависящее
от А) такое, что Л ? S's- Если х есть функция от ш, измеримая отно-
относительно .Ft, то найдется счетное подмножество S (зависящее от х)
такое, что функция х измерима относительно ^s-
Пусть S — класс множеств А, обладающих свойством, о котором идет
речь в теореме. Тогда ^сг^т, и мы хотим доказать, что S = ,Fr.
В класс S входят все ш-множества вида {х, (и>)?А), где t?T и А — боре-
борелевское множество. Кроме того, легко проверить, что S является боре-
борелевским полем. Поэтому в силу свойства минимальности поля JFt имеет

544 ДОПОЛНЕНИЕ
место равенство 'S^S't, что и требовалось доказать. Пусть теперь
х—любая действительная функция от ш, измеримая относительно SFt.
Из уже доказанного следует, что для каждого рационального числа г
найдется счетное подмножество Sr множества Т такое, что
Пусть S — \JSr. Тогда S является счетным подмножеством множества Т
т
и величина х измерима относительно JFs- Если х — комплексная функция,
измеримая относительно &, то существуют счетные подмножества S' и S"
множества Т такие, что действительная и мнимая части х измеримы отно-
относительно &S1 и, соответственно, J^s-- Если 5 = ?']_)?"> то множество S
счетно п функция х измерима относительно J-s.
§ 2. Функции множества
Определение. Пусть & — поле ш-множеств. Конечная функция q,
определенная на множествах из 3- и принимающая действительные значе-
значения, называется вполне аддитивной, если для любого конечного или счет-
счетного набора непересекающихся мноокеств Аи Л2, ... из <р такого, что
Если имеется только конечное число множеств Л:-, то предположение
[JjJF является следствием предположения о том, что Aj входят в 3-¦
i
При счетном наборе множеств Л,- это будет так, если поле 3F является
борелевскнм полем.
Из определения вполне аддитивности следует, что если Мх, М2> ... —
множества из <р, и
или же
то
Если Л = {С} есть ш-множество, определенное некоторыми условиями «С»,
то мы будем обозначать ?{Л}, как q{C), вместо того чтобы писать q{{C}}.
Теорема 2.1. Пусть &о — поле ю-множеств. Если qr и q2 — вполне
аддитивные функции множества, определенные на множествах поля $} (cF0),
и если
то а
Теорема остается верной, если в условии и в заключении теоремы знак
«О заменить знаком « = ».
Чтобы доказать эту теорему, достаточно заметить, 4To1j3_jcnacc_ мнсь_
жертв из 3} {^fjj)j Для которых qx и q2 удовлетворяют указанному"^"^тёорёмё"~
соотношению, bio^aT^ce_jdaom^rza^3__^Jll^&jia.K'Ke _ пределы^ монотонных
последовательностей, BXOflHinH^^^aTOTKjaccjjHojKMTBj Таким образом, этот

J 2. ФУНКЦИИ МНОЖЕСТВА 545
класс удовлетворяет условиям теоремы 1.2 и, следовательно, совпадает
с JP (?а), что и требовалось доказать.
Определение. Пусть JF — поле ш-множеств. Функция q, определен-
определенная на множествах из /F, называется мерой, если она вполне аддитивна
и неотрицательна, и вероятностной мерой, если она является мерой
и <?{2) = 1.
Если q является мерой, то множества, входящие в поле, на котором
она определена, называют обычно измеримыми.
Теорема 2.2. Пусть JF0—поле т-множеств, и пусть q0 — мера, опре-
определенная на множествах поля dF0. Тогда существует единственная мера q,
определенная на множествах поля 38 {JF) такая, что
Единственность такой меры является следствием теоремы 2.1. Доказа-
Доказательство ее существования будет нами опущено.
Теорема 2.3. Пусть JF и SF' — борелевские поля w-множеств
и q — мера, определенная на множествах борелевского поля S^D^U-^'-
Лредположим, что для каждого множества^ Л' ? &' существует множе-
множество Л ? *р такое, что
g{A(Q-A')UB-A)A'} = 0. I
Тогда если х' есть функция от о>, измеримая относительно &', то най-
найдется функция х, измеримая относительно 3" и такая, что
q{x(a)^x'(o>)} = 0.
Пусть Ш —класс функций х', измеримых относительно &¦', для которых
выполнено это утверждение. Тогда, по предположению, в 'ffl входят все функ-
функции, принимающие значение 1 на некотором множестве из J~' и значение О
на его дополнении. В класс Ш, очевидно, входят также линейные комби-
комбинации конечного числа входящих в него функций и пределы любых схо-
сходящихся последовательностей входящих в 36 функций. Следовательно, по
теореме 1.3, в ^ff входят все функции от ш, измеримые относительно JF',
что и требовалось доказать.
Пусть q — мера, определенная на множествах борелевского поля SF.
Рассмотрим все ш-множества М, для каждого из которых существует пара
множеств Mj и М2 ю / такая, что
Mj'ClM CM^HfMj-M,) = 0.
Класе множеств М образует борелевское поле JF*ZD ?, причем ,?* = .? тогда
и только тогда, когда в 3^ входят все подмножества множеств из 3-, имеющих
меру 0. Если Mg J^, то из предыдущего соотношения между MlfM и Ма сле-
следует, что
{М}
Если М (J "?, то вторая и третья нз входящих в это соотношение величин
попрежнему остаются равными друг другу. Поэтому естественно при
Мб ?* — -IF определить <?{М} с помощью этого равенства; при таком опре-
определении q становится мерой, определенной на множествах поля .3-*. Каждое
множество из .?* — jF отличается от некоторого множества из .-F на- подмно-
подмножество некоторого множества из .?, имеющего меру 0. Опе?ация_?асп1ир.ег
Лия_области_опр_едеденпя задан^^^еднл!ЛШЛЯ._^.Ж„.ййДя,л??_,аазьшав1СЯ
пополнением Mej>bi,jt мера7~"об1тадающая тем свойством, что для нее 3- ==,Ж*^
т. в", что все^ подмножества множеств меры 0 сами измеримы (и имеют
меру 0), называется полной. Операция пополненияТ1рёвращает любую меру
в полную. Мы будем всегда использовать обозначение &* для борелевского

54R ДОПОЛНЕНИЕ
поля, определенного описанным здесь образом. Заметим, что J^* зависит
как от JF, так и от меры q.
Теорема 2.4. Пусть jFo — noM а>-множеств. Предположим, что
&\—борелееское поле множеств такое, что JF^ZD-3? {JF0). Пусть q —мера,
определенная на Jfx и такая, что если AX?JFV то найдется множество
А(#¦„) такое, что
1I
Тогда
(I) Для любого A?JF1 и любого е>0 существует множество A,?JP0
такое, что
q{A(Q- Аг) Ц (Q-A) AJ < г.
(II) Для любого Л?.ЙР(^0) существуют множества А' и А", где А'
является суммой счетного числа множеств, являющихся, в свою очередь,
пересечениями счетного числа множеств из JF0, а А" является пересечением
счетного числа множеств, являющихся, в свою очередь, суммами счетного
числа множеств из ^Р'„, такие, что
A'd Ad A", q{A"-A') = Q.
(III) Для любой функции х от ч, измеримой относительно JF^, и djix
любого s > 0 найдется функция xs, принимающая конечное число значений,
каждое на некотором множестве из ^0, такая, что
q{\x (о>) — х. (о>) | > е} < s
а (если х интегрируема)
\ | х — хе | dq < s.
Для того чтобы доказать утверждение (I) [соответственно (ИI, обо-
обозначим через  класс множеств А^^х [соответственно А?&(¦?,,)], для
которых выполнено это утверждение. Тогда ^ZD-^0, и легко показать, что
в  входят пределы монотонных последовательностей входящих в него
множеств. Но тогда в силу теоремы 1.2 S^ii1)/,). Этим доказано ут-
утверждение (II); тот факт, что в случае утверждения (I) S = jF1 легко
выводится из указанной в условиях теоремы связи между множествами
из j и Jfx. Утверждение (III) нетрудно свести к (I), аппроксимируя х.
функциями, принимающими конечное число значений, каждое на некото-
некотором множестве из 3FX, к которому применимо утверждение (I).
Пример 2.1. Пусть Q — действительная прямая и JFO— поле конеч-
конечных сумм правых полузамкнутых интервалов. Тогда 3& (&?) является
классом одномерных борелевских множеств. Пусть F — ограниченная моно-
монотонно неубывающая непрерывная справа функция от Е такая, что
Iim F (с) = 0. Если Л - конечная сумма правых полузамкнутых интервалов,
S-*—со
Л= Ц (aj. bj] <^<^<а:>1< ....
то положим
* {А} = 2 [*¦(*,)-*"(«,)].
Можно показать, что q является мерой на множествах пз Жо. По теореме 2.2
область определения меры q можно расширить так, чтобы она совпадала
с полем всех борелевских множеств, после чего ее еще можно расширить
при помощи пополнения. Множества полученного таким пополнением

§ 2. ФУНКЦИИ МНОЖЕСТВА 547
класса ^(J*-o)* называются измеримыми по Лебегу — Стильтьесу или изме-
измеримыми относительно F, a q с такой областью определения называется
мерой Лебега — Стильтьеса. Мы опустим получаемые без труда обобщения
на случай неограниченной функции F. Класс измеримых по Лебегу
Стилыьесу множеств зависит от выбора F. Например, если F есть ступен-
ступенчатая функция с конечным или счетным числом скачков, то каждое ш-мно-
жество измеримо по Лебегу —Стилыьесу. Однако в общем случае 3& (^„)*
не содержит всех ш-множеств. Если 8 достаточно малое положительное
число, то указанное выше множество Л из поля JFO имеет меру, близкую
п
к мере покрывающего его открытого множества (I (a,, b,- + Ь) и к мере со-
¦ 1 '
п
держащегося в нем замкнутого множества U[aj + &> fy]- Таким образом,
в качестве множества Ле, фигурирующего в утверждении (I) теоремы 2.4,
может быть здесь выбрана (если отказаться от требования, чтобы Л, при-
принадлежало Jf0) сумма конечного числа открытых или конечного числа
замкнутых интервалов, а за множества Л', Л" из утверждения (II) тео-
теоремы 2.4 могут быть взяты, если это удобно, соответственно, замкнутые
и открытые множества. Если функция х от ш измерима относительно F
[т. е. измерима относительно поля 3$ (&0)*], то ее интеграл по множе-
множеству Л обозначается обычно
В частности,
Пример 2.2. Пусть Q — обычное и-мерное пространство; обобщим
рассмотрения предыдущего примера на случай п измерений. Пусть
j^0 - поле конечных сумм правых полузамкнутых n-мерных интервалов,
так что ^(^0) является классом п-мерных борелевскях множеств. Пусть,
далее, F — ограниченная функция от п переменных, монотонно неубыва-
неубывающая и непрерывная справа по каждому из переменных, обладающая сле-
следующими двумя свойствами:
(I) Hm F& У = 0, /=1, ...,и;
(II) если at<bit i=l, ...,и, и если 5ц есть сумма
2*4*1 *„).
в которой в каждом из слагаемых к из величин Ь{ заменены на соответ-
соответствующие av причем сумма берется по всем ( ? J возможным заменим, то
Если Л — полузамкнутый справа интервал,
Л={а4<?,<6{, i=l, ...,n),
то положим
и если Л является конечной суммой таких (непересекающихся) интерва-
интервалов, то определим q {А), как сумму значений этой функции по всем вхо-
входящим в Л интервалам. Нетрудно показать, что в таком случае q будет
мерой на множествах класса 3-а, и поэтому ее можно будет расширить аа

548 ДОПОЛНЕНИИ
ноле всех борелевских множеств, а затем пополнить. Полученная таким
путем мера есть мера Лебега — Стильтьеса в пространстве л измерений;
измеримые множества и функции называются здесь измеримыми относи-
относительно F. Замечание о применимости теоремы 2.4, сделанное в одномерном
случае, остается верным и для л измерений. Интеграл от измеримой
¦ интегрируемой функции х от <о обозначается
* частности,
$ J^ у.
Обратно, если q есть мера, определенная на поле борелевских множеств
w-мерного пространства, и если определить функцию F равенством
то F будет обладать свойствами, перечисленными в примере 2.1 при л=1
¦ в настоящем примере при л>1. Заданная мера q совпадает при этом
с мерой Лзбега —Стильтьеса, порожденной функцией F, на конечных суммах
правых полузамкнутых интервалов, а следовательно, по теореме 2.1 сов-
совпадает с ней и на всех борелевских мнэжэствах.
Если функции Ft при каждом / = 1, .... л обладают свойствами, ука-
указанными в примере 2.1, то функция F, определенная равенством
удовлетворяет условиям, наложенным на функцию F в настоящзм примере.
Для такой функции
So - S, + ... + (-1)" Sn = П. [Fj (b,) - F,(а.)];
интеграл относительно F записывается здесь обычно в виде
Л вычисляется при помощи повторного интегрирования. Полученную л-мер-
ную мору называют иногда произвздениэм одномерных мер иа коордянат-
йыг осях, опредзляемых функциями Fr
Пример 2.3. Пусть Т— прэизвольаэз бесконечнэз множество, aQ—про-
aQ—пространство всех действительных функции от t?T. Тогда точками ш являются
функции ?{t) аргумента t. Мы сейчас обобщим предыдущие два примера
на бесконечномерный случай. Пусть z, —функция от <о, принимающая зна-
значение |(s), если ш является функцией l(t), так что ж5(ш) =$(«). Выберем
конечное подмножество tlt ..., tn множества Т и л-мэрнэе борелзвское
множество А. Ееля E('i), -¦¦ •< ?(^а) — зяачэяая, прднямаемые функцией
?(/) = «> в точках tv ..., tn, то условие
отгределяег некоторое ш-множество. Это ш-множество совпадает с ш-мно-
жеством

S 2. ФУНКЦИИ МНОЖЕСТВА
Пусть .F,, — класс всех ш-мвожеств, получаемых таким способом при про-
произвольных п, tv ...,tn и А. Класс гРа является полем, но яе борелевскш*
полем. Порожденное им борелевское поле мы обозначим через ^'(./г0) =
=*&(xt,t(T). Предположим, что ва J?o определева функция множества q
такая, что для каждого конечвого фиксированного набора значений
*i' ¦ ¦ ¦. гп функция
от л-мервых борепевских множеств А является мерой на поле л-мерных
борелевских множеств. Фувкция q, очевидно, аддитийва ва множествах
поля &0. Другой подход к определению фувкпии q состоит в том, что
для каждого конечного набора ?,, .. ., in задается функция л переменных
Ftx (п, удовлетворяющая условиям, указанным в примере 2.2, а затем q
определяется равенством
Для того чтобы q определялась этой формулой однозначно, функции
{Ftv :.., /„} должны удовлетворять следующим двум условиям согласован-
согласованности: во-первых, если ах, ..., ап—любая перестановка чисел 1, ..., п, то
и, во-вторых, при те < л
Fh,...,(m(«i, • • •. Кп) = Jim Ftl
,in-*co
Можно показать, что q является мерой и, следовательно, ее можно
расширить до меры, определеввой ва &(JF0), а затем пополнить. Заметим,
что в предыдущем рассуждении ,jP0 можно заменить несколько меньшим
(но порождающим то же самое борелевское поле) полем ш-множеств вида
где .А —конечные суммы л-мерных правых полузамкнутых интервалов. Мы
не будем завиматься обобщением на настоящий случай остальных замеча-
замечаний, сделаввых нами при рассмотрении л-мерного случая.
Закончив рассмотрение примеров, сделаем еще несколько замечаний,
касающихся интегрирования и его связи с функциями мвожеств. Пусть
.F — борелевское поле ш-мвожеств, q — мера, заданная ва &, и г —функция
от ш, измеримая относительно JF. Выше мы уже предполагали, что интег-
интеграл о% х по любому измеримому множеству определяется обычвым образом
и что освоввые свойства интеграла известны читателю. Напомним только,
что измеримая фувкция x(<d) интегрируема тогда и только тогда, когда
интегрируема функция | х |. Интеграл от х по множеству Л обозначается
\xdq или \ x(w)dq.
Если функция х измерима и интегрируема на7 2, то функция множества /,
определевная равевством
/(A)-
вполне аддитивна. Далее, если д {| х (и>) | > 0} > 0, то / (А) не может тожде-
тождественно обращаться в нуль. Это значит, что если /(А)=:0, т х(ш) = 0
для почти всех ш. Две функции множества / и g рассмотренного здесь типа
совпадают тогда и только тогда, когда соответствующие им подинтеграль-

550 дополнение
вне функции равны при почти всех <о. Вполне аддитивная функция
множества, заданная на поле $¦, называется абсолютно непрерывной отно-
относительно меры q, если она обращается в нуль на всех множествах, на
которых q равно нулю. Рассмотренная-выше функция множества/ является,
очевидно, абсолютно непрерывной относительно q. Обратно, если функция /
абсолютно непрерывна относительно q на поле J5, то она может быть
представлена в виде интеграла от некоторой функции х, измеримой отно-
относительно ?F и интегрируемой по мере q (теорема Радона —Никодяма). Мы
уже отмечали, что х определяется по функции множества / однозначно
с точностью до значений на множестве нулевой меры q. Приводимая ниже
теорема 2.5 дает явное определение этой функции х.
Вполне аддитивная функция /, определенная на множествах из .<F,
называется сингулярной относительно меры q, если она не равна тождествен-
тождественно нулю и если существует множество М ? 3- такое, что
/(А) = 0,
Множество М называется сингулярным множеством функции / относитель-
относительно меры q или, если функция / неотрицательна, множеством роста /.
Мвожество М определено не однозначно, так как каждое множество, имеющее
g-меру О и содержащее некоторое сингулярное множество функции / относи-
относительно q, само является сингулярным множеством. Согласно известной
теореме теория меры,_любая_ вполне аддитивная .функция../ может быть
првдстазетвва_в^идв_сщщ5Х^Д.х^"гдвЗйикция fx абсолютно непрерывна
относительно q, :а )г или сингулярна относительно q шла обращается
тождественно в нуль. Такое разложение "/ единственно, и если фун ¦' " ' /
неотрицательна, то и f1 и /г тоже неотрицательны. В случае неотрицат:
функции условие того, чтобы М было сингулярным множеством функции /
относительно q, принимает вид
Таким образом, каждая вполне аддитивная функция / может быть пред-
представлена в виде
/(A)- $zdg-j-/t(A)f
а
где /2—сингулярная компонента /, а функция х определяется однозначно
с точностью до значений на множестве (/-меры 0. Нам будет полезно для
дальнейшего иметь явное выражение функции х через функцию /. Мы сейчас
увидим, что х можно рассматривать, как обобщенную производную от- /.
Пусть при каждом п имеется конечный или счетный набор непересекающихся
множеств Mjn), М,п).... из поля JF, составляющих в сумме все Q.
Предположим, что каждое из множеств М,-п+1> содержится в каком-то из
множеств Mj»n). Положим
|
у о,
Тогда хп является обобщенным разностным отношением / относительно q.
Если предел У1тхп = х<я существует и конечен для почти всех (по мере q)
значений ш, то гот называется производной функции f no мере q относитель-
относительно разбиений М/. За исключением тривиальных случаев, производная

§ 2. ФУНКЦИИ МНОЖЕСТВА 551
зависит от выбора разбиения. Нам понадобится в дальнейшем следующая
теорема.
Теорема 2.5. Если }—вполне аддитивная функция на борелевском поле
:? и если q — мера на этом оке поле, то всегда существует производная
Ха, функции f относительно любого заданного разбиения. Эта производная
является плотностью х абсолютно непрерывной компоненты функции } от-
относительно q тогда ьитолько тогда, когда разбиение удовлетворяет следу-
следующим условиям (I) и (II), в которых через $-&, обозначено борелевское поле,
порожденное классом множеств Mjn>, /, л>1:
(I) х равно почти всюду функции, измеримой относительно J-^.
(II) Сингулярная компонента функции } сосредоточена на некотором
множестве меры О поля d^co.
В большинстве приложений разбиение выбирается так, чтобы ?F<x>=3:
или, по крайней мере, чтобы каждое множество поля .F содержалось в не-
некотором множестве поля З'а, той же самой меры. В этом случае разбиение
удовлетворяет условиям (I) и (II) для каждой функции /. Примером может
служить следующее разбиение: 2 — конечный интервал, JF — класс всех
его измеримых по Лебегу подмножеств, q — мера Лебега и MJn> — интервалы
{в конечном числе для каждого фиксированного л) такие, что максимум
длин интервалов М^п>, М,п>, ... стремится к 0, когда л—» оо . Теорема 2.5
доказана в § 8 гл. VII вероятностными методами при несущественном
дополнительном предположении, что q — вероятностная мера.
В гл. V рассматриваются меры в абстрактных произведениях пространств;
сейчас мы дадим необходимые для этого обоснования. Последующие
страницы могут быть опушены читателем, который согласится понимать под
пространством X гл. V действительную прямую или, самое большее, конеч-
конечномерное пространство.
Пусть X— любое абстрактное пространство точек Е и Т — некоторое
множество значений t. Пусть, далее, Q — пространство функции и> от t?T со
значениями из X. Тогда точка <о является функцией ?(•) от t. Пусть xs
будет функцией от <о, принимающей значение \ (s), если ш является функ-
функцией E(-)i так что xs (">) = ? (s). Во всем дальнейшем предполагается, что
задано некоторое борелевское поле &х подмножеств множества X. Мы
обозначим через <F борелевское поле ш-множеств, порожденное классом
<о-множеств вида {х, (и>) б А], где t б Т, А? JPх.
Теорема 2.6. Для любого A?JF существует последовательность
{Вп} множеств из поля ,!FX такая, что если JF'X есть содержащееся в 3-х
борелевское поле, порожденное последовательностью {Вп}, и если S-' есть
содержащееся в J- борелевское поле, порожденное классом множеств вида
{х,{о>)€А}, где t?T, А?&^, то A?JF'.
Пусть "§ — класс множеств Л поля .9-, для которых верна сформулиро-
сформулированная теорема. Тогда "S является, очевидно, борелевским полем, "Sd^F,
и если А? J^x, то {xt (ш)?Л) ? S. Следовательно, по определению JP, имеем
%
Пример 2.4. Пусть Т есть множество чисел 1 п. Тогда точками
<в являются совокупности п элементов вида [?A), • • ., ?(«)], и мы обозначим
2F, как J'x-X ••- X/Y(n сомножителей). Условимся называть множества
этого борелевского поля обобщенными п-мерными борелевскими множе-
множествами, а числовые функции, измеримые относительно этого борелевского
поля, — обобщенными беровскими функциями п переменных. В частности,
класс обобщенных одномерных борелевских множеств совпадает с классом
JFX. Если X — действительная прямая, a .F^ — класс одномерных боре-
борелевских множеств, то только что определенные обобщенные n-мерпые боре-
левские множества сводятся к обычным л-мерным борелевским множе-
множествам.

552 ДОПОЛНЕНИЕ
При любом Т мы будем обозначать через ЗРй поле ш-мнодаеств вида
{[*,,(«), .... *»„(«)] 6 Л},
где л —произвольное положительное целое число, t1 tn — произвольные
точки множества Т и А — произвольное обобщенное п-мерное борелевское
множество. Тогда jFad*F, поле JP является борелевским полем, по-
порожденным .З^о, и ^=j^0, если Т конечно. Мы займемся изучением мер
на 3-, определяемых мерами, заданными на JF0.
Пример 2.5. Пусть Т — множество чисел 1, ... г п. Мы построим
сейчас некоторый класс мер на поле JF = 3-a, играющий важную роль
в теории вероятностей. Пусть р0 — мера, заданная на обобщенных боре-
левскпх одномерных множествах. Пусть, далее, pt при каждом / < п есть
функция от ?j, .. . , \j и А, где 1,?Х, а Л — обобщенные одномерные боре-
левские множества, обладающая следующими свойствами:
(I) При фиксированных ?1: ... , ij функция ps ($г, ... , ^; А) является
мерой на обобщенных одномерных борелевских множествах.
(II) При фиксированном А функция /^(^ ?,; А) является обобщен-
обобщенной беровской функцией от ilt ... , %,.
Определим тогда меру на поле 3F при помощи следующего повторного
интеграла (вычисляемого повторным интегрированием справа налево):
J Pn-iih. ••¦* K-v din) =
Пример 2.6. Этот пример представляет собой обобщение предыдущего
примера на бесконечномерный случай. Пусть Т — множество положительных
целых чисел, пусть р0, pv ... обладают свойствами, описанными в предыду-
предыдущем примере, н, кроме того, пусть все эти меры являются вероятностными
мерами. Тогда данное выше определение д(Л) позволяет определить q как
аддитивную функцию на поле ,#-0, являющуюся вполне аддитивной, если
ограничиться множествами из ,#-„, задаваемыми условиями, наложенными
¦ на ![, ... , хп при фиксированном п. Из того факта, что меры Pj явля-
являются вероятностными мерами, вытекает, что при A?JF0 величина q{A)
определена однозначно, т. е. что q(A) не зависит от значения п, взятого
при интегрировании. Для случая, когда X есть множество действительных
чисел, a JFX — класс одномерных борелевских множеств, мы уже рас-
рассматривали в примере 2^Tjojge^iy__KonMOropoBa, утверждающую, что каждая
неотрицательная аддитивная дГункция Множества на поле JP0, являющаяся
вполне аддитивной на каждом подполе поля JFO, состоящем из множеств,
заданных условиями, налагаемыми на фиксированное конечное число
координатных функций, является в действительности вполне аддитивной
и на всем 3-й и, следовательно, может быть расширеьа до меры, задан-
заданной на борелевском поле &. Эта теорема не обязательно верна при про-
произвольных пространстве X и поле JFX, но она верна, если q определено
при помощи функций рц, рх, ... так, как описано выше. В теории вероят-
вероятностей р0 определяет начальное распределение вероятностеп, а /,,, р2, ... —
последовательные распределения вероятностей перехода; при этом функции
р0, ри ... часто бывают даны заранее и при помощи этих функций тре-
требуется построить вероятностную меру на борелевском поле ,#\ Выделен-
Выделенное курсивом утверждение показывает, что такое построение всегда воз-
можпо. Для того чтобы доказать это утверждение, достаточно показать,
что если
то

S 2. ФУНКЦИИ МНОЯСВСТВА 553
Действительно, если Mlt М2, ... —непересекающиеся множества из поля ЛР^
с суммой М 6 З'ъ и если
лп=м-им,,
то
так что из предельного соотношения q (А„) —>¦ 0 вытекает искомая полная
аддитивность. Мы можем предположить, что Ап имеет вид
где -4„ — обобщенное ап-мерное борелевское множество. Тогда
П)= ^ Л (Л,) • • •
An
где Фп определяется очевидным образом. Здесь
гак что последовательность {Ф„} сходится к некоторому пределу Ф, и мы.
имеем
ф (У/>(>№)•
X
Пусть теперь 8 — предел левой части этого равенства. Мы хотим Доказать, что
8=0. Если 8 > 0, то существует % такое, что Ф (ijj > 0. Пусть теперь QA) —
множество последовательностей ш(' = (?а, Е3, ..-), где lj?X. Определим
функцию qx на подмножествах множества QA) при помощи равенства
%; ДJ...
Аа>
где
Здесь 'xj1' — определяемая очевидным образом координатная функция,
а ЛA> —обобщенное (« — 1)-мерное борелевское множество. Пусть Л^,1' есть
множество точек <»( ', определяемое условием
Ob if &„ --ОбЛ»-
Тогда
Мы »ожем повторить только что проведенное рассуждение и получить
последовательно точки тп, тJ ... такпе, что для каждой пары чисел т, л
найдутся значения imtl, fm+a, ..., для которых
(il. ••¦• 4m. Zm*l> .--NAn.
Рассмотрим теперь точку <B0==Gii. la» •••)• При каждом п

554 ДОПОЛНЕНИЕ
для соответствующим образом выбранных f^ +j, ??„+2> • • ¦ • Следовательно,
Но тогда шо?Лп, и, следовательно, шо?Р]Ап. Это противоречит предполо-
п
женню о том, что Лп имеют пустое пересечение. Значит, 8 = 0, что и тре-
требовалось доказать.
Прежде чем переходить к приложениям полученного результата,
отметим, что хотя мы и предполагали здесь, что пространство U является
бесконечным произведением одинаковых пространств-сомножителей, на самом
деле эти пространства-сомножители могут быть взяты различными, и это
не вызовет никаких изменений в наших рассуждениях.
Первым приложением будет приложение к независимым мерам. Пред-
Предположим, что pj (lv ..., ?,¦; А) = pj (А) не зависит от ^ ?,-. Мы получим
тогда обычное произведение мер в бесконечномерном пространстве. Наши
предположения не налагают никаких ограничений на меры ру
В качестве второго приложения возьмем за X действительную прямую,
а за 3-х—класс всех одномерных борелевских множеств. Пусть q — произ-
произвольная аддитивная функция, заданная на множествах из &0 и являющаяся
. при каждом п вероятностной мерой на классе множеств из JF0 вида
где А — это n-мерные борелевские множества. Тогда функция q является
мерой и может быть поэтому расширена на множества из поля &¦. Это
утверждение является в действительности частным случаем результата,
который мы только что доказали. В самом деле, так как множество значе-
значений хп является борелевским множеством (а именно действительной прямой),
то, согласно § 9 гл. I, существует условное распределение хп относи-
относительно хх, . .., zn_1; это означает, что заданная на JFa функция q опре-
определяется при помощи функций р0, рх, ... описанным выше образом.
Конечно, приведенное здесь доказательство, так же как и первоначальное
доказательство Колмогорова, приложимо и в более общем случае, когда X
является произвольным борелевским множеством в л-мерном пространстве,
а ,9-х—классом борелевских подмножеств X. Мы опускаем очевидные
обобщения на случай более общих топологических пространств.
Отметим, наконец, что до сих пор мы считали множество Т счетным.
Это не такое сильное ограничение, как может показаться с первого взгляда.
Действительно, предположим, что q — некоторая аддитивная функция
на множествах из ?-0, и для того чтобы показать, что q является мерой,
мы хотим доказать, что если
ТО
limgr(An) = 0.
Так как каждое Ап определяется условиями, наложенными на конечное
число х,, то в определение всех множеств Лп входит не более чем счетное
число значений параметра и достаточно рассмотреть только эти значения.
Таким образом, общий случай может быть сведен к случаю счетного Т.
Будет ли такое сведение полезным, зависит от конкретных обстоятельств.
Пример 2.7. Мы рассмотрим теперь более подробно пример 2.5,
причем, чтобы избежать несущественных осложнений, положим и =2.
Мы будем писать /?(?; А) вместо р, (?; А). Предположим, что на множе-
множествах поля ^х задана мера ср. Тогда прп каждом 1Х?Х мы можем пред-
представить меру р (Ej/, •) как сумму ее абсолютно непрерывной и сингулярной

5 2. ФУНКЦИИ МНОЖЕСТВА 555
компонент относительно <р,
^ $г; А).
Для многих целей желательно, чтобы функция у была измеримой относи-
тель;; ¦ ¦ , упыостя переменных ?1: Е2, т- е- относительно борелевского
поля • . <.Ух~^- Если у обладает этим свойством, то Д (;х; А) будет
функцией от ?и измеримой относительно ^^. В соответствии с нашими
определениями при фиксированном ^ функция y(tv ?,) от 12 измерима
относительно ?Fx и определена однозначно с точностью до множеств
о-меры 0. Задача состоит в том, чтобы выбрать эту функцию при каждом \х
так, чтобы она стала измеримой функцией по паре переменных \х, Е2. Это
можно сделать, как будет показано ниже, при дополнительном предполо-
предположении, что существует последовательность [В)} множеств поля гРх
такая, что если "S — борелевское поле, порожденное классом множеств Bj,
то y(ti, У является при каждом фиксированном ^ функцией от ?.,
равной почти всюду (по мере <р) некоторой функции, измеримой относи-
относительно "S, и при каждом ^ некоторое множество поля S является сингу-
сингулярным множеством для функции множества Д(^; •). Это предположение
выполняется во всех практически интересных случаях. Например, если X —
действительная прямая, ЗРх—класс одномерных борелевских множеств и
у —любая мера на борелевских множествах, безразлично полная или нет, то
за Bj можно взять открытые интервалы с рациональными концами. Определим
Mn) r(«)
. . • ¦ • i &2п >
п
как пересечения вида f") Aj, где Aj есть или Bj или X — Bj. Множества Bj
не пересекаются, дают в сумме X, и борелевское поле, порожденное Knaccov
всех множеств В^\ /,и>1, совпадает с ?. Положим
I 0,
Тогда уп измеримо относительно llt 52> так как оно является обобщенной
беровской функцией от \х на каждом измеримом множестве точек iv i2 вида
Как мы видели выше, при каждом ?х предел
^l- У = 2/00E!,
существует п конечен для почти всех (по мерз у) значений ?2. Здесь у^^, У
есть производная меры р{\г; •) по мере tp относительно разбиений JB'
В то же время, согласно нашэму предположению, y(i,v У при фиксиро-
фиксированном 11 совпадает почти всюду с функцией, измеримой относительно S,
и существует принадлежащее S сингулярное для Д(?,; •) множество.
Следовательно, по теореме 2.5 ycoiij, •) является одним пз вариантов
плотности абсолютно непрерывной компоненты р (Ег; •) относительно меры о-
С другой стороны, г/оо измеримо по lv ?2, так как оно является пределом
измеримых по с1г $2 функций. Функция г/со^, •) от Е2 может быть
не определена на принадлежащем Фх множестве у-меры 0. Мы положим
функцию равной на этом множестве нулю, и тогда полученная таким
образом функция от \х, ?2 будет искомой функцией у.

556 ДОПОЛНЕНИЯ
§ 3. Сохраняющие меру преобразования
Определение. Пусть 2[2] — абстрактное пространство точек ю
[соответственно w]. Пусть q [соответственно q]—мера, определенная на мно-
множествах борелевского поля & [соответственно J/-J множеств простран-
пространства 2 [соответственно 2]. Пусть Т — однозначное преобразование, опреде-
определенное на точках 2 м переводящее их в точки Ъ.. Через Т^Л, где Agj^,
мы будем обозначать ш-множество {Тюб Л}. Преобразование Т называется
однозначным сохраняющим меру точечным преобразованием, если выполняются
следующие два условия:
(I) Если ie#, то Т-1!^^ и
(II) Если A-GJF, то существует Afci^ такое, что Л=Т~1Л.
В соответствии с этим определением, T~1Q = 2, так что
?{}?()
По той же причине, если R — образ множества 2 при отображении Т и если
то
Таким образом, R имеет внешнюю меру ?{§} в том смысле, что каждое
измеримое ш-множество, содержащее R, имеет меру q{Q].
Каждой точке (о соответствует ш-множество точек, переходящих в <о
нри отображении Т. Эти ш-множества мы будем называть в. дальнейшем,
элементарными множествами. Так как каждое множество Л 6 J2- является
прообразом некоторого А, Л = Т~1Л, то каждое множество" из JF является
суммой элементарных ш-множеств, и если х есть измеримая функция от <о,
то x(w) постоянно на каждом элементарном ш-множестве. Далее, каждая
функция х от (в определяет единственную функцию х от <о (которую
мы будем обозначать через Т*) такую, что
Здесь Т^ш нужно понимать как любой прообраз точки ш. Если х— изме-
измеримая функция от ш, то х = Т~1х будет измеримой функцией от <о, так ка7{
если А — борелевское множество и если Л определено как
то
{х (ш) б А} = (х (Тш) б А} = {Тш б Л} = Т-п,
и поэтому ш-множество, написанное слева, измеримо. Обратно, если х есть
измеримая функция от ш, то существует измеримая функция х от о>
(которую мы будем обозначать через Тх) такая, что х = Т~1х. Другими
словами, образ функции х, определяемый указанным выше соотношением
между х и х только на R, может быть определен на п — R так, чтобы
получилась измеримая функция от о>. Это расширение на 12 — R неодно-
неоднозначно, но любые два измеримых образа функции х совпадают на R
и совпадают, следовательно, на ш-множестве меры q (S), так как они
совпадают на некотором измеримом множестве, содержащем R. Мы получим
образ функции х следующим способом (мы можем предположить, что

? 3. СОХРАНЯЮЩИЙ МЕРУ ПРЕОБРАЗОВАНИЯ 557
х — действительная функция). Пусть Аг = {х (ш) </•} при рациональном г,
и пусть Мг —измеримое ш-множество такое, что
По предложению, такое множество Мг существует. Положим, далее,
Тогда А, измеримо и
Ar = T-4v
Очевидно,
х (ш) = т\ г.
Положим теперь
Г infr,
О, U62-UV
I г
Преобразование Т, рассматриваемое как преобразование, действующее
на измеримые функции от ш, неоднозначно; оно становится, однако, одно-
однозначным, если считать идентичными функции от п>, совпадающие почти
всюду. С другой стороны, обратное преобразование Т (также рассматри-
рассматриваемое как преобразование функций) однозначно. В частности, преобразо-
преобразование Т, примененное к функциям, принимающим только значения 0 и 1,
индуцирует преобразование, действующее иа измеримые ш-множества
и переводящее их в измеримые ш-множества. Это преобразование множеств
однозначно, если отождествлять й-множества, отличающиеся на множество
меры 0. Обратное отображение просто однозначно.
Теперь можно проверить без труда следующие свойства преобразо-
преобразования Т, рассматриваемого как преобразование функций.
Если xv ..., хп — измеримые функции от ш, xi = T~1X) и Ф —беровская
функция и переменных, то
х1 хп).
Если xvxv ...—измеримые функции от ш и Xj-=1~xXj, то предел
lim xn (о>)
существует для почти всех ш тогда и только тогда, когда
существует для почти всех <о, причем если эти пределы существуют, то они
переходят друг в друга при отображении Т (с точностью до значений
функций на множестве меры нуль). Если х — измеримая функция от и)
и х = 1~1х, то х интегрируема тогда и только тогда, когда интегрируема х,
причем если эти функции интегрируемы, то
\ х dq = \ х dq.
Последнее утверждение требует некоторых пояснений. Если х(и>) принимает
только значения 0 и 1, то то же самое верно и для х(ш), и равенство

558 ДОПОЛНЕНИЯ
интегралов сводится к тому, что Т сохраняет меру измеримого множества.
Так как класс функций х, для которых верно утверждение о равенстве
интегралов, содержит линейные комбинации входящих в него функций,
то отсюда следует, что это утверждение верно для всех функций х, прини-
принимающих конечное число значений. Общий случай может быть, очевидно,
сведен к случаю неотрицательного х. Итак, предположим, что х неотри-
неотрицательно, и положим
„()
{ 0, z (ш)>«.
Тогда limxn(w) = x((o), и если хп = Т^1хп и z = Tz, то отсюда следует, что-
т»-*оо
lim хп (ш) = х (й>)
П-ЮЗ
для всех (в. Кроме того,
г^(ш)<z,(а>)< ...,
так что
ж1(и))<а;2(ш)< ....
Так как хп принимает только конечное число значений, то
\ хп dq = \xn dq.
а а
При и—*оо мы получим искомое равенство интегралов от х и х (эти инте-
интегралы могут принимать и бесконечные значения).
Отметим, наконец, что существенной отправной точкой наших рассмо-
рассмотрений было предположение о существовании однозначного преобразова-
преобразования Т, действующего на измеримые множества из 3е и переводящего
их в множества из J2-, и притом так, что дополнения, суммы и пересе-
пересечения множеств из л? переходят в дополнения, суммы и пересечения
соответствующих множеств из ,<Р. -В действительности первоначальное
задание Т как однозначного точечного преобразования нужно было нам
лишь для того, чтобы определить Т, как такое преобразование множеств,
и все рассуждения можно было бы провести, постулировав лишь требуемые
свойства преобразования Т~г. Мы этого не сделали потому, что достигаемая
таким способом большая общность не требуется для приложений в гл. I
(см. также следующие примеры и § 6 гл. I; более общий подход развит
в § 1 гл. X).
Пример 3.1. Пусть Q — абстрактное пространство точек и>. Пусть,
дрлее, q есть мера, определенная на множествах некоторого борелевского
поля ш-множеств, и х — действительная измеримая функция от о>. Обозначим
через ^ — ^{х) борелевское поле ш-множеств вида {z(o>)(- Л}, где Л —одно-
—одномерные борелевские множества. Пусть 12 — действительная прямая, JF — класс
o^-i мерных борелевских множеств и д — мера на борелевских множествах,
определенная равенством
Для каждого ш положим о> = Т(ш) — х(ш). Тогда Т будет преобразованием,
переводящим точку ш в действительное число ш. При этом преобразовании 2
переходит в какое-то одномерное множество R. Отметим, что преобразо-
преобразование Т однозначно, но обратное к нему преобразование, вообще говоря.

5 3. СОХРАНЯЮЩИЙ МВРУ ПРЕОБРАЗОВАНИЯ 559
многозначно. Для любого одномерного борелевского множества Л обозначим
через Т~1А множество всех ш таких, что Тш^Л. Заметим, что если Л —
борелевское множество и Л = Т~1Л, то
где интеграл является интегралом Лебега — Стильтьеса. В самом деле, как
мы уже видели в примере 2.2, в такой форме может быть записана при
соответствующим образом подобранной функции F любая мера на боре-
левских множествах, причем F достаточно выбрать так, чтобы это равенства
было выполнено для множеств Л, являющихся правыми полузамкнутыми
интервалами. В нашем случае рассматриваемое равенство для таких Л
выполняется по определению F. Если мы будем теперь понимать под «изме-
«измеримыми ш-множествами» только множества поля JF, то предыдущие резуль-
результаты будут попросту означать, что Т является однозначным сохраняющим
меру точечным преобразованием. Заметим, что если Ф—беровская функция
от одного переменного, то
Ф(х) = Т-]Ф(^),
так что в соответствии с нашими общими результатами
от
(х)с1д = \ Ф
а — со
В частности, мы получаем, что
оо
\ х dq — \ п> dF (to)
а -от
хорошо известный факт, вытекающий также тривиальным образом:
из того обстоятельства, что суммы, используемые обычно для аппроксима-
аппроксимации левого интеграла, совпадают с суммами Римана — Стилътьеса, исполь-
используемыми при аппроксимации правого интеграла.
Пример 3.2. Этот пример является обобщением предыдущего на случай
произвольного числа измерений. Пусть 2 — абстрактное пространство точек о>.
Пусть, далее, q — мера, определенная на множествах некоторого борелевского
поля ш-множеств, и {xt, t ? Т) — семейство действительных измеримых
функций. Положим ,^r = JF(zM t?T). Обозначим, далее, через U = {о>}
класс действительных функций l(t), t?T. Пусть xs—функция от ш, при-
принимающая значение 5(s), если ш есть функция k(t), так что xs(u>) = \(s).
Пусть 3-л — поле ш-множеств вида
{[гA(ш), ..., xtn(u>)]?A},
где п может быть любым целым положительным числом, t)$T и А — произ-
произвольный n-мерный правый полузамкнутый интервал или конечная сумма
таких интервалов. Обозначим через ^г = ^'(жг, t?T) борелевское поле
ш-множеств, порожденное полем jF0. Для каждого ш положим i6 = T(w)
равным функции от t, получающейся из х, (ш) при переменном t. Тогда Т
будет однозначным точечным преобразованием, переводящим 2 в ЙСЦ2.
Обратное преобразование, вообще говоря, неоднозначно; мы определим Т^Л.
для Л, являющихся й-множествами, как ш-множество, на котором T(u>)gA.
Тогда из того, что Л?.^, будет вытекать, что Т"гЛ6^. Действительно,

560 ДОПОЛНЕНИЕ
«огласно нашему определению, это верно, если AgJ2^, а так как множе-
множества из .#-, для которых верно это утверждение, образуют борелевское
поле, то это верно и для всех множеств из Цр. Если А^^ и Л = Т~1А,
то положим
Заметим, что если Т — бесконечное множество, то определенная таким
«пособом мера q совпадает с мерой, возникающей из меры на множествах Jf0
при ее расширении до меры на всем JF так, как это делалось в примере 2.3.
Действительно, эти меры совпадают на JFg, a JF является борелевским
полем, порожденным jf0. Преобразование Т будет однозначным сохраня-
сохраняющим меру точечным преобразованием, если понимать под ш-измеримыми
множествами только множества Л ? S~- В соответствии с нашими общими
результатами о таких преобразованиях,
и вообще, если i1( ..., tn — конечное подмножество множества Т и Ф —
беровская функция п переменных', то
х(п)й?=^ФE(г, ...,~xtn)dq.
u a
Это равенство означает, что если хотя бы один из входящих в него инте-
интегралов определен, то оба интеграла определены и равны между собой.
Таким образом, во многих случаях семейство {xt, t?T] функций от ш
можно заменить семейством {xt, t$T} функций от <». Величины xt явля-
являются координатными переменными в пространстве, размерность которого
равна кардинальному числу множества Т.

ПРИЛОЖЕНИЕ
ГЛАВА I
§§ 1-5
Основополагающая работа о сведении понятий теории вероятностей к понятиям
теории ^еры принадлежит Колмогорову [5, 1933].
Гипотеза о полноте меры Р используется лишь при изучении свойств сепарабель-
сепарабельности и измеримости вероятностного процесса (си. § 2 гл. 11). Таким образом, эта
гипотеза оказывается фактически ненужной, когда рассматриваются только конечные
или счетные совокупности случайных величин (иначе говоря, вероятностные процессы
с дискретным параметром); она не нужна также и для значительной части теории
несчетных бесконечных совокупностей случайных величин (вероятностных процессов
с непрерывным параметром).
§ 6
Роль теории изображений как способа сведения различных вероятностных теорем
к стандартным теоремам теории меры была подчеркнута Дубо.м [4, 1938].
§§ 7, 8
Определенпе и основные свойства условных вероятностей и условных математи-
математических ожиданий в терминах теории меры были даны Колмогоровым [5, 1933].
§9
Теоремы 9.4 первоначально не было в тексте. Мой Шуч Чен указала автору, что
эта теорема содержится в его доказательстве теоремы 9.5 и заслуживает особого выде-
выделения.
Для того чтобы избежать загромождения основного текста, теорема 9.5 была
сформулнропана нами не в наибольшей общности. На самом деле единственным факти-
фактически использованным свойством множества значений R является его измеримость
по Лебегу—Стильтьесу для каждой меры Лебега—Стпльтьеса. Так как аналитические
множества обладают этим свойством, то теорема останется верной, если предположить
только, что R является аналитическим множеством, а не обязательно борелевским,
как предполагалось в тексте. Кроме того, теорема, очевидно, останется верной, если
в ее условии залгенить множество Q его произвольным подмножеством Qi, имеющим
вероятность 1. Новую теорему, получающуюся, если доиустить, что R может быть
любым аналитическим множеством, и заменить Q на 2Ь мы будем называть обобщен-
обобщенным вариантом теоремы 9,5. (Можцо показать, впрочем, что после замены У на Si.
теорема уже пе становится более общей, если разрешить R быть любым аналитическим
множеством, а не обязательно борелевским.) Условия обобщенного варианта теоремы
9.5 удовлетворяются (при любом выборе yi,..., у,), если Q — полное сепарабельное
метрическое пространство и если заданная вероятностная мера является мерой (полной
1 ли нет — безразлично) яа совокупности борелевских множеств. Эти условия удовле-
удовлетворяются также (прп любом выборе yt, .... уп) в случае, иогда пространство L! н задан-
заданная вероятностная мера обладают тем свойством, что если х—любая случайная вели-
величина, а Л — одномерное множество такое, что ш-множество {х(ш)сА} является изме-
измеримым, то
Р{х(т)?А}= inf P{iH?Bl.
ВЭ А
где В — открытые множества. Гпеденко и Колмогоров [1, 19Ю] ввели это последнее
условие в само определение вероятностной меры.
Заметим еще. что если класс о?*! измеримых ш-мпожестп является борелевским полем,
порожденным некоторым счетным подклассом, то существует случайная величина х
токая, что класс множеств {г(ш)?/Ц, гдо А— одномерные борелевскне множества, сов-
совпадает с еЯ^. Поэтому если случайная величина ж удовлетворяет условиям обобщенного
варианта теоремы 9.5, то существует условное распределение па множествах e?"i отно-
относительно любого борелевского поля е^~ измеримых ш-множеств.

562 ПРИЛОЖЕНИИ
В заключение рассмотрим следующий пример. Пусть пространством Q является
интервал [О, 1J и а?* есть класс борелевскшс подмножеств этого интервала. Далее, пусть
А—фиксированное подмножество пространства 2, имеющее внешнюю меру Лебега 1
и внутреннюю меру Лебега 0, и а?*!—борелевское поле, порожденное множеством А
и множествами из о?", т. е. иначе говоря, класс всех множеств вида АВ^ \j A'B3, где
А'—дополнение А и В„ Вг—множества из о?". Вероятностную меру на множествах
из «7*! определим соотношением
U А'Вг) =\[т (#,) + т (В2)},
где т(В)—мера Лебега множества В. Легко проверить, что это определение является
однозначным н что оно действительно определяет вероятностную меру на множествах
из а?",. Эта вероятностная мера сводится к мере Лебега на борелевских множествах
и равна 1/2 на множестве А. Легко проверить, что условное распределение вероятно-
вероятностей на множествах класса а?'1 относительно <& не существует. Пусть теперь х—-функ-
х—-функция, определенная на нашем пространстве и обладающая" тем свойством, что класс
множеств вида {х (<•>)? В), где В—борелевские множества, совпадает с а^.
Такая функция строится тривиальным образом, и она не может иметь условного
распределении вероятностей относительно <&'. Этот пример противоречит одной теореме
Дуба [4, 1938, теорема 3.1], согласно которой условная вероятностная мера множеств о?",
относительно поля а?" всегда существует, если c&"i — борелевское поле, порожденное
счетным подклассом его множеств. Ошибочность этой теоремы и одной связанной с ней
теоремы [там же, теорема 1.1] была указана Дьедонне, а также Андерсенг.,[ иИессеном.
Несколько более специальный противоречащий пример, не приводящий к полному
опровержению возможности существования условного распределения вероятностей в том
смысле, в каком оно определено в этой книге, содержится у Халмоша [3, 1950, § 48].
§ Ю
Результаты этого параграфа принадлежат Колмогорову [5, 1933].
§ 11
Неравенства A1.8), A1.8'), (П.'в), (Н.9), A1.9), A1.10) в той форме, в какой они
здесь приводятся, являются новыми, однако в неявном виде они (или, по крайней мере,
некоторые их частные случаи), уже встречались в литературе. Все эти неравенства
были подсказаны автору неравенством A1.8) (с a = l/jj. и множеством А, являющимся
интервалом [0, а]) и одним из вариантов неравенства (И.9), содержащимся у Винтнера
J3, стр. 18].
ГЛАВА II
В некоторых случаях оказывается удобным считать, что значениями параметра
вероятностного процесса являются множества из некоторого аддитивного семейства
множеств. Общее изложение этой точки зрения см. в работе Бохяера [2, 1942]. Напри-
Например, процесс брауновского движения (пример 1 из § 9) допускает следующее обобще-
обобщение: каждой конечной сумме 1 из А-мерных интервалов сопоставляется гауссовская
случайная величина xt с математическим ожиданием 0 в дисперсией, равной А-мерному
объему /; совокупности z^ , ...,*/„ имеют л-мерные гауссовекпе распределения, причем
математическое ожидание E{xjrxIs} равно объему пересечения IrIs. При & = 1, множе-
множестве lt, совпадающем с интервалом [0, «|, иу, = г; веронтностиый процесс {t/(, 0=^? < ос}
является обычным процессом брауновского движения, определенным в § 9. Отметим, что
даже если параметр ? отождествляется с элементом семейства множеств (как в приве-
приведенном выше примере), то существование соответствующего процесса все равно гаран-
гарантируется выполнением колмогоровских условий согласованности, рассмотренных в § 5
гл. I, поскольку в этом параграфе предполагалось, что значении параметра принадле-
принадлежат некоторому абстрактному множеству.
§2
Дальнейшее обсуждение понятий сепарабельности и измеримости вероятностных
процессов и связанных с этим вопросов см. в работах Дуба [3, 1937; 5, 1940; 9, 1947],
Амброза [1, 1940] в Дуба и Амброза [1, 1940]. Подход, изложенный в § 2 и используе-

ПРИЛОЖЕНИЕ 563
мый ва протяжении всей этой книги, является несколько более общим, чем тот, кото-
который имеется в указанных статьях, в том смысле, что выбор в качестве основного
ш-пространства пространства функций или какого-либо его простого видоизменения,
а в качестве случайных величин, задающих процесс, —координатных величин рассма-
рассматривается теперь всего лишь как изящный частный случай. Поэтому п терминоло-
терминология в основных теоремах о сепарабельности и измеримости, принятая в | 2, несколько
отличается от терминологии в перечисленных выше статьях. Связи между различными
имеющимися здесь подходами были рассмотрены Дубом и Амброзом [1, 1940]. Точку
зрения, аналогичную принятой в этой книге, можно найти у Слуцкого [2, 1937].
Если ие предполагать, что мера Р является полной, то в определении сепарабель-
сепарабельности на стр. 53 нужно предположить, что два множества, указанные в строне 16,
отличаются на измеримое подмножество множества А.
Укажем еще раннюю работу Слупкого [1, 1928], в которой интеграл
ь
\x{t, u>)dt
а
определяется не как интеграл от выборочной функции гс(?,ш), а как случайная вели-
величина, равнан пределу в среднем соответствующих римановых сумм.
§ 3
Взаимосвязь между понятиями в узком и широком смысле для ряда частных
случаев хорошо известна специалистам по теории вероятностей. В настоящем изложе-
изложении эта взаимосвязь определяется более аккуратно, чем обычно, и систематически
прослеживается на протяжении всей книги с целью помочь пониманию и ориентировке
в большом количестве результатов.
§ 6
Марковские процессы в работе Колмогорова [3, 1931] назывались стохастически
определенными. Марковское свойство иногда неточно определяют как свойство, состоя-
состоящее в том, что условная вероятность Р{х[ (о>)<Д |a;s} при s < t не зависит от хТ, если
г < .». Это определение, конечно, некорректно, так как для любого вероятностного про-
процесса (марковского или нет—безразлично) указанная условная вероятность нвлиется
случайной величиной, определяемой вне всякой связи с каким-либо хг, г < з.
§ 7
Название мартингал принадлежит Биллю [1, 1939]. Дуб [5, 1940] называл свой-
свойство, определяющее мартингал, свойством Е.
§9
Процессы с независимыми приращениями назывались дифференциальными процес-
процессами в работе Дуба [3, 1937], однородными процессами н книге Крамера [1, 1937] (где
рассматривался только случай стационарных приращений), интегралами от случайным
алементое в исследованиях Леви [2, 1934; 5, 1937| и аддитивными процессами в книге
Леви [7, 1Е48]. Систематическое изучение этих прсг мю начато Финетти [1, 1929].
ГЛАВА III
Различные варианты закона нуля или единпп с, у Колмогорова [5, 1933)
и Иессена [1, 1934]. Многочисленные частные случаи .о: -икона были замечены еще
до того, как была обнаружена общая теорема.
§2
Усилевное утверждение теоремы 2.1 [неравенство B.1')] принадлежит Колмогорову
[1,1928], который предполагал, что величины у/ взаимно независимы. Тот факт, что его
доказательство использует лишь предположения, указанные в теореме 2.1 и выражаю-
выражающиеся через условные математические ожидания, отмечался различными авторами.

564 ПРИЛОЖЕНИЕ
Теорема 2.3 принадлежит Хинчину и Колмогорову [1, 1924|. Теоремы 2.4 и 2.5
принадлежат Колмогорову [1, 1928, а такжз рабэта, указанная в предыдущей ссылке].•
Результаты этих авторов были развиты дальше Леви A, 1931], Иессеном |1, 19.44],
Иессенон и Виитнером [1, 1935). См. также работы Марцпнкевича [1, 1937; 2, 1938],
Марцинкевича и Зигмунда [1, 1937], Ван Каипена и Вйнтнера [1, 1937J, Ван Камггена A, 1940],
книгиВиятнера [2, 1938; 3, 1947J, книгу Леви [5, 1937] и работу Кунисава A, 1949]. Вместо
того чтобы рассматривать бесконечные ряды из взаимно независимых случайных вели-
величин, можно изучать бескопечные композиции функций распределения этих случайных
велпчан; этот подход использовался Ван Кампеном и Винтнером. При подходе, исполь-
использованном Леви, основную роль играет явное рассмотрение убывающей концентрации
последовательных частных сумм ряда из взаи\шо независимых случайных величин.
Кавата [1, 1941] несколько упростил подход Леви, осредннв введенную Леви функцию
концентрации распрэделения, а Кунисава в указанной выше работе дал полное изло-
изложение вопроса, основанное на таких осрздненных функциях концентрации. Кавата
я Удагав.а [1, 1949] показали, что в теореме 2.7 можно использовать критерип, осно-
основанные на поведении характеристических функций ив любом .множестве положительной
меры, что приводит к результатам, лишь слегка более слабым, чем доказанные в этой
теореме.
В доказательстве следствия из тзоремы 2.7 используется неравенство
|Пг,—1 |<2k/-U
i i
верное при любых комплексных gj, по модулю не превосходящих 1. Достаточно дока-
доказать это неравенство для конечного числа солшожителей gj. Для одного единственного gj
неравенство тривиально. Для того чтобы довести до конца доказательство, нам нужно
лишь показать, что это неравенство будет верным для g\,.-., g ,/i, если только оно
справедливо для gi g,,. Нужное нам утверждение вытекает пз того, что
§ з
Необходимые и достаточные условия для выполнимости обычного закона больших
чисел были найдены Колмогоровым [1, 1928] и в несколько более обшо:.г случае Фелле-
Феллером [4, 1937]. См. также работы 1\1арцинкевича [3, 1938], Дебллна [2, 1939], Гнеденко
[1, 1939; 3, 1944] и Кунисава [1, 1949].
Тзорема 3.4 принадлежит Колмогорову [2, 1930].
Обобщение этих теорем на зависимые случайные величины см. у Лоэва [2, 1945].
§ *
Фэрмула D.6) для характеристической функции безгранично делимого закона была
найдена Леви [2, 1934]. Вывод этой формулы для того частного случая, когда рассматри-
рассматриваемое распределение имеет конечный второй момент, был ранее дан Колмогоровым[4,1932].
См. также изложение результатов Колмогорова в книге Крамера [1, 1937, гл. VIIII-
Аналитический вывод был дан впервые Хинчиным [3, 1937] и Феллером [3, 1937]. При-
Приводимый здесь вывод является несколько более прямым, чем первоначальные выводы,
¦что объясияется использованием неравенств для характеристических функций, получен-
.иых в § 11 гл. I.
Общее изучение предельных законов для сумм независимых случайных величин
•см. у Деблина [2, 1939], Гнеденко [1, 1939; 3, 1944], Хинчина [4, 1938] и Гнеденко и Кол-
Колмогорова [1, 1949].
Необходимые и достаточные для справедливости центральной предельной теоремы
•условия (по существу, эквивалентные теореме i.2) были получены Леви [3, 1935] и в ана-
.литической форме Феллером [1, 1935]. См. также работы Деблнна [2, 1939|, Гнеденко
[1, 1939] в Марцинкевича [3, 1938j. Теорема 4.3 принадлежит Линдебергу [1, 1922].
Теорема 4,4 является классическим вариантом центральной предельной теоремы, при-
яадлежащим Ляпунову. Обобшения этих теорем на зависимые случайные величины и ссыл-
ссылки на дальнейшую литературу о таких обобщениях см. у Лоэва [2, 1945].
§5
Теорема 5.1 принадлежит Колмогорову [5, 1933]. Ему же принадлежит приводимое
здесь доказательство этой теоремы.
Теорема 5.2 принадлежит Дубу [2, 1936].
ГЛАВА IV
Так как существует много хороших изложений теории ортогональных функций
с различных точек зрения, то гл. IV написана весьма сжато. Однако эта глава не может

ПРИЛОЖЕНИЕ
565
быть совсем опущена. Например, теорема Рисса—Фишера о том, что последовательность
функций, для которой выполняется критерий Коши сходимости в среднем, имеет предел
в среднем, т. е. о том, что пространство L2 является полным пространством, является тео-
теоремой теории вероятностей в не меньшей степени, чем центральная предельная теорема,
и поэтому в не меньшей степени относится к материалу этой книги. Отсюда, разумеется, не
следует, что мы предлагаем отделить теорию ортогональных функций от тесрип меры
и теории гильбертовых пространств и присоединить ее к теории вероятностей. Однако
условие взаимной ортогональности двух функцпй является в точности однпм из условий,
используемых в теории вероятностей, и этот факт не становится менее верным от того, что
теория ортогональных функций возникла и развивалась вне связи с тем, что в тот период
понимали под теорией вероятностей. Уступая традиции, мы опустили в § 4 гл. I дока-
доказательство теоремы Рисса—Фишера, поскольку оно имеется в многочисленных легко
доступных руководствах по ортогональным функпиям,
В качестве общих ссылок, относящихся ко всему материалу гл. IV, укажем книги
Качмажа и Штеынгауза [1, 1935J и Стоуна [2, 1932]. Матерпал § 6 см., в частности,
у Зигмунда [1, 1935J.
ГЛАВА V
§§ 1-4
Общее изложение теории цепей Маркова см. в книгах Гостпнского [1, 1931], Фреше
[2, 1938J (в обеих этих книгах имеется также подробная библиография), Романовского
[1, 1949j и Феллера [6, 1950J. Рассмотрение цепей Маркова без всяких ограничений на
число возможных состояний имеется у Колмогорова [6, 1936], Иосида и Какутани
[1,1939], Дуба [7, 1942] и Феллера [6, 1950]. Основные результаты для случая конечного
числа состоянии [§ 2 случай б)] восходят к Маркову [1, 1906] и впоследствии неодно-
неоднократно переоткрывались. Фундаментальная работа о цепях Маркова со счетным числом
состояний принадлежит Колмогорову [6, 1936].
§ 5
Изложение в § 5 совпадает по существу с изложением, данным Деблпным [1, 1937];
однако оно обобщено на случай абстрактного пространства состояний и дополнено анали-
анализом возможных классов .D-троек <f,s,i. Изложение теории марковских процессов с (вообще
говоря) непрерывным пространством состояний было дано с различной степенью общности
многими различными методами Колмогоровым [3, 1931], Фреше [1, 1934], Крыловым
в Боголюбовым [2,3, 1937|, Дубом [4, 1938; 10, 1948], Деблиным [1, 1937; 5. 1940), Иосида
в Какутанп [2, 1941 ], Бебутовым [1, 1942|, Ягломом [1, 1947], Иосида [2, 1948]. Наиболее
далеко идущей из этих работ является работа Деблина 1940 года. Более ранние и менее
окончательные публикации в этом списке опущены.
§ 6
См. также обсуждение закона больших чисел для марковских процессов с другой
точки зрения в работах Дуба [4, 1938; 10, 1948], Иосида |1, 1940] и Какутани [1, 1940].
Центральная предельная теорема для случая цепей Маркова принадлежит Маркову
[2, 1924J. Теорема 7.5 при дополнительном предположении, что функция / ограничена,
принадлежит Деблину [1, 1937].
Обсуждение центральной предельной теоремы для случая последовательности,
в которой независимы достаточно далеко отстоящие друг от друга члены (как это было
в нашем приложении теоремы 7.5'), см. в работе Хефдинга и Роббинса [1, 1948].
ГЛАВА VI
§ 1
О цепях Маркова с непрерывным параметром см. работы Колмогорова [3, 1931],
Крылова и Боголюбова [1, 1936), Деблина [4, 1940] и Дуба [7, 1942; 8, 1945]. Аналити-
Аналитический подход к этому вопросу с точки зрения теории полугрупп изложен в кнпге Хнлла
[1, 1948]. Теорема 1.1 принадлежит Деблпну [4, 1940]. Теоремы 1.2, 1.3 и 1.4 содержатси
в много более общих результатах Деблина [3, 1939]. (См. также ниже § 2.)

S66 ПРИЛОШВНИВ
§ 2
Поспишил Jl, 1935—36] л Феллер [i2, 1936) изучали марковские процессы, рас-
рассмотренные в § 2, и получили теоремы существования и едииствеиности в случае ограничен
иой функции q в B.2). Их метод был чисто аналитическим, и рассматриваемая задача изу-
изучалась ими как задача о решении интегрального уравнения Чепмена—Колмогорова.
Деблин [3, 1939 J рассмотрел эту задачу вероятностным методом при помощи анализа мар-
марковского процесса в предположениях, достаточно сильных для того, чтобы обеспечить
ступенчатость почти всех выборочных функций. Феллер [5, 1940], изучая, подобно Пос-
пипшлу, эту задачу аналитическим методом, ослабил предположения Поспишила и Деб-
лина, а также предположения своей первой работы. Все эти авторы предполагали, явно
или неявно, что у рассматриваемых процессов почти все выборочные функции являются
ступенчатыми. В частном случае цепей Маркова Дуб [8, 1945] показал, что это пред-
предположение может быть опущено. Изложение в § 2 следует в основных чертах этой послед-
последней работе, но здесь оно несколько обобщено и содержит результаты Поспишила, Деблина
и Феллера (если отвлечься: от того обстоятельства, что указанные авторы не предполагали
процесс однородным по времени). Леви [8, 19511 дал подробный анализ различные воз-
возможных типов выборочных функций цепи Маркова, включающий случаи, когда точки
разрыва этих функций не образуют вполне упорядоченного множества на оси t.
{3
Рассмотренные в этом параграфе процессы впервые были систематически изучены
Колмогоровым [3, 1931], установившим, что вероятности перехода здесь удовлетворяют
уравнениям в частных производных C.4) и C.4'). Феллер [2, 1936] доказал теоремы
существования и единственности для решений этих уравнений. Ито [3, 1946; 4, 1951)
показал, что соответствующие процессы могут быть построены при помощи решения
стохастических дифференциальных уравнений. Результаты Ито изложены в | 3 с неко-
некоторыми изменениями, ставшими возможными благодаря использованию других резуль-
результатов, содержащихся в настоящей книге. Форте [1, 1943] использовал результаты Фел-
Феллера для анализа свойств непрерывности и родственных им свойств выборочных функ-
функции рассматриваемых процессов. Колмогоров, Феллер и Ито в указанных выше работах
рассматривали также более общие вероятностные процессы, получаемые при комбини-
комбинировании процессов, изученных в §§ 2 и 3.
Рассмотрение решений дифференциальных уравнений C.4) и C.4') как пределов вероят-
вероятностей перехода, соответствующих суммам зависимых случайных величин, сводящееся
к изучению обобщений центральной предельной теоремы некоторого специального типа,
ем., например, у Бернштейиа [2, 1938] и Хинчина [1, 1933].
глава vn
§ 1
Мартингалы изучались многими авторами, работы которых будут указаны ниже.
См., в частности, Леви [5, 1937], Билль [1, 1939], Дуб [5, 1940]. Полумартингалы вво-
вводятся здесь впервые.
Напомним, что случайные величины семейства {xt, t ? Т) называются равномерно
¦нтегржруемымн, если равномерно по (
lim
Необходимое и достаточное условие равномерной интегрируемости состоит в том, чтобы
Е{|х(|} было ограничено по { и чтобы при Р{Л} = 5 равномерно по t выполнялось пре-
предельное соотношение
lim \ Ixj |dP = 0.
J-.0 J
л
Для равномерной интегрируемости достаточно, чтобы при некотором о > 1 величина
Е{|г(|а} была ограничена по t. Если {х„, л > 1}—некоторая последовательность неотри-
неотрицательных случайных величин, сходящихся с вероятностью 1 к величине х, и если
иатематические ожидания этих величии сходятся к конечному пределу с, то с > Е {х}
(в силу леммы Фдту). Равенство имеет здесь место тогда и только тогда, когда вели-
величины хл равномерно интегрируемы.

ПРИЛОЖЕНИЕ
5ffl
§2
Теоремы 2.1 и 2.2 являются новыми. Теорема 2.3 является усилением одной
теоремы Халмоша [1, 1939].
§3
Теорема 3.1 в применении к мартингалам была получена Дубом [5, 1940].
Теорема о том, что любой процесс, являющийся мартингалом при обоих упорядо-
упорядочениях множества значений параметра, обладает тем свойством, что при любых значе-
значениях параметра
P{a:,(») = irjH} = l
является новой. Приведенное в тексте доказательство принадлежит Кпини и Снеллу.
Теорема 3.2 для случая мартингалов [в этом случае соотношение C.4') можно по-
получить, применяя C.4') я процессу {—г,-, 1</</i}] была использована впервые Леви
и Биллем.
Теорема 3 3 для мартингалов была установлена Дубом [13, 1951]. Тот факт, что
¦эта теорема верна также и для полумартингалов, принадлежит Снеллу. Ему же принад-
принадлежит приведенное в тексте доказательство.
Теорема 3.4 является новой.
§4
Содержащиеся в этом параграфе теоремы о сходимости мартингалов взяты в основ-
основном из работы Дуба [5, 1940]. Они дополнены некоторыми вспомогательными резуль-
результатами. Различные частные случаи были найдены до этого другими авторами. Подроб-
Подробные указания на этот счет см. ниже. Теоремы о полумартингалах являются новыми
(однако см. ниже обсуждение работ Андерсена и Иессена, которые получили несколько
более слабые результаты в другой формулировке).
Пункт V теоремы 4.1 был получен Леви [5, 1937, теорема 68] при условиях регу-
регулярности величин ха<-1—хп, слегка отличающихся от D.2).
Следствие 2 к теореме 4.1 принадлежит Леви [5, 1937, следствие 68].
Второе из предельных равенств D.13') в следствии 1 к теореме 4.3 принадлежит,
по существу, Леви [4, 1935; 5, 1937, теорема 41]. Леви получил этот результат в не-
несколько иной формулировке. А именно, в качестве z Леви рассматривал лишь случай-
случайные величины, являющиеся характеристическими функциями точечных множеств, так
что вместо условных математических ожиданий у него были условные вероятности.
Иессея [1, 1934] доказал утверждение, сводящееся, по существу, к следствию 1 из
теоремы 4.3 в случае, когда величины у; независимы и каждая из них равномерно
распределена на интервале [0, 1] (этот результат приводится в § 7).
Следующие замечания делаются для того, чтобы разъяснить связь между теоре-
теоремами Андерсена и Иессена [1, 1946; 3, 1948] и теоремами о сходимости мартингалов
из § 4. Пусть {х„, o?"ni п> 1}—мартингал и пусть ср„—вполне аддитивная функция
на а?"п, задаваемая при помощи соотношения
(I)
J
A
Тогда при т < л
Пусть <#"т—борелевское поле ш-множеств, порожденное полем (J S"n. Если
п
существует случайная величина х^ такая, что процесс {хп, <&~п, 1^л^со}
является мартингалом (это будет верно, например, если величины хп равномерно интег-
интегрируемы), то, положив в A) л = со, найдем, что это соотнощенпе оиределяет вполне
аддитивную абсолютно непрерывную функцию ср^ на <&'т. В этом случае функция ср„
получается из яю сокращением ее области определения с <&'„ до <&'п, а х^ есть плот-
плотность функции ср„ относительно данной вепоятностиой меры (в качестве области опре-
определения которой теперь также берется <&'п). Заменим теперь предположение о суще-
существовании величины хх, обладающей указанными выше свойствами, предположением о
неотрицательности величпн х„. Тогда в силу теоремы 4.1 предел lim xn существует и
конечен с вероятностью 1, и мы можем определить х^ как этот предел. Заметим, что
процесс {х„, 1<л^оо} уже не обязан теперь быть мартипгалом, но в силу леммы
Фату всегда
С С
lim \ х„ dP з= \ ха> dp> л ? о*1 т.

568 ПРИЛОЖЕНИЕ
так что процесс {—х„, 1<л<ос} является полумартингалом. Если Л? и<^п, то <рп('1)
п
ие зависит от п при достаточно больших п\ положим
<?да(А) = Пт«рп(Л).
П--СО
функция множества ср^, определенная на поле [J ч^п, как это будет показано в при-
¦п
водимом ниже примере, не обязана быть вполне аддптпвиой. Условие ее вполне адди-
аддитивности является немного более слабым условием, чем использованное выше условие
равномерной интегрируемости величин хп. В § 8 был дан пример мзртиигала {хп, л>1},
для которого пространством 2 является иптервал [О, I] и который обладает следующи-
следующими свойствами:
х„>0, Е{х„} = 1, lim i,(;) = 0, *=р4-
Основной вероятностной мерой является здесь мора Лебега. Если мы выбросим из 2
точку '/г. то окажется, что Пш хп = 0 геюду на 2. Определим и?~п как совокупность
п~*са
конечных сумм интервалов
(
2n+1 ' 2n+1 J '
с тем исключением, что при / = 0 точка 0 принадлежит такому интервалу, а при
/ = 2"—1 точка V2 считается не входящей в этот иатервал. Если /„ есть второй из
указанных только что интервалов, то
С другой стороны,
и отсюда следует, что функция f^ не явлиется вполне аддитивной, так как иначе мы
имели бы
Обратно, пусть 2 — некоторое абстрактное пространство, o^i СТ'оУ'а СГ — моно-
монотонная последовательность борелевских полей ш-множеств п о?~х—борелевское поле
ш-цнонсеств, .порожденное полем (J <^п. Пусть, далее, Р — вероятностная мера па мно-
множествах из о^дз, ср —вполне аддптпвная, абсолютно непрерывная (относительно Р)
функция на о^д, и ср„ (мера Рп)—функция » (мера Р), область определения кото-
которой сокращена до <^п- Пусть z,,—плотность tfn относительно Р„. Андер-
Андерсен и Иессен [1, 194С] показали, что lim г,1^*оо с вероятностью 1. Так как и наших
П-*СО
предположеннях
то с вероятностью 1
х„=Е{гоо|оУп}.
Таким образом, результат Андерсена—Иессева оказывается частным случаем теоремы
4.3, согласно которой с вероятностью 1
Mm Е {*ет | оГп} = Е {хш | drj.
п-*со
Андерсен н Иессен доказали также существование предела хм в предположении, что
каждая из функций -fn абсолютно непрерывна п что функция срм вполне аддитивна
(но не обязательно абсолютно непрерывца). Этот предел оказывается в таком случае-

ПРИЛОЖЕНИЕ 569
плотностью абсолютно непрерывной компоненты функции 'fra. В этом случае
<Pm(A)= ^ xmdP = vn (Л)=\ xndV, m<n,
так что процесс хп является мартингалом. Далее, если К — это вариация функции <рг
а Кп—вариация функции »п, то
К i ^ К 2 ^ ... ^^ К, Е {| хп )}=К п,
так что существование предела а;^ является следствием теоремы 4.1. В более поздней
работе [3, 194SJ Андерсен и Иессен, отказавшись от предположения об абсолютной не-
непрерывности -.fn, предположили только, что функция 'f^ пиолне аддитивна. Они опре-
определили х.х как плотность абсолютно непрерывной компоненты функции гп, п<оэ, и
показали, что и в этой случае lim xu сушестпует и конечен с вероятностью 1. Для
П-*са
того чтобы включить этот случай в рамки теории мартнт-алоп, предположим, что
функция ср неотрицательна (в противном случае ср можно представить как разность-
двух неотрицательных функций). Предположим, что т < п, а что А?о?"т. Тогда
если сингулярная компонента функции ат обращается в 0 на А, то
<f m (л) =
Так как сингулярное множество функции ат имеет вероятность 0, то его учет не
изменит приведенных выше интегралов, и мы имеем уже без всяких ограничений на А,
что
\ xmdP^2 \ xndP,
д л
т. е. что с вероятностью 1
Другими словами, последовательность {—хп, о?*П1 проявляется полумартингалом, образо-
образованным неотрицательными случайными величинами. Мы можем поэтому, использовав
теорему 4.1s, заключить, что Um xn существует и конечен с вероятностью 1. Мы не станем
п —со
рассматривать здесь вопрос об отождествлении величины х^ с плотностью абсолютно
непрерывной компоненты функции cf^; см. § 8, где делается аналогичная вещь. Исследование
производных, проведенное в § 8, является частным случаем работы Андерсена и Нессена,
так как в этом случае можно задать величину ;?„., Мы рассмотрели в § Я производные отно-
относительно разбиений, имея в виду те приложения этих результатов, которые имеются
в настоящей книге, а также с целью избежать излишней абстрактности в этих примерах
применения теории мартингалов. Ситуация, изученная Андерсеном и Пессеном, яв-
является немного менее общей, чем ситуация, рассмотренная в § 4, так как Андерсен и Нессен
заранее предполагали существование вполне аддитивной функции sp^, в то время как
в теории мартингалов, как было показано выше, можно изучать также и те
случал, когда мартингал не строится при помощи такой функцпп множества.
С другой стороны, Андерсен и Иеисен провели более полное отождествление предела
хю с плотностью абсолютно непрерывной компоненты функции tp^, получив тем самым
явное представление для сингулярного множества функции <?„,.
Мы не будем рассматривать здесь изученный Андерсеном и Иессеном случай, когда
последовательность полей {a?"ri} является монотонно неубывающей. Для этого случая Ан-
Андерсен и Иессен также получили результаты, представляющие собой, по существу, изло-
изложение на другом языке соответствующих теорем о сходимости из § 4,
Вывод закона нулл пли единицы пз теорип мартингалов принадлежит Леви [5, 1937].
Указанное здесь применение теории мартингалов для доказательства обычных
теорем о сходпмостп бесконечных рядов из взаимно независимых случайных слагаемых,
повидпмому, является новым.
Теорему 5.1 (и некоторые другие результаты из той же области, доказываемые ме-
методом, отличным от нашего) можно найти в работах Д1арцпикевича и Зигмунда [1, 18Н7)
и Марцинкевича [1, 1937J. Метод, использовашшй в тексте, взят из работы Дуба [6,1940].

570 ПРИЛОЖЕНИЕ
§6
Приложение теории мартингалов к выводу усиленного закона больших чисел для ,
взаимно независимых случайных величин с одинаковыми функциями распределения взято
из работы Дуба [11, 1949].
§7
Теоремы этого параграфа принадлежат Иессену [1, 1934].
§ 8
Теоремы этого параграфа легко выводятся из общих теорем о производных функций
от множества, принадлежащих Посселю [1, 1Э35]. Оии могут быть получены также из
результатов Андерсена и Иессена [1, 1946]. См. обсуждение работы Андерсена—-Иессеаа
в замечаниях к § 4.
§ 9
Цель § 9 состоит в основном в том, чтобы разъяснить смысл отношения правдопо-
правдоподобия. См. также Дуб [13, 1951]. Более глубокое исследование теории статистических
оценок с точки зрения теории мартингалов содержится в работе Дуба [11, 1949].
Состоятельность метода максимума правдоподобия, т. е. асимптотическая пра-
правильность оценки максимального правдоподобия для параметра распределения по конеч-
конечной выборке, была доказана Вальдом [2, 1949]. Более раннее доказательство Дуба [1,1934]
связано со слишком восторженным применением усиленного закона больших чисел;
однако, как это было указано Дубом в примечании к работе Вальда, имеющаяся в работе
Дуба [1, 1934] ошибка легко исправима, и результат оказывается тем же, какой дает
метод Вальда.
§ Ю
Основная теорема метода последовательного анализа принадлежит Вальду II, 1944].
Другой подход к этой теореме с точки зрения теории мартингалов см. у Блекуэлла в
Гирпгака [1, 1946].
5 И
Теоремы этого параграфа являются новыми, за указанными ниже исключениями.
-Некоторые из этих теорем являются, однако, тривиальным обобщением соответствующих
теорем для случая дискретного параметра.
Дуб [5, 1940] доказал, что почти все выборочные функции сепарабельиого мартии-
-гала, областью значений параметра которого является интервал, имеют во всех точках
пределы слева. В работе Дуба [13, 1951] дается усиление этого результата, приводящее
¦в случае мартингала к теореме 11.5.
Изложение усиленного закона больших чисел для однородных процессов с неза-
независимыми приращениями взято из работы Дуба [6, 1940]. Более точные результаты
{включающие верхние предельные функции для xj в A1.3) при (-¦ оо] были получены
Гиедеико [2, 1943].
Теорема 11.9 с указаниями иа метод доказательства (отличный от нашего) была дана
Леви [7, 1948, стр. 78]. Утверждение Леви является несколько более общим, однако оно
легко сводится к теореме 11.9.
Относительно центральной предельной теоремы для мартингалов си. Леви [3, 1935;
5, 1937].
§ 12
Дальнейшие приложения теории мартингалов к изучению свойств непрерывности
^выборочных фуниций марковских процессов см. в работах Дуба [7, 1942; 13, 1951].
ГЛАВА VIII
§ 1
Изучение процессов с независимыми приращениями было начато Финетти [1, 1929].
Подробное рассмотрение этих процессов см. в книгах Леви [5, 1937; 7, 1948].

ПРИЛОЖЕНИЕ 571
§2
Первое строгое исследование процесса брауновского движения принадлежит Винеру
И, 1923); однако значительно раньше его Башелье [1, 1900] уже открыл многие свойства
зтого процесса. См. книги Леви [5, 1937; 7, 1948J, в которых содержится подробное иссле-
исследование процесса брауновского движения и приведены дальнейшие ссылки. Теорема
2.1 принадлежит Башелье [1, 1900]; теорема 2.2—Винеру [1, 1923], теорема 2.3—Леви
§3
См. работу Эйнштейна [1, 1906] по теории брауновского движения, а также об-
вор Барнса и Силвермена [1, 1934], где обсуждается роль этого движения в теории
физических измерений.
§§ 4-5
Приложение пуассоиовского процесса, изложенное в § 5, является новым.
§§ 6-7"
Центрирование общего процесса с независимыми приращениями принадлежит
Леви 12, 1934]; в § 6 дается изложение идеи этого автора, несколько более детальное, чем
то, которое было даио в его работе.
Теорема 7.1 принадлежит Леви [2, 1934; 5, 1937], доказавшему также, что условие
(И) б) вытекает из (II) а) даже при наличии фиксированных точек разрыва.
Теорема 7.2 принадлежит Леви [2, 1934]. См. книгу Леви [5, 1937], где содержится
подробное обсуждение значения принадлежащей Леви формулы G.2) в терминах свойств
выборочных функций. Ито [1, 1942] представил общий процесс с независимыми прираще
ниямл в виде обобщенного интеграла особого типа от пуассоновских процессов, получии
при этом указанную формулу весьма изящным путем.
ГЛАВА. IX
§§ 1-2
Стохастические интегралы того типа, какой рассматривается в § 2, впервые были
рассмотрены Винером; в неявной форме они были введены в работе Винера [1, 1923].
В настоящее время такие интегралы являются общепринятыми в рассмотрениях, каса-
касающихся гильбертова пространства, где они появляются в несколько иной форме. Так,
аапример, если Ё({) при любом действительном { есть оператор проектирования на
замкнутое линейное многообразие 3Kt в пространстве L% измеримых функций с интег-
интегрируемыми квадратом и 9R,C9Ki при s < i (например, если наше семейство операторов
проектирования является разложением единицы; см. Стоун [2, 1932]), то для любого
элемента х пространства ?а семейство {Е(?)х, —ээ < t < оо} будет представлять со-
собой вероятностный процесс (если отождествить меру, относительно которой берутся
интегралы, с вероятностной мерой) с ортогональными приращениями, причем интег-
интегралы вода
«десь будут совпадать с интегралами, являющимися обычным аппаратом в теории гиль-
гильбертовых пространств. См. по этому поводу приложзние к § 3 гл. X, а также книгу
Стоуна [2, 1932).
Более общий подход к стохастическим интегралам см. в работе Бохнера [2, 1942].
§ 3
Этот параграф является перэработкой части статьи Хинчина [5, 1938], выбран-
яой для этой пзли в связи с ее большой важностью. См. также монографию
Блая-Лапьера [1, 1945], содержащую дальнейшие результаты в том же направлении.
§ 5
Стохастический интеграл в § 5 являэтся обобщением интеграла Ито [2, 1944],
раевкатриаавшэго случай, когда процесс у (J) является процессом брауновского дви-

572 ПРИЛОЖЕНИЕ
жения. Использование теории мартингалов делает возможные построение замкнутой
системы таких стохастических интегралов, так что интеграл с переменным верхним
пределом определяет теперь процесс того же типа, что н процесс, входящий в интег-
интеграл под знаком дифференциала.
глава х
§ 1
Изложение сохраняющих меру преобразований и процессов, стационарных в ши-
широком смысле, дается здесь в форме, более общей, чем обычно, поскольку представлялось-
желательныы сделать очевидным тот фант, что теория указанных преобразований в точ-
точности совпадает с теорией стационарных вероятностных процессов; между тем если;
бы мы изложили эти две теории на разных уровнях общности, то нам пришлось бы
ограничиться лишь замечанием об их формальном подобии друг другу. Основы изла-
излагаемого материала см. у Хопфа [1, 1937] и Халмоша [2, 1949]. Общее рассмотрение"
(на языке теории вероятностей) стационарных в широком смысле вероятностных про-
процессов см. в работах Волда [1, 1938], Дуба [12, 1949], Крамера [2, 1940], Каруиеиа
[1, 1946; 2, 1947], Леви [7, 1948], Лоэва[1, 1945; 4, 1946], Маруяма [1, 1949], Слуцкого
[3, 1938], Хинчина [2, 1934]. В дальнейших исторических замечаниях мы не будем разли-
различать случаи пропессов с дискретным и с непрерывным параметром п действительный в
комплексный случаи, поскольку переход от одного к другому делается без всякого труда.
Теорема 1.1 принадлежит Дубу [4, 1938].
§ 2
Эргодическая теорема (теорема 2.1) принадлежит Биркгофу [1, 1931]. Приведенное
¦десь доказательство заимствовано (с незначительными изменениями) у Рисса [1, 1945].
§§3-4
Если {хл, —оо < л < ее}—стационарный в широком смысле процесс, то, как бы-
было показано в § 1, можно положить xn = Unr0, где U — унитарный оператор; обратно,
если оператор U унитарен, то последняя формула всегда определяет стационарный
в широком смысле процесс (под унитарным преобразованием мы здесь понимаем пре-
преобразование, действующие в каком-либо пространстве функций с интегрируемым по не-
некоторой мере квадратом модуля, а не в произвольном абстрактном гильбертовом про-
пространстве). Нейманом [1, 19к9| и Винтнером [1, 19i9] было доказано, что для всякого
унитарного оператора U в пространстве ТО можно сопоставить любому к из интервала
1 —о" 1 "9" замкнутое линейное многообразие ЗЙ(Х.)СЗК так, чтобы
5" ^ было многообразием, содержащим только случайные величины, с
а) ЗЛ Г —
вероятностью 1 обращающиеся в нуль, а ТО I — ) = ТО;
б) ТО (к) С ТО ([л) при к < ;а;
= П 2R(rt, <b<
р.». ? *¦
и что если обозначить через К (к) оператор проектирования на ТО (к) в пространстве Ш1Г
то для любых х, у ? Зй
1/2
Из
свойств операторов проектирования вытекает, что процесс < _Е(\)х, —g- < к ^-~2 \
является процессом с ортогопальными приращениями и что Е{[Е(>.)х]г}—действитель-
Е{[Е(>.)х]г}—действительная и монотонно неубывающая фупкцля от к. Н> в таком случае равенство A) при
х~у становится одним из вариантов представления C.2) корреляционной функции Я(п).
Равенство A) можно также записать в некоторых других формах, используя другие
гинь! интегралов, рассматриваемые в теории гильбертовых пространств; например, мож-

ПРИЛОЖЕНИЕ 573
яо написать
U"x= { e27tinX dE (к) х (П)
-1/2
или
Vs
Un= V e2ltiTU rfE (\). (Ill)
_i/2
В форме .(II) представление Ней.мапа—Винтнера обращается в спектральное представ-
представление самих стационарных в широком смысле вероятностных процессов, составляющее
содержание теоремы 4.1. Подчеркнем еще раз, что теоретико-вероятностные предложе-
предложения не являются ци более и ни менее общими, чем соответствующие предложения
теории гильбертовых пространств (если отвлечься от малосущественного обстоятельства,
заключающегося в том, что в теории вероятностей мера всего пространства должна
равняться единице). На самом деле оба эти круга вопросов в точности совпадают; разница
здесь только в используемом языке и в том, на чем делается ударение. Подробности,
касающиеся выводов на языке теории гильбертовых пространств, читатель может найти,
например, в книге Стоуна [2,19321. Доказательство теоремы 4.1, приведенное в тексте,
¦следует общему методу Крамера [4, 1951].
Основные свойства стационарных в широком смысле вероятностных процессов были
указаны (для случая непрерывного параметра) Хинчиным [2, 1934J еще тогда, когда не
было ясно, что эта теория является лишь новым аспектом теории однопараметрических
групп унитарных операторов. Волд [1, 1938J перенес результаты Хинчпна на процессы
с дискретный параметром. Важнейшая часть работы Хннчина состоит в доказатель-
доказательстве (для случая непрерывного параметра) теоремы 3.1 и в использовании затем
этого результата для вывода представления корреляционной функции в виде интеграла
Фурье—Стилыьеса (т. е. для; получения аналога теоремы 3.2 для случая непрерывного
параметра; см. 5 3 и § 4 гл. XI). Спектральное представление самого стационарного про-
процесса (теорема 4.1)было впервые опубликовано Крамером [2, 1942]; независимо от него
этот результат был найден примерно в то же время также Лоэвом. См. по этому поводу
Леви [7, 1948, стр. 123, 298). Заметим, однако, что русская школа математиков к этому
времени уже знала о том, что теория стационарных процессов совпадает с теорией групп
операторов; так, например, Обухов [1, 1941] явно использовал спектральное представ-
представление, даваемое теоремой 4.1, ссылаясь в качестве доказательства на посвященные теории
гильбертовых пространств работы Колмогорова (которые будут указаны ниже в связи
с гл. XI), содержащие также указания на теоретико-вероятностную интерпретацию
полученных там результатов.'
Многие теоремы теории стационарных в широком смысле процессов (в частности,
теорема о представлении корреляционной функции в виде интеграла Фурье—Стиль-
тьеса) тесно связаны с соответствующими теоремами гармонического анализа индиви-
индивидуальных функций, относительно которых см. работу Винера [2, 1930].
Теорема 3.2 принадлежит Герглоцу [1, 1911].
§ С
Закон больших чисел для стационарных в широком смысле вероятностных прс-
цессов (теорема 6.1), называемый также эргодической теоремой в пространстве L2, при-
нлдл'чкит Нейману [3, 1932], использовавшему язык теории операторов в гильбертовом
пространстве, и Хинчину [2, 1934], рассуждавшему на языке теорпп вероятностей
(в обоих случаях рассматривались лишь процессы с непрерывным параметром). Для того
чтобы достичь полного параллелизма между теоремами, относящимися к процессам, ста-
стационарным в узком и в широком смысле, следовало бы еще доказать, что если V—изо-
V—изометрический оператор, то
l.i.m.
п
+1 ^-
существует для всех х и является проекцией х на многообразие функций, инвариантных
относительно U. Эта теорема, однако, была нами опущена, так как ее доказательство
увело бы нас слишком далеко в сторону.
Теорзма 6.2'(дп* случая непрерывного параметра) принадлежит Лоэву [1, 1945]
и была позжз независимо найдена Блан-Лапьером и Браром [1, 1946].
8 <
Теорема 7.1 является вовой; см., впрочем, примыкающие сюда работы Грепандера
951] и Гренандера и Розенблата [1, 1952]. Отметим еще, что Маруяма [1, 1949] до-

574 ПРИЛОЖЕНИЕ
казал, что действительный стационарный гауссовский процесс с нулевым средним значе-
значением тогда в только тогда является метрически транзитивным, когда его спектральная-
функция непрерывна.
§§ 8-10
Материал этих параграфов был найден более или менее независимо многими раз-
лячяыми авторами. См. ссылки, указанные в связи с предыдущими параграфами атой.
главы.
ГЛАВА XI
(См. также замечания к соответствующим параграфам гл. X.)
§§ 1-4
Аналогом теоремы Неймана н Винтнера об общем виде совокупности итераций?
унитарного оператора для случая непрерывного параметра является следующее пред-
предложение. Пусть {U(, —со -с t -с со}— семейство унитарных операторов в пространстве
Ш такое, что USt( = U3Uj, — со < s, t < со. Тогда (в предположении, что выполняется
дополнительное условие непрерывности, которое будет указано ниже) каждому действи-
действительному числуX можно сопоставить замкнутое линейное многообразие ТО (X) С & так, что-
а) Л ТО (X) совпадает с многообразием, содержащим только случайные величины.
с вероятностью 1 обращающиеся в нуль, a U ТО (X) всюду плотно в 2J2;
б) Ш1 (X) С 2R ((*) при X < ц;
в) ТО (Х)= П ЗК М. ~°° < X < со;
и>х
в что если обозначить через Е(Х) оператор проектирования иа 5Ш(Х) в пространстве Ж.-
то для любых х, 5Ш
E_{<U,z) У} = \ «2""X dE {[E (X) xj y] (I)-
J
— CO
или, в иной записи,
со
и*х= f c2nia dZ (К) ас, (ИI
Равенство A) при у = х дает иам представление C.2) корреляционной функции в виде-
интеграла Фурье — Стильтьеса, а (II) совпадает со спектральным представлением D.1)'
стационарных в широком смысле вероятностных процессов с непрерывным параметром.
Указанный здесь результат теории групп унитарных операторов был доназан Стоуном;
[1, 1930] в предположении, что E{(Ujx)y} при любых х, у является непрерывной функ-
функцией от {. Нейман [2, 1932] доказал, что в случае сепарабельности пространства ЯК непре-
непрерывность этой функции вытекает из ее измеримости по t при всех х, у.
Теорема 3.2 принадлежит Бохнеру [1, 1932].
§ 8
То обстоятельство, что если f{x(t), —со -с t < со}—процесс брауновского движе-
движения, то его производная х'(с) ивляется (фиктивным) стационарным процессом с постоян-
постоянной спектральной плотностью, было впервые указано Винером [см. 3, 193D, а также-
более ранние работы).
§9
Французская школа математиков называет рассмотренные в этом параграфе ли-
линейные операторы фильтрами.
§ Ю
Результаты этого параграфа, за исключением той его части, которая посвящена
стохастическим интегралам, принадлежат Колмогорову ,[9, 1940; 10, 1940|. См. также-
работу Неймана и Шенберга [1, 1941].

ПРИЛОЖЕНИЕ 575-
lim
п-*от
V»
min V
bo bn_i J
— VI
n-1
ГЛАВА XII
§§ 1-5
Cere [i, 1920] доказал, что для любой монотонно неубывающей функции F, опре-
определенной на интервале [ — */>> ViL имеет место равенство
V.
f J logy Wtt
*И\ ,рdF(X)= ,-i/,
I
(с очевидной оговоркой о смысле правой части в случае, когда фигурирующий там,
интеграл равен —со). Этот результат Сеге рассматривал как один из результатов тео-
теории полиномиальной аппроксимации; приведенное им доказат<гльство годится для лю-
любого р > 0, но предполагает, что функция F абсолютно непрерывна. Волд [1, 1938J до-
доказал основную теорему о разложении стационарных пропессов (теорема 4.2). Колмого-
Колмогоров [8, 1939; 1, 1941; 12, 1941] дал аналитический вывод разложения ВоЛда и получил
отсюда теоремы 4.1 и 4.3. Результаты Колмогорова содержат, в частности, обобщение
теоремы Сеге (для /> = 2) на случай произвольной монотонной функции F. Предел, фн-
гурируюшнй в теореме Сеге, совпадает со средним квадратом ошибки прогноза на один
шаг вперед (см. общее обсуждение теории прогяозирования в § 1). Винер [3, 1942] неза-
независимо получил результаты Колмогорова для случая абсолютно непрерывной функции F
и указал также решение соответствующей задачи о прогнозе для случая непрерывного-
параметра; особое внимание им было уделено тому, чтобы представить решение задачи,
в явной форме, удобной для практического использования в электро- и радиотехнике.
Крейи [1, 1944; 2, 1945; 3, 1945] рассмотрел в более общей форме задачи о прогнозиро-
прогнозировании для дискретного и непрерывного параметра; в его исследованиях функция F все
время предполагалась произвольной. Ханнер [1, 1949] дал для задачи о прогнозирова-
прогнозировании для случая непрерывного параметра более непосредственное теоретяко-вероятност-
иое изложение, чем имевшееся в работах его предшественников (не использующее тео-
теоремы о спектральном представлении); на этом пути он впервые получил аналог теоре-
теоремы о разложении Волда для случая непрерывного параметра. Карунен [3, 1950] полу-
получил тот же результат, всходя из теоремы о спектральном представлении. Ахиезер
[1, 1947] рассмотрел задачу Сеге для случаи произвольной функции F и любого f>l i
доказал, что соответствующий предел будет равен нулю тогда н только тогда, когда
интеграл от логарифма F' обращается в —ос; им же был доказан и соответствующий
результат для случая непрерывного параметра. Лоэв ([3, 1946] и дополнение Лоэва к
книге Леви [7, 1948]) получил аналог тьоремы о разложении Волда для случая неста-
нестационарных процессов.
ДОПОЛНЕНИЕ
Читатель, интересующийся общими'основами теории меры и доказательствами,
теорем, опущенными в дополнении, может обратиться к книге Аалмоша [3, 1950].
§ 2
(Йримеры 2.3, 2.6.) Тот факт, что мера, заданная на конечномерных борелевских
множествах, может быть расширена до бесконечномерной меры, принадлежит Даниелю
[1, 1918—1919; 2,1919—1920] н Колмогорову |5, 1933]. Доказательство того,что эта теорема
применима даже в том случае, когда пространства-сомножнтелн являются абстрактными
пространствами, было опубликовано Дубом {4, 19381. Однако этот последний результат
оказался, вообще говоря, неверным; противоречащий пример см. в работе Андерсена
и Иессена [2, 1948] или в книге Халмоша [3, 1950, § 49]. Первое доказательство того,
что указанный результат верен, по крайней мере, в случае независимых пространств-
сомножителей, было дано Нейманом [4, 1935] (см. также Андерсеи и Иессен [2, 1948]).
Доказательство того, что этот результат будет справедлив, если только существуют
условные распределения вероятностей (т. е. при гипотезе, используемой в тексте), при-
принадлежит Ионеску Тульчи [1, 1949].

ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ
Уже после появления английского издания книги Дуба вышли в свет несколько
монографий, частично или полностью посвященных теории вероятностных процессов;
материал этих монографий во многом дополняет содержание настоящей книга. Наиболее
близкой из яих по стилю к книге Дуба является монография Лоэва [5,1У55], предста-
представляющая собой учебник повышенного типа по теории вероятностей, содержащий, на-
наряду с развернутым изложением теоретико-множественных основ теории, обшир-
обширный материал о различных классах вероятностных процессов с дискретным пара-
параметром. Более узкому кругу вопросов, а именно—марковским процессам с дискретным
лараметром и с непрерывным параметром, но с дискретным множеством состояний, посвя-
посвящена книга Сарытеакова[2. 1954]. Для читателей, интересующихся в первую очередь при-
приложениями теории вероятностных процессов, предназначены книга Блан-Лапьера и Форте
[1,1ЛЗЗ]и Бартлета[ 1,1955]. В первойиз этих книг, по объему значительно превосходящей
вторую, много внимания уделяется конкретным физическим и механическим приложениям
теории; во второй книге содержится очень разнообразный материал (зачастую без пол-
полных доказательств), в подборе которого сказывается интерес автора к статистическим при-
чожеиням теории вероятностных процессов.
&едует также указать, что некоторые вопросы теории вероятностных процессов
(в первую очередь—марковских и стационарных) изложены на русском языке в учебнике
Гяеленко [5, 1054]; специально теории стационарных процессов посвящена большая об-
обзорная статья Яг.чома [5,1952].
ГЛАВА II
Укажем следующую теорему Колмогорова (впервые опубликованную в работе
Слуцкого [2, 1937]) об условиях непрерывности выборочных функций вероятностного
процесса:
Теорема. Пусть {xt, t?[a,b]}— сепарабелъный вероятностный процесс. Если
при некоторых а > О, е > О ц 0 < С < оо имеет место неравенство
то почти все выборочные функции процесса Xj являются^ непрерывными.
Приведем доказательство этой теоремы, принадлежащей Колмогорову.
Для простоты будем считать, что а = 0, 6 = 1. Из теоремы 2.2 гл. II вытекает,
что в условиях теоремы совокупность двоично-рациональных чисел (т. е. чисел вида
А/2", где к и п — целые, к <2П) удовлетворяет условиям определения сепарабельности.
В соответствии с этим фактом для того, чтобы получить утверждение теоремы, доста-
достаточно показать, что для почти всех ш выборочные функции г/ (ш) обладают следующим
свойством: для любого t >0 найдется Ь{ш) такое, что при \t— *'|-^о(ш). где tat'—
дпоично-рацнональные числа, имеет место неравенство | х,—х\> < t. Заметим теперь,
что в соответствии с неравенством Чебышева из условий теоремы вытекает неравенство
p."
Отсюда следует, что
Правые части неравенства (I) являются членами сходящегося ряда и, зпачит, в си-
силу известной леммы Бореля—Кантелли (см. стр. 98) для почти каждого ш найдется
число п„(ш) такое, что при л>ло(ш) " псех к = 0, 1, ..., 2п—1 выполняются неравен-
неравенства

ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ 577
Зададим теперь е > 0 и выберем л (ш) так, что п (ш) >. л0 (ш) н что
П=П(.о)
Положим о (ш) = 2~п'ю'. Выберем двоично-рациональные точки f = Aj/2'i и?,=А2/2'>
такие, что | « —f |«,8(ш). Заметим, что отрезок вида [j,1-, 21* J всегда можно пред-
г г+ 1 1
ставить как сумму прилегающих друг к другу отрезков вида =7, , ?[г| , где г, т —
целые числа, прпчем отрезки с любым фиксированным т в этой сумме будут встре-
встречаться не более, чем дважды. Для всех этих отрезков т^-п(ю) и, значит,
Суммируя неравенства (II), находим
что н завершает доказательство теоремы.
Из этой теоремы, в частности, немедленно вытекает непрерывность выборочных
функций иропесса брауновского движения (см. теорему 2.2 гл. VIII).
Недавно Ченцов [2, 1956] получил аналогичное условию Колмогорова условие, необ-
необходимое и достаточное для того, чтобы почти все выборочные функции процесса явля-
являлись ступенчатыми (определение ступенчатой функции см. на стр. 223). А именно, им
доказан следующий результат:
Теорема. Пусть {Х(, t?[a, b]} — сепарабельный вероятностный процесс. Если
для некоторых р и q с рг + д2 > 0, г > 0 и 0 < С < оо при любых ?2 .? U < г3 выпол-
выполняется неравенство
то почти выборочные функции процесса X; являются ступенчатыми.
Дальнейшее изучение процесса, описанного в дополнении автора к § 1 гл. II см.
в работе Ченцова [1, 1956], где доказана, в частности, непрерывность соответствующих
выборочных функпий (рассматриваемых как многомерные функции). См. также инте-
интересные работы Ито [5, 1951; 6, 1952] о функционалах от выборочных функций такого
процесса.
Недавно Дынкин и Юшкевич [1, 1956] выделили важный класс однородных
по времени (последнее ограничение не является существенным) марковских процессов,
названных ими строго марковскими. Процесс xs называется строго марковским, если усло-
условие F.17) гл. II выполняется также, когда t -s=const.>0, a s—это случайная велнчина,
«не завнеящая от будущего», т. е. такая, что событие {s^u} измеримо относительно
выборочного пространства величин {xIt ? ^м}. Дынкнн и Юшкевнч показали, в частности,
что дл^я того, чтобы марковский процесс был строго марковским, достаточно, чтобы
почти все его выборочные функции были непрерывными справа и чтобы выполнялось
следующее условие, названное авторами условием Феллера: для любой непрерывной
функции / (у) функция
) Р (t, х, dy) f (у)
а
является непрерывной функцией от х (здесь Р (t, х, Е) — переходные вероятности про-
процесса). Из результатов, полученных Юшкевичем (работа находится в печати), вытекает,
что всякий однородный марковский стохастически непрерывный процесс со счетным
числом состоянии можно в определенном смысле считать строго марковским.
Остановимся еще на важпом понятии обобшенного вероятностного процесса (вероят-
(вероятностного распределения), введенном в работах Ито [7,1954] и Гельфацда [1.1955] уже
после появления книги Дуба. Вероятностный процесс определяется на стр. 48 насто-
настоящей книги как "семейство случайных величин {xi, t? Т}\ величина X; называется при
этом значением процесса в момент t (или в точке 1). Будем для определенности пред-
предполагать, что область Г"вначенпй параметра процесса является интервалом (открытым
пли замкнутым, конечным, полубесконечным или всей пряной—безразлично). Пусть
К — пространство бесконечно дифференцируемых функций на Т, каждая из которых
равна нулю вне некоторого конечного замкнутого интервала (в случае, если Т само
но является таким интервалом); топологию в К определим так же, как это сделано

578 ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ
в книге Шварца [1, 1950—1951] (см. также Гельфанд и Шилов [1, 195.3]х)). В таком случае
для широкого класса вероятностных процессов х( (например, для всех процессов, непре-
непрерывных в среднем) мы можем сопоставить любой функции а ? К случайную величину -
(I)
(интеграл определяется, например, как предел по вероятности соответствующих инте-
интегральных сумм). Заметим, что с точки зрения физики случайные величины х являются
даже более естественным понятием, чем сами значения х\ процесса в точке; в самом
деле, если xt — это характеристика какого-либо реального физического процесса,
то практически мы всегда будем иметь дело лишь с «измеренными значениями про-
процесса», а любой измерительный прибор (который мы здесь предполагаем линейным)
в силу своей инерционности определяет величину вяда (I), где =р — некоторая функция,
характеризующая этот прибор. Мы можем теперь вообще отказаться от рассмотрения
значений xi, а понимать под вероятностным процессом семейство случайных величии
ixpf ?Щ— это и есть определение обобщенного вероятностного процесса, вполне анало-
аналогичное определению Шварца [1, 1950—1951]обычной обобщенной функции. Сами значениях!
для обобщенного процессах , разумеется, могут и не существовать — типичным приме-
примером здесь является обобщенный процесс, называемый «белым шумом», о котором мы еще
будем говорить в приложениях к гл. X —XI (см. стр. 585).
Остается еще уточнить, что подразумевается в нашем определении под заданием
семейства величин {х?, tp ?К\ (ср. §§ 1—2 гл. II, посвященные уточнению определения
вероятностного процесса как семейства величин {xi, t? T}). В работе Гельфанда [1, 1955]
семейство {х , ер ? К] определяется заданием одномерных распределений вероятностей
дли всех случайных величин хф. При этом требуется, чтобы случайная величина х
линейно зависела от функции tp ? К2) и чтобы распределение вероятностей для х
удовлетворяло следующему условию стохастической непрерывности: для любых tp0 ? К
н е > 0 существует окрестность К функции tf0 такая, что
при ~?К 3). В работе Ито [7, 1954] рассмотрено лишьпонятас «обобщенного всронтиост-
ного процесса в широком смысле» (ср. § 3), т. е. предполагается, что все величины х^
икеют конечные математические ожидания (которые, следуя Ито, ми для простоты
даже положим равными нулю) и конечные дисперсии, и заданием процесса х счи-
считается задание «корреляционного функционала» e(tf, <1/) = Е{х -х^}, который предпола-
предполагается непрерывным (в смысле топологии в К) относительно tp и ф. Разумеется, понятие
обобщенных вероятностных процессов следует изучить еще и с точкп зрения
отвечающей ему всроятностпой меры в пространстве обычных (не вероятностных)
обобщенных функций Шварца, подобно тому, как в § 2 изучаются меры в функцио-
функциональном пространстве, отвечающие обычному (не обобщенному) вероятностному про-
процессу ц; однако такое изучение до сих пор еще не было проведено.
Основные применения понятия обобщенного вероятностного процесса,
имеющиеся в работах Ито н Гельфанда, относятся к теории стационарных про-
•) Пространство К, введенное Шварцем [1, 1950—1951], можно заменить также лю-
любым другим пространством основных функций, рассмотренным Гельфандом и Шиловым
|2,1953]. На этом пути, в частности, можно прийти к определению (обобщенного) стацио-
стационарного процесса, шнеющего экспоненциально возрастающую спектральную функцию.
г) Так как в n-мерном пространстве (;,, Sf ?„) задание меры (вероятности)
полуплоскостей а,?, + i2;2-i- ... -\-a.nln -с а однозначно определяет меру любого мно-
множества (см., например, Крамер [1,1937]), то задание распределений вероятностей для вели-
величин хо определяет также и многомерные распределения вероятностей для всевозмож-
всевозможных конечных совокупностей случайных величин *? , х^ х^, cpiE-ff, ...,ъп%К
(ибо можно положить ср = а,к,+ ... +а„срп); при этом ясно, что соответствующие мно-
многомерные распределения вероятностей автоматически будут удовлетворять условиям
симметрии и согласованности, указанным в § 5 гл. I.
3) Приведенная здесь формулировка условия непрерывностп была указана Колмого-
Колмогоровым, показавшим, что она равносильна содержащемуся в работе Гельфапда требо-
требованию непрерывной зависимости n-мсрного распределения вероятностей для х ..., х^
от функций if], ..., <р„ в смысле слабой топологии в пространстве конечномерпых рас-
распределений вероятностей и топологии, имеющейся в пространстве К.

ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ 579
цессов (и процессов со стационарными приращениями); см. по этому поводу прило-
приложения переводчиков к гл. X — XI. Здесь же мы только отметим, что, в противоречие
со сказанным в начале § 4, для обобщенных вероятностных процессов вполне может
быть построена содержательная теория процессов с независимыми значениями,
зависящих от непрерывного параметра (см. по этому поводу работу И. М. Гельфан-
да [1,1955]).
ГЛАВА III
До сих пор не нашел полипго решения вопрос о необходим:.:* ™ достаточных"
условиях для усиленпого закоиа больших чисел (см. § 3) в случае разно распределен-
распределенных независимых слагаемых; см. по этому поводу работу Прохорова [1, 1950] в обзорную
статью Чжуна [1, 1951]. Предельные теоремы для сумм независимых слагаемых (см. § 4)
в советской литературе обычно приводят в формулировках, несколько отличных
от формулировок, даваемых в настояшей книге (см. Гнедеико и Колмогоров [1, 1949]).
Для этого используется так называемая «схема серий». Приведем в качестве примера
не упоминавшуюся в основном тексте важную теорему Липдсбсрга — Фелдера:
Пусть задана совокупность случайных величин х-г jtt г = 1, ..., л^; Л = 1,2,
такая, что
(I) при фиксированном к величины Х{ ь, г = 1, ..., п^, взаимно независимы;
%
(II) Е {яч, ki = О, Е{х| h} = 6ib где числа bik таковы, что ^ &ifc=l при любом к
i=l
и ИтЬц,=0 равномерно по i.
Тогда для того, чтобы при всех X имело место соотношение
++ \}
У
—со
необходимо и достаточно, чтобы при любом т\ > 0 выполнилось условие
lim V,
где
Важный подкласс безгранично делимых законов распределения образуют устой-
устойчивые законы распределения, являющиеся предельными для нормированных сумм оди-
одинаково распределенных независимых величин. Устойчивые законы характеризуются
тем, »то их характеристическая функция имеет вид
Ф (?) = ехр {iit—c\ t\"[i+ i> (a, t) sgn t]},
где 0<а^2, —l^p^l, f.—любое вещественпое число, с^О и ш(з, t) = — tg —а
9
при аф1, ш'A, «) = —log/?|. В последнее время ряд новых результатов об анали-
аналитических свойствах устойчивых законов распределения был получен Л циником [2, 1954]
Скороходом [1, 1954] и-Золотаревым [1, 1950].
В книге не упоминаются локальные предельные теоремы для независимых сла-
слагаемых, т. е. теоремы, в которых даются асимптотические выражения не для функций
распределения суммы случайных величин, а для вероятностей отдельных значений
(в случае дискретно распределенных слагаемых) или для плотпостей распределения
(в случае непрерывно распределенных слагаемых). Обзор работ на эту тему можно-
найти в книге Гнеденко и Колмогорова [1. 1949]. Из работ последнего времени, не от-
отраженных в этой книге, отметим работу Гнеденко [4, 1954] и работы Прохорова [2, 1952],
[4, 1954]; см. также по этому поводу обзорную статью А. Н. Колмогорова [18, 1953].
Отметим еще многообещающее направление исследований, связанное с изучением
симметричных функций от независимых случайных величин (результаты § 4 относятся-
к линейным функциям). Эти исследования начаты Мизесом [1,1947].

.580 ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ
ГЛАВА IV
В недавно опубликованной работе Моргенталера [1, 1955] обсуждается возможность-
.переноса центральной предельной теоремы на суммы ортогональных случайных величин.
глава v
В штаге совсем не рассматриваются специфические явления, связанные со случаем
-счетного множества состояний. (В § 5 множество состояний считается произвольным, но
дело в том, что основная «гипотеза Деблина» как раз и была введена для того, чтобы обес-
обеспечить полную аналогию результатов теории счетных цепей Маркова с соответствующими
результатами для конечного случая.) Специфика счетного случая (по сравнению с конеч-
конечным) состоит в том, что в этом случае общим является положение, когда
lim p{?>=0
П СО
при всех i и /. Очень интересен результат Деблина [6, 1938], показавшего, что для
счетных цепей Маркова прн широких условиях предел
lim
У. »(»>
т=1
т=1
•существует и конечен. Поэтому поводу см. также недавнюю работу Чжуна [2,1953]. Гаррнс
и Роббинс [1, 1953] указали связь подобных результатов с общей эргодической теоремой
для динамических систем с бесконечной инвариантной ме"рой. До сих пор еще не даны
обобщения указанного результата Деблина на случай непрерывного множества состояний
и иа случай неоднородных цепей.
Отметим еще весьма общий результат Хопфа [2, 1954] относительно существования
пределов средних от вероятностей перехода в однородной цепи с любым множеством со-
состояний.
Интересная эргодическая теорема для неоднородных конечных цепей доказана Са-
рымсаковым [1, 1953].
Локальная предельная теорема для однородной конечной цепи Маркова изучена
исчерпывающим образом Колмогоровым [16, 1950]. Дальнейшие результаты, получаемые
развитым Колмогоровым «методом Деблина», см. в работе Чжуна [3, 1954].
Сираждинов [1, 1955] применил к изучению центральной предельной теоремы для
однородных цепей Маркова метод характеристических функций и получил асимптоти-
асимптотическое разложение соответствующего распределения по степеням i/lrn.
Интересным является вопрос об отличных от нормальных предельных распределениях
для сумм величин, связанных в однородную цепь Маркова. Здесь разобран полностью
лишь случай двух состояний (см. Добрушин [2. 1953]).
Большая серия работ (Бернштейна [3,19.30], Линника [1,1949], Сапогова [1.1947]
и Добрушина [5, 1956] посвящена уточнению условий центральной предельной теоремы
для неоднородных цепей Маркова. Приведем здесь наиболее окончательный результат
в этом направлении.
Теорема. Пусть величины х\п', ...,ж^п> связана при любом фиксирован-
фиксированном п в неоднородную цепь Маркова, заданную переходными вероятностями
P-in>(i,A), Р™>{%,А), .... Р'?.\ E, А). Пусть |х!п"|<с < со, Е{ж!ш} = 0 и Е{; х'."' ,2}>
t& с > 0 Положим
«<"> = 1— sup. \P'™(i, А)—Р\">(Г1, А)\
.» пусть равномерно по i
а<">л1/з - СО
при. п -» оо. Тогда последовательность величин
х\п'+...+х<пп>
асимптотически нормальна. Условие а\тп 1з > к > о уже не является достаточным
для асимптотической нормальности.
Важные результаты о локальной предельной теореме для неоднородных цепей
Маркова получены Линником и Сапоговым [1,1956]. Эти результаты существенно улуч-
улучшены Статулявичусом [1,1956].

ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ 581
Вопрос о не являющихся нормальными предельных распределениях для неодно-
неоднородных цепей Маркова еше почти не изучен. Некоторые частные результаты по этому
поводу получены Купменом [1, 1950] и Широкорадом [1, 1954] (см. также обзорную
статью Колмогорова [18, 1953]).
Диананда [1, 1953], [2, 1954] и Каллианпур [1, 1955] продолжили исследования
Хефдинга и Роббинса, упомннутые в приложении автора.
глава VI
Дальнейшие обобщения дифференциальных уравнений, задающих неоднородный
марковский процесс с конечным числом состояний (см. § 2), можно найтп в работе
Добрушина [3. 1953]. В работе этого же автора |4, 1954] найдены необходимые и достаточ-
достаточные условия для того, чтобы выборочные функции неоднородного марковского процесса
с коночным числом состояний были с вероятностью 1 ступенчатыми.
Необходимые и достаточные условия того, чтобы выборочные функции оолео
общего марковского процесса, рассматриваемого в § 2, были ступенчатыми, принадле-
принадлежат Феллеру [5, 1940] (см. также работу Добрушина [1, 1952]).
Продолжение отмеченных в дополнении автора работ Левн см. в статьях Леви
[9, 1952] и [10, 1953).
Колмогоров [17,1951] исследовал вопрос о дифференцируемое™ переходных вероятно-
вероятностей pij (t) однородной счетной цепи в предположении их непрерывности. Им, в частности,
был построен пример цепи с joj,@) = oo u показано, что р-,@)<со прп >Ф/. Колмо-
Колмогоров высказал гипотезу о том, что при всех t > 0 существует конечная производная
Plj(i). Юшкевпч (работа находится в пе'татп) доказал эту гипотезу в предположении, что
нли jBj'j @) < со или р 'j(O) < оо; тот же результат был независимо получен Остином [1,1955].
Кендалл [1, 1955] перенес результаты Колмогорова на случай произвольного множества
состояний.
Важному с прикладной точки зрения частному классу счетных марковских процес-
процессов—ветвящимся процессам— посвяшена обзорная статья Б. А. Севастьянова [1, 1951].
Прямое и обратное уравнения в частных производных для марковских процессов
диффузионного типа (см. § 3) играют основную роль в многочисленных физических при-
приложениях теории марковских процессов (см., например, Чандрасёкар [1,1947], Мин Чей
Ван н Уленбек [1, 1У45]. Вывод этих уравнений (отсутствуюшнй в настоящей книге) можно
найти в учебнике Б. В. Гяедеико [5,1!з54|. Общий случай диффузионного процесса с много-
ыерным множеством состояний был исследован впервые А. Н. Колмогоровым [13, 1933],
[15, 1937]. Прямоед обратное уравнения для важного с точки зрения приложений клас-
класса процессов, описывающего брауновское движение с конечной скоростью (ср. конец
§ 3 гл. VIII книги), были выписаны А. Н. Колмогоровым [14, 1Й35] (см. также работы
Дуба [14, 1944] н Яглома [3, 1949], и цитированные выше обзоры Чандрасекара н Мнн
Чен Ван и Уленбека).
В последние годы важные результаты в теории марковских процессов с непрерыв-
непрерывным временем (и особенно в теории «диффузионных процессов») были получены методами
теорнн полугрупп операторов. По поводу обшнх вопросов теории таких полугрупп
см. работы Хилла [1, 1У48| н Иоснда [3, Ы49].
Любому однородному марковскому процессу, заданному переходными вероятностями
P(t, $, А), простравство состояний Q которого предполагается метрическим пространством,
можно при помощи формулы
= \ Р (t. х, dy) I [у)
u
сопоставить семейство операторов Т(, действующих на функции /, определенные на 2.
Такие операторы образуют полугруппу, т. е. TS+( = T,-T(. Если прп этом выполнено
условие Фе.глера, заключающееся в том, что образ Tj/ непрерывной функции / должен
быть непрерывной функцией (ср. стр. 577), то полугруппу Т( можно • рассматривать
как полугруппу операторов в пространстве С непрерывных функций. Ияфинитезималь-
ный оператор А, характеризующий процесс, определяется как
А/11ш.
1-0 '
Если НшТ(/ = / для любой функции/ (те. если полугруппа операторов непрерывна), то
оператор А определен на всюду плотном множестве функций и его заданием однозначно
задается как полугруппа, так и сам марковский процесс. Вопрос о классификации
марковских процессов сводится таким образом к вопросу об изучении всевозможных
операторов А (см. по этому поводу работу Дынкнна [4, 1956]).
Феллер в большой сери» раиот (см. в частности его работы [9, 1954] п [10, 1355]) изучил
одномерные марковские процессы, выделяемые условием: P(t, х, V) = o(i) при t -* 0 для

582 ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ
всех z и V, где V—дополнение к некоторой окрестности точки х. Оказалось, что из
этого условия и условия, названного памп условием Феллера, следует, что оператор А
представляет собой некоторое обобщение обычного эллиптического дифференциального
оператора второго порядка.
Полугруиповые методы позволяют полностью решить вопрос о возможном поведении
диффузионного процесса на границе интервала, являющегося пространством состояний,
или, на языке теории дифференциальных уравнений, о всех тппах граничных условий
для параболического уравнения
да , чди а2 (а;) дЧ
Этот вопрос был решен Феллером [7, 1952], [8, 1954]. Вероятпостное истолкование его
результатов см. в работе Дынкина [2, 1955].
В работе Дуба [17,11955] разобрана связь исследований Феллера со стохастическими
дифференциальными уравнениями Ито [4,1951), а также получены некоторые новые факты
о вероятностных свойствах выборочных функций диффузионных процессов.
Дынкиным [5,1956] был предложен новый метод изучения марковских процессов,
основанный на соединении полугрупповых методов с прямым анализом вероятностного
поведения выборочных функций. В частности в этой работе Дынкина было показано,
что для любого процесса в многомерном евклидовом пространстве, обладающего непре-
непрерывными выборочными функциями и удовлетворяющего условию Феллера, оператор А
явлиется обобщенным эллиптическим дифференциальным оператором второго порядка.
Метод Дынкина применим не только к процессам, удовлетворяющим условию Фол-
лера, но и к более общему классу строго марковских процессов (см. стр. 577). В одно-
одномерном случае класс строго марковских процессов с непрерывными выборочными функ-
функциями существенно богаче, чем класс процессов, изученный Феллером (см. по этому
поводу работу Дынкина [5, 1956]).
Като [1,1953] применил методы теории полугрупп к изучению неоднородных мар-
марковских процессов.
В интересной работе Маруяма [2,1955] изучены связи между различными подходами
¦к изучению диффузионных процессов, в частности между «стохастическими разност-
разностными уравненипмп» Бернштейна и стохастическими дифференциальными уравнениями
Ито.
Интересным вопросом теории марковских процессов является вопрос об изучении
распределения вероятностей для функционалов от выборочной функции такого процесса.
В частности, в случае функционалов вида
где x(s)—марковский процесс диффузионного типа, а V (х) —некоторая функция, для
характеристической функции такого функционала удаетси получить дифференциальное
уравнение, родственное уравнению для переходных вероятностей (см. Кац [1, 1951], Дын-
кин [3, 1955|).. Особенно подробно исследован (Камероном, Мартином и др.) вопрос о функ-
функционалах от выборочных функций процесса брауновского движения; обзор относящихся
сюда исследований (в том числе ряда тесно связанных с изучением таких функционалов
исследований в области квантовой механики) был дан Гельфандом и Ягломом [1, 1956].
Очень важпым является вопрос о предельном переходе от функционалов, задан-
заданных на последовательности сумм независимых или связапных в цепь Маркова случай-
случайных величин, к функционалам, заданным на предельном процессе с непрерывным вре-
временем. Для сумм независимых велпчпн наиболее окончательный результат по этому
вопросу был получен Прохоровым [4, 1953]. Скороход [2, 195fi| перенес эти исследования на
случай цепи Маркова. С другой стороны к этой же тематике примыкают работы Гих-
мана [1,1953|, [2, 1953], использующего метод «верхних и нижних функций». !
Укажем еще некоторые новые результаты о свойствах выборочных функций
марковских пропессов. Пусть Р ($, s; A, ?) —переходные вероятности такого процесса,
множество состояний Q для которого является метрическим пространством. Пусть
Ve—дополнение е-окрестности точки ;. Положпм
Л(в) = sup P(i, s; V,.t).
Если при любом e>0 имеет место соотношение Ps (ц) = о (и), т» почти все иыборочцые
функции непрерывны (см. Дьшкни [1,1952] и Khhhh'JI, 19531). Если1Р3(ц) = оA), то почти
все выборочные функции являются ступенчатыми (см. Кпннп [1, 1953|).

ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ 583
ГЛАВА VII
В дополнение к упомянутой в книге литературе укажем на работу С. Н. Бернштей-
на [4, 1937], в которой независимо от остальных авторов введен класс процессов, назы-
называемых теперь мартингалами, и получено для нпх обобщение неравенства Колмогорова.
Из работ последнего времени отметим работу Снелла [1,1U52], вкоторон уточняются
результаты о системах игры для мартингалов, подробно изложенные в этой книге. В при-
приложении автора к § 4 главы VII показывается, что из основной теоремы о сходимости
мартингалов можно вывести одну теорему Андерсена—Иессена из теории меры. В заметке
Мой [1,1У53| показывается, что и наоборот из теоремы Андерсена—Иессена можно по-
получить теорему о сходимости мартингалов.
В последнее время теория мартингалов проявила себя кап очень полезное орудие
в разных областях теории вероятностей. См. но этому поводу работы Макмпллана [1, 1953]
и Хинчина [7, 195U], посвященные некоторым вопросам теории информации, работы Дуба
[16,1У54), [17, 1У55], [18,1955] о брауновском движении и граничных задачах для урав-
уравнений в частных производных и работу Добрушина [5, 1956| о предельных теоремах для
неоднородных цепей Маркова.
ГЛАВА VIII
Отметим еше тонкие результаты Дворецкого, Эрдеша и Какутани [1, 1954] о точках
самопересечения выборочных функций процесса брауновского движения в многомерном
пространстве. Другой подход к этому вопросу дают важные работы Дуба [16, 1954],
[18, №5], основным содержанием которых является раскрытие связей между граничными
задачами для эллиптических и параболических дифференциальных уравнений, с одной
стороны, и свойствами выборочных функций процесса брауновского движения (в мно-
многомерном пространстве)—с другой. Геометрические свойства выборочных функций процесса
брауновского движения изучаются также в работах Леви [ И, 1953] и Тейлора [1. 1955].
По поводу свойств выборочных функций процесса с независимыми приращениями,
имеющими устойчивые распределения вероятностей (ср. приложение переводчиков
к гл. II), см. недавнюю работу Мак-Кина [1, 1955].
-В содержательной монографии Хинчина [6, 1955] собран обширный материал по
применениям теории пуассоновского процесса и теории марковских процессов со счет-
счетным числом состояний к теории массового обслуживания.
ГЛАВЫ X—XI
В литературе на рз'сском языке эргодическая теорема для стационарных в узком
смысле процессов (теорема 2.1 настоящей книги) часто называется теоремой Биркгофа—
Хинчина (она была доказана Биркгофом для некоторого специального класса сохраня-
сохраняющих меру преобразований, а Хинчин дал доказательство этой теоремы в полной общ-
общности, что позволило ему указать также и ее теоретико-вероятностное истолкование).
Простое доказательство это.й теоремы (родственное приведенному в книге) было дано
Колмогоровым [19,1938] (см. также учеоник Гнеденко [5, 1954], § 57).
Прямое доказательство теоремы 4.1, кратко намеченное на стр. 432 книги, проведе-
проведено (для*случая непрерывного пяраметра) с несколько большими подробностями в обзор-
обзорной статье А. М. Яглома ([5, 1952] стр. 33—35). Более простое технически, но более искус-
искусственное доказательство, приведенное в тексте, впервые было указано Каруненом [2, 1947].
По поводу вопроса об оценке значений корреляционной и спектральной функций
стационарного в широком смысле процесса по его выборочным функциям, лпшь слегка
затронутого в § 7, см. также недаьнне работы'Гренандера и Розенблатта [2, 1953], [3, 1953],
содержащие дальнейшее развитие и некоторые примеры использования результатов
более ранней заметки fl, 1952], указанной в приложении автора книги.
Более подробное исследование стационарных процессов с рациональной спектраль-
пой плотностью можно найти в работе Дуба [15, 1944].
Результаты теории гильбертовых пространств, на которые ссылается автор в при-
приложении к гл. X—XI, изложены на русском языке в учеонике Ахиезера н Глазмана
[1, 1950].
Остановимся еще на некоторых обобщениях понятия стационарного процесса,
дополняющих материал гл. X—XI. Одно нз таких обобщевпй, кратко описанное
н § 7 гл. XII, состоит в том, что вместо одного случайного процесса х (t) рассматри-
рассматривают совок}'пность ./V таких процессов, т. е. многомерный (jV-мерный) процесс
x(t) = {xt(t), ..., х .(t)}. Изложенные в гл. XI основные результаты теории стапионар-
ных в широком смысле многомерных процессов принадлежат Г. Крамеру [2, 1940]
и А. П. Колмогорову [11, 1941]. Далее, наряду с процессами x(t), зависящими от одного
действительного параметра t, мы можем рассматривать также вероятностные функции
x(tu ..., ty) = x(t), зависящие от нескольких действительных параметров, т. е. от

584 ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ
точки t многомерного пространства; такие функции обычно называются вероятност-
вероятностными полями, в соответствующем многомерном пространстве. Простейшим обобщением
условия стационарности здесь будет условие инвариантности всех конечномерных рас-
распределений вероятностей для величин х(tj), ..., х(tn) (в случае стационарности в узком
смысле) или же лишь первых и вторых моментов Е {х (г)} я Е {х (tj) х (t2)} (в случае
стационарности в широком смысле) относительно параллельных переносов системы точек
tb ...,%,.„ или, соответственно, точки t и пары точек tb ts. Вероятностные поля, удовле-
удовлетворяющие этому условию, называются однородными, (соответственно в узком или
в широком смысле); в случае полей, однородных в широком смысле, математическое
ожидание Е jx (t)} = m будет произвольной постоянной, а корреляционная функция
Е )ar(t-i-s)x(t)} = fi(t) будет представляться в виде многомерного интеграла Фурье—
Стильтьеса, аналогичного интегралу в правой части формулы C.2) гл. X (это утвер-
утверждение немедленно иытекает из известного результата Бохнёра [3, 1933]). Само поле x(t)
здесь также будет допускать спектральное представление, родствеиноч тому, которое
устанавливается в одномерном случае теоремой 4.1; общее доказательство этого фанта
ничем не отличается от соответствующего доказательства для одномерного случая.
Укажемеще, что поскольку теорема Бохнера [1, 1932; 3, 1933] об общем виде положительно
определенной функции на прямой или на TV-мерном пространстве допускает обобщение
на случай положительно определенной функции на произвольной коммутативной топо-
топологической группе с мерой Хаара (см. работы Вейля и Райкова, цитированные л об-
обзоре А. М. Яглома [5, 1952]), то и основные результаты о спектральном представлении
корреляционной функции R(t) и самого вероятностного процесса x(t) автоматически
обобщаются на случай однородных вероятностных полей на таких группах.
Дальнейшим важным классом вероятностных полей являются однородные и изо-
изотропные поля x(t) в многомерном пространстве, играющие существенную роль в совре-
современной статистической теории турбулентности (см. Бартлет ]1,1955], А. М. Обухов [3, 1954;
4,1954], А. М. Яглом B, 1948; 5,1952]). Однородное вероятностное поле х (t) называется
однородным и пзотрошшм в широком смысле, если его корреляппонная функция /?([) =
= E{as(t -f-s) x (s)} зависит только от длины t вектора t (т. е. R инвариантно относитель-
относительно всех движений пары точек (t + s, s)). Вопрос об общем впде корреляционной функ-
функции Я (г) здесь сводится к вопросу об общем виде положительно определенной функ-
пии от расстояния между точками TV-мерного эвклидова пространства; используя отно-
относящиеся к этому последнему вопросу результаты Шенберга [1, 1938] можно утверждать,
что функция R\t) тогда и только тогда будет корреляционной функцией некоторого
однородного и изотропного поля е N-мерном пространстве, когда она предстаеима
« виде
о ( '
где Jff_ 2—функция Бесселя порядка —^— , a F (X)—действительная, монотонно не-
убывающая, ограниченная функция. Формула (I) играет ту же роль в теории однород-
однородных и изотропных полей, что и формула C.2) в теории вероятностных процессов. На-
Наряду с одномерными можно, разумеется, рассматривать и многомерные однородные и
изотропные поля x(t) = {x,(t) х/,A)}, теория которых строится совершенно анало-
аналогично теории многомерных стационарных процессов; существенно новые трудности здесь
возникают лишь в тех случаях, когда компоненты поля х линейно преобразуются при
вращении пространства (например, когда величина х является iV-мерным вектором или
тензором некоторого ранга) и требуется, чтобы матрица Е {xi (t{) х/ (t2)} не менялась
при иараллельных переносах пары- точек (tb t2) и при вращениях этой пары точек,
сопровождаемых одновременным лилейным преобразованием компонент поля. Общая
теория подобных векторных и тензорных однородных и изотропных полей, тесно свя-
связанная с теорией представлений группы вращений, пока еще мало разработана; окон-
окончательные результаты имеются лишь для случая векторного поля в трехмерном про-
пространстве, важного для теории турбулентности (см., например, А. М. Яглом [2, 1948],
Бартлет [1, 1955]).
Естественны.1»! обобщением понятий однородного и однородного и изотропного вероят-
вероятностных полей является понятие однородного вероятностного поля на произвольном одно-
родвом пространстве Т(т.е. на произвольном пространстве с заданной группой «движений»).
Исследование общего вида корреляционной функции такого поля, очевидно, сводится
к аналитической задаче об описании всех положительно определенных функций от пары
точек пространства Т, инвариантных относительно соответствующей группы движений.
Дли пространства. Т, являющегося Л'-мерной сферой, общий вид корреляциопной функ-
функции (являющейся здесь функцией только от расстояния между двумя точками) был полу-
получен Шенбергом [2^1942] (случай iV = 3 независимо от него был разобран также Обуховым
[2,1947], получившим для этого случая и аналог спектрального представления D.1) самого

ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ 585
вероятностного процесса); дальнейшие, более общие, результаты в этом направлении
можно иайтп в статье Крейна [5, 1949—1950].
Отличным от перечисленных выше обобщением понятия сташтонарного вероят-
вероятностного процесса является понятие процесса со стационарными приращениями неко-
некоторого порядка. Простейший частный случай таких процессов — случай процессов со
стационарными приращениями первого порядка — подробно рассмотрен в § 11 гл. X настоя-
настоящей книги. В последнее время в работах Яглома и Пинскера [1,1953] и Ито [7, 1954]
(см. также Гельфанд [1,1955], Пннскер [2, 19л5], Ягло.м [7,1955]) была развита также
и обшая теория процессов со стационарными приращениями произвольного (скажем
л-го) порядка. В этом случае за основу следует принять п-е разностп y'4"x(t) про-
процесса x(t):
процесс х (() называется процессом со стационарными (в широком смысле) л-ми прира-
приращениями, если &'i?'x{t) является случайной функцией относительно переменных гит
такой, что ыатематьческие ожидания Е {Л'-Г'х («)} = <;"" (т) и El&'S'x (t +s) A'z"'x (t)} —
= r(n> (s; ¦:,, t4) не зависят от t. Основными статистическими характеристиками про-
процесса а; (г) являются функпии с'т (т) и г "" («; ть т2); в перечисленных выше работах
доказывается, что общий вид этих функций, дается формулами
с<"'(т) = ст", (II)
rf#(X), (in)
где с — постоянная, а Н (К) — ограниченная монотонно неубывающая действительная
функция. Формула (III), очевидно, является обобщением формулы A1.2') гл. XI; исходя
из нее легко получить также и результат, обобщающий формулу A1.1') этой главы
(см. работы Ито, Пипскера и Яглома),
Наконец, еще одним обобщением понятия стационарного процесса является поня-
понятие стационарного обобщенного процесса (см. стр. 577—578). Ясно, что для обобщенных
вероятностных процессов также можно определить понятие стационарности (как в уз-
узком, так и в широком смысле); так, например, процесс a; (if) будет называться ста-
стационарным в широком смысле, если соотпетствующий корреляционный функционал
p((f, ij*) = E{*(o) xty)} не меняет своего значения при одновременном сдвиге обеих
функций ^ и i на любое действительное число h (т. е. при замене с (г)—»<р({ + А),
i/(t) —>i/(t+ h)). Типичным примером стационарного ,в широком смысле обобщенного
процесса является «белый шум» у' (г)—производная процесса у (г) с ортогональными
приращениями такими, что E{[dy (t) t2} = a2 dt, a > 0) (см. стр. 472); в этом случае,
очевидно, р(=, 40= \ ч> С*) ф (t) cfi. Общая теория стационарных в широком смысле
—оэ
обобщенных процессов дана Ито [7, 1954] и Гельфандом [1, 1955J; оказывается, что
в этом случае корреляционный функционал р (ip, ty) всегда имеет вид
где cp"*d>—композиция функций tp и <Ь, а р-—обобщенная функция в смысле Шварца
[1, 195& — 1Н51] («обобщенная корреляционная функция» процесса х (в)), допускающая
представление вида C.2) гл. XI:
оо
р(г)= ^ е2"'х^(Х); (V)
() в равенстве (V) — произвольная действительная монотонно неубывающая функция
такая, что существует целое число л, для которого выполняется неравенство
С помощью теории обобщенных стационарных процессов особенно просто получа-
получаются все результаты теории процессов со стационарными л-ми приращениями: действи-
действительно, n-я производная процесса со стационарными л-ми приращенпями всегда су-
существует, как стационарный обобщенный вероятностный процесс (который, разумеется,
может быть, а может и не быть процессом в обычном смысле); поэтому всевозможные (не-
(необобщенные) процессы со стационарными л-ми приращениями—это те л-кратные иите-

586 приложение переводчиков
гралы от обобщенных стационарных процессов, которые являются обычными процессами
с непрерывным параметром. Именно на этом пути и был получен Ито[7,1954| и И. М. Гель-
фандом [1, 19551 общий вид процессов со стационарными л-ми приращениями. Обратно,
теория процессов со стационарными л-ми приращениями позволяет наглядно объяснить
смысл обобщенных стационарных процессов: легко показать, что любой обобщенный
стационарный случайный процесс является п-й производной (фиктивной с точки
зрения обычных процессов) от некоторого обычного процесса со (тационарными.
п-ми приращениями [целое число л здесь то же, что и в неравенстве (VI)]. Таким образом,
при рассмотрении в § 11 гл. XI настоящей книги «фиктивных» производных общего про-
процесса со стационарными первыми приращениями автор совсем близко подошел
к перечислению вообще всех «фиктивных» (т. е. обобщенных) стационарных процессов
(точнее тех обобщенных стационарных процессов, которые отвечают пространству основ-
основных функций, выбранному Шварцем [1, 1950—19511).
ГЛАВА XII
Ряд вопросов теории линейного прогноза (или, как чаше говорят, линейной
экстраполяции) стационарных процессов, допускающих элементарное решение, подробно
разобран (с большим количеством примеров) в гл. II обзорной статьи Яглома [5, 1952].
Содержащийся там материал может служить хорошим введением к материалу гл. XII.
Поскольку библиографические и исторические замечания в приложении автора
к гл. XII (стр. 57')) очень кратки, укажем здесь немного подробнее те оригинальные ра-
работы, в которых содержатся приведенные в книге результаты. Постановка задачи о ли-
линейном прогнозе стационарных вероятностных процессов (с дискретным параметром),
тан же как и геометрическая интерпретация этой задачи (см. § 1) и сведение ее к задаче
теории функций (§ 2) принадлежат Колмогорову [11,1941]. Простое решение задачи о прог-
прогнозе для случая рациональной относительно е гк спектральной плотности процесса х
(см. § 3) было впервые указано Дубом [15, 1944] (см. также обзор Яглома [5, 1!»52|). Основ-
'ные общие результаты, касающиеся прогноза стационарных процессов с непрерывным
параметром (теоремы 5.1 и 5.2), принадлежат Крейну [3, 1У44]; изложенный в книге ме-
метод доказательства этих теорем близок к использованному Ахиезером [1, 1947|. Теорема
5.3 впервые была доказана Ханнером [1, 1У50]н Каруненом [3, U'50]. Постановка зада-
задачи о наилучшем линейном прогнозе по значениям процесса х в прошлом произвольной
случайной величины X (с Е{ | X12}<зэ), корреляционно связанной с этим процессом (см. § 6),
встречается в несколько иной формулировке (о которой см. ниже) в книге Винера [3, 1949].
Задача о прогнозе многомерных стационарных процессов (с дискретным параметром) рас-
рассматривалась в заметке Засухина [1, 1У41], в которой указаны некоторые результаты,
дополняющие материал § 7; чисто аналитическую формулировку (не включающую ни-
никаких теоретико-вероятностных понятий) одного из этих результатов можно найти также
в недавней работе Винера [4, 1955|.
Некоторые интересные приложения результатов о линейном прогнозе стационарных
процессов к шенноновской теории информации можно найти в работе Пинскера [1, 1У54].
Отличный от наложенного в настоящей книге подход к теорпи линейного прогно-
прогноза приведен п книге Винера [3, 1949] (на русском языке содержание этой книги подробно
разобрано в монографии В. В. Солодовникова [1, 1952]). Рассуждения Винера не яв-
являются математически строгими (его книга ориентирована на читателя-инженера, а
не на специалиста-математика); основное внимание он уделяет нахождению явных
(и практически удобных) формул для наилучшего прогноза ^f-- _ н для прогнозирую-
прогнозирующей функции Ч'„(*.) (являющейся, с точки зрения инженера, частотной характеристикой
фильтра, осуществляющего прогноз). .Метод Винера решения задачи о провозе осно-
основывается на ^ведении ее к рушению некоторого интегрального уравнения типа Вине-
Винера— Хопфа; при этом с самого начала предполагается, что сцсч;тральная функция F (I)
стационарного процесса x(t) является абсолютно непрерывной, фактически же рас-
рассматривается почти исключительно случай, когда соответствующая спектральная
плотность F' (к) является рациональной функцией I (только' в этом случае для
i(_- -и 'i",_ получаются простые явные формулы). Наряду с обычной задачей о линей-
линейном прогнозе Винер 'рассматривает также так называемую «задачу о линейной фильт-
фильтрации», заключающуюся в нахождении наилучшего приближения^ линейно зависящего
от значений процесса x(t) в прошлом (при t^,t0), к значению в некоторый момент t,
другого стационарного процесса y(t), стационарно связанного с х (t) (т. е. такого, что
пара {х(г), у (г)} образует двумерный стационарный процесс в смысле § 7). Для прак-
практики здесь важнейшим является случай, когда х (t) = y{t) + ~{t), где г(г) —это «помехи»,
искажающие передаваемое «сообщение» '/(')• в этом случае сформулированная задача
о фильтрации совпадает с очень важной для техники связи задачей о «фильтрации
помех» (отсюда и происходит название нашей математической задачи). Однако в эту
схему укладывается и ряд задач с технической точки зрения отличных от задачи о.
фильтрацип (например,задача о приближенном дифференцировании, см. Винер [3,1949], Со-
лодовиикоп [1,1У52]); помимо того следует иметь в виду, что под y(?i) в задаче о фильт-

ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ 587
рации всегда можно понимать вообще произвольную случайную величину X, для
которой известна функция р (г) = Е{ЛГг (()} (ибо всегда можно подобрать стационарный
и стационарно связанный с х (г) процесс у (г), значением которого в момент tx будет
заданная величина X). Таким образом, винеровская задача о фильтрации точно совпа-
совпадает с 'задачей, рассмотренной в § 6 гл. XII настоящей книги. В сняли с этим по-
последнюю задачу мы также будем называть «фильтрацией». Явное решение задачи
о фильтрации в книге Винера получено в предположении, что (матричная) спектраль-
спектральная функция. F (к) процесса {х, у\ является абсолютно непрерывной (т. е, что все
элементы матрицы F (X) абсолютно пепрерыьны) и что производные всех элементов
FIX)— рациональные функции от X; для задачи, рассмотренной в § 6, это равносильно
предположению о том, что процесс х (t) имеет рациональную спектральную плотность
и что функция р (г) представи.ча в виде
где " — произвольное действительное число, а А(>) — рациопальпая функция (при этом вид
решения будет различным в зависимости от того, будет ли -. ^ t0 или •: «г- t0). Краткое
изложение метода Вннера решения задач о прогнозе и о фильтрации стационарных
процессов (также не вполне строгое с точки зрения спецпалцета-математпиа) включено
в книгу Бартлета [1, 1955]; другой метод получения тех же результатов приведен в об-
обзоре Яглома [о, 1952]; (см. также Ягло.м [6, 19о5|).
Важным обобщением задач о прогнозе и о фильтрации процесса по тему его прош-
прошлому (т. е.упо значениям x(t) при (<(о) являются задачи о прогнозе и о фильтрации по
значениям x(t) на конечном интервале (т. е. о наилучшем линейном приближении вели-
величины a;(?0-j-s) или, соответственно, X посредством величин x(t)c t^t^tg*r:ie t,< t0; ср.
начало § 5); при этом разумеется, имеет смысл говорить лишь о случае непрерывного
параметра t, т. к. в противном случае мы будем иметь просто хорошо известную задачу
о многомерной линейной регрессии. Некоторые вопросы из теории функций и функциональ-
функционального анализа, весьма близко примыкающие к указанным теоретико-вероятностным задачам,
разбирались в работах М. Г. Крейна [1, 1944; 4, 1944]; явные формулы для решения в слу-
случае рациональной спектральной плотности процесса x(t) (и рациональной функции н(л)
в случае задачи о фильтрации) были получены (без строгого математического обоснования)
Заде и Рагацини [ 1; 1950| в качестве частного случая решения некоторой более обшей задачи
(о которой см. ниже). Для весьма специального случая процессов, спектральная плотность
которых равна единице, деленной на многочлен от X (а также для некоторых нестацио-
нестационарных вероятностных процессов столь же специального вида), математически аккуратное
изложение решения задач о прогнозе и о фильтрации по«аначениям на конечном интер-
интервале, близкое к тому, которое было намечено Заде и Рагапини, приведено в работе Долфа
и Вудбери[ 1,1950] (см. также примыкающую сюда работу Сегущи и Мкеда] I. l'Jo4|); другой
метод обоснования всех результатов Заде и Рагацини, относящихся к стационарным про-
процессам, предложен Ягломом [О,1У53]. В недавней заметке Крейна [(>, 1954] намечен путь све-
сведения задач о прогнозе и фильтрации стационарных процессов, заданных на конечном HHj
тервале, к задаче о восстановлении дифференпиального уравнения колебания неоднородной
струны по его спектральной функции; используя далее эффективные решения этой по-
последней задачи, перечисленные в заметке [7, 1954] того же автора, можно также и отсюда
получить явные решения указанных теоретико-вероятностных задач для процессов с. ра-
рациональной спектральной плотностью (и найти подобные же решения дли ряда других,
более сшециальных, процессов).
Задачей, родственной задачам о линейном прогнозе и линейной фильтрации, является
задача о линейной интерполяции—наилучшем линейном приближении к значению x(t) ста-
ционарпого процесса в момент t по значениям этого же процесса в моменты времени вне
некоторого конечного интервала (l0, ti) временной оси, содержащего точ:«у t. Для про-
цесез с дискретным параметром и в предположении, что «пропущенный» интервал со-
состоят из единственной точки г=л, эта задача была решена еще в работах Колмогорова
[8, 19:;9; Ц, 1У41; 12, 19411; при этом оказалось, что для того чтобы интерполяция была
точной [т. е. чтобы величину х(п) можно было сколь угодно точно аппроксимировать
линейной комбинацией значений процесса с отличными от л значениями параметра],
необходимо и достаточно, чтобы интеграл
С2 d X
был расходящимся. Полученное условие, как это и должно быть, является более
широким, чем условие осуществления точного линейного прогноза, заключающееся
в расходимости интеграла от \о% F' (К) (см. теорему 4.3). Обобщение приведенного
здесь результата на случай, когда «пропущенным! является конечное число зна-
значений параметра, содержится в заметко Яглома [4, 1949J; некоторые обгаие результаты

588 ПРИЛОЖЕНИЕ ПЕРЕВОДЧИКОВ
об интерполяции процессов с непрерывным параметром (аналогичные имеющимся в слу-
случае дискретного параметра) указаны в работе Карунена [4, 1952]; наконец, явные решения
этой последней задачи для случая рациональной спектральной плотности процесса x(t)
найдены в работе Яглома [ 6, 19551.
В заключение остановимся еще на задаче о линейном прогнозе и родственных ей'
задачах для нестационарных вероятностных процессов. Выше уже указывалось, что ча-
частные примеры решения подобных задач (для процессов специального типа) были ука-
указаны Долфоми Вубдерн [1,1У52] иСетушии Икеда [1,1954]. Общая задача о линейном про-
прогнозе (и линейной фильтрации) произвольных нестационарных процессов, заданных на
конечном интервале, рассматривалась Каруненом (см. работу Гренандера [1,1950]) и Дэви-
сом [1,1952], исходя из разложения такого процесса в ряд (с ортогональными коэффициен-
коэффициентами) по собственным функциям соответствующего корреляционного ядра r(t,s)—E{x(t)z(s)}
(по поводу такого разложения см. также работу Пугачева [1. 1ЬэЗ]); однако практическое
применение найденных на этом пути обшнх решений требует привлечения значительной
вычислительной техники. Другой путь, также широко используемый в приложениях, за-
заключается в обобщении результатов, полученных для стационарных процессов, на не-
некоторые более широкие (но все же специальные) классы вероятностных процессов, Так
еше в книге Винера [3, 1949]укааывается, что теория прогноза и фильтрации стационар-
стационарных процессов может быть немедленно использована для решенпя подобных же задач для
процессов, производная некоторого (скажем zV-ro) порядка которых является стационар-
стационарным процессом; в работе Заде и Рагавдни [1, 1950] все результаты формулируются не для
стационарных процессов, а сразу для более общих процессов, представимых в виде суммы
стационарного процесса а некоторого многочлена (с неизвестными коэффициентами),
степень которого не превосходит заданного числа Л'. Оба указанных обобщения поня-
понятия стационарного процесса естественно укладываются в общую схему процессов со
стационарными /V-ми приращениями, о которых говорилось в приложениях переводчи-
переводчиков к гл. X—XI; перенесению всех результатов теории прогноза, фильтрации и интер-
интерполяции стационарных процессов на этот более широкий класс пропессов (охватывающему
и приведенные выше результаты Винера и Заде и Рагапини) посвящены недавно появив-
появившиеся работы Яглома [7, 1955] и Пинскера [2, 1955] (см. также работы Карунена
[5, 1:62] и Крейна [6, 1954)], в которых рассмотрен случай процессоа со стационарными
первыми приращениями; некоторые относяшиеся сюда аналитические предложения
содержатся также и в более старых работах Крейна [I, 1944; 4,1944].

Литература1)
Амброз (Warren Ambrose)
1. On measurable stochastic processes, Trans. Am, Math. Soc, 47, 66—79 A940).
Андерсен, И ессен (Erik Sparre Andersen, В 0 r g e Jesse a)
1. Some limit theorems on integrals in an abstract set, Danske Vid. Selsk. Mat,-
Fys. Medd., 22, № 14, 1—29 A946).
2. On the introduction of measures in infinite product sets, Danske Vid. Selsk.
Mat.-Fys. Medd., 25, Л* 4, 1-8 A948).
3. Some limit theorems on set-functions. Danske Vid. Selsk. Mat.-Fys. Medd.,
25, Л° 5, 1—8 A948).
Ахиезер Н. И.
1. Лекцпи по „еорин аппроксимации, М.—Л., 1947.
Ахиезер Н. И., Г л а з м а н II. М.
*1. Теория линейных операторов в гильбертовом пространстве, М.—Л., 1950.
Варне, Силвермен (R. В. Barnes, S. Silverman)
1. Brownian motion as a natural limit to all measuring processes, Revs. Modern
Phys., 6, 162—192 A934).
Бартл^т (M. S. В а г t 1 e t t)
*1. An introduction to stochastic processes, Cambridge, 1955.
Б а ш е л ь е (L. Bachelier)
L.Theorie de la speculation, Ann. Sci. Ecole Norm. Sup, C), 21—86 A900).
Б е б у т о в: М. В.
1. Markoff chains -with a compact state»space, Мат. сб., нов. сер. 10 E2), 213—238
A942).
Б е р н ш те й н С. Н.
1. Распространенно предельной теоремы теории вероятностей на суммы зависи-
зависимых величин, Усп. матем. наук, 10, 65—114 A944) (впервые эта статья была
опубликована на французском языке в 1927 г,).
2. Equations differentielles stochastiques, Actualites Sci. Ind., 738. 5—31 A938).
*3. Determination d'une limite interieure de la dispersion des sommes de grandeurs
liees en chaine singuliere, Матем. сб., 1, 29—38 A936).
•4. О некоторых видоизменениях неравенства Чебышева, ДАН СССР, 17, 275—278
, A937).
Биркгоф (George D. Birkhoff)
1. Proof of the ergodic theorem, Proc. Nat. Acad. Sci. USA, 17, 656—660 A931).
Блан-Лапьер (A. Blanc-Lapierre)
1. Sur certaines fonctions aleatoires stationnaires. Applications a 1'etude des fluc-
fluctuations due a la structure de 1'electricite, Thesis, Universitede Paris, 1945,80 стр.
Блая-Лапьер, Брар (А. В 1 a n c-L apierre, R. Brard)
1. Les fonctions aleatoires stationnaires et la loi des grands nombres, Bull. Soc.
Math. France, 74, 102—115 A946).
Блаа-Лапьер, Форте (A. Blanc-Lapierre, R. Forte t)
*1. Theorie des fonctions aleatoires, Paris, 1953.
Б л е к у э л л. Г и р ш п к (D. В 1 а с k w в 1 1, М. A. G i r s h i с к)
1. On functions of sequences of independent chance vectors with applications to
the problem of the «random walk» in к dimensions, Ann. Math. Statistics, 17.
310—317 A946).
Б о x ir e p (S. Bochner)
1. Fouriersche Jntpgrale, Leipzig, 1932.
2. Stochastic processes, Ann. Math., 48, 1014—1061 A942).
* 3. Monotone Funktionen, Stiltjessche Integrate und harmonische Analvse, Math.
Ann.. 108, 378—410 A933).
Б а л ь д (A. VV a 1 d)
1. On cumulative sums of random variables, Ann. Math. Statistics, 15, 283-296
A944).
2. Note on the consistency of the maximum likelihood estimate. Ann. Math.
Statistics. 20, 595—601 A949).
Ван Кампец (E. R. van Kampen)
1. Infinite product measures and infinite convolutions, Am. J. Math., 62, 417—448
{1940).
Звездочкой отмечена библиография, добавленная переводчицами,—Прим. ред.

590 ЛИТЕРАТУРА
Ван Кампе и, Винт и ер (Е. R. van Kampen, A u г е 1 Wintner)
1. On divergent infinite convolutions, Am. 1. Math., 59, 635—654 A937).
В и л л ь (J о а и V i 1 1 с)
1. Etude critique do la notion de colloctif, Paris, 193'J-
Впнер (Norbcrt Wiener)
1. Differential space. J. -Math. Phys. Math. Inst. Tech.. 2, 131—174 A923).
2. Generalized harmonic analysis, Acta Math.. 5Г>, 117—258 A9301.
3. Extrapolation, interpolation, and smoothing of stationary time series. With engine-
engineering applications, Cambridge—A'ew York, 1949 (впервые напечатано в 1У42 г.).
* 4. On the factorization of matrices, Comment. Mat. Helv., 29, 97—111 A955).
В и н т и е р (А о г о 1 Wintner)
1. Zur Theorie der beschriinkten Bilinearformen, Math. Zeitschr.30, 228— 282 A929),
2. Asymptotic distributions and infinite convolutions. Princeton, 1938.
3. The Fourier transforms of probability distributions. Baltimore, 1947.
В о л д (И. Wold)
1. A sliiiiy in LUo analysis of stationary time series. Uppsala, 1938.
Гаррис, Робоинс (Т. E. Harris, H. Robbing)
* 1. En^odic theory of Markov chains, admitting an infinite invariant measure,
Proc. .Vat. Acad. Sci. USA, 39, 860—864 A954).
Г ел ь фа и д И. М.
* 1. Обобщенные случайные процессы, ДАН СССР, 100, S53—856 A955).
Г е л ь ф а 11 д П. Д1., Ш и л о в Г. Е.
* 1. Преобразования Фурье быстро растущпх функций п вопросы единственности
решения задачи Коши, Усп. матем. наук, 8, № 6, 3—54 A953).
Г е л ь ф а и д И. М., Я г л о м А. М.
* 1. Интегрирование в функциональном пространстве н его применения в квантовой,
физике, Усн. матем. наук, И, JV. 1 F7), 77—114 A956).
Г е р г л о ц (О. Н е г g 1 о t г)
1. Uber Potenzrcihen mit positivem reellen Teil im Einheitskreis, Ber. Verh.
Kgl. Sachs. Ges. Wiss. Leipzig Matb.-Phys. Kl., 63, 501—511 A911).
Г и x м а н И. И.
* 1. Ou одной теореме А. Н. Колмогорова, HayKOBi зап. Кщвськ. держ. ун-та,
12, 75—94 A953).
* 2. Об одной асимптотической теореме для сумм малых случайных слагаемых.
Труды irii-та матем. и мех. АН Узб. ССР, 10, 36—43 A953).
Гыеденко Б. В.
1. К теории предельных теорем для сумм независимых случайных величин, Изв.
АН СССР (сер. матем.), 181—232, 643—647 A939).
2. О росте однородных случайных процессов с независимыми приращениями.
Изв. АН СССР (сер. матем.), 7, 89—110 A943).
3. Предельные теоремы для сумм независимых случайных величий, Усп. матем.
наук, 10, 115—165 A944).
* 4. Локальная предельная теорема для плотностей, ДАН СССР, 95, 5—7 A954).
* о. Курс теории вероятностей, изд. 2-е, М., 1954.
ГпеденкоБ. В., Колмогоров А. Н.
1- Предельные распределения для сумм независимых случайных величин, М.—Л.,.
1949.
Гостпнский (В. Hostinsky)
* 1. Methodcs ?eneralcs du calcul des probabilites, Mem. Sci. Math., Paris, 52, 1931.
Грепандор (Ш f Gronander)
* 1. Stochastic processes and statistical inference, Ark. f. Math.. 1. 195—277A950).
* 2. On empirical spectral analysis of stochastic processes, Ark. f. Math., 1, 503—
531 A951).
Гренандер, Розе и блат (Ulf Grenander, Murray Rosen-
Rosenblatt)
1. On spectral analysis of stationary time series, Proc. IS"at. Acad. Sci. USA, 38,
519—521 A952).
* 2. Statistical spectral analysis of time series arising from stationary stochastic
processes, Ann. Math. Statistics, 24, 537—558 A953).
* 3- Comments on statistical spectral analysis, Skand. Aktiiarietidskr., 182—202.
A0.3:;).
,'( a u п е л ь (P. J. D a n i e 1 1)
1. Integrals in an infinite number of dimensions, Ann. Math. B), 20, 281—288 A918—
1919),
2. Functions of limited variation in an infinite number of dimensions, Ann. Math.
B), 21, 30—38 A919—1920).
Дворецкий, Э р д е ш, Накутан п (A. Dvoretzky. P. E r d о s, S. К a-
k u t a n y)
* I. Multiple points of path of brownian motion in the plane, Bull. Res. Coun.
Israel, 3, 364—371 A954).

ЛИТЕРАТУРА 591
Д е б л и и (VV. D о е b I i п)
1. Sur Us proprittes asymptotiques de mouvement rt'gis par certains types do
chaines simples, Bull. Math. Soc. Roum, Sci., 39, № I, 57—115; №2,3—61
A937).
2. Sur les sommes d'un grand nombre de variables aleatoircs independanUs, Bull.
sci. Math., 63, 23—64 A939).
3. Sur certains mouvements aleatoircs discontinus, Scand. Aktuarietidskr., 22,
211—222 A939).
4. Sor l'eqiiation matricielle ^l('+s'=^li'>A's> et ses applications aux probabili-
tes f. chaine, Bull. Sci Math. B), 62, 21—32 A938); 64, 35—37 A940).
5. Elements d'une theorie generate des chaines simple constantes de Markoff, Ann.
Sci. Ecole Norm. Sup. C), 37, 61 —Ml A940).
* 6 Sur deux problemes do 11. Kolmoeoroff conccrnanL les chaines dunombrables.
Bull. Soc. Math. Franco, 66. 210—220 A938).
¦Д я a ii a ii д u (P. II. 1) i a n a n d a)
*» 1 Some probability limit theorems willi statistical applications, Proc. Cambr.
Phil. Soc, 49, 239—246 A903).
* 2. The central limit theorem for m-depeiulent variables asymptotically stationary
to second order, Proc. Cambr. Phil. Soc, 50, 287—2У2 A954).
Д о б р у in и ii P. Л.
* 1. Об условиях регулярности однородных по времени марковских процессоа
со счетным числом возможных состояний, "Усп. матем. наук, 7, Л? 6, 185—191
A952).
* 2. Продельные теоремы для цепи Маркова из двух состояний, Изв. АН СССР
(сер. матем.), 17, 291—330 A953).
* 3. Обобщение уравнений Колмогорова для марковских процессов с конечным
числом возможных состояний, Матем. сб., 33, 567—596 A953).
* 4. Условия регулярности марковских^процессов с конечным числом возможных.
состояний, Матем. сб., 34, 541—556 A954).
* 5. Центральная предельная теорема для неоднородных цепей Маркова, Теор.
вороятн. и ее промен., 1, № 1, 72—89 A956).
Д о л ф, В у д б е р и (С. L. D о 1 р h, M. A. W о о d b u г у)
* 1. On the I elation between Green's functions and covariances of certain stochastic-
processes and its application to unbiased linear prediction, Trans. Amer. Math..
Soc, 72; 519—550 A952)
Д у б (J. L. 1) о ob)
1. Probability and statistics, Trans. Am. iMath. Soc, 36, 759—775 A934).
2. Note on probability, Ann. Math., 37, 363—367 A936).
3. Stochastic processes depending on a continuous parameter, Trans. Am. Math,
Soc, 42. 107—140 A937).
4. Staphastic processes with an integral-valued parameter, Trans. Am. Math.
Soc, 44, 87—150 A938).
5. Regularity properties of certain families of chance variables, Trans. Am. Math.
Soc, 47, 455—486 A940).
6. The law of large numbers for continuous stochastic processes, Duke Math. J.,
0, 290—306 A940).
7. Topics in the theory of Markoff chains, Trans. Am. Math. Soc, 52. 37—64 A942).
8. Markoff chains—denumerable case, Trans. Am. Math. Soc, 58, 455—473 A945).
9. Probability in function space, Bull. Am. Math. Soc, 53, 15—30 A947).
10- Asymptotic properties of Markoff transition probabilities, Trans, Am. Math.
Soc, 63, 393—421 A948),
11. Application of the theory of martingales, Le Calcul des Probability's et ses Appli-
Applications, Colloques Internationaux du Centre National de la Recherche Scienti-
fique, Paris, 1949, 23—27.
12. Time scries and harmonic analysis, Proc Berkeley Symp. Matb. Statistics and
Prob., Berkeley, 1949, 303—343.
13. Continuous parameter martingales. Proc. Sec. Berkeley Symp. Math. Statistics
and Prob.. Berkeley, 1951, 269—277.
* 14. The Brownian movement and stochastic equations, Ann. Math., 43, 361—369
A942).
* 15. The elementary Gaussian processes, Ann. Math. Stat., 15, 229—2S2 A944).
* 16. Semimartingales and subharmonic functions, Trans. Amcr. Math. Soc, 77,
86—121 A954).
* 17. Martingales and one-dimensional diffusion, Trans. Amer. Math. Soc, 78, 168—
208 A955).
* 18, A probability approach to the heat equation, Trans, Amer. Math. Soc, 80, 216—
280 (HM5).
Дуб, А м б р о з (J. L. D о о b, W a r r e n Ambrose)
1. On two formulations of the theory of stochastic processes depending upon
a continuous parameter, Ann. Math., 41, 737—745 A940),

592 ЛИТЕРАТУРА
Д ын к и н Е. Б.
* 1. Критерий непрерывности и отсутствия разрывов второго рода для траекторий
марковского случайного процесса, Изв. АН СССР (сер. матем.), 16, 563—572
A952).
* 2. О новых аналитических методах в теории марковских случайных процессов,
Вести. ЛГУ, № 11, 69—74 A955).
* 3. Функционалы от траекторий марковских случайных процессов, ДАН СССР,
104, 691—694 A955).
* 4. Марковские процессы и полугруппы операторов, Теория вероятн. и ее примев.,
1, К, 1, 25-37 A956).
* 5. Ипфииитезимальные операторы марковских процессов, Теория вероятп. и ее
примен., 1, № 1, 38—«0, A956). -----
ДыикинЕ. Б., Юшкевич А А.
* 1. Строго марковские процессы, Теория вероятн. иеепримен., 1, №1,149—154A956).
Д э в и с (R. S. Davis)
* On the theory of prediction of nonstationary stochastic processes, Journ. Appl.
Phys., 23, 1047—1053 A952).
Заде, Рагацини (L. A. Zadeh, R. Ragazzini)
* 1. Extension of Wiener's theory of prediction, J. Appl. Phys., 21, 645—655 A950).
ЗасухинВ. Н.
* 1. К теории многомерных стационарных случайных процессов, ДАН СССР, 33
435—437 A941).
Зигмунд (A ntoni Zygmund)
1. Trigonometrical series, Warsaw—Lwow, 1435. (Есть русский перевод. См. А. Зиг-
Зигмунд, Тригонометрические ряды, М.—Л., 1939.)
Золотарев В. М.
* 1. Об аналитических свойствах устойчивых законов распределения, Вест. ЛГУ,
№ 1, 49—52 A956).
Иессея (Barge Jesse n)
1. The theory of integration in a space of an infinite number of dimensions, Acta
Math., 63, 249—323 A934).
Иессен, Винтнер (Berge Jesse n, Aurel Wintner)
1. Distribution functions and the Riemann zeta function, Trans. Am. Math. Soc,
38, 48—88 A935).
Ио песку Тульчи (С. Т. Ionescu Tulcea)
1. Mesures dans lesespacesproduits, Atti Accad. Naz. Lincei Rend. Cl.Sci. Fis. Mat
Nat. (8), 7 A949), 208—211 A950).
И-о сида (Kosaku Yosida)
1. The Markoff process with a stable distribution, Proc. Imp. Acad. Tokyo, 16, 43—
48 A940).
2. Simple Markoff process -with a locally compact phase space, Math. Japonicae, 1,
99-103 A948).
* 3. On operator-theoretical treatment of temporally homogeneous Markoff
process, J. Math. Soc. Japan, 1, 244—253 A949).
Иосид а, Какутани (Kosaku Yosida, Shizuo Kakutani)
1. Markoff process with an enumerable infinite number of possible states, Jap. J.
Math., 16, 47—55 A939).
2. Operator-theoretical treatment of Markoff's process and mean ergodic theorem,
Ann. Math., 42, 188—228 A941).
Ито (Kiyosi Ito)
1 On stochastic processes A) (Infinitely divisible laws of probability), Jap.
J. Math. 18, 261—301 A942).
2. Stochastic integral, Proc. Imp. Acad. Tokyo, 20, 519—524 A944).
3. On a stochastic integral equation, Proc. Jap. Acad., № 1—4, 32—35 A946).
4. On stochastic differuUial'equations, Mem. Am. Math. Soc, 4, 51 стр. A951).
* 5. Multiple Wiener integral, J. Math. Soc. Japan, 3, 157—169 A951).
* 6. Complex multiple Wiener integral, Japan, J. Math., 22, 63—86 A952).
* 7. Stationary random distributions, Mem. Col. Sci. Univ. Kyoto, Ser. A, 28, 209—
223 A954).
Кавата (Tatsuo Kawata)
1. The function of mean concentration of a chance variable, Duke Math. J., 8, 666—
677 A941).
Кавата, Удагава (Tatsuo Kawata, Masatomo Udagawa)
1. On infinite convolutions, Kodai Math. Sem. Rep., № 3, 15—22 A949).
Какутани (Shizuo Kakutani)
1. Ergodic theorems and the Markoff process with a stable distribution, Proc.
Imp. Acad. Tokyo, 16, 49—54 A940).
Каллианпур (G Kallianpur)
* 1. Об одной предельной теореме для зависимых случайных величин, ДАН СССР,
101, 13—16 A955).

ЛИТЕРАТУРА 593
К а~р у п е и (К а г i К а г h и п е п)
1. Zur Spoktraltheorie stochastischer Prozesse, Ann. Acad. Sci. Fennicae, Ser. A.,
I. Math. Phys., J* 34, 3—7 A946).
2. Uber lineare Mcthoden in dor Wahrscheinlichkeitsrechnung, Ann. Acad. Sci.
Fennicae, Ser. A, I. Malh. Phys., JV» 37, 3—79 A947).
3. Gber dieStruktur stationiirer zufSlliger Kunktionen, Ark. Mat., 1, 141—160 A950).
* 4. Zur Interpolation von stalionaren zufalligen Funktionen,¦ Aim. Acad. Sci.
Fennicae, Ser. A., I. Math. Phys. J4» 142, 3-8 A952).
* 5. Ober eiu Extrapolationsproblcm in dcm Hilbertschcn Raum, 11 Skandin. mat.
Kongress, 35—41 A952).
К а т о (Т. К a t o)
* 1. Integration of the equation of evolution in a Banach space, J. Math. Soc. Japan.
5, 208—234 A953).
К а ц (М. К а с)
* 1. On^some connections between probability theory and differential and integral equa-
equations, Proc. Sec. Berkeley Symp. Math. Stat. and Prob., Berkeley, 189—215
A951).
Качмаж, Штейнгауз (Stephen Kaczmarz, Hugo Steinhaus)
1. Thaorie der Orthogonalreihen, Warsaw—Lwow, 1935. (Готовится русский
перевод.)
Кендал (David Kendall)
* 1. Some analytical properties of continuous stationary Markov transition func-
functions, Trans. Amer. Math. Soc, 78, 529—540 A955).
Кивни (J. R. K. i n n e y)
* 1. Continuity 'properties of sample functions of Markoff processes, Trans. Amer.
Math. Soc, 74, 280—302 A953).
Колмогоров А. Н.
1. Uber die Summeu durch den Zufall bestimmter unabhangiger Grcsscn, Math.
Ann.,- 99, 309—319 A928); Bemerkungeu zu ineincr Arbeit «L'ber die Summen
zufalliger Griissan», Math. Ann., 102, 484—488 A930) .
2. Sur la ioi»forte des grandsnombres, С R. Acad. Sci. Paris, 191, 910—912 A930).
3. Об аналитических методах в теории вероятностей, Усп. матем. наук, 5, 5—41
A938) (впервые эта статья была опубликована на немецком языке в 1931 г.).
4. bulla forma generale di una processo stoc.astico omogeneo. (Una pfoblema di
Bruno de Finetti.) Rend. R. Accad. Naz. Lincei Cl. Sci. Fis. Mat. Nat., 15 F)
805—808 A932).
5. рсновные понятия теории вероятностей, М., 1936 (впервые книга была опуб-
опубликована на немепком языке в 1933 г.).
6. Anfanssgriinde der Markoffsrhen Retten mit unendlich vielen mcglicheu Zu-
standen, Матеи. сб., 1 D3), 607—610 A936).
7. Цепи Маркова со счетным числом возможных состояний, Бюлл. МГУ, 1, № 3,
1—16 A937).
8 Sur l'intorpolation et extrapolation des suites statiounaires, C. R. Acad. Sci.
. Paris, 208, 2043—2045 A939).
9. Кривые в гяльбертовском пространстве, инвариантные по отношению к одно-
параметрической группе движений, ДАН СССР, 26, 6—9 A940).
10. Спираль Винера и некоторые другие интересные кривые в гильбертовском про-
пространстве, ДАН СССР, 26, 115—118 A940).
И. Стационарные последовательности в гильбертовском пространстве, Бюлл.
МГУ, 2, № 6, 1—40 A941).
12. Интерполирование и экстраполирование стационарных случайных последова-
последовательностей, Изв. АН СССР (сер. матем.). 5, 3—14 A941).
* 13. Zur Theorie der stetigen zufalligen Prozesse, Math. Ann., 108, 149—160 A933).
* 14. Zutallige Bewegungen, Ann. of Math., 35, 116—117 A935).
* 15. Zur Umkehrbarkeit der statistischen Naturgcsetze, Math. Ann., 113, 766—772
A937).
* 16. Локальная предельная теорема для однородных цепей Маркова, Изв. АН
СССР (сер. матем.), 13, 281— 300 A950).
* 17. К вопросу о дифференцируе.мости переходных вероятностей в однородных
по времени процессах Маркова со счетным числом состояний, Учен. зап. МГУ.
матем., 4, вып. 148, 53—59 A951).
* 18. Некоторые работы последних лет о области предельных теорем теорин ве-
вероятностей, Вестн. МГУ, № 10, 29—38 A953).
* 19. Упрощенное доказательство эргодической теоремы Биркгофа—Хипчнна, Усп.
матем. наук, 5, Г>2—5G A938).
Крамер (Н. Cramer)
1. Random variables and probability distributions, Cambridge, Tracts in Math.,
1937. (Есть русский перевод. См. Г. Крамер, Случайные величины и распре-
распределения вероятностей, М., 1947.)
2. On the theory of stationary random processes, Ann. Math., 41, 215—230 A940).

594 ЛИТЕРАТУРА
3. On harmonic analysis in certain functional spaces, Ark. Mat. Astr Fvs.,
28В Л» 12, p. 17 A942).
4. A contribution to I he liuory of stochastic processes. Proc. Sec. Berkeley Symp.
Malh. Statistics and Prob., Berkeley 1951, 329—J33.
К рей н М. Г.
1. О проблеме продолжения винтовых дуг в гильбертовом пространстве, ДАН
СССР, 45, 147—150 A944).
2. Ofi олиом обобщении исследований G. Szcgo, В. II. Смирнова и А Н Колмого-
Колмогорова, ДАН СССР, 46, 91—94 A944).
3. ОС одной экетраполяциошюй проблеме А. Н. Колмогорова, ДАН СССР, 46,
306—309 A944).
* 4. О логарифме безгранично разложимой положительно определенной функции,
ДАН СССР, 45, 99—102 A944).
* 5. Эрмитопо-полонитльные ядра на однородных пространствах, Укр. матем.
жури.. №4, 64—98 A949), №1, Ю—59 A950).
* 6. Об основной алпроксимациошюй задаче теории экстраполяции и фильтрации
стационарных случайных процессов, ДАН СС1Р, ?4, 13—16 A854).
* 7. Об одном М1тод( э4ф(ктивпою решения обратной краевой задачи, ДАН СССР,
94, 987—990 A954).
Крылоп Н. М., Боголюбов Н. Н.
1. Sit its propricU's trgodiques de l'equation de Smoluchowsky, Bull. Soc. Math.
France, 64, 49—56 A9:30).
2. Sur Us probabililes en chaine, С R. Acad. Sci. Paris, 204, 1386—1388 A937).
3. Lis proprietes (rgodiqu(s des suites de probabilites en chaine, C. R. Acad. Sci.
Paris, 204, 1454—1456 A937).
Куаясава (Kiyonori Kunisawa)
1. On an analytical method in the liuory of independent random variables, Ann.
Jnal. Statist. Malh. Tokyo, 1, 1—77 A949).
Купыен (В. О. Koopman)
* 1. A law of small numbers in Markotf chains, Trans. Am. Math. Soc, 70,
277—290 A950).
Леви (Paul Levy)
1. Sur Irs series dont les tcrmes sont des variables eventuelles independantes, Stu-
• dia Malh, 3, 119—155 A931).
2. Sur Us integralis dont les elements sont des variablesaleatoircs independantes,
Ann. Scuola Norm. Sup. Pisa B), 3, 337—366 A934); Observation sur un prece-
precedent memoire de l'auteur, там же, 4, 217—218 A935).
3. ProprieU's asymplotiques des sommes de variables aleatoires independantes ou
enchainees, J. Math. Purrs Appl. Scr., 8, 14, 347—402 A935).
4. Proprietes asymploliques des sommes de variables aleatoires enchainees, Bull.
Sci. Math. B) 59, 84—96, 109—128 A935).
5. Theorie de l'addilion des variables alealoircs, Paris, 1937.
6. Le mouvement Brownien plan, Am. J. Math, 62, 487—550 A940).
7. Prowssus slochasliqucs el mouvement Brownun, Paris, 1948.
8. Systerms markoviens el stationnaircs. Cas denombrable, Ann. Sci. Ecole Norm.
Sup:, 68, 327—381 A951).
* 9. Complement a Г etude des processes de Markoff, Ann. Sci. Ecole Norm. Sup.,
62, 203—212 A952).
* 10. Procrssus markovirns et stationnairrs du cinque'me type (infinite denumcrable
d'elals possibles, pa.'ametrr continu), C. R. Acad. Sci. Paris, 236,1630—1632 A953).
* 11. La unsure dc Hausdorff de la courbe du mouvement Brownien, G. Insl. Hal.
Attuari, 16, 1—37 A953).
Ливдеберг (I. ff. Lindeberg)
1. Eine neue Herleilung des Exponentialgesetzes in der Wahrscheinlichkeitsrech-
nung. Math. Zeitschr., 15, 211—225 A922).
Л и и н и к Ю. В.
* 1. К теории неоднородных цепей Маркова, Изв. АН СССР (сер. матем.), 13, 65—
94 A949).-
* 2. Об устойчивых вероятностных законах с показателем, меньшим единицы,
ДАН СССР, 94, 619—621 A954).
Л и и н и к Ю. В., С а и о г о в Н. А.
. • 1. Многомерный интегральный и локальный законы для неоднородных цепей
Маркова, Изв. АН СССР (сер. матем.), 13, 533—566 A950).
Лоэв (Michel Loeve)
1. Sur les fonctions aleatoires stationnaires de second ordre, Rev. Sci., 83, 297—
30.3 A945).
2. Elude asymptotiquc de sommes de variables aleatoires lieges, J. Math. Pures
Appl. (9). 24. 249—318 A945).
3. Quelcracs proprietes des fonctions aleatoires de second ordro, С R. Acad. Sci.
Paris, 222, 469—470 A940).

ЛИТЕРАТУРА 595
4. Fonctions aleatoires de second ordre. Rev. Sci., 84, 195—206 A946).
* 5. Probability theory, New York, .1955.
M а к к u u (H. M а с К е a n)
* 1. Sample functions of stable processes, Ann. of Math., 61, 564—579 A955).
XI а к м u л л a ii (В г о с k w а у McMillan)
* 1. The basic theorems of information theory, Ann. Math. Stat., 24, 196—219 A95.3).
Марков A. A.
1. Обобщение закона больших чисел на зависимые события, Изв. Казан, физ.-
ыат. об-ва B), 15, 135—156 A906).
2. Теория вероятностей, 4-е изд., М., 1924.
М а р у я м a (G i s i г о М а г и у а ш а)
1. The harmonic analysis of stationary stochastic processes, Mem. Рас. Sci. Kyusytf
Uni-v., A 4, 45—106 (lb-W).
*• 2. Continuous Markov processes and stochastic equations, Henu. Circ. Math.,
Palermo, 4, 1—43 A955).
M a p ц it и к е в и ч (J. М а г с i n k i e w i с z)
1. Que-lques theoremes sur Ies fonctions independantes, Studia Math., 7, 104—120
A937).
2. Sur Ies fonctions independantcs I, Fund. Math., 30, 202—214 A938).
3. Sur les fonctions indopendantcs II, fund. Math., 30, 349—364 A938).
Мариинкевич, Зигмунд (J. M a r с i n k i e w i с z, A. Zygmund)
1. '>ur Its fonctions independantes, Fund. Math.,\29, 60—90 A937).
M и з е с (R. M i 5 e s)
* 1. On the asymptotic distribution of differentiable statistical function Ann. Math
Stat., 18, 309—348 A947).
Мин Ч е н В а и, У л е и б е к (M i n g - С h e n - W a n g, G. E. U h 1 e n Ь е с k)
* 1. On фе theory of the Brownian motion, Rev. Mod. Phys., 17, 323—342 A945).
МойШучЧеи(МоуЭЬи1сЬСЬеп)
* 1. Measure expansion and the martingale convergence theorem Proc. Amer. Math
Soc.,*4, 902—907 A953).
M о р г е н т а л е р (G. VV. M о r g e n t h a 1 e r)
* 1. A central limit theorem for uniformly bounded orthonormal systems Trans.
Amir. Math, Soc, 79, 281—311 A955).
Нейман (John von Neumann)
1. Allgemeine Eigenwcrttheorie Hermitischer Funktionaloperationen Math. Ann ,
102, 49—131 A929).
2. Ubir eincn Satz von Herrn M. H. Stone, Ann. Math., 33, 567—573 A932).
3. Proof of the quasi-crgodic hypothesis, Proc. Wat. Acad. Sci. USA, 18, 70—82 A932).
4. Functional operators 1. Measures and integrals, Ann. Math. Studies, 21, Prin-
Princeton, New Jersey. (Перепечатано с гектографического издания, 1S35.)
Нейман, Шенберг (John von Neumann, I. J. Schonberg)
1. Fourier integrals and metric geometry, Trans. Am. Math. Soc, 50 226—251 A941)
О бух ов А. М.
1. О распределении энергии в спектре турбулентного потока, ДАН СССР, 32,
19—21 A941)'.
* 2. Статистически однородные поля на сфере, Усп. матем. наук, 2, № 2A8>,
196—198 A947). 3
* 3. Статистическое описание .непрерывных полей, Труды ГсоеЬпз. Ин-та АН СССР,
К- 24 A51), ^—42 A954).
* 4. Вероятиостпое описание случайных полей, Укр. матем. журн., 6, 37—42 A954).
О с ти ц (D. Austin)
* 1. On the existence of the derivative of Markoff transition probability functions,
Proc. Nat. Acad. Sci. USA, 41, 224—226 A955).
П г, и с к e p M. C.
* 1. Количество инерормации о гауссовском случайном стационарном пропессе,
содержащейся 'во втором процессе, стационарно с ним связанном, ДАН СССР,
99, 213—2*6 A954).
* 2. Теория кривых в гильбертовом пространстве со стационарными п-ми при-
приращениями, Изв. АН СССР (сер. матем.), 19 319—345 A955)
It о с п и ш п л (Bedrich Pospisil)
1. Sur un ргоЫяпе de M. M. S. Bernstein et A. Kolmogoroff, Casopis PCst. Mat.
Fys., 65, 64—76 A935—1936).
nocce.Tb(Rene de Posse 1)
1. Sur la derivation abstraite des fonctions d'cnsemble, C. R. Acad. Sci Paris, 201,
57»—581 A935), J. Math. Purcs Appl., 15, 391—409 A936).
Привалов И. И.
* 1. Граничные свойства аналитических функций, изд. 2-е, М.—Л., 1950.
Прохоров Ю. В.
* 1. Об усиленном законе больших чисел, Изв. АН СССР (сер. матем ) 14, 523—
53C" A950).

396 ЛИТЕРАТУРА
• 2. Локальная теорема для плотностей, ДАН СССР, 83. 797—800 A952).
* 3. О локальной предельной теореме для решетчатых распределений, ДАН СССР,
98, 535—538 A954).
* 4. Распределение вероятностей в функциональных пространствах, Усп. матем.
наук, 8, № 3, 165—167 A953).
Пугачев В. С.
• 1. Общая теория корреляции случайных функций, Нзв. АН СССР (сер. матем )
17, 401—420 A953).
Р и с с (F. R i e s z)
1. Sur la theorie ergodique, Comm. Math. Helvetici, 17, 221—239 A945).
Романовский В. И.
1. Дискретные цепи Маркова, М.—Л., 1949.
Сапогов Н. А.
* 1. О сингулярных цепях Маркова, ДАН СССР, 58, 193—196 A947).
С а р ы м с а к о в Т. А.
* 1.06 эргодпческом принципе для неоднородных цепей Маркова, ДАН СССР 90
25—28' A953).
* 2. Основы теории процессов Маркова, М., 1954.
Севастьянов Б. А.
* 1. Теория ветвищихся случайных процессов, Усп. матем. иаук, 6, № 6, 47—99
A951).
Се re (G. S г ego)
1. Beitrage zur Theorie der Toeplitzscheu Formen, Math. Zeitschr,, 6, 167—202
A920).
Сегуши, Икеда(Т. Seguchi, N. Iked a)
* 1. Note on the statistical inferences of certain continuous stochastic processes
Mem. Fac. Sci. Kyusyu Univ., A 8, 187—199 A954).
СираждиновС. X.
* 1. Предельные теоремы для однородных цепей Маркова, Ташкент, 1955.
Скороход А. В.
* 1. Асимптотические формулы для устойчивых законов распределения, ДАН
СССР, 98, 731—734 A954).
* 2. Об одном классе предельных теорем для цепей Маркова, ДАН СССР, 106
781—784 A956).
Слуцкий Е. Е.
1. Sur les fonctions eventuelles, integrables et derivables dans le sens stochastique,
С R. Acad. Sci. Paris, 187, 878—880 A928).
2. Alcuui proposizioui sulla Iheoriadegli funzioni aleatorie, Giorn. Inst. Ital. Attuari,
8, 183—199 A937). [Есть русский перевод, см. Труды Ср. Аз. ун-та, сер.
матем. E), 31, 3—15 A939)].
3. Sur les fonctions aleatoires presques periodiques et sur la decomposition des foncti-
fonctions aleatoires stalionnaires en composantes, Actualiles Sci. Ind., 738, 35—55 A938).
С ие л л (J. L. S n e 1 1)
* 1. Applications of martingale system theorems, Trans. Amer. Math. Soc, 73,
292—312 A952).
Солодовников В. В.
* 1. Введение в статистическую динамику систем автоматического управления,
М.—Л., 1952.
СтатулявичусВ. А.
* 1. О локальной предельной теореме для неоднородных цепей Маркова, ДАН
СССР, 107, №. 4, 516—519 A956).
Стоун (Marshall Harvey Stone)
1. Linear transformations in Hilberl space III. Operational methods and group
theory, Proc. Nat. Acad. Sci. USA, 16, 172—175 A930).
2 Linear transformations in Hilbert space and their applications to analysis,
Am. Math. Soc. Coll. Publ., 15 A932).
T ей л op (S. J. T ay lor)
¦'* 1. The a-dimensional measure of the graph and set of zeros of a brownian path,
Proc. Cambr. Phil. Soc, 51, 265—274 A955).
Феллер (William Feller)
1 Ubet den zenlralen Grenzwertsatz der Wahrscheinlichkeitsreehnung, Math. Z.,
521—559 A935); II, 42, 301—312 A937).
2. Zur' Thcorie der stochastischen Prozesse (Existenz und Eindeutigkeitssatze),
Math. Ann., 113 113—160 A936). (Есть русский перевод. См. Усп. матем. паук,
вып. 5, 1938, 52—74.]
3. On the Kolmogoroff-P. Levy formula for infinitely divisible functions, Proc.
Yugoslav Acad. Sci., 82, 95—112 A937).
4. Obcr das Gesstz der grosssn Zahlen. Ada Univ Szrged, 8. 191—201 A937).
5 On the integro-differontial equations of purely discontinuous Markoff proces-
processes, Trans. Am. Math. Soc, 48, 488—515 A940). Errata, ibid., 58, 474 A945).

ЛИТЕРАТУРА 597
6. An introduction to probability theory and ifs applications, vol. I, New York,
1Я50. (Есть русский перевод. См. В. Ф е л л е р, Введение о теорию вероятно-
вероятностей и ее приложения, М., 1952.)
* 7. The parabolic differential equations and the associated semigroups of transfor-
malions, Ann. of Math., 53. 468—519 A952).
* 8. Diffusion processes in one dimension, Trans. Am. Math. Soc, 77, 1—31 A954).
* 9. The general diffusion operator and posilivity preserving semigroups in one di-
dimension, Ann. of Math., 60. 417—435 A954).
* 10. On second order differential operators, Ann. of Math., 61, 90—105 A955).
Фияетт ii (Bruno de Finelti)
1. Sulle-funzioni a incremento alcatorio Rend. Accad. Naz. Lincei Cl. Sci Fis Mat.
Nat. F) 10, 163—168 A929).
Форте (Robert F о г t e t)
1. Les fonctions aleatoires du type de Markoff associees a certaines equations
lineams анх derivees partielles du type paraboiique, I. Ma'л. Pi-.res Appl
22. 177—243 A943).
Фреше (Maurice Frechet)
1, Sur* 1'allure asymptotique de la suite des iteres d'nn noyau de Fredholm,
Quart. J. Math. Oxford, Scr. 5., 106—144 A934).
2. Rechrrches theoriqucs modcrnes sur le calrul des probability II. Methodes des
fonclions arbilrains. Theorie des evenements en chainc dans le eas d'un nombre
fini d'etats possibles, Paris, 1938.
X а л м о ш (P a u 1 R. H a 1 m о s)
1. Invariants of certain stochastic transformations: the mathematical theory of
gambling systems, Duke. Math. J., 5, 461—478 A939).
2. Measurable transformations, Bull. Am. Malh. Soc, 55, 1015—1034 A949).
3. Measure theory. New York, 1950. [Есть русский перевод. См. П. X а л н о m,
Теория меры, М., 1953.)
Ханпер (Olaf Hanner)
1. Deterministic and non-deterministic stationary random processes, Ark. Mat.,
1, 161—177 A950).
Харди Г. Г, Литтльвуд Д. Е., Полна Г. * 1. Неравенства, М., 1948.
Хефдинг, Роббинс (W. Но f f d i n g, H. R о b b i n s)
1. The central limit theorem for dependent random variables, Duko Math. J.,
15, 773—780 A948).
X я л л (E i n a r H i 1 1 ч?)
1. Functional analysis and semi-groups. Am. Math. Soc. Coll. Publ., Vol. 31, 1948.
! Есть русский перевод. См. Э. X ил л, Функциональный анализ п полугруппы,
М.. 1951.)
X я н ч и н А. Я.
1. Асимптотические законы теорпп вероятностей, М.—Л., 1936 (впервые книга
была опубликована на немецком языке в 1933 г.)
2. Т<ория корреляции стационарных стохастических процессов. Усп. матем.
наук. JVs 5. 42—51 A938) (впервые эта статья была опубликована на немецком
языке в 1934 г.).
3. Zur Theorie der unbescbrankt tcilbaren Vcrtcilungsgesetze, Матсм. сб., 2 D4),
79—120 A937).
4. Предельные законы для сумм независимых случайных величин, М.—Л , A938).
5. Теория затухающих спонтанных эффектои, Изв. Акад. Наук СССР (сер. матем.).
3, 313—322 A938).
,* 6. Математические методы теории массового обслуживания, Труды матем. Ин-та
АН СССР ии. В. А. Стеклова, 49. 3—122 A955).
* 7. Основные теоремы теории информации, Усп. мате.м. наук, 11, № 1 F7),
17—76 A956).
X и н ч и и А. Я., КолмогоровА. Н.
1. l-'br Konvcrgrnz von Rtihcn. dcren Glieder durch den Zufall bcslimmt werden,
Матем. сб., 32, fi68—677 A924).
Хопф (Eberhard Hopf)
1. Ergodcnthcoric. Erg. Malh. 5, «\: 2 A937). ГЕсть русский перевод (неполный).
См. Усп. матем. наук. 4. яып. 1 B9), A949).]
* 2. The .general temporally discrete Markoff process, Joum. Rat. Mech. Anal., 3,
13—43 A954).
Чандрасекар (S. Chandrasekhar)
* 1. Стохастические проблемы в физике п астропо.мчп, М., 1947.
ЧенповН.Н.
* 1. Винсрояские случайные поля от нескольких параметров. ДАН СССР, 106,
607—610 A956).
* 2. Слабая схолимоеть случайных процессов с траекториями без разрывов второго
рода н так называемый эвристический подход к критериям согласия типа Кол-
Колмогорова—Смирнова, Теория вероятц. и ее прнмен., 1, Jf» 1, 154—161 A956).

59Я ЛИТЕРАТУРА
Ч ж у и (Chung К. L.)
* i. On almost sure convergence, Proc. Sec. Berkeley Symp. Math. Stab, and Prob.,
Berkeley, 279—303 A951).
* 2. Contributions to the theory of Markov chains, I, Journ. Res. Nat. Bureau
Stand., 50, 203—208 A953).
* 3. Contributions to the theory of Markov chains, II, Trans. Am. Math. Soc, 76,
397—419 A954).
Чжун, Фукс (К. L. Chung, W. H. J. F u с h s)
1. On the distribution of values of suras of random variables. Mem. Am. Math.
Soc, № 6, 12 A951).
Шварц (L. Schwartz)
* 1. Theorie des distributions, I—II, Paris, 1950—51.
Шенберг (J. L. Schouberg)
* 1. Metric spaces and completely monotone functions, Ann. Math., 39, 811—841
A938).
* 2. Positive definite functions on spheres. Duke Math. Journ., 9, 06—108 A942).
Шеинон(С. Е. Shannon)
* 1. A mathematical theory of communication, Bell System Techn. Journ., 27,
379—423, 623—656 A948). (Есть русский перевод. См. сборник «Теория передачи
электрических сигналов при наличии помех», М., 1953.)
Широкорад Б. В.
* 1. К вопросу о примешшости центральной предельной теоремы к цепяи Мар-
Маркова, Изв. АН СССР (сер. матем.), 18, 95—104 A954).
Эйнштейн (A. Einstein)
1. Zur Theorie der Brownschen Bewcgung, Ann. Phys. IV, 19, 371—381 A906).
[Есть русский перевод. См. А. Эйнштейн, М. Смолуховский.
Броуновское движение, М.—Л., 1936].
Я г л о м А. М.
1. Эргодический принцип для марковских* процессон, имеющих стационарное
распределение, ДАН СССР, 56, 347—349 A947).
* 2. О статистической обратимости броуновского движения, Матем. сб., 24 F6),
457—492 A949).
* 3. Однородная и изотропная турбулентность в сжимаемой жидкости, Изв. АН
СССР, сер. геогр. и геофиз., 12, 501—522 A948).
* 4. К вопросу о линейном интерполировании стационарных случайных последо-
последовательностей и процессор, Усп. матем. наук, 4, .№ 4 C2), 171—178 A949).
* 5. Введение в теорию стационарных случайных функппй, Усп. матем. наук,
7, № 5 E1), 3—168 A952).
* 6. Экстраполирование, интерполирование и фильтрация стапионарных случай-
случайных процессов с рациональной спектральной плотностью, Тр. Моск. Матем.
об-ва, 4, 237—278 A955).
* 7. Корреляционная теория протесов со случайными стационарными л-ми
прирашешшми, Матом, сб., 37 G9), 141—196 A955).
Я г л о м А. М. и П п н с к е р М. С.
* 1. Случайные процессы со стационарными приращениями n-го порядка, ДАН
СССР, 90, 385—388 A953).

УКАЗАТЕЛЬ
(Указатель относится также к дополнительному математическому материалу,- содер-
содержащемуся d приложении1, но ие включает приведенных в приложешш исторических
замечаний и имен.)
Абсолютно непрерывная спектральная
функция 447, 477
фуникия множестпа 550
— центрирующие константы 104
Абсолютные вероятности марковского
процесса ! 58
Аддитиниые процессы 352, 683
Безгранично делимые распределения 120,
579
Безобидная игрч 269
Беровская функция 540
— — обобщенная 551
Благоприятная игра 270
Бореленское множество 540
— — обобщенное 551
— поле 539
Вероятности™ мера 545
Вероятностные поля 584
Вероятностный процесс 48; см. отдельные
классы процессов по их назппнинм
Ветвящиеся маркчпские процессы 581
Взаимно независимые случайные величи-
величины 14
Вполне аддитивная функция множества 544
Выборочное простр1нстпо 10
Выборочные функции 18, 49
Выпуклая функция мартингала или полу-
полумартингала 266
Гармонический анализ стационарных
процессон 421, 465; см. также спектраль-
спектральное представление
Гауссопские процессы, метрическая тран-
транзитивность 574
— —¦ определение 71
— —^условия, при которых процесс с не-
вависимыми приращениями является
гауссовским 377
— — условия сутестпопания 71
условные математические ожидания
350
Гипотеза D 136
Группы и полугруппы изометрических
преобразований 460
Детерминированные процессы 507
Дифференциальные процессы 352, 583
Дифференцирование выборочных функций
процесса со стационарными прираще-
приращениями 502
— — — стационарного процесса 481
Диффузионные уравнения 249, 582
Допустимое борелевское поле 191
1 Б том чпслр в приложении перевод-
чнков.—Прим. ред.
Закон больших чисел 115
— д.ч:1 uapKORcu-.ix г:рог,мсо - 199
— — — для однородных процессов с не-
независимыми приращениями 327
— — —, для стационарных и узком смыс-
смысле процессов 91, 417, 463
— — — — — п широком смысле про-
цоссов 439, 475
— — — для сумм независимых случай-
случайных величии 111
— — — — — — одинаково распределен-
распределенных случайных величин 132, 346
— — — — — ортогональных случайных
величин 146
— нуля или олиницы 97
— — — — доказательство при помощи
теории мартингалов 300
— — случай непрерывного пара-
параметра 32fi
Задкнутое линейное многообразие 73, 138
Измеримая по Борелю функция 540
Измеримое мвожлтво выборочного про-
пространства семейства случайных величии
25
Измеримость вероятностного процесса 61
— выборочных функций 63
Изображение семейства случайных велн-
чин 19, 559
— — —• — приложение к условный ма-
математическим ожиданиям 37
Изометрические преобразования 413, 460
Инвариантная случайная величина отно-
относительно изометрического преобразова-
преобразования 415
— — — — сохраняющего меру преобра-
преобразовав ия 410, 458
— — — — стационарного марковского
процесса 412
Инвариантное множество марковского
процесса 188
— — минимальное. 188
— — относительно сохраняющего м?ру
преобразования 409, 458
Интегралы от независимых случайных эле-
элементов 352, 583
Интегриропаиис в бесконечномерном про-
пространстве 307
— выборочных функций 63
— — — стационарного процесса 483 .
Интерполяция стационарных процессов 587
Композиция 77
Коррелвцпонная функция вероятностного
поля 584
стационарного процесса 91, 583
— — — — многомерный случай 536

600
УКАЗАТЕЛЬ
Корреляционная функция вероятностного
поля, характеристические свойства 424,
4Н(>
Корреляционный функционал обобщенного
стационарного процесса 585
Коэффициенты Фурье 139
Лемма Бореля—Каителлп 98
Линейпое многообразие 138
— — замкнутое 73, 138
Линейные операции над стационарными
процессами с дискретным параметром 449
— — — — — с непрерывным парамет-
параметром 479
Локальные предельные теоремы 579, 580
Мажорирующий полумартингал 268
Марковская переходная матричная функ-
функция 213
функция 232
Марковские процессы 79, 580—582; см. гл.У
и VI, а также цепи Маркова, стацпо-
иарные марковские процессы
в широком смысле 87
— — — корреляционная функция
Марковское свойстпо 80
Мартингалы 88, 583; см. также гл. VII
— в широком смысле 151
— определяемые стохастическими ин-
тегрэлами 399
— относительно заданных борелевских
полей 205
Математическое ожидание случайной вели-
величины 15
Мера 545
— вероятностная 545
— Лебега—Стильтьеса 547
— полная 12, 545, 561
Метод наименьших квадратов 75
— приведения 187
Метрически транзитивные вероятностные
процессы 410
л широком смысле 415
марковские процессы 412
— — преобразования 410
— в широком смысле 415
процессы относительно разностных
волей 400
— — — с взаимно независимыми зна-
значениями 413
— — — — — ортогональными значения-
значениями 416
— — — со стационарными приращениями
460
— — — — — в широком смысле орто-
ортогональными приращениями 402
Минимзльное инвариантное множество мар-
марковского процесса 188
Многомерные стационарные в широком
смысле процессы 53С
Множество, определяемое условиями, на-
ложэиными на заданные случайные
величины 2СЗ
— 9-ограннченное 236
— роста сингулярной функции множества
550
Наилучшее линейное приближение по ме-
методу наименьших киадратов 75
Непосредственно заданные процессы 67
Неравенство Бесселя !4'1
—Иенсеиа для условных распределений 37
Несущественные состояния 1С>4
Нижние полумартингалы 265
Обобщенная беропская функция 551
Обобщенное борелонскоо множестпо 551
Обобщенные вероятностные процессы 577
стационарные 585
Обратная система уравнений, диффузион-
диффузионный случпй 248, 581
— — — случаи общего чисто разрывного-
процесса 244, 247
пепи 231, 246, 581
Однородный во времени процесс 92, 157
— процесс с независимыми приращениями
376
Ортогоиализация 139
Ортогональность 73
Отношение правдоподобия 90, 312
Оценка корреляционной функции и спек-
спектральной функции, случай дискретного
параметра 443, 583
— — — — — — — непрерывного па-
параметра 476, 583
Перемешивапие кчрт 171
Плотность вероятностей перехода 177
— распределения 13
Повторные условные вероятности и мате-
математические ожидания 38
Поглощающий экрчн 221
Подвижная точка разрыва 321
Поле множеств 539
Полиномиальная аппроксимация 507
Полная мера 12, 545, 561
Положительно определенная функция, слу-
случай дискретного аргумента 424
— — — — непрерывного аргумента 466
Полумартингал 2В4; см. также гл. VII
— относительно заданных боречевских
полей 265
Понятия в узком и широком смысле 75
Последовательный анализ, основная теоре-
теорема 316
приложение теории мартингалов, слу-
случай дискретного параметра 314
непрерывного пара-
параметра 341
Последующее множество 188
— состопние 1R2
Преобрчзопаннесдвнга, случай дискретного-
нариметрн и изометрического преобра-
преобразования 414
— — — — — п сохраняющего меру пре-
преобразования 408
— — — непрерывного параметра и пзо-
метрнческого преобразования 461
— — — — — и сохраняющего меру пре-
преобразования 459
— Фурье процесса с ортогональными при-
приращениями 390
Принцип отражения 3~>4
Присоединение 70
Прогнозирование, см. гл. XII, а также
586—588
— марковских в широком смысле процес-
процессов с дискретным параметром 454
— при помощи стохастических дифферен-
дифференциальных уравнений 493

УКАЗАТЕЛЬ
601
Проекция 143
— предельная теорема о мартингалах в
широком смысле 153
Производная функции множества по за-
заданной мере относительно заданной си-
системы разбиепий 310, 550
Процесс брауновского .движения 93, 352,
582, 583
— — — условия, при которых мартингал
является процессом брауновского дви-
движения 345
— — — — — — процесс с независимы-
независимыми приращениями является процессом
брауновского движения 377
Процессы диффузионного типа 247, 581, 582
— получаемые с помощью скользящего
суммирования, случай дискретного пара-
параметра 448
— — ¦— — — конечное сум-
суммирование 453
— — — — — непрерывного пара-
параметра 477
— с взаиипо независимыми значениями 77,
97; см. также гл. Ш
— с независимыми приращениями 92;
'см. также гл. V11I
— — — — непрерывность выборочных
функций 349, 379
— — — стационарными приращениями 93,
376, 460, 585
— с некоррелированными значениями 78;
см. также гл. IV
— приращениями 94, 95; см. также
гл. IX
— с ортогональными значениями 78; см.
также гл. IV
— — метрическая транзитивность
462
— со стационарными в широком смысле
приращениями 95, 495, 585
Прямая система уравнений, диффузионпый
случай 248, 581
— — — случаи общего чисто разрывного
процесса 245, 247
пени 231, 246, 581
Пуассоновскнй процесс 94, 358, 583
— — приложение к распределениям моле-
молекул и звезд ЗСЗ
Равномерная интегрируемость 566
— —'случайных величин, составляющих
полумартингал 280
Разностное многообразие 461
— множество 459
— поле 459
Распределение вероятностей 13
— звезд 363
— молекул 363
Расширение при помощи присоединения 70
Рациональныо спектральные плотности,
случай дискретного параметра 450, 586
— — — — непрерывного параметра 486,
Регулярный стационарный процесс 507
Ряды из взаимно независимых случайных
величин 99, 301
— из ортогональных случайных величин
144
— степенные специального вида 147
— Фурьо 139
Свободное прекращение игры, случай ди-
дискретного параметра 270
— — — — непрерывного параметра 329
Свободный выбор, случай дискретного пара-
параметра 272
— — — непрерывного параметра 328
— пропуск 279
Свойства непрерывности выборочных функ-
функций марковских процессов 234, 237, 582
— — — — мартингалов 324
— — — — процесса брауновского дви-
движения 353
— — процессов с независимыми при-
приращениями 349. 378. 379
цепей Маркоиа 224, 226, 241,
242. 349
Сдвиг, см. Преобразованпе сдвига
Сепарабельность вероятностного процесса
53
— — — относительно заданного класса
множеств 53
Сингулярная компонента функции множе-
множества 550
— функция множества 550
Сингулярное множество сингулярной функ-
функции множества 550
Сингулярный стационарный процесс 507
Система игры 135
Скачок 223
Сложный марковский пропесс 86
— — — приложение к перемешиванию
карт 174
Случайная величина 12
— — измеримая относительно заданного
семейства величин 25
Случайные события 359
Совместная функция распределения 13
Состоятельность оценки 570
Сохраняющие меру преобразования мно-
множеств 405, 45R
— — точечные преобразования 405, 456,
556
Спектр стационарного процесса 427, 469
Спектральная плотность стационарного
процесса, случай дискретного параметра
427
— — — непрерывного параметра
469
— функция стационарного ппоцесса, слу-
случай дискретного параметра 427
— — — — — непрерывного параметра
469 .
Спектральное представлекне стацпопарно-
ного процесса, случай дискретного пара-
параметра 432
— — — — — непрерывного параметра
473
— разложение стационарного процесса,
случай дискретного параметра 437
— — — — — непрерывного параметра
475
Стандартная модификация вероятностного
процесса 60
— пара ^-функций 241
Стандартное расширение вероятпостиого
процесса 69
Стационарная марковская переходна:!
функция 233

ног
УКАЗАТЕЛЬ
Стационарное абсолютное распределение
вероятностей марковского процесса 158,
175, 195
Стационарные марковские процессы в ши-
широкой смысле 454, 469, 494, 509
— — — — — — гаусс овский случай
199, 212, 455
— процессы 91, 583—588; см. также гл. X
ик1
многомерные в широком смысле 536
Стохастически определенные процессы 563
Стохастические дифференциальные уравве-
ния диффузионного типа 248, 582
стационарных процессов 491, 502
— интегралы 63, 65, 383, 393, 485
— матрицы 158
— разностные уравнения 452
Ступенчатая функция 223, 394
Существенные состояния 164
Сходимость в среднем 16
— по вероятности (по мере) 15
— по распределению 16
— с вероятностью единица 15
— стохастическая 15
Теорема Кемпбелла 390
— о трех рядах 105
Трансляционные группы и полугруппы
изометрических преобразований 460
— сохраняющих меру преобра-
преобразований 456
Унитарные преобразования 414, 572, 574
Уравнение Смолуховского 85
— Фоккера—Планка 249
— Чепмена—Колмогорова 85, 214, 232
Условные вероятности и математические
ожидания 24
— — — в широком смысле 143
гауссоиский случай 75
—' — повторные 38
— распределения вероятностей 31, 561
в широком смысле 33
Устойчивые законы распределения 579
Фиксированная точка разрыва 320
Фильтр 574, 587
Функция врроятностей перехода 174
— распределения 13
совместная 13
Характеристическая функция 40
Центральная предельная теорема для мар-
марковских процессов 207, 579
— — — для мартингалов 345
— для сумм взаимно независимых
случайных величин 128, 580
Цэнтрирующая функция процесса с неза-
независимыми прирчщениями 366
Центрирующие константы 103
Цепи Маркова с дискретным параметром
157, 580
— приложение к перемеши-
перемешиванию карт 171
— — с непрерывным параметром 214, 240,
245, 349
Циклические подклассы марковского про-
процесса, случай цепи 163
— — — — — произвольного простран-
пространства состояний 193
Цилиндрическое множество 540
Число пересечений интервала последова-
последовательностью 284
Чисто случайные события 359
Эргодическая теорема, случай дискретного
параметра 416
— — — непрерывного параметра 463
Эргодические классы марковских процес-
процессов, случай цепи 164
произвольного простран-
пространства состояний 192
Ядро линейной операции 480

ОГЛАВЛЕНИЕ
Предисловие переводчиков - 5
Из предисловия автора 7
Глава I. Введение. Теоретико-вероятностные основы 9
| 1. Необходимый запас математических знаний . . . • 9
§ 2. Основное пристрангтно . 9
§ 3. Случайные величины и распределения вероятностей 12
§ 4. Различные понятия сходимости 15
§ 5. Семейства случайных величин 16
§ 6. Изображения в произведениях пространств 19
§ 7. Условные вероятности и математические ожидания 22
§ 8. Условные вероятности и математические ожидания: общие свойства 26
| 9. Условные распределения вероятностей 31
§ 10. Повторные условные математические ожидания и вероятности .... 38
§ 11. Характеристические функции 40
Глава П. Определение вероятностного процесса. Основные классы про-
процессов 48
§ 1. Определение вероятностного процесса 48
| 2. Задание вероятностной меры 52
§ 3. Гауссовские процессы; понятия в узком и широком смыслах .... 71
§ 4. Процессы с взаимно независимыми значениями 77
| 5. Процессы .с некоррелированными или с ортогональными значенпями 78
§ 6. Марковские процессы 79
§ 1._ Мартингалы . 88
§ 8. Стационарные вероятностные процессы ¦ . ., 91
§ 9. Процессы с независимыми приращениями 92
| 10. Процессы с некоррелированными и с ортогональпыми приращениями 94
Глава III. Процессы с взаимно независимыми значенпями 97
| 1. Общие замечания . 97
| 2. Ряды 99
§ 3. Закон больших чисел 115
§ 4. Безгранично делимые распределения и центральная предельная
теорема 120
§ Ъ. Стационарный случай 132
1'лава IV. Процессы со взаимно некоррелированными или с ортогональ-
ортогональными значениями 137
§ 1. Общие замечания 137
§ 2. Геометрический подход 138
§ 3. Общее определение проекции 139
| 4. Ряды вз ортогональных случайных величин 144
§ 5. Закон больших чисел 146
} 6. Степенные ряды вида ^ aie "**^ I*7
о
§ 7. Мартингалы в широком смысле 151
Глава V. Марковские процессы с дискретным параметром 157
§ 1. Цепи Маркова. Определение 157
§ 2. Конечные однородные цеин Маркова 159
§ 3. Сложные цепи Маркова 169
§ 4. Приложение к перемешиванию карт 171
§ 5. Обобщение результатов § 2 на произвольные пространства состояний 174
§ 6. Закон больших чисел 199

604 ОГЛАВЛЕНИЕ
§ 7. Центральная предельная теорема 202
§ 8. Марковские процессы в широком смысле 211
Глава VI. Марковские процессы с непрерывным параметром 214
| 1. Цепи Маркова с конечным числом состоянии 214
§ 2. Обобщение результатов § 1 ва случай непрерывного пространства
состояний 231
\. 3. Диффузионные уравнения и соответствующие .марковские процессы 247
Глава VII. Мартингалы 263
| 1. Определения; мартингалы и полумартингп.:и 263
§ 2. Приложение к вероятностным играм 269
§ 3. Основвые неравенства 280
§ 4. Теоремы о сходимости 286
§ 5. Приложение к суммам независимых случайных величин 300
| 6. Приложение к усиленному закону больших чисел 306
\ 7. Приложение к интегрированию в бесконечномерном пространстве . . 307
§ 8. Приложение к теории производных 308
§ 9. Приложение к изучению отношения правдоподобия в математической
статистике ..." 312
§ 10. Приложение к последовательному анализу 314
•§'11. Мартингалы с непрерывным параметром . 316
| 12. Приложение теории мартингалов к выводу свойств непрерывности вы-
выборочных функций процессов некоторых тшшн 348
Глава VIII. Процессы с независимыми приращениями 352
§ 1. Общие замечания 352
| 2. Процесс бра}пэвского движения 352
§ 3. Физические приложения процесса брауновского движения 356
§ 4. Пуассоновский процесс 358
§ 5. Приложение пуассоновского процесса к распределениям молекул
и звезд 363
§ 6. Центрирование общего процесса с независимыми приращениями . . 366
§ 7. Вид функшга распределения и свойства пеп^ерыпнгттп выборочных
функций 375
Глава IX. Процессы с ортогональными приращениями • 382
§ 1. Свойства непрерывности 382
§ 2. Стохастические интегралы 383
§ 3. Приложение к выводу теоремы Кеипбелла 389
| 4. Преобразование Фурье процесса с ортогональными приращениями . . 390
¦_§. »5. Оообщение стохастического интеграла, введенного в § 2 392
Глава X. Стационарные процессы с дискретным параметром 405
§ 1. Общие свойства; метрическая транзитивность 405
§ 2. Усиленный закон больших чисел для стационарных в узком смысле
вероятностных процессов 41В
3. Корреляционная функция стационарного вероятппгтиого процесса;
примеры 424
., 4. Спектральное представление стационарного процесса 432
5 5. Спектральные разложения 437
§ 6. Закон больших чисел для стационарных в широком смысле процессов 439
| 7. Оценка функций /?(v) и F(k) по выборочной последовательности . . . 443
| 8. Абсолютно "непрерывные спектральные функции и еколюпшрр сум-
суммирование 447
| 9. Линейные операции над стационарными процессами 449
| 10. Рациональные (относительно e-^U) спектральные плотности 450
Глава XI. Стационарные процессы с непрерывным параметрам 45G
§ 1. Общие свойства: метрическая транзитивность 456
§ 2. Усиленный закон больших чисел для стационарных в уд ком смысле
вероятностных процессов 463
§ 3. Корреляционная функтя стационарного процесса; примеры 465
§ 4. Спектральное представление стационарного цроиесся 473
| 5. Спектральные разложения 475
§ 6. Закон больших чисел для стационарных в широком смысле про-
процессов 475
§ 7. Оценка значений Д (<) и F (к) по выборочном фупнцням ^76

ОГЛАВЛЕНИЕ
§ 8. Абсолютно непрерывные спектральные функции и скользящее сумми-
суммирование 477
| 9. Линейные операции над стационарными процессами 479
| 10. Рациональные спектральные плотности 486
§ 11. Процессы со стационарными в широком смысле приращениями . . . 495
Глава XII. Наилучшее (в смысле метода наименьших квадратов) линейное
прогнозирование стационарных в широком смысле процессов 504
§ 1. Общпе принципы (случай дискретного параметра) 504
§ 2. Наилучший линейный прогноз как полиномиальная аппроксимация 506
§ 3. Решение задач» о прогнозе для простейших случаев (случай дискрет-
дискретного параметра) 508
§ 4. Общее решение задачи о ирогшме (случаи дис:;рртииго пар.шетра) 512
§ 5. Общее решение зияй mi о прогнозе (случай непрерывного параметр)) 52!'.
§ 6. Обобщения результатов !§ 4 и 5 531
§ 7. Многомерное прогнозирование 534
Дополнение 539
§ 1. Поля точечных множеств 539
§ 2. Функции множества 544
§ 3- Сохраняющие меру преобразования ч 556
Приложение 561
Приложение переводчиков 57',
Литература oS'j
Указатель 599

ЗАПЕЧЕННЫЕ ОПЕЧАТКИ
Стр.
Строка
Напечатано
Следует читать
34
36
46
46
64
64
81
112
117
126
163
183
365
22 св.
22 сн.
9 сн.
между 4 и
3 сн.
2 св.
13 и 14 сн
2 сз.
1 св.
16 и 25 ев
15 сн.
5 св.
2 сн.
13 сп.
487
531
558
607
7 сп.
9 св.
11 св.
4 св.
величине xj
5?i(a, p, я) =
тремя
п—1
2
меньшие
дополнении
bLx{x, p, a) <
четырьмя
п
V
1
меньшие alt кроме значения
приложении
0)
ли еслп d > 1 и
в показателе экспоненты должно
«/2
Aj и В,-
§§ 4 н
lim ж„ (ей) = а; (ей)
П-*ОО
С. К. Клини,
Введение в математику
i/j
-4J н Bj
§§ 4 н 5
lim rn (cu) = x (o>)
С. К. Клини,
Введение в метаматематику
Зап. 427.

Дж. Л. Дув
ВЕРОЯТНОСТНЫЕ ПРОЦКХСЫ
Редактор А. Л. ЮШКЕВИЧ
Художник Н. Н. Румянцев
Технический редактор Н. А. Иоалееа
Сдано в производство 4/VII (956 г.
Подписано к печати 6/Х 1956 г.
Бумага 70х lOSL i6=19,0 Оум. л.,
52.U6 печ. л.
Уч.-иад. п. 48,4- Нзд. Л'» 1/26S4
Цена 3 5 р. 90 к. Зак- 4 27
ИЗДАТЕЛЬСТВО
ИНОСТРАННОЙ ЛИТЕРАТУРЫ,
Москва, Ново-Алексеевская. 52.
16-п типография Гла»полнграфп['ома
Министерства культуры СССР.
Москва, Трехирудный пер., 9.