Теория информации. Теоремы кодирования для дискретных систем без памяти - Чисар И., Кернер Я.

Автор: Чисар И. Кернер Я.
Теги: математика теория вероятностей информатика математическая статистика теория информации
Год: 1985
Похожие
Цифровая связь
Теория информации и надежная связь
Теория информации и защита телекоммуникаций
Текст
                    squisitiones Mathematicae Hungaricae
12
INFORMATION' THEORY
Coding Theorems
for Discrete Memoryless Systems
Imre CSISZAR and Janos KORNER
Mathematical Institute
the Hungarian Academy of Sciences
Budapest, Hungary
Akademiai Kiado-Budapest 1981

И. Чисар, Я. Кернер
Теория
информации
теоремы кодирования
для дискретных систем
без памяти
Перевод с английского
С. И. ГЕЛЬФАНДА и Л. Е. ФИЛИППОВОЙ
под редакцией
Р, Л. ДОБРУШИНА
Москва «Мир» 1985
1
Т Э Ф j
j
! БИБЛИОТЕКА |

ОГЛАВЛЕНИЕ
Предисловие редактора перевода 5
Предисловие 7
Введение 10
Основные обозначения и соглашения 19
Глава 1. Информационные меры в простых задачах кодирования ... 23
§ 1. Кодирование источника и проверка гипотез. Информацион-
Информационные меры . . . '. 23
Задачи 30
Историческая справка 34
§ 2. Типы и типичные последовательности 35
Задачи 45
Историческая справка 50
§ 3. Некоторые формальные свойства шенноновских информаци-
информационных мер 51
Задачи 60
Историческая справка 63
§ 4. Неблоковое кодирование источника 63
Задачи 74
Историческая справка 84
§ 5. Лемма о раздувании: комбинаторное отступление ... 84
Задачи 93
Историческая справка 94
Глава 2. Системы с Двумя терминалами 95
§ 1. Проблема кодирования для канала с шумом 95
Задачи 107
Историческая справка 115
§ 2. Взаимосвязь скорости и искажения при кодировании источ-
источника и проблема передачи источника по каналу 116
Задачи 125
Историческая справка 128
§ 3. Вычисление пропускной способности канала и скоростей
при уровне искажения Л 129
Задачи 138
Историческая справка 139
§ 4. Лемма о покрытии. Показатель ошибки в кодировании
источника 140
Задачи 147
Историческая справка 149
§ 5. Лемма об упаковке. Показатель ошибки в кодировании
канала 149
Задачи 168
Историческая справка ....,,, 186

Оглавление 397
§ 6. Произвольно меняющиеся каналы 186
Задачи 205
Историческая справка 214
Глава 3. Многотермииальиые системы 215
§ 1. Раздельное кодирование коррелированных источников . . . 215
Задачи 240
Историческая справка 246
§ 2. Каналы с множественным доступом 246
Задачи 261
Историческая справка 275
§ 3. Характеризация энтропии и характеризаиия объема образа 275
Задачи ..... 313
Историческая справка 323
§ 4. Сети источников и каналов 324
Задачи 342
Историческая справка 370
Литература 372
Предметный указатель 385
Указатель сокращений и обозначений 393

ББК 22.18
Ч 66
УДК 519.92
Чисар И., Кернер Я.
466 Теория информации: теоремы кодирования для дискрет-
дискретных систем без памяти: Пер. с англ. —М.: Мир, 1985. —
400 с, ил.
Монография знакомит с современным состоянием актуальных проблем
теории информации в изложении ведущих венгерских ученых. Впервые в мировой
литературе представлена теория систем связи с многими пользователями. Удачей
метод изложения, при котором многие факты помещены в виде задач, снабженных
подробными указаниями.
Для математиков, работающих в области теории информации, теории вероят-
вероятностей, математической статистики, инженеров — специалистов по вычислитель-
вычислительной технике и технике связи, а также для студентов этих специальностей.
„ 1702070000—182 1п о. ББК 22.18
4 041@1)-85 4°-85' Ч1 517.8
Редакция литературы по математическим наукам
1981 by Akademiai Kiado, Budapest
Перевод на русский язьщ с дополнениями,
«Мир». 1985

ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА
Теория информации — одна из немногих наук, год рождения
которых можно указать точно: 1948 г. — год публикации извест-
известной статьи основоположника этой науки Клода Шеннона. Итак,
теории информации более 35 лет. Это пора зрелости; детство и
молодость науки уже прошли, и лицо ее вполне определилось.
Не сбылись лихие надежды оптимистов, пытавшихся применять
ее везде, где уместно произнести слово «информация». Но не
сбылись и сомнения скептиков, воспринимавших обещания, со-
содержащиеся в основных теоремах теории информации, как аб-
абстрактную математическую игрушку. Теперь ясно, что адекват-
адекватной областью применения этой науки являются задачи передачи
информации по каналам связи и ее хранения в условиях, когда
есть возможность широко варьировать методы кодирования и
декодирования информации. Общие теоремы кодирования, кото-
которым посвящена книга И. Чисара и Я. Кернера, дают границы для
скорости передачи и вероятности ошибки, достижимые при опти-
оптимальном выборе метода передачи, и образуют, с математической
точки зрения, специальную главу теории вероятностей. Другой
раздел теории информации — теория кодов, исправляющих
ошибки, — связан с конкретными построениями и реализацией
методов передачи, приближающихся к границам, даваемым об-
общими теоремами. Он основан на комбинаторных и алгебраических
идеях и остается вне рамок книги. Подытоживая достижения
теории информации за 35 лет ее существования, можно сказать,
что развитие и удешевление вычислительной техники, совмещенное
с успехами математической теории кодирования, привело к тому,
Что параметры передачи, существование которых доказывают
теоремы кодирования, превратились из технической утопии в тех-
техническую реальность, Эти теоремы служат компасом, определя*
ющим направление развития теории и практики кодирования,
мерилом, измеряющим уже пройденный и еще остающийся впе-
впереди путь, и этим определяется их значение.
Прошло и то время, когда как сенсация воспринимались пер-
первые книги по теории информации. На русском языке есть не-
несколько хороших книг, могущих служить введением в теорию
информации и предназначенных как для математиков (книги
Файнстейна (I960)*, Вольфовица A967)), так и для инженеров
(книги Возенкрафта и Джекобса A969)*, Галлагера A974), не-
недавняя книга Колесника и Полтырева A982)*). Однако зрелые
разделы математической науки знают еще один жанр научной
литературы: это книги-энциклопедии, книги-справочники, в ко-
которых сжато и исчерпывающе с продуманных единых методиче-
методических позиций систематически излагаются все основные результаты
данного раздела математики. К этому жанру можно отнести и
книгу И. Чисара и Я- Кернера. Авторы ограничивают рамки
своей темы: они рассматривают лишь дискретные системы бед

Предисловие редактора перевода
памяти, оставляя тем самым в стороне обобщения теорем кодиро-
кодирования на каналы с памятью, сообщения с зависимыми компонен-
компонентами, непрерывные каналы и сообщения. Такое ограничение
естественно, так как изложение«этих обобщений в стиле, принятом
авторами, потребовало бы еще одной книги того же объема. Хочется
надеяться, что авторы возьмутся и за эту нужную работу.
Книгу можно разделить на две части. В двух ее первых главах
излагаются «классические» для теории информации вопросы*
связанные с передачей сообщения по каналу связи. Здесь собран
обширный материал, ранее в основном разбросанный по много-
многочисленным оригинальным публикациям. Третья глава книги по-
посвящена многотерминальным системам, т. е. системам с несколь-
несколькими взаимодействующими каналами и источниками сообщений.
Эта трудная тема, привлекающая возможностями актуальных
приложений, стала сейчас главной точкой роста вероятностной
теории информации. Здесь много отдельных красивых результатов,
но еще нет общей законченной теории. Авторы книги — первые
(если не считать примерно одновременно появившейся книги
Колесника и Полтырева A982)*), кто взялся за изложение этих
результатов в объеме монографии, и делают они это с той полнотой
и отточенностью стиля, которая совсем необычна для первого си-
систематического изложения нового раздела науки.
Авторы сумели сочетать тщательность, сжатость и ясность
изложения. В этом им помогли многие удачные методические на-
находки; некоторые из них (например, б-соглашение B.11)) можно
назвать смелыми для математической книги. Привлекают пол*
нота и почти юридическая точность ссылок. Резюмируя, хочется
еказать, что авторы образцово выполнили поставленную перед
еобой задачу.
Как указано в английском издании книги, основной список
литературы был закончен в мае 1979 г. В связи с этим редактор
русского перевода обратился к авторам с просьбой о пополнении
списка более поздними работами. Авторы любезно откликнулись
на эту просьбу, указав, впрочем, в своем письме, что в работах
последних лет «не произошло никакого существенного прорыва,
и в действительности каждая из этих работ, кроме, быть может,
работы Berger, Z hen Z hang A983)*, основана на технике, уже
изложенной в книге». Присланный авторами список работ по-
последних лет был дополнен С. И. Гельфандом и аннотирован им
(в соответствующих местах основного текста) с использованием
замечаний, присланных авторами. Ссылки на работы этого допол-
дополнительного списка отмечены знаком *.
Перевод книги выполнен С. И. Гельфандом (§ 2.4—2.6 и гл. 3)
И Д- Ц. Филипповой (гл. 1 и § 2,1—2.3),

Памяти выдающегося матема-
математика Альфреда Реньи — осново-
основоположника теории информации
в Венгрии
ПРЕДИСЛОВИЕ
Теория информации была создана Клодом Шенноном для изуче-
изучения некоторых количественных аспектов понятия информации —
в основном для анализа влияния кодирования на передачу инфор-
информации. Исследования в этой области привели к созданию не-
нескольких математических теорий. Наша тема — это стохастиче-
стохастическая теория, которую часто называют шенноновской, поскольку
ее истоки берут начало непосредственно из работ Шеннона.
Эта книга предназначена для аспирантов и научных работни-
работников в области теории вероятностей и математической статистики,
теории связи и вычислительной математики. Мы поставили перед
собой задачу целостно изложить математическую часть теории,
охватив в том числе важные достижения семидесятых годов.
Хотя приложения к технике и другим областям не рассматри-
рассматриваются, мы старались так построить изложение, чтобы обеспечить
для таких приложений прочную основу. Эвристическое обсужде-
обсуждение математических моделей систем связи проводится во введении,
где также дается общее представление об интуитивных основах
математических постановок задач, изучаемых в книге.
Как явствует из заглавия, здесь рассматриваются лишь дискрет-
дискретные системы без памяти; другими словами, наши математические
модели относятся к независимым случайным величинам с конечной
областью значений. Несмотря на то что эти модели с точки зрения
большинства приложений идеализированы, их изучение раскры-
раскрывает характерные черты теории информации, причем читателю
не приходится вдаваться в технические подробности, необходимые
в более сложных случаях. Фактически от него не требуется ничего,
кроме владения элементами теории вероятностей и достаточной
математической культуры. Благодаря тому что мы ограничили
свое внимание рассмотрением дискретных моделей без памяти,
оказалось возможным использовать унифицированный, в основном
комбинаторный подход. По сравнению с другими подходами он
часто приводит к более сильным результатам и в то же время к бо-
более простым доказательствам. Представляется также, что этот ком-
комбинаторный подход дает и более глубокое понимание существа дела.
Между разделами книги существует сложная взаимосвязь,
что наглядно представлено на рисунке.
Курс лекций, основанный на этой книге, можно построить не-
несколькими способами. Односеместровый курс поЕышенного типа
может состоять из материала §§1.1, 1.2, 2.1, 2.2 и первой половины

Предисловие
§ 3.1. Для более сжатого курса рекомендуем §§ 1.2, 2.4, 2.5.
В обоих случаях должны быть использованы технические резуль-
результаты § 1.3 в той мере, в какой они необходимы. Курс шенно-
новской теории систем с многими терминалами для студентов,
в известной мере знакомых с основами теории информации, может
опираться на третью главу книги с использованием §§ 1.2 и 2.1
в качестве введения. Приводимые в книге задачи открывают ши-
широкие перспективы для творческой работы студентов. Заметим,
Граф зависимости параграфов (первая цифра указы-
указывает номер главы).
однако, что в книге мало иллюстративных примеров; предпола-
предполагается, что преподаватель сможет подобрать их самостоятельно.
Каждый параграф состоит из основного текста и раздела,
содержащего задачи. В основном тексте обсуждаются главные
идеи, развивается техника доказательств и излагаются отдельные
результаты, полученные с ее использованием. На выбор послед-
последних оказали влияние как дидактические соображения, так и на-
научные интересы авторов. Многие результаты, имеющие не мень-
меньшее научное значение, даются в виде задач. Хотя материал задач
не используется в основном тексте, в некоторых местах чита-
читателю рекомендуется обратиться к задачам, чтобы не ограничи-

Предисловие
ваться формальным восприятием текста. В этих местах в скобках
указываются номера таких задач, выделенные жирным шрифтом.
Почти все задачи снабжены указаниями, достаточными для того,
чтобы серьезный студент, ознакомившийся с основным текстом
параграфа, смог их решить. Исключения, отмеченные звездочкой,
предназначены в основном для того, чтобы сообщить дополнитель-
дополнительную информацию; эти задачи не обязательно существенно труд-
труднее других, но для их решения требуются методы, не развитые
в основном тексте.
Источники излагаемых результатов в основном тексте не
указываются, но. в конце каждого параграфа авторам воздается
должное. Что касается задач, то здесь фамилии авторов указы-
указываются отдельно в каждой задаче. Отсутствие ссылки на источник
означает, что соответствующее утверждение либо относится к на-
научному фольклору, либо является неопубликованным результа-
результатом. Приписывание результатов авторам производится на основа-
основании публикаций в журналах или книгах, содержащих полные
доказательства. Число после имени автора означает год появления
соответствующей публикации. Доклады на конференциях, те-
тезисы, технические отчеты и т. п. упоминаются только в тех слу-
случаях, когда, насколько нам известно, их авторы никогда не публи-
публиковали содержащиеся в них результаты в другой форме. В таких
случаях термин «не опубликовано» добавляется к дате в скобках,
чтобы подчеркнуть, что эта дата не включает обычную задержку,
связанную с «регулярными» публикациями.
Мы обязаны нашим друзьям Руди Алсведе, Петеру Гачу
и Каталин Мартон за плодотворные дискуссии, обогатившие
многие наши идеи. Мы благодарим Р. Алсведе, П. Бартфаи,
Дж. Бека, Ш. Чиби, П. Гача, С. И. Гельфанда, Дж. Комлоша
Дж. Лонго, К- Мартон, А. Сгарро и Г. Тушнади за прочтение
отдельных разделов рукописей. Некоторые из этих лиц спасли
нас от неприятных ошибок.
Следует отметить также терпение госпожи Евы Варнаи, про-
проявленное ею при многократной перепечатке все время меняющейся
рукописи, и исключительно высокий темп, с которым она это делала.
Особое внимание следует обратить на дружескую помощь
Шандора Чиби, который способствовал преодолению технических
трудностей, связанных с подготовкой рукописи. Наконец, послед-
последнее, но не самое маловажное: мы благодарны Эжену Лукачу за
его постоянную поддержку, без которой этот проект никогда бы
не был завершен.
Имре Чисар
Янош Кернер
Математический институт
Венгерской Академии Наук
Будапешт, май 1979 г. Будапешт, Венгрия

ВВЕДЕНИЕ
Информация — модное понятие, интересное во многих аспек-
аспектах, из которых количественный (предмет нашего изучения)
хотя и не самый впечатляющий, зато фундаментальный. На ин-
интуитивном уровне достаточно сказать, что- информация — это
некие предопределенные сведения, содержащиеся в каких-то
данных или схемах, необходимые для определенной цели. На самом
деле это понятие не входит явным образом в математическую тео-
теорию. Однако в настоящей книге будет удобно интерпретировать
некоторые функционалы от случайных величин как меры коли-
количества информации, обусловливаемой явлениями, описываемыми
этими случайными величинами. Использование таких информа-
информационных мер характерно при анализе оптимальных возможностей
кодов; кроме того, они оказываются полезными в других обла-
областях математики, имеющих дело со случайными явлениями.
Интуитивные основы
Математическая теория информации, созданная К. Шенноном
(Shannon A948)) для нужд соответствующей технической дисци-
дисциплины, все еще имеет немало точек соприкосновения с техникой
связи, которая представляет обширную область приложений для
теории информации и оправдывает выбор и постановки задач.
Нам представляется, что некоторое знакомство с интуитивными
основами техники связи необходимо тем, кого не удовлетворяют
лишь формальные знания, и тем более тем, кто дальше собирается
работать в этой области. Эвристические соображения, пронизы-
пронизывающие большую часть материала книги, легче всего понять на
идеализированной модели Шеннона системы связи (которую
можно также интерпретировать и как модель хранения инфор-
информации). Мы не будем рассматривать важный вопрос о том, в какой
мере изучаемые нами модели и , получаемые результаты связаны
с реальными системами; заметим лишь по этому поводу, что, хотя
построение удовлетворительных математических моделей реаль-
реальных систем часто оказывается очень трудным, все же широко
признается, что значительное проникновение в понимание воз-
возможностей этих систем достигается при изучении явлений, откры-
открытых на материале моделей, кажущихся очень идеализированными.
Знакомство с математическими методами и техникой доказательств

Введении 11
окажет проектировщику системы неоценимую помощь, когда ему
придется судить о том, как использовать эти явления в конкрет-
конкретных случаях.
Знаменитая шенноновская блок-схема системы связи с двумя
терминалами показана на рис. 1. Перед тем как перейти к мате-
математическому обсуждению модели Шеннона, рассмотрим модели-
моделируемые объекты.
Источником информации может быть природа, человек, вы-
вычислительная машина и т. д. Данные, в которых заключена ин-
информация источника, называются сообщением; оно может пред-
представлять собой результаты наблюдения естественного явления,
Источник
Кодер |—*—| Канал {—*—-| Декодер -*—|Получатель)
Рис. 1.
устные или письменные фразы, последовательность двоичных
символов и т. д. Часть информации, содержащейся в сообщении
(например, начертания букв в рукописном тексте), может быть
несущественна для конкретного получателя. Допустимы также
небольшие искажения существенной информации. Два этих аспекта
совместно отражаются критерием точности воспроизведения
информации получателем. Например, для человека, смотрящего
цветную программу по телевизору с черно-белым изображением,
информация, содержащаяся в цветах, должна трактоваться как
несущественная, и критерий точности удовлетворяется, если
изображение воспринимается не хуже, чем это было бы при хоро-
хорошей черно-белой передаче. Ясно, что для лица, воспринимающего
программу в цветном варианте, критерий точности был бы другим.
Источник и получатель разделены в пространстве или во вре-
времени. Система связи или устройство хранения, способное преодо-
преодолеть это разделение, называется каналом. Как правило, работа
канала несовершенна, в результате чего его выход может значи-
значительно отличаться от входа. Об этом явлении говорят как о шуме
в канале. В то время как свойства источника и канала считаются
фиксированными, характерной особенностью шенноновской мо-
модели является свободный выбор преобразования, которому сооб-
сообщение подвергается перед поступлением в канал. Такое преобра-
преобразование, называемое кодированием, всегда необходимо, если сооб-
сообщение не является одним из возможных входов канала, например,
письменный текст не может быть непосредственно передан по
радио. Существенно, что кодирование является эффективным
орудием для уменьшения стоимости передачи и борьбы с шумами
в канале (тривиальными примерами являются, с одной стороны,
скажем, адреса в телеграммах и, с другой стороны, произнесение

i'i Введение
по буквам имен при разговоре по телефону). Конечно, эти две
цели находятся в конфликте друг с другом, и должен быть най-
найден компромисс. Если сообщение быяо закодировано до поступле-
поступления в канал, а часто даже и в том случае, когда это не так, необ-
необходима соответствующая обработка выхода канала для перевода
информации в форму, приемлемую для получателя. Этот процесс
называется декодированием. Устройства, осуществляющие коди-
кодирование и декодирование, на рис. 1 называются кодером и деко-
декодером. Правила, определяющие их действия, образуют код. Код
обеспечивает надежную передачу, если совместные действия ко-
кодера, канала и декодера приводят к тому, что сообщение источ-
источника воспринимается получателем в пределах заданного крите-
критерия точности.
Неформальное описание основной математической модели
Шеннон развивал теорию информации как метод математи-
математического изучения проблемы надежной передачи возможно более
низкой стоимости (для заданных источника, канала и критерия
точности). С этой целью были введены математические модели
объектов, изображенных на рис. 1. Исходной точкой зрения при
создании терминологии для описания этих моделей была необ-
необходимость установления связи между устройствами, разделенными
в пространстве. При соответствующем переходе от разделения
в пространстве к разделению во времени эти модели вполне под-
подходят для описания хранения информации.
Предполагается, что имеется источник, который способен про-
производить информацию; его выход представляется в виде бесконеч-
бесконечной последовательности некоторых символов (например, латинские
буквы, двоичные символы и т. д.). Наблюдатель не может предска-
предсказать, в какой последовательности будут поступать символы.
Напротив, кажется, что эти символы появляются случайно, в со-
соответствии с вероятностными законами, описывающими потен-
потенциально доступные априорные знания о природе источника (на-
(например, в случае английского текста можно предполагать извест-
известными статистики языка, скажем, частоты букв или слов и т. п.).
По этой причине источник идентифицируется со случайным
дискретным во времени процессом. Первые k случайных перемен-
переменных этого процесса представляют собой случайное сообщение
длины k; его реализации называются сообщениями длины k. В зна-
значительной степени теория носит асимптотический характер; мы
интересуемся передачей длинных сообщений. Этим оправдывается
то, что наш интерес ограничен сообщениями равной длины, хотя,
например, в английском тексте первые k букв ие обязательно
представляют собой осмысленный кусок информации; важно то,
что отброшенная последняя часть фразы по длине пренебрежимо

Введение 13
мала по сравнению с большим k. При неасимптотическом исследо-
исследовании, разумеется, структура текста не так важна. Поэтому
с математической точки зрения сообщения удобнее рассматривать
как реализации произвольной случайной величины, называемой
случайны'м сообщением (которая может отождествляться с конеч-
конечным отрезком процесса источника или даже со всем процессом
и т. д.). Таким образом, мы будем часто говорить о сообщениях
(и их преобразовании), не уточняя природу источника.
Очевидный путь использования преимуществ, даваемых выбо-
выбором стохастической модели, заключается в том, чтобы пренебре-
пренебрегать нежелательными событиями малой вероятности. Простейшим
критерием точности такого типа является критерий по вероят-
вероятности ошибки; это значит, что полная вероятность появления на
выходе получателя неточно воспроизведенного сообщения не
должна превосходить некоторого заданного малого числа. Вообще
говоря, рассматривая сообщение и результат его воспроизведения
получателем как реализации стохастически зависимых случайных
величин, критерий точности формулируют в виде общего огра-
ограничения, накладываемого на совместное распределение этих слу-
случайных величин. Обычно вводят числовую меру потери, получа-
получающейся в результате конкретного воспроизведения сообщения.
В теории информации эта мера называется мерой искажения.
Типичный критерий точности состоит в том, что математическое
ожидание искажения должно быть меньше некоторого порогового
значения или в том, что должна быть мала вероятность того, что
искажение превзойдет этот порог.
Предполагается, что канал способен последовательно переда-
передавать символы из некоторого заданного множества — входного
алфавита. Есть начало передачи, и каждое из последовательных
действий канала состоит в выборе одного из символов и наблюде-
наблюдении соответствующего символа на выходе. В идеальном случае
канала без шума выход идентичен входу; в общем случае, однако,
они могут различаться, и выход не должен однозначно опреде-
определяться по входу. Кроме того, выходной алфавит может отличаться
от входного алфавита. Вследствие стохастического подхода пред-
предполагается, что для любой конечной последовательности входных
символов существует распределение вероятностей на совокупности
выходных последовательностей той же самой длины. Это распре-
распределение управляет последовательными выходами, если элементы
заданной последовательности передаются один за другим с момента
начала передачи, рассматриваемого как начало потенциально
бесконечной последовательности. Из этого предположения сле-
следует, что никакой выходной символ не влияет на возможные более
поздние входные символы, и это приводит к некоторым требова-
требованиям о согласованности распределений, о которых шла речь
выше. Семейство этих распределений заключает в себе все априор-

14 Введение
ное знание о шуме в канале, возможное до передачи. Это семейство
определяет канал как математический объект.
Кодер отображает сообщения в последовательности входных
символов канала не обязательно «взаимно однозначно. С математи-
математической точки зрения это отображение и есть кодер. Образы сооб-
сообщений называются кодовыми словами. Из соображений удобства
обычно ограничиваются кодерами с фиксированной длиной кодо-
кодовых слов, отображающими сообщения в последовательности на
входе канала, например длины п. Аналогично, с чисто математи-
математической точки зрения декодер — это отображение последователь-
последовательностей на выходе канала в восстановленные сообщения. Под кодом
мы будем, как правило, понимать пару кодер—декодер или,
в особых задачах, математические объекты, эффективно опреде-
определяющие эту пару.
Случайное сообщение, кодер, канал и декодер определяют
совместное распределение вероятностей для сообщений, входных
и выходных последовательностей канала и восстановленных
сообщений на получателе. В частности, при помощи этого распре-
распределения можно решить вопрос о том, удовлетворяется ли задаь-
ный критерий точности. Если это так, то мы говорим о надежной
передане случайного сообщения. Стоимость передачи не вклю-
включается явно в описанную математическую модель. Как правило,
неявно подразумевается, что основной вклад в стоимость пере-
передачи вносит использование канала; стоимость использования
канала пропорциональна длине входной последовательности.
(В случае телесвязи эта длина определяет время действия каналов,
а в случае хранения данных — занимаемое пространство, при
условии что для каждого символа требуется одно и то же коли-
количество времени или соответственно один и тот же объем про-
пространства.) Следовательно, при заданных случайном сообщении,
канале и критерии точности проблема заключается в нахождении
наименьшей длины кодового слова п, для которой достижима
надежная передача.
Нас в основном интересует надежная передача длинных сооб-
сообщений заданного источника, использующая коды с фиксированной
длиной слов на входе и выходе, т. е. кодеры, отображающие сооб-
сообщения длины k в последовательности на входе канала длины п,
и декодеры, отображающие последовательности на выходе канала
длины п в восстановленные последовательности длины k. Среднее
число nlk символов канала, используемых для передачи одного
символа источника, является мерой качества кода и будет назы-
называться скоростью передачи. Наша цель состоит в нахождении
предела минимальной скорости передачи (ПМСП), необходимой
для надежной передачи, когда длина сообщения k стремится
к бесконечности. При этом неявно предполагается, что для всех
достаточно больших k задан критерий точности. Разумеется, для

Введение 15
существования конечного ПМСП, не говоря уже о его вычисли-
вычислимости, источник, канал и критерий точности должны удовлетво-
удовлетворять надлежащим условиям.
С интуитивной точки зрения к проблеме передачи длинных
сообщений возможен другой — более претенциозный — подход,
при котором в модель вводятся определенные ограничения на
сложность кодера и декодера, а также требование, чтобы передача
продолжалась неограниченно долго. Любой код с фиксированной
длиной слов на входе и на выходе, предназначенный для передачи
сообщений длины k с помощью, например, п символов канала,
может быть следующим образом использован для бесконечной
передачи. Бесконечная последовательность на выходе источника
разбивается на последовательные блоки длины k. Отображение
кодера воздействует на каждый блок поочередно, а последова-
последовательность на входе канала представляет собой совокупность полу-
полученных с кодера блоков длины п. Последовательность на выходе
канала соответственно разбивается и декодируется по блокам по-
посредством заданного декодера. Этим методом определяется код
для бесконечной передачи. Скорость передачи равна nlk, длины
блоков k и п дают грубую оценку меры сложности кода. Если ка-
канал не обладает «входной памятью», т. е. если на передачу от-
отдельных блоков не влияют предыдущие входы, и если источник
и канал инвариантны во времени, то каждый блок источника
будет восстанавливаться в соответствии с тем же самым критерием
точности, как и первый блок. Предположим дополнительно, что
критерии точности для сообщений различной длины обладают
следующим свойством: если последовательные пары — блок на
входе и блок, полученный после восстановления, — по отдель-
отдельности удовлетворяют критерию точности, то ему удовлетворяют
также пары последовательностей, составленных из этих блоков.
Таким образом, при этом способе кодирования сообщения потен-
потенциально бесконечной длины могут быть надежно переданы, и
можно говорить о надежной бесконечной передаче. Излишне под-
подчеркивать, что такое блоковое кодирование представляет собой
весьма специальный способ реализации бесконечной передачи.
Однако для очень широкого класса кодов, используемых для
надежной бесконечной передачи, при минимизации скорости пере-
передачи г) при условиях, рассмотренных выше, достаточно ограни-
ограничиться блоковыми кодами. В этих случаях минимум существует
*) Связь проблемы минимизации с задачей хранения данных очевидна.
Однако в типичной ситуации связи скорость бесконечной передачи не может
выбираться свободно. Более того, она определяется скоростями, с которыми
источник производит, а канал передает символы. Поэтому вопрос заключается
в том, обеспечивается ли при данной скорости передачи надежность передачи,
но с математической точки зрения он эквивалентен сформулированной выше
проблеме минимизации.

16 Введение
и совпадает с полученным ранее значением ПМСП, в результате
чего два интуитивных подхода к проблеме передачи длинных
сообщений оказываются эквивалентными.
Хотя в этой книге мы преимущественно пользуемся первым
подходом, основная причина рассмотрения главным образом
кодов с фиксированной длиной слов на входе и на выходе заклю-
заключается в их пригодности также и для бесконечной передачи. Эти
коды сами по себе часто называют блоковыми кодами без особого
упоминания о бесконечной передаче.
Измерение информации
Замечательная особенность проблемы ПМСП, открытая Шен-
Шенноном и изученная его многочисленными последователями, со-
состоит в явлеьии, которому можно дать следующую эвристическую
интерпретацию: информация, подобно жидкости, «имеет объем,
но не имеет формы», т. е. количество информации является ска-
скалярной величиной. Так же, как время, необходимое для того,
чтобы жидкость, содержащаяся в большом сосуде,- вылилась
через трубу при заданной скорости течения, определяется отно-
отношением объема жидкости к сечению трубы, так и ПМСП равен
отношению двух чисел, одно из которых зависит от источника и
критерия точности, а другое определяется каналом. Первое число
интерпретируется как мера количества информации, необходимого
в среднем для восстановления одного символа источника, тогда
как второе является мерой пропускной способности канала, т. е.
мерой того, как много информации передается в среднем при ис-
использовании одного канала. Обычно в качестве стандартного
берут простейший канал, который можно использовать для пере-
передачи информации, а именно канал без шума с двумя входными
символами, например 0 и 1. Пропускная способность этого двоич-
двоичного канала без шума, т. е. количество информации, передаваемое
посредством одного двоичного символа, рассматривается как
единица количества информации, называемая битом. Соответ-
Соответственно количество информации, необходимое в среднем для вос-
воспроизведения одного символа заданного источника относительно
заданного критерия точности, измеряется посредством ПМСП
для этого источника и двоичного канала без шума. В частности,
если используется наиболее ограничительный критерий точности,
которым в рамках стохастической теории является требование
малости вероятности ошибки, то соответствующий ПМСП является
мерой общего количества информации, приходящегося в среднем
на один символ источника.
Изложенные выше идеи естественно наводят на мысль о необ-
необходимости измерять количество информации, содержащееся в един-
единственном выходе источника. При нашем выборе модели источника

Введение 17
это означает, что нужно научиться сопоставлять некоторое коли-
количество информации произвольной случайной величине. Мы опи-
опираемся на интуитивное представление о том, что наблюдение сово-
совокупности независимых случайных величин дает количество ин-
информации, равное сумме количеств информации, содержащихся
в отдельных величинах. В соответствии с этим определяется энтро-
энтропия (содержание информации) случайной величины как количе-
количество информации, приходящейся в среднем на один символ источ-
источника, который представляет собой последовательность незави-
независимых копий рассматриваемой случайной величины. Эта же
величина — энтропия — является также мерой количества не-
неопределенности, содержащейся в этой случайной величине до ее
наблюдения.
Мы описали способ сопоставления информационных мер источ-
источникам и каналам в связи с проблемой ПМСП и пришли, в част-
частности, к понятию энтропии отдельной случайной величины.
Возможен и противоположный путь: начиная с энтропии, которая
выражается простой формулой, можно построить более сложные
функционалы от распределений вероятностей. На основе эвристи-
ческих рассмотрений (вполне независимых от приведенной выше
модели связи) эти функционалы можно интерпретировать как
меры информации, соответствующие различным комбинациям
случайных величин. Конструктивная применимость этих инфор-
информационных количеств априори не очевидна. Тем не менее при до-
достаточно общих условиях решение проблемы ПМСП выражается
в терминах этих понятий. Точнее, в соответствующих теоремах
утверждается, что, как и подсказывает интуиция, конструктивно
определенные информационные меры для источника и канала
можно выразить через такие функционалы. Эта согласованность
различных подходов обосновывает и с формальной, и с эвристи-
эвристической точек зрения фундаментальную важность информационных
мер, основанных на понятии энтропии.
Применимость этих функционалов в соответствии с их эври-
эвристическим смыслом не ограничивается проблемами связи или
хранения информации. Тем не менее существуют другие функцио-
функционалы, конструктивная значимость которых не связана с кодиро-
кодированием и которые также можно интерпретировать как ин-
информационные меры.
Многотерминальные системы
Шенноновская блок-схема (рис. 1) моделирует однопутевую
связь между двумя терминалами (источник и получатель). Так,
описанную линию связи можно рассматривать как искусственно
изолированную элементарную часть большой системы связи,
Обеспечивающей обмен информацией между многими участниками,

18 Введение
Возможность такой изоляции оправдывается неявными предполо-
предположениями, заключающимися в том, что
(i) источник и канал в некотором умысле не зависят от осталь-
остальной системы; влияние окружения будет проявляться только в виде
шума в канале,
(ii) если обмен информацией производится в обоих направ-
направлениях, то эти направления не влияют друг на друга.
Заметим, что отказ от предположения (ii) осмыслен даже
в случае связи между двумя терминалами. Тогда возникает новое
явление, состоящее в том, что одновременно с передачей в одном
направлении может передаваться информация о результате пере-
передачи в другом направлении. Такую обратную связь можно исполь-
использовать для улучшения качества кодирования, однако для этого
была бы необходима модификация математического понятия ко-
кодера.
Проблемы, связанные с обратной связью, будут обсуждаться
в этой книге только эпизодически. С другой стороны, вся третья
глава будет посвящена проблемам, возникающим при отказе от
предположения (i). Такой отказ приводит к моделям многотер-
многотерминальных систем с несколькими источниками, каналами и полу-
получателями, в которых приходится учитывать стохастическую вза-
взаимозависимость отдельных источников и каналов. Эвристическое
описание таких математических моделей завело бы нас слишком
далеко. Однако нам представляется, что для читателя, знакомого
с математической теорией систем с двумя терминалами, изложен-
изложенной в двух первых главах, не составит труда понять, что послу-
послужило основанием для построения многотерминальных систем
третьей главы.

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОГЛАШЕНИЯ
й равно по определению
О окончание определения, теоремы, замеча-
замечания и т. д.
□ окончание доказательства
А, В, ..., X, Y, Z множества (конечные, если не делалось
других утверждений; бесконечные мно-
множества будут обычно обозначаться руко-
рукописными прописными буквами)
0 пустое множество
х £ X х является элементом множества X; как
правило, элементы множества будут обо-
обозначаться той же буквой, которой обо-
обозначается само множество
X й \xlt ..., xh\ X состоит из элементов хи ..., хк
| X | число элементов множества X
х = (xi, ..., хп)~\ вектор (конечная последовательность) эле-
х = Хи ..., хп j ментов множества X
XXY декартово произведение множеств X и Y
X" декартова п-я степень множества X, т. е.
совокупность последовательностей длины
п элементов множества X
X* множество всех конечных последователь-
последовательностей элементов множества X
А сХ А есть (не обязательно строгое) подмно-
подмножество множества X
А—В совокупность тех элементов х £ А, кото-
которые не входят в В
А дополнение множества А сХ, т. е. Аи
4 X — А (будет использоваться только
для конечного основного множества X)
А о В симметрическая разность: А°В4(А—В) U
U (В — А)
отображение из X в Y
обратное отображение у £ Y, т. е.
Г1(у)й\х: f(x)=y\
число элементов множества значений функ-
функции /
распределение вероятностей
6 X} РВ на X
/: X -
Г1 (У)
II Л1
II/II
РВ
Р й \Р
Y
(х):

Основные обозначения и соглашения
P(A)
P x Q
Носитель РВ
W: X -
>Y
W= \W(y\x)
x (
z X,y
P
Х для РВ Р,
W7 (В | x)
IT": X" -*
CB
X, Y, 7.
X" = (Xb ,
X" = Xx...
Pr{X 6 A}
Py I X==x
Py\x
Py\x = W
EX
var (X)
V" s*\ \/~ 7
(a, b), [a, I
и Q
X,
(лг<)
вероятность множества А
т.е. Я (А) 4 Ехбд/Ч*)
прямое произведение РВ Р на X
на Y, т? е. Р х Q & {Р (х) Q (у): х
У 6 У\
я-я степень РВ Я, т. е. Рп (х) 4 П^
множество {х: Я (х) > 0}
стохастическая матрица, строки которой
соответствуют элементам множества X,
а столбцы — элементам множества Y, т. е.
W (-\х) есть РВ на Y для каждого х £ X
вероятность множества В cz Y для РВ
прямая я-я степень W, т. е. IF" (y|x) й.
U
случайная величина
СВ, пробегающие конечные множества
., Хп) 1 альтернативные обозначения для вектор-
Хп J ных СВ с компонентами Xlt ..., Хп
вероятность события, состоящего в том,
что СВ X принимает значения из мно-
множества А
распределение СВ X, определяемое как
Рх (х) й Рг {X = х\
условное распределение Y при условии
Х = х,т. е. PY \ х=х (у) й Рг { Y=y \ X = х\
(определено, если Рх (х) > 0)
стохастическая матрица со строками
Ру | х =--х, называемая условным распреде-
распределением Y при условии X; здесь х пробе-
пробегает носитель РВ Рх
означает, что Ру\ х =х = W (-| х), если
Рх (х) > 0, причем не делается никаких
допущений относительно остальных строк
матрицы W
математическое ожидание действительной
СВ X
дисперсия действительной СВ X
означает, что эти СВ, взятые в таком по-
порядке, образуют цепь Маркова
], [а, Ь) соответственно открытый интервал, отре-
отрезок, полуинтервал, замкнутый слева, с ко-
конечными точками а < b
положительная часть действительного
числа г, т.е. | г |+ 4 max (r, 0)

Основные обозначения и соглаШекШ '1\
\_rj наибольшее целое число, не превосходя-
превосходящее г (целая часть г)
Тг~] - наименьшее целое число, не меньшее г
min [a,b], max [a,b\ соответственно наименьшее и наибольшее
из чисел а и Ь
r<s векторы г = (гъ .... rn), s = (s1( ..., sn)
л-мерного евклидова пространства удовле-
_ ТВОрЯЮТ УСЛОВИЯМ Г; «S Sj, { = 1, ..., П
£Ф выпуклое замыкание подмножества s£ ев-
евклидова пространства, т. е. наименьшее
замкнутое выпуклое множество, содер-
содержащее si-
exp, log рассматриваются по основанию 2
In натуральный логарифм
a log-у равно 0, если а = 0, и равно +оо, если
а > Ъ = О
h(r) двоичная энтропийная функция
h (г) й —г log г — A — г) log A — г),
re to, 1 ]
Большая часть асимптотических результатов в этой книге
устанавливается относительно равномерной сходимости. Наш спо-
способ задавать область равномерности заключается в том, чтобы
включить в формулировку результатов все те параметры, участву-
участвующие в задаче, от которых зависят пороговые индексы. С этой
точки зрения, например, п0 = п0 (| X |, е, б) обозначает некоторый
пороговый индекс, который может быть явно выражен как функ-
функция только от | X |, е, б.
Предварительные сведения
о случайных величинах и распределениях вероятностей
Щ Поскольку мы будем рассматривать только СВ, принимающие
конечное число значений, в действительности нам не понадобится
теоретико-мерное обоснование теории вероятностей. Тем не менее
в формальном смысле, когда мы говорим о СВ, то подразумеваем,
что задано вероятностное пространство Колмогорова (Q, У, у),
где Q есть некоторое множество, ЗГ есть cr-алгебра его подмножеств,
а ц — вероятностная мера на^". Тогда СВ со значениями в конеч-
конечном множестве X есть отображение X: Q -*■ X, такое, что X (х) £
£ ST для любого х £ Х- Вероятность события, определяемая
в терминах СВ, есть [i-мера соответствующего подмножества Q, т. е.
Pr{X e А} й |1 ({о»: ХЫ 6 А}).
В этой книге будет предполагаться, что основное вероятност-
вероятностное пространство (£2, ^~, ц.) «достаточно богато» в следующем

Основные обозначения и соглашены
смысле: для любой пары конечных множеств X, Y, любой СВ X
со значениями в X и любого распределения Р на X X Y, сужение
которого на X совпадает с Рх, существует СВ Y, такая, что
Pxy = Р- Это предположение наверняка выполнено, например,
если Q — единичный интервал, @~ — семейство его борелевских
подмножеств, a \i — мера Лебега.
Совокупность всех РВ на конечном множестве X будет иден-
идентифицироваться с подмножеством | X |-мерного евклидова про-
пространства, состоящего из всех векторов с неотрицательными ком-
компонентами, сумма которых равна 1. В соответствии с этим пони-
понимаются линейные комбинации РВ и выпуклость. Например,
выпуклость действительной функции / (Р) от РВ на X означает, что
/ (а/\ + A - а) Р2) < af (PJ + A - а) / (Р2)
для любых РВ Рх и Р2 и а £ @, 1). Аналогично, топологические
термины для РВ на X относятся к метрической топологии, опре-
определяемой евклидовым расстоянием. В • частности, сходимость
Рп -> Р означает, что Рп (х) ->■ Р (х) для любого х £ X.
Аналогичным образом совокупность всех стохастических ма-
матриц W: X -»-Y идентифицируется с подмножеством | X | • | Y |-
мерного евклидова пространства. Выпуклость и топологические
понятия для стохастических матриц понимаются соответственно.
Наконец, для любого распределения Р на X и любой стохасти-
стохастической матрицы W: X -*■ Y обозначим через PW распределение
на Y, определяемое как матричное произведение вектора (строки) Р
и матрицы W, т. е.
(PW) (у) й Hi P (x) W (у\х) для любого у 6 Y.

1
ИНФОРМАЦИОННЫЕ МЕРЫ В ПРОСТЫХ
ЗАДАЧАХ КОДИРОВАНИЯ
§ I. КОДИРОВАНИЕ ИСТОЧНИКА И ПРОВЕРКА ГИПОТЕЗ.
ИНФОРМАЦИОННЫЕ МЕРЫ
(Дискретным) источником называется последовательность СВ
\Хс\7=\, принимающих значения в конечном множестве X, кото-
которое называется алфавитом источника. Если СВ Xt независимы
и одинаково распределены, т. е. если PXi = Р, то источник на-
называется дискретным источником без памяти (ДИБП) с порожда-
порождающим распределением Р.
Двоичный (k, п)-блоковый код задается парой отображений:
ЛХ* ^{0, 1}», <р:@, 1}»- —X*.
Вероятность ошибки кода (Д <р) для заданного источника опреде-
определяется как
e{f, ф) й, Рг {Ф (f(X*)) Ф Х»\,
где Xk обозначает последовательность из k первых символов
последовательности \Xi\fLi. Мы заинтересованы в построении
кодов с малым отношением nlk и малой вероятностью ошибки
(задача 1). Точнее, пусть п (k, г) для любого k обозначает наи-
наименьшее п, для которого существует двоичный (k, я)-блоковый
код с вероятностью ошибки е (/, ф) <: е; мы хотим определить
limft_oo (п (k, s)/k) (задача 2).
ТЕОРЕМА 1.1. Для ДИБП с порождающим, распределением
Р = \Р (х): х £ X} и для любого г £ @, 1)
lim (л (k, e)/k) = Н (Р), A.1)
где Н(Р) й — ЦХ£ХР (х) log P (х). О
СЛЕДСТВИЕ 1.1. 0 < Я (Р) < log | X |. О A.2)
Доказательство. Существование двоичного (k, п)-блокового
кода с вероятностью ошибки е (/, ф) < г равносильно существо-
существованию множества А с Xfe, такого, что Pk (А) ^ 1 — е и | А | < 2п
(множество А является совокупностью восстанавливаемых после-
последовательностей х £ Xk, т. е. таких последовательностей, для
которых ф (/ (х)) = х). Обозначим через s (k, г) минимальную
мощность множеств A cz Xk, вероятности которых Pk (А) удо-
удовлетворяют неравенству Pk (A) S& 1 — е. Достаточно показать,
что
lim (\lk) logs(k, г) = Я (Р) (е 6 @, 1)). A.3)
6-t-oo

2'2 Основные обозначения и соглашены
смысле: для любой пары конечных множеств X, Y, любой СВ X
со значениями в X и любого распределения Р на X X Y, сужение
которого на X совпадает с Рх, существует СВ Y, такая, что
Pxy — Р- Это предположение наверняка выполнено, например,
если Q — единичный интервал, @~ — семейство его борелевских
подмножеств, a \i — мера Лебега.
Совокупность всех РВ на конечном множестве X будет иден-
идентифицироваться с подмножеством | X |-мерного евклидова про-
пространства, состоящего из всех векторов с неотрицательными ком-
компонентами, сумма которых равна 1. В соответствии с этим пони-
понимаются линейные комбинации РВ и выпуклость. Например,
выпуклость действительной функции / (Р) от РВ на X означает, что
+ A — а) Р2) < af (/\) + A — а) / (Р2)
для любых РВ />! и Р2 и а £ @, 1). Аналогично, топологические
термины для РВ на X относятся к метрической топологии, опре-
определяемой евклидовым расстоянием. В • частности, сходимость
Рп —*■ Р означает, что Рп (х) —*■ Р (х) для любого х £ X.
Аналогичным образом совокупность всех стохастических ма-
матриц W: X -*■ Y идентифицируется с подмножеством | X | • | Y |-
мерного евклидова пространства. Выпуклость и топологические
понятия для стохастических матриц понимаются соответственно.
Наконец, для любого распределения Я на X и любой стохасти-
стохастической матрицы W: X -*■ Y обозначим через PW распределение
на Y, определяемое как матричное произведение вектора (строки) Р
и матрицы W, т. е.
(PW) (у) а £ Р (х) W (у\х) для любого у £ Y.

1
ИНФОРМАЦИОННЫЕ МЕРЫ В ПРОСТЫХ
ЗАДАЧАХ КОДИРОВАНИЯ
§ I. КОДИРОВАНИЕ ИСТОЧНИКА И ПРОВЕРКА ГИПОТЕЗ.
ИНФОРМАЦИОННЫЕ МЕРЫ
(Дискретным) источником называется последовательность СВ
\Xi\fL\, принимающих значения в конечном множестве X, кото-
которое называется алфавитом источника. Если СВ Xt независимы
и одинаково распределены, т. е. если Рх. = Р, то источник на-
называется дискретным источником без памяти (ДИБП) с порожда-
порождающим распределением Р.
Двоичный (k, п)-блоковый код задается парой отображений:
/:Х* -40, 1}", <р:{0, \\n~»Xk.
Вероятность ошибки кода (/, ф) для заданного источника опреде-
определяется как
е (Д Ф) а Рг {ф {f (х*)) ф х*},
где Xk обозначает последовательность из k первых символов
последовательности \Xi\T=i. Мы заинтересованы в построении
кодов с малым отношением nlk и малой вероятностью ошибки
(задача 1). Точнее, пусть п (k, e) для любого k обозначает наи-
наименьшее п, для которого существует двоичный (k, n)-блоковый
код с вероятностью ошибки е (/, ф) <е г; мы хотим определить
Нгщ.-,..» (п (k, s)/k) (задача 2).
ТЕОРЕМА 1.1. Для ДИБП с порождающим распределением
Р = \Р (х): х £ X} и для любого е £ @, 1)
lim (л (k, e)/k) = Н (Р), A.1)
где Н(Р) а _ £,€хР (х) log P (х). О
СЛЕДСТВИЕ 1.1. 0 < Н (Р) < log | Х|. О A.2)
Доказательство. Существование двоичного (k, я)-блокового
кода с вероятностью ошибки е (f, ф) < е равносильно существо-
существованию множества А с Xй, такого, что Pk (А) з= 1 — г и | А | < 2"
(множество А является совокупностью восстанавливаемых после-
последовательностей х £ Xfe, т. е. таких последовательностей, для
которых ф (/ (х)) = х). Обозначим через s (k, e) минимальную
мощность множеств A cz Xk, вероятности которых Pk (А) удо-
удовлетворяют неравенству Pk (A) S& 1 — е. Достаточно показать,
что
lim (Ilk) \ogs(k, г) = Я (Р) (е е @, 1)). A.3)
fe—»-оо

24 Гл. 1. Информационные меры в простых задачах кодирования
С этой целью обозначим через В (ft, б) совокупность таких по-
последовательностей х £ Х&, вероятности которых удовлетворяют
неравенствам «
exp { — ft (Я (Р) + б)} < Я* (х) <: exp \ — k (Я(Р)-б)}.
Покажем сначала, что Pk (В (ft, б)) —>- 1 при ft —>■ с» для любого
б > 0. В самом деле, рассмотрим действительные СВ
Yt й -log Я (Л",); -
эти величины определены с вероятностью 1, даже если Р (х) = 0
для некоторого х £ X. Величины Yt независимы, одинаково рас-
распределены, и их математические ожидания совпадают с Н (Р).
Поэтому к ним применим слабый закон больших чисел, по которому
для^любого б > 0
limPr -^S\Yi-H{P) <б =1.
II m ж £
~Ь~ У Y-i —
-H(P)
< б, это соотношение означает, что для любого б > О
lim/>*(B(ft, б)) = 1, A.4)
что и требовалось. Из определения В (k, б) вытекает, что
| В (А, 6)| < exp \k (Я (Р) + б)}.
Таким образом, из соотношения A.4) следует, что для любого
б > 0 справедливы неравенства
lim (I/A) logs (*, 8)<TTm (\lk)\og\B {k, б) | < Я (Р) + 6. A.5)
С другой стороны, для любого множества А а X*. вероятность
которого удовлетворяет неравенству Pk (A) ^1 — е, при до-
достаточно больших k
/"(АПВ (ft, б)) 5s A — е)/2.
Следовательно, по определению множества В (&, б)
| А | ^ | А П В (ft, б) | ^ £ />* (х) exp {ft (Я (Я) - б)} ^
х€ аПв (&, б)
^ [A — е)/2] exp \k (Я (Р) — б)}
при условии, что для любого б > 0
Mm (I/ft) log s (ft, г) з» Я (P) — 6.
ft->-°o
Отсюда и из неравенств A.5) вытекает утверждение A.3). След-
Следствие очевидно. □

§ 1. Кодирование источника и проверка гипотез 25
По интуитивным соображениям, изложенным во введении,
предел Н(Р) из теоремы 1.1 интерпретируется как мера инфор-
информации (или неопределенности), содержащейся в СВ X с распреде-
распределением вероятностей Рх = Р. Этот предел называется энтропией
СВ X или распределения вероятностей Р:
Н(Х) = Н(Р) й — £ Р (х) log Р (х).
Эти равенства часто называют формулой Шеннона.
Математическая суть теоремы 1.1 заключена в соотношении
A.3). Оно характеризует асимптотическое поведение минималь-
минимального объема множеств из Xй, имеющих большую вероятность.
Сейчас соотношение A.3) будет обобщено на случай, когда эле-
элементы из Xй обладают неравными весами и объем подмножества
измеряется его общим весом, а не мощностью.
Пусть задана последовательность положительных «весовых
функций» Мх (х), М-2 (х) определенных на X, и пусть
М (х) Д П М,, (xt),
где х = х± ... xh £ Xk. Для произвольной последовательности СВ
{Xf}£Li со значениями из X рассмотрим наименьший М-вес
М (А) й £ М (х)
х€ А
таких подмножеств А сг X*, которые содержат Xk с большой ве-
вероятностью. Пусть s (k, e) обозначает минимум М (А) по сово-
совокупности множеств А с= X*, вероятности которых
Pxk (A) ss 1 — е.
Прежнее значение s (k, е) получается из этого как частный случай,
если выбрать все функции Mt (x) тождественно равными 1.
ТЕОРЕМА 1.2. Если СВ Xt независимы с распределениями
вероятностей Pt й PXi и если | log Mt (х) \ «г с для любых I
и х £ X, то, полагая
А
Е Д—V V Р Ml Mi^
■К ^^и! м^ш 2 \ )
Получаем, что для любого е, 0 < г < 1,
lim ((I/*) log s (k, г) — Eh) = 0.
Точнее, для любых б, е £ @, 1) справедливо неравенство
js(ft, e)-£ft|<6, если ft^fto = fto(|X|, с, е, б). О
A.6)

26 Гл. 1. Информационные меры в простых задачах кодирования
Доказательство. Рассмотрим действительные СВ
Эти СВ независимы, причем Е ( -г- > УЛ=Еи. В соответ
ствии с неравенством Чебышева получаем для любого б' > О
!
Рг
2
1 k
' < ^ 2 var (К,) <: ^ max var (Гг).
/ 1 = 1
Отсюда вытекает, что для множества
справедливо неравенство
Pxk (В (ft, б')) ^ 1 - л*, где л* a -rir max var (Kf).
«О t
Так как по определению множества В (ft, б')
М (В (ft, б')) = 2 М (х) < 2 Рхь (х) exp {ft(£fe+ S')}<:
x6B(ft, б') х£в(й. б')
«: exp \k (Ek + б')Ь
то при r\k <: е
(I/ft) log s (ft, e) <: (I/ft) log M (B (ft, 6')) <. Eh + 6'.
С другой стороны, для любого множества А с Х& с вероятностью
•P^ft (А) ^1 — е справедливо неравенство Pxk (А П В (ft, б')) Ss
^ 1 — е — iift-
Тем самым для любого такого множества А получаем по опре-
определению В (ft, б'), что
х€ аПв (ft, б')
^ A — 8 — Ли) ехР {£ (-^ft —'■ S')}>
откуда вытекает неравенство
(I/ft) log s (ft, е) ^ (I/ft) log A — 8 — л*) + ^k — б'.
Полагая б' ^ 6/2, получаем утверждение A.6) при условиях
Л/i = D/ft62) max var (Yt) < e
i
и ■ (I/ft) log A-е — л*) ^ —6/2,
которые выполнены, так как из предположения теоремы
| log Mt {x)\ <. с следует, что последние неравенства справедливы,
если ft ss ft0 (|Х|, с, е, б). □

§ /. Кодирование источника и проверка гипотез 27
Важное следствие из теоремы 1.2 связано с проверкой стати-
статистических гипотез. Предположим, что статистику требуется сде-
сделать выбор между распределениями вероятностей Р = \Р (х):
х £ X} и Q = \Q (х): х £ X} на основе выборки объема k, т. е.
на основе результатов k независимых наблюдений СВ с неизвест-
неизвестным распределением (задача 3). (Нерандомизированный) критерий
задается множеством А с: Xfe, а именно, статистик выбирает Р
или Q в зависимости от того, принадлежит или не принадлежит
множеству А выборка Хх ... Xh (задача 4). В большинстве прак-
практических ситуаций такого типа рассматриваемые гипотезы не
симметричны. Обычно задают границу е для допустимой вероят-
вероятности принять ошибочное решение при условии, что истинным
распределением является Р. Затем следует минимизировать ве-
вероятность ошибочного решения при условии, что справедлива
гипотеза Q. Этот минимум обозначается через ,
Р (k, е) Л: min Qk (A).
АСХ*
Pk (A) > 1-е
СЛЕДСТВИЕ 1.2. Для любого г, 0 <е < 1,
Доказательство. Если Q (х) > 0 для любого х £ X, то поло-
положим в теореме 1.2 Pt ,£. Р, Mt A, Q. Если Р (х) > Q (х) — О
для некоторого х £ X, то Р-вероятность совокупности всех по*
следовательяостей длины k, содержащих это х, стремится к 1.
Это значит, что Р (k, е) = 0 для достаточно больших k, так что
обе части рассматриваемого равенства равны — °°- СИ
Из следствия 1.2 вытекает, что сумма, стоящая в правой части
равенства, неотрицательна. Эту сумму можно рассматривать как
меру того, насколько распределение Q отличается от распределе-
распределения Р в смысле статистической различимости. Ее называют ин-
информационной дивергенцией:
D(P{\Q)&
На интуитивном уровне можно сказать, что чем больше D (P\\'Q),
тем больше информации можно получить из одного наблюдения
для различения гипотез Р и Q. Поэтому величина D (P\\Q) на-
называется также информацией для различения. Однако количество
информации, измеряемое величиной D (P \\ Q), принципиально
отличается от энтропии, поскольку для него не существует непо-
непосредственной интерпретации на языке кодов,

28 Гл. 1. Информационные меры в простых задачах кодирования
На пространстве бесконечных последовательностей элементов
из X можно построить меру, являющуюся произведением мер Р,
и меру, являющуюся произведением .мер Q. Если Р ф Q, то так
построенные меры являются взаимно ортогональными. Величина
D (Р || Q) служит (несимметричной) характеристикой того, на-
насколько быстро сужения этих мер на последовательности длины k
приближаются к ортогональным.
ЗАМЕЧАНИЕ. И энтропия, и информационная дивергенция
могут быть представлены как математические ожидания:
Н(Х) = Е (- log Р (X)), D (P \\Q) = E log -^Щ-,
где X — СВ с распределением Р. Иногда удобно интерпретиро-
/ Р (х) \
вать величину —log P (х) (и аналогично величину log q,J~)
как меру количества информации (соответственно как меру весо-
весомости доводов в пользу Р против Q) для фиксированного значения х
из X. Однако эти величины не имеют непосредственной операци-
операционной интерпретации в отличие от их математических ожиданий. О
Энтропия пары СВ (X, Y) с конечными множествами значе-
значений X и Y не нуждается в новом определении, поскольку пару
можно рассматривать как одну СВ с областью значений X X Y.
Мы будем для краткости писать Н (X, Y) вместо Н ((X, Y));
аналогичные обозначения будут использоваться для любого ко-
конечного набора СВ.
Интуитивные представления, связанные с энтропией, наводят
на мысль рассматривать в качестве информационных мер и неко-
некоторые другие выражения, построенные с помощью энтропии.
Разность Я (X, Y) — Н (X) является мерой дополнительного
количества информации, содержащейся в Y, если X уже известно.
Она называется условной энтропией Y при условии X:
H(Y\X)AH(X, Y) — H(X).
Записывая разность энтропии с помощью формулы Шеннона,
получим
% = х), A.7)
*6х
где
Н (Y\X = х)й- £ Pv\x(y\x) log РУ[х(у\х).
Таким образом, Н (Y\X) — это математическое ожидание эн-
энтропии условного распределения Y при условии X = х, Это дает

§ /. Кодирование источника и проверка гипотез 29
дальнейшие основания для уже приведенной интуитивной ин-
интерпретации условной энтропии (задача 5). Кроме того, интуиция
подсказывает, что условная энтропия не может превосходить
безусловной энтропии.
ЛЕММА 1.3. Я (Y\X) < Я (Г).О
Доказательство.
Я (Y) — Я (Y\X) = Я (Y) — Я (X, Y) + Н (X) =
ЗАМЕЧАНИЕ. Я(У|Х = х) может для некоторых х пре-
превосходить Я (Y). О
Разность энтропии, используемую в последнем доказательстве,
можно рассматривать как меру уменьшения неопределенности Y
вследствие того, что известно X. Другими словами, это есть мера
количества информации об Y, содержащейся в X. Отметим заме-
замечательный факт, заключающийся в том, что эта разность симме-
симметрична относительно X и Y. Эта разность называется взаимной
информацией СВ X и Y:
I (X А У) А Н (Y) — Я (К| X) - Я (X) ~Н {Х\\ Y) -
"D(Pxr\Px X РТ). A.8)
Разумеется, количество информации, содержащейся в СВ X
относительно самой себя, совпадает с энтропией:
Взаимная информация является мерой стохастической зави-
зависимости СВ X к Y. Тот факт, что / (X Д Y) совпадает с информа-
информационной дивергенцией совместного распределения вероятностей X
и Y относительно совместного распределения этих величин для
случая, когда они являются взаимно независимыми, подкрепляет
эту интерпретацию. Традиционно взаимную информацию обозна-
обозначают символом, отличным от символа, обозначающего энтропию;
никаких более серьезных причин для этого не существует. Мы
сохраняем эту традицию, хотя наше обозначение / (X Д Y)
несколько отличается от более принятого / (X; Y).
ОБСУЖДЕНИЕ. В теореме 1.1 утверждается, что минимальное
число двоичных символов, необходимое (в среднем) для представ-
представления одного символа ДИБП с порождающим распределением Р,
равно энтропии Я (Р). Этот факт, а также другие результаты,
обсуждаемые позже, позволяют нам интерпретировать Я (X) как
меру количества информации (или неопределенности), содержа-

30 Гл. 1. Информационные меры в простых задачах кодирования
щейся в СВ X. Другими словами, в этой книге принимается опе-
операционный или прагматический подход к понятию информации.
Другой подход мог бы заключатся в установлении некоторых
постулатов, вырабатываемых, на основе интуитивного представ-
представления об информации, которым должна удовлетворять информа-
информационная мера. Некоторые результаты, дающие представление об
этом аксиоматическом подходе, сформулированы в задачах И—14.
Наша отправная теорема 1.1 была доказана здесь интуитивно
простейшим способом. Кроме того, приведенное доказательство
легко переносится на случаи недискретных источников и источ-
источников с памятью, которые не рассматриваются в этой книге.
С другой стороны, для углубленного изучения модели ДИБП
более подходящим является другой, чисто комбинаторный подход.
Мы начинаем развивать этот подход в следующем параграфе.
Задачи
1. (а) Проверьте, что задача определения Пгп^^ (l/k) n (k, е) для дискрет-
дискретного источника в точности совпадает с формулировкой ПМСП-проблемы (см.
введение) для заданного источника и двоичного канала без шума с критерием
точности по вероятности ошибки.
(Ь) Покажите, что для ДИБП и канала без шума с произвольным алфавитом
объема т ПМСП равен Н (P)/log т, где Р — порождающее распределение ис-
источника.
2. Покажите, что при заданном кодере/: X* -*■ {0, 1}" вероятность ошибки
е (/, ф) является минимальной тогда и только тогда, когда декодер q>: {0, 1}" -*■ Xй
Обладает тем свойством, что ф (у) является последовательностью с максимальной
вероятностью среди всех последовательностей х £ X*. для которых / (х) == у.
3. Рандомизированный критерий вводит элемент случайности в выбор ги-
гипотез Р или Q в том смысле, что если результат k последовательностей наблюде-
наблюдений — это последовательность х £ X*, то гипотеза Р принимается с вероят-
вероятностью, например, п (х). Определите величину, аналогичную {3 (k, e), для рандо-
рандомизированного критерия и покажите, что для этой величины также справедливо
следствие 1,2.
4 (лемма Неймана~~Пирсона). Покажите, что для любой заданной границы е,
0 <С е <с 1, для вероятности ошибочного решения, если верна гипотеза Р, наи-
наилучший рандомизированный критерий задается как
1, если [Р
yh, если [Pk (x)/Q* (x)] = ск,
О, если [Pk (x)/Qk (x)] < ch,
где ch и yk — соответствующим образом выбранные постоянные. Очевидно, что
случай k = 1 содержит в себе общий случай, и нет необходимости ограничиваться
независимыми наблюдениями.
5, (а) Пусть |^Cj|J^_, — последовательность независимых СВ с общим
множеством значений X, но с произвольными распределениями. Так же, как
в теореме 1,1, обозначим через п (k, e) наименьшее п, для которого существует

§ 1, Кодирование источника и проверка гипотез 31
двоичный (k, /г)-блоковый код с вероятностью ошибки, не превосходящей г,
для источника {^-[£1,. Покажите, что для любых 8 £ @, 1) и б> О
k
(п (k, e)/k) — (\lk) 2 Я (Xt) <б, если k > k0 (| X |, 8, б).
Указание: применить теорему 1.2 при Af* (x) = 1.
(Ь) Пусть {(Xt, У,-)}^.] — последовательность независимых пар СВ (Z, У),
и .пусть Xk должно быть закодировано, а затем декодировано при известном Yk.
Пусть п (k, s) обозначает наименьшее п, для которого существуют кодер /: Х*Х
X Y* -*■ @, 1}" и декодер ф: {0, 1}" X Y*->-X* с вероятностью ошибки
Рг {ф (J (Xk, Yk), Yk) ф Xk\ < 8. Покажите, что
lim [n (k, е) | k] = Я (X \ Y) для любого 8 £ @, 1).
fe-*-oo
Указание: применить утверждение (а) к условным распределениям СВ Xi
при условиях различных реализаций у из Yk.
6 {случайный выбор кодов). Обозначим через S2" (k, n) класс всех отображе-
отображений /: X* -*• {0, 1}". Для заданного источника jA^JJl.! рассмотрим класс кодов
if, ф.), где / пробегает множество &~{k, п), а ф^: {0, 1)" —*■ X* определяется так,
чтобы минимизировать е if, ф); ср. задачу 2. Покажите, что для ДИБП с поро-
порождающим распределением Р
A/ | ЗГ (k, п) |) _2 е (/, <р,) -»- О,
!, П)
если k n n стремятся к бесконечности так, что
inf (я/А;) > Я (Я).
Указание. Рассмотрим случайное отображение F из X* в {0, 1}", сопостав-
сопоставляющее каждому х £ X одну из 2™ двоичных последовательностей длины п
с равными вероятностями 2~" независимо одна от другой и от источника СВ.
Пусть Ф: {0, l}"->-Xfe — случайное отображение, принимающее значение ф^
если F — f. Тогда
11/| <Г (А. я) I) Ц е (Л Ф/) = Рг {Ф (F (Xk)) фХк\ =
= 2 ' Р* (х) Рг {Ф (Р (х)) =£ х}.
Здесь
Рг {Ф (F (х)) эьх}< 2-" | {х': Р* (х') ^ Рк (х)}|
и это меньше чем 2""+* <я <Р)+б>, если Pk (х) > 2~А <я (Р>+«).
7 (линейные коды источника). Пусть X — поле Галуа (т. е. любое конечное
поле); будем рассматривать X как векторное пространство над этим полем.
Линейный код источника определяется как пара отображений /: Xfe -*■ Хп и ф:
X"->• Xfe, где / — линейное отображение (ф произвольно). Покажите, что для
ДИБП с порождающим распределением Р существуют линейные коды, для кото-
которых (n!k) -»- (Я (P)/log | X |) и е (f, ф) -*■ 0. Сравните этот результат с зада-
задачей 1(Ь).

32 Гл. 1. Информационные меры в простых задачах кодирования
Указание. Линейное отображение / задается над данным полем матрицей
порядка k X п. Задать линейное отображение как случайный, независимый и
равновероятный выбор элементов матрицы. Для любого f выбрать q> так, чтобы
минимизировать е (/, ф), ср. задачу 2. Затйд поступить так, как в задаче 6.
(Неявно в работе Elias A9557; ср. Wyner A974).)
8*. Покажите, что для s (k, e) из теоремы 1.2 справедливо следующее более
точное асимптотическое выражение:
| log s (й, е) — Eh — У Шь + 0/6) log n | < 140/68,
если только _
б < min (Sfe> \lRk), б < е < 1 — б, Vk Ss 140/68.
Здесь 5ftBL 42
a X определяется равенством Ф (X) = 1 — е, где через Ф обозначена функция
распределения стандартного нормального распределения вероятностей; Еь и
Yi обозначают то же, что и раньше.
(Strassen A964).)
9. В задаче проверки гипотез иногда имеет смысл говорить об «априорных
вероятностях» Рг (верна гипотеза Р} = р0 и Рг {верна гипотеза Q}_=qo =
= 1 —р0. На основе выборки х £ X* затем можно вычислить условные апосте-
апостериорные вероятности по формулам:
Рг {верна гипотеза Р | Xk = х\ = р. (х) д . Р°Р
PoP&(x) +
Рг {верна гипотеза Q \ Xk = х} = qk (х) Д. 1 — ph (x).
Покажите, что если верна гипотеза Р, то pk (Xk) -*■ 1 и A/fc) log qh (Xk) -*■
-*■ —D (P || Q) с вероятностью 1 независимо от того, каково было р0 £ @, 1).
10. Представление об энтропии как о мере неопределенности означает,
что «более однородные» распределения обладают большей энтропией. Если за-
заданы два распределения Р и Q на X, то будем говорить, что Р более однородно,
чем Q, и записывать это утверждение в виде Р > Q, если для неубывающих упо-
упорядочений рх >■ р3 > ... >/>n, ft > qa > ... 5= Яп («= |Х|) вероятностей
для любого k, l^k^n, справедливо неравенство ^i—iPi^^t—iQi- Пока-
Покажите, что из условия Р > Q вытекает неравенство Н (Р) ^ Н (Q); сравните
этот результат с утверждением A.2).
(Более общо, из условия Р > Q вытекает, что JJ t=\*b (Z7») ^ ^j *=$ (9i)
для любой выпуклой функции i|i, ср. Karamata A932).)
АКСИОМАТИЧЕСКОЕ ОПРЕДЕЛЕНИЕ ЭНТРОПИИ (задачи 11—14).
В дальнейших задачах Нт {рх, ..., рт), /п= 2, 3, ..., обозначает последователь-
последовательность действительных функций, определенных для неотрицательных pi, сумма
которых равна 1, таким образом, что Нт инвариантны относительно перестано-
перестановок аргументов. Будут сформулированы некоторые простые аксиомы для Нт,
из которых вытекает, что
т
Hm(Pi. ...,Рт)= —T,Pi bg рг, m== 2,3 (*)
i=l
В частности, мы будем говорить, что последовательность {Нт} является
(i) расширимой, если Нт+1 (рг, .... рт, 0)= Нт(рх, ..., рт);
(И) аддитивной, если Нт (рх, ..., рт) + Нп fe qn) = Hmn (pxqx, ...
• •-. РтЯп, ■■■, pmqi, ■■■, Pm<7n);
(iii) субаддитивной, если Нт (р1г ..., рт) + Нп (qlt ..., qn) > Hmn (/■„, ...
•••. гтп) при условиях Jj/=iri7 = pf Sfeir£/ = ?/;

§ /. Кодирование источника и проверка гипотез 33
(WT (iv) ветвящейся, если существуют функции Jm (х, у) (х, у ^5= 0, х -j- у =sj 1,
т = 3, 4, ...), такие, что
Hrn (Pi, • •■> Pm) — Hm-i (Pi + ft Pm) = ^m (Pi> ft);
(v) рекурсивной, если в случае ветвящейся последовательности
«=3,4,...;
(vi) нормализуемой, если. Я2 A/2, 1/2)= 1.
Для полного знакомства с этим вопросом мы рекомендуем работу Aczel—Da-
roczy A975).
11. Покажите, что если {Нт} рекурсивна, нормализуема и Н2(р, 1 —р)
есть непрерывная функция р, то утверждение (*) справедливо.
(Фаддеев A956); первое «аксиоматическое» определение энтропии, содержа-
содержащее несколько более сильные аксиомы, было дано Шенноном (Shannon A948).)
Указание. Основным является доказательство утверждения Нт(\1т, ...
..., Mm) = log m. Для того чтобы получить его, следует проверить, что функция
f ("О й Нт (I'm, ..., 1//п) аддитивна, т. е. / (тп) = f (т) -{- f (n), и что f (т-\-
-1-1) — / (т) -*- 0 при т—*- оо. Показать, что из этих свойств и условия / B) = 1
вытекает, что / (т) — log m.
(Последнее утверждение принадлежит Эрдёшу (Erdos A946)); простое до-
доказательство см. в работе Renyi A961).)
12*." (а) Покажите, что если Нт (ри ..., рт) = £ %^xg (pt), где g (p)—
непрерывная функция, а {Нт} является аддитивной и нормализуемой последо-
последовательностью, то справедливо утверждение (*).
(Chaundy—MacLeod (I960).)
(b) Покажите, что если последовательность {Нт} является расширимой и
ветвящейся, то Нт (pt рт) = JJ^L^ (Pi), причем g @) = 0.
(Ng A974).)
13*. (а) Если^последовательность {Нт} является расширимой, аддитив-
аддитивной, субадднтивной, нормализуемой и Н2 (р, 1 — р) -*■ 0 при р -*■ 0, то спра-
справедливо утверждение (*).
(Ь) Если последовательность {Нт} является расширимой, аддитивной и
субаддитивной, то существуют постоянные Л>0 я В ;> 0, такие, что
Нт (л, .... рт) = А (- f] Pi log Pi J + В log | {/: pi > 0} |.
(Forte A975), Aczel—Forte—Ng A974).)
14*. Предположим, что Hm (plt .... pm) = — log Ф~г[ £'[L1Pi<X> (pt)],
где Ф — некоторая строго монотонная непрерывная функция на интервале
@, 1 ], такая, что *Ф (t) -*■ 0-Ф @) л 0 при t -*■ 0. Покажите, что если последова-
последовательность {Нт} являегся аддитивной и нормализуемой, то либо верно утвер-
утверждение (*), либо
при некотором ос > 0, « =)= 1. Последнее выражение называется энтропией
Реньи порядка а.
(Предположение в работе Renyi A961), доказательство в работе Daroczy
A964).)
15 (информация Фишера). Пусть {Pq} — семейство распределений на ко-
конечном множестве X, где 0 — действительный параметр, пробегающий открытый
2 Чисар И., Кернер Я.

34 Гл. 1. Информационные меры в простых задачах кодирования
интервал. Предположим, что вероятности Ре (•*) — положительные и непрерывно
дифференцируемые функции 0. Положим
(a) Покажите, что для любого 9
е'^е (8'-8)' Р(Мре)=A/1п4)/(8).
(Kullback—Leibler A951).)
(b) Покажите, что любая несмещенная оценка f величины 0 по выборке
объема п, т. е. любая действительная функция / иа X", такая, что E%f (Хп) = 6
для любого 0, удовлетворяет неравенству
Здесь Eq и vare обозначают соответственно математическое ожидание и дисперсию
в предположении, что Хп обладает распределением Р%.
(Величина / @) была введена Фншером (Fisher A925)) как мера информации,
содержащейся в одном наблюдении СВ с распределением Ре для оценивания 0.
Его мотивировка заключалась в том, что дисперсия оценки максимального прав-
правдоподобия для 6 по выборке объема п при 6 = 90 асимптотически равна \1п I @о)-
Утверждение (Ь) известно как неравенство Крамера—Рао, ср. также, например,
Schmetterer A974).)
Указание. Утверждение (а) непосредственно следует нз правила Лопиталя.
Для доказательства (Ь) достаточно рассмотреть случай п= 1. Но неравенство
2Рв
вытекает из неравенства Коши, поскольку
Историческая справка
Основные понятия теории информации принадлежат Шеннону (Shannon
A948)). В частности, Шеннон доказал теорему 1.1, ввел информационные меры:
энтропию, условную энтропию, взаимную информацию и установил их основные
свойства. Термин «энтропия» был заимствован из физики, поскольку энтропия
в смысле статистической физики выражается аналогичной формулой, принадле-
принадлежащей Больцману (Boltzmann A877)). Сама идея измерения информации безот-
безотносительно к ее содержаиию восходит к Хартли (Hartley A928)), который припи-
приписывал символу с т возможными значениями информацию log т. Информационная
мера в специальном контексте была использована Фишером (Fisher A925)), ср.
задачу 15. Информационная дивергенция была введена Кульбаком и Лейблером
(Kullback—Leibler A951)) (под названием информация для различения; эти
авторы использовали термин «дивергенция» для его симметризованного варианта).
Следствие 1.2 известно как лемма Стейна (Stein A952)). Теорема 1.2 является
простым обобщением теоремы 1.1 и следствия 1.2; более сильный результат
такого типа был получен Штрассеном (Strassen A964)). Интересное обсуждение
прагматического и аксиоматического подходов к информационным мерам см.
в работе Реньи (Renyi A965)).

§ 2. Типы и типичные последовательности 35
§ 2. ТИПЫ И ТИПИЧНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Техника доказательств, приводимых в данной книге, по
большей части основана на нескольких простых комбинаторных
леммах, которые собраны в этом параграфе.
Если рассматривается последовательность, полученная в ре-
результате k независимых выборов из конечного множества X
с распределением Q, то вероятность такой последовательности
х £ X* зависит только от того, насколько часто различные эле-
элементы из X появляются в х. В самом деле, если через N(a\x)
обозначить число появлений а £ X в последовательности х, то
Qk (Х) = П Q (а)" <"!*>. B.1)
абХ
ОПРЕДЕЛЕНИЕ 2.1. Типом последовательности х £ X* на-
называется распределение Рх на X, определенное равенством
Рх (а) й (l/k) N (а\х) для любого а £ X.
Для любого распределения Р на X совокупность последователь-
последовательностей типа Р из X* обозначается Тр или просто Тр. Распреде-
Распределение Р на X называется типом последовательностей в ХА, если
Тр Ф 0- О
Иногда термин «тип» будет использоваться также для самих
множеств Тр ф 0, если это не может привести к недоразумению.
Эти множества называются также композиционными классами.
ЗАМЕЧАНИЕ. В математической статистике в случае, когда
х £ X* есть выборка объема к, полученная в результате к на-
наблюдений, тип х называется эмпирическим распределением вы-
выборки х,О
В соответствии с определением 2.1 Q*-вероятность подмно-
подмножества Тр определяется его мощностью. Поэтому (^^-вероятность
любого подмножества А из X* может быть вычислена посредством
комбинаторных приемов, если рассматривать по отдельности пере-
пересечения А с различными подмножествами Тр. При этом суще-
существенно, что число различных типов в X* много меньше, чем число
последовательностей х £ X*.
ЛЕММА 2.2 (о числе типов). Число различных типов после-
последовательностей в X* меньше чем (k + 1)|Х| (задача 1). О
Доказательство. Для любого а £ X величина N (а\х) может
принимать k + 1 различных значений.□
В следующей лемме раскрывается роль энтропии с комбина-
комбинаторной точки зрения на основе ее связи с асимптотикой полино-
полиномиального коэффициента.
ЛЕММА 2.3. Для любого типа Р последовательностей из X*
(k + I) x| exp \kH {Р)\ < |Тя| « ехр \Щ (Р)\
(задача 2). Q
2*

36 Гл. 1. Информационные меры в простых задачах кодирования
Доказательство. Поскольку из B.1) вытекает, что
Pk (х) = ехр { — kH (/% если х £ Т>,
то | ТР| = Pk (Т>) ехр \kH (P)\.
Поэтому достаточно доказать, что
Pk{lp)^{k + l)-ixi.
Это неравенство будет следовать из леммы о числе типов, если
показать, что Р*-вероятность Т^ максимальна, когда Р = Р.
Из B.1) получаем, что для любого типа Р последовательностей
из X*
Р* (Т.) = I Та I П Р (а)^ (а> = —^ П Р (<*(а> •
Отсюда вытекает, что
JiI±L = Г] i
Применяя очевидное неравенство (л!//л!)'<: л""т, получаем
Если X и Y~ два конечных множества, то совместный тип
пары последовательностей х £ X* и у £ Y* определяется как
тип последовательности {(*<, ^)|?=1 6 (X X Y)ft. Другими сло-
словами, это есть распределение Рх, у на X X Y, определяемое как
Р%. у (а, Ь) а A/А) ЛГ (а, 6|х, у) для любых а 6 X, b g Y.
Совместный тип будет часто описываться при помощи пары: типа
последовательности х и стохастической матрицы V: X -> Y,
такой, что
Ях. у (а, Ь) = Ях (а) V (Ь\а) для любых а^Х, &£Y. B.2)
Отметим, что совместный тип Рх, у однозначно определяет V (р\а)
для тех a ^ X, которые действительно появляются в последова-
последовательности х. Для условных вероятностей последовательностей
у £ Y* при заданной последовательности х £ X* матрица V
в равенстве B.2) будет играть ту же роль, что и тип последова-
последовательности у для случая безусловной вероятности.
ОПРЕДЕЛЕНИЕ 2.4. Будем говорить, что у £ Yfe имеет
условный тип V при заданной х £ X*, если
,Y (a, b|x, у) = N(a\x) V (Ь\а) для любых а 6 Х> & € Y,

§ 2. Типы и типичные последовательности 37
Для любой заданной последовательности х £ X* и стохастиче-
стохастической матрицы V: X ->Y совокупность последовательностей
у £ Yfe, имеющих условный тип V при заданной х, будет назы-
называться V-слоем х и обозначаться через Tv (x) или просто через
Tv (x). О
ЗАМЕЧАНИЕ. Условный тип последовательности у при за-
заданной х не определен однозначно, если некоторое а £ X не
появляется в х. Тем не менее множество Ту (х), содержащее у,
единственно. О
Заметим, что условный тип является обобщением понятия типа
(задача 3). В самом деле, если все компоненты последовательности х
равны (например, х), то V-слой х совпадает с совокупностью по-
последовательностей типа F(-|x) в Y*.
Для того чтобы выписать основные оценки для объемов и
вероятностей F-слоев, удобно ввести некоторые обозначения.
Среднее значение энтропии строк стохастической матрицы V:
X —>Y относительно распределения Р на X будет обозначаться
через
H(V\P)U £ Р (х) Я (V (-\х)). B.3)
*€х
Аналогично, среднее значение информационных дивергенций со*
ответствующих строк двух стохастических матриц V: X*-*Y
и W: X -*• Y будет обозначаться через
D(V\W\P)* £ P{x)D(V(-\x)\W(.\x)), B.4)
*€х
Заметим, что H(V\P)-~-это условная энтропия И (Y\X) CB X
и Y, причем X имеет распределение Р, a Y имеет условное рас-
распределение V при условии X. Величина D (V\\W\P) называется
условной информационной дивергенцией. Аналогом леммы 2.3
для у-слоя является
ЛЕММА 2.5. Для любых х £ Х* и стохастической матрицы
V: X -* Y, для которых Ту (х) не пусто, справедливы неравенства
(k + l)-ixnviexp \kH (V\PK)} <\Ту(х)\<ехр\кН(У\Рж)}\д
Доказательства. Утверждение является простым следствием
леммы 2.2. Действительно, величина \TV (x)| зависит только от
типа х. Поэтому можно предположить, что х представляет собой
последовательное соединение последовательностей ха, а £ X,
где ха состоит из N(а\х) одинаковых элемеитов а. В этом случае
Tv (х) есть декартово произведение множества последователь-
последовательностей типа F(-|a) из yw<«i*>, причем а принимает те значения
ИЗ Xj которые появляются в х,

38 Гл. 1. Информационные меры в простых задачах кодирования
Тогда по лемме 2.3
П (N (а\х) + l)-lyl exp \N (a|x> H (V (• | а))} <
<|TV(*)|< П
о€х
откуда следует утверждение леммы. Q
ЛЕММА 2.6. Для любого типа Р последовательностей из X*
и любого распределения Q на X
Q* (х) = ехр {— k (D (P\\ Q) + Н (Р))\, если х С ТР, B.5)
(k + I)" I х I ехр {- Ю (Р || Q)\ <: Q* (ТР) «S ехр {- kD (P || Q)}.
B.6)
Аналогично, для любых х ^ X* и стохастических матриц V:
X -> Y и W: X -> Y, для которых TV (x) не пусто,
W* (у|х) = ехр {-Л (D (V|| Г|РХ) + Н (V\PX))\,
если у ^ Tv (х), B.7)
(Л + 1)-IX||Y| ехр \—kD (V|| 1Г| Рх)} < Wk (Tv (x) | x) <:
<: ехр {—JfeD(V||UnPx)}. B-8)
Доказательство. Утьерждение B.5) есть просто другая форма
записи B.1), Аналогично, B.7)—это другая форма записи
тождества
1Р*(у|х)« П W (Ь\аУ<* bix- y>.
Остальные утверждения следуют теперь из лемм 2,3 и 2,5. □
Величину D (P\\ Q) + Н (Р) = — 2 Р (д:) log Q (д:), появив-
шуюся в утверждении B.5), иногда называют искажением.
Если Q =^= Р, то (^-вероятность множества Т|> экспонен-
экспоненциально мала (при больших значениях К), см. лемму 2.6 (задача 2).
Можно доказать, что даже Pk (Тр) ->0 при А->-оо. Таким
образом, множества большой вероятности должны содержать
последовательности различных типов. При изучении таких мно-
множеств уместно пользоваться непрерывностью функции энтропии.
Более точная информация об этой непрерывности содержится
в следующей лемме.
ЛЕММА 2.7. Для любых двух распределений Р и Q на Х>
удовлетворяющих неравенству
2 \P(x) — Q(x)\ < 0 < 1/2,

§ 2. Типы и типичные последовательности 39
справедливо неравенство
\H(P) — H(Q)\<. -в log (в/| X|). О
Доказательство. Положим 0 (х) й | Р (х) — Q (х)|. Так как
/ (О й —/ log t — вогнутая функция и / @) = / A) = 0, то для
любых t и х, таких, что 0 <: £ <: 1 — т, 0 <: т < 1/2,
1/@ —/(* + т)|< max (/(т), / A — т)) = —т log т.
Следовательно, при 0 <: Э <: 1/2
«:eiog|X|-eioge,
причем последнее неравенство вытекает из следствия 1.1.Q
ОПРЕДЕЛЕНИЕ 2.8. Для любого распределения Р на X
последовательность х £ Xfe называется Р-типичной последова-
последовательностью с константой б, если
N (а\х) — Р {а)\ <: б для любого а £ X
и, кроме того, никакие а £ X с Р (а) = 0 не появляются в х.
Совокупность таких последовательностей будет обозначаться через
Т[Р]6 или просто через Т1Р]&. Далее, если X есть СВ со значе-
значениями в X, то Рх"типичные последовательности будут называться
Х-типинными посдедовательностями, и мы будем писать
или Т[х]6 вместо Т[рх]6- О
[рх]6-
ЗАМЕЧАНИЕ. Множество T*p]fi является объединением мно-
множеств Т^ для тех типов Р последовательностей из X , которые
удовлетворяют неравенству
| Р (а) — Р (а) | < S для любого а £ X
и Р (а) = 0 при Р (а) = 0. О
ОПРЕДЕЛЕНИЕ 2.9. Для стохастической матрицы W: X ->
-> Y последовательность у £ Y* называется W-типичной по-
последовательностью при условии х £ X* (или W-по рождаемой
последовательностью для последовательности х £ X*) с кон-
константой б, если для любых а ( X, i 6 Y
| A/Jfe) jV (а, b\x, у) — A/Jfe) jV (а|х) W (b\a)\<6
и, кроме того, iV (а, й | х, у) = 0 при W (b | а) = 0. Совокупность
таких последовательностей у будет обозначаться через T[W]. (x)

40 Рл. 1. Информационные меры в простых задачах кодирования
или просто через T[w/]6 (х). Далее, если X и Y — СВ со значе-
значениями соответственно в X и Y, и Руш\ х = W, то мы будем говорить
об Y | Х-типичных или Y \ Х-по рождаемых последовательностях
и писать Т*у|х]б(х) или Т[У|х]й(х) вместо T[wj6 (х).<Э
ЛЕММА 2.10. Если х £ T*x]e и у £ Т*у | х]6, (х), то
(х, у) 6 Tfxy]6+6., и, следовательно, у £ т£пб„ при б" а
а (б +б')|х|.оа
По причинам, которые будут очевидны из лемм 2.12 и 2.13,
типичные последовательности будут использоваться с констан-
константами б, зависящими от k таким образом, что
\ -> 0, -j/A 6fe —► оо при k —► оо B.9)
(задача 4).
В этой книге мы будем придерживаться следующего соглаше-
соглашения:
СОГЛАШЕНИЕ 2.11 (8-соглашение). Для любого множества X
или для любой упорядоченной пары множеств (X, Y) имеется
последовательность {6й}£Ц, удовлетворяющая условиям B.9).
Под типичными последовательностями будут подразумеваться
последовательности с этими 8k. Предполагается, что последова-
последовательности \8h\ фиксированы и во всех утверждениях зависимость
от бь не будет упоминаться. Соответственно константа б будет
опускаться в обозначениях, т. е. мы будем писать Tfp], TjV] (x)
и т. д. Кроме того, в большей части приложений будут необхо-
необходимы некоторые простые связи между этими последовательно-
последовательностями. \8k\. В частности, если нам понадобится, чтобы одни типич-
типичные последовательности порождали другие типичные последова-
последовательности, то будет предполагаться, что соответствующие 8k
выбраны в согласии с леммой 2.10.0
ЛЕММА 2.12. Существует последовательность е&->0, зави-
зависящая только от |Х| и |Y| (ср. б-соглашение), такая, что для
любого распределения Р на X и стохастической матрицы W:
X ^Y
Р" (Т[*Р]) ^1-8*.
Wk (T*in (х) | х) ss 1 — 8А для любого х е Xй. О
ЗАМЕЧАНИЕ. Точнее,
р* (тк 1 —^ 1 lXl Wk(Tk , iVW-H — 1 I X 1-1 Yl
для любого S > 0. О
Доказательство. Достаточно доказать неравенства, приведен-
приведенные в замечании. Очевидно, что второе неравенство включает

§ 2. Типы и типичные последовательности 41
первое в качестве частного случая (когда множество X во втором
неравенстве состоит из одного элемента). Далее, если х = хх ... xk,
то пусть Уъ У2, ..., Yk — независимые СВ с распределениями
Ру. = W (-\xi). Тогда СВ N (а, Ъ | х, У*) имеет биномиальное
распределение с математическим ожиданием N (а\х) W (Ь\а) и
дисперсией
/V (а\х) W (Ь\а) A — W (Ь\а)) < A/4) N (а\х) < №.
Таким образом, по неравенству Чебышева
Рг || N (а, Ь\х, У*) — N (а\х) W (b | a) | > k8\ <: A/4А:б2)
для любых а £ X, Ь £ Y. Отсюда следует утверждение леммы.□
ЛЕММА 2.13. Существует последовательность ek ->0, зави-
зависящая только от |Х| и |Y| (ср. б-соглашение), такая, что для
любого распределения Я на. X и стохастической матрицы W:
X -*Y
| (ilk) log | T*P] | — Я (Р) | < eft,
| (l/k) log | TtV] (x) | - H (W\ P) | <: efe
для любого х £ T[p]. О
Доказательство. Первое утверждение немедленно вытекает
из леммы 2.3 и равномерной непрерывности функции энтропии
(лемма 2.7). Второе утверждение, содержащее первое в качестве
частного случая, аналогичным образом вытекает из лемм 2.5 и
2.7. С формальной точки зрения -заметим, что по лемме о числе
типов T[w] (х) является объединением самое большее (k + II х " Y '
непересекающихся V-слоев TV (x). В соответствии с определе-
определениями 2.4 и 2.9 все интересующие нас V удовлетворяют нера-
неравенствам
| Рх (а) V (Ь\а) — Рх (a) W(b\a)\< b'k B.10)
для любых а £ X, Ь £ Y, где {6^} — последовательность, со-
соответствующая паре множеств по б-соглашению. Из неравенств
B.10) и леммы 2.7 вытекает, что энтропии совместных распределе-
распределений на X X Y, определяемых соответственно Рх и V и Рх и W,
отличаются самое большее на величину — | X11 Y | 8£ log 8£ (если
X 11 Y | б* <: 1/2) и поэтому также
| Я (V\ Рх) - Я (W\ Рх) | < - |]Х| | Y | б* log 6*.
В соответствии с леммой 2.5 это означает, что
(k + 1 Г1 х ' ' Y ' ехр {k (Н (W | Рж) + | X 11 Y | Sfe log б*) \ <: | Т^] (х) | <:
< (k + l)ixi iYi exp {*(tf(lF|Px)-|X||Y|6£log6*)b B.11)
Наконец, поскольку последовательность х Р-типичная, т. е,
| Рх (а) — Р (а) Г< 8fe для любого а]£ X.

42 Гл. 1. Информационные меры в простых задачах кодирования
то из следствия 1.1 вытекает, что
\H{W\PK)-H{W\P)\ <. 6ftlog|Y|.
Подставляя эти неравенства^ неравенства B.11), получаем иско-
искомое утверждение.)^]
В последней основной лемме этого параграфа утверждается,
что никакое множество «большой вероятности» не может быть
существенно меньше, чем Т[я] или соответственно T[w\ (х).
ЛЕММА 2.14. Для любого ц, 0 < ц < 1, существует по-
последовательность ek -> 0, зависящая только от rj, |Х| и | Y|,
такая, что
(i) если А сг Xk, Pk (А) ^ ц, то {Ilk) log | А | ^ Н (Р) — sh,
(ii) если В cz Yk, Wk (В | х) ^ ц, то (Ilk) log | В | =г
СЛЕДСТВИЕ 2.14. Существует последовательность e'k ->• О,
зависящая только от ц, |Х|, | Y| (ср. б-соглашение), такая, что
если В с Y* и Wk (В | х) ^ ц для некоторого х ^ Т[Р], то
B\^H {W | />) — 8ь D
Доказательство. Достаточно доказать п. (ii). По лемме 2.12
условие Wk (В | х) ^ ц означает, что
W" (В П Т^ (х) | х) ss (т!/2)
при k^zk0 (ц, | X |, |Yj). Напомним, что T[W] (x) представляет
собой объединение непересекающихся К-слоев Т^ (х), удовлет-
удовлетворяющих неравенствам B.10); ср. доказательство леммы 2.13.
Поскольку Wk (y|x) постоянна для V-слоя х, то отсюда вытекает,
что
| В П Tv (х) | гэ, (т,/2) | Ту (х) |
для по меньшей мере одного V: X —*■ Y, удовлетворяющего не-
неравенствам B.10). Теперь доказательство можно завершить,
используя леммы 2.5 и 2.7 так же, как это было сделано в доказа-
доказательстве предыдущей леммы. □
Заметим, что последние три леммы содержат доказательство
теоремы 1.1 (задача 5). А именно, тот факт, что для кодирования
сообщений длины k для ДИБП с порождающим распределением Р
достаточно приблизительно kH (P) двоичных символов, вытекает
из лемм 2.12 и 2.13, в то время как необходимость такого числа
двоичных символов следует из леммы 2.14. Большая часть теорем
кодирования в этой книге будет доказываться подобным образом
с использованием типичных последовательностей. Объединение
нескольких близких типов позволяет упростить вычисления.
Однако, когда рассматриваются более тонкие вопросы о скорости

§ 2. Типы и типичные последовательности 43
сходимости вероятностей ошибок, этим методом пользоваться
нельзя. В этих задачах мы вынуждены рассматривать последова-
последовательности каждого определенного типа отдельно, опираясь на
результаты первой части этого параграфа. Для того чтобы не-
немедленно проиллюстрировать этот более тонкий метод, мы уточним
сейчас основной результат о кодировании источника, теорему 1.1,
хотя этот материал не потребуется нам ранее § 2.4.
ТЕОРЕМА 2.15. Для любого конечного множества X и -R > О
существует последовательность двоичных (k, nk) -блоковых кодов
(/hi Фь)> Для которых (njk) -*- R, таких, что для любого ДИБП
с алфавитом X и произвольным порождающим распределением Р
вероятность ошибки удовлетворяет неравенству
е (fk, ф*) < ехр {— k (min D (Q \\ P) — цк)), B.12)
Q: H (Q)>R
где i\h Д (log(fe + \)lk) |X|.
Этот результат асимптотически точен для каждого отдельного
ДИБП в том смысле, что для любой последовательности двоичных
(к, Пь)-блоковых кодов из условия nk/k —*■ R < log | X | вытекает
неравенство
lim (l/k) log е (fh, <рк) s= — miji D (Q \\ P). О B.13)
£^- Q: H (Q) >R
ЗАМЕЧАНИЕ. Этот результат уточняет теорему 1.1 в двух
смыслах. Во-первых, для ДИБП с порождающим распределением
Р получена точная асимптотика — в экспоненциальном смысле —•
вероятности ошибки наилучших кодов, для которых (nk/k) -+ R
(конечно, этот результат тривиален, если R <: Я (Р)). Во-вторых,
показано, что оптимальное кодирование может быть осуществлено
за счет кодов, не зависящих от порождающего распределения
источника. Оставшееся утверждение теоремы 1.1, а именно,
утверждение о том, что при (nk/k) -> R < Я (Р) вероятность
ошибки стремится к 1, может быть уточнено аналогичным образом
(задача 6). О
Доказательство. Положим Аи = U То- Тогда из лемм
Q: H (Q) <R '
2.2 и 2.3 вытекает, что
|Aft| <: (k+ 1IX1 ехр \kR), B.14)
далее в соответствии с леммами 2.2 и 2.6
Pk (Xfe — Aft) <: (k + 1I xi ехр {— k min D(Q\\P)\. B.15)
Q: H (Q) > Л
Предположим, что последовательности из Аь кодируются не-
некоторым взаимно однозначным способом, а всем остальным после-
последовательностям ставится в соответствие, например, некоторое
одно фиксированное кодовое слово. Из неравенства B.14) вы-

44 Гл. 1. Информационные меры а ЛроспШх задачах кодировйнМ
текает, что такое кодирование можно осуществить посредством
двоичных кодовых слов длины nh, причем (nk/k) -*■ R. Для этого
кода из неравенства B.15) вытекает утверждение теоремы B.12)
для щ й (log(A+ 1)/A) |Х|. •
С другой стороны, число последовательностей из Xfe, корректно
воспроизводимых при помощи двоичного (k, nh) -блокового кода,
равно самое большее 2пь. Таким образом, по лемме 2.3 для после-
последовательностей из Xfe любого типа Q, удовлетворяющих неравен-
неравенству
(А+ l)-ixiexp \kH (Q)\ ^2nk+\ B.16)
по меньшей мере половина последовательностей из множества Tq
не будет корректно воспроизводиться. В соответствии с леммой
2.6 отсюда вытекает, что
е (/*, Ф„) Ss A/2) (А + 1)-1х' ехр {- kD (Q\P)\
для последовательностей любого типа Q, удовлетворяющих не-
неравенству B.16). Следовательно,
е(Ы, Фл)^ A/2) (А + 1)-1х1ехр {— A min D (Q\\P)\,
Q: H (Q) > R+ek
где Q пробегает совокупность всех типов последовательностей
из Xй и
В силу непрерывности при больших значениях k этот минимум
мало изменится, даже если Q будет пробегать всевозможные
распределения вероятностей на X, a et в неравенстве опустить
(задача 7). О
ОБСУЖДЕНИЕ. Основой доказательства большей части тео-
теорем кодирования, рассматриваемых в этой книге, являются про-
простые комбинаторные леммы, относящиеся к типам последователь-
последовательностей. Объединение «близких» типов, т. е. формализм типичных
последовательностей, упрощает вычисления. В литературе су-
существует несколько концепций типичных последовательностей.
Часто объединяют больше типов, чем мы в определении 2.8; в ча-
частности, широко используются последовательности с типичной
энтропией из задачи 5. Этот последний вариант типичности при-
привлекателен тем, что он легко обобщается на случаи моделей с па-
памятью и с абстрактными алфавитами. Для дискретных систем
без памяти, изучаемых в этой книге, использование принятого
нами понятия типичности часто приводит к усилению результатов.
Однако формализм типичных последовательностей имеет ограни-
ограниченную область применения, ибо не позволяет оценивать ско-
скорости сходимости вероятностей ошибок. Это иллюстрируется
тем фактом, что рассмотрение типов последовательностей приводит

2. Типы и типичные последовательности
45
к простому доказательству теоремы 1.1, но при доказательстве
теоремы 2.15 типы приходится рассматривать по отдельности.
Кроме того, техника оценки вероятностей без объединения типов
больше подходит для получения универсальных теорем кодиро-
кодирования. Интуитивно ясно, что универсальность кодирования озна-
означает, что коды должны быть построены совершенно независимо
от распределений вероятностей, управляющих системой, поэтому
возможности кода оцениваются посредством целого спектра его
характеристик для различных возможных распределений. Теорема
2.15 является первой универсальной теоремой кодирования в этой
книге. Очевидно, что два кода не обязательно сравнимы с точки
зрения универсального кодирования. Поэтому в некоторой сте-
степени неожиданно, что для класса ДИБП с фиксированным алфа-
алфавитом X существуют коды, универсально оптимальные в том
смысле, что для любого ДИБП эти коды обладают асимптотически
той же самой вероятностью ошибки, что и код, являющийся наи-
наилучшим для этого конкретного ДИБП.
Задачи
1. Покажите, что точное число типов
+ |X| —1
последовательностей в X
2. Докажите, что объем множества ТР — это величина
порядка
k 2 exp {kH (Р)}, где s (Р) — число элементов а £ X с Р (а) > О. Точнее,
покажите, что
log | Т* | = fttf (Я) - S {P)~ ' log Bяй) -
-4- 2
a: P (a)>0
где 0 ^ 9 (k, P) < 1.
Указание. Использовать уточнение Роббинса формулы Стирлинга:
(ср., например, Феллер, A984, т. 1) с. 73), учитывая, что Р (а) ;> A/6), если
только Р (а) > 0.
3. Ясно, что все у £ Yfe из V-слоя последовательности х £ X являются
последовательностями одного и того же типа Q, где
(а) Покажите, что Ту (х) Ф Tq, даже если все строки матрицы V равны Q
(за исключением случая, когда х состоит из одинаковых элементов).

46 Гл. 1. Информационные меры в простых задачах кодирований
(Ь) Покажите, что если Рх = Р, то
(k + 1)~ I x 11 Y I exp {—kl (Р, V)} < ^Т^*?1 < (k + 1I Y I exp {—ft/ (P, V)},
где / (P, V) 4Я (Q) — Я (К | P) — взаимная информация СВ X и К, таких,
что Рх = Я и ЯУ|Х = 7. В частности, если все строки V равны Q, то объем
множества Ту (х) не является величиной, «экспоненциально меньшей», чем
объем Tq.
4. Докажите, что первое и второе условия B.9) являются необходимыми
соответственно для лемм 2.13 и 2.12.
5 (последовательности с типичной энтропией). Будем говорить, что после-
последовательность х £ X является последовательностью с Я-типичиой энтропией
с константой 5, если
| - -L log Pk (x) - Н(Р) | < б;
далее, последовательность у £ Yfe является последовательностью с W-типичной
энтропией при условии х, если
(a) Проверьте, что последовательности с типичной энтропией удовлетворяют
также утверждениям лемм 2.12 и 2.13 (если 5 = 6^ выбирается в соответствии
с б-соглашением).
Указание: эти свойства были неявно использованы в доказательствах тео-
теорем 1.1 и 1.2.
(b) Покажите, что типичные последовательности являются также последова-
последовательностями с типичной энтропией с некоторыми другими константами б£ =
= cpbk и соответственно б£ = cw-8k. С другой стороны, последовательности
с типичной энтропией не обязательно являются типичными последовательностями
с константами того же порядка.
(c) Покажите, что для последовательностей с типичной энтропией не верен
аналог леммы 2.10.
(Эта концепция типичности широко используется в литературе.)
6 (коды, скорость которых меньше энтропии). Докажите следующий аналог
теоремы 2.15:
(а) Для любого ДИБП с порождающим распределением Р вероятность
ошибки двоичного (k, /г^-блокового кода, для которого («ft/k) -*■ R < Я (Р),
стремится к 1 экспоненциально; точнее,
lim log (I — e(fk, cpfe)X— min D(Q\\P).
fc->oo Q: H (Q) <fi
(b) Граница (а) экспоненциально точна, а именно, для любого R > 0 суще-
существует двоичный (k, гс^-блоковый код, для которого (пъ/k) -*- R, такой, что для
любого ДИБП с произвольным порождающим распределением Р
lim (l/k) log A-е (fh, cpft)) > — min D (Q || P).
(Предел, определяемый (а) и (b), был введен в работе Csiszar — Longo A971)
в другой алгебраической форме.)
Указание, (а) Доля правильно декодируемых последовательностей из Tq
по лемме 2.3 равна самое большее (k -j- 1)' х ' exp {— | kH (Q) — п^ |+}. Поэтому
из леммы 2.6 и леммы о числе типов вытекает, что
lim (\lk) log A - е (fh, cpft)) < -min (D (Q\\P) + \H (Q) - R \+).
fe->-oo Q

§ 2. Типы и типичные последовательности 47
Для того чтобы доказать, что последний минимум достигается, если Н (Q) ^ R,
достаточно рассмотреть случай R = 0. Однако в этом случае получаются тожде-
тождества
min (D (Q\\P) + Н (Q)) = log (I/max P (x)) = min D (Q\\P).
Q x£X Q: H (Q)=0
(b) Определить кодирование как взаимно однозначное отображение на
объединении множеств Тд с Н (Q) ^ R.
7 (верхние границы), (а) Покажите, что для любого множества FcXs
| F | < exp \kH (PF)\, где PF Д A/| F |) £ Рх-
(Massey A974).)
(b) Покажите, что для любого множества FcX'h распределения Q на X
Q* (F) < ехр {-Ю (Р || Q)}, где Р (а) Д ^] iLiiL Ях (а).
х€рУ ( )
Заметим, что эти верхние границы обобщают соответствующие границы из лемм
2.3 и 2.6.
Указание. Рассмотреть СВ Хг, ..., Х^, такие, что вектор (Хг, ..., Х^) равно-
равномерно распределен на F, и пусть J —СВ, равномерно распределенная на мно-
множестве {1, ..., k] и не зависящая от Xi, ..., Х^. Тогда
k
log | F |< Я (X, Xk) < £ H (Xi) = kH (Xj/J) < kH (Xj) = kH (Pp).
i=\
Отсюда вытекает п. (а). Пункт (b) докажите аналогично, выбирая распределение
вектора (Xlt ..., Xk) как
если х £ F,
10 в остальных случаях.
(с) Вывести из п. (Ь), что верхняя граница из утверждения теоремы 2.15,
будучи асимптотически точной, может быть значительно улучшена для малых
значений k. А именно, коды, построенные при доказательстве теоремы 2.15,
в действительности для любого k удовлетворяют неравенству
е (/ft. Фй) < ехр {—k min D (Q || Я)}.
Q-. н (Q) > R
8. Покажите, что для независимых СВ X и У большая часть последователь-
последовательностей некоторого типа образует совместные последовательности некоторого
типа в следующем смысле: для любой последовательности {б^}, удовлетворя-
удовлетворяющей условиям B.9), существует последовательность |^}' также удовлетворя-
удовлетворяющая условиям B.9) и такая, что
Т* , n j' X Tfe
hm
-rk w -rk
= 1.
(Сравните с задачей 3.)
9. (а) Найдите асимптотику мощности множества последовательностей из
Y , которое является пересечением К-слоев двух различных последовательностей

48 Гл. 1. Информационные меры в простых задачах кодирования
из Xk. Точнее, покажите, что для любой стохастической матрицы У: X -»- Y и для
любых х, х', таких, что Ту (х) Л Ту (х') Ф 0, справедливо неравенство
| (Ilk) log | TV (x) Л Ту (x') | — rtiax H(Y \ X, X') | < eft,
где eft -»- 0 и максимум берется по случайным величинам X, X', У, таким, что
(Ь) Обобщите этот результат иа случай пересечения нескольких У-слоев
с возможными различными V.
10. Докажите, что утверждение леммы 2.14 остается верным, если константу
т) > 0 заменить последовательностью {Ць}> которая стремится к нулю медленнее,
чем экспоненциально, т. е. такой, что (ilk) log т)й -»- 0.
11 (вероятности больших отклонений для эмпирических распределений).
(a) Пусть & — любая совокупность РВ на X и пусть ^ft совокупность тех
РВ из &, которые являются типами последовательностей из X*. Покажите, что
для любого строго положительного распределения Q иа X
-i, log Qk ({x : Ях € П) + mi" D (P || Q)
(b) Пусть & — совокупность РВ иа X, такая, что замыкание множества вну-
внутренних точек из 9* совпадает с &. Покажите, что для k независимых наблюдений
с распределением Q вероятность выборки, эмпирическое распределение которой
принадлежит 3*, имеет следующую асимптотику:
lim (l/*)logQ*({x :Px 6 &}) = — min D(P\\Q).
(с) Покажите, что если & — выпуклое множество распределений на X, то
A/ft) log Qk ({x : Ях 6 5°» < - inf D (P || Q)
P£0>
для любого k и любого распределения Q на X.
(Санов A957), Hoeffding A965).)
Указание. Пункт (а) вытекает из леммы 2.6 и леммы о числе типов; п. (Ь)
является простым следствием (а). Утверждение (с) вытекает из результата за-
задачи 7(Ь).
12 (проверка гипотез). Докажите следующее усиление следствия 1.2:
(а) Для заданного Р существуют критерии, асимптотически оптимальные
одновременно относительно всех альтернатив Q, т. е. существуют множества
Аи с: Xй, такие, что Pk (А^)->- 1, в то время как
lim A/fc) log Qk(Ak) = — D (P || Q) для любого Q.
Указание. Положить AfcAT*Pj и применить утверждение п. (а) из преды-
предыдущей задачи.
(Ь) Для любого заданного Р и а > 0 существуют множества Aft с: ХА, такие,
что
lim (Ilk) log (l — Pk (Aft)) = — a, (*)
k -^oo
и для любого Q
()/k) log Qk (A>,) .< ~Ь (а, Р, Q),
где b(a,P,Q)& min D (P\\Q).
P-. D (p\\P) =g<* .

§ 2. Типы и типичные последовательности 49
Этот результат является наилучшим из возможных в том смысле, что если
множества Aft удовлетворяют условию (*), то для любого Q
Jim {Ilk) log Ф (Ай) > — b (а, Я, Q).
(Hoeffding A965).f°°
Указание. Множества Afe= |J T~ должны удовлетворять требо-
P: D (p ||/>)<a
ваниям задачи 11. С другой стороны, по лемме 2.6 для любого в > 0 любое
множество Aft, удовлетворяющее неравенству 1—Pk (A/j) <J exp {—k (a — e)},
должно содержать no меньшей мере половину последовательностей типа Р, если
только D (Р\ Р) ^ а — 2е. Поэтому последнее утверждение получается из пов-
повторного применения леммы 2.6 и свойства непрерывности.
13 (вычисление экспонент ошибок). Экспоненты ошибок для кодирования
источника и соответственно для проверки гипотез (ср. теорему 2.15 и задачу
12 (Ь)) определяются как минимумы дивергенции. Определите минимизирующие
распределения.
(a) Для произвольного распределения Я на X и любого а, 0 =Sj а ^ 1,
определите распределение Яа как
Ра (х) А. Ра (х) / 2 Pa(a)Y\
\ v /
Покажите, что Я (Ра) является непрерывной функцией а, причем эта функция
строго убывает (за исключением случая, когда Я — равномерное распределение
на X) и Я (Я„) = log | X |, Я (Pi) = Я (Р).
(b) Покажите, что если Я (Я) ^ R ^ log | X |, то минимум дивергенции,
входящий в формулировку теоремы 2.15, достигается, если Q = Яа<) где а* —
единственный элемент из интервала 0 ^ а ^ 1, для которого
Я (Ра) = R.
Полагая
F(R, Р)^1^?-*—^riog Ц Ра»,
установите, что
min D (Q || Р) = F (R, Р).
н (Q) »R
Указание. Сначала показать, что для любого Q и а из интервала 0 <| а ^ 1
D (Q || Я) = Ц^- H(Q) + ~ (D (Q || Ра) - log 2 Рг/ (х)).
Следовательно, при Я (Q) ^ R
D(Q\\P)~D (Ра* || Я) > A/ос*) D (Q | Ра>).
(c) Для произвольных распределений Р ф Q на X и а из интервала О <J
^ а ^ 1 введите распределение Яа как
Яа (ж) = Яа (ж) Q'-a (ж) / V Яа (а)
Покажите, что D (Pa||P) — непрерывная и строго убывающая функция а.
(d) Покажите, что если 0 <| а <; D (Q|| P), то минимум дивергенции, опре-
определяющий экспоненту Ъ (а, Р, Q) из задачи 12 (Ь), достигается при Я= Яа,,

50 Гл. 1. Информационные мери в простых задачах кодирования
где а* — единственный элемент из интервала 0 ^ а ^ 1, для которого
Указание. Для произвольного Р выразить D (P || Q) через D (Р || Р)
и D (Р || Ра) по аналогии с указанием к п. (Ь).
14 (точная асимптотика вероятности ошибки).
(a) Докажите непосредственно, что для ДИБП с порождающим распределе-
распределением Р наилучший двоичный (k, /1й)-блоковый код, для которого (пь/к) -*- R,
удовлетворяет равенству
lim (l/k) log e (/», срА) =— F (R, Р),
fe-»oo
где F (R, Р) было определено в задаче 13 (Ь). Точнее, покажите, что если макси-
максимум Я*-вероятиости множеств А^ с: X* достигается прн условии | Ад | =
= Г exp kR , то
lim (\/k) log (l — Я*(Ай))= — F(R, P).
(b) Покажите, что, более точно,
| log A — Pk (Aft)) -f kF (R, P) -f (l/2a*) log k | < К (Р)
для любого k, где К. (Р) — подходящая константа.
Указание. Пусть осй определяется условием Р* (^а)= '/2, где Ра введено
в задаче 13 (а). Тогда а^ -*■ а* по теореме 1.1. Теперь п. (а) следует из леммы
Неймаиа—-Пирсона (задача 1.4) и следствия 1.2. Для доказательства п. (Ь)
вместо теоремы 1.1 и следствия 1.2 воспользоваться асимптотической формулой
из задачи 1.8.
(Добрушин A962а), Jelinek A968); доказательство, приведенное выше,
принадлежит Чисару и Лонго (Csiszar — Longo A971)), которые распространили
этот подход на задачу проверки гипотез.)
Историческая справка
Асимптотики числа последовательностей типа Р, выраженные через Я (Р),
играют основную роль в статистической физике; ср. Boltzmann A877). Идея
использования типичных последовательностей в теоретико-информациоииых
рассуждениях (фактически даже термин) появилась в работе Шеииона (Shannon
A948)) в эвристическом изложении. Унифицированное изложение теории инфор-
информации, основанное на развитии этой концепции, было дано Вольфовицем, ср.
книгу Wolfowitz A961).
В настоящее время типичные последовательности стали стандартным орудием
исследования, однако используется несколько различных их определений. Мы
воспользовались определением, аналогичным введенному в работе Wolfowitz
A961). «Тип» не является укоренившимся в литературе названием. Оно было вы-
выбрано здесь для того, чтобы подчеркнуть важность техники доказательства,
основанной непосредственно на типах в отличие от типичных последователь-
последовательностей.
Материал этого параграфа является по существу фольклорным; леммы 2.10—
2.14 перефразируют Вольфовица (Wolfowitz A961)). В теореме 2.15 объединены
результаты нескольких авторов. Экспоненциально точная граница вероятности
ошибки для заданного ДИБП в форме задачи 14 была получена в работе Jelinek
A968b), а ранее в другой форме — Добрушиным (Добрушин A962а)). В исполь-
используемом здесь виде этот результат появился в работах Blahut A974) и Marton

§ 3. Свойства шенноновских информационных мер
51
A974). Универсальный подход к исследованию экспоненциальной границы ука-
указан в работе Кричевского и Трофимова A977).
Добавлено при корректуре. Простой вывод теоремы 2.15, приведенный в этой
книге, был получен независимо (но с использованием первой части рукописи этого
параграфа) в работе Longo — Sgarro A979).
§ 3. НЕКОТОРЫЕ ФОРМАЛЬНЫЕ СВОЙСТВА
ШЕННОНОВСКИХ ИНФОРМАЦИОННЫХ МЕР
■ Информационные меры, введенные в § 1, являются важным
формальным орудием теории информации, часто используемым
в довольно сложных вычислениях. Знакомство с несколькими
тождествами и неравенствами сделает эти вычисления более
понятными. Кроме того, этим формальным свойствам информа-
информационных мер можно приписать некоторую интуитивную интерпре-
интерпретацию, которая помогает их запоминать и правильно использо-
использовать.
Пусть X, Y, Z, ... —СВ с конечными множествами значений
X, Y, Z, .... Мы будем следовать обозначениям, введенным в§ 1,
и соглашению о том, что если информационные меры зависят
от совокупности СВ, которые рассматриваются как одна СВ, то
эта совокупность будет записываться в качестве аргумента без
объединяющих ее скобок. Мы будем часто использовать обозначе-
обозначения, явно подчеркивающие, что информационные меры, связан-
связанные с СВ, в действительности определяются их (совместными)
распределениями. Пусть Р — распределение на X и
W'.= \W (у 1 х): х £ X, у £ Y[ — стохастическая матрица,
т. е. W (• |х)=А= \W {у \х)\ у £ Y} — распределение на Y для
любого фиксированного х £ Х- Тогда для пары СВ (X, Y) с Рх =
= Р, Py/x = W мы будем писать Н (W \ Р) вместо Н (У | X),
как мы писали в § 2, и аналогично будем писать / (Р, W) вместо
/ (X Л Y).
Тогда (ср. A.7), A.8)) мы имеем
H(W\P)= 2 Р (х) Н (W (■ \ х)),
x(ZX
I (P, W) = И (PW) — Н (W | Р) =
= S Р (^) D (W(- \x)\\PW).
C.1)
C.2)
Здесь через PW обозначено распределение Y, если Рх = Р.
Py/x = W, т. е.
PW(y)JL %P(x)W(y\ х) (у $ Y).
x(Z X
Поскольку информационные меры СВ являются функционалами
от их (совместных) распределений, то эти меры автоматически

ё'1 Рл. 1. Йнформационньш меры в простых задачах кодирований
определены также при условии, что некоторые другие СВ при-
принимают некоторые фиксированные значения (в предположении,
что соответствующие условные события имеют положительную
вероятность). Для энтропии а взаимной информации, определя-
определяемых условными распределениями, мы будем использовать оче-
очевидные обозначения типа Н (X \ Y = у, Z = z), I (X /\ Y \
| Z = г). Аналогично будут обозначаться осреднения таких вели-
величин по (условным) распределениям некоторых из СВ, входящих
в условия, при заданных значениях остальных, без указания
значений тех СВ, по которым проводилось осреднение. Например,
Н (X | Y, Z = z) Л. Ц Pr \Y = у | Z = z\ Н (X \ Y = у, Z = z),
I (X /\Y\Z)Jl Ц Pr \Z = z} I (X Л Y | Z = z),
причем подразумевается, что неопределяемые меры, умноженные
на нуль, дают нуль. Эти соглашения соответствуют обозначениям,
введенным в § 1 для условной энтропии.
Если не будет специальной оговорки, то понятия условной эн-
энтропии (X при условии Y) и условной взаимной информации (X
и Y при условии Z) будут всегда прилагаться к мерам, осреднен-
ным относительно величин, задающих условие (условия).
Иногда информационные меры связывают также с отдельными
(неслучайными) последовательностями х £ X", у 6 Y" и т. д.
При этом подразумеваются энтропия, взаимная информация
и т. д., определяемые (совместными) типами рассматриваемых
последовательностей. Так, например,
\л-) === и (txj, 1 \л. / \ у) = 11 (л.) -у- 11 \у f 11 ^л, у).
Мы докажем сейчас элементарную лемму, которая эквива-
эквивалентна утверждению, что D (P | Q) ^ 0, причем равенство дости-
достигается тогда и только тогда, когда Р = Q; простое доказательство
этой леммы не будет опираться на следствие 1.2. Следствиями
этой леммы являются многие неравенства из этого параграфа.
ЛЕММА 3.1 (неравенство для гуммы логарифмов). Для произ-
произвольных неотрицательных чисел {щ}1=\, {^-}?=1 справедливо
неравенство
где
at log {ajbi) ss a log (alb),
Равенство достигается тогда и только тогда, когда atb = bta
при i == 1, .... п. О

§ 3. Свойства шенкоковскйх информационных мер
Доказательство. Можно предполагать, что все at положи-
положительны, гак как если выбросить пары (аг, bt) с аг = 0 (если они
есть), то левая часть неравенства не изменится, а правая часть
не уменьшится. Далее, все bi можно также считать положитель-
положительными, ибо в противном случае неравенство тривиально. При этом
лемму достаточно доказать для случая а = Ь, поскольку умноже-
умножение всех Ьг на постоянную величину не изменяет неравенства.
Однако в этом последнем случае утверждение леммы вытекает
из неравенства log х <: (х — 1)/1п 2, в котором следует положить
х = bjai. □
В следующих четырех леммах объединены некоторые простые
следствия из определений информационных мер. Они будут ис-
использоваться на протяжении всей книги обычно без ссылки на
номер леммы.
ЛЕММА 3.2. (о неотрицательности).
(а) Я (X) ^ О, (Ь) Я (У | X) ^ 0, (с) D (P \\ Q) ^ О,
(d) / (X■ /\ У) ^ 0, (е) / (X Л Y | Z) ^ 0.
Равенства достигаются тогда и только тогда, когда (а) СВ X
постоянна с вероятностью 1, (Ь) существует функция /: X -*• Y,
такая, что У = / (X) с вероятностью 1, (с) Р = Q, (d) X и Y — ■
независимые СВ, (е) X и Y — условно независимые СВ при усло-
условии Z (т. е. при условии Z = г, если Pr [Z = г\ > 0). О
Доказательство, (а) тривиально, (с) вытекает из леммы 3.1,
a (d) вытекает из (с), поскольку / (X Д У) = D {Pxy\\ Рх X
X Ру). (Ь) и (е) вытекают соответственно из (а) и (d). □
ЛЕММА 3.3.
Н (X) =- Е (—log Рх (X)), Н (Y\X) = E (—log PY\x (Y \ X)),
/ (X Л Y) = Е (log (Pxy (X, Y)IPX (X) PY (Y))),
log
( ^I^^^k | Z)
ЛЕММА 3.4 (об аддитивности).
H (X, Y) - Н (X) + Я (Y | X),
Н (X, Г | Z) = Н (X | Z) + Я (У | X, Z),
я (X) = я (X | У) + / (х д у),
Я (X \Z) = Я (X | У, Z) + / (X Л Y | Z) (задача 1),
/ (X, у л Z) = / (х л 2) + / (V Л z/x),
/ (X, у л z | г/) = / (X л z I г/) + / (У л £ I х, */)■ о
Доказательство. Левые равенства в первых двух строчках
вытекают из определений и из них осреднением выводятся равен-

54 Гл. 1. Информационные Мери в простых задачах кодирования
ства, стоящие справа. Пятое равенство следует из соотношения
Pxyz (х. У, г) ^ PXZ (*■ г) Pyz i х &• г\х)
Рху (*. у) Pz (г) Рх (х) Pz (г)" ' PY]X (у\х)Рг\х&\ х)
с учетом леммы 3.3, а последнее равенство получается из него
снова осреднением. □
СЛЕДСТВИЕ 3.4 {цепные правила).
Н (Хх, .... Xh) = £ Н (X, | Х„ .... X ,_,) (задача 2)
/ (Хъ ..., Xh Л У) = S / № Л У I ^i. ■■- Х,_г);
1=1
аналогичные равенства справедливы для условной энтропии и
условной взаимной информации. О О
Важно подчеркнуть, что содержание лемм 3.2 и 3.4 полностью
согласуется с интуитивной интерпретацией информационных мер.
Например, тождество / (X, Y /\ Z) = 1 (X Л Z) + / (У Л Z | X)
означает, что информация, содержащаяся в паре (X, Y) относи-
относительно Z, складывается из информации, содержащейся в X отно-
относительно Z, плюс информация, содержащаяся в Y относительно Z
при условии, что X известна. Далее, комбинируя аддитивные
соотношения леммы 3.4 с неравенствами леммы 3.2, получаем
большой запас неравенств с очевидным интуитивным смыслом.
Например, мы получаем неравенства
Н (X | Y, Z) < Н (X | Z), / (У Л Z | X) < / (X, Y /\ Z)
и т. д. В дальнейшем подобные неравенства будут использоваться
без дополнительных оговорок.
ЛЕММА 3.5 (о выпуклости), (а) Н (Р) является вогнутой функ-
функцией Р (задача 3); (b) H (W \ Р) является вогнутой функцией W
и линейной функцией Р; (с) D (P \\ Q) является выпуклой функ-
функцией пары (Р, Q); (d) / (Р, W) является вогнутой функцией Р
и выпуклой функцией W. О
Доказательство. Предположим, что Р = аРх + A —а) Р2,
Q = а& + A — а) Q2, т. е. Р (х) = аРх (х) + A — а) Р2 (х)
для любого х £ X и аналогично для Q, где 0 < а < 1. Тогда
из выпуклости функции f (t) = t log / и из неравенства для суммы
логарифмов вытекают соответственно неравенство
аРх (х) log Рг (х) + A — а) Р2 (х) log Р2 (х) ^ Р (х) log P (х)
и неравенство

§ 3. Свойства шенноновских информационных мер 55
Суммируя по х £ X, отсюда получаем утверждения (а) и (с):
*Н (Ps) + A - а) И (Р2) «С И (Р),
«D (Рх || Q.) + A - a) D (Р2 || Q2) ^.D (P\\ Q).
Теперь (Ь) получается как следствие (а) и C.1), a (d) вытекает из
(а), (с) и C.2). П
Аддитивные свойства информационных мер можно рассматри-
рассматривать как формальные тождества для СВ как свободных перемен-
переменных. Существует интересное соответствие между этими тожде-
тождествами и их эквивалентами, справедливыми для произвольной
аддитивной функции множеств ji. Для того чтобы установить эти
соответствия, следует заменить случайные величины X, Y, ...
множествами А, В, ... и воспользоваться следующим соответ-
соответствием символов:
, ~ U, | ~ —, Л — Л •
В результате любому формальному выражению для СВ, ис-
используемых в различных информационных задачах, можно со-
сопоставить некоторое теоретико-множественное выражение. Под-
Подставляя эти теоретико-множественные выражения в качестве аргу-
аргументов ji, можно сопоставить каждой информационной величине,
рассматривая эту последнюю как функцию от соответствующих
СВ, действительную функцию от множеств. Другими словами,
мы устанавливаем следующие соответствия:
Н (X) — ji (А), Н (X, Y) ~ ,а (A U В),
Н {X | Y) ~ ji (А — В), Н (X | Y, Z) ~ [х (А — (В U С)),
/ (X Л П ** ^ (А П В), / (X Л У I Z) — |i ((А П В) - С) и т.д.
Таким образом, любой информационной мере соответствует не-
некоторое теоретико-множественное выражение вида ц. ((А П В) —
— С), где А, В, С обозначают конечные объединения множеств
(А и В не пусты, С может быть пустым). И обратно, любому вы-
выражению такого вида соответствует информационная мера.
ТЕОРЕМА 3.6. Линейное уравнение, связывающее энтропии
и взаимные информации, является тождеством тогда и только
тогда, когда соответствующее уравнение для аддитивных функций
множеств является тождеством. О
Доказательство. Тождества
/ (X Л У) = Н (X) - Н (X | Y),
I (X /\Y\Z) = H (X\Z)~ H (X | Г, Z),
Я (X | Y) = Н (X, Y) — Н (X)

56 Гл. 1. Информационные меры в простых задачах кодирования
имеют тривиальные аналоги
ц(А П В) = и (А)-и (А-В),
И ((А Л B)-C)-=i*(A"-C)-|i(A-(B U С)),
U В)-
Пользуясь этим, можно преобразовать линейные уравнения для
информационных мер и соответствующие им аналоги для функций
от множеств в линейные уравнения, содержащие только безуслов-
безусловные энтропии, и соответственно в линейные уравнения для функ-
функций множеств, являющихся аналогами энтропии. Поэтому утвер-
утверждение теоремы достаточно доказать для таких уравнений. С этой
целью мы покажем, что линейные выражения вида
,ео) или Sv( U А*),
где а пробегает подмножества {1,2, ..., k\, тождественно обра-
обращаются в нуль тогда и только тогда, когда все коэффициенты са
равны нулю. Доказательства для обоих этих выражений прово-
проводятся одинаково, поэтому мы рассмотрим только случай энтропии.
Покажем по индукции, что если
2 саН ({Х,-},-£G) = 0 при любом выборе (Хь ,.., Xk), C.3)
то са = 0 для любого a с {1, ..., k\. Очевидно, это утверждение
верно при k = 1. Для произвольного k положим Xt = const
при i < k, тогда из равенства C.3) получим, что 2ja : k£o ca= 0.
Отсюда следует, что если для произвольных XL, .., Xft_i выбрать
Xk JL (Х1г ..., Xft_,), то вклад слагаемых, содержащих Xh,
будет равен нулю. Таким образом,
а<={1 4-1}
и по предположению индукции са = 0, если только k Ф а. В силу
симметрии это означает, что са = 0, если только а Ф {1, ..., k).
Теперь из предположения C.3) вытекает, что са = 0 также при
a = {1, ..., k\. □
ЗАМЕЧАНИЕ. Аналогия с функциями от множеств наводит
на мысль о введении новых информационных величин, соответ-
соответствующих произвольным булевым соотношениям для множеств.
Например, «информационная величина», соответствующая
соотношению ц (А П В П С) = ц (А П В) — \а ((А П В) — С),
будет иметь вид / (X /\ Y) —■ I (X /\ Y \ Z) (задача 4): эта вели-
величина, однако, не обладает естественной интуитивной интерпрета-
интерпретацией, "о

§ S. Свойства шенноновских информационных мёр 5?
Для неотрицательных аддитивных функций множеств ц (До
о В) является псевдометрикой на подмножествах некоторого
заданного множества; здесь предполагается, что А о В =6= (А —
— В) U (В — А) — это симметрическая разность множеств А
и В- Хотя ц (А о В) не имеет прямого теоретико-информацион-
теоретико-информационного аналога, тождество ji (А о В) = ц. (А — В) + ц (В — А)
приводит к рассмотрению величины Н (X \ Y) + Н (Y \ X).
Эта величина тоже оказывается псевдометрикой.
ЛЕММА 3.7. Д (X, Y) А. Н (X \ Y) + Н (У | X) (задача 5)
является псевдометрикой на пространстве СВ, т. е.
(i) Д (X, Y) ^ О, Д (X, X) = О,
(и) Д (X, Y) = Д (Y, X),
(Ш) Д (X, Y) + Д (У, Z) s* Д(Х, Z). О
Доказательство. Достаточно доказать свойство (ш). С этой
целью покажем, что
Н (X | Y) + Н (Y | Z) =s H (X | Z).
Действительно, в соответствии с леммами 3.4 и 3.2
Н (X | Z) < Н (X, Y | Z) = И (X | Y, Z) + Н (Y, Z) <
< Я(Х| У) + Н (Y\Z). П
Как показывает следующая лемма, часто используемая в тео-
теории информации, энтропийная метрика Д (X, Y) непрерывна
относительно метрики Рг {X Ф- Y\,
ЛЕММА 3.8 (неравенство Фано).
Н (X | Y) <: Рг {X Ф Y\ log (| X | - 1) + h (Рг {X ф Y\). О
Доказательство. Введем новую СВ Z, полагая Z = 0, если
X =■ У, и Z = 1 в остальных случаях. Тогда
Н (X | Y) = Н (X, Z | У) = Н (X | Y, Z) + Я (Z | Г) <
< Я(Х | r,Z) + #(Z).
Очевидно, Я (Z) = ft (Рг {X ^ У}). Далее, для любого у £ Y
Я (X | У = у, Z = 0) = 0,
Я(Х|У = у, Z = l)<log(|X|-l),
где второе неравенство вытекает из неравенства A.2). Следова-
Следовательно,
Я (X | У, Z) < Рг {X Ф Y\ log (| X | - 1). □
В пространстве последовательностей длины k элементов не-
некоторого заданного множества X удобной метрикой является
расстояние Хэмминга dH (x, у), х, у £ X*, определяемое как
число позиций, в которых различаются последовательности х

58 Гл. 1. Информационные меры в простых задачах кодирования
и у. Далее устанавливается связь между энтропийной метрикой
и математическим ожиданием расстояния Хэмминга.
СЛЕДСТВИЕ 3.8. Для произвольных последовательностей СВ,
принимающих значения в множестве X: Xk =й= Хх ... Xh, Yk A*
й Yi ... Yh, имеем
Н (X* | У*) < EdH (X", У*) log (| X | - 1) +
+ kh(-^EdH(X", У*)). О
Доказательство. Используя цепное правило (следствие 3.4)
и лемму 3.8, получаем
Н (X* | Yk) = £ Н (X, ! X'-', Yk) < £ Я (X, | у,) <
И Pr \Xt Ф Yt\ log(| X | - 1) + h h (Pr \Xt Ф Yt\).
Поскольку
£ Pr {Хг- # Уг-} = EdH (X*, У*)
i
и h (t) — вогнутая функция, то следствие доказано. □
Следующие леммы показывают, как влияет на количество ин-
информации марковская зависимость СВ.
ОПРЕДЕЛЕНИЕ 3.9. Конечная или бесконечная последова-
последовательность СВ Хъ Х2, ... называется цепью Маркова и обозна-
обозначается Хл -е- Х2 ■& ..., если для любого i CB Xi+1 условно не-
независима от (Xlt ..., Xi_x) при условии Хг. Будем говорить, что
С В Хг, Х2, ... образуют условную цепь Маркова при условии
У, если для любого i CB Xi+1 условно независима от (Х^ ...,
Х;_г) при условии (Хг, Y). О-
ЛЕММА 3.10. Xi ■& Х2 ■& ... тогда и только тогда, когда
/ (Xj, ..., Xi_x Д Х!+1 | Xt) = 0 для любого /. Более того,
Хц Х2, ... образуют условную цепь Маркова при условии У
тогда и только тогда, когда / (Xlt ..., Хг_! Д Хг+1 | X,, У) = 0
для любого i (задача 6). О
Доказательство. См. лемму 3.2. П
СЛЕДСТВИЕ 3.10. Если Хх ■& Х2-е- ... и 1 <s A^ < /^ <
< &2 < л2 < ..., то блоки У;^ (Xft/, Xkj+X, ..., ХП/) также
образуют цепь Маркова. То же самое справедливо для условных
цепей Маркова (задача 7). О
Доказательство. Достаточно доказать первое утверждение.
Покажем, что из равенства / (Xlt .... Хг_х Д Xi+1 | X*) = 0

§ 3. Свойства шенноновских информационных мер 59
для любого i вытекает то же самое равенство для Y/.
/(^•.•Дм.Л^.1^)<
•< I (Х\, •••> X-kj-i Л Хп/+1, •■•. Xnjlrl | Xkj, ..., ХП/.) —
= 2j I {Xi> ■■■>Х ft. ! Д X;+1|Xft. Х{^ ^
l=4j
^'2 1(Х1г .... Xl_1AXui\Xi) = 0- П
В цепи Маркова зависимость двух СВ выражается только через
промежуточные СВ, поэтому интуитивно ясно, что их взаимная
информация не может превосходить взаимную информацию двух
промежуточных СВ. В задаче проверки гипотез с этим явлением
связан тот факт, что нельзя увеличить информацию для различе-
различения гигготез Р и Q, если наблюдать результат эксперимента с мень-
меньшей точностью, быть может, из-за случайных ошибок. Эти про-
простые, но чрезвычайно полезные факты составляют содержание
следующей^леммы.
ЛЕММА 3.11 (об обработке данных).
(i) Если Хх о Х2 е Х3 «■ Х4, то / (Хх Д XJ < / (X, Л *з)
(задача 8).
(ii) Для любых распределений Р и Q на X и для любой сто-
стохастической матрицы W — \ W (у | х)\ х £ X, у, 6 Y}
D (PW\QW) <D (P||Q). О
Доказательство, (i) По следствию C.10) / (Х^ /\ Xi\ X2) =»
~ / (Xjj Л Х& | Ха) = 0. Далее, по лемме об аддитивности
/ (Хх Л Х4) < / (Xlt Х2 Л XJ - / (X, Л XJ <
< / (х, л X», х4) - / (X, л х9).
(Ш) Применяем неравенство для сумм логарифмов:
D(P\\Q) =
(y\x) ^
- П
Наконец, из неравенства для суммы логарифмов получаются
различные верхние границы энтропии СВ. Эти границы опреде-
определяет

60 Гл. 1. Информационные меры в простых задачах кодирования
ЛЕММА 3.12. Пусть / (х) — действительная функция на об-
области значений СВ X и пусть а — произвольное действительное
число. Тогда *
Н (X) <: aEf (X) '+ log 2 exp (—ccf (x)).
Равенство достигается тогда и только тогда, когда
Рх (х) = (НА) ехр ( - а/ (х)); А Л, £ ехр (-а/ (*)). О
Доказательство. Применим неравенство для суммы логарифмов
с Рх (х) и ехр (—af (х)) вместо at и bt соответственно. □
СЛЕДСТВИЕ 3.12. Для положительной целочисленной СВ N
Н (N) < log EN + log e. О
Доказательство. Полагая в лемме / (N) Л, N, а. =й=
A, log (EN/(EN — 1)), получаем
_- 1) log;(l + ш~) + bg EN. Q
Задачи
оверьте, что для
)) **Н(Х), H{Y\X,
).
1. (а) Проверьте, что для произвольной функции / на области
f (X)) Н(Х) H{Y\X ( (X)) Н (/] X) I (X, / (X) Л У)
( Пу (а) р (/ ()) ^ (), ( | / ()) ^
Я (г | X), / (/ (X) Л П ^» / (X Л У) и определите в каждом случае условия
(а) Прр, д рзон фуц /
Я (X, f (X)) **Н(Х), H{Y\X, ( (X)) - Н (/] X), I (X, / (X) Л
« / (X Л У).
(Ы Получите нз (а) неравенства Я (/ (X)) ^ Я (X), Я (У | / (X))
Я ( | X) / (/ (X) Л П ^ / (X Л У)
равенства.
(с) Сформулируйте аналоги неравенств, приведенных выше, при условии Z
и для функции / на области XX 2, например Н if (X, Z) \ Z) ^ Я (X\Z).
2. Покажите, что если Х1( ..,, Хп— взаимно независимые СВ, то / (Xi, ,..,
Xnf\Yit .... К„) 5* 2}?=lI(.Xi Л Yi), тогда как если при условии X* СВ К*
условно не зависит от остальных СВ при (' = 1, .... п, то / (Xi ХлЛ У it ■••»
3. Покажите, что вогнутость Я (Р), соответственно / (Р, W), как функции Р
эквивалентна неравенству Я (X | У) < Я (X), соответственно / (X Д У I ^ <
< / (X Л ^), Для условно независимых Y и Z при условии X.
4. Покажите, что последнее неравенство из задачи 3 сохраняется в случае,
когда СВ X, Y, Z, взятые в любом порядке, образуют цепь Маркова, но в общем
случае оно не верно.
5. Докажите следующие свойства непрерывности информационных мер отно-
относительно энтропийной метрики:
| Я (Хх) - Я (Х2) |< Д (Xlf Ха),
\Н(Х1\ КО - Я (Хя | К,) |< Д (Xi, Х2) + Д (Kl КО,
(хг Д ко - / (х, л уо ! < А (^> ^i) + A (П> у«).

§ 3. Свойства шенноновских информационных мер 61
6. Покажите, что Хх -Q- Хг -Q- ... -Q- Хп тогда и только тогда, когда Xn-Q-
ХП-1 О -..■©■ Xi.
7. Верно лн, что если Хг ■&■ Х2 -Q- ... -Q- Хп и / — произвольная функция на
общей области значений Xi, то / (Хг) -Q-} (Х2) -Q- ... -Э- f (Хп)? Приведите про-
противоречащий пример.
8. Получите утверждение (i) леммы 3.11 из утверждения этой леммы (ii).
Указание: положить Р JL Рх х , QjkPx ХРх , W JL Рх х ,Хх-
9. В качестве взаимной информации трех СВ естественно рассматривать
D (Pxyz II Рх X Ру X Pz)- Покажите, что эта величина равна Я (X) -J- Я (Y) -f-
+ Я (Z) — Я (X, Y, Z) = I {X, Y Л 2) + / (X Л П- Вообще, покажите, что
2
H(Xi)~H(Xl, ...,Xn) = D/Px x lPXi X ... X Рху
V 1 Пи <*•'
и получите разложение последней величины в сумму взаимных информации.
10. Получите условия равенств в леммах 3.7 и 3.8.
11. Покажите, что если общая область значений X я Y состоит из двух эле-
элементов, то Я (X | Y) + Н (Y | X) > h (Pr {X ф Y}). Верно ли это в общем
случае? Приведите противоречащий пример.
12. Покажите, что
А (*■ П 1 Пх Л Y)
0 , если Я (X, Y) = О,
также является псевдометрикой на пространстве СВ.
(Rajski A961); простое доказательство см. в работе Horibe A973).)
13. Покажите, что если Хг Q- Ха •©■ Ха & X4 -в- Xit то Х3 ■©■ (Xg, ^4) ■©•
«■ {Xv Хь).
14. Пусть 1к — дважды стохастическая матрица, т. е. квадратная матрица
с неотрицательными элементами, суммы строк и столбцов которой равны 1, По-
Покажите, что при этом Я (PW) > Я (Р) для любого распределения Р на X.
Указание; использовать утверждение (ii) леммы об обработке данных с равно»
мерным распределением в качестве Q.
15. Покажите, что Р > Q тогда и только тогда, когда существует дважды
стохастическая матрица W, такая, что Р ~ QW, поэтому результат предыдущей
задачи эквивалентен утверждению задачи 1.10 (ср. Hardy —- Littlewood — Pdlya
A934), теорема 46).
СВОЙСТВА ИНФОРМАЦИОННОЙ ДИВЕРГЕНЦИИ (задачи 16—19)
16. D {P\\Q) не является расстоянием на пространстве РВ, поскольку она
не симметрична. Покажите, что снмметризованная дивергенция J (P || Q) =й=
=4. D (Р || Q) -f- D (QIIР) также не является расстоянием; более того, существуют
РВ Pi, Pa, Р3, такие, что одновременно
D (Pi || Pa) + D (P, || Pa) < D (Pt I Pa)
н D (P31| Pa) + D (P, || PJ < D (P3 И Px).
(Величина J (P || Q) была введена раньше, чем D (Р Ц Q), в работе Jeffrey
A946).)
17 (дивергенция и расстояние по вариации). Расстояние по вариации двух
РВ на X есть
d(P,Q)^Ti \P(x)-Q(x)\.
(а) Докажите, что
Р(Р\\ Q) > С/2 In 2) d? (P, Q},

62 Гл. 1. Информационные меры в простых задачах кодирования
Более того, эта граница является точной в том смысле, что отношение D (Р || Q)
к ср (Р, Q) может быть сделано сколь угодно близким к A/2 1п 2).
(Csiszar A967), Kemperman A967), Fallback A967); граница D (P || Q) >
^ cd2 (Р, Q) — с худшей константой с — была получена впервые Пннскером
(I960).)
Указание. Если А А= {х: Р (х) > Q (х)}, 7> =й= (Р (А),Р (A)) Q =4*(Q (A),
Q (А)), то D (Р || Q) > D (Р || Q), d (Р, Q) = d (Р, Q). Следовательно, достаточно
рассмотреть случай X = {0, 1}, т. е. найти наибольшее с, такое, что
р log (plq) + A — р) log [(I — p)l{\ — q)} — 4c (p — q)* > 0
для любых O^^^p^ 1.
При q = p выполняется равенство; далее, производная по q от левой части отри-
отрицательна при q <С р, если с ^ A/2 In 2), в то время как при с > A/2 In 2) и р =
= 1/2 она положительна в окрестности /р.
(Ь) Получите из (а) и леммы 2.6 утверждение леммы 2.12. Покажите, что
получающаяся верхняя граница вероятности множества нетипичных после-
последовательностей лучше границы из замечания к лемме 2.12.
18 (сильная лемма об обработке данных). Покажите, что если стохастическая
матрица W такова, что для некоторого у0 С Y
W (Уо I х) > с > 0 для любого х ■£ X,
то утверждение (ii) леммы об обработке данных может быть усилено:
(\ -c)D(P\\Q).
Указание: положить W = A — с) Wt -f- cWs, где Wa (у0 | х) — 1 для любого
х б X, н воспользоваться выпуклостью информационной дивергенции.
19 (геометрия дивергенции). Покажите, что D (P || Q) является аналогом
квадрата расстояния Евклида в следующем смысле:
(а) («тождество параллелограмма»). Для любых трех РВ Р, Q, /? на X
(b) («проектирование»). Пусть & — замкнутое выпуклое множество РВ
на X. Покажите, что любое РВ R с infp >- g> D (Р Ц R) < оо обладает единствен-
единственной «проекцией» на &, т. е. существует единственное Q £ &, минимизирующее
D (Р || R) для Pg^.
(c) («теорема Пифагора»). Пусть !Р—линейное множество РВ на X, т. е.
множество всех Р, таких, что для некоторой фиксированной матрицы М (с произ-
произвольными действительными элементами) РМ равны некоторому фиксированному
вектору. Покажите, что проекция Q РВ R на ЯР для любого Р ^ ЯР удовлетворяет
тождеству
D (P\\Q) + D (Q\\P) = D (P]\R).
Указание. При
? = [Р: £ Р (х) М (у\х)= а (у) для любого у £ У)

§ 4. Неблоковое кодирование источника 63
выбрать в качестве А множество тех х £ X, которые обладают положительной
вероятностью по меньшей мере для одного Р £ !? с D (Р \\ R) <С оо. Показать,
что проекция Q PB R на 9 имеет следующий вид:
cR (х) ехр { 2 Ь (у) М(у\х)), если х € А,
0, если л; ^ А.
(d) (повторное проектирование). Покажите, что если !Р — линейное мно-
множество РВ и #*! — любое замкнутое выпуклое подмножество #", то проекция
любого R на &i может быть получена как результат проектирования сначала R
на 3>, а затем проектирования найденного распределения на ^х.
(Csiszar A975).)
Историческая справка
Стандартный вводный материал этого параграфа по существу принадлежит
Шеинону (Shannon A948)). Поскольку на заре теории информации многие ре-
результаты появлялись только в виде внутренних публикаций Массачусетского
технологического института, где была сосредоточена большая часть ученых,
занимающихся этой областью математики, то теперь трудно восстановить, кто
именно внес тот или иной вклад. В частности, лемму 3.8 единогласно приписы-
приписывают Фано (Fano, A952, не опубликовано)), ср., например, Gallager A968).
Следствие 3.8 появилось в работе Gallager A964). Теорема 3.6 была доказана
Ху Го Дином A962); кроме того, аналогия между алгебраическими свойствами
количеств информации и свойствами функций аддитивных множеств была отме-
отмечена в книге Reza A961). Псевдометрика А (X, Y) из леммы 3.7 была введена
Шенноном (Shannon A950)).
§ 4. НЕБЛОКОВОЕ КОДИРОВАНИЕ ИСТОЧНИКА
В этом параграфе мы возвращаемся к проблеме кодирования
источника из § 1, которая послужила основанием для введения
энтропии. Сначала мы рассматриваем более общие коды для
ДИБП, а затем переходим к источникам с памятью и кодам с пере-
переменной стоимостью символов. Решения будут по-прежнему вы-
выражаться через энтропию, что дает дополнительные основания
для интуитивной интерпретации ее как меры количества ин-
информации.
Пусть \Xt\T=i — (дискретный) источник с (конечным) алфа-
алфавитом X и пусть Y — другое конечное множество, алфавит кода.
Кодом для сообщений длины k называется пара отображений /:
Xfe -*• Y*, cp: Y* -»- Xfe. Последовательности из множества зна-
значений / называются кодовыми словами. Здесь Y* обозначает сово-
совокупность всех конечных последовательностей элементов из Y.
Таким образом, в отличие от § 1 кодовые слова могут иметь раз-
различную длину, т. е. мы рассматриваем неравномерные коды (точ-
(точнее, коды с фиксированной длиной слов на входе и переменной дли-
длиной слов на выходе). Мы будем предполагать, что пустая последова-
последовательность не может быть кодовым словом.

64 Гл. 1. Информационные меры в простых задачах кодирования
В качестве критерия точности разумно выбрать один из сле-
следующих критериев:
(i) Рг{Ф(/(Х*)) = X*} = 1, "
(и) Рг {Ф (/ (X")) = X*} s* 1 - е, D.1)
(iii) Ed (Xk, Ф
где d (x, x') Л= (l/k) dH (x, x') — доля позиций, в которых раз-
различаются последовательности х £ Х\ х' £ Xfe- Очевидно, если
О < в < 1, то эти критерии расположены в порядке их ослабле-
ослабления, и все они эквивалентны, если е = 0. Для взаимно однознач-
однозначного отображения / из Xfe в Y* всегда можно обеспечить выполне-
выполнение критерия (i), если выбрать ср = /-1. Несколько искажая тер-
терминологию, мы будем в этом случае говорить о коде f (без упоми-
упоминания ф £ /-1).
Поскольку имеется в виду бесконечно длящаяся передача,
т. е. последовательное применение кодера f к следующим один
за другим блокам длины k на выходе источника, то желательно,
чтобы знамения / были разделимыми. Это значит, что конечные
последовательности, получаемые путем соединения кодовых слов,
должны однозначно разлагаться на эти кодовые слова. Достаточ-
Достаточным условием этого является свойство префикса, которым должны
обладать значения f, а именно, никакое кодовое слово не должно
являться префиксом никакого другого кодового слова. Если
f: Xfe -*■ Y* — взаимно однозначное отображение и его значения
разделимы (обладают свойством префикса), то код будет назы-
называться разделимым (соответственно префиксным) кодом f (задача 1).
Разделимые коды часто называют однозначно декодируемыми или
однозначно дешифруемыми кодами (задача 2).
Совокупность кодовых слов часто представляют в виде (одно-
(однокорневого) дерева с | Y| направленными ребрами, выходящими
из каждой вершины и обозначающими различные элементы из Y.
С этой целью каждой вершине приписывают последовательность
элементов, соответствующих ребрам на пути от корня до этой
вершины. Таким образом устанавливается взаимно однозначное
соответствие между последовательностями у £ Y* и вершинами
бесконечного дерева. Очевидно, подмножество из Y* обладает
свойством префикса тогда и только тогда, когда соответствующее
множество вершин является множеством оконечных вершин не-
некоторого конечного поддерева (задача 3). В частности, префикс-
префиксные коды /: X -*■ Y* находятся во взаимно однозначном соответ-
соответствии с конечными поддеревьями, имеющими | X | оконечных
вершин, обозначенных различными элементами из X (вершина,
соответствующая кодовому слову / (х), обозначается через х).
Такое конечное дерево называется кодовым деревом.

§ 4. Йеблоковое кодирование источника
65
Естественной характеристикой кода является средняя длина
на букву кодового слова:
где / (у) обозначает длину последовательности у ^ Y*.
ТЕОРЕМА 4.1 (о средней длине). Если \Xi}7=i — ДИБП
с порождающим распределением Р, то для любого (разделимого
w \i
w w
V V
\ /
A
\i
V
\
O4
Г
\/
/
J\
*1
\1
Y
л:
a
b
с
d
e
f
g
={°.n
fix)
00
010
0110
0111
100
1 10
1110
Рис. 4.1.
Представление префиксного кода на бесконечном дереве. Выделенное подде-
поддерево является кодовым деревом.
кода f: Xfe -> Y* средняя длина (на букву) кодового слова удо-
удовлетворяет неравенству
ИГ) ^ Я (P)/log | Y |, D.2)
и существует префиксный код, удовлетворяющий неравенству
tU)<(H(P)/log\Y\) + l/k. D.3)
Граница D.2) «почти» достигается даже для кодов, не обладающих
свойством разделимости, если только они удовлетворяют самому
слабому из критериев точности D.1) с малым е. Точнее, если вы-
выполняется условие (ш) из D.1) при е < 1/2, то
I {f) s* (#(P)/log|Y|) - (I/log | Y|) (e log (|X |-1) +Л(е)) -
- (| log (dk) \Vk log | Y|), 1D.4)
где d Ж e (log | X j/log ] Y (), e — основание натуральных лога-
логарифмов. Для разделимых кодов / последний член в неравенстве
D.4) может быть опущен. О
КОММЕНТАРИЙ. Для того чтобы сравнить теорему 4.1 с ре-
результатом теоремы 1.1, описывающей простое блоковое кодиро-
кодирование, удобно переформулировать последнюю теорему следу-
следующим образом: если двоичный блоковый код удовлетворяет кри-
критерию (ii) из D.1), то минимум I (/) стремится к Я (Р) при k -*■ оо.
В теореме 4.1 утверждается, что если настаивать на малости сред-
3 Чисар И., Кернер Я.

66 Гл. 1. Информационные меры в простых задачах кодирования
ней частоты ошибок, то эта асимптотическая граница не может
быть значительно улучшена, даже если ограничиться выполнением
слабейшего критерия точности (ш)л и допустить неравномерное
кодирование. Другими словами, те же самые предельные воз-
возможности могут быть достигнуты также при помощи префиксных
кодов, допускающих правильное декодирование наверняка, а не
с вероятностью, близкой к 1. О
Доказательство. Сначала мы докажем неравенство D.4). Для
этого выразим границу для Я (/ (Xk)) через I (/). Рассмотрим не-
некоторую последовательность Yx, ..., YM CB со значениями из Y
случайной длины N. Тогда
= 2Рг {N = п\ Н (Уг ... Yn\N = п) + Я (N). D.5)
п
Здесь
Н (Yt ... Yn\ N =п) « I] H (Yt | N = л) < я log | Y| D.6)
и по следствию 3.12
Н (N) <log (eEN). D.7)
Прилагая D.5) к Y^ ... YNM,f{Xk), можно предположить, что
E {dkl) I (/) EN/k
р () ^ Nf{) р
EN <^{dkle), поскольку в противном случае I (/) =
^= die = log | X [/log | Y | и D.4) автоматически выполняется. Та-
Таким образом, из D.5), D.6) и D.7) получаем
Н (/ (Xk)) « EN-log | Y | + log (dk) = kl (J) log | Y | +
+ log (dk). D.8)
Заметим, что из условия (iii) из D.1) и неравенства Фано (след-
(следствие 3.8) вытекает, что
Н (X* | Ф {f (X*))) < й (е log (| Х| - 1) + Л (е)).
Поэтому
kH (Р) =Н (X") = Н (ХЧ ф (/ (X"))) + Я (ф (/ (X*))) <
< А (е log ( |Х | — 1) + ft (e)) + Я (f (X*)).
Таким образом, из D.8) получаем D.4).
Теперь мы докажем, что если значения f разделимы, то послед-
последний-член в неравенстве D.4) можно опустить; отсюда вытекает
также D.2), если положить в = 0. Для этого построим расширение
кода (/, ф) до кода (fm, фт) для сообщений длины mk следующим
образом. Разобьем каждую последовательность х £ Xmft на по-
последовательные блоки х£ £ Xfe, i = 1, ..., т, и пусть /m(x) —
написанные рядом кодовые слова / (х;). По предположению по-
последовательности вида fm (х), х £ Xmfe, могут быть однозначно
разбиты на кодовые слова /, поэтому фт: Y* ->* Xmft можно, есте-

§ 4. Неблоковое кодирование источника 67
ственно, определить, выбирая в качестве фт (fm (x)) последова-
последовательно записанные блоки ср(/(х;)), i = 1, ..., т. Очевидно,
I (fm) = I (f), и код (fm, cpm) также удовлетворяет критерию (ш)
из D.1), если ему удовлетворяет код (/, ср). Применяя D.4) к коду
(Лп> Фт) вместо (/, ф), мы видим, что D.4) остается верным, даже
если в последнем члене k заменить на km. Поскольку т может
быть сколь угодно большим, то этот член действительно можно
опустить.
Для завершения доказательства теоремы 4.1 нужно построить
префиксный код, удовлетворяющий неравенству D.3). Очевидно,
достаточно провести построение при k = 1.
Без ограничения общности предположим, что Y является со-
совокупностью неотрицательных целых чисел, меньших чем q й
А | Y |. Тогда существует взаимно однозначное соответствие ме-
между всеми элементами у = ух ... у{ из Y* и точками а (у) интер-
интервала [0, 1), где а (у) —это число, представляемое в q-waon
системе счисления как О.уг ... yt. Теперь упорядочим элементы X
в соответствии с убыванием их вероятностей: Р (xj) > Р (х3) ^
^г ... Зг Р (хг), г J^ | X |, и положим
Определим / (xt) как последовательность у £ Y* наименьшей
длины /, для которой интервал [а (у), а (у) •+• q) содержит at,
но не содержит никакого другого ай. Очевидно, это префиксный
код, Кроме того) по определению если / (xi) = у% ... yt, то интер»
вал [а (ух ... Уих)> a{yt ... у{^) -Ь q-(l~l>) содержит по мень*
Шей мере одну из точек а/+1 и аих, Следовательно, полагая
lt &>t (f (xt)), имеем
q-Vi-') > min (P (xM), P (Xi)) =. P (xt).
Поэтому
—logP (xt) > (li—■ 1) log?,
H (P) = - g P (xt) log P (x%) > logq (g P (x,) /, - l),
откуда вытекает, что
Ь li < Uf(P)/\og\Y\] + 1 (задача 4). Q
Далее, пусть Х°° Л, {Xt-}^=i — произвольный дискретный
точник с алфавитом Х- Величина
Л, Um(l/k)H(Xb)!

68 Гл. 1. Информационные меры в простых задачах кодирования
если этот предел существует, будет называться энтропийной
скоростью источника Х°°. Энтропийная скорость ДИБП равна
в точности энтропии его порождающего распределения.
Источник Х°° называется.стационарным, если совместные
распределения СВ Хи Хи1, ..., Xi+k не зависят от i (k =
= 1,2,...).
ЛЕММА 4.2. Для стационарного источника последовательность
\{\lk)H (Xk)\kL\ является неубывающей и, следовательно,
Н {Х°°) всегда существует. Более того,
Я (Х°°) = lim H{Xh | Xlt ..., Хк_г) (задача 5). о
Доказательство. Для любого целого положительного k
Я (Xk | Хъ Х2, ..., Xft_x) <: Н (Xh | Х2, ..., Хк_г) =
где последнее равенство выполняется в силу стационарности.
Используя цепные правила (следствие 3.4), получаем отсюда
(Ilk) H (Xlt ...,Xk)<. (l/(k - 1)) Я (Xlt ..., Хк_г)
и утверждение леммы. □
Обобщим теорему 4.1 о средней длине на случай источников
с памятью, рассматривая одновременно более общие характери-
характеристики, чем средняя длина кодового слова. Предположим, что каж-
каждый у £ Y обладает стоимостью с(у) > 0 (измеряющей, напри-
например, время или скорость, необходимые для передачи или хранения
символа у), и пусть стоимость последовательности у ~ух...уп
есть
c(y)=4Sc (у,).
Для заданного источника {Хг\7*=1 средняя стоимость на букву
кода для сообщения длины k определяется как
c(f)JkE(l/k)c(f(Xk)).
ЛЕММА 4.3. Максимум выражения Я (Y)lEc (У) для СВ Y
со значениями в Y равен положительному корню а0 уравнения
ехр \-ас(у)\ =1. О D.9)
Доказательство. Левая часть уравнения D.9) представляет
собой строго убывающую функцию от а, принимающую значе-
значение | Y | при а = 0 и стремящуюся к нулю при а -*• оо. Следова-
Следовательно, уравнение имеет единственный положительный корень а9,
Теперь утверждение леммы вытекает из леммы 3.12. р

§ 4. Неблоковое кодирование источника 69
Обещанным обобщением теоремы 4.1 о средней длине является
ТЕОРЕМА 4.4 (о средней стоимости). Для произвольного
дискретного источника {X/}?Li и произвольного кода (/, ср)
для сообщения длины k, удовлетворяющего критерию точности
(iii) из D.1) с е < Vai справедливо неравенство
lJ^J, D.10)
где а0 — положительный корень уравнения D.9) и
d =4= (е log | X |/а0 min с (у)).
Если значения / разделимы, то последний член в неравенстве
D.10) может быть опущен. В частности, для любого разделимого
кода средняя стоимость на букву
Более того, для любого k существует префиксный код, такой, что
e(fl<£^p+-£, с* A. max с (у). О D.12)
СЛЕДСТВИЕ 4.4. Дли заданного источника с энтропийной
скоростью Н (К00) При любом б > 0 существуют е > 0 и &о,.
Такие, чТо для любого кода сообщения длины & :зг £0> удовлетво*
ряющего критерию (iii) из DЛ) при этом е, выполняется неравен-
неравенство
g (/) > (Я (Х°°)/а0) — б.
Далее, при любом б > 0 и достаточно большом k существуют
префиксные коды, для которых
Для стационарных источников и разделимых кодов нижняя гра-
граница может быть следующим образом уточнена:
с (f) rs* Я (Х»)/а0. О
КОММЕНТАРИЙ. Для дальнейшего поучительна следу-
следующая интерпретация. Предположим, что по каналу без шумов
передаются последовательности символов у £ Y, и с {у) — сто-
стоимость передачи символа у. В следствии 4.4 утверждается, что
минимум средней стоимости на букву, при которой длинное сооб-
сообщение данного источника может быть передано по данному каналу
(допускающему неравномерное кодирование), асимптотически ра-
равен A/а0) Я (Х°°) (задача 6). Этот факт служит основанием для
двух интуитивных выводов. С одной стороны, подтверждается
интерпретация энтропийной скорости как меры количества ин-

70 Гл. 1. Информационные меры в простых задачах кодирования
формации, переносимой в среднем одним символом источника.
С другой стороны, он позволяет интерпретировать а0 как про-
пропускную способность данного канула на единицу стоимости;
эту пропускную способность можно эффективно реализовать для
широкого класса источников, применяя подходящие коды. Для
стационарных источников последний результат верен также и
в более сильном смысле для бесконечно длящейся передачи;
действительно, последовательно кодируя блоки, можно реализо-
реализовать бесконечно длящуюся передачу со средней стоимостью на
букву, равной средней стоимости для первого блока. С интуитив-
интуитивной точки зрения важно, что пропускная способность на единицу
стоимости для канала без шумов в разъясненном выше смысле
равна максимуму Н (Y)IEc (Y), как и следовало ожидать, осно-
основываясь на интуитивном смысле энтропии. О
Доказательство теоремы 4.4. Неравенство D.10) доказывается
в точности тем же самым способом, как и неравенство D.4), един-
единственное отличие состоит в том, что в выражении D.6) величину
Н (Yt | N = п) следует оценить сверху величиной а.0Е (с (Yt)\ N =
= я) — ср. лемму 4.3, — а не log|Y|. Если значения / разде-
разделимы, то, для того чтобы избавиться от последнего члена в D.10),
введем новый^источник {Х,}^, такой, что его последователь*
ные блоки (Xlh+1, .,., Х^+и k), I = 0,. 1, ..., являются незави-
независимыми копиями Хк. Коды (fmi <pm) строятся так же, как в дока-
доказательстве теоремы 4.1. Применяя неравенство D.10) к этим кодам
и к источнику {Х()Т^и получаем
aQkm
Поскольку здесь Н (Хш) — tnH (Хк), то, полагая m •*-» оо, полу-
получим искомый результат. Неравенство D.11) также получается,
как частный случай при е = 0.
Для доказательства существования кода, удовлетворяющего
условиям D.12), конструкция из доказательства теоремы 4.1
должна быть модифицирована следующим образом (снова доста-
достаточно рассмотреть случай k — 1).
Отождествляя, как прежде, элементы множества Y с целыми
числами от 0 до q — 1, сопоставим теперь каждому у = ух ... yt £
^ Y* действительное число
8 (у) .4. 2 ехр { —«ос(у'М.
где D (у) — совокупность тех у' £ Y* с / (у') = /, для которых
а (у') <а (у), а через а (у) обозначено ^-ичное число 0.ух... уг.

§ 4. Неблоковое кодирование источника 7i
Из определения а0 вытекает, что для любого фиксированного /
интервалы
ЗГ (у) А= W (у), а (у) + ехр {-аос (у)})( у £ Y',
образуют разбиение интервала [0, 1). Определим / (хг) как после-
последовательность у £ Y* наименьшей длины /, для которой интервал
& (у) содержит а,, но не содержит никаких других ah, где а,- опре-
определены так же, как в доказательстве теоремы 4.1. Тогда
ехр J—а0 £ c(yj)\ > Р (xt),
если / (xt) = ух ■■■ i/ir Отсюда вытекает, что
—log P (xt) > а0 [с (/ (*,)) —с*],
откуда следует утверждение D.12).
Следствие получается немедленно, если для доказательства
последнего утверждения воспользоваться тем, что по лемме 4.2
Я {Xk)lk^H (X°°). □
Следующая лемма освещает понятие пропускной способности
канала без шумов с другой точки зрения.
Пусть А @ cz Y* — совокупность последовательностей, сто-
стоимость которых не превышает }, и таких, которые не могут быть
продолжены с сохранением этого свойства. Формально положим
А(О^.{У= У € Y*. t — co<c(y) < /}, D.13)
где t >0 — произвольное число и co^miny^y с (у). Тогда
наибольшая длина / двоичных последовательностей, которые могут
быть взаимно однозначно закодированы последовательностями
У £ A (t), равна |_\ log | A (t)\ J. Поэтому с интуитивной точки
зрения
lim (I/O log | А @1
является средним числом двоичных символов, передаваемых
(посредством подходящего кодирования) по данному каналу с еди-
единичной стоимостью.
ЛЕММА 4.5. lira^oo(l//) log | A (t) | = а0 (задача 7); точ-
точнее, при с* = maxj,£ у с (у)
ехр |а0 (t — с*)} < | А @ | <: ехр {а0/} (t > 0). О
Доказательство. Рассмотрим ДИБП {Ft}?Li с алфавитом Y
и порождающим распределением, определяемым как
\—аос(у)\;

72 Гл. 1. Информационные меры в простых задачах кодировании
по определению а0 — ср. D.9) — это, конечно, распределение
на Y.
Пусть для любого т > 0 ч^рез N* обозначено наименьшее целое
п, для которого £?=1с(У0 > т- Рассмотрим последовательность
случайной длины
Z-c = Yx ... YN^.
Обозначим через В (т) совокупность возможных значений Zx,
т. е. множество тех последовательностей у £ Y*, для которых
с (у) > т, но это неравенство перестает быть верным, если от-
отбросить последний символ последовательности у. Тогда
1= £ Pr^ZT = y}= S ехр{-аос(у)}<|В(т)|ехр{-аот}.
Поскольку любая последовательность у £ Y*, стоимость ко-
которой превышает t — с*, обладает однозначным префиксом
в В (t — с*), то
Из этого и предыдущего неравенств вытекает нижняя граница для
| A (t)\. Более того, поскольку А (/) с В (/ - с*), то из этого
неравенства также следует, что
|А@|ехр{—«„*}■«: Ц ехр \— а^с (у)} <г
у€ а »>
S ехр{—Оос(у)} = 1. Q
СЛЕДСТВИЕ 4.5. Для любого разделимого кода /: X ->• Y*
£ ехр {—аос (/ (л;))} « 1 (задача 8). О
Доказательство. Применим лемму 4.5 к совокупности кодовых
Слов {/ (х): х £ Х\, взятой в качестве Y, и пусть при этом Ах (/)
играет роль A (t). Тогда
lim A/0 log | Ai @ I = «x,
где Ц exp {-aiC (/(*))} = 1. ' D.14)
По предположению о разделимости кода различные элементы из
Ai @ представляются различными последовательностями у £ Y*.
Далее, по определению Ах @ каждый такой у обладает стоимостью
с (у) <: t, тогда как с (у) + с (/ (х)) > £ для любого х £ Х- Это
значит, что каждую такую последовательность у можно продол-

§ 4. Неблоковое кодирование источника 73
жить до у' £ A (t), добавляя окончание длины, меньшей чем
I if М)> и, следовательно,
I Ai (t) | < n0 | A (£) | для любого t > 0.
Отсюда следует, что
«i = lim (lit) log | Ax (/) | <: lim {lit) log | A (t) \ = a0.
откуда, используя D.14), получаем интересующее нас утвержде
ние. Q
Хотя теоремы 4.1 и 4.4 являются довольно общими резуль-
результатами, но в их утверждениях о существовании используется
предположение, редко реализуемое на практике, а именно что
соответствующие распределения точно известны на кодере. Один
из способов рассмотрения проблемы кодирования источника без
этого предположения заключается в том, чтобы стать на точку
зрения универсального кодирования; ср. обсуждение из § 2.
Теорема 2.15 являлась иллюстрацией феномена, состоящего в том,
что для определенных классов источников можно построить коды,
обладающие асимптотически оптимальными характеристиками для
каждого источника из соответствующего класса. При этом рас-
рассматривались блоковые коды, а в качестве характеристики пере-
передачи — вероятность ошибки. Этот параграф мы завершаем теоре-
теоремой, показывающей универсальность оптимальных кодов в классе
неравномерных кодов с вероятностью ошибки, равной нулю,
и со средней стоимостью в качестве характеристики оптималь-
оптимальности.
ТЕОРЕМА 4.6. Для заданной функции стоимости с на Y и для
любого k существует префиксный код /: Xfe—»-Y*, такой, что
для любого распределения Р на X при применении этого кода
к сообщениям длины k ДИБП с порождающим распределением Р
средняя стоимость на букву с (/) удовлетворяет неравенству
с (/) <: Ш (Р)/ао1 + a [log (k + 1>/Лв1.
Здесь а — константа, зависящая только от | X | , | Y| и функции
стоимости с. О
Доказательство. Пусть кодовое слово / (х), сопоставляемое
последовательности х £ Xk, состоит из двух частей, первая из
которых определяется типом х, а вторая — принадлежностью х
к совокупности последовательностей длины k одного и того же
типа. Точнее, пусть отображение /у. Xfe -*■ Y* определяется как
/i (х) =й= f (Рх), где f — взаимно однозначное отображение типов
(последовательностей из X*) в У. По лемме о числе типов можно
выбрать

74 Гл. 1. Информационные меры в простых задачах кодирования
Далее, положим для любого типа Q последовательностей из X*
t(Q) Л, (\/ао) log|TQ | + с*. D.16)
«
Пусть /2: X* —>• Y* взаимно однозначно отображает Tq в A (t (Q)),
ср. D.13). Такое отображение /2 существует по лемме 4.5 и для
него по определению
с (/2 (х)) ^ t (Рх) для любого х £ X*. D.17)
Пусть последовательность / (х) составлена из написанных рядом
/х (х) и /г (х). Поскольку множество A (t) обладает свойством
префикса для любого t > О, то/: X* —»• Y* задает префиксный код.
Для любого ДИБП последовательности х £ X* одного типа
имеют одинаковые вероятности, поэтому условное распределе-
распределение Xk при условии Xk £ Tq равномерно на Tq.
Используя соотношения D.16) и D.17), отсюда получаем, что
Ш (Р) = Н (Xй) ^ Я (Xk | /, (X*)) = Ц Pfe (T^) log I Tq | =
Q
x 6 х/г
(X*)) — aoc*.
Таким образом, из очевидного неравенства Ее (Д (Хк)) <: /с
и. D.15) получаем окончательно
с (f) =E(l/k) (с (ft (X*)) + с (f, (X*))) <
| X | log (А + 1) 1 i HJP) с*
с* Г
k I
Задачи
1 {мгновенные коды). Любое отображение /: X -*■ Y* может быть расширено
до /: X* -*• Y* путем выбора в качестве / (х) написанных рядом кодовых слов
/ (хг), ..., / (хь) прн х = хг ... Xk. Это отображение называется мгновенным кодом,
если после получения начального куска вида у = / (х) любой последовательности
кодовых символов можно сразу заключить, что начальным сообщением кодера
было х. Покажите, что это верно тогда и только тогда, когда /: X -»- Y* — пре-
префиксный код.
2. (а) Покажите,"^что свойство префикса не является необходимым для
разделимости. Постройте разделимые коды, которые не являются префиксными
и не могут быть получены из префиксных кодов путем обращения кодовых слов.
(Более глубокий результат см. в задаче 10.)
(Ь) Приведите пример разделимого кода /: X -*■ У*, такого, что для двух
различных бесконечных последовательностей хгх2 ... и х\х^ ... написанные рядом
кодовые слова / (хЛ н соответственно / (xty дают одну и ту же бесконечную после-
последовательность.
3 (неравенство Крафта). (а) Покажите, что префиксный код /: X -*■ Y*
с кодовыми словами заданной длины / (/ (*)) = п (х) (х £ X) существует тогда
и только тогда, когда 2*€х | Y р" <-1:) ^ 1 (ср. также задачу 8).

§ 4. Неблоковое кодирование источника 75
(Ь) Покажите, что для префиксного кода неравенство Крафта превращается
в равенство тогда и только тогда, когда кодовое дерево является насыщенным,
т. е. из каждой неоконечной вершины выходит ровно | Y | ребер.
Указание: вычислить число вершин на я-м уровне бесконечного дерева, кото»
рые могут быть достигнуты из оконечных вершин кодового дерева, где п А
a maxx£Xn (x).
(Kraft A949, не опубликовано).)
4 (код Хаффмана). Найдите алгоритм для построения СВ X для префикс*
ного кода /: X -+■ Y*, минимизирующей I (J) Д El (f (X)).
Указание. Можно предполагать, что кодовое дерево является насыщенным,
за исключением, быть может, одной вершины, из которой выходят d ребер, где
d = | X | (mod (I Y | — 1), 2 ^ d ss, | Y |. Заменим d значений СВ Х с наимень-
наименьшими вероятностями единственным новым значением дг0. Показать, что любой
оптимальный код для так полученной СВ X' приводит к оптимальному коду для
X, если к кодовому слову для х0 добавить еще один символ d различными спосо-
способами.
(Huffman A952).) _
5. Покажите, что для стационарного источника Н (Х°°) = Н (Хх) тогда и
только тогда, когда источник является ДИБП, и Н(х°°) = Н (Х2 I XJ тогда
и только тогда, когда источник является цепью Маркова.
6. (а) Покажите, что для ДИБП второе неравенство из следствия 4.4 может
выполняться также для блоковых кодов, удовлетворяющих критерию точности
(и) из D.1) при произвольном 8, 0<8< 1.
(Ь) Энтропийная скорость стационарного источника не обязательно является
естественной характеристикой с точки зрения блокового кодирования с крите-
критерием точности (Н) из D.1). Пусть {Х,}£=1 и {Y (}°°=1 — два ДИБП с энтро-
энтропийными скоростями #i > Н%. Пусть СВ U не зависит от обоих источников
и Рг (U = 1} = а, Рг {U = 2} = 1 — а. Положим при i = 1,2, ...
(Хи если U= 1,
г=1кь если U = 2.
Покажите, что для такого смешанного источника {Z,-}^_j (в обозначениях § 1)
Нх> если е ■< а,
lim (га (k, г)/k) = •.
ft-^oo {H2, если е>«,
в то время как Н (Z°°) = <хНг -f- A — а) Н2.
(Shannon A948).)
7. Рассмотрим наряду с множеством А (/). определенным D.13), также
множества Ао (/) А {у: с (у) = t) и А (/) А {у: с (у) ^ t]. Тогда Ао (/) с: А (/) <=
с: А (/). Покажите, что
Шп A//) log | Ао @ | = Пт A/0 log | А @1.
8 (обобщенное неравенство Крафта). Неравенство
2 ехр
из следствия 4.5 является обобщением неравенства Крафта (задача 3) на случай
переменной стоимости кодовых символов и разделимых (а не префиксных) кодов,
(а) Покажите, чго для любого разделимого кода существует префиксный
код с тем же самым набором длин кодовых слов.

76 Гл. 1. Информационней; меры в простых задачах кодирования
(b) Покажите, что, вообще говоря, неравенство 2*£xexP {—06в^ (•*)} ^
^ 1 не является достаточным для существования префиксного (или раздели-
разделимого) кода со стоимостью кодовых слов с (f (*)) = с (х).
Замечание. Не известно, существует ли для любого разделимого кода пре-
префиксный код с тем же самым набором стоимостей кодовых слов. Другими сло-
словами, не известно, можно ли получить любой разделимый код из префиксного кода
посредством перестановки букв в каждом кодовом слове; ср. Schiitzenberger —
Marcus A959).
(c) Получите прямое доказательство обобщенного неравенства Крафта (*).
Указание. Раскрыть ( Jj х £ X ехР (—а°с (f М)))"» гДе п — произвольное по-
положительное целое число. Группируя члены, соответствующие последователь-
последовательностям элементов из Y одинаковой длины, проверить, что это выражение ограни-
ограничено константой, кратной п.
(Karush A961), Csiszar A969).)
(d) Покажите, что из неравенства (*) вытекает утверждение D.11) тео-
теоремы 4.4.
Указание: использовать неравенство для суммы логарифмов.
(McMillan A956), Krause A962).)
9. Найдите алгоритм для определения того, будет ли данный код /: X ->=
—»- Y* разделимым.
Указание. Обозначить через Sj совокупность кодовых слов, т. е. Sx Д
A {f (х): х £ X}. Определить множества S; с: Y* {i = 2,3, ...} последова-
последовательно, так что у £ Sn тогда и только тогда, когда существует кодовое слово
у* £ Si, такое, что у*у £ Sn^. Показать, что значения / разделимы тогда
и только тогда, когда никакие S, при i > 1 не содержат кодового слова.
(Sardinas — Patterson A953).)
10 (композиция кодов), (а) Пусть g: X -*■ Y* и h: Y -*■ Z* — разделимые
коды; рассмотрим композицию кодов /: X-»- Z*, определяемую следующим об-
образом: если g (х) = уг .... yi, то в качестве / (х) берутся рядом написанные
" (й)> ■■■• п (уд- Покажите, что эта композиция кодов является тоже разделимым
кодом.
(Ь)* Суффиксный код определяется как код, полученный из префиксного
кода обращением кодовых слов. Покажите, что не любой разделимый код яв-
является результатом после овательной композиции префиксных и суффиксных
кодов.
(Cesari A974).)
Указание: рассмотреть двоичный код с множеством кодовых слов В Д Вх (J
U Вг, где Bt А{1, 01, 100, 0000}, а В2 получается из множества В2 А {01,
10, 11, 0000, 0100, 1000, 1100} приписыванием каждому его элементу в качестве
префикса последовательности 0100.
(В работе Воё A978) было доказано алгебраическими методами, что этот двоич-
двоичный код принадлежит к классу неразложимых кодов.)
11 (коды с синхронизацией). Разделимый код f: X —*-Y* является кодом
с синхронизацией, если существует последовательность а £ Y*, такая, что
любая последовательность из Y*, у которой а является окончанием, представ-
представляет собой написанные рядом кодовые слова. (Коды с синхронизацией очень
полезны на практике. В самом деле, длинная последовательность кодовых сим-
символов может быть разбита на более короткие последовательности, каждая из
которых оканчивается синхронизирующей последовательностью а, таким, обра-
образом, что короткие последовательности заведомо являются последовательностями
кодовых слов. Таким образом, этн последовательности могут декодироваться
в элементы X* независимо друг от друга.)
• (а) Покажите, что если отображение /: X -*■ Y* является разделимым кодом
с синхронизацией, то (i) длины кодовых слов п (х) Д / (/ (х)) удовлетворяют не-
неравенству Крафта, причем неравенство обращается в равенство (ср. задачу 3),
(и) наибольший общий делитель п (х) равен 1.

'_ §4. Нсблоковое кодирование источника 7?
(Ь)* Покажите, что для любого объединения положительных целых чисел
п (х), х £ X, удовлетворяющих условиям (i) и (ii), существует префиксный
код с синхронизацией /: X -*■ Y*, для которого длины кодовых слоев / (f (х)) =
= п (х), х 6 X.
(Schutzenberger A967).)
12 (длина кодового слова и информация одного события). Распространенная
интерпретация, подсказанная тем, что энтропия имеет форму математического
ожидания, заключается в том, что количество информации, доставляемое слу-
случайным событием, имеющим вероятность р, равно —log р. Эта интерпретация
основывается на том факте, что для любого распределения Р на множестве X
с Р (х) = р для некоторого х £ X существует двоичный префиксный код, «почти»
оптимальный в смысле средней длины кодового слова и такой, что кодовое
слово для х имеет длину Г —log p 1. Покажите, однако, что в оптимальном коде
кодовое слово для х может быть значительно длиннее.
(а) Обозначим через 1Р наибольшее целое число /, для которого // < Up,
где {fl}JLl—последовательность Фибоначчи, определяемая рекуррентно как
k = h й 1. flu fl-i + h-2, если / > 3.
Покажите, что
р_о— log Р
(b) Покажите, что если f: X -*■ {0, 1}* — префиксный код с минимальной
средней длиной кодовых слов относительно распределения Р на некотором
множестве X, такого, что Р (х) = р для некоторого х £ X, то / (/ (х)) ^ 1р — 1,
и эта граница является наилучшей возможной.
(Katona—Nemetz A976).)
Указание. Пусть Р — произвольное распределение на X с Р (х) = р для
некоторого х £ X. Рассмотрим кодовое дерево оптимального префиксного кода
/: X -*■ {0, 1}*. Обозначим через Ао, Аг At вершины на пути от корня А9
к оконечной вершине А[, соответствующем х, и через Bf — вершины, связан-
связанные с Лг_1, которые не лежат на этом пути. Из оптимальности кода следует, что
вероятность совокупности оконечных вершин, достижимых из В;, не может
быть меньше, чем вероятность множества вершин, достижимых из At+1. Отсюда
вытекает, что U*\P < 1. т. е. / ^ /р — 1. Распределение Р, для которого до-
достигается эта граница, нетрудно построить так, чтобы вершинами оптималь-
оптимального кодового дерева были только Ао, Ах, ..., Ai, Bt, ..., Bi.
(c) Пусть Р — произвольное распределение на X. Рассмотрим префиксный
код /: Xfe —>- {0, 1} *с минимальной средней длиной кодовых слов относительно Р ■
Покажите, что для некоторой последовательности е& -*■ О
\(l/k)l(f (x)) + log Pk (х) | ^ eft для любого х £ X*-
(Nemetz — Simon A977).)
13 (стратегии поиска и коды). Предположим, что неизвестный элемент х*
из множества X должен быть найден на основе последовательных экспериментов
следующего вида. Возможное состояние знания относительно х* заключается
в том, что известно, что х* принадлежит некоторому подмножеству X' множе-
множества X. При фиксированном таком состоянии следующий эксперимент состоит
в разбиении X' на самое большее q подмножеств, в результате чего уточняется
подмножество, содержащее х*. Таким образом, ^-ичная стратегия поиска опре-
определяется последовательными — начиная с состояния незнания, т. е. X' Л X, —
возможными состояниями знания н соответствующими разбиениями; каждый
элемент разбиения является возможным состоянием знания для следующего
шага.
(а) Покажите, что гу-ичные стратегии поиска эквивалентны префиксным ко-
кодам /: X -»-Y* с | Y | = q, т. е. кодовым деревьям. Каждое возможное состоя-

78 Гл. 1. Информационные Меры в простых задачах кодирования
ние знания соответствует вершине дерева, ребра, выходящие из этой вершивы,
представляют возможные результаты эксперимента, производимого иа этом
шаге. Достижение оконечной вершины кодового дерева означает, что неиз-
неизвестное х* установлено.
(Эта эквивалентность стратегий поиска и кодов была использована впер-
впервые в работе Sobel A960) при решении задачи поиска.)
(b) Если ведется поиск неизвестного элемента х* из упорядоченного мно-
множества X, то на возможные стратегии поиска часто накладывается ограничение,
допускающее разбиение только на интервалы. Покажите, что эти стратегии
поиска соответствуют алфавитно-упорядоченным префиксным кодам, т. е. сохра-
сохраняющим порядок отображениям /: X -»- Y*, где Y — упорядоченное множество,
а в Y* введена лексикографическая упорядоченность.
(c) Для произвольного распределения Р на X постройте алфавитно-упо-
рядоченные префиксные коды /: X—»-Y*, для которых выполняется одно из
неравенств:
-■
Указание. Использовать построение из доказательства теоремы 4.1 (соответ-
(соответственно теоремы 4.4), не переупорядочивая символы источника и используя
в качестве at величины а{ Д ^ /=! Р (х;) + 0^2) Р (xi)- (В дополнение к свой-
свойству алфавитной упорядоченности эта конструкция кода Гилберта—Мура (Gil-
(Gilbert—Moore A959)) обладает вычислительными преимуществами, поскольку
для иее ие требуется переупорядочение.)
14. (а) Пусть задано кодовое дерево с оконечными вершинами, каждой из
которых приписан элемент из множества X, имеющий вероятность Р (х). Для
каждой вершины А обозначим через Р (А) сумму вероятностей оконечных вер-
вершин, достижимых из А. Пусть ребра, начинающиеся в А, ведут к вершинам
Ви ..., Bq. Положим РА а{Р(Вг | A): i = 1, ..., q}, где Р (Bt | А) =
= Р(В{Iр (А). Покажем, что
2 Р (А) Н (РА) = Я (Р);
А
здесь суммирование производится по неоконечным вершинам. Интерпретируйте
это равенство в терминах модели поиска из предыдущей задачи, предполагая,
что х* есть СВ с распределением Р.
(Ь) Получите из предыдущего равенства границы D.2) и D.11) средней
длины кодового слова и соответственно средней стоимости для префиксных
кодов и условия достижения в них равенств.
Указание: воспользоваться границей Н (Pa) =Sj log | Y | (соответственно
Н (РА) ^ <V^> гДе £д — математическое ожидание с (у) относительно распре-
распределения Ра).
15. Пусть Х°° = {Xi)f={—дискретный источник и N — положительная
целочисленная СВ с конечной областью значений, такая, что СВ Хг, ..., Хп
однозначно определяют, верно ли, что N = п (т. е. N — момент остановки).
Представьте последовательность {A^-J^L] в виде бесконечного однокоренного
дерева и покажите, что моменты остановки эквивалентны насыщенным (конеч-
(конечным) поддеревьям (ср. задачу 3 (Ь)). Получите из результата задачи 14 (а), что
в случае ДИБП с порождающим распределением Р
Н(Х1г .... XN) = EN-H(P).
16 (коды с переменной длиной слов на входе и фиксированной длиной слов
на выходе). Пусть Х°° — дискретный источник и TV — момент остановки, введен-
введенный в задаче 15. Пусть АсХ* — область значений СВ XN = (Хх Хм)-

§ 4. Неблоковое кодирование источника
79
Взаимно однозначное отображение /: А -*■ У1 называется кодом с переменной
длиной слов на входе и фиксированной длиной слов на выходе для Х°°. Положим
I if) a A/EN).
(а) Покажите, что если Х°° — ДИБП с порождающим распределением Р,
то /(/):>(# (P)/log | Y |) и, более того, для любого S > 0 существует СВ N,
такая, что для соответствующего / справедливо неравенство I (/) < (Н (РI
log|Y|)+6.
Рис. 4.2.
Кодовое дерево для кода с переменной длиной слов на входе и фиксированной
длиной слов на выходе (выделено сплошными линиями). В поэтапном построе-
построении оптимального кодового дерева следующее дерево получается продолже-
продолжением пути максимальной вероятности, например пути 10.
Указание: для доказательства существования построить рекуррентным
способом кодовое дерево, такое, что
min P (х) ;> min P (х) • max P (х),
где Р (х) А рк (х), если х £ Хк.
(Jelinek—Schneider A972); авторы приписывают этот оптимальный алгоритм
Танстеллу (Tunstall A968, не опубликовано)).)
Ь) Покажите на примере, что для стационарных источников неравенство
I if) >H (X°°)/log | Y |,
вообще говоря, ие выполняется.
Указание: рассмотреть смешанный источвик из задачи 6 (Ь).
17 (сохранение энтропии), (а) Пусть Х°° —■ произвольный дискретный
источник, для которого существует энтропийная скорость, и пусть {A^jjJLj —
последовательность положительных целочисленных СВ (не обязательно мо-
моментов остановки), таких, что Нт^^ Е | (А//е/&) — с | = 0 для некоторой
константы с ^ 0. Покажите, что
lim (Mk) H (Хг, ..., XNk) = cF(X°°),
и получите отсюда результат задачи 15.
(Ь) Покажите, что если {iV^'^^Lj и {N^
положительных целочисленных СВ, таких,
lim(l/£) ElNgi -N™\ = 0,
]^! —две
что
последовательности
то
lim (l/k)
6
— HfX1 X
*P)I
= 0.

80 Гл. 1. Информационные меры в простых задачах кодирования
Указание:
О)\ХХ, ...,ХB)\ <"(*!, ...,Х
k | k / \ л k
l, ...,Х
к
Я (iV<'> | Nf >) < Е \Np - iV<2> |+ log | X
\
Таким образом, утверждение вытекает из задачи 3.5 и следствия 3.12.
(с) Пусть отображение /: X* —»- Y* задает прогрессивный кодер, т. е. если х' —
префикс для х, то / (х') — префикс для / (х). Пусть Х°° — дискретный источник
с алфавитом X, для которого существует энтропийная скорость, и допустим, что
/ (/ (Xk)) -»- сю при А-»-оос вероятностью 1. Тогда, кодируя Х°° при помощи /,
получаем вполне определенный источник У00 с алфавитом Y. Предположим, что
существует постоянная /л, такая, что для любого k самое большее т различных
последовательностей х £ X могут иметь одно и то же кодовое слово. Пока-
Покажите, что если для некоторого I > О Е | (/ (/ (Xk))/k) — l) -*- 0, то Я (У°°)
существует и 1Н {У°°) = Я {Xх).
Указание: применить результат (а) к Y00, положив Nu = I (f {Xk)).
(Csiszar—Katona—Tusnady A969).)
18 {сохранение энтропии и эргодическая теория). В этой задаче в качестве
источника с алфавитом X рассматривается бесконечная в обе стороны последова-
последовательность СВ со значениями в X. Скользящий блоковый код для такого источника
определяется как отображение / бесконечных в обе стороны последовательностей
... х_1ХоХ1 ... в последовательности ... у_\УаУ± ■■■> определяемое отображением
/„: Х2т+| -»- Y, где уг й fa {х{_т, ..., xi+m), i = 0, ±1, .... В отличие от кодов,
рассматриваемых до сих пор, скользящие блоковые коды обладают тем свойством,
что после их применения к стационарному источнику \ХЛ'^__аа получается снова
стационарный источник {^;}^L_OC, (где Уг = /0 (Xt_m, ..., Xi+my). Бесконечный
код f для источника \<Xty^L._aa определяется как стохастический предел последо-
последовательности скользящих блоковых кодов, определяемых отображениями
/о"*: ^оо™ ""*" Y, т. е. / отображает {Xj^c?=_oo в |Уг|^__оо, где
Рг [У, = /<»> (Xt_m.n, .... Xi+mJ} -> 1 при п -оо.
Два стационарных источника называются изоморфными, если сущесгвует беско-
бесконечный код/для первого источника, обратимый с вероятностью 1, и его обращение
также является бесконечным кодом, отображающим первый источник в источник
с теми же самыми совместными распределениями, которыми обладает второй ис-
источник.
(а) Покажите, что применение скользящего блокового кода к стационарному
источнику \ХЛ°°^_ао не увеличивает энтропийную скорость, т. е.
Если отображение / взаимно однозначно, то справедливо равенство.
(Ь) Докажите неравенство (а) для случая, если iK; L^__oo получается
|^j}^__oo с помощью произвольного бесконечного кода,

§ 4, Неблоковое кодирование источника 81
Указание. Полагая У<■"> й f(on) (Xc_m , .... Хит ), заметим, что
Дальше воспользоваться утверждением (а) и неравенством Фано.
(с) Докажите, используя (Ь), что источники с различными энтропийными
скоростями не могут быть изоморфными.
(Вопрос о том, когда два стационарных источника изоморфны, эквивалентен
проблеме изоморфизма динамических систем в эргодической теории. Открытие
того, что эта последняя проблема является по существу теоретико-информацион-
теоретико-информационной, принадлежит Колмогорову A958). Колмогоров доказал утверждение (с) и,
опираясь на него, доказал — решив долго остававшуюся открытой проблему,—
что два ДИБП, порождающие распределения которых имеют различные энтро-
энтропии, не могут быть изоморфными. Результат (Ь) известен как теорема Колмого-
Колмогорова — Синая (Колмогоров A958), Синай A959)). В знаменитой теореме Орн-
стейна (Ornstein A970)) доказано, что для ДИБП равенство энтропии порождаю-
порождающих распределений влечет за собой изоморфизм. По поводу этого и дальнейших,
связанных с ним результатов см. книгу Ornstein A973).
19. (а) Найдите невероятностное доказательство леммы 4.5.
Указание: написать разностное уравнение для | A (t) |, разбить A (t) на мно-
множества последовательностей с одинаковым начальным символом и использовать
индукцию по числам, кратным минимальной стоимости с0.
(Shannon A948), Csiszar A969).)
(b) Покажите, что предел lim^ __<XJ) A (i)\ -exp j—ao*j существует, если не
все стоимости с {у) кратны одному и тому же действительному числу d. В против-
противном случае докажите, что предел существует, если t стремится к бесконечности,
пробегая все целые, кратные наибольшему возможному d. Оцените эги пределы.
Указание: действовать, как в основном тексте, и воспользоваться теоремой
восстановления; ср. Feller A984, т. 1, с. 344).
(Smorodinsky A968).)
ОБЩИЕ КАНАЛЫ БЕЗ ШУМОВ (задачи 20—22)
До сих пор мы рассматривали канал без шумов как устройство, способное
передавать любые последовательности из Y*, причем стоимость передачи опреде-
определялась как сумма стоимостей отдельных символов. В следующих задачах мы отка-
отказываемся от предположения, что можно передавать любые последовательности
из Y*. Кроме того, мы будем рассматривать более общие функции стоимости.
20. Общий канал без шумов с алфавитом Y определяется как пара (V, с), где
V с Y* — множество допустимых входных последовательностей, а с (у) — функ-
функция стоимости на V, такая, что если у' — префикс для у, то с (у') =sj с (у). Пусть
множество Ац (t) с V состоит из тех последовательностей у С V, для которых
с (У) ^ i, и пусть множество A (t) с: Ax(t) состоит из тех элементов Ах (t),
которые не являются префиксами ни для-каких последовательностей из Ах (t).
Рассмотрим два вида пропускной способности канала (V, с):
Сх й lim A/0 log | Ai (t) |, Си lim (l/t) log [ A (t) |,
при условии что эти пределы существуют.
(a) Покажите, что если с (y)/log I (у) -*■ оо равномерно при / (у) -»- ею, то
Сь— С (при условии, что один из двух пределов существует).
(b) Покажите, что для кодеров f: X* -*■ V справедливо первое утверждение
следствия 4.4, если заменить в нем о^, на Сх.

82 Гл. 1. Информационные меры в простых задачах кодирования
(с) Обозначим через Ау (t) подмножество множества А (с (у) -|- t), содержа-
содержащее те последовательности, для которых у является префиксом. Допустим, что
существует константа а > О, такая, что т
|Ау@|>а|А(*)| nPH/>/OlyeV.
Покажите, что тогда С существует и выполняется второе утверждение следствия
4.4 (для префиксного кода с кодовыми словами из V), если Oq заменить на С.
(Csiszar A970).)
21 (каналы без шума с конечным числом состояний), (а) Предположим, что
в каждый момент времени допустимые входы канала определяются «состоянием
канала» и эти вход и состояние определяют состояние каиала в следующий момент
времени. Формально пусть Y и S — конечные множества и пусть g задает отобра-
отображение некоторого подмножества из множества Y X S в S. Символ у £ Y яв-
является допустимым входом в состоянии s £ S, если определено g (у, s), которое
задает также следующее состояние (эта модель называется также автоматом
Мура с ограниченным входом). При фиксированном начальном состоянии sx £ S
совокупность V допустимых входных последовательностей состоит из тех у £
£ Y*, для которых определены Sj+1 = g (yt, Sj), i= 1. 2, ..., /(у).
Допустим, что при любом выборе sx каждое s £ S может быть достигнуто
посредством некоторой допустимой входной последовательности, т. е. существует
у £ V, для которого */(y)+i = s. Покажите, что если с (у) = / (у) для. всех
у £ V, то пропускная способность С (ср. задачу 20) равна логарифму наиболь-
наибольшего положительного собственного значения матрицы j"ss-}S)S-£ д> где nss, й
= I {</: 8 (У, s) = s' }|. Вообще, положим с (у) й £ li=l с (yt, st) при у = уг ... у[у
где с (у, s) — заданная положительная функция на Y X S. Докажите, что С
равна наибольшему положительному корню осо уравнения Det |dss, (a) —
— 8ss-}s, s- £ s = °' где dss- № = S у ■■ g (y. s)=s' exP {~ac (У> s)} и б — символ
Кронекера; точнее, докажите аналог леммы 4.5 с этим а^.
(Shannon A948), Любнч A962), Csiszar A969).)
(b) Для более общего типа каналов без шумов с конечным числом состояний
выход не обязательно идентичен входу, но является заданной функцией от входа и
состояния канала. Пусть р Y X S -+ S h/i:Y X S->Z — отображения, опре-
определяющие переходы состояний и выход (для простоты входные ограничения нена-
ненакладываются; эта модель называется автоматом Мили), и пусть We Z* — со-
совокупность всех возможных выходных последовательностей. Посгройте канал,
как в задаче (а), с алфавитом Y, для которого совокупиость допустимых входных
последовательностей совпадает с W.
(Csiszar—Komlos A968).)
(c) Для каиала (Ь) назовем допустимыми разделимыми кодами такие коды,
для которых выходные последовательности, соответствующие различным кодо-
кодовым словам, различны. Докажите аналог следствия 4.4 для случая с (у) = / (у)
и пропускной способности канала с конечным числом состояний, построенного
в задаче (Ь).
22 (сохранение энтропии). Обобщите утверждение задачи 17 (с) на случай
кодов, используемых для передачи по произвольному каналу без шумов (V, с);
ср. задачу 20. Определите Xе",/и Y°° так же, как в задаче 17 (с) с дополнительным
требованием, чтобы / отображала X* в V.
(а) Выбирая в качестве СВ N^ наибольшее п, для которого с (Kt ... Yn) =sj k,
покажите, что если
Е | (/ (f (Xk))/k) — с (Nklk) | -» 0 для некоторого с > 0,
то с lim (I/ft) Я (Ух, ..., YNA = Я (Х°°),

§ 4. Неблоковое кодирование источника.
Указание: воспользоваться результатами задачи 17.
(b) Получите условия регулярности, при которых из сходимости по вероят-
вероятности последовательности с (/ {Xk))/k к £ вытекает предположение задачи (а).
(c) Как эти результаты соотносятся с утверждением задачи 20(Ь)?
(Csiszar— Katona—Tusnady A969).)
23 (существованиеуниверсальных оптимальных кодов). Покажите, что в классе
источников с одним и тем же конечным алфавитом X и кодовым алфавитом Y
с заданными стоимостями символов с (у) > 0 существуют префиксные коды
}ц- Xй•-*• Y* и последовательность eh -»- 0, такие, что с (fh) sg; (Н {Xk)lkx^ -J- Ek
для каждого источника из заданного класса тогда и только тогда, когда сущест-
существуют распределения вероятностей Q^ на X*, такие, что (Ilk) sup D (P ft II Q/Л -*■ О
при k -»- оо. Здесь верхняя грань берется по всем источникам этого класса.
Указание. Для доказательства необходимости положить Q& (х) =
= Дй ехр {—«a/ft (x)}, где а^~^\ по следствию 4.5; для доказательства доста-
достаточности воспользоваться построением в доказательстве теоремы 4.4 с распреде-
распределениями Qk в роли Р.
(Davisson A973); был рассмотрен случай символов равной стоимости.)
24 (асимптотики минимаксной избыточности). Избыточностью разделимого
кода /: X —»- {0, 1}* для источника {Xj}^_] называется величина
г (/, Хк) й (l/k) El {f (Xk)) - (Ilk) H (Xk).
Определим асимптотики минимаксной избыточности в классе ДИБП с алфавитом
X. Положим г (k) й min max r (/, Хк), где максимум берется по всем ДИБП
с алфавитом X, а минимум берется по разделимым кодам /: X*-»- {0, 1}*. Пока-
Покажите, что г (k) асимптотически равно
«|XJ—l)/2)-(log*/ft)
в том смысле, что отношение этих двух величии стремится к 1 при k -*- оо. Сравни-
Сравнивая этот результат с теоремой 4.1, можно интерпретировать более медленную схо-
сходимость порядка (log k)lk (по сравнению с ilk) как плату, которой подвергается
избыточность за универсальную асимптотическую оптимальность.
(Кричевский A968), A970).)
Указание. Заметим, что из теоремы 4.6 следует, что г (k) sg; (ilk) -f-
-f- | X | (log (k -J- l)/&). Для того чтобы получить более точную границу, рассмо-
рассмотрим префиксные коды/: X —»■ {0, 1}*, определяемые как написанные рядом два
отображения Д и /2 (как в доказательстве теоремы 4.6), где /х — это префикс кода
для типов последовательностей из X*, а /2 отображает каждое Тр в двоичные по-
последовательности длины | log | Тр | |. В этом случае
(Ilk) (El (f, (Xk)) -Hi/, (Xk))) < r if, Хк) <
< (l/k) (El (A (Xk)) - Я (h (Xk)) +1) ( *)
для любого ДИБП. Далее, применив задачу 2.2, можно увидеть, что при подхо-
подходящей константе Ь числа
п (Р) й Г -log Pk (lkp) + ((I X | - l)/2) log k + b "|
удовлетворяют неравенству Крафта. Если выбрать эти числа в качестве длин ко-
кодовых слов для /х, то из неравенств (*) вытекает, что
г (/, Хк) < (A X | — 1)/2) ((log k)lk) +(b+ 2)/k.
Нижняя граница г (k) представляет собой минимум по всем разделимым кодам /:
ХА-»-{0, 1}* осреднения г (/, Хк) по всем возможным порождающим распре*

Ы Гл. 1. Информационные меры в простых задачах кодирований
делениям Р. Возьмем это осреднение относительно меры Лебега на совокупности
РВ на X (рассматривая это множество как симплекс в | X |-мерном евклидовом
пространстве). Заметим, что получающееся осредненное распределение Q иа X*
сопосгавляет равные вероятности всем Тя; далее, Q (х) постоянно внутри каждого
Тр. Для любого /математическое ожидание El(j{Xk)) равно 2 х £Х*С(Х)'(/(Х))-
Следовательно, по теореме 4.1 минимум этого математического ожидания аппрок-
аппроксимируется с точностью до константы 2 кодом /, получающимся, если добавить
те же, что и выше, суффиксы /2 к коду flt который сопоставляется двоичной после-
последовательности фиксированной длины каждого типа. Теперь искомая нижняя гра-
граница следует из неравенств (*) и задачи 2.2.
Историческая справка
Результаты этого параграфа, за исключением теоремы 4.6, по существу
содержатся в работе Shannon A948). Конструкция кода, приведенная в этой книге,
с помощью которой было доказано неравенство D.3), была независимо найдена
также Фано (Fano A948, не опубликовано)); она известна как код Шеннона—Фано.
Обобщение этого кода на случай неравных стоимостей символов было найдено в ра-
работе Krause A962); аналогичное построение было предложено также Блохом
A960). .
Для нижней границы средней длины кодового слова и средней стоимости
(формулы D.2), D.11)) Шеннон привел некоторые эвристические соображения.
Первое строгое доказательство D.2), по-видимому, было получено Макмиллаиом
(Me Millan A956)), который опирался на свое обобщение неравенства Крафта (ср.
задачу 3) на случай разделимых кодов. Неравенство D.11) было доказано анало-
аналогично Краузе (Krause A962)), отправлявшимся от следствия 4.5. Мы сформули-
сформулировали утверждения о нижних границах при несколько более слабых условиях,
чем обычно. Доказательства представляют собой обработку оригинальных эври-
эвристических рассуждений Шеннона н следуют работам Csiszar—Katona—Tusnady
A969) и Csiszar A969); мы предпочли этот теоретико-ииформациониый подход не-
несколько искусственным доказательствам, упомянутым выше. Лемма 4.5 предста-
представляет собой вариант формулы для пропускной способности из работы Shannon
A948). Следствие 4.5 было доказано в работах Schiitzenberger—Marcus A959) и
Krause A962). Универсальные оптимальные коды были впервые построены Фи-
тингофом (Fitingof A966)), Линчем (Lynch A966)) и Дэвиссоном (Davisson A966)).
В теореме 4.6 используется построение последнего автора, обобщенное на случай
символов неравной стоимости.
§ 5. ЛЕММА О РАЗДУВАНИЙ: КОМБИНАТОРНОЕ ОТСТУПЛЕНИЕ
При заданном конечном множестве Y совокупность Y" всех
последовательностей длины п с элементами из Y иногда рассма-
рассматривают как метрическое пространство с метрикой Хэмминга.
Напомним, что расстояние Хэмминга между двумя последова-
последовательностями длины п равно числу позиций, в которых эти две по-
последовательности не совпадают. Метрикой Хэмминга можно вос-
воспользоваться для измерения расстояния между подмножествами
Y", полагая
<4i(B,C)A min dH(y,y).

§ S. Лемма о раздувании: комбинаторное отступление &Ь
Некоторые классические геометрические задачи находят в этой
обстановке замечательные комбинаторные аналоги. Одной из них
является изопериметрическая задача, которая, как оказывается,
имеет непосредственное отношение к теории информации. Резуль-
Результаты этого параграфа будут использоваться главным образом
в третьей главе.
Для заданного множества В с Y" множество
Г'В^{у: у £ Y«, dH({y\, B)</}
назовем l-окрестностью Хэмминга множества В. Вместо Г1 мы
будем писать Г. Границей Хэмминга дВ множества В с Y"
называется множество дВ АВ A ГВ.
Рассматривая границу дВ как дискретный аналог поверхности,
можно задаться вопросом, насколько мала может быть «площадь»
| дВ | «поверхности» множества В с Y" при фиксированном
«объеме» | В |. На этот вопрос (в обобщенной форме) ответ в асимп-
асимптотическом смысле содержится в теореме 5.3 ниже. Впоследствии
мы воспользуемся этим результатом для того, чтобы оценить,
насколько изменяется вероятность множества от добавления или
изъятия относительно небольшого числа последовательностей,
близких к его границе.
Легко видеть, что если 1п1п -*• О, то мощности множества В
и его /„-окрестности являются величинами одного и того же экспо-
экспоненциального порядка, и то же самое справедливо для их вероят-
вероятностей Рп для любого распределения Р на Y. Точнее, имеется
ЛЕММА 5.1. Для заданных последовательности положитель-
положительных целых чисел {/„}, таких, что 1п/п —>■ О, и распределения Р на
Y с положительными вероятностями существует последователь-
последовательность еп -> 0, зависящая только от {/„}, | Y | и /ЛрАтщу^у^ (у),
и такая, что для любого множества В с Y"
О < A/я) log | Г'»В | — A/л) log | В | < еп,
О < A/я) log Pn (Г'«В) — A/я) log Pn (В) < ел. О
Доказательство. Поскольку В с: ГгВ = 11у£вГ' (у), доста-
достаточно доказать оба утверждения для одноточечных множеств.
Очевидно,
Поскольку Рп (у') < пСрЪРп (у) для любого у' £ Г'п {у}, отсюда
вытекает, что
(,nJ IY!'nmPnpn(у)-

Вй Тл. 1. Информационные меры в простых задачах кобировйШЙ
(; ) равно числу двоичных последовательностей длины п типа
{1п1п, 1 — 11г/п), поэтому по Лемме 2«3
ехр \пН {IJn, 1 — ljn)\ = exp \nh {ljn)\.
Таким образом, утверждение леммы доказано, причем
Q
Зная, что вероятность /„-окрестности множества является ве-
величиной того же самого экспоненциального порядка, что и ве-
вероятность самого множества (если 1п1п -> 0), мы хотели бы
глубже изучить вопрос о том, насколько изменяется вероятность
множества при переходе к его /„-окрестности. Ответ на этот во-
вопрос будет выражаться через функцию
f Ф (Ф-1 (s)), если s 6 @, 1),
f (s) & {
w [ 0, если s = 0 или s = 1,
где ф (t) zuz Bл)-1/2е~*'/2 и Ф (t) JL („^Ф (и) du — соответственно
плотность и функция распределения стандартного нормаль-
нормального распределения вероятностей, а Ф (s) обозначает обратную
функцию для Ф (t). В следующей лемме собраны некоторые свой-
свойства f (s).
ЛЕММА 5.2. Функция f (s), определенная на [0, 1 ], симме-
симметрична относительно точки s = 1/2, неотрицательна, вогнута и,
кроме того, удовлетворяет условиям
s-o s Y— 2 In s s^o J/"— 2 In s.
(ii) /'(s) = — Ф (s) (s £ @, 1)),
(iii) /"(S)=1//(S) (s G @, 1)). О
СЛЕДСТВИЕ 5.2. Существует положительная константа Ко,
такая, что f (s) < /Cos Y—In s для всех s £ [0, 1/2]. О
Доказательство. Из очевидного соотношения (ii) вытекает
свойство (iii), откуда следует вогнутость неотрицательной функ-
функции f (s). Симметричность также очевидна, так что остается дока-
доказать свойство (i). Заметим сначала, что в силу (ii)
lim^=L==i = lim ' * — . , .. о ,—г = Hm ~
s^0]A_2 1ns s^oK—2 Ins » + ('/2 Ins) S^OJ/^—2 1ns"
Следовательно, применяя подстановку s = Ф (t) и используя хо-
хорошо известное равенство
Ф(О =1

§ 5. Лемма о раздувании: комбинаторное отступление 87
(ср. Feller A984, т. 1, с. 192)), получаем, что эту цепочку можно
продолжить следующим образом:
lim ~* -= lim ~ * ' =
t+.oe Y— 2 1ПФ(О i^-oo V— 2 1П (ф (t)/ — t)
= lim ' = 1. □
K I + 2 I
2 In <p @ + 2 In
□
Теперь все готово для того, чтобы получить асимптотически
более точную нижнюю границу для вероятности границы произ-
произвольного множества, выраженную через его собственную вероят-
вероятность. Этот и следующий результаты будут формулироваться
в несколько более общей, форме, чем лемма 5.1, для условных ве-
вероятностей, поскольку именно в таком виде они понадобятся
в дальнейшем.
ТЕОРЕМА 5.3. Для любых стохастической матрицы W: X -*-
->■ Y, целого п, множества В с: Y" и' последовательности х £
6 X»
№" (дВ | х) =э= (а/Уп) f (Wn (В | х)).
Здесь а = а-^г = Kmw/y —In mw, mw — наименьший положи-
положительный элемент W, а К. — абсолютная константа. О
Доказательство. Утверждение тривиально, если все положи-
положительные элементы матрицы W равны 1. В остальных случаях наи-
наименьший положительный элемент mw матрицы W не превосхо-
превосходит 1/2.
Доказательство проводится индукцией по п. В случае п = 1
оно просто. Действительно, в этом случае дВ = В для любого
В с Y. Поэтому требуется доказать, что для некоторой абсо-
абсолютной константы К
t ^s К (rriw/y—In mw) f (t) при t
Так как mw < 1/2 и по лемме 5.2 f (t) < / A/2) = 1/т/г2я, то это
неравенство, очевидно, выполняется, если
К < /2я In 2. E.1)
Предположим теперь, что утверждение теоремы выполняется
для п — 1. Зафиксируем некоторое множество В с Y" и после-
последовательность х = хг ... хп_гхп £ X". Положим х*А^.„ хп_л;
далее, для любого у £j Y обозначим через Ва совокупность тех
последовательностей уг ...yn-i € Y", для которых ух ... уп-.\У €
£ В. Тогда, очевидно,
W (В | х) = Ц W(y\ xn) W^ (By) x*), E.2)

88 Гл. 1. Информационные меры в простых задачах кодирования
И поэтому
дВ =э U 1дВу х \у\ ],
кроме того, .
W» (дВ | х) ss S W (г/|х„) 1Г"-1 (ав„| х*). E.3)
Положим S =4= \у: W (у | л:п) > 0} и
?"-1 (В,, Iх*) — minWn-1 (Ву \ х*).
Поскольку ЗВ id (В^- —[Ву~) х {г/'l для любых у', у" из Y, то
отсюда получаем
W" (дВ\х)^ mw-d. E.4)
Если
d ss (a//nw/n) / (W" (В | x)), .
то утверждение теоремы для п немедленно следует из неравенства
E.4). Рассмотрим поэтому противоположный случай
d < (a/mw Y~n) f (W" (В | x)). E.5)
Комбинируя утверждение E.3) и предположение индукции, мы
видим, что
W" (дВ |х) ^ 2 W (y\xn) W"'1
1; (y|B)/(«(Bjx*)). E.6)
</€ Y
Положим
s=4, В^п(В\х), sy A IT"-1 (В„ | х*)
и рассмотрим интервал длины d
л A. ftnin su, max s
A~ L
,,l.
В соответствии с E.2) Jjy^Y W (y| аг„) sy = s, поэтому из формулы
Тейлора
/ (sy) = / (s) + (sv - s) /' (s) + A/2) (Sy - s)T (av)
(где cry £ Д, если г/ € Y) вытекает, что если 0 £ Д таково, что
| /" @) | = max | Г (s) 1, E.7)
то
И W (г/1 х„) •/ (s,) ^ / (s) - A/2) d21 /" @) |.

§ S. Лемма о раздувании: комбинаторное отступление 89
Подставляя в E.6) последнее неравенство E.5) и последнее утвер-
утверждение леммы 5.2, получаем оценку
W" (дВ | x) ;=> (a/Vn — l) [/ (s) — (a2/2 (s)/2mbnf (a)) ],
или после преобразования правой части
Для завершения доказательства мы покажем, что
1 Г п a2 f (s) ,
или, что эквивалентно, что
/ (а) ^
/(s) — rrifo
Достаточно доказать неравенство
f(Q) ^
E.8)
/ (s) == mfc '
Заметим, что в соответствии с леммой 5.2 и E.7) о является ко-
конечной точкой интервала А. Поэтому, используя обозначение
г A, min (г, 1 — г), находим, что
s — d <: a <g §
и, следовательно, в силу симметрии и вогнутости / (s)
F(o) _ fE) _ J_-> 1 __£.
/ (s) / (S) =^ s ^ s '
Таким образом, используя предположение E.5) и следствие 5.2,
получаем
Отсюда, подставляя а и используя тот факт, что s 52 mw, выводим,
что
Ш^ 1 кк; У^^
Ш^ 1 - ; У
I (s) . у — я In mw
Теперь, если выбрать К удовлетворяющим неравенствам E.1) и
A — ККо) Зг (/OVln 2), то получим утверждение E.8), поскольку
" 1-—L_ n
V\n 2
Важность этой теоремы, с точки зрения наших целей, заклю-
заключается в следующем следствии, в котором нижняя граница для

dO Рл. 1. Информационные меры в простых задачах кодирований
вероятности /-окрестности некоторого множества выражается через
вероятность самого этого множества.
СЛЕДСТВИЕ 5.3. Для любых n,J, В с V и х ^ X"
W" (Г'В | х) ;=> Ф [Ф-1 (Wn \В | х)) + [(/ — 1)/\Гп\ aw\. О
Доказательство. Мы воспользуемся следующими двумя оче-
очевидными соотношениями, дающими возможность оценить вероят-
вероятность 1-окрестностей, используя вероятности их границ:
ГВ-В=эд(ГВ), ГВ-В = дВ-
Полагая tk Д Ф-1 (W" (ГАВ | х)), имеем
Ф (th+i) — Ф (th) = Wn (Г&+1В — f*B | х),
и, следовательно, из указанных соотношений и теоремы 5.3 вы-
вытекает, что
Ф &+i) - Ф D) ^ max {W« (д (Г*+1В) | х), W" (д (Г*В) | х)} ^
^ {alVn) max {ф D+i), фD)}-
Поскольку ф монотонна на каждом из интервалов (— оо, 0) и
@, оо), то при условии th < 0 < th+1
max ф (и) == max {cp (tk), ф D+i)l-
Подставим это выражение в E.9) и, воспользовавшись затем тео-
теоремой Лагранжа, получим
h h № (*) Ф (t I ( max <р
при условии tk < 0 < fA+1. Следовательно,
/—1 _
*i — *о = S (^+i " 4) ^ 0 — 1/^я) «• П
Мы заканчиваем эту серию оценок леммой, которая совместно
с леммой 5.1 взаимно дополняют друг друга. В самом деле, именно
лемма 5.1 и следующая ниже лемма 5.4 и являются теми резуль-
результатами этого параграфа, которые будут часто использоваться
в дальнейшем.
ЛЕММА 5.4 (о раздувании). Для любых конечных множеств
X и Y и последовательности гп -»- 0 существуют последователь-
последовательность положительных целых чисел /„, таких, что 1п/п -*■ 0, и по-
последовательность т)п -»- 1, для которых для любой стохастической
матрицы W: X -*- Y и любых п, х £ X", В с Y"
из ИРЯ (В | х) > ехр {—ле„} следует W (Г'*В |х) s* ть,. О
E.10)

§ 5. Лемма о раздувании: комбинаторное отступление 91
Доказательство. Существование последовательностей {1п\'^=1
и {rbl^Lp удовлетворяющих условиям E.10) при фиксированной
матрице W, легко выводится из следствия 5.3. Граница в следст-
следствии 5.3 через mw зависит от W, поскольку aw = К (mw/l/ —In mw).
Поэтому для получения таких последовательностей, которые
пригодны для всех W, для матриц с малыми mw необходимо ис-
использовать аппроксимацию.
Пусть заданы X, Y и последовательность еп —*- 0. Сначала мы
проверим, что для подходящей последовательности положитель-
положительных целых чисел kn, для которых kjn -*- 0, справедливо следую-
следующее утверждение:
Если
6„ k. (К/2п | X | | Y |), E.11)
то для любой пары стохастических матриц W: X -»- Y, W: X -»- Y,
таких, что
W (Ь | а) — W(b\a)\<:6n для любых а £ X, Ъ 6 Y, E.12)
и для любых х £ X", Be Y" справедливо неравенство
W (ГА"В | х) 2* Wn (В | х) — A/2) ехр (—яв„). E.13)
Для того чтобы доказать это, заметим» что утверждение E.12) озна*
чает, что существует стохастическая матрица W: X -*• Y x Y,
для которой W и W являются маргинальными, т. е.
Е & (&. 1 \ а) « W ф | a) S # (*, Ь I а) * f (u | с),
так ЧТО
23. $> ф, Ь | а) э* 1 -* Sn I Y | для любого а С X.
Из последнего свойства Ф получаем для любой пары (у, у)
€ Т>]в (х), что
dH (У, у) = п - S I! N (а, Ь, Ъ | х, у, у) < 2пб„ |Х| | Y \ = kn,
а€хг>€ Y
откуда
(ВХГ) ПТ^(х)сВхГ^В.
Следовательно,
#" (Г*пВ | х) ^ ^" ((В X Y") П Т^]б (х) | х) 3s

92 Гл. 1. Информационные меры в простых задачах кодирования
Таким образом, наше утверждение будет доказано, если мы
покажем, что для Z =4= Y2 существует последовательность 6„ -*- О
(зависящая от {е„}, | X |, | Z |), для которой справедливо неравен-
неравенство
(x) I x) =s 1 — A/2) exp (—n&n) E.14)
при любых W: X -*■ Z и x £ X". Для того чтобы проверить не-
неравенство E.14), обозначим через с (б) минимум D (V [| W \ Р)
по всем стохастическим матрицам V: X -»- Z, W: X -»- Z и рас-
распределениям Р на X, таким, что | Р (а) V (с \ а) — Р (a) W (c\ a) \ rss
^ б по меньшей мере для одной пары (а, с) £ X X Z. Тогда
из леммы 2.6 и леммы о числе типов вытекает, что
1 - ^"[(Т^]б (х) | х) < (л + II х I ' z I ехр {-лс (б)}.
Подходящим выбором б„ -> 0 получаем отсюда утверждение E.14)
И из него искомое утверждение о том, что из условия E.12) выте-
вытекает E.13).
Заметим, что мы можем выбирать Ьп стремящимся к нулю
сколь угодно медленно. Впредь мы будем предполагать, что
b====L+<x>. E.15)
en In on
Теперь рассмотрим произвольные W: X -»■ Y и х £ X", В cs
с: Yrtj для которых
Г" (В I х) зз ехр {— яеп}.
Аппроксимируя матрицу W в смысле (8.12) матрицей W: X-*Y,
удовлетворяющей условию
Y |),
применим следствие 5,3 к матрице W и множеству В^Г*пВ-
В силу E.13)
W" (Г*^В | х) ^ ехр {— пвп — 1},
откуда, воспользовавшись еще леммой 5.2 (i), получаем, что для
любого положительного целого /
Здесь К — константа из теоремы 5.3 и Ъ > 0 — другая абсо-
абсолютная константа. В соответствии с E.15) существует последова-

§ 5. Лемма о раздувании: комбинаторное отступление 93
тельность положительных целых чисел Г„, такая, что (tjn) -»- О
и
Обозначая через "йп нижнюю грань, получающуюся из E.16) при
I .Д, Г„, мы имеем, что г\п —>- 1 при п -»- оо. Применяя E.13) еще
раз (меняя местами № и ВР), получаем утверждение E.10) с 1„ Л=
А 2£„ + Г„, Т1„ А Л„ — A/2) ехр \—пеп}. D
Задачи
1 (изопериметрическая задача), я-мерное пространство Хэмминга — это
множество {0, 1}" с метрикой Хэмминга. В этом пространстве сферой с центром у
и радиусом т называется множество Тт {у}.
(а) Проверьте, что из теоремы 5.3 вытекает, что
| дВ | > L BnIVn ) f (| В |/2")
для дюбого В cz {0, 1}™, где L — абсолютная константа. Докажите, что эта гра-
граница точна (с точностью до постоянного множителя L), если В — сфера.
(Ь)* Покажите, что если В — сфера в пространстве Хэмминга, то для любого
множества В' сг {0, 1}" с | В' | = | В | площадь границы удовлетворяет нера-
неравенству | дВ' I > | дВ \.
(Harper A966); дальнейшие геометрические свойства пространства Хэмминга
см. в работе Ahlswede—Gacs—Кбгпег A976).)
2. Покажите, что если А„ с Y", В„ с= Yrt, lim^^ A/n) dH(An, BJ >
> 0, то для любого распределения Р на Y
3. Для множества В е: {0, 1}" обозначим через d (В) наибольшее целое d,
для которого существует d-мерное подпространство пространства Хэмминга
{0, l}rt, обладающее тем свойством, что проекция В на это подпространство сов-
совпадает со всем пространством {0, 1}а. Покажите, что если Пт„_0О A/я) log |Bn I >
> 0, то Пт^п Ы (Вп)/п] > 0.
Указание. Показать, что для любого В с {0, 1}" из соотношения
следует, что d (В) >i k.
Это утверждение может быть доказано по индукции. При п = 1 оно оче-
очевидно. Предположим, что оно верно для любого п' < п. Рассмотрим любое мно-
множество В с {0, 1}", для которого | В | > ^ ?=о ( )■ Обозначим через В+ сово-
совокупность тех х £ {0, 1} , для которых обе последовательности 1х и Ох принад-
принадлежат В, и обозначим через В" совокупность тех х £ {0, l}", для которых
только одна из последовательностей 1х и Ох принадлежите. Очевидно,

94 Гл. 1. Информационные меры в простых вадачах кодирования
Поскольку
* *—1 k
то либо
либо
i—Q
Остается применить предположение индукции к каждому из этих множеств и
заметить, что
d (В) >d (B + ) 4- 1.
(Saiier A972).)
4. Обозначим через g (я) максимальную мощность множеств В cz {0, 1)"
с дВ = В. Покажите, что limn^ao (g (л)/2™) = 1.
(Hamming A950).)
Историческая справка
Материал этого параграфа основан иа работе Ahlswede—Gacs—Korner A976).
Ключевой результат — теорема 5.3 — представляет собой взятое из этой работы
обобщение леммы Маргулиса A974). Равномерный вариант леммы о раздувании
является новым.

2
СИСТЕМЫ С ДВУМЯ ТЕРМИНАЛАМИ
§ 1. ПРОБЛЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛА С ШУМОМ
Пусть X и Y — конечные множества. (Дискретным) каналом
с входным алфавитом X и выходным алфавитом Y называется сто-
стохастическая матрица W: X -*- Y. Элемент этой матрицы W {у | х)
интерпретируется как вероятность того, что выход канала равен
у при условии, что вход был равен х. Будем говорить, что две СВ
X и Y связаны каналом W, если Ру\х — W, точнее, если
Ру\х(у\х)= W {у | х) в предположении, что Рх (х) > 0.
Кодом для каналов с входным алфавитом X и выходным алфа-
алфавитом Y называется пара отображений (/, ср), где / отображает
некоторое конечное множество М = М/ в X, а ср отображает Y
в конечное множество М'. Элементы М называются сообщениями,
отображение / называется кодером, а <р — декодером. Образы сооб-
сообщений при отображении / называются кодовыми словами. Одной
из причин для введения области значений ср, отличной от М, яв-
являются соображения математического удобства; более существен-
существенные причины будут выяснены в § 5. Однако при отсутствии
других указаний мы будем всегда предполагать, что М' э М.
При фиксированном канале W: X'.-*- Y кодом для канала W
является любой код (/, ср), определенный выше. Такой код и канал
W определяют новый канал Т: М -»- М', где
Т (ш' | пг) Л W (ср-1 (ш1) | / (пг)) (т € М, /и' € М') A.1)
— это вероятность того, что, используя код (/, ср) для канала W,
получим в результате декодирования т' при условии, что на са-
самом деле было передано т. Вероятность ошибочной передачи сооб-
сообщения т равна
ет = ет (W, f, Ф) ^ 1 — Г (m | т).
Максимальная вероятность ошибки кода (/, ср) определяется как
е = е (W, f, cp) A max em
(задача 1). Если на множестве сообщений М задано распределение
вероятностей, то эффективность кода можно оценивать посредст-
посредством соответствующей полной вероятности ошибки (задача 2).
В частности, полная вероятность ошибки, соответствующая рав-

94 Гл. 1. Информационные меры в простых вадачах кодирования
Поскольку
a cKsrrhs (*:')•
то либо . »
либо
|в+ и в-|> х; (V )■
Остается применить предположение индукции к каждому из этих множеств и
заметить, что
d(B)>d(B + )+ 1.
(Sauer A972).)
4. Обозначим через g (я) максимальную мощность множеств В cz {0, 1)"
с дВ = В. Покажите, что lim^^ (g (я)/2™) = 1.
(Hamming A950).)
Историческая справка
Материал этого параграфа основан на работе Ahlswede—Gacs—Korner A976).
Ключевой результат — теорема 5.3 — представляет собой взятое из этой работы
обобщение леммы Маргулиса A974). Равномерный вариант леммы о раздувании
является новым.

2
СИСТЕМЫ С ДВУМЯ ТЕРМИНАЛАМИ
§ 1. ПРОБЛЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛА С ШУМОМ
Пусть X и Y — конечные множества. (Дискретным) каналом
с входным алфавитом X и выходным алфавитом Y называется сто-
стохастическая матрица W: X -*- Y. Элемент этой матрицы W (у \ х)
интерпретируется как вероятность того, что выход канала равен
у при условии, что вход был равен х. Будем говорить, что две СВ
X и Y связаны каналом W, если Ру\х = W, точнее, если
Ру\х(у I х) = W (у | х) в предположении, что Рх (х) > 0.
Кодом для каналов с входным алфавитом X и выходным алфа-
алфавитом Y называется пара отображений (/, ср), где / отображает
некоторое конечное множество М = М/ в X, а ср отображает Y
в конечное множество М'. Элементы М называются сообщениями,
отображение / называется кодером, а ср — декодером. Образы сооб-
сообщений при отображении / называются кодовыми словами. Одной
из причин для введения области значений ср, отличной от М, яв-
являются соображения математического удобства; более существен-
существенные причины будут выяснены в § 5. Однако при отсутствии
других указаний мы будем всегда предполагать, что М' о М.
При фиксированном канале W: X—*- Y кодом для канала W
является любой код (/, ср), определенный выше. Такой код и канал
W определяют новый канал Т: М -»- М', где
Т (пг' | пг) =й= W (ср-1 (пгг) | / (пг)) (ш £ М, т' £ М') A.1)
— это вероятность того, что, используя код (/, ср) для канала W,
получим в результате декодирования т' при условии, что на са-
самом деле было передано т. Вероятность ошибочной передачи сооб-
сообщения т равна
ет = ет (W, f, ф) А 1 — Г (/и | т).
Максимальная вероятность ошибки кода (/, ср) определяется как
е = е (W, /, ср) й max em
(задача 1). Если на множестве сообщений М задано распределение
вероятностей, то эффективность кода можно оценивать посредст-
посредством соответствующей полной вероятности ошибки (задача 2).
В частности, полная вероятность ошибки, соответствующая рав-

96 . Гл. 2. Системы с двумя терминалами
невероятным сообщениям, называется средней вероятностью
ошибки кода (/, ср):
e = e(W, f, вф) =М1/|М|)Ц ет.
Проблема кодирования канала заключается в построении воз-
возможно большего множества сообщений М при сохранении воз-
возможно меньшей максимальной вероятности ошибки е. Мы будем
решать эту проблему в асимптотическом смысле для каналов Wn:
X" -v Y".
С наглядной точки зрения «канал» в технике связи действует,
последовательно передавая символы, например, по одному в еди-
единицу времени. Его действие в течение п моментов времени или
«л-кратное использование канала» может быть моделировано сто-
стохастической матрицей Wn: X" ->- Y", где Wn (у | х) — вероят-
вероятность того, что выход равен у = ух ... уп при условии, что вход
был равен х = хх ... хп. Другими словами, n-кратное действие
физического канала описывается математическим каналом Wn:
X" -*- Y". Это значит, что математической моделью физического
канала является последовательность {Wn: X"-»-Y"}£Li ка-
каналов в математическом смысле. Конечно, не любая последователь-
последовательность стохастических матриц Wn: X" -> Y" является подходящей
моделью физического канала.
Допуская некоторую неточность в терминологии, оправдывае-
оправдываемую на интуитивной основе, мы будем называть (дискретным)
каналом также и последовательность {№„: X"-»■ Y"}£Li. Позже
в этой книге термин «канал» будет использоваться также для не-
некоторых других семейств отдельных каналов. Конечные множе-
множества X и Y называются входным и выходным алфавитами канала
{Wn: X" -*- Y"}J£=i. В рамках этой терминологии каналы без
шума выделяются условием, что при всех п матрицы Wn являются
единичными матрицами.
При заданном канале {Wn: X" ->■ Y"}^=i нас интересует
взаимозависимость объемов множества сообщений и вероятности
ошибки для канала Wn при п-*■ оо. В этой книге обсуждение
этого вопроса будет ограничено частным случаем Wn = Wn, где
)U(y\i)
Последовательность каналов {Wn: X" -»■ Y"}^=i называется
дискретным каналом без памяти (ДКБП) с вероятностями пере-
перехода W. Этот ДКБП обозначается {W: X ->■ Y} или просто \W\.
Блоковым кодом длины п для канала {Wn: X" -»-Y"}JJL=i на-
называется код (/, ср) для канала Wn. Скорость такого кода равна

§ 1. Проблема кодирования для канала с шумом 97
A/n) log | My |. Заметим, что для безошибочном передачи сообще-
сообщений от £ М/ по двоичному каналу без шума необходимо log | М/ |
двоичных символов. Поэтому при передаче сообщения по задан-
заданному каналу посредством кода (/, ср) один канал соответствует
A/n) log | М/|-кратнсму использованию «стандартного» двоич-
двоичного канала без шума. Конечно, такое сравнение имеет смысл,
только если вероятность ошибки кода приемлемо мала.
Блоковый код длины п для канала {Wn: X" —>- Y"LT=i с мак-
максимальной вероятностью ошибки е (Wn, /, ср) <: е будет называться
(п, е.)-кодом.
ОПРЕДЕЛЕНИЕ 1.1. При заданном е, 0 < е < 1, неотрица-
неотрицательное число R называется е-достижимой скоростью канала
{Wn: X" —»■ Y"}^=i, если для любого б > 0 и любого достаточ-
достаточно большого п существуют (п, е)-коды, скорость которых превос-
превосходит R — 6 (задача 3). Число R называется достижимой ско-
скоростью, если оно является е-достижимой скоростью при всех е,
О < е < 1. Верхняя грань е-достижимых скоростей (соответст-
(соответственно достижимых скоростей) называется е-пропускной способ-
способностью Се (соответственно пропускной способностью С) канала. О
ЗАМЕЧАНИЕ. lime-oC8 = С (задача 4). О
В этом параграфе мы будем вычислять пропускную способ-
способность ДКБП, доказав, в частности, что, за исключением тривиаль-
тривиальных случаев, С > 0. Этот факт, т. е. возможность передавать
сообщения по каналу с шумом с фиксированной положительной
скоростью и со сколь угодно малой вероятностью ошибки, не яв-
является ни в коей мере априори очевидным; более того, его следует
рассматривать как главное достижение теории информации. Мы
увидим также, что в случае ДКБП Сг = С для любого е, 0 < в <
< 1.
Более общо, используя свойства типичных последовательно-
последовательностей, установленные в § 1.2, мы получим асимптотические резуль-
результаты для максимальной скорости (п, е)-кодов с кодовыми словами,
принадлежащими некоторым заданным множествам А„ cz X".
Эта максимальная скорость окажется асимптотически не завися,
щей от е и связанной с максимальным объемом множеств В cz Y"
имеющих «большие» Wn (• | х)-вероятности при любом х £ A,t'
ОПРЕДЕЛЕНИЕ 1.2. Множество BcY называется ц-обра-
.зом @ < г) < 1) множества A cz X для канала W: X ->■ Y, если
W (В \ х) ^ г) для любого х £ А. Наименьшая мощность ri-обра-
зов А будет обозначаться через gw (А, г\). О
Если (/, ср) и (f, ф) — коды для канала W: X ->■ Y, то будем
говорить, что (f, ф) является расширением (/, ср), или что (/, ср)
является подкодом (f, ср), если М/С Mf и / (от) = f (от) для
т £ М/. Заметим, что не делается никакого предположения отно-
относительно соотношения ср и ср.
4 Чисар И., Кернер Я-

98 Гл. 2. Системы с двумя терминалами
ЛЕММА 1.3 (о максимальном'коде). При 0 < т < е < 1 для
любого ДКБП {W: X —*- Y}, распределения Р на X и множества
A cz Т"р] существует (я, е)-код (/, ф), такой, что для любого
т £ Mf справедливы следующие утверждения:
(i) f (m) e А,
(ii) <p-i (m) cz Jfa (f (щ)),
и скорость кода удовлетворяет неравенству
-^■log\Mf\^±-loggwn(A, e-x)-H(W\P)-x A.2)
при условии, что х)
п =э "о (I X |, | Y |, т). О
СЛЕДСТВИЕ 1.3. При т, е £ @, 1) для любого ДКБП
{W: X ->■ Y} и распределения Р на X существует (п, е)-код
(f, ф), такой, что для любого т £ М/
(i) / И € Т?р],
(ii) ф (т.) cz Tiw] (f (m)),
и скорость кода равна по меньшей мере I (P, W) — 2т при всех
п ^ п0 (| X |, | Y |, т, е). О
ЗАМЕЧАНИЕ. В действительности мы докажем, что неравен-
неравенство A.2) справедливо для любого (п, е)- кода, удовлетворяющего
условиям (i), (ii) леммы и не имеющего расширения с теми же са-
самыми свойствами. С этим связано название леммы «о максималь-
максимальном коде». Условие (ii) является техническим; основной результат
леммы заключается в существовании (я, е)-кодов с кодовыми сло-
словами из А и скоростью, удовлетворяющей условию A.2). О
Доказательство. Пусть (f, ф) — это (п, е)-код, удовлетворяю-
удовлетворяющий условиям (i), (ii) и не имеющий расширения с теми же свойст-
свойствами , и пусть
В ^ U ф~1(от), М ^ M/j
если никакой (п, е)-код не удовлетворяет условиям (i), (ii), то
положим М =■ В Л= 0. Заметим сначала, что если
№« 0V] (х) - В | х) =3 1 - е
для некоторого х £ А, то код (/, ф) должен иметь расширение,
удовлетворяющее условиям (i), (ii), что противоречит нашему
х) В действительности гц зависит также от последовательности {6П}, входя-
входящей в определения Т?р-| и Tp^j (x); следуя б-соглашению 1.2.11, эта зависимость
опускается.

§ 1. Проблема кодирования для канала с шумом
99
предположению. Это можно увидеть, добавляя к множеству сооб-
сообщений новое сообщение т и полагая f (m) Л, х. Если затем для
У G T[ip] (х) — В соответствующим образом модифицировать
декодер, потребовав, чтобы ср (у) Ж т, то получится обещанное
расширение.
Рис. 1.1.
Максимальный код.
Противоречие доказывает, что
Wn (T[W] (х) — S | х) < 1 — е для лнебеге
Поскольку для дocfaтoчнo больших п
V?n (Ttw] (ж) | х) ps 1 — t для любого
(ср. лемму 1.2.12), то отсюда вытекает, что
Wn (В | х) > в — т для любого х
Таким образом, по определению 1.2
I В I 5г й"тл (А, е — т).
от I X |
х 6 X"
А.
I Y |, т)
A.3)
С другой стороны, по условию (ii) и лемме 1.2.13 для достаточно
больших п (зависящих от | X I, I Y |, т)
|В|= 23 1<р-гИ1«г £ nw/»)|<!
Сравнивая эти соотношения с предыдущим неравенством, полу-
получаем
I М I =й gwn (А, е — т) ехр \—п Ш {W \ Р) + т)},
что доказывает A.2),
4*

100 Гл. 2. Системы с двумя терминалами
Следствие получается немедленно, так как по лемме 1.2.14 для
достаточно больших л (зависящих от | X |, | Y |, т, е)
(\1п) log gwn ("!>],. е -Л) зг Я (Y) — т. □ ■
Следующая лемма содержит результат, противоположный ут-
утверждению о существовании из леммы 1.3.
ЛЕММА 1.4. Пусть заданы любые б,т( @, 1). Если (f, ср) —
это (л, е)-код для ДКБП {W: X-*-Y}, такой, что все кодовые
слова принадлежат множеству A с: T"pi, то
A/л) log| М; | < A/л) log gva (А, е + т) - H(W | Р) + т
для всех л зз п0 (\ X |, | Y |, т). О
СЛЕДСТВИЕ 1.4. Пусть заданы любые е, т £ @, 1). Если
(/, ср) — это (л, е)код для ДКБП {W: X-^-Y}, такой, что все
кодовые слова принадлежат Т"я], то
A/л) log | Mf | < / (Р, W) + 2т
для всех л 5г я0 (| X |, | Y | , т, е). О
Доказательство. Пусть (/, <р) — произвольный (л, е)-код для
ДКБП{№}, такой, что А' ,4, \f (m): m ^ М,| с А. Пусть
далее В cr Y" — это (е + т)-образ А', Для которого |В | =
gwn (А', е + т). Так как ет =- 1 — Wn (ф-1 (т) | / (т)) <: в, то
Wn (В П Ф (т) | f (т)) ^ т для любого т £ М/. Следова-
Следовательно, применяя лемму 1.2.14, мы видим, что для достаточно
больших л (зависящих от | X |г | Y | и т)
I В П Ф-1 (т) | за. ехр [л (Я (W | Р) — t)].
Далее, поскольку множества ср-1 (т) не пересекаются, то
В** И', в -Ь т) = | В | 5* Б I В П Ф-1 (m) I 3»
Зз | М| ехр [л (ЯAГ|Я) — т)].
Лемма доказана, так как из того, что А' с= А, вытекает, что
gwn (А', е + т) < gwn (A, e + т).
Для того чтобы доказать следствие, заметим, что по лемме
1.2.10 множество Tipwj „ является (е + т)-образом подмножества
б при условии, что 8'п = 28п \ X |. Таким образом, след-
следствие вытекает из первого утверждения леммы 1.2.13. □
Пропускную способность ДКБП можно определить, комбини-
комбинируя следствия 1.3 и 1.4.

§ /. Проблема кодирования для канала с шумом 101
ТЕОРЕМА 1.5 (теорема кодирования для канала с шумом).
Для любого е, 0 < е < 1, е-пропускная способность ДКБП {W]
удовлетворяет равенствам
Се = С = max / (Р, W) = max I {X /\Y),
р
где последний максимум берется по СВ, связанным каналом W. О
Доказательство. Поскольку / (Р, W) является непрерывной
функцией распределения Р, то максимум действительно дости-
достигается.
По следствию 1.3 для любого е, 0 < в < 1, и для любого рас-
распределения Р на X взаимная информация / (Р, W) является е-до-
стижимой скоростью для ДКБП \W\. Следовательно,
Се ss max / (Р, W).
р
Для доказательства противоположного неравенства рассмо-
рассмотрим произвольный (п, е)-код для ДКБП {W\ и обозначим через
М соответствующее множество сообщений М/. Для любого типа Р
последовательностей из X" пусть М (Р) обозначает множество
тех сообщений, которые кодируются последовательностями типа Р,
М(Р)Л\т: f(m) £ ТР\.
По следствию 1.4 для любого т > 0, любого типа Р и достаточно
больших п
| М (/») | < ехр \п (I (P, W) + 2т)}. A.4)
Таким образом, по лемме о числе типов
I М | =- £ I М (Р) | < (п + 1 I х 1 max | М (?) | *
р р
< (л + 1I х I ехр | п (max / (P, W) + 2х\ |,
где Р пробегает все типы последовательностей из X". Очевидно,
последнее выражение только увеличится, если перейти к макси-
максимуму по всем РВ на X. Следовательно,
СЕ <; max / (P, W). U A.6)
р
КОММЕНТАРИЙ. Математический смысл теоремы 1.5 со-
состоит в том, что по крайней мере в принципе возможно вычисление
пропускной способности канала с любой желаемой степенью точ-
точности (вопрос о реальном вычислении будет обсуждаться в § 3).
Тот факт, что пропускная способность канала равна максимуму
взаимной информации СВ, связанных каналом, подтверждает
интуитивную интерпретацию взаимной информации. Следует от-
отметить, что хотя в доказательстве теоремы 1.5 показывается, что
(п, е)-коды со скоростью, близкой к пропускной способности

102 Гл. 2. Системы с двумя терминалами
канала, могут быть построены посредством произвольных последо-
последовательных расширений, такое построение требует недопустимо
сложных вычислений даже при умеренной длине блоков. Таким
образом, теорему 1.5 следует*рассматривать как теорему существо-
существования. Ее практическое значение состоит в выяснении теорети-
теоретических возможностей систем связи. Это обеспечивает объективную
основу для оценки эффективности реальных кодов по сравнению
с теоретически оптимальными кодами. Аналогичные замечания
применимы ко всем другим теоремам кодирования, которые будут
доказываться в дальнейшем. О
Теорема 1.5 была выведена из асимптотического совпадения
нижней и верхней границ в следствиях 1.3 и 1.4. Менее очевидно,
но легко выводится из результатов § 1.5, что нижняя и верхняя
границы из лемм 1.3 и 1.4 также асимптотически совпадают. До-
Доказательство этого факта опирается на следующую лемму.
ЛЕММА 1.6. Для любых т, е', е" £ @, 1), ДКБП {W: X ->
*->- Y} и множества А с X"
I (I/") bg gwn (А, е') — A/п) log gwn (А, е") | < т
для всех п Зз п0 (| X |, | Y |, т, е', е"). О
Доказательство. Пусть, например, г > е". Тогда, очевидно,
A/п) bggwn (А, б') — A/л) \oggwn (A, e") 2з 0.
Далее, по лемме о раздувании 1.5.4 и лемме 1.5.1 существует
последовательность \1п], такая, что для достаточна больших п
(зависящих от е\ и", | X | и | Y |)
A/л) log | Г'*В | — A/п) log | В | < т для любого В ct Yrt,
A.6)
Wn (г'*В | х) » в', если Wn (В | х) > &">
Если В является в"-образом А с | В | = gwn (A, s"), то из по-
следнего соотношения вытекает, что Г'пВ является е'-образом А.
Поэтому
|'|(А, е').
Последнее неравенство вместе с A.6) завершает доказательство. □
ОПРЕДЕЛЕНИЕ 1.7. ^-пропускной способностью С (А, е) =
= Cw (А, е) множества A cz X" называется максимальная ско-
скорость тех (п, е)-кодов для ДКБП {W], все кодовые слова которых
принадлежат А, О
" ЛЕММА 1.8. Для любых т, е', е" ^ @, 1), распределения Р
на X. ДКБП | W: X -* Y} и множества А с; Т"/>]
| Cw (А, б1') — A/я) log gwn (А, е") + Я (W | Р) | < т
для всех п $s Щ (| X |, | Y |, т, в', в"). О

§ 1. Проблема кодирования для канала с шумоМ 1U3
Доказательство. Утверждение представляет собой комбина-
комбинацию результатов лемм 1.3, 1.4 и 1.6 □
ТЕОРЕМА 1.9. Для любых т, е', е" £ @, 1), ДКБП {W:
X -*- Y1 и множества АсХ"
| С (А, е') — С (А, е") | < т
для всех п 2== п0 (| X |, | Y |, т, е', е"). О
СЛЕДСТВИЕ 1.9. Если е' > е" и п ^ я0 (| X |, | Y |, т, е',
е"), то для любого (п, е')-кода (f, ф') для ДКБП { №} существует
подкод (f", ф") с максимальной вероятностью ошибки, меньшей
чем е", и со скоростью A/n) log | Mf- | > A/л) log | Mf> | — т. О
Доказательство. Предположим, что е' > е". Тогда С (А, е') —
— С (А, s") ^г 0. Для доказательства првтивоположного нера-
неравенства заметим, что если Р пробегает все типы последовательно-
последовательностей из X", то множества
А (Р) ЛАПТр
образуют разбиение А. По лемме о числе типов для достаточно
большого п (зависящего от т) существует тип Р', такой, что для
А' А А (Р')
С (А', е') === С (А, е') — (т/2). A.7)
По лемме 1.8, если п (зависящее от \ Х\, \ Y |, в', е", т) достаточно
велико, то одновременно для е = е' и е = е"
| С (А', е) - A/л) loggvn (А', A/2)) + Н (W\ Р') | < т/4. A.8)
Из неравенств A.7) и A.8) вытекает, что
С (А, е") ^ С (А', е") ^ С (А', в') — т/2 ^ С (А, е') — т.
Это доказывает теорему. Следствие получается, если взять в каче-
качестве А множество кодовых слов f. □
Наконец, мы определим предельную е-пропускную способ-
способность в одном частном случае. Следующий результат представляет
собой более чем просто интересный пример и будет полезен в даль-
дальнейших параграфах.
ТЕОРЕМА 1.10. Для любых т], е, т £ @, 1) и любого ДКБП
{W: X-^Y}
из Рп (А) ^ л следует, что Cw (А, е) ^ / (Я, W) — Зт,
при всех п 5s п0 (| X |, | Y |, т, е, tj). О
Доказательство. Рассмотрим множество A JL А Л Т"р]. По
лемме 1.2.12 при и ^ лх справедливо неравенство Рп (А)^ tj/2.
В силу леммы 1.3 достаточно доказать, что для некоторого я^ «2
A/л) bg gvn (А, е — т) =3 Я (Г) — 2т.

104 Гл. 2. Системы с двумя терминалами
Пусть В с Y" — любой (е — т)-образ А. Тогда по определению
(Р W)n (В) ^ (V2) (е — т) и, следовательно, нужное нам нера-
неравенство вытекает из леммы JL2.14? □
Для моделирования некоторых технических устройств в нашу
модель необходимо ввести возможность того, что не любая комби-
комбинация элементов входного алфавита канала может быть исполь-
использована для передачи. Физическое ограничение на возможные вход-
входные последовательности канала часто задается посредством неот-
неотрицательной функции с (х), определенной на входном алфавите X.
Эта функция продолжается на X" как
п
С (X) Д -i- ^ С (А';)
^ С (А;) При Х = ХХХ2 . . . Хп,
1=1
и тогда ограничение на кодовые слова состоит в том, что должно вы-
выполняться неравенство с (f (m)) <: Г для некоторого фиксирован-
фиксированного числа Г. Можно модифицировать определение 1.1, введя в него
это аддитивное ограничение на возможные коды, так что появ-
появляются понятия е-пропускной способности (соответственно про-
пропускной способности) канала при входном ограничении (с, Г), обо-
обозначаемые через Св (Г) (соответственно С (Г)). Эти пропускные
способности определены, если Г ^ Го =й= minc(x). Полагая для
ДКБП \W\
Ап(Г)^{х: Х€Х", с(х)«Г},
мы получаем, что
С8 (Г) = ИтСг (А„ (Г), е), С (Г) = lim Cs (Г) (Г ^ Го).
Очевидно, С (Г) <: С, и для достаточно больших Г справедливо
равенство.
Для распределения Р на X положим
с (Р) А £ Р (Х) с (х).
х£ X
Прежние результаты легко приводят к следующей теореме.
ТЕОРЕМА 1.11. Для любых е £ @, 1) и Г 3= Г„ е-пропускная
способность ДКБП \W\ при входном ограничении (с, Г) удовле-
удовлетворяет цепочке равенств
С8 (Г) = С (Г) = max / (Р, W) = max / (X /\ Y),
Р: с (Р) < Г
где последний максимум берется по всем СВ, связанным каналом
W, и таким, что Ее (X) «s Г. Пропускная способность С (Г) яв-
является неубывающей вогнутой функцией Г при Г т> Го. О

§ 1. Проблема кодирования для канала с шумом 105
Доказательство. Положим сначала
С (Г) A max / (Р, W) (Г ^ Г„).
Р: с (Р) < Г
Максимум достигается, поскольку / (Р, W) — непрерывная функ-
функция Р- Очевидно, С (Г) — неубывающая функция Г; для того
чтобы проверить ее вогнутость, предположим, что Рг (соответст-
(соответственно Р2) максимизирует I (P, W) при ограничении с (Р) <: 1\
(соответственно с (Р) <: Г2). Тогда в силу вогнутости / (Р, W)
как функции Р (лемма 1.3.5) для произвольного а £ @, 1) имеем
а С A\) + A - а) С (Г,) =
= а/ (Рг, W) + (l—a)I (Рг, W) < / (Р, W), A.9)
где Р A, aPt + A — а) Р2. Поскольку с (Р) = ас (PL) +
+ A — а) с (Р2) <: аГх + A — а) Г2, то из A.9) вытекает, что
аС (Г\) + A — а) С (Г3) <: С (аГх + A — а) Г2), что и требо-
требовалось.
При Г = Г„ равенство С8 (Г) = С (Г) вытекает из теоремы 1.5,
если применить ее к ДКБП с входным алфавитом Хо = {х: с (х) =
= Го} cz X. Поэтому будем предполагать, что Г > Го.
Если Р — произвольное РВ с с (Р) < Г, то для любого х £
с(а)<Г,
если п достаточно велико. Следовательно, по следствию 1.3
/ (Р, W) является достижимой скоростью для ДКБП { W] при
входном ограничении (с, Г). В силу непрерывности С (Г) (явля-
(являющейся следствием ее вогнутости) отсюда вытекает, что
С (Г) 5з sup С(Г') = С(Г).
Для завершения доказательства достаточно показать, что
Се (Г) < С (Г) для любого е £ @, 1). A.10)
Будем рассуждать аналогично доказательству неравенства
A.5). Если (Д ф) — произвольный (п, е)-коддля \W), удовлетво-
удовлетворяющий входному ограничению (с, Г), то пусть М (Р) — сово-
совокупность тех сообщений т £ М/, для которых f (m) — последо-
последовательность типа Р; по предположению М (Р) не пусто, только

106 Гл. 2. Системы с двумя терминалами
если с (Р) •< Г. Тогда по следствию 1.4 и лемме о числе типов
Е Е ехр{я(/(Л Ю
| y | Е |()| Е
Р: с (Р) < Г Р: с (Р)ш< Г
<(n-f l)|x'exp in> .max / (Р, IF) + 2тЛК
\ VP:c(P)<r //
откуда вытекает A.10). П
В процессе доказательства теорем 1.5 и 1.11 в действитель-
действительности было получено несколько больше, чем утверждалось в их
формулировках. В самом деле, A.5) и A.10) означают только, что
нельзя построить для каждого достаточно большого п (п, е)-коды
со скоростями, превосходящими на некоторое фиксированное б >
> 0 определенное выше значение пропускной способности. Сей-
Сейчас же мы доказали, что такие коды не существуют ни при каком
достаточно большом п. Ввиду принципиальной важности мы фор-
формулируем этот факт в виде теоремы.
- ТЕОРЕМА 1.12. Для любой последовательности (/„, ср„)
(п, е)-кодов для ДКБП {W], удовлетворяющей входному ограни-
ограничению (с, Г),
L
СЛЕДСТВИЕ 1.12. Функции
Ch (Г) а щах (\lk) I (P, Wk),
Р: с (Р) < Г
где максимум берется по произвольным РВ на Xs, удовлетворяют
равенствам
Ch (Г) = d (Г) = С (Г) при k = 2, 3, ... (задача 5). О
Доказательство. По теореме 1.11 величина kCk (Г) равна про-
пропускной способности при входном ограничении (с, Г) ДКБП
{W} с входным алфавитом Xй и выходным алфавитом Y&, где
W A, Wk. Каждый (nk, е)-код для ДКБП {Щ является (п., е)-
кодом для \W\ и обратно. Таким образом, согласно теореме 1.12,
пропускная способность ДКБП {W} при входном ограничении
(с, Г) равна kC (Г). □
ОБСУЖДЕНИЕ. Типичные результаты в теории информации
носят асимптотический характер и относятся к существованию
кодов с определенными свойствами. Теоремы, в которых утвер-
утверждается существование кодов, часто называют прямыми резуль-
результатами, в то время как теоремы, в которых утверждается несу-
несуществование, называются обратными результатами. Комбина-
Комбинация таких результатов, дающая полное-асимптотическое решение
проблемы существования кода, называется теоремой кодирования
(таковыми являются теоремы 1.5 и 1.11 или более ранние теоремы

§ 1. Проблема кодирования для канала с Шумом 107
1.1.1, 1.4.1 и т.д.). В частности, результат, утверждающий, что
для любого е £ @, 1) Е-достижимые скорости являются также до-
достижимыми скоростями, называется сильным обращением (задача 6).
Заметим, что для ДКБП верно и большее, а именно, любой «пло-
«плохой» код имеет «хороший» подкод с «почти» той же скоростью
(следствие 1.9).
Некоторые авторы включают в понятие пропускной способно-
способности требование справедливости сильного обращения, говоря
в противном случае, что канал не имеет пропускной способности.
По принятому нами определению любой канал { Wn'- X" -> Yn}!JLi
имеет пропускную способность. Однако в определении 1.1 отра-
отражается «пессимистическая точка зрения», поскольку Cs опреде-
определяется как верхняя грань lirtWoo A/n) log J M/n | для последо-
последовательностей (п, ё)-кодов (/„, ф„). Оптимистическим вариантом
для СЕ могла бы быть верхняя грань linw«> A/n) log | M/rt |.
По теореме 1.12 для ДКБП эти определения совпадают.
Задачи
1. (а) Пусть {f, <р) — код для канала W: X —>- Y с множеством сообщений
М/ = М. Покажите, что ё (W, /, <р) ^ е (W, f, <р) и для некоторого М С М
с I М | J> | М |/2 сужение / кода /наМ удовлетворяет неравенству е (W, f, <p) ^
< 2ё (W, Л ф).
(Ь) Рассмотрим ДКБП {S^J.^., с алфавитом S и порождающим распределе-
распределением Р. Для заданных 8 > 0, б > 0 и некоторого кода (f, <p) для канала W: X ->-
-»- Y с множеством сообщений объема
| М/ | > exp {k (Н (Р) + 8)}, k > К (| S |, е, б),
постройте код (/', <р') для того же самого канала с множеством сообщений М^, А
as' и полной вероятностью ошибки
2J Pk (s) es (W, f, ф') < e (W, f, ф) + s.
s6s&
2. Покажите, что для заданного кодера / для канала W: X -*■ Y средняя ве-
вероятность ошибки является минимальной тогда и только тогда, когда <р: Y —»- Mf
является декодером максимального правдоподобия, т. е. тогда и только тогда, ко1да
q> удовлетворяет равенству
W (У I / (Ф (У))) = max W (у | / (от)) для любого у £ Y.
m£Mf
Найдите декодер, минимизирующий полную вероятность ошибки, соответствую-
соответствующую произвольному фиксированному распределению на М.
3. (а) Покажите, что пропускная способность любого канала | Wn- X" -*■ Y"{.
не изменится, если достижимые скорости определять, используя условие ё =SJ в
вместо условия е ^ 8.
(Ь) Покажите, что пропускная способность ДКБП равна обратной величине
ПМСП (см. введение) для передачи ДИБП с двоичным алфавитом и равномерным
порождающим распределением по заданному ДКБП при условии, что в качестве
критерия точности используется вероятность ошибки.

108 Гл. 2. Системы с двумя терминалами
(с) Покажите, что пропускная способность ДКБП {W} положительна, за
исключением того случая, когда все строки матрицы W одинаковы.
Указание: воспользоваться теоремой 1.5.
4 (пропускная способность при нулевой ошибке), (а) Проверьте, что в общем
случае Со Ф lime_0Ce (=С).
(Ь) Со положительна тогда и только тогда, когда существуют хг £ X, хг 6 X,
такие, что W (у | л^) W (у \ х2) = 0 для любого у £ Y.
(Shannon A956).)
5 (слабое обращение), (а) Получите прямое доказательство следствия 1.12,
используя только свойства взаимной информации, установленные в § 1.3.
(b) Используя этот результат, покажите, что С (Г) ^ тахс (Р) <г/ (Р, W).
Эта слабая форма обратного утверждения теоремы 1.11 называется слабым обра-
обращением.
(c) При определении С (Г) входное ограничение с (/ (от)) ^ Г вводилось от-
отдельно для каждого от £ М/. Покажите, что результат (Ь) верен также при слабом
осреднении входного ограничения
\Mf\~1 Ц с(/(от))<Г.
(Fano A952, не опубликовано); ср. Fane A961).)
Указание. Всякий код (f, <р) определяет цепь Маркова М -е- X" -Q- Y" -Q- М',
где СВ М равномерно распределена на М/, Хп Д. / (М), Хп и Yn связаны каналом
W" и М' ^ 4>(Yn). Тогда
log I Mf | = Н(М | М') + I (М Л ЛГ).
Для оценки первого слагаемого воспользоваться неравенством Фано. Далее по
лемме об обработке данных, задаче 1.3.2 и лемме о выпуклости 1.3.5
/ (М Л М') < JJ / (Хг Л Yt) < nl (P, IF),
где
4-2 "■■
i=i
6 (отсутствие сильного обращения). Пусть \Wn: X" -»- Y"} получается в ре-
результате смешения двух каналов ДКБП, т. е. для некоторых IF: X -+■ Y, W: X -+■
-*- Y и 0 < а < 1 положим Wn (у/х) Д aWn (у/х) + A — a) W (у/х). Покажите,
что е-пропускная способность этого канала становится зависящей от е, за иск-
исключением того случая, когда {W} и { W) имеют одинаковую пропускную спо-
способность.
(Wolfowitz A963).)
7 (случайный выбор кодов для канала). При заданном ДКБП {IF: X—>- Y} и
распределении Р на X любому кодеру f: M —>- Т?р-< сопоставим следующим обра-
образом декодер <р: Y" —>- М': (i) если имеется единственный элемент из М, для ко-
которого пара (f (m), у) является типичной относительно совместного распреде-
распределения Q на X X Y, определяемого Р и W, то положим <р (у) Д от; (ii) если такого
т нет или их несколько, то положим <р (у) Д от' £ М' — М. Далее для некото-
некоторого п и множества сообщений М„ выберем кодер /: Мл -*■ Т?р^ случайным обра-
образом, так что каждое кодовое слово / (от) выбирается из Т?р-\ с равномерным рас-

§ 1. Проблема кодирования для канала с шумом 109
пределением независимо от всех остальных. Покажите, что математическое ожи-
ожидание величины e(Wn, f, <p) для получающихся случайно выбранных кодов стре-
стремится к нулю при п —>- оо при условии, что
ITm A/n) log j М„ | < / (Р, W).
Покажите, что эти случайно выбранные коды удовлетворяют следствию 1.3 с ве-
вероятностью, стремящейся к единице.
Указание. Математическое ожидание ё равно математическому ожиданию ет
для любого фиксированного от £ Мп. Очевидно,
Еет = £п A/| Т»Я] |) [W» ({у: (х, у) <£ Т^} \ х) +
+ S Wn (у | х) Рг {(/ (от), у) € Tj?Q] для некоторого от Ф пг}].
у- (х, у) € T|-q]
Обозначая через W: Y -*- X обратный канал, т. е. полагая
из условия (х, у) £ T"Q] получаем, что х g Т"~ (у). Итак, Рг {(/ (от), у) g
g T^Q-| для некоторого ni ^ от} < | М„ | f | Т"~ (у) I / | Т"р] П, откуда по лемме
1.2.13 вытекает нужное утверждение.
(Это доказательство было намечено Шенноном (Shannon A948)).)
8 (пропускная способность для простейших каналов).
(a) ДКБП с X = Y = {0, 1} и W A | 0) = W @ | 1) = р называется двоич-
двоичным симметричным каналом (ДСК) с вероятностью ошибки р. Покажите, что про-
пропускная способность этого ДСК С = 1 —h (p).
(b) Для заданного кодера / декодер <р называется декодером по минимальному
расстоянию, если
dH (у, / (<Р (у))) = плах и (у> / (т))
для любого у £ Y". Покажите, что для ДСК с вероятностью ошибки р < 1/2
декодеры максимального правдоподобия совпадают с декодерами по минималь-
минимальному расстоянию.
(c) ДКБП сХ=@, 1}, Y= {0, 1, 2} и
W A | 0) = W @ | 1) = 0; W B | 0) = W B | 1) = р
называется двоичным каналом со стираниями (ДКС). Покажите, что для этого
канала С = 1 — р.
9. Пусть W: X -*• Y — стохастическая матрица и W: Х-*- Y — макси-
максимальная подматрица W, состоящая из линейно независимых строк. Покажите,
что пропускные способности ДКБП {W} и {W} совпадают.
(Shannon A957b).)
10 (симметричные каналы). Предположим, что строки матрицы W являются
перестановками одного и того же распределения Р и столбцы W также являются
перестановками один другого. Покажите, что в этом случае пропускная способ-
способность ДКБП {W} равна log | Y | — Н (Р).
(Shannon A948).)
11 (линейные коды для канала). Пусть X — поле Галуа. Линейным (п, к)-ко-
дом для канала с входным алфавитом X называется блоковый код (f, cp) длины k
с множеством сообщений М/АХ', такой, что / (гп) л mF, где m £ X* — сооб-

ilO _ Гл. 2. Системы с двумя терминалами
щение, a F — некоторая матрица порядка kXn над полем X. Далее, (/, ср) назы-
называется линейным кодом со сдвигом, если / (т) Д mF -f- x0 для некоторого фикси-
фиксированного х0 £ X". «
(а) Покажите, что если W: X —>- У — канал с аддитивным шумом, т. е.
W (у | х) = Р (у — х) для некоторого фиксированного распределения Р на X, то
пропускная способность ДКБП {W} может быть реализована посредством линей-
линейных кодов. Другими словами, для любых е £ @, 1), б > 0 и достаточно больших
п существует линейный (и, й)-код, для которого (kin) log | X | > С ■— б и макси-
максимум вероятности ошибки меньше, чем е.
Простейшим примером канала с аддитивным шумом является ДСК из задачи
8 (а).
(Elias A955).)
Указание. Пусть для ДИБП с порождающим распределением Р отображение
g: Хп —*■ X определяет кодер линейною кода источника с вероятностью ошибки
меньшей, чем е. В соответствии с результатом задачи 1.1.7 величина (kin) может
быть сделана произвольно близкой к (Я (P)/log | X |). Положить k Д п — k
и рассмотреть линейный код для канала, кодовыми словами которого являются
только те х £ X™, для которых g (х) = 0.
(в) Для любого {W: X—>-Y} определите наибольшее R, для которого су-
существуют линейные коды со сдвигом со скоростями, стремящимися к R, и средней
вероятностью ошибки, стремящейся к нулю. Покажите, что это наибольшее R
равно / (Рв, W), где Ро — равномерное распределение на X.
(Габидулин A967).)
Указание. Выбрать кодер / линейного кода со сдвигом случайным образом,
считая элементы матрицы F и вектор Xq независимыми и равномерно распределен-
распределенными на X. Для каждого частного выбора / рассмотреть соответствующий декодер
максимального правдоподобия. Показать, что если k log | X | < п (I (Ро, W) —
— б), то математическое ожидание средней вероятности ошибки этого случайно
выбранного кода (f, <р) стремится к нулю. Обратный результат вытекает из нера-
неравенства Фано, ср. указание к задаче 5.
12 (произведение каналов). Произведением двух каналов Wt: Xj —>- Yj и W2:
Х2 -*■ Y2 называется канал ^Х W2: Хх X Х2 -»- Yx X Yg, определяемый как
(Wt X W2) (ylt и2 | *!, х2) Д. Шг (Уг | хг) W2 (y2 | х2).
Покажите, что пропускная способность ДКБП {Wi X W2] равна сумме пропуск-
пропускных способностей ДКБП {Wt} и {W2}.
13 (сумма каналов). Суммой двух каналов W±: Хг -*■ Yx и W2: Ха -»- Ya с Xj П
П Х2 = Yj П Y2 = 0 называется канал
Wx e W2: (Xx U Х2) -*■ (Yj U Y2),
определяемый как
( W1(y\x), если ^Х1: у £ Ylf
1Wi e WJ (У\х)й\ Ф,(У\ х), если х <= Х2, у £ Y3,
[о, в остальных случаях.
Покажите, что пропускная способность ДКБП {Wx ® W2} равна log (exp С1 -(-
4- ехр С2), где С; — пропускная способность ДКБП {Wi}.
(Shannon A948).)
СРАВНЕНИЕ КАНАЛОВ (задачи 14—16)
14. Канал W: X->- Z называется ухудшенным вариантом канала W: Х-*-У,
если существует канал V: Y-+Z, такой, что матрица W равна произведению
матриц WV, т. е.
W(z\x)= £ W(y\x)V(z\y).

§ /. Проблема кодирования для канала с шумом
111
Покажите, что в этом случае для любого блокового кода (f, ф) длины п для ДКБП
{ W) существует блоковый код (/, <р) для ДКБП {W) (с тем же самым кодером /),
такой, что е (Wn, f, <р) < е (Wn, f, q>). (С интуитивной точки зрения канал Wn
интерпретируется как шумовые помехи, накладывающиеся на выходу канала Wn.)
15. ДКБП {W: X->-Y} является лучшим в смысле Шеннона, чем ДКБП
{W: Х-*- Y}, если для каждого кода для Wn существует код для Wn с тем же
самым множеством сообщений и с не большей средней вероятностью ошибки,
п= 1, 2, ....
(а) Покажите, что для любых каналов U: X -»- X, W: X—»-Y, V: Y —>- Y
ДКБП {W} лучше в смысле Шеннона, чем {W}, если W Д UWV. Далее, если
ДКБП {W: X -*• Y} лучше в смысле Шеннона, чем каждый из каналов {Wt: X -»-
-*-У}, i= 1, 2, то {W} также лучше, чем {<xW1 + A — a) W2) для любого a,
О <a < l.i
(Shannon A958).)
b) Приведите пример ДКБП, таких, что {W] лучше в смысле Шеннона,
чем {W}, но {W} не может быть представлен в виде выпуклой комбинации кана-
каналов, полученных из W, как в задаче (а).
(Кармазин A964).)
Указание: положить
1 О О
1-е е О
1 О 0J
16. ДКБП {IF: X -*- Y} называется более мощным, чем ДКБП {#: X ->■ Z},
если для любых 0 < s < 1, б > О, п :> n0 (s, б) и АсХ" справедливо нера-
неравенство С^ (A, s) ^ С^ (А, е) —б. Покажите, что это выполнено тогда и только
тогда, когда
/ (Р, W) :> / (Р, W7) для любого распределения Р на X. (#)
Указание. Показать по индукции, что из соотношения (#) вытекает неравен-
неравенство / {Хп l\Yn)^I (X11 Д 2"), если Руп , хП = Wn, Р ^п, х„ = W11. Предва-
Предварительно проверить для Yn -©- X'1 -©- Zn тождество
/ {Хп AYn)-I (Хп Л Zn) = [l(XnAYn\ Yn~l) - I (Xn A Zn I Yn~1)] +
+ U (xn~l a Yn~l \zn)-i (xn~l a zn~l I zn)]-
Для вывода отношения «более мощный» можно предполагать, что A CZ Тр. По-
Показать, что тогда для некоторого т] = r\ (| Y |, т)
A/п) log g п (А, ц) > A/п) Н (К") — т -= A/п) / (X" Д К") + Н (W | Р) — т,
если Рг {X" ^ А} = 1. В предположении что A/п) / (Хп А 2'1)>С^.(А, s) —
— т, применить лемму 1.8.
(Когпег—Marton A977a). В качестве дополнения см. задачу 3.3.11.)
17 (коды с фиксированной композицией). Покажите, что для ДКБП {W: X-*■
-*■ Y} следствие 1.3 остается верным, даже если потребовать, чтобы все кодовые
слова были последовательностями типа Р при условии, что Р — возможный тип

112 Гл. 2. Системы с двумя терминалами
последовательностей из X". Докажите, что существуют блоковые коды (fn, <р„)
длины п со скоростью, стремящейся к С, и такие, что кодовые слова }п (т), т £
€ М/Л являются последовательностями одцрго и того же типа Рп.
Указание: для построения нижней границы для g n (Тр, е.\ воспользоваться
результатом задачи 1.2.10.
18 (декодирование по максимуму взаимной информации). Для двух последо-
последовательностей х £ X", у £ Y" определим / (х Д у) как взаимную информацию
СВ с совместным распределением Рк у. При заданном блоковом кодере /: М -*- Хп
длины п для ДКБП {W: X -»- Y} декодер по максимуму взаимной информации
(МВИ) определяется посредством отображения <р: Yn -*- М, удовлетворяющего
равенству
/ (/ (ф (У)) Л У) = max / (/ (m) Д У),
я: € М
(a) Покажите, что для любого ДКБП существует последовательность кодеров
/„ со скоростями, стремящимися к С, такая, что если (р„, — декодер МВИ, то
е (Wn, fn, <pn)->- 0. Значение декодера МВИ определяется тем, что в отличие от
декодера максимального правдоподобия он зависит только от кодера и не зависит
от W.
(Goppa A975).)
Указание: более общий результат будет доказан в § 5.
(b) В случае двоичного канала покажите, что для заданных х £ {0, 1}" и
У € {0, 1}" взаимная информация / (х Д у) максимальна тогда и только тогда,
когда йц (х, у) = 0 или п. Далее, если типы х и у фиксированы, то / (х Д у) яв-
является функцией от da (x, у); покажите, что это — выпуклая функция.
19 (несколько входных ограничений). Рассмотрим ДКБП {W: X -»- Y} с не-
несколькими входными ограничениями (с/, Г/), /= 1, ..., г, на допустимые кодо-
кодовые слова и определим пропускные способности С£ (Fj, .... Гг), С (Г!, ..., Г,).
Покажите, что эти пропускные способности равны max / (Р, W), где максимум
берется по РВ Р на X таким, что Cj (Р) ^ Г7-, / = 1, ..., г.
20 (выходное ограничение). Рассмотрим ДКБП {W: X —*■ Y} и пусть с (у) J>
2s 0 — заданная функция от у £ Y, продолженная на Y" как с (у) Д A/л) X
X J] "_| с (у{) (у = </i ... уп). Предположим, что по некоторым физическим при-
причинам декодер не способен принимать некоторое от £ М, если для полученной
последовательности с (у) > Г. Определите 8-пропускную способность (соответ-
(соответственно пропускную способность) ДКБП {W} при этом входном ограничении,
т. е. считая допустимыми только такие коды (f, cp), для которых из условия с (у) >
> Г вытекает, что ср (у) §ё М. Покажите, что эти пропускные способности равны
max / (X Д Y) для СВ, связанных каналом W, и таких, что Е с (у) ^ Г.
ПРОПУСКНАЯ СПОСОБНОСТЬ С НУЛЕВОЙ ОШИБКОЙ И ГРАФЫ
(задачи 21—23)
21. Любому каналу W: X -*■ Y сопоставим граф G= G (W) с множеством
вершин X, такой, что две вершины х' ^ X и х" £ X являются смежными тогда н
только тогда, когда W (у \ х') W (у \ х") > 0 для некоторого у £ Y. Для любого
графа G обозначим через a (G) максимальное число вершии, не имеющих смежных
пар.
(a) Покажите, что пропускная способность с нулевой ошибкой Со канала {W}
зависит только от графа G = G (W) и что Со ;> log a (G).
(b) Определим произведение двух графов Gx и G2 следующим образом: если
Gi = G (WJ, G2= G (W2), toG1XG2=0 (WX X W2). Покажите, что a (GX X
^ ^2) ^ a (Pi) a (<32), и приведите пример строгого неравенства.

§ /. Проблема кодирования для канала с шумом 113
Указание: взять в качестве Gj = G2 пятиугольник,
(с) Покажите, что Со = Hm^^ (log a (Gn))/n, где G = G (W).
(Shannon A956).)
Замечание. Определение этого предела для графа G общего вида является нере-
нерешенной задачей. Даже для простейшего нетривиального случая, пятиугольника,
эта задача не поддавалась решению в течение более чем 20 лет, до тех пор, пока
Ловас (Lovasz A979)) не доказал, что в этом случае Со = A/2) log 5. Интересно
отметить, что пропускная способность с нулевой ошибкой произведения двух ка-
каналов (ср. задачу 12) может превосходить сумму их пропускных способностей
с нулевой ошибкой, как показано в работе Haemers A979).
22. Для графа G с множеством вершин X обозначим через Р (G) минимальное
число подмножеств X, содержащих взаимно смежные вершины, объединение ко-
которых равно X.
(а) Покажите, что для любого G и натурального числа п [Р (G)]™ ^ Р (G") t>
>: а (С1) > [а (G) ]п. Докажите, что если граф G = G (W) обладает свойством
Р (G) = ос (G), то Со = log a (G).
(Ь)* Пусть {IF: X -» Y} — ДКБП с выходным алфавитом Y = {1, ..., | Y |}
и такой, что для любого х £ X множество {у: W (у \ х) > 0} является интерва-
интервалом в Y. Граф G, соответствующий такому каналу, называется интервальным гра-
графом. Покажите, что в этом случае Р (G) = a (G) и поэтому равенство Со = 1
= log a (G) всегда выполняется.
(Gallai A958).)
23 {совершенные графы). Проблема пропускной способности канала с нулевой
ошибкой стимулировала интерес к классу графов, все подграфы которого удов-
удовлетворяют равенству a (G') = Р (G') (G' называется подграфом G, если множество
его вершии является подмножеством вершин G и вершины в G' являются смеж-
смежными тогда и только тогда, когда они являются смежными в G). Такие графы,
называемые совершенными, обладают различными интересными свойствами, на-
например дополнение совершенного графа является также совершенным, как пред-
предположил Берг (Berge A962)) и доказал Ловас (Lovasz A972)). Покажите, однако,
что произведение двух совершенных графов не обязательно является совершен-
совершенным.
Указание. Доказать, что G™ является совершенным для любого п ^ 1 тогда
и только тогда, когда смежность вершин является отношением эквивалентности
на G. Для этого показать, что если L — граф с тремя вершинами и двумя ребрами,
то L3 имеет пятиугольный подграф.
(Кбгпег A973с).)
24 (остаточные члены в теоремах кодирования). Для ДКБП {W: X —>- Y}
обозначим через N (n, s) максимальный объем множества сообщений (и, е)-кодов.
(а) Покажите что для любого s > 0 и для любого п существует константа
К = К (_[Х |, | Y |, 8), такая, что ехр \пС — К V~n\ ^ N (п, е) < ехр \пС +
+ KVn\.
(Wolfowitz A957).)
(b)* Докажите, что
( nC — Vn XTm[n +Kn e log n, если 0<s< 1/2,
log W (n, 8) = {
{ nC — Vn XTmax + Kn, e log n, если 1/2 < s < 1,
где величина | Kn, el ограничена константой, зависящей от W и 8, X = К (е) опре-
определяется так же, как в задаче 1.1.8, а Тт\п (соответственно Tmax) — это минималь-
минимальное (соответственно максимальное) стандартное отклонение «информационной
плотности» log \W (Y | X)l(PxW) (Y)\ для СВ X и Y, связанных каналом W и
таких, что I (X /\Y) = С. _
(Strassen A964); тот факт, что log N (п, е) — пС < —К V п , если е < 1/2,
был доказан раньше для ДСК Уэйсом (Weis;- (I960).)

114 Гл. 2. Системы с двумя терминалами
25 (неравномерные коды для канала). Неравномерный код для канала {Wn:
Хп -»- Уп\ определяется как некоторый код (/, <р) для суммы каналов Wn (эта
сумма каналов, см. задачу 13, имеет счетные входной и выходной алфавиты X*
и Y*). Скорость неравномерного кода определяется как A// (f)) log | M/ |, где
1 (Л й (I/(| Mf I) Sm 6 М l (f (т)) — Средняя длина кодовых слов. (При f (т) = п
для любого т £ М/ отсюда получается обычная скорость блокового кода
длины п.)
(a) Докажите, что для ДКБП с пропускной способностью С любой нерав-
неравномерный код со средней вероятностью ошибки ё обладает скоростью, не превос-
превосходящей [С+ 6 (l(f))l(\ — в)], где б (/)-»-0 при *-»-оо. Точнее, б (/) =
= log Bet)/t, где е — основание натуральных логарифмов.
(b) Докажите.аналогичный результат прн наличии входного ограничения.
Указание. Доказать, что для любых XN и YN, связанных суммой каналов Wn,
п = 1, 2, ... (где X = Хг ... Хм, YN = Y± ... Yn — последовательности СВ
случайной длины N), из условия Е 2i=i c W{) ^ Y-EN вытекает, что
/ (XN Л YN) < EN-С (Г) + log (eEN).
Затем действовать так же, как в задаче 5.
(Более точный результат см. в работе Ahlswede—Gacs A977).)
26 (пропускная способность на единицу стоимости). До сих пор мы молча-
молчаливо предполагали, что стоимость передаваемого кодового слова пропорцио-
пропорциональна его длине. Введем более общее предположение, что стоимость передачи
х = хх ... хп £ X" равна 2?=1 с (*')■ где с ~~ некоторая заданная положи-
положительная функция на X. Для кодера /: М/ —>- X* пусть с (/) — арифметическое
среднее стоимостей кодовых слов. Пропускная способность на единицу стоимости
канала {Wп : X" -»- У1} определяется как верхняя грань lira&->oo lie (/fe)) logl M^ I
для последовательностей кодов (fk, срЛ с | M/fe I -»- оо и средней вероятно-
вероятностью ошибки, стремящейся к нулю.
Покажите, что пропускная способность ДКБП {W} равна max [/ (Р, W)l
р
с (Р)], более того, она может быть достигнута посредством блоковых кодов с
фиксированной композицией.
Указание: ср. задачи 25 и 17.
27 (обратная связь не увеличивает пропускную способность ДКБП). В преды-
предыдущих концепциях кода не учитывалась возможность того, что в некоторый мо-
момент времени на входе канала может стать доступной информация относительно
предыдущих выходов канала. В качестве экстремального случая предположим,
что на конце кодера перед поступлением следующего входа канала точно известны
все предыдущие полученные символы (полная обратная связь).
(а) Блоковый код длины п с полной обратной связью для ДКБП {W: X —>- Y}
определяется как пара (/, <р), где кодер / = (/1; ..., fn) — это последовательность
отображений ff. М/ X Y'" -*- X, а декодер ср — отображение ср: Y" -»- М' (М' ID
ID Mf). Вероятность того, что, используя кодер /, при передаче сообщения т £
£ М/ получим выходную последовательность у £ Y", равна
л
Wf (у \т) а Д W (у{ | ft (m, уг, .... у{_г)).
t=\
Вероятности ошибок, связанные с кодом (/, ср), определяются так же, как в случае
отсутствия обратной связи, за исключением того, что вместо A.1) мы теперь пи-
пишем Т (пг' | m) a Wf (cp (m') \ т). Докажите, что допустимые коды с полной
обратной связью не увеличивают пропускную способность ДКБП.
(Shannon A956), Добрушин A958).)

§ 1. Проблема кодирования для канала с шумом lib
(b) Обобщите модель и результат, приведенные выше, на случай неравно-
неравномерных кодов в предположении, что длина передачи может зависеть одновременно
и от посылаемого сообщения, и от полученной последовательности. В качестве
дальнейшего обобщения покажите,что обратная связь не увеличивает пропускную
способность на единицу стоимости.
(Csiszar A973).)
Указание. Предположим, что используется неравномерный кодер / с полной
обратной связью, и СВ М — сообщение, а X , YN — соответствующие входная и
выходная последовательности (случайной длины). Хстя для оценки величины
/ (X Л У ) Уже нельзя воспользоваться указанием к задаче 25, показать, что
им можно воспользоваться для оценки / (М Д YN), если учесть разложение
/ (М Л YN) = f] / (М Л Yj I Y'~l) < fj / (Xj Л Yj | У""-1),
где Xj = Yj a x* ф. X U У при / > N.
28 (пропускная способность с нулевой ошибкой при наличии обратной связи).
Обозначим через С0] / пропускную способность с нулевой ошибкой для заданного
ДКБП {W}, допускающего блоковые коды с полной обратной связью1).
(а) Покажите, что Со> f = 0 тогда и только тогда, когда Со = 0. Далее, если
Со положительна, то Со '/ может быть больше, чем Св
(Ь)* Покажите, что' если Со > 0, то
С0( / = max min Г — log J] P (x) 1.
Р y£Y{ x: W (у | х) > 0 . J
(Shannon A956): в этой работе наблюдение Со ф С0) / приписано Элайсу
(Elias, не опубликовано).)
(c) Покажите, что если W обладает по меньшей мере одним нулевым элемен-
элементом в ненулевом столбце, то можно добиться нулевой вероятности ошибки при
любой скорости передачи, меньшей пропускной способности, если допустимы не-
неравномерные коды с полной обратной связью.
(Бурнашев A976).)
. Указание. Из любого (п, е)-кода (/, <р) можно построить неравномерный код
с обратной связью, обладающий почти той же самой скоростью (если п велико,
а е мало) и нулевой вероятностью ошибки. Выберем х £ X, х" £ X, у £ Y,
такие, что W (у' \х')> W (у' | х") = 0. Для того чтобы передать сообщение от,
передадим сначала кодовое слово / (т). Затем в зависимости от того, была ли по-
полученная последовательность у такова, что <р(у)= т, или нет, передадим k раз х'
или k раз х". Если по меньшей мере один из последних полученных символов был
у', то останавливаем передачу и декодируем т. В противном случае повторяем
передачу / (от) и повторяем дальнейшее.
Историческая справка
Теорема кодирования для канала с шумом (теорема 1.5) была сформулиро-
сформулирована в качестве теоремы 12 в работе Шеннона (Shannon A948)). Интуитивно он до-
допускал справедливость обратного утверждения и наметил доказательство прямого
утверждения, которое позже было разработано в статье Shannon A957a). Первое
строгое доказательство формулы пропускной способности из теоремы 1.5 появи-
появилось в работе Feinstein A954), в которой (слабое) обращение приписывается Фано
(Fano A952, не опубликовано)). Шеннон (Shannon A948)) говорил также о неза-
независимости С£ от s (строгое обращение), хотя это не было доказано вплоть до ра-
*) Буква / в индексе — сокращение от feedback — обратная связь. — Прим.
перге.

il6 Гл. 2. Системы с двумя терминалами
боты Wolfowitz (I957). Приводимое здесь доказательство теоремы 1.5, использую-
использующее следствия 1.3 и 1.4, взято из работы Wolfowitz A957).
В этом параграфе проблема кодирования для канала с шумом представлена
в более общей форме, чем обычно. Леммы 1, 1.4 й 1.8 представляют собой не-
некие модификации результатов работы Кбгпег—Marton A977c). Способ доказатель-
доказательства леммы 1.3, т. е. использование максимальных кодов, принадлежит Файн-
стайну (Feinstein A954), ср. также Thomasian A961).) Лемма 1.6 была получена
в работе Ahlswede—Gacs—Кбгпег A976). Теорема 1.9 является немедленным след-
следствием леммы 1.8; следствие 1.9 было, однако, доказано раньше в работе Ahls-
Ahlswede—DueckA976). Теорема 1.10 появилась в работе Thomasian A961). Происхож-
Происхождение теорем 1.11 и 1.12 туманно; ср. Thomasian A961).
[В работе Delsarte—Piret A982)* строятся коды для широкого класса каналов,
имеющие сколь угодно малую вероятность ошибки при любой скорости передачи,
меньшей пропускной способности. (Перев.)]
§ 2. ВЗАИМОСВЯЗЬ СКОРОСТИ И ИСКАЖЕНИЯ
ПРИ КОДИРОВАНИИ ИСТОЧНИКА И ПРОБЛЕМА ПЕРЕДАЧИ
ИСТОЧНИКА ПО КАНАЛУ
Пусть {Xi}T=i — дискретный источник с алфавитом X и пусть
Y — другое конечное множество, называемое алфавитом воспро-
воспроизведения. Последовательности у £ Yft рассматриваются как воз-
возможные искаженные варианты последовательностей х £ Хк-
Пусть величина искажения измеряется неотрицательной функ-
функцией dk с областью определения Х& X Y&; семейство d Л, {dh\kLi
этих функций называется мерой искажения.
Блоковый код длины k для источника с алфавитом X и алфави-
алфавитом воспроизведения Y определяется как пара отображений (/,
Ф), где / отображает Х/е в некоторое конечное множество, а ф
отображает область значений f в Yk. Отображение / называется
кодером источника, а ф — декодером источника. Скорость та-
такого кода определяется как A/fe) log || / ||.
Отметим, что блоковый код длины k для источника является
кодом в смысле § 1 для канала без шума с множеством сообще-
сообщений М/ JL Xk исМ'А Y&. Причины введения нового определе-
определения скорости, которая теперь зависит от области значений /
(а не от области определения), станут скоро понятными.
В результате применения кодера f и декодера ср выход источ-
источника х £ Х/г представляется в виде g (x) =4= ср (f (x)) £ Y&. Чем
меньше искажение dk (x, g (x)), тем лучше воспроизводится х
при помощи кода (/, <р). Мы будем говорить, что код источника
(f, ф) удовлетворяет критерию ^-точности (d, Д), если
Pr{d*(X*. g(X")) < A} ss 1 — е.
Вместо этого локального условия часто вводят глобальное условие,
состоящее в том, чтобы код источника удовлетворял среднему кри-
критерию точности (d, А), т. е. условию Edh(Xk, g (Xk)) <: Д.
При заданном критерии точности проблема кодирования источ-
источника состоит в построении кодов, удовлетворяющих критерию точ-

§ 2. Взаимосвязь скорости и искажения 117
ности, на которых достигается максимальное сжатие данных, т. е.
кодов, имеющих столь малые скорости, насколько это возможно
(задача 1). Самая первая теорема в этой книге связана именно
с этой проблемой.
ОПРЕДЕЛЕНИЕ 2.1. При заданной мере искажения d неот-
неотрицательное числе R называется е-достижимой скоростью при
уровне искажения А для источника {хЛП=ь если для любого б > О
и достаточно большого k существуют блоковые коды длины k
со скоростью, меньшей, чем R + б, удовлетворяющие критерию
е-точности (d, Д). Число R называется достижимой скоростью при
уровне искажения А, если для любого е, 0 < е < 1, оно является
е-достижимой скоростью. Если R является е-достижимой (соответ-
(соответственно достижимой) скоростью при уровне искажения Л, то пара
(R, Л) называется также е-достижимой (соответственно дости-
достижимой) парой скорость-искажение. Нижняя грань е-достижимых
(соответственно достижимых) скоростей при уровне искажения Л
будет обозначаться через RE (Д) (соответственно R (Д)) (задача 2).
Величина R (Д) будет называться скоростью при уровне искаже-
искажения А источника \Xc\7L\ относительно меры искажения d (зада-
(задача 3). О
ЗАМЕЧАНИЕ. Нте^о/?е(Л) = R (А) (задача 4). О
Скорость при уровне искажения Д можно было бы определить
на основе среднего критерия точности. Однако для дискретных
моделей без памяти, которые мы будем изучать, этот подход, как
мы позже увидим, приводит к тем же самым результатам.
В дальнейшем мы предполагаем, что искажение последователь-
последовательностей определяется как среднее значение искажений их соответ-
соответствующих элементов, т. е.
dk (х, y) = d (х, у) А -^ ^ d (ж,, yt), если х = хх ... xh,
1=1
У = Л ■•■ Уи- B-1)
В этом случае мы говорим о средней мере искажения (задача 5).
Здесь d (x, у)—неотрицательная функция на XxY. Мы будем
также предполагать, что для любого х £ X существует по мень-
меньшей мере один у £ Y, такой, что d (х, у) = 0. Несколько вольно
обращаясь с терминологией, мы будем отождествлять среднюю
меру искажения с функцией d (x, у).
Мы покажем, что для ДИБП с порождающим распределением Р
R(A) = R(P, A)= min I(X/\Y).
рх=р
Ed (X, Y) < Д

Гл. '2. Системы с двумя терминалами
Временно мы обозначим этот минимум через R (Р, А), т. е. поло-
положим
R(P, A) A, .min " I(P, ТС7),
W: d (P, W) < Д
Где ТС7 пробегает множество стохастических матриц ТС7 : X -*- Y и
d (Р, W) Ж S £ PW W (y\x) d (х, у).
Позже, после доказательства теоремы 2.3 мы не делаем никаких
различий между R (Р, Д) и R (Р, Д).
ЛЕММА 2.2. R (Р, Д) при фиксированном Р является конеч-
нозначной, невозрастающей выпуклой функцией от Д ^ 0. Да-
Далее, R (Р, Д) является непрерывной функцией пары (Р, Д), где Р
пробегает множество распределений на X и А ^ 0. О
Доказательство. Минимум в определении R (Р, Д) достигается,
поскольку / (Р, ТС7) — непрерывная функция ТС7 и минимум
ищется на непустом компактном множестве. Монотонность оче-
очевидна. Выпуклость вытекает из выпуклости / (Р, W) как функции ТС7
(лемма 1.3.5), так как из неравенств d (P, W±) <: Ах, d (P, ТС72) <
<: Д2 вытекает, что d (Р, осТС7! + A — a) W.2) <: аДх + A — а) Д2
для любого а, 0 < а < 1.
Для доказательства непрерывности R (Р, А) как функции
пары допустим, что Рп —*■ Р, Ап ->- Д. Если Д > 0, то выберем
некоторое W : X ->- Y, такое, что d (Р, ТС7) < Д, / (Р, ТС7) <
< R (Р, А) + е; это возможно для любого е >> 0, поскольку при
фиксированном Р выпуклость R (Р, Д) влечет за собой ее непре-
непрерывность. Если Д = 0, то выберем ТС7 : X -*- Y таким образом,
чтобы ТС7 (у | х) = 0, если d (х, у) > 0 и / (Р, №) = R (Р, 0).
В силу непрерывности / (Р, ТС7) и d (P, №) в обоих случаях от-
отсюда вытекает,что при достаточно больших п одновременно выпол-
выполняются два неравенства / (Рп, W) < R (Р, Д) + е и d (Р„, W)^
<: Ап. Это доказывает, что
TTm R (Р„, Д„) < R (Р, Д).
С другой стороны, пусть на матрице ТС7„ : X -> Y достигается ми-
минимум в определении R (Р„, Ап). Рассмотрим последовательность
целых чисел \nk\, такую, что
/г->-оо
и, например, ТС7^^ -> ТС7. Поскольку при этом d (Р, ТС7) =
= limfe^ood (Pnk, УРпЛ == Д, отсюда следует, что
£(Р, Д)</(Р, TC7) = lira/(Pn;i> TC7nft)=]im^r(Pn> An). Q

§ 2. Взаимосвязь скорости и искажения 119
ТЕОРЕМА 2.3 (о скорости как функции искажения). Для
ДИБП \Xi\T=\ с порождающим распределением Р для любых е,
О < в < 1, и Д^О
#е (А) = R (А) = min /(ХДЛ (задача 6). О
Ed (Л\ Y) < Д
Доказательство. Сначала докажем утверждение теоремы о
существовании, т. е. что величина R (Р, А) является е-дости-
жимой скоростью при уровне искажения А. С этой целью построим
«обратный» ДКБП \W : Y —>- X} и блоковые коды длины k для
ДКБП \W\. Коды для источника, удовлетворяющие критерию
е-точности (d, А), мы получим, выбирая в качестве кодера источ-
источника декодер канала, а в качестве декодера источника кодер ка-
канала. Дело в том, что для нашей цели требуются коды канала
с большой вероятностью ошибки.
Если А > О, то пусть X и Y — СВ, такие, что РХ = Р,
Ed(X, Y)<C A, и зафиксируем 0 < т < ё < 1. Полагая У0Л. \у :
Рг(у)>0\, рассмотрим ДКБП { W : Yo -> X} с W А, Рх \ г-
Пусть (f, ф) есть (k, ё)-код для этого ДКБП, такой, что для лю-
любого т (Е Mf
f* B.2)
ф-i (m) с Т*л-1 у] (f И), B.3)
и для кода (f, ф) не существует расширения с этими свойствами.
Тогда для достаточно больших k (ср. A.3) в доказательстве
леммы 1.3) множество
ВД U ф-1(т)с=Х/!
удовлетворяет неравенству
Wk (В | у) 3> е — т для любого у f
Следовательно, так как по лемме 1.2.12 PYk (Tfyj) -> 1, то мы по-
получаем, что
£ #е-2т. B.4)
Далее, если k достаточно велико, то по следствию 1.4
(\lk)\og\Mi\<l(X/\Y)+2x. B.5)
Декодер канала ф отображает Xk в множество М' гэ Mf.
Можно предполагать, что |М'| = |Mf| + 1, ибо изменение ф

120 Гл. 2. Системы с двумя терминалами
вне В не накладывает никаких условий на (f, ф). Теперь определим
код источника посредством равенств
( f (т), есл"и т G М?,
/(х)Аф(х); Ф(тL * B.6)
[ произвольно в других случаях.
Положим^м^ max d (a, b). Вследствие B.2) и B.3) для х^В,
a€x,*eY
У =4= Ф (/ (х)) имеем у £ Т[у] и х £ l\x \ v\ (у), так что в соот-
соответствии с леммой 1.2.10
2 2 N(a'ft|x> y)d(a> b)^
2 S PxY (a> fo) d (fl. fo) + 26ft I XI I Y I dM.
=
Это значит, что для достаточно больших k каждое х £ В восста-
восстанавливается с искажением, меньшим чем Л.
В соответствии с условиями B.4) и B.5), выбирая т > 0 доста-
достаточно малым и ё Л, 1 — е + 2т, мы получаем код источника (/, ср),
удовлетворяющий критерию е-точности (d, А) и имеющий скорость
A/fe) log I /I < / (X Л У) + 2т.
Поскольку X и Y были произвольными, удовлетворяющими усло-
условиям Рх = /\ Ed (X, Y) < Л, отсюда следует, что величина
/? (Р, Л — 0) является е-достижимой скоростью при уровне иска-
искажения А. В силу непрерывности R (Р, А) этим завершается доказа-
доказательство утверждения теоремы о существовании при Д > 0.
Если А = 0, то мы повторим это построение, начиная с любых
СВ X и Y, удовлетворяющих условиям Рх = Р, Ed (X, Y) ■= 0.
Заметим, что в соответствии с B.3) из условия ф (х) = т £ М/
вытекает, что Wk (х | / (т)) >0. Поэтому в силу того, что
Ed(X, Y) = 0 получающийся код источника B.6) обладает тем
свойством, что
d(x, Ф (f (х))) = 0 при х е В.
Таким образом, R (Р, 0) является е-достижимой скоростью при
уровне искажения 0.
Теперь мы обратимся к (сильному) обращению. Стремясь
даже к несколько большему,мы будем доказывать следующую рав-
равномерную оценку. При любых заданных е £ @, 1), б > 0, мере
искажения d на Хх Y для скорости бокового кода длины k, удов-
удовлетворяющего е-критерию точности (d, А) для ДИБП с порождаю-
порождающим распределением Р, справедливо неравенство
(\/k) \og\\ f\\^R(P, А) -б B.7)
при всех k ^г £„ (е, б, d).

§ 2. Взаимосвязь скорости U искажения 121
Предполагая, что (/, ф)—такой код, т.е. полагая g (x) =4,
JL ф (/(х)), допустим, что
Pr \d (Xk, (Xk)) < Д} === 1 — е.
Зафиксируем некоторое т > 0, выбор которого уточним позже.
Тогда по следствию 1.2.14 множество
А^{х: х е Т*р], d(x, g(x)) <Д}
имеет мощность
| А | =э exp \k(H(P) — т)}, B.8)
если k ^ kx (т, е, | X |).
Для любого фиксированного у 6 Y& число последовательно-
последовательностей х £ Х& совместного типа Рх.у = Р ограничено сверху вели-
чиной_ехр {kH(X\ Y)}, где X, Y — СВ с совместным распределе-
распределением Р; ср. лемму 1.2.5. Заметим, что d (х, у) <г Д и из условия
х £ Т[Р] вытекает, что
£d (X, f) < Д; \Рк (а) — Р (а)\ *z 8k для любого а £ X B.9)
Рассмотрим пару (X, Y), максимизирующую Н (X, Y) при усло-
условии B.9). Обозначая через С совокупность тех у £ Yk, которые
для некоторого х £ А удовлетворяют равенству у = g (x), имеем
| А | < S I {х: х £ Tfp], d (х, у) <г Д} | <
у€с
)}. B.10)
Поскольку по лемме 1.2.7 из соотношения B.9) вытекает, что
\Н(Р) — Н(Х)\< т,
если k достаточно велико, то из неравенств B.8) и B.10) следует,
что
exp {k (Я (X) - 2т)} <: | А-| < |Ы|ехр \k (Н (X \ Y) + т)|.
Итак, при Р Л- Рх
(l/k)login^(l/k)bgM^I(X/\Y)-toz*R(P, Д)~3т. B.11)
Используя равномерную непрерывность R (Р, Д), которая выте-
вытекает из леммы 2.2 и того факта, что R (Р, Д) обращается в нуль вне
компактного множества, положим в B.11) т = 6/4 и получим
B-7). □
КОММЕНТАРИИ. Теорема 2.3 является таким же фундамен-
фундаментальным результатом для кодирования источника, каким являются
теоремы 1.5 и 1.10 для кодирования канала, и комментарии к тео-
теореме 1.5 приложимы также и к этой теореме. Общие математические

122 Гл. 2. Системы с двумя терминалами
основания этих результатов содержатся в следствиях 1.3 и 1.4.
Заметим, что определение е-достижимых пар скорость-искажение
несколько асимметрично. Однако в'силу теоремы 2.3 и непрерыв-
непрерывности R (А) оказывается, что'пара (R, А) является е-достижимой
для ДИБП тогда и только тогда, когда для любого б > 0 и доста-
достаточно больших k существуют блоковые коды длины k со скоростью,
меньшей чем R + S, удовлетворяющие условию Pr \d (Xk, g (Xk))<£.
<: A + 6} ;> 1 — e. Наконец, поскольку RE (A) — это нижняя
грань величин
ТШГ (Ш) log |Ы1 B-12)
ft-»-с»
по всем последовательностям отображений gh: Xfe-*-Yfe, удов-
удовлетворяющим условию Pr \d (Xk, gk (Xk)) ■< A} ^ 1 — e, то
из теоремы 2.3 вытекает, что эта нижняя грань равна
min I (X /\Y).
Ed {X, Y) < Д
В силу B.7) эта нижняя грань не уменьшится, если в B.12) верх-
верхний предел заменить нижним, т. е. снова «пессимистическая»
и «оптимистическая» точки зрения приводят к одному и тому же
результату. Для каналов аналогичное наблюдение было сделано
в отношении теоремы 1.12. О
Следствие 1.12 теперь имеет следующий аналог.
СЛЕДСТВИЕ 2.3. Положим
Rn (A) A, min A/я) / (X" Д уп)'
Ed (Хп, У") < Д
где минимум берется по СВ Хп и Yn со значениями в X" и соответ-
соответственно Y", таким, что Рхп = Р". Тогда
Rn (А) = #! (А) = R (Д) при п = 2, 3, ... . О
Доказательство. По теореме 2.3 nRn (А) является скоростью
при уровне искажения Д ДИБП с алфавитом X" и порождающим
распределением Р™. Очевидно, блоковые коды длины k для по-
последнего ДИБП, удовлетворяющие критерию е-точности (d, А), яв-
являются блоковыми кодами длины nk для первоначального ДИБП,
удовлетворяющими тому же самому критерию точности. Следова-
Следовательно, принимая во внимание B.7), получаем, что скорость при
уровне искажения А нового ДИБП равна nR (A). Q
Вернемся теперь к проблеме надежной передачи ДИБП по
ДКБП, иллюстрируемой рис. 2.1. Комбинируя теоремы кодиро-
кодирования для источника и канала, полученные до сих пор, мы можем
дать ответ на проблему ПМСП, поставленную на интуитивном
уровне во введении. А именно, совмещая коды для источника и
канала, мы покажем, что ПМСП равна отношению скорости при
уровне искажения Д и пропускной способности канала.

§ 2. Взаимосвязь скорости и искажения 123'
Для заданных источника {St};Li с алфавитом S и канала
{Wn' X"->■ Y"}™=i с входным и выходным алфавитами X и Y
и алфавитом воспроизведения U (k, п)-блоковый код определяется
как пара отображений /: Sfe ->■ X", ср: Yn -> Uft. При таком
коде вход канала — СВ Xn^f(Sk). Выход канала — это СВ
У", связанная с Хп каналом Wn и зависящая от Sk только через Хп
(т. е. Sk -е- Хп -е- Y"). К получателю приходит L/* =4, ф (У).
При заданной мере искажения d на S X U мы говорим, что код (/, ф)
Источник I—э—| Декодер |—*—| Канал |—»—| Декодер |—*—|Полу
Рис. 2.1.
удовлетворяет среднему критерию точности (d, А) (Л ^ 0),
если
Ed (SK U") = £ £ Psk (s) Wn (y | / (s)) d (s, Ф (у)) < Л. B.13)
Далее, При заданной функции ограничения с на X говорят, что
код (/, ф) удовлетворяет входному ограничению (с. Г) (Г ^ 0),
если с (х) « Г для любого х из области значений /.
ТЕОРЕМА 2.4 (о передаче источника по каналу). Если
\Si\T~\— ДИБП и |№: X-*►¥}■ — ДКБП, то для любых
(d, Д) и (с, Г) с Д > 0 существует последовательность (k, пку
блоковых кодов (/А, ф/,), удовлетворяющих среднему критерию
точности (d, Д) и входному ограничению (с, Г), таких, что
Urn (nhlk) — i
С другой стороны, если (k, n)-блоковый код удовлетворяет сред-
среднему критерию точности (d, Д) и входному ограничению (с, Г)
или более слабому ограничению Ее (/ (S*)) <£ Г, то
я/* 2* Я (Д)/С (Г). О B.14)
Доказательство. Мы будем доказывать, что для любого 0 <
< S < Д и для достаточно больших k существует (k, nk)-блоко-
nk)-блоковый код с
(nk/k) < [/? (Д — 6)/С (Г)] + б, B.15)
удовлетворяющий среднему критерию точности (d, А) и входному
ограничению (с, Г). В совокупности с непрерывностью R (А)
это доказывает утверждение теоремы о существовании.
Зафиксируем е > 0, которое будет выбрано позже. Рассмотрим
блоковые коды источника (fh, щ) длины k, удовлетворяющие кри-

124 Гл. 2. Системы с двумя терминалами
терию е-точности (d, Л — S), и (п, е)-коды (fn, ф„) для ДКБП { W\,
удовлетворяющие входному ограничению (с, Г), такие, что
lim A/й) log-JI h I = R (A — б), B.16)
lim A/n) log I Mf I = С(Г). B.17)
Пусть nh — наименьшее целое число, для которого объем множе-
множества сообщений fn равен по меньшей мере J fft ||. Тогда из равенств
B.16) и B.17) получаем, что
lim {nhlk) = R (A — б)/С (Г).
fe-»-oo
Мы можем предполагать, что область значений fk, обозначае-
обозначаемая Mft, является подмножеством множества сообщений fn
Тогда из кода источника (fh, q>h) и кода канала (fnk, 4>nh) можно
построить (k, nk)-блоковый код (fh, (f>k), полагая
. ч л , Фл(Фпь(у)). если ф„ (у) 6 Mk,
, (у) JL j к h ' h
произвольно в остальных случаях.
Этот код по построению удовлетворяет входному ограничению
(Cj Г). Мы проверим, что он также удовлетворяет среднему кри-
критерию точности (d, А) при условии, что е > 0 достаточно мало.
Действительно, неравенство d (Sk, срй (Y"h)) > A — б может
иметь место, только если либо d (Sk, <p& (f& (Sft))) > Д — б,
либо q>nk (F"ft) Ф fft (Sk). Поскольку (fA, щ) удовлетворяет кри-
критерию е-точности (d, Д), а максимальная вероятность ошибки
(fnk> 4>nh) не превосходит s, то оба события имеют вероятность
самое большее е. Таким образом, полагая <iM Л> maxs>H d (s, и),
получаем, что
Ed (Sk, cpft (Г-й)) <;■ Д — б + 2sdM < Д,
если е < б BdM)~1-
Переходя к обратному утверждению теоремы, предположим,
что (/, ср) —• произвольный (А, п) -блоковый код, удовлетворяю-
удовлетворяющий среднему критерию точности (d, Д) и ограничению Ее (/ E*)) <:
<: Г. Тогда
kR (Д) = kRk (Д) < / (S* Л Ф (Уп)), B.18)
где равенство вытекает из следствия 2.3, а неравенство выпол-
выполняется по определению Rk (Д). По лемме об обработке данных
/ (S* Л Ф (П) < / (/ (Sk) Л Y"). B.19)

§ 2. Взаимосвязь скорости и искажения
125
Далее, из определения Сп (Г) и следствия 1.12 имеем
/ tf (S*) Л *"•)"«:«£» (Г) = лС (Г).
Совмещая последнее соотношение с неравенствами B.18) и B.19),
получаем B.14). П
ОБСУЖДЕНИЕ. Интереснейший аспект теоремы 2.4 одно-
одновременно как с математической, так и с технической точек зрения
заключается в том, что асимптотически не возникает потерь, если
Источник
Получатель
Источник
кодера
Канал
кодера
Канал
Канал
декодера
Источник
декодера
Кодер
Декодер
Рис. 2.2.
и кодер, и декодер в блок-схеме Шеннона на рис. 2.1 состоят из
двух устройств, одно из которых зависит только от источника,
а другое — только от канала (рис. 2.2). Этот феномен является ос-
основной причиной, позволяющей изучать проблемы кодирования
источника и канала по отдельности. Не удивительно, что блоковые
коды источника, т. е. коды, предназначенные для передачи по
каналу без шума, действуют также хорошо и в сочетании с хоро-
хорошим кодом для канала с шумом. В действительности это следствие
почти бесшумового характера нового канала, определяемого в
смысле A.1) таким кодом канала.
Теорема 2.4 применима также к бесконечно длящейся передаче.
Как объяснялось во введении, надежная бесконечно длящаяся
передача может быть успешно реализована посредством блоко-
блокового кодирования при условии, что критерий точности обладает
следующим свойством: если последовательные блоки и их воспроиз-
воспроизведения по отдельности удовлетворяют критерию точности, то
ему должны удовлетворять и их последовательные объединения.
Теперь это свойство обеспечивается предположением B.1), если
применяется средний критерий точности (d, Д). Заметим, что это
не так в случае критерия е-точности {d, A).
Задачи
I {вероятность ошибки и критерий точности по частоте ошибок). Пусть
X = Y и пусть расстояние между последовательностями длины k определяется
как расстояние Хэмминга, деленное на k, т. е. d^ (х, у) й, (l/fe) dH (x, у). Про-
Проверьте, что в этом случае код (/, ф) удовлетворяет критерию 8-точности (d, 0)
тогда и только тогда, когда Рг {ф (J (Хк)) Ф Хк\ < s. Далее, код if, ф) удовлетво-
удовлетворяет среднему критерию точности (d, Д) тогда и только тогда, когда математиче-

126 Гл. 2. Системы с двумя терминалами
ское ожидание относительной частоты ошибочно воспроизводимых символов
в последовательности X равно самое большее Д.
2. Предположим, что X = Y и 4 п метрика на X* для любого k. Рассмо-
Рассмотрим сферы S (у, Д) й {х : dk (х, ^г) ^ Д}. Пусть iVe (k, Д) — наименьшее число
таких сфер, покрывающих Xk с точностью до множества вероятности самое боль-
шеее, т. е. наименьшее целое N, для которого существуют ух, у2,..., Угу. такие, что
N
U S(yf,
Проверьте, что
Tim (Ilk) log N& (k, Д) = R& (Д).
To же самое верно и для произвольной меры искажения, если исключитьгеоме-
трнческую интерпретацию множеств S (у, Д).
Указание: выбрать в качестве уг возможные значения <р (/ (х)).
3. Проверьте, что для передачи заданного источника по двоичному каналу
без шума, надежной в смысле критерия е-точности (d, Д), скорость Re. (Д) равна
ПМСП (см. введение).
4. (скорость при нулевой ошибке). Покажите, что, вообще говоря,
R0(A)=£R (A)u\imRe(A).
е-М)
(Проблема нулевой ошибки для источников в отличие от каналов решена, ср.
теорему 4.2.)
б. Пусть & — произвольная конечнозначная функция, определенная иа
XX Y. Положим d (х, у) =& (х, у) — min d (x, у). Получите результаты, эк-
yt Y
вивалеитные результатам § 2.2, для d при помощи этого преобразования.
в (слабое обращение), (а) Докажите следствие 2.3 непосредственно, испельзуя
свойства взаимной информации, установленные в § 1.3.
(Ь) Используйте этот результат, чтобы показать, что
R (Д) 3» min / (X Д Y).
Ed (X. У) <Д
7 (средний критерий точности), (а) Проверьте, что в теореме 2.4 содержится
результат, противоположный теореме 2.3 для кодов, удовлетворяющих среднему
критерию точности (d, Д) при условии, что А > 0.
(Ь) Покажите, что при Д = 0 этот противоположный результат неверен;
более того, минимальная достижимая скорость в последнем случае равна Ro @),
8. Докажите, что в условиях теоремы 2.4 для передачи, надежной в смысле
критерия е-точности (d, Д), величина ПМСП также равна R (Д)/С (Г). В отличие
от теоремы 2.4 это верно также при А = 0.
9 (критерий точности по частоте ошибок). Покажите, что если X = Y
и мера искажения d (х, у) равна 0, если х = у, и равна 1 в остальных случаях,
то для ДИБП с произвольным порождающим распределением Р
R (Д) > И (Р) - Д log (| X | - 1) - h (Д);
равенство достигается в случае Д ^ (| X | — 1) min -- Р (х).
Указание: воспользоваться неравенством Фано и аккуратно повторить его
доказательство для условия равенства.
(Явное выражение R (Д) для любого Д ^ 0 было получено Ерохиным,
1958),

§ 2. Взаимосвязь скорости и искажения \Ч1
10 (переменный уровень искажения), (а) Покажите, что для ДИБП минимум
величины lim^^ (ilk) log ||/й || для последовательностей кодов, удовлетворяющих
критериям е-точности (d, Д^), равен R (Пт^^Д^).
(Ь) Докажите тот же самый результат для среднего критерия точности при
условии, что Нт^вдДд > 0.
11 (произведение источников). Произведение двух ДИБП с входными алфа-
алфавитами Хх, Х2 и порождающими распределениями Рг, Яа определяется как
ДИБП с входным алфавитом Х^ХХ2 и порождающим распределением Р1ХР2.
Покажите, что если два источника имеют скорости при уровне искажения Д,
соответственно R± (Д) и R2 (Д), и при заданных мерах искажения, соответственно
d± и dz, то скорость при уровне искажения Д произведения источников относи-
относительно меры искажения d ((xlt х2), (ух, у2)) & dx (хъ ух) -j- d2 (х2, у2) есть
Я(Д) = min ' i.Ri(^+R
(Shannon A959).)
12 (пиковая мера искажения). Пусть функция, измеряющая искажение двух
последовательностей, определяется как наибольшее искажение их соответствую-
соответствующих символов, т. е.
dk (х, у) Д max d (xit yt) (x € Xfe, у <= Y*).
Покажите, что относительно этой меры искажения скорость при уровне иска-
искажения Д ДИБП с порождающим распределением Я есть
R (Д) = Re (Д) = min / (X Л У) для любого 0 < г < 1.
РХ=Р
Рг [d (X, Y) < Д] =1
Проверьте, что эта скорость R (Д) является ступенчатой функцией, и если
только Д не является точкой скачка, то альтернативное определение скорости
при уровне искажения Д, индуцируемое средним критерием точности (d, Д),
приводит к тому же самому результату.
Указание. Применить теорему 2.3 к средней мере искажения (ср. B.1)),
построенной на основе
«*"*(*• У) *Zb
1, если d(x,y)> Д,
d (х ц)*
при уровне искажения 0. Или рассуждать непосредственно так же, как в доказа-
доказательстве теоремы 2.3.
13 (неконечные меры искажения). Проверьте, что теорема 2.3 верна также,
если d (х, у) = -|~ °° Для некоторых пар (х, у) £ XX Y. Докажите аналогичное
утверждение для среднего критерия точности (d, Д), если Д > 0, при условии, что
существует у0 € Y, такой, что d (х, г/0) < -)- оо для любого х £ X с Я (х) > 0.
(Gallager A968), теорема 9.6.2.)
14 (несколько мер искажения). Пусть {dx} с — ие обязательно конечное
семейство средних мер искажения с общими алфавитами (ср. B.1)), таких, что
(i) для любого х £ X существует у (; Y с d^ (х, у) = 0 для любого X £ Л;
(ii) dx (х, у) меньше, чем некоторая константа D < оо, либо dx (x, у) = оо.
Для заданного источника |X;l^_j блоковый код (f, cp) длины k удовлетворяет кри-
критерию е-точности id^, &x\\pa' если
Рг \dx (Xk, rp (/ (X*))) < Дя для любого X <= А} :> 1 — е.

128 Гл. 2. Системы с двумя терминалами
Определите Re. ((Дх,!) и R ((Ад,)) по аналогии с Re (А) и соответственно R (А)
и покажите, что если inf д ^дЛ^ > 0, то дляДИБП с порождающим распреде-
распределением Р
£e(!V,) = lhin I (X a Y),
«
где минимум берется по СВ X и Y, таким, что Рх = Р и Ed^ (X, Y) ^ Д^ для лю-
любого X £ А.
15 (неравномерные коды), (а) Для заданных ДИБП |ХЛ^_! и меры искаже-
искажения d (х, у) на XX Y покажите, что для любого А ^ 0 существуют коды (/^, ф^)
c/ft:Xfe-M0, 1}*, Фа : {0, l}*-^Y/e, такие, что d(X*. <ph(fk(Xk))) ^ &>
с вероятностью 1 и Hm^^ (ilk) El (fk (Xk)) = R (A).
Указание: воспользоваться теоремой 2.3.
(b) Используя обозначения теоремы 2.4, покажите, что если неравномерный
код (Д ф), где / : Sfe -> X*, ф : Y* -*■ Uk, удовлетворяет среднему критерию точ-
точности (d, А), то средняя длина кодовых слов / (/) = (\lk) El if (Xk)) удовлетво-
удовлетворяет неравенству
Указание: ср. указание к задаче 1.25.
(с) Докажите, что утверждение (Ь) справедливо также для кодов с полной
обратной связью.
Указание: воспользоваться задачей 1.27.
16 (оптимальная передача без кодирования). Пусть Х= Y= {0, 1}, пусть
\Х^=1 — ДИБП с порождающим распределением Я й A/2, 1/2) и {W} — двоич-
нЬ1й симметричный канал с вероятностью ошибки р < 1/2. Тогда, если и кодер,
и декодер являются тождественными отображениями, то средняя частота ошибок
равна р. Покажите, что никакой код со скоростью передачи 1 не может давать мень-
меньшей средней частоты ошибок.
Указание: ср. задачи 9 и 1.7.
(Jelinek A968b), § 11.8.)
17 (дистанционные источники). В предположении, что кодер не имеет пря-
прямого доступа к выходам источника, а получатель не имеет прямого доступа
к выходу декодера, представляет интерес следующая математическая модель. Для
заданного ДИБП [Xi )f=1 и двух ДКБП {W± : X -»■ X}, {W2 : Y -> Y} блоковый
код длины k. определяется, как в начале этого параграфа, посредством пары отоб-
отображений. Однако, хотя выход источника равен Xk, кодер / прилагается к X —
выходу w\, соответствующему входу Xk. Аналогично, к получателю приходит
Yk —выход wf, соответствующий входу Yk = ф (/ (Xk)).
(a) Покажите, что скорость при уровне искажения Д, соответствующая сред-
среднему критерию точности Ed (Xk, Yk) ^ А, равна min I (X /\ Y) для СВ X -е-
■Q-X-QY-Q-Y, удовлетворяющих неравенству Ed (X, Y) <: Д, причем X и X
(соответственно У и У) связаны каналом Wx (соответственно W2) и Рх = PXi
(b) Докажите соответствующую теорему о передаче источника по каналу.
(Добрушин—Цыбаков A962), Berger A971).)
Историческая справка
Теоремы этого параграфа были эвристически сформулированы Шенноном
(Shannon A948)). Теорема 2.4 н результат, эквивалентный теореме 2.3, для сред-
среднего критерия точности были доказаны Шенноном (Shannon A959)); аналогичные

§ 3. Вычисление пропускной способности канала 12Э
результаты были получены для более общей и сложной постановки Добрушиным
(Добрушин A959b)). Приводимая здесь теорема 2.3 неявным образом содержится
в работе Вольфовица (Wolfowitz A966)); доказательство принадлежит ему же.
§ 3. ВЫЧИСЛЕНИЕ ПРОПУСКНОЙ СПОСОБНОСТИ КАНАЛА
И СКОРОСТЕЙ ПРИ УРОВНЕ ИСКАЖЕНИЯ Д
Мы уже видели, что пропускная способность ДКБП {W :
: X —»- Y} при входном ограничении (с, Г) равна
C{T) = C(W, Г)= max I(P, W) (Г^Г0), C.1)
Р: с (Р) <Г
где Го й min^ x с (х). Аналогично, скорость при уровне иска-
искажения Д ДИБП с порождающим распределением Р равна
R (Д) = R (Р, Д) = min / (P, W) (Д =з 0). C.2)
W: d (P, W) < Д
Аналитическое решение экстремальных задач C.1) и C.2)
возможно только в нескольких частных случаях. В этом параграфе
мы приводим эффективные алгоритмы для вычисления С (Г)
и R (Д) для произвольных ДКБП и ДИБП соответственно. В ка-
качестве побочного продукта будут найдены новые характеристики
функций С (Г) и R (Д).
Зафиксировав ДКБП и функцию ограничения, будем рассма-
рассматривать пропускную способность при входном ограничении (с, Г)
как функцию Г и называть ее пропускная способность как функ-
функция ограничения. Аналогично, при фиксированных ДИБП и мере
искажения скорость при уровне искажения Д будем рассматривать
как функцию Д и называть ее скорость как функция искажения.
Последняя функция положительна тогда и только тогда, когда
Д < Д* й min Ц Р (х) d (x, у), C.3)
У х
поскольку матрица W с одинаковыми строками W (■] х), удовлет-
удовлетворяющая неравенству d (P, W) < Д, существует тогда и только
тогда, когда А ^ Д*. Таким образом, при изучении скорости
как функции искажения можно сосредоточить внимание на Д <
< Д*. Аналогом Д* для пропускной способности как функции
ограничения является наименьшее значение Г, для которого С (Г)
совпадает с пропускной способностью С, вычисленной без огра-
ограничения, однако это значение Г* не так просто определяется,
как А*.
Так как по теореме 1.11 С (Г) является неубывающей вогнутой
функцией, и по лемме 2.2 R (А) является невозрастающей выпук-
выпуклой функцией, то мы видим, что С (Г) строго возрастает при Го ■<:
< Г <: Г*, a R (А) строго убывает при 0 <: Д < Д*. В част-
частности, в этих интервалах при достижении .экстремума в C.1)
5 Чисар И., КёрнерЯ.

130
Гл. 2. Системы с двумя терминалами
(соответственно в C.2)) в ограничении, по которому ищется экстре-
экстремум, неравенство можно заменить на равенство.
Нам понадобится утверждение, что кривая С (Г) является оги-
огибающей снизу семейства прямых линий, пересекающих вертикаль-
вертикальную ось с угловым коэффициентом у (у s= 0):
F (у) Д max [/ (Р, W) — ус (Р)],
р
с .,._,-__,_
Л -Опорная прямая с угловым
коэффициентом -&
Опорная прямая с угло-j
вым коэффициентом у '
Рис. 3.1.
(а) Пропускная способность как функция ограничения. (Ь) Скорость как
функция искажения.
в то время как кривая R (Д) является огибающей сверху семей-
семейства прямых линий, пересекающих вертикальную ось с угловым
коэффициентом — б (б ггг 0):
G (б) a min [/ (р, щ + 8d
w
ЛЕММА 3.1. Справедливы равенства:
С (Г)
(Р, W)
R (Д) = max
6>0
min [F (у) + уТ], если Г > Го,
3 (б) — б Д ], если 0 < Д < Д*.
C.4)
C.5)
Более того, если при некотором у ^ 0 на Р достигается макси-
максимум выражения / (Р, W) — ус (Р) и Г й с (Р), то / (Р, W) =
= С (Г). Аналогично, если при некотором б > 0 на ^достигается
минимум выражения / (Р, W) + 8d (P, W) и b.ud(P, W),
то / (Р, W) = R (Д). О
ЗАМЕЧАНИЕ. В формуле скорости как функции искажения
можно исключить 6 = 0, поскольку R (Д) > 0 при Д < Д*. О
Доказательство. Из условиям (Р)-< Г вытекает, что / (Р, W) —
— yc(P)^I(P, W)—уТ, откуда, очевидно, следует неравенство
С (Г) <: infv>0 \.F (у) + -уГ]. Остается проверить, что для лю-

§ 3. Вычисление пропускной способности канала 131
бого Г > Го существует у Зг О, для которого С (Г) = F (у) +
+ уТ. Если Г ;=> Г*, то положим у = 0. Если Го < Г < Г*,
то в силу выпуклости и строгой монотонности С (Г) существует
некоторое у > 0, такое, что
С (Г') < С (Г) + у (Г' — Г) для всех Г' ^ Го. C.6)
Пусть на Р достигается максимум в C.1). Тогда с (Р) = Г, и для
любого Р', где Г' й с (Р')У из неравенства C.6) вытекает, что
I(P', W) — ус (Р') <. С (Г) — 7Г<
<С(Г) — уГ = I(P, W)-yc(P).
Таким образом, F (у) = I (P, W) — ус (Р) = С (Г) — уГ, и до-
доказательство C.4) закончено. Доказательство C.5) проводится
аналогично, и мы его опустим.
Остальные утверждения очевидны. □
Из леммы 3.1 вытекает, что пропускная способность как функ-
функция ограничения и скорость как функция искажения легко вы-
вычисляются, если известны функции F (у) и G E). В частности,
С = F @). Займемся вычислением F (у) и G (б).
Наша цель состоит в представлении максимума в определе-
определении F (у) в виде двойного максимума таким образом, чтобы при
фиксированной одной переменной максимум относительно другой
переменной легко вычислялся. Аналогично, G (б) мы выразим
как двойной минимум.
Мы будем пользоваться в дальнейшем очевидным равенством
D (W\\Q\P)u%P(x)D (W(-\x)\\Q) = I(P, W) +D(PW\\Q),
C.7)
которое справедливо для любого распределения Q на Y.
При фиксированном канале W : X -> Y и фиксированной у 5= 0
рассмотрим следующую функцию двух распределений на X:
F (Р, Р') = F (Р, Р', у, W) й
А£> (W\\P'W\P)—D(P\\Pr) —yc(P).
ЛЕММА 3.2. При фиксированном Р функция F (Р, Р') мак-
максимальна, если Р' = Р, и
max F (Р, Р') = / (Р, W) — ус (Р).
р'
При фиксированном Р' функция F (Р Р') максимальна, если
Р (х) = (УА) Р' (х) exp ID (W-(• \x)\\P'W) —yc(x)],
где А — нормирующая константа, и
max F (Р, Р') = log 2] Р' (х) explD (W (■ | x)\\P'W)— ус (х) I.Q

132 Гл. 2. Системы с двумя терминалами
СЛЕДСТВИЕ 3.2А. Для любых РВ Р на X и Q на Y
log Ц Р (х) explD (W(-\x)\\PW) — ус (х)} <
<: F (у) <zmax [D (W(-\x)\Q)—yc(x)]. О
*<EX
СЛЕДСТВИЕ 3.2В. F (у) = maxP, P.F (P, Р'). О
Доказательство. В силу C.7)
/? (Р, р') = / (Р, «О + £) (РГЦР'Г) — D (Р\Р') — ус(Р).
Из этого равенства и из леммы об обработке данных вытекает пер-
первое утверждение. Второе утверждение является следствием леммы
1.3.12, применяемой при а = —1 и
/ (х) й log Р' (х) + D (W (• | х) || Р' W) — у с (х).
Остается проверить второе неравенство следствия 3.2А. Оно
вытекает из соотношений C.7), если применить их к РВ Р, макси-
максимизирующему величину / (Р, W) —■ ус (Р):
max ID (W (■ | х) || Q — ус (х)} ;=> D (Щ Q\ Р) — ус (Р) =
6
== / (Р, WO + D. (PTF1Q) — ус (Р) = F (v) + £> (>r||Q). П C.8)
Следствие 3.2В означает, что F (у) можно вычислить посред-
посредством итераций, попеременно максимизируя F (Р, Р') относительно
Р и Р'. Следующая теорема показывает, что эти итерации действи-
действительно сходятся к F (у), при условии что мы начинаем со строго
положительного распределения Рх.
ТЕОРЕМА 3.3 (алгоритм вычисления пропускной способности).
Пусть Рх — произвольное распределение на X, такое, что Рг (х) >
> 0 для любого х £ X. Определим распределения Р„, п =
= 2, 3, ..., рекуррентно с помощью равенств
Рп (х) й A^Pn-i (х) exp Id W (• | х) \\ Pn-i W) — ус (х) I, C.9)
где Ап определяется условием, чтобы Рп было РВ на X. Тогда
log Е Рп (х) exp lD(W(-\x) 1 РпW) - ус (х)] = log An+1
х£ х
сходится снизу и гпах^.^ [D(U?(.|x) || Pn W) — ус (л;) I схо-
сходится сверху к F (у). Более того, последовательность распределе-
распределений Рп сходится к распределению Р*, такому, что / (Р*, W) —
— ус (Р*) = F (у). О
Доказательство. В соответствии с леммой 3.2 F (Ри Рг) з£
< F (Р„ Рг) < F (Р„ Р,) < F (Р3, Ра) < • • -, поэтому F (Р„,
Рп) = / (Рп, Ю — 7^ (Рп) и F (Р„, Рп_х) = log An сходятся,
не убывая, к одному и тому же пределу, не превосходящему F (у).

§ 3. Вычисление пропускной способности канала 133
Если Р — некоторое РВ, для которого / (Р, W) —-ус (Р) =
= F (у), то из предыдущего, C.9) и C.7) получаем
О <: F (у) — log An = I (P, W) — ус (Р) — log An =
= /(Л W)+ V Р (х) logpPn?, -D (WjPn^WWP) <:
^§rn). C.10)
Следовательно, отсюда вытекает, что ряд 2 £L2 (F (у) — log Лл)
сходится; таким образом, log Ап —>- F (у), что и требовалось до-
доказать. Для того чтобы проверить, что последовательность Рп
также сходится, выберем сходящуюся подпоследовательность,
например Р„А->Р*. Тогда, очевидно, I {Р*, W) — ус (Р*) =
== F (у). Подставляя Р = Р* в C.10), видим, что последователь-
последовательность дивергенций D (Р* \\ Рп) не возрастает. Следовательно, из
того, что D (Я* || Pnk) -*- 0, вытекает, что D (Р* \\ Рп) -*- 0, если
Рп-+Р*.
Наконец, из уже доказанных соотношений сходимости и ре-
рекуррентного определения Рп получаем, что
lim рР" {Х1 = exp [D(W(\x) || P*W) - ус (х) - F (у)].
п-*<х> гп-1 \л)
Но этот предел равен 1, если Р* (х) > 0, и не превосходит 1,
если Р* (х) = 0. Поэтому для любого х £ X
D(W(-\x)lP*W)-yc(x)<z F (у), C.11)
причем равенство достигается, если Р* (х) > 0. Тем самым дока-
доказано, что тахж [D (W (-| x) || PnW — ус (х) ] -»- F (у), и по след-
следствию 3.2А — это сходимость сверху. П
ТЕОРЕМА 3.4. Для любого у =з 0
F (у) = minmax [D (W (-|*)||Q) — ус (х)], C.12)
где Q пробегает все РВ на Y. Минимум достигается тогда и только
тогда, когда Q = PW, где Р такое РВ на X, что
I (P, W)—yc(P) = F(y). C.13)
Такое Q единственно. РВ Р удовлетворяет равенству C.13) тогда
и только тогда, когда величина D (W (-\ х) \\ PW)—• ус (х)
постоянна на носителе Р и не превосходит этой постоянной в ос-
остальных случаях. О
СЛЕДСТВИЕ 3.4. При Г > Го
С (Г) = minminmax [D (W (-| x) \\ Q) + у (T — с (х))].
Q >0 £

134 Гл. 2. Системы с двумя терминалами
Минимизирующее распределение Q является распределением на
выходе канала W, соответствующим какому-нибудь распределе-
распределению на входе, на котором достигается пропускная способность
канала при входном ограничении (с, Г). О
КОММЕНТАРИЙ. Поскольку F @) = С, то из теоремы 3.4
получается новая формула для пропускной способности ДКБП
\W\:
С = minmaxZ) (W (-| x) || Q)
Q *€х
(задача 1). Эта формула обладает интересной «геометрической»
интерпретацией. Поскольку информационная дивергенция явля-
является (неметрическим) «расстоянием» между распределениями, то С
может быть интерпретирована как радиус наименьшей «сферы»,
содержащей множество распределений W(-\x), х £ Х- Тогда
минимизирующее распределение Q является центром этой «сферы»
(задача 2). О
Доказательство теоремы 3.4. Утверждение C.12) вытекает из
C.8) и C.11). Пусть Р — некоторое РВ, для которого / (Р, W) —
— ус (Р) = F (у), тогда из соотношений C.8) видно (при Р й Р),
что если на РВ Q на Y достигается минимум в выражении C.12),
то D (PW\\Q) = 0, т. е. Q = PW. Таким образом, хотя может
быть несколько РВ Р, максимизирующих разность / (Р, W) —
— ус(Р), но соответствующее распределение на выходеР W единст-
единственно и это то единственное распределение Q, на котором дости-
достигается минимум в выражении C.12). Далее, если Р удовлетворяет
равенству C.13), то, как мы видели,
max [D (W (■ | х) || Р W) — ус (х) ] = F (у),
*£x
поэтому из соотношений C.8) получается, что
D (W (-\x) \\PW) — ус(х) = F (у), если Р (х) > 0.
Последние две формулы доказывают, что выражение
D (W (-| х) || PW) — ус (х) постоянно на носителе Р и нигде
не превышает этой постоянной. Следовательно, если Р обладает
тем свойством, что
/ (Р, W) — ус (Р) = max [D (W (■] х) \\PW)- ус (Р) I,
xQ X
то такое Р в силу C.8) удовлетворяет C.13). Этим заканчивается
доказательство теоремы. Следствие вытекает из леммы 3.1. □
Аналогичные результаты справедливы для функции G (б)
и скорости как функции искажения. Фиксируя распределение Р
на X и б > 0, рассмотрим следующую функцию двух каналов
Ц7:Х^УиГ:Х^У:
G {W, W') = G(W, W, б, P)UD (W\PW \Р) -г 6d(P, .W),

§ 3. Вычисление пропускной способности канала 135
ЛЕММА 3.5. При фиксированном W минимум G (W, W)
достигается при W' й W, и
min G (W, W) = / (Р, W) + 8d (Р, W).
При фиксированном W минимум G (W, W) достигается тогда и
только тогда, когда
W & I X> = Ajx) P W' (У) ехР [-8d <*• У)]'
где А (х) й Ц PW (у) ехр [—8d (x, у)],
min G (W, W) = — Ц P (x) log A (x). О
СЛЕДСТВИЕ 3.5. G F) = minw, w G (W, W). О
Доказательство. Первое утверждение вытекает из соотноше-
соотношений C.7). Для проверки второго утверждения заметим, что для
любых положительных чисел В (х), х £ X,
G(W, W) =J^P(x)W (у \х) [log
х, у
(хIоё-Щ--1оё ^B(x)PW'(y)exP[-8d(x, у)], C.14)
х х, у
где последний шаг является следствием неравенства для суммы
логарифмов. Равенство достигается тогда и только тогда,, когда
Р (х) W (у\х) = сВ (х) PW (у) ехр [— 8d (x, у))
для некоторой константы с > 0. Теперь искомое утверждение по-
получается, если положить В (х) й IP (x)/A (х)]. □
ТЕОРЕМА 3.6 (алгоритм вычисления скорости при уровне
искажения Д). Пусть Wx : X -*• Y — произвольный канал, для
которого Р Wi (у) > 0 при любом у £ Y. Определим каналы Wn :
X -*■ Y (п = 2, 3, ...) рекуррентным образом как
Wn (у\х)й An1 (x) PWn-i (У) ехр [—8d (x, у)],
где Ап (х) — нормирующие константы. Тогда
Р(*) log A« W - max lQg 2 "£f§j-exP l~8d (x> У)\ <■
G F) < - J] P (x) log Л„ (jr), C.15)
*£ x

136 Гл. 2. Системы с двумя терминалами
и обе (нижняя и верхняя) границы сходятся к G (б) при п -*- оо.
Более того, последовательность матриц Wn сходится к матрице W*,
такой, что / (Я, W*) + Ы (Я, W*) = G (б). О
Доказательство. Первое неравенство в C.15) получается, если
подставить в C.14) В (х) Ж [Р (х)/Ап (х)] и воспользоваться
следствием 3.5. В соответствии с леммой 3.5 имеем
G(Wlt TFi)^
так что и G (Wn, Wn) = / (P, Wa) + Ы (P, Wn), nG(Wn, Wn_x) =
= —HX^.XP (x)^og An (x) сходятся, убывая, к общему пределу,
который не меньше, чем G F).
Пусть W :Х ->■ Y — канал, /(Я, W) + Ы {Р, W) = G (б).
Тогда по предыдущему и C.7)
О.< — 2 Я (*) log Л„ (ж) _ G F) =
= — 2 Я (*) log Л„ (х) — / (Я, Г) — Ы (Р, W) =
*6х
= D (Г || Pf,, | Я) — D (W || №„ | Я) — / (Я, W) =
= D (PW\\PWn_1)~D(W\\Wn\P)^D (PW\\PWn^)—D(PW\\PWn),
C.16)
где последний шаг вытекает из выпуклости информационной ди-
дивергенции. Из C.16) выводим, что — 3jxaх^ (х) ^°§ ^« W ~*"
-> G (б) и что последовательность Я^„ сходится так же,
как аналогичные утверждения теоремы 3.4 были выведены из
соотношений C.10). Из сходимости распределений PWn вытекает
сходимость каналов Wn по определению последних.
Полагая W* Л, limn-oo Wn и А* (х) А Нт^ооЛ, (х), полу-
получаем из рекуррентного определения Wn:
У)]= lim 75j^g_< 1. (ЗЛ7)
где равенство достигается, если Я W* (у) > 0. Доказательство
теоремы закончено. □
ТЕОРЕМА 3.7. При любом фиксированном б > 0 канал
W : X ->- Y удовлетворяет равенству
/ (Я, W) + 6d (Я, W) = G (б) C.18)
а, когда существуют неотрицательные числа
что для любого г/ £ Y
В (л;) ехр [—6d (x, у)] «с 1; C.19)
тогда и только тогда, когда существуют неотрицательные числа
В (х), х £ X, такие, что для любого г/ £ Y
х

§ 3. Вычисление пропускной способности канала 137
где равенство достигается, если PW (у) > 0, и
Р (х) W (у 1 х) = В (х) PW (у) ехр [— 6d (ж, г/) ]. C.20)
Далее,
GF) = max У Р (х) log f ^ , C.21)
где максимум берется по всем наборам неотрицательных чисел В,
удовлетворяющим неравенству C.19) для любого у £ Y. Макси-
Максимум достигается тогда и только тогда, когда числа В (х) соответ-
соответствуют каналу W, удовлетворяющему равенству C.18); такой
набор В определен однозначно (задача 3). О
СЛЕДСТВИЕ 3.7. При 0 < Д < Д*
#(Д) = _minmin(D(P||0 + maxlog £ <2(х)ехр[6(Д — й(х, у))]},
Q 6>0 !_
где Q пробегает РВ на X, и
R@) = — minfD(P|Q) + maxlog £ Q(x)\. О
Q { y£Y x:d(x,y) = 0 J
Доказательство. Для любого канала W : X ->- Y и неотри-
неотрицательных чисел В (х), удовлетворяющих C.19) для любого у £ Y,
из соотношений C.14) вытекает, что
I (P, W) + 6d(P, W)=G(W, ^^JH
Равенство достигается тогда и только тогда, когда выполняется
условие C.20) и в C.19) равенство достигается при PW (у) > 0.
Для завершения доказательства теоремы достаточно показать, что
существуют W и В, удовлетворяющие перечисленным свойствам.
(Единственность В, реализующего максимум в C.21), очевидна
в силу выпуклости.) Однако это вытекает из теоремы 3.6, поскольку
W* Л= limn-ooWn удовлетворяет условию C.20) при В (х) =
= Р(х)/А*(х) (где А* (х) А= \\тп^аоАп(х)). При таком выборе
выполняется неравенство C.19), причем, как видно из C.17),
равенство в нем достигается, если PW* (у) > 0.
Для доказательства следствия заметим, что по лемме 3.1 из
теоремы вытекает, что
где максимум берется по положительным числам В (х) и б, удовлет-
удовлетворяющим C.19). Существует взаимно однозначное соответствие
между неотрицательными числами В (х), удовлетворяющими не-
неравенству C.19), и РВ Q на X, задаваемыми условием
B(x) = Q(x) /max Ц Q(x) exp [—&*(*, у)]
Ук

133 Гл. 2. Системы с двумя терминалами
Отсюда вытекает интересующая нас формула при 0 < Д < Д*.
Формула для R @) получается, если устремить Д к 0, так как оче-
очевидно, что для любого фиксированного Q величина б, минимизи-
минимизирующая выражение «
max log 5j Q (x) exp [б (Д — d (x, y))},
стремится к +°° при Д -> 0 равномерно по Q. Q
Задачи
1 (информационный радиус), (а) Докажите непосредственно формулу для
пропускной способности
С = гп:п max D (W (• | х) \\ Q).
Указание. Очевидно, max , D (W (• \х) || Q) = maxp D (W || Q \ Р). Поэтому
в силу C.7) требуется доказать равенство
max minD (W\\Q\P)= min max D (W\\Q\P).
P Q Q P
Это равенство, однако, вытекает из теоремы о минимаксе (ср., например, Каг-
Нп A959), теорема 1.1.5).
(Это доказательство принадлежит Чисару (Csiszar A972)); в работе Tops0e
A967) было предложено воспользоваться в данном контексте равенством C.7);
ср. также Topsee A972).)
(b) Получите аналогичное доказательство формулы C.12) для F (у).
(c) «Информационный радиус» канала W может быть определен так же, как
mino max c D (Q\\ W (■ \х)). Это выражение, вообще говоря,^отличается от С
Покажите, что оно равно
supminD(Q|lW|P)=sup /-log % Д [W (у | х)] Р (х)\ ,
Яде Р пробегает РВ на X с Р (х) > 0 для любого х £ X.
(Csizar A972).)
2. Получите из теоремы 3.4, что распределение Р на X максимизирует
/ (Р, W) при условии с (Р) ^ Г тогда и только тогда, когда для некоторых
у ^з* 0 и К выполняются условия:
(i) D (W(- ( х) || PW) — 7е (•*) ^ ^ Для любого х £ X, причем равенство до-
достигается, если Р (х) > 0, и
(ii) с (Р) = Г, если у > 0, соответственно с (Р) ^ Г, если у = 0.
3. При заданном РВ Р на X и канале W : X -*■ Y «обратный канал» опреде-
определяется как № : Y -*■ X, где Y — носитель распределения PW и W (х | у) ~
Р()УA)
= PW (у)
(а) Получите из теоремы 3.7, что W минимизирует / (Р, W) при условии
d (P, W) ^ А @ < А < Д*) тогда и только тогда, когда rf (P, W) = А и обрат-
обратный канал имеет вид W (х | у) = S (х) ехр [—Sd (х, у)], где S^S (лг) X
X ехр[—8d (х, у)] <; 1 также при у £ У — Y.

§ 3. Вычисление пропускной способности канала 139
(b) Докажите это утверждение непосредственно.
(c) Покажите, что хотя минимизирующая матрица W не обязательно един-
единственна, но соответствующий обратный канал единствен.
(Эта характеристика минимизирующей матрицы W появилась в работе
Gallager A968) и в работе Berger A971); последний при доказательстве достаточ-
достаточности ссылается на работу Gerrish A963, не опубликовано).)
4 (дифференцируемость пропускной способности как функции ограничения).
Покажите, что вогнутая функция С (Г) непрерывна также в точке Г = Го и
дифференцируема в интервале (Го, ©о) с возможным исключением Г = Г*.
Указание: показать, что минимизирующее у в следствии 3.4 единственно.
5. (а) Покажите, что если Р максимизирует / (Р, W), то распределение PW
строго положительно, хотя Р (х) может обращаться в нуль, даже если W —
регулярная квадратная матрица.
(Ь) Пусть W — регулярная квадратная матрица и maxp/ (P, W) достигается
на строго положительном Р. Найдите этот максимум путем решения системы ли-
линейных уравнений.
(Muroga A953).)
6 (дифференцируемость скорости как функции искажения). Покажите,
что R (А) дифференцируема в интервале @, оо) с возможным исключением Д =
Указание: воспользоваться задачей 3.
(Gallager A968).)
7 (неконечные меры искажения), (а) Если мера искажения может принимать
значение -j- оо, то R (Д) может быть положительной при любом Д ^ 0. Покажите,
что даже в этом случае для любого Д > 0 R (А) = тахб3в0 (G (б) — 6Д].
(b) Обобщите теоремы 3.6 и 3.7 на случай таких мер искажения, заменяя ну-
нулем выражение [—8d (х, у)] при d (х, у) = оо (для любого 8 ^ 0).
(c) Для любой меры искажения d положим d (х, у) = 0, если d (х, у) = 0,
и d (х, у) й, -j- оо в остальных случаях. Покажите, что R @) = G @), где G со-
соответствует й. Сформулируйте импликации (Ь) для R@).
(d) Покажите на примере, что утверждение задачи 6 не обязательно верно для
неконечиых мер искажения.
(Gallager A968).)
8. Покажите, что если X = Y и d (х, у) = 0 тогда и только тогда, когда лг = у,
то для достаточно малых Д величина R (Д) может быть получена как параметри-
параметрическое представление решений системы линейных уравнений.
Указание. Положить Д = Д (б), R (А) = G (б) — 6Д (б), где G (б) =
= ХХР (х) log [В (хIР (х)], {В (х)} будут решениями системы ~LXB (x) X
X ехр [— 8d(x, y)]=l,yfX.
(Jelinek A967).)
Историческая справка
Алгоритм вычисления пропускной способности из теоремы 3.3 был предло-
предложен независимо Аримото (Arimoto A972)) и Блейхутом (Blahut A972)); доказатель-
доказательство сходимости принадлежит первому из них. (Им рассмотрен случай без ограни-
ограничения.) Теорема 3.4 для случая без ограничения восходит к Шеннону (Shannon
A948)); по поводу общего случая см. Blahut A972). Приведенный здесь вывод этой
теоремы при помощи алгоритма нов. Алгоритм вычисления скорости при уровне
искажения Д принадлежит Блейхуту (Blahut A972)); пробел в его доказательстве
сходимости был заполнен Чисаром (Csiszar A974)). Теорема 3.7 получена Галла-
гером (Gallager A968)); ее вывод при помощи алгоритма нов.
[В работе Csiszar—Tusnady A984)* приводятся некоторые обобщения алго-
алгоритмов, описанных в этом параграфе; эти обобщения включают в себя, в част-
частности, так называемые £М-алгоритмы, используемые в статистике. (Перев.)]

140 Гл. 2. Системы с двумя терминалами
§ 4. ЛЕММА О ПОКРЫТИИ. ПОКАЗАТЕЛЬ ОШИБКИ
В КОДИРОВАНИИ ИСТОЧНИКА
В этом параграфе будут приведены обобщения и уточнения
теоремы о скорости как функции искажения; они включают рас-
рассмотрение более общих моделей источников и более точное вычис-
вычисление характеристик асимптотически наилучшего кода. Мы будем
основываться на лемме о покрытии. Ее доказательство является
первым примером (в основном тексте) важного технического при-
приема, широко используемого как в теории информации, так и в дру-
других областях математики. Этот прием, называемый методом
случайного выбора, представляет собой простой, но очень эффектив-
эффективный метод доказательства существования некоторых математиче-
математических объектов без явного их построения. Метод случайного вы-
выбора состоит в следующем: для того чтобы доказать, что некото-
некоторая действительная функция w принимает значение, меньшее X,
на некотором элементе множества Z, вводится распределение
вероятностей на Z и доказывается, что среднее значение w меньше X.
Ясно, что этот метод приводит к нужным результатам только
тогда, когда используется подходящее распределение вероятно-
вероятностей. Во многих случаях таким распределением является наиболее
простое, равномерное распределение.
Когда этот прием используется для доказательства существо-
существования кодов с заданными свойствами, он называется методом слу-
случайного кодирования.
Пусть d — произвольная мера искажения на X х Y и
R(P, Д) = min I(P, W)
W: d (P,W < Д
— скорость как функция искажения ДИБП с порождающим рас-
распределением Р.
ЛЕММА 4.1 (покрытие типа). Пусть заданы мера искаже-
искажения d на X х Y, распределение Я на X и числа Д ^ 0, б > 0.
При k :э= k0 (d, б) существует множество В с: Yk, такое, что
d(x, B).Amirid(x, у) < Д для любого х£ТР, D.1)
п-1 log | В | < R (Р, Д) + б D.2)
(задача 1). О
Доказательство. Пусть Р — произвольный, но фиксированный
тип последовательностей из X*. Для каждого множества В с
с: Y* обозначим через U (В) множество тех х £ Тр, для кото-
которых d (х, В) > Д.
Зафиксируем некоторое т] > 0 и рассмотрим пару СВ (X, Y),
такую, что Ed (X, Y) «g. \ Д —-х\\+ и Рх = Р- Наконец, пусть
т — целое число, точное значение которого будет указано позже.

§ 4. Лемма о покрытии 141
Мы докажем существование множества В с: Y*, для которого
U (В) = 0 и | В | < т, применяя метод случайного выбора
к семейству &т всех наборов по т (не обязательно различных)
элементов из ТгУ-|. Зададим на &т равномерное распределение
и обозначим полученную СВ через Zm. Таким образом, Zm =
= ZXZ.2 ... Zm, где Z; есть i-й элемент случайного /п-элементного
набора Zm; величины Z* независимы друг от друга и равномерно
распределены на Т?у]. Рассмотрим случайное множество U (Zm),
т. е. множество тех х £ ТР, для которых d (х, Z;) > Д при i =
= 1, 2, ..., /п. Достаточно показать, что Е | U (Zm) | < 1, так
как отсюда будет следовать существование множества В с: Т?У],
для которого | В | <: m и | U (В) | < 1, т. е. U (В) = 0.
Обозначим через х (х) характеристическую функцию случай-
случайного множества U (Zm), т. е.
если х £ U (Zm),
если х Ф U (Zm).
Тогда [ U ^Zm) | = Цхбт^Х (х), так что
), т. е.
( 1,
= 1 0,
}. D.3)
х€т?> х€т)>
Теми же рассуждениями, что и при доказательстве теоремы
2.3, можно получить, что если х £ Тр и у £ Т^у, х] (х), то
d (х, у) <£ Д для k ^ kx (d, ц) (соответственно для любого k при
Д <S ti). Поэтому
Pr [d (х, Zt) > Д) < 1 - | Tfy] |~' | Tfy i x] (x) |
и, значит, ввиду независимости СВ Zj и леммы 1.2.13
Рг jx G U (Zm)} = Pr \d (x, Z£) > Д для 1 <: i <: m\ =
m
= ПРг \d(x, Zt) > Д} <:
< {1 -exp[—k(H(Y) + №)+k(H(Y\X)—W)]}m =
= 11 — exp [—fe (/ (X Л Y) + 6/2) ]}m D.4)
при k 2» &.2 (d, ti, б). Применяя неравенство A — t)m *c exp (—tm)
с tf Jk exp [—^ (/ (X Д У) + 6/2) 1, последний член в D.4) можно
ограничить сверху величиной
ехр {—mexp l—k (/ (X /\ Y) + 6/2I}.
Выберем теперь целое число m = m (k) так, чтобы выполня-
выполнялись неравенства
exp \k (I (X /\ Y) + 26/3)} « m ^ ехр {*(/ (X Л ^) + 36/4)}.

142 Гл. 2. Системы с двумя терминалами
Тогда, используя приведенную выше оценку, получаем из D.4),
что
Рг {х £ U (Zm)\ < ехр.(—ехр (Шб)).
Подстановка в D.3) дает •
Е | U (Zm) | <: | ТР | ехр (—ехр (Шб)) <:
= ехр (k log | X | — ехр (k№)) < 1
при k з» k3 (d, ц, 6). Тем самым доказано, что при k ^ k3 (d,
ц, 6) существует множество В с: Y*, для которого U (В) = 0и
| В [ «: т <г ехр { k (I (X /\ Y) + 36/4)}.
Ввиду равномерной непрерывности функции R (Р, Д), при
достаточно малом r\ CB X и Y могут быть выбраны так, чтобы
/ (X Л Y) < R (Я, Д) + 6/4. □
В качестве первого применения леммы 4.1 мы дополним тео-
теорему 2.3, определив Ro (Л) (см. определение 2.1). Важность кри-
критерия 0-точности (d, Д) при сжатии данных очевидна: именно он
должен использоваться в случае, когда о статистических свой-
свойствах источника ничего не известно.
ТЕОРЕМА 4.2. Для каждого А^О и каждого ДИБП с рас-
распределением, сосредоточенным на Хо, имеем
#0 (Д) = max R (Р, Д),
р
где максимум берется по всем распределениям Р, сосредоточенным
на Хо. О
Доказательство. Неравенство Ro (Д) ;э= max R (Р, Д) оче-
р
видно. Для доказательства обратного неравенства рассмотрим X*
как объединение непересекающихся множеств ТР, где Р про-
пробегает все типы, сосредоточенные на Хо. Ясно, что выходная по-
последовательность источника с вероятностью 1 принадлежит X*-
Пусть Вр с: Y* — множество, построенное по типу Р в лемме
4.1, и В —объединение всех Вр. Используя лемму о числе ти-
типов, имеем при достаточно большом k:
k-1 log | В | <: k-1 | X | log (k + 1) +
+ max R (P, Д) + 8 <: max R (P, Д) + 26,
p p
и d (x, B) <: Д для любого х £ XJ. Пусть теперь fh : Xй -*- В —
произвольное отображение, для которого d (x, fk (х)) = d (x,
В), и cpft — тождественное отображение. □
Напомним, что коды, существование которых гарантируется
теоремой о скорости как функции искажения, существенно за-
зависят от статистических свойств источника. Тем самым эту тео-
теорему можно применять только в тех случаях, когда и кодер, и

§ 4. Лемма о покрытии 143
декодер точно знают эти свойства (задача 2). Отбрасывание этого
предположения означает, что нам нужно искать коды, удовлетво-
удовлетворяющие некоторому критерию s-точности для класса источников.
Лемма 4.1 хорошо приспособлена для решения таких задач даже
в тех случаях, когда статистические свойства источника могут
меняться от буквы к букве произвольным неизвестным образом
(задача 3).
Пусть 9* = \PS, s £ S} — (не обязательно конечное) се-
семейство распределений Ps = {Р (х | s) : х £ X} на конечном
множестве X — алфавите источника. Произвольно меняющимся
источником (ПМИ), задаваемым семейством 9*, называется по-
последовательность СВ {Xj}S=b для которой распределение Xk
является некоторым неизвестным элементом из 9th, k-й декар-
декартовой степени 9*. Другими словами, Xt независимы и Pr \Xk — х}
может быть любой из величин Pk (x / s) =4, JJ*=iP (xt \ st), где s =
= sts2 ... sh £ S*, X = хгх2 ... xh ^ Xй. Пусть задана мера ис-
искажения d на X х Y; будем говорить, что блоковый код (fh, cpft)
длины k удовлетворяет критерию s-точности (d, А) для этого
ПМИ, если этот критерий удовлетворяется при любом возмож-
возможном выборе s, т. е.
S Я* (х | s) з> 1 — s для любого s^S*. D.5)
хб Xй
d (х, Фй (fk (х))) < Д
Величины Rs (Д) и R (Д) для ПМИ определяются так же,
как в § 2. В качестве легкого следствия из леммы 4.1 о покрытии
типа получаем следующую теорему.
ТЕОРЕМА 4.3. Пусть ПМИ задается семейством 3*. Для
произвольных Л^0и0<8<1 имеем
#Е (Д) = R (Д) = max_ R (Р, Д),
где 3* — выпуклая оболочка 9* (задача 4).
Доказательство. В формулировке теоремы неявно утверж-
утверждается, что sup R (Р, Д) достигается на некотором распределе-
_ р^¥
нии из 9*. Это является очевидным следствием непрерывности
R (Р, Д). Мы начнем с доказательства того, что
R (Д) =з max_ R (Р, Д). D.6)
По определению, 9* является замыканием семейства распределе-
распределений Р вида
Р (х) = S L (s) P (х | s) для любого х е X, D.7)

144 Гл. 2. Системы с двумя терминалами
где L пробегает все распределения, сосредоточенные на конечных
подмножествах S. Поскольку из D.7) следует, что
Рк (х) = £ L* (s) Pk {к | s) " для любого х £ X*,
s€S*
из D.5) вытекает, что если код (fh, cpft) удовлетворяет критерию е-
точности (d, А) для ПМИ, он удовлетворяет этому же критерию
для произвольного ДИБП, распределение которого принадле-
принадлежит 9*. Этим доказано неравенство D.6).
Для доказательства обратного неравенства, т. е. утвержде-
утверждения теоремы о существовании, положим
Т Д || Т*«
где {6ft} —некоторая последовательность, удовлетворяющая 6-
соглашению 1.2.11. Pk (-| s)-вероятность множества
х: | k-W (а\х)- £-* £ P {a I st)
для каждого s ^ S* не превосходит D&6!)-1 ввиду неравенства
Чебышева. Поэтому для Ps JL ЪГХ 2 ^=iPst € & и последователь-
последовательности ek JL | X | D&6!)-1 -»- 0 имеем
откуда
Рк (Т | s) ^ 1 — 8ft для любого s £ S*. D.8)
Пусть Вр с: Y* — множество, соответствующее типу Я по
лемме 4.1, и
В ^ U Вр.
Р: ТрСТ
Если Тр сг Т, то по определению Т существует такое распре-
распределение Р £ W, что | Р (а) — Р (а) | < 6ft для любого а ( X.
Таким образом, ввиду леммы о числе типов и непрерывности
R (Р, Д), из леммы 4.1 получаем, что
k-1 log | В | < k~x\ X | log (* + 1) +
+ max fe-Mogl Bp\<z max. R(P, A) + 26) D.9)
P: TpC=T P£j?
при k ^* k* (d, б), в то время как
d(x, В) <; А для x G Т. D.10)
Пусть теперь fh : X* ->■ В — произвольное отображение, для
которого d (х, Д (х)) = d (x, В)ифк — тождественное отображе-
отображение. Ввиду D.8), D.9) и D.10) доказательство завершено. П

§ 4. Лемма о покрытии 145
До сих пор мы рассматривали обобщение теоремы 2.3 о ско-
скорости как функции искажения. Теперь в свете леммы о покрытии
типа вернемся к самой теореме. Теорема 2.3 утверждает, что для
заданных ДИБП |X,}7LP меры искажения d и уровня искаже-
искажения Д существует число R (А) — скорость при уровне искаже-
искажения Д, ->- такое, что при R > R (Д) существует последователь-
последовательность блоковых кодов (fh, Фь) длины k, для которых
Л-1 log || М|-* Я D.11)
и Рг {d (Xй, фь (fk (Xk))) > Д}-»0. С другой стороны, при
R < R (А) для каждой последовательности блоковых кодов
длины k, удовлетворяющих D.11), Pr \d (Xk, фй (fk (Xk))) >
> А} ->- 1. Это более сильный результат, чем просто нестремле-
нестремление этой вероятности к нулю. Мы хотим сейчас исследовать ско-
скорость этих сходимостей, аналогично тому как это было сделано
в теореме 1.2.15 для частного случая критерия точности по вероят-
вероятности ошибки.
ОПРЕДЕЛЕНИЕ 4.4. Пусть заданы мера искажения d на
X х Y и блоковый код (/, ф) длины k для источников с алфа-
алфавитом X и алфавитом воспроизведения Y. Обозначим через
е (/, ф, Р, Д) вероятность того, что сообщение Xk длины k
ДИПБ с распределением Р воспроизводится с искажением, боль-
большим А:
е {f, Ф, Р, Д) = е (/, Ф, Р, d, Д) Л=
^ Р"Цх : d (х, Ф(/(х))) > Д}). О
Мы покажем, что при R > R (Р, Д) для подходящих блоко-
блоковых кодов длины k со скоростями, стремящимися к R, вероят-
вероятность е (fh, ерь, Р, Д) стремится к нулю экспоненциально с пока-
показателем
F (P, R, Д) A inf D (Q || Р)
Q: R (Q, Д) > R
(задача 5).
Кроме того, следующая теорема утверждает, что этот резуль-
результат является наилучшим возможным.
ТЕОРЕМА 4.5. Для каждого R < log | X | и каждой
меры искажения d на X х Y существует последовательность бло-
блоковых кодов длины k для источников с алфавитом X и алфави-
алфавитом воспроизведения Y, таких, что
(ii) для каждого распределения Р на X и каждых Д ^ 0, б > О
k-1 log e (fh, q>h, Р, Д) «: — F (P, R, А) + б
при k is k0 (| X |, б).

J46 Гл. 2. Системы с двумя терминалами
Кроме того, для каждой последовательности кодов, удовлет-
удовлетворяющих (i), и каждого распределения Р на X
Jim k-1 log e (fh, фА, Р, А) ^ —F (Р, R, Д). О
Доказательство. Для доказательства существования рассмо-
рассмотрим множества
U*A U ■ it-
Q: Л (Q, Д) > Л
Ввиду леммы 1.2.6 и леммы о числе типов имеем
Рк AЛ) <: (k + l)ixi exp {—£F (P, #, Д)|, D.12)
Далее, ввиду леммы 4.1 о покрытии типа мы можем найти последо-
последовательность ek -*- 0, такую, что для каждого типа Q последова-
последовательностей из X* существует множество Bq cz Yk, удовлетворяю-
удовлетворяющее условиям
£:4og| BQ| <: R + eh, D.13)
d (x, Bq) <: Д (Q, R) для любого х ^ TQ;
здесь Д (Q, R) — искажение как функция скорости для ДИБП
с распределением Q, т. е.
Д (Q, R) Л= min d (Q, W).
W: I (Q, W) s: R
Полагая В =4= UqBq, мы видим из D.13) и леммы о числе типов,
что
/Г1 log | В | <: R + ек, ел ->- 0.
Далее, поскольку из /? (Q, Д) <: R следует, что Д (Q, R) <; А,
имеем
d (х, В) <: Д для любого х £ Xfe — Uft.
Из последних двух неравенств и D.12) следует утверждение
теоремы о существовании.
Для доказательства обратного утверждения рассмотрим про-
произвольное распределение Q на X, для которого R (Q, Д) > R.
(Если таких Q не существует, обратное утверждение теоремы
тривиально.) Зафиксируем некоторое б > 0, для которого R (Q,
Д) > R + б. Напомним, что при доказательстве теоремы 2.3
о скорости как функции искажения мы показали (см. строки перед
формулой B.7)), что для каждого блокового кода (/&, ср/г) длины k
для источников с алфавитом X и алфавитом воспроизведения Y
из условия
k-1 log || fh || <: R (Q, Д)-б D.14)
вытекает, что
e(fk, q>k, Q, Д)=э 1/2, D.15)
если только k 3? k0 (d, б),

§ 4. Лемма о покрытии 147
Поскольку R (Q, Д) > R + б, из предположения (i) при до-
достаточно больших k вытекает D.14). Поэтому справедливо нера-
неравенство D.15), так что ввиду следствия 1.1.2 при достаточно боль-
больших k
е (fk, фА, Р, Д) 3s exp \—k [D (Q \\ Р) + б]}.
Обратное утверждение теоремы следует из того, что Q — про-
произвольное распределение, для которого R (Q, Д) > R и б — про-
произвольно малое положительное число. П
Нетрудно показать, что утверждение, аналогичное теореме
4.5, справедливо для скоростей, меньших R (Q, Д) (задача 6).
Аналогичные результаты о кодах для каналов будут доказаны
в следующем параграфе.
Задачи
1. Покажите, что из леммы 4.1 вытекает утверждение о существовании для
теоремы о скорости как функции искажения.
2 (универсальное кодирование). По теореме о скорости как функции искаже-
искажения для любого R > 0 и любого ДИБП с алфавитом X существуют блоковые коды
(/ft. 4>ft) длины k, зависящие от порождающего распределения источника Р, для
которых k~x log ||/ft || -*■ R и
Pr \d (Xk, 9fe (fk (Xk))) < Л (P, R)) -*■ 1, (*)
где Л (P, R) —■ функция, обратная скорости как функции искажения R (Р, Л)
(при фиксированном Р). Покажите, что существуют коды, зависящие только от
меры искажения, но не от Р, скорости которых сходятся к Д и которые удовлет-
удовлетворяют условию (*) для любого Р со сходимостью, равномерной по Р.
(Этот результат частично содержится в общей теореме из работы Neuhoff—
Gray—Davisson A975); более точный результат содержится в теореме 4.5.)
Указание. Применить лемму 4.1 ко всем возможным типам последователь-
последовательностей из X*.
3 (составные ДИБП). Если порождающее распределение ДИБП является
неизвестным элементом семейства !Р = [Ps, s £ S} РВ на X, мы говорим о со-
составном ДИБП, определяемом семейством &. Определите /?е (А) и R (Д) для со-
составного ДИБП и покажите, что
Re (Д) = R (Д) = sup R (Р, Д) для любого 0 < е < 1.
Р£&
Заметим, что утверждение этого результата о существовании слабее, чем задача 2.
4 (средний критерий точности). Покажите, что при Д>0 скорость при
Д-искажении для ПМИ и для составного ДИБП не изменится, если вместо е-
критерия точности (d, Д) рассматривать средний критерий точности (d, A).
5 (обсуждение функции F (P, R, А)), (а) Заметьте, что F (P, R, А) > 0 при
R > R (Р, А) и F (P, R, Д) = 0 при R < R (Р, А). Далее, F (P, R, А) конечна
в том и только том случае, если R меньше скорости /?о (А) при нулевой ошибке
для ДИБП с распределением Р.
(b) Покажите, что при фиксированных Р и А функция F (P, R, Д) непрерывна
по R для любого R, не являющегося локальным максимумом R (Q, Д). (R является
локальным максимумом R (Q, Д), если существует такое Q, что R (Q, А) = R
и R (Q, Д) ^ R для всех Q из некоторой окрестности Q.)
(c) Покажите, что если X = Y и критерием точности является частота оши-
ошибок, то F (P, R, А) является непрерывной функцией R; ср. задачу 2.9.

148 Гл. 2. Системы с двумя терминалами
(Marton A974).)
6 (скорости, меньшие R (Р, Д)). Пусть задан ДИБП с распределением Р.
Обозначим через е& (R, Д) минимальное значение е (f^, ф^, Р, Д) для всех кодов
со скоростями kr1 log||/й I <; R. Покажите, что при 0 ^ R < R (Р, Д) имеем
lim [/r1 log 0 — eh (R, Д)) ] = G (R, Д),
где
G (R, Д) 4 min [D (Q\\P)+\R(Q, Д) — R \* ].
Q
Указание. Показать, что | G (R", Д) — G (/?', Д) | ^ | R" — R' |, откуда сле-
следует непрерывность G (R, Д). Затем продолжать аналогично доказательству
теоремы 4.5.
(Более слабый результат о существовании был доказан в работе Omura A975).)
7 (скорость при нулевой ошибке). Покажите, что для ДИБП с распределе-
распределением, сосредоточенным на Хо,
Ro (Д) = —min min max log "%j Q (x) exp [б (Д — d (x, y)) ]
Q 6>o у € Y я £ x
при Д > 0 и
#o @) = —min max log £j Q (*)»
Q ^ g Y x- d (x, y) = о
где Q пробегает все распределения, сосредоточенные на Хо.
Указание: использовать теорему 4.2 и следствие 3.7.
8. (а) Проверьте, что скорость при Д-искажении для ПМИ не возрастает,
если разрешить коду зависеть от s £ S .
(b) Докажите аналогичное утверждение для составного ДИБП.
9. ПМИ, задаваемый семейством !Р распределений на X, — это класс всех
последовательностей независимых СВ \ХЛ^!_1, для которых Рх_ £ ^, г = 1,
2 Рассмотрите более широкий класс всех последовательностей не обяза-
обязательно независимых СВ, удовлетворяющих условию Рх-\х ...Х- £ &■>
i = \, 2 и покажите, что теорема 4.3 остается справедливой даже для этого
класса.
(Berger A971).)
10* (скорость сходимости среднего искажения). Для заданных ДИБП {^}^_i
и меры искажения d на XXY пусть
Dk (R) й min Ed (Xk, q,k (fk (Xk)))
*М||/|1<Л
—■ минимальное среднее искажение, достижимое блоковыми кодами длины k
со скоростями, не превосходящими R. Покажите, что для некоторого с>0
Д (R) ^ Dh (R) < Д (R) + с (log k)lk,
где Д (R) — функция искажение-скорость, т. е. функция, обратная к скорости
как функции искажения.
(Pile A968).)
11 (покрытия произведений графов). Пусть G — граф с множеством вершин X
и Р — распределение на X. В обозначениях задачи 1.22 покажите, что сущест-
существуют пределы
Ро (G) й lim Ar1 log P (Gk),
. ft-* ОС
Pe(G, Р) й lim и log min p (F) (e£@, 1)),
*—°° F: F*
pb (F)

§ 5. Лемма об упаковке 149
где F —■ подграф G с множеством вершин F. Эти пределы равны
Ро (G) = —min max log Q (К),
Q К
Pe(G, P) = $(G, P)^~ min {D (P || Q) + max log Q (K)},
Q К
где Q пробегает все РВ на X, а К пробегает все подмножества X, для кото-
которых К является полным подграфом.
Указание. Пусть Y — множество полных подграфов G. Определим меру иска-
искажения d (х, у) так: d (х, у) = 0, если х — вершина у и d {х, у) = 1 в против-
противном случае. Тогда Ро (G) = Ro @), Ре (G, Р) = R (Р, 0). Использовать задачу 7
и следствие 3.7.
(Величина Ро (G) была определена в работе McEliece—Posner A971), а вели-
величина РЕ (G, Р) — в работе Кбгпег A973а).)
Историческая справка
Основная лемма 4.1 этого параграфа принадлежит Бергеру (Berger A971)),
за исключением случая Д = 0, рассмотренного независимо Кернером (Кбгпег
A973b, не опубликовано)) и Мартон (Marton A974)). Сам метод случайного коди-
кодирования был введен Шенноном (Shannon A948)). Одно из первых применений
метода случайного выбора для доказательства результатов о существовании
содержится в работе Секереша и Турана (Szekeres—Turan A937)).Теорема 4.2
содержится в книге Berger A971). Теорема 4.3 представляет собой переработан-
переработанные авторами результаты Добрушина A970) и Бергера (Berger A971)), в которых
использовался средний критерий точности. Приведенное здесь простое доказа-
доказательство принадлежит Бергеру (Berger A971)). Теорема 4.5 была доказана в ра-
работе Marton A974). Эта же задача независимо рассматривалась Блейхутом (В1а-
hut A974)), получившим экспоненциальную верхнюю границу. Более ранняя
граница такого же типа неявно содержится в книге Jelinek A968b, теорема 11.1).
§ 5. ЛЕММА ОБ УПАКОВКЕ. ПОКАЗАТЕЛЬ ОШИБКИ
В КОДИРОВАНИИ КАНАЛА
В этом параграфе мы вернемся к теореме кодирования для
ДКБП. По определению для каждого R > 0, меньшего пропуск-
пропускной способности, существует последовательность (/„, ф„) блоко-
блоковых кодов длины п, скорости которых стремятся к R, а макси-
максимальная вероятность ошибки стремится к 0 при п -> оо. С другой
стороны, теорема 1.5 показывает, что для кодов, скорости кото-
которых стремятся к числу, превышающему пропускную способ-
способность, максимальная вероятность ошибки стремится к 1. В на-
настоящем параграфе мы исследуем скорости этих сходимостей. Эта
задача намного сложнее соответствующей задачи для источни-
источников, и ее окончательное решение до сих пор не получено.
В § 1 мы видели, что пропускная способность ДКБП может
быть достигнута на кодах, все кодовые слова которых имеют
примерно одинаковый тип. В этом параграфе мы сосредоточим
внимание на кодах с фиксированной композицией (задача 1.17),
т. е. на кодах, все кодовые слова которых имеют в точности один

148 Гл. 2. Системы с двумя терминалами
(Marton A974).)
6 (скорости, меньшие R (Р, Д)). Пусть задан ДИБП с распределением Р.
Обозначим через е^ (R, Д) минимальное значение е (/^, ф^, Р, Д) для всех кодов
со скоростями kr1 log ||/ft || <; R. Покажите, что при 0^R<LR(P, Л) имеем
lim [k-1 log 0 — eh (R, Д)) ] = G (R, Д),
где
G (R, Д) A min [D (Q\\P)+\R(Q, Д) — /? |+ ].
Q
Указание. Показать, что | G (R", Д) ~ G (R', Д) | ^ | R" — R' |, откуда сле-
следует непрерывность G (/?, Д). Затем продолжать аналогично доказательству
теоремы 4.5.
(Более слабый результат о существовании был доказан в работе Omura A975).)
7 (скорость при нулевой ошибке). Покажите, что для ДИБП с распределе-
распределением, сосредоточенным на Хо,
Ro (Д) = —min min max log ^ Q (x) exp [б (Д — d (x, y)) ]
q 6>o у £ Y x ^ x
при Д > 0 и
Ro @) = —min max log £j Q (x)<
Q y£Y x:d(x,y) = 0
где Q пробегает все распределения, сосредоточенные на Хо.
Указание: использовать теорему 4.2 и следствие 3.7.
8. (а) Проверьте, что скорость при Д-искажении для ПМИ не возрастает,
если разрешить коду зависеть от s £ S .
(b) Докажите аналогичное утверждение для составного ДИБП.
9. ПМИ, задаваемый семейством Ф распределений на X, — это класс всех
последовательностей независимых СВ |Х(.1^_[, для которых Рх £ &, i = 1,
2, ... . Рассмотрите более широкий класс всех последовательностей не обяза-
обязательно независимых СВ, удовлетворяющих условию Рх ■ х х _ ^ &,
i = \, 2, ..., и покажите, что теорема 4.3 остается справедливой даже для этого
класса.
(Berger A971).)
10* (скорость сходимости среднего искажения). Для заданных ДИБП {X}°f_x
и меры искажения d на XXY пусть
Dk (R) й min Ed (Xk, фй (fk (Xk)))
*М||/|1<Л
— минимальное среднее искажение, достижимое блоковыми кодами длины k
со скоростями, не превосходящими R. Покажите, что для некоторого с>0
Д (R) ^ Dk (R) < Д (R) + с (log k)lk,
где Д (R) — функция искажение-скорость, т. е. функция, обратная к скорости
как функции искажения.
(Pile A968).)
11 (покрытия произведений графов). Пусть G — граф с множеством вершин X
и Р — распределение на X. В обозначениях задачи 1.22 покажите, что сущест-
существуют пределы
Ро (G) й lim и log P (Gk),
k-*-oo
Pe(G, Р)й lim /Г1 log min 0 (F) (e£@, 1)),
pb (F) > 1-е

§ 5. Лемма об упаковке 149
где F — подграф Gk с множеством вершин F. Эти пределы равны
Ро (О) = —min max log Q (К),
Q К
Ре (G, Р) = р (G, Р) Л= — min {D (P || Q) + max log Q (К)},
Q К
где Q пробегает все РВ на X, а К пробегает все подмножества X, для кото-
которых К является полным подграфом.
Указание. Пусть Y — множество полных подграфов G. Определим меру иска-
искажения d (х, у) так: d (х, у) = 0, если х — вершина у и d (х, у) = 1 в против-
противном случае. Тогда Ро (G) == Яо @), Ре (G, Р) — R (Р, 0). Использовать задачу 7
и следствие 3.7.
(Величина р0 (G) была определена в работе McEliece—Posner A971), а вели-
величина Ре (G, Р) — в работе Кбгпег A973а).)
Историческая справка
Основная лемма 4.1 этого параграфа принадлежит Бергеру (Berger A971)),
за исключением случая Д = 0, рассмотренного независимо Кернером (Кбгпег
A973b, не опубликовано)) и Мартон (Marton A974)). Сам метод случайного коди-
кодирования был введен Шеиноном (Shannon A948)). Одно из первых применений
метода случайного выбора для доказательства результатов о существовании
содержится в работе Секереша и Турана (Szekeres—Turan A937)).Теорема 4.2
содержится в книге Berger A971). Теорема 4.3 представляет собой переработан-
переработанные авторами результаты Добрушина A970) и Бергера (Berger A971)), в которых
использовался средний критерий точности. Приведенное здесь простое доказа-
доказательство принадлежит Бергеру (Berger A971)). Теорема 4.5 была доказана в ра-
работе Marton A974). Эта же задача независимо рассматривалась Блейхутом (В1а-
hut A974)), получившим экспоненциальную верхнюю границу. Более ранняя
граница такого же типа неявно содержится в книге Jelinek A968b, теорема 11.1).
§ 5. ЛЕММА ОБ УПАКОВКЕ. ПОКАЗАТЕЛЬ ОШИБКИ
В КОДИРОВАНИИ КАНАЛА
В этом параграфе мы вернемся к теореме кодирования для
ДКБП. По определению для каждого R > 0, меньшего пропуск-
пропускной способности, существует последовательность (/„, орп) блоко-
блоковых кодов длины п, скорости которых стремятся к R, а макси-
максимальная вероятность ошибки стремится к 0 при п —> оо. С другой
стороны, теорема 1.5 показывает, что для кодов, скорости кото-
которых стремятся к числу, превышающему пропускную способ-
способность, максимальная вероятность ошибки стремится к 1. В на-
настоящем параграфе мы исследуем скорости этих сходимостей. Эта
задача намного сложнее соответствующей задачи для источни-
источников, и ее окончательное решение до сих пор не получено.
В § 1 мы видели, что пропускная способность ДКБП может
быть достигнута на кодах, все кодовые слова которых имеют
примерно одинаковый тип. В этом параграфе мы сосредоточим
внимание на кодах с фиксированной композицией (задача 1.17),
т. е. на кодах, все кодовые слова которых имеют в точности один

150 Гл. 2. Системы с двумя терминалами
и тот же тип. Мы исследуем асимптотику вероятности ошибки для
кодов из этого специального класса. Общая задача легко сводится
к этому частному случаю.
Применяемый здесь подход будет отличаться от подхода в § 1.
Там при построении кодов для канала кодер и декодер строились
совместно, последовательным образом. Здесь основное внимание
будет уделено построению подходящих кодеров; декодер опреде-
определяется кодером способом, который будет указан позже (см. также
задачи 1.2, 1.18). Как и в предыдущем параграфе, мы будем
использовать метод случайного выбора. Оценки вероятности
ошибки будут получены с помощью простых подсчетов,.использу-
подсчетов,.использующих леммы из первой части § 1.2. Для удобства мы приведем
здесь снова некоторые основные оценки для числа типов, дока-
доказанные в § 1.2.
Обозначим через У (Р) = Уп (Р) семейство стохастических
матриц V: X -> Y, для которых V-оболочка последовательности
типа Р в X" непуста. По лемме о числе типов
|<2rn(P)|<(n+l)m-lY|. E-1)
Далее, по лемме 1.2.5
(л + 1)-|ХНу1 ехр \пН (V\P)\ < |TV(x)|< exp \nH(V\P)\.
E.2)
Для V £ Wn (P) имеем х £ Тр. Если W: X -> Y — произволь-
произвольная стохастическая матрица, х £ Тя и у £ "TV (x), то по
лемме 1.2.6
Wn (у|х) = ехр {— п [D(V\\W\P) + H (V\P)]\, E.3)
где
2 ^
D{V\W\P)± 2 ^jP(x)V(y\x)\og^lr. E.4)
х£Ху(.у
По той же лемме имеем также
Wn(TY(x)|x)«exp{ — nD (V || W[Px)\. E.5)
Представляется естественным, что кодовые слова «хорошего»
кода должны находиться возможно дальше друг от друга, хотя
совсем неясно, какой математический смысл следует придать
этому утверждению. Мы выберем заранее заданное число последо-
последовательностей из Х" таким образом, чтобы оболочки вокруг них
имели возможно меньшие пересечения. Возможность хорошего
выбора обеспечивается следующей леммой, роль которой ана-
аналогична роли леммы 4.1 о покрытии типа.

§ 5. Лемма об упаковке
151
ЛЕММА 5.1 (об упаковке). Для каждых R > 0, б > О и
каждого типа Р последовательностей из X", для которого Н (Р) >
> R, существует по крайней мере exp \n (R — б)} различных
последовательностей х; £ X" типа Р, таких, что для каждой
X -> Y , 1/: X -> Y
пары стохастических матриц
и каждого i
при
П U Т~ (х/) I < | TV (х) | ехр { — п | / (Р, К) - R \+\ E.6)
no(|X|, |Y|, б). О
Рис. 5.1.
Пересечение V-слоев.
ЗАМЕЧАНИЕ. Ясно, что если PV ф PV, то каждое из пере-
пересечений Tv (х() П Т- (х/) пусто (задача 1). Ввиду E.6) и E.2)
из неравенства R < / (Р, V) — Н (Р | V) также следует, что
Тл (х,) П Т- (X/) = 0 для любых 1ф]. О
Доказательство. Используем метод случайного выбора. Для
фиксированных положительных целых чисел п, т и фиксирован-
фиксированного типа Р последовательностей из X" обозначим через Wm
семейство всех упорядоченных наборов С = (xlt x2, ..., xm) no m
не обязательно различных последовательностей типа Р из X".
Заметим, что если некоторый набор С= (xt, x2, ..., хт) £ ^т
удовлетворяет E.6) для любых i, V, V, то все хг должны быть
различными. Это можно увидеть, выбрав некоторую матрицу
V = V £ Г (Р), для которой / (Р, V) > R-
Для каждого набора С 6 ^т обозначим левую часть E.6)
через Ы( (С, V, V). Ввиду E.6) набор С 6 ^т обязательно удов-

152 Гл. 2. Системы с двумя терминалами
летворяет E.6) для любых i, V, V, если для любого i величина
ы;(С)^(п+1)|X||Y| Л * tl «j(C V, V) X
xexp\n[I(P,V)-R-H(V\P)\\ E.7)
не превосходит 1.
Заметим, что если С 6 ^т таково, что
т
т'1 £ и,(С)< 1/2, E.8)
(=1
то ut (С) < 1 по крайней мере для т/2 индексов L Далее, если
С' — поднабор С, состоящий из слов с указанными индексами,
то иг (С) <S-Ui (С) < 1 для каждого такого индекса i. Поэтому
лемма будет доказана, если для некоторого т, для которого
2ехр \п (R — б)} <: m <: exp \n (R — 6/2)}, E.9)
будет найден набор С 6 ^ш. удовлетворяющий E.8).
Выберем С 6 ^т случайно в соответствии с равномерным
распределением. Другими словами, пусть Zm = (Zlt Z2, ..., Zm) —
последовательность независимых СВ, каждая из которых равно-
равномерно распределена на Тр = Тр. Для того чтобы доказать,
что для некоторого С 6 *&т выполнено неравенство E.8), доста-
достаточно показать, что
Ещ (Zm) < 1/2, i = 1, 2, ..., т. E.10)
Для того чтобы сделать это, оценим Eut (Zm, V, V). Вспоминая,
что через ut (С, V, V) обозначается левая часть E.6), имеем
Ещ (Z- ,V,V)= £ п Рг (у 6 Т^ (Zc) П U T~ (Z/)). E.11)
Поскольку все Z/ независимы и одинаково распределены, вероят-
вероятность под знаком суммы не превосходит
II .Рг {у е Tv{Zt) n t~(Zj)} =
= (m— l)Pr {у G Tv^HPrjy e T-(Z0}. E.12)
Поскольку Zj равномерно распределены на Тр, для каждого
фиксированного у. £ Y п имеем
рг {у е Jv (Zi)\ ='{х •х £ тГт„У1е Ту *х)} | •

§ 5. Лемма об упаковке 153
Множество в числителе непусто, только если у £ Tpv, и в этом
случае его можно записать в виде Ту (у), где V: Y -> X — такая
матрица, что
Р (а) V ф\а) = PV (Ь) V (а\Ь).
Таким образом, ввиду E.2) и леммы 1.2.3
рг {у е т„ (oi < ^f
= (л+ 1I х I ехр {— nI(PV, K)} = (n+ 1I XI ехр \— п1(Р, V)},
если у £ Tpv, и Рг {у £ TV (Zx)} =0 в противном случае.
Таким образом, ограничивая |Тру| сверху с помощью леммы
1.2.3, из E.11), E.12) и E.9) получаем, что
Ещ (Zm, V, V) < | TpV | (m - 1) (n + 1J1 x I x
xexpi— nI(P, V) + I(P, K))}<
<: (n _)_ lJ1 x i eXp \n (R - 6/2 + Я (V | P) - / (P, V)) \.
Ввиду E.7) и E.1) отсюда следует, что
Ещ (Zm) < (л + IJ ' х |+3 |Х 11 Y lexp (—пб/2)„
откуда получаем E.10) для п =& п0 (|Х|, |Yj, б). □
В качестве первого применения леммы об упаковке мы выве-
выведем верхнюю границу для максимальной вероятности ошибки
хороших кодов в ДКБП. Для этого мы сопоставим каждому упо-
упорядоченному набору С = (хи ..., хт) последовательностей из X"
блоковый код (/, ф) длины п с Mf = {1, ..., т\. Зададим /, по-
полагая / @= хг- Далее, пусть ф —• декодер по максимуму взаимной
информации (МВИ), определяемый следующим образом. Напом-
Напомним, что через / (х Д у) для х £ X", у 6 Y п обозначается взаим-
взаимная информация, соответствующая совместному типу Рх,у, т. е.
7(хД у)=Д /(Рх, V), если у е Т„(х).
Пусть теперь декодер ф задается любой функцией ф: Y " ->
-*■ {1, ..., т), такой, что ф (у) = i удовлетворяет условию
Нъ Л У) = тах I(xj Д У). E.13)
Замечательной чертой следующей теоремы является то, что
одни и те же коды достигают границы для кажого ДКБП.
ТЕОРЕМА 5.2 (граница случайного кодирования, коды с по-
постоянной композицией). Для каждых R > 0, б > 0, п ^
^по(\Х\, \Y\, б) и каждого типа Р последовательностей из X"
существует блоковый код (/, ф) длины п со скоростью
п-1 log |М/| =э R — б,

1б4 Гл. 2. Системы с двумя терминалами
такой, что все кодовые слова / (т), т £ М/ имеют тип Р и для
каждого ДКБП {W: X-> Y|
е (^". Л Ф) < ехр {— л (£„(#, Р, W) — б)}. E.14)
Здесь «
ЕТ (R, P, W) A. min (D (V\\ W\P) + | / (Л V) — /? |+)
E.15)
(задача 2) и V пробегает множество всех каналов V: X -*- Y. О
ЗАМЕЧАНИЕ. £г (i?, P, W) называется экспонентой слу-
случайного кодирования '> канала W с распределением Р на входе. О
Доказательство. Рассмотрим набор С = {х1? ..., хт) cz Tp
с т 5s ехр {л (/? — S)}, удовлетворяющий E.6) для любых i, V
и У. Мы утверждаем, что если f (г) Ах;иф —• соответствующий
МВИ-декодер, то код (/, qp) удовлетворяет E.14). Это означает,
что теорема 5.2 вытекает из леммы 5.1 (можно предположить, что
R < / (Р, V) <г Н (Р), так как иначе оценка E.14) тривиальна).
Если последовательность у £ Y " приводит к неправильному
декодированию г-го сообщения, то ввиду E.13)
У € Tv (х«) П TV (х,-) с / (Р, V)^I (P, V)
для некоторых / Ф i и некоторых стохастических матриц V, V £
£ ^(Р). Поэтому вероятность неправильной передачи г-го со-
сообщения ограничивается сверху следующим образом:
<: S ^n(Tv(x,) П [) T~(xj)\xt). E.16)
/ (р,!/) > / (я, v)
Ввиду;E.6), E.2) и E.3)
W (Tv (х.) П U TV (x^ | х«) <:
^ ехр \—п (D (V\\ W | Р) + | / (/>, У) - /? |+)}. E.17)
Поэтому E.16) можно продолжить следующим образом:
et<: лЦ ехр {-л
v. v £Т (Р)
I (Р, "?)> / (Р, V)
где последнее неравенство вытекает из E.1). □
Поскольку коды в теореме 5.2 не зависят от W, естественно
ожидать, что для каждого конкретного ДКБП можно найти коды,
1) В оригинале random coding exponent function. — Прим. перев.

§ 5. Лемма об упаковке 155
имеющие существенно меньшую вероятность ошибки. (Заметим,
что для каждого кодера / декодер ср, минимизирующий е {Wn,
f, ср), по существу зависит от W.) Поэтому достаточно удиви-
удивительным оказывается тот факт, что для каждого ДКБП {W)
приведенная выше конструкция дает асимптотически наилучшие
характеристики в некотором интервале скоростей.
ТЕОРЕМА 5.3 (граница сферической упаковки, коды с постоян-
постоянной композицией). Для каждых R > 0, б > 0 и каждого ДКБП
{W: X -*- Y} максимальная вероятность ошибки любого кода
(/ , ср) длины п с постоянной композицией и скоростью
л-1 log | М/1 5* Я + 6
удовлетворяет неравенству
е (W», Л Ф) 3* A/2) exp |-n£sp (R, P, W) A + б)}, E.18)
если только п ^ п0 (| X |, | Y|, б). Здесь Р — общий тип кодовых
слов и
Esp(R, P, ЩЛ, min D{V\\W\P).O E.19)
V: I (P, V)^R
ЗАМЕЧАНИЕ. Esp (R, P, W) называется жспонентой сфе-
сферической упаковки г) канала W с входным распределением Р.
Это традиционное название, так же как и название «экспонента
случайного кодирования», указывает, каким методом были впер-
впервые получены аналогичные оценки.
Заметим, что в некоторых случаях величина Esp (R, P, W)
может быть бесконечной (задача 3). Пусть R<x> (P, W) — нижняя
грань тех R, для которых Esp (R, P, W) < +оо. При R < #«, (R,
W) утверждение теоремы тривиально. О
Доказательство. Рассмотрим произвольный ДКБП {V: X —»■
-»-Y}, для которого / (Р, V) < R. В силу следствия 1.4 при
п 3= п-1 (| X , |Y|, б) максимальная вероятность ошибки в ДКБП
\V\ каждого блокового кода {/, ср} длины п, удовлетворяющего
условиям теоремы, не меньше, скажем, 1 — 6/2 (мы считаем, что
б < 1). Это значит, что для некоторого т £ М/ множество S т =4,
= |У :сР (у) =5^ т\ удовлетворяет условию
Vn (Sm | / (т)) ^ 1 - 6/2. E.20)
Из того что V" (• |/ (т))-вероятность S т велика, мы выводим,
что его Wn (• | / (/л))-вероятность не может быть слишком мала.
В самом деле, заметим, что для произвольных распределений
вероятностей Q1 и Q2 на конечном множестве Z и произвольного
Sc Z из неравенства для логарифма суммы вытекает, что
Q, (S) logoff -f Qi (S) log АЩ- <: D {Q1 j| Q2).
В оригинале spere packing Exponent function. — Прим. перев.

156
Гл. 2. Системы с двумя терминалами
Поэтому
откуда
<: D (Qx I Qa) + h
Qi(S) /'
E.21)
Применяя это к Vn (■ |/ (/и)), W7" (■ |/ (m)) и S m соответственно
вместо Ql3 Q2 и S , мы получаем в силу E.20), что
W« (Sm | / (m)) з* ехр {- ^(VHr^+Ml
{ —nD(V\W\P) (l+Щ,
если б таково, что h A — 6/2) < 1 — 6/2.
Выбирая такой канал V, который дает минимум в правой части
E.19), получаем, что
е (Г", /, Ф) > Г" (Sm | /(/я)) ss A/2) ехр \-nEsp (R, P, W) A + 6)}.
Ясно, что ограничение ft A — 6/2) < 1 — 6/2 несущественно (за-
(задача 4), поскольку из справедливости теоремы для некоторого 60
следует ее справедливость для любого 6 > 60 (задача 5).
>
■•..
4
\ \
ч
>
1
1
1
Er
-Ец
\
\
{R.P.W)
(DfD 1A7'\ Л- I? r D
ч
О R=R(P,W) R' ^ I(P,W)
Рис. 5.2.
Экспоненты сферической упаковки и случай-
случайного кодирования.
Следующая лемма проясняет связь между экспонентами сфе-
сферической упаковки и случайного кодирования, позволяя сравнить
границы из теорем 5.2 и 5.3.
ЛЕММА 5.4. Для фиксированных Р и W функция Esp (R, Р,
W) является выпуклой функцией R ^э 0, положительной при
R < / (Р, W) и равной 0 при остальных R. Кроме того,
Er (R, Р, W) = min (£sp (/?', Р, W) + R' - R). О E.22)

§ 5. Лемма об упаковке 157
СЛЕДСТВИЕ 5.4.
Esp(R, P, W), если R^R
Esp (R, P,W) + R-R, если 0 «s R
где R = R {P, W) — это наименьшее значение R, при котором
опорная прямая к выпуклой кривой EiV (R, P, W) имеет тангенс
угла наклона —1. О
ЗАМЕЧАНИЕ. Из следствия 5.4 и теоремы 5.3 вытекает, что
коды из теоремы 5.2 асимптотически оптимальны (среди кодов
с постоянной композицией Р) для каждого ДКБП \W\, для ко-
которого R {P, W) < R < I (P, W). О
Доказательство. Пусть Rx Ф R2 — произвольные неотрица-
неотрицательные числа и 0 < а< 1. Пусть Vi, i = 1, 2, дает минимум
в определении Eip (Riy P) и
Va(y\x)jLaV1(y\x) + (I -a) Va{y\x).
Тогда в силу леммы о выпуклости (лемма 1.3.5)
D (Va\\W\P)^aD (Vi||lF|/>) + A — a)D (V2\\W\P) =
= aEsp (Ru P) + A -a)Esp (R2, P),
I (P, Va) < a/ (P, Уг) + A — a) / (P, V2) *£ aRx + A — a)#.2)
откуда
Esp (aRx + A - a) R2, P) <; aESP (Rlt P) + A — a) x
X Esp(R2, P).
Ясно, что £sp (R, P) = 0 при R 5s / (P, W). С другой стороны,
если I (Р, V) < I (P, W) для некоторого V: X ->■ Y , то для не-
котого х £ X имеем Р (х) > 0 и V (■ | х) Ф W (• | х), откуда
D A/|| W\P) > 0. Поэтому £sp (R, Р) > 0 при R < I (P, W).
Ввиду выпуклости и положительности Esp (R, Р) — строго
возрастающая функция R на интервале, на котором она конечна
и положительна. Поэтому
ESV(R, P)= min D(V\\W\P) E.23)
V : Г (Р, V)=R
для Roo (P, W) < R <: / (Р, W). Поскольку матрица V, дающая
минимальное значение в определении ЕТ (R, Р), очевидно, удов-
удовлетворяет условию Roc (P, W) <: / (Р, V) ^ I {P, W), из E.23)
следует, что
Er{R,P)= min min (D(V\\W\ P) + | R' - R\+) =
R'-.Roo (P, W)< V : I (P. V)=R'
s: «-</ (P, W)
= min (£SP (/?', P) + \R' - R |+) =
s: / (P,

158 Гл. 2. Системы с двумя терминалами
где последнее равенство вытекает из того, что Esp (R', Р) = О
при R' ^ / (Р, W). Тем самым равенство E.22) доказано, по-
поскольку Esp монотонна.
Следствие сразу вытекает ,из леммы. □
Для того чтобы распространить приведенные выше резуль-
результаты на произвольные блоковые коды, нужно изучить свойства
непрерывности введенных экспонент.
ЛЕММА 5.5. Для каждого фиксированного W: X -*• Y рас-
рассмотрим ЕТ (R, Р, W) как функцию пары R, Р. Построенное
семейство функций равномерно непрерывно. О
Доказательство. Фиксируем ц > 0. Для данных R, P, W
пусть V— матрица, дающая минимум в E.15). Положим
V{-\x), если P(x)^t],
W(-\x), если Р(*)< п-
Поскольку D (V\\ W\P) ^ ET (R, P, W) <. I (P, W) < log |X|,
для любого х £ X, для которого Р (х) ^ т], имеем
D (V(-\x)\\W(-\x)) = D (V(-\x)\\W(-\x)) <: (log | X |)/ть
E.24)
а для остальных х левая часть E.24) равна 0. Отсюда следует,
что для любого R' и любого Р', удовлетворяющего неравенству
2„, v I Р' (х) — Р (л:) I <: ti2, имеем
Е. (/?', Р', W) <: D (V] W\P')+ | / (/>', 10 — R' |+ =
= D G|| W\P) + Т) (Р' (х) — Р (х)) х
< £г (/?, />, W) + л bg | X | +
+ |/(/>', V) — I(P, V)\ +
+ |/(Р, V) — I (P, V)\ + \R' — R\. E.25)
В силу равномерной непрерывности / (Р, V) для каждого
е > 0 можно найти ti>0, такое, что из условия 2]Ж | Р' (х) —
— Р (х) | < г]2 вытекает, что | / (Р', V) — I (Р, У) 1 < е, в то
время как из определения V следует, что | / (Р, V) — / (Р, V) \ < е
для достаточно малых т\. Следовательно, по симметрии из E.25)
имеем
|£г(#', Р', Г) —£г(^. Я, W)| <:
X | + 2е + | /?'-/? |. D

§ 5. Лемма об упаковке 159
Теперь мы можем перейти к исследованию наилучших асимпто-
асимптотических свойств блоковых кодов для заданного ДКБП.
Число Е ^ 0 называется достижимой экспонентой ошибки
при скорости R для ДКБП {W\, если для каждого б > 0 и каж-
каждого достаточно большого п существует блоковый код длины п
со скоростью, не меньшей R — б, и максимальной вероятностью
ошибки, не превосходящей ехр {- п (Е — б)}. Наибольший до-
достижимый показатель ошибки при скорости R, как функция R,
называется функцией надежности данного ДКБП и обозначается
через Е (R) = Е (R, W).
Приведенные выше результаты позволяют оценить функцию
надежности, оптимизируя оценки теорем 5.2 и 5.4 по Р. Для
этого положим
Еьр (R) = Esp (R, W) Jl max Esp (R, P, W),
Er (R) = Er (R, W) Д max ET (R, P, W).
p
Эти функции называются соответственно экспонентой сферической
упаковки и экспонентой случайного кодирования для канала W.
Пусть далее £?«, JL R<*> {W) Л= тахР £?«, (Р, W) — наименьшее R,
правее которого экспонента Esp (R) конечна.
ТЕОРЕМА 5.6 (границы случайного кодирования и сфериче-
сферической упаковки). Для каждого ДКБП {W: X -*■ Y } и каждого
R >0
ЕТ (R) <: Е (R) < Esp (R)
с единственным возможным исключением при R = R^, когда
второе неравенство может не выполняться. О
СЛЕДСТВИЕ 5.6. Пусть #cr = ^cr (W) — наименьшее значе-
значение R, при котором опорная прямая к выпуклой кривой Esp (R)
имеет тангенс угла наклона —1 (задача 7). Тогда
Е (R) = Esp (R) = Ет (R) при R ^ Ясг. О
ЗАМЕЧАНИЕ. Rcr называется критической скоростью *)
ДКБП [W]. О
Доказательство. Пусть Р — распределение, максимизирующее
ЕТ (R, P, W). Для каждого п выберем тип Рп последователь-
последовательностей их X" таким образом, чтобы Рп -*■ Р. Тогда по лемме 5.5
имеем
Er (R, Pn, W) — Ет (R). E.26)
Для заданного б > 0 при достаточно больших п существуют
(по теореме 5.2) коды с постоянной композицией (fn, ф„), имеющие
тип кодовых слов Рп, скорость
я-1 log | М/„ | ^ R — б
1) В оригинале critical Rate. — Прим. перев.

160 Гл. 2. Системы с двумя терминалами
и максимальную вероятность ошибки
е (W«, fn, Фп) « exp \~n (ET (R, Pn, W) - б)}.
Отсюда и из E.26) вытекаем, что Ег (R) является достижимым
показателем ошибки при скорости R.
Для того чтобы проверить оценку сверху на Е (R), заметим,
что ввиду леммы о числе типов каждый код (/„, ср„), для которого
I М/„| Ss exp \n {R — б)}, имеет подкод с постоянной компо-
композицией (fn, ф„), скорость которого при достаточно больших л
удовлетворяет неравенству
л-1 log | Mfn | =э R — б — л-1 log (л + 1) | X | 5з R — 26.
Следовательно, по теореме 5.3
е (W», /„, Фп) =э е (Wn, fn, фп) 5г
=э A/2) ехр {—л A + б) Esp (R —36, W)\.
Используя непрерывность Esp, вытекающую из ее выпуклости,
получаем, что это неравенство завершает доказательство теоремы.
Следствие вытекает из леммы 5.4, поскольку ввиду E.22)
Ет (R) = min £sp (#') + R' — R (задача 8). П E-27)
Посмотрим теперь на полученные результаты с точки зрения
универсального кодирования; см. обсуждение в § 1.2. В контексте
настоящего параграфа универсальное кодирование означает
оценку качества кода по набору максимальных вероятностей
ошибок этого кода во всех ДКБП с данными входным и выходным
алфавитами.
ОПРЕДЕЛЕНИЕ 5.7. Функция Е* (W) канала W называется
универсально достижимой экспонентой ошибки при скорости
R >0 для семейства ДКБП {W: X -* У\, еСли для любого
б > 0 и лю бого л 5г «о (|Х|, |Y|, R, б) существует блоковый
код (/, ср) длины л, скорость которого не меньше /? —- б, а макси-
максимальная вероятность ошибки в любом ДКБП { W. X ->■ Y } удов-
удовлетворяет неравенству
е {Wn, f, ср) < ехр {—л (Е* (W) — б)}
(задача 9). Такая функция Е* (W) называется максимальной,
если для любой другой функции Е** (W), которая универсально
достижима при скорости R, существует канал Wo, для которого
Е** (Wo) < Е* (Wo). О

§ 5, Лемма об упаковке 161
Естественным обобщением задачи определения экспэнэмгы
ошибки для одного канала, т. е. величины Е (R), является задача
определения всех универсально достижимых экспонент ошибки
(или, эквивалентно, всех максимальных экспонент) для каждого
заданного R. Эта задача представляется очень трудной. Очевид-
Очевидные примеры универсально достижимых экспонент ошибки полу-
получаются, если положить Е* {W) = Е (R, W) для некоторого фикси-
фиксированного W и Е* (W) = 0 для остальных W. Теорема 5.2 при-
приводит к следующему более интересному семейству универсально
достижимых экспонент ошибки.
ТЕОРЕМА 5.8. Для каждого фиксированного распределения Р
на X экспонента случайного кодирования Ет (R, P, W) универ-
универсально достижима при скорости R (задача 10). О
Доказательство. Требуемое утверждение вытекает из теоремы
5.2, поскольку ввиду леммы 5.5 для каждого распределения Р на X
и каждой скорости R > 0 существует последовательность Рп -*■
-*■ Р, где Рп — тип последовательностей из X" и ЕТ (R, Рп,
W) ->■ Er (R, P, W) равномерно по W. □
Другой путь оценки качества кодов для семейства каналов
состоит в исследовании наибольшей вероятности ошибки для
каналов из данного семейства. Ясно, что это менее честолюбивый
подход, чем универсальное кодирование. Он оправдан только
втом случае, если рассматриваемое семейство каналов" не слишком
велико. Например, для семейства, состоящего из всех ДКБП
\W: X->-Y}, эта наибольшая вероятность стремится к 1 при
любом R > 0, когда п ->■ оо.
ОПРЕДЕЛЕНИЕ 5.9. Составным каналом с входным алфа-
алфавитом X и выходным алфавитом Y называется (не обязательно
конечное) семейство W каналов W: X-»-Y. Максимальная ве-
вероятность ошибки кода (Д qp) в составном канале W определяется
равенством
е = еGГ, /, cp)iLsupe(r, Д q>).
Аналогично, средняя вероятность ошибки определяется равен-
равенством
ё = ё (Ж, Д Ф) A sup ё (W, Д Ф). О
Составным ДКБП с входным алфавитом X и выходным алфа-
алфавитом Y называется последовательность составных каналов
Wn Л. \Wn : W £ W\, где Ж— некоторое заданное множество
стохастических матриц W: X ->■ Y. Для составного ДКБП можно
определить г-пропускную способность, пропускную способность,
достижимые экспоненты ошибки и функцию надежности точно
так же, как для одного ДКБП.
6 Чисар И., Кернер Я.

162 Гл. 2. Системы с двумя терминалами
Пусть задано семейство Ж стохастических матриц W: X ->- Y.
Рассмотрим функции
/ (Р, Ж) А iitf I (P, W);
Er (R, Р, Ж) AJnf E, (R, P, W);
Esp (R, Р, Ж) ±Ап\ Esp (R, P, W).
Положим
С (Ж) A max / (Р, Ж);
р
Ег (R, Ж) A max ET (R, Р,
р
Esv (R, Ж) Ж max £sp (R, P,
ТЕОРЕМА 5.10. Функции Ет (R, Ж) и £sp (R, Ж) являются
соответственно нижней и верхней оценками для функции надеж-
надежности составного ДКБП, заданного семейством Ж. О
СЛЕДСТВИЕ 5.10 (теорема кодирования для составного ка-
канала). Для каждого 0 < е < 1 е-пропускная способность состав-
составного ДКБП, заданного семейством Ж, равна С (Ж) (задача 11). О
Доказательство. По теореме 5.8 для каждого распределения
вероятностей Р на X функция ЕТ (R, P, W) универсально дости-
достижима при скорости R. Отсюда по определению следует, что Ет (R,
Р, Ж) ■— достижимая экспонента ошибки при скорости R для
составного ДКБП. Поэтому Ет (R, Ж) — нижняя оценка для
функции надежности. То, что Esp (R, Ж) является верхней оцен-
оценкой, вытекает иа теоремы 5.3 точно так же, как соответствующий
результат в теореме 5.6.
Для доказательства следствия заметим, что неравенство Се <:
< maxp/ (P, W) вытекает из следствия 1.4 (задача 12), в то время
как из теоремы 5.10 сразу следует обратное неравенство (за-
(задача 13). □
Лемма об упаковке оказывается полезной также при более
тонком исследовании ошибки декодирования. Вспомним, что для
данного канала W: X ->■ Y и данного кода (/, qp), т. е. пары отобра-
отображений /: М/-> X, ф: Y ->■ М' =э М/, вероятность ошибочной
передачи сообщения m £ М/ равна
em = em (W, /, ср) А 1 — W (ф-1 (m)\f (m)).
U До сих пор мы не обращали внимания на принципиальное
различие между двумя типами ошибок. Если ср (у) £ М' — М/,
то ясно, что произошла ошибка, в то время как, если <р (у) яв-
является некоторым элементом М/, отличным от истинного сообще-
сообщения т, ошибка остается необнаруженной. С практической точки

§ 5. Лемма об упаковке 163
зрения такая замена одного сообщения другим приносит больше
вреда, чем ошибка первого типа, при которой происходит простое
стирание сообщения.
Пусть было передано сообщение т. Вероятность необнару-
необнаруженной ошибки определяется равенством
ет = ёт (W, /,«р)Д1Г( U Ф (m')\f(m)),
в то время как вероятность стирания определяется равенством
ёт = em(W, f, ц>)А= W(
U p(
т' £ М'—М^
Максимальная вероятность необнаруженной ошибки есть
ё (W, /, ф)^тах^т(^, f, cp).
m£Mf
Наша цель состоит в том, чтобы дать одновременно дости-
достижимые экспоненциальные верхние оценки для (максимальной)
вероятности ошибки (соответственно необнаруженной ошибки)
блоковых кодов длины п в ДКБП. Мы покажем, что ё {Wn, f, cp)
можно сделать существенно меньшей, чем наименьшее возможное
значение е (Wn, /, ср), увеличивая допустимую вероятность сти-
стирания, т. е. разрешая, чтобы е (Wn, f, cp) не принимала наимень-
наименьшее возможное значение. Приводимая ниже теорема 5.11 яв-
является соответствующим обобщением теоремы 5.2. Ее следствие А
подчеркивает универсальный характер полученного результата,
а следствие В дает верхнюю оценку достижимых ё (Wn, f, cp)
для одного ДКБП в случае, когда единственным требованием на
е {Wn, f, cp) является стремление ее к 0.
Определим модифицированную экспоненту случайного кодиро-
кодирования формулой
Er.xiR, P, У)Ашп(В (V\\W\P) +Ц1(Р, V) — R\+),
E.28)
где к > 0 — произвольный параметр. Тогда, аналогично лемме
5.4 и следствию из нее,
ЕТ. к (R, P, W) = min (£sp (#', Р, W) + X (#' — #)) =
R'> R
£SP (R, Р, Щ, если R ss Rx,
Esp(Rx, P, W) + k{Rx- R), если 0<: R<iRx,
где Rx = Rx (P, W) — наименьшее значение R, при котором
опорная прямая к выпуклой кривой Esp (R, P, W) имеет тангенс
угла наклона —X.

164 Гл. 2. Системы с двумя терминалами
Аналогично определению 5.7, будем говорить, что пара функ-
функций ф* (W), Е* (W)) от W является универсально достижимой
парой экспонент ошибки при скорости R > 0 для семейства
ДКБП {W: X -> Y}, если _для Любого б>0 и любого п ^
>• п0 (|Х |, | Y|, 7?, б) существует блоковый код (/, ср) длины п
со скоростью
п-1 log | М, | з* Я — fi,
такой, что для любого ДКБП {W: X -> Y} справедливы нера-
неравенства
ё (W, Д Ф) <: ехр {—п (£* (W) — б)},
е (Wn, f, ф) « ехр {— л (£* (W) — б)}.
ТЕОРЕМА 5.11. Для любых R ^ R > О, K^l, б > О,
"^=no(|X|, |Y|, б) и любого типа Р последовательностей
из X" существует блоковый код (/, ф) длины п со скоростью
п-1 log | М/1 ^ R — б,
такой, что все кодовые слова / (;), / ^ М/, имеют тип Р и для
любого ДКБП {W: X -> Y} выполнены неравенства
e(W", Г, Ф) <: ехр {— n(Er,x(R, P, W) + R-R-8)}, E.30)
е (W", f, Ф) <: ехр \—п (ЕТ, ,д (Я, Р, W) — б)}. О E.31)
СЛЕДСТВИЕ 5.ПА. Для каждого распределения Р на X
и любых R 5= -R >- 0, X 2? 1
(£г. я (^, Р, W) + R — ^, ,£r, I/», (R, P, W))
является универсально достижимой парой экспонент ошибки при
скорости R. О
СЛЕДСТВИЕ 5.11В. Для каждого ДКБП {W: X -»- Y} и
каждого 0 < R < С (W) = тахР / (Р, W) существует последо-
последовательность {( /„, фп)}^=1 блоковых кодов длины п, скорости
которых сходятся к R, а экспоненты ошибки удовлетворяют
условиям е (№«, /„, ф„)-> 0 и
е (IF", /„, ф„) « ехр {— пЁ (R, W)\, E.32)
где
Ё (R, №)^max (Esp (R, P, W) + I (P, W) - R) (задача 14). О
E.33)
ЗАМЕЧАНИЕ. Величина Е (R, W) конечна тогда и только
тогда, когда конечна Esp (R, W). При Ё (R, W) = оо соотноше-
соотношение E.32) означает, что ё (Wn, fn, фп) = 0.О

§ 5. Лемма об упаковке
165
Доказательство. Мы будем рассматривать тот же кодер /,
что и при доказательстве теоремы 5.2, однако с другим декодером.
Вспоминая, что М/ = {1, 2, ..., т\, положим М' й {0, 1, ..., т\
и определим декодер ср: Y" -> М' формулой
'' если 7(х'Лу)>Я + Ь|'(^Лу)-Я|+. \Фи
0 в остальных случаях.
Поскольку R ^ R, это определение однозначно.
.P, W)
Esp(R,P,W)
Рис. 5.З.
Достижимые пары экспонент ошибки из следствия 5.11А
при различных скоростях R (точечные линии).
Пусть этот код (/, ф) использован для передачи сообщения i.
Необнаруженная ошибка может появиться только в том случае,
если принятая последовательность у £ Y" такова, что / (х7- Д у)>
>./? + Я,|/(х; Д у) — R\+ для некоторого / Ф i, т. е. если у
содержится в множестве
U w (Тк(х;)П U Т^ (х,)).
1 (Р, V) > «+Л, \1 (Р, V) — R

166 Гл. 2. Системы с двумя терминалами
Поскольку множество кодовых слов было выбрано в соответствии
с леммой 5.1, можно применить оценку E.17), получая, что
Ь< 23
v, v С
' / (Я, V) > R + X\ I (P, V) — R\+
<■ 23 ехр{— n(D(V\\W\P) + k\I(P,V) — R\+ + R-R)\.
В силу определения E.28) функции ЕТ1% отсюда и из E.1) выте-
вытекает E.30).
Далее, если было передано сообщение i, ошибка (необнару-
(необнаруженная или стирание) происходит в том и только том случае,
если принятая последовательность у £ Y" удовлетворяет условию
/ (х,- Л У) < R + ^ 11 (х/ Л У) — R Г Для некоторого / Ф i.
Это происходит либо если / (хг Д у) < S, либо если
R < / (хг Д у) <: R + К (I (xt /\ у) — R) для некоторого
/ ф i,
т. е. в том и только том случае, если у £ Aj U Вь где
1 (Я, V) s£ R
U (Тк(хг) n U
R<1 (P, VXR + W (P, V)-R)
Из условия ~R < I (Р, V) <: R + Я, (/ (Р, У) — /?) вытекает, что
/ (Л У) ss ^ 4- A/^) (/ (Р, V)-R) = R + AД) | / (Р, У) - ^ [+.
Таким образом, применяя E.5) и следствие E.17) леммы об упа-
упаковке, мы видим, что
et <: W» (At | х,) + W» (В, | x,) < | Г (Р) | exp {- /г£зр (£ Р,
V, v£T (P)
В силу E.1) и E.29) отсюда следует E.31).
Следствие А вытекает из этой теоремы так же, как теорема 5.8
вытекает из теоремы 5.2.
Для доказательства следствия В предположим сначала, что
Е (R, W) < оо, и обозначим через Р распределение, для которого
£sp (R, Р, №) + / (Р, W) — Я = Ё (R, W)~
Из предположения R <. С (W) вытекает, что Е (R, W) > 0,
откуда с необходимостью R < / (Р, №), Из следствия Л выте-

§ 5. Лемма об упаковке 167
кает, что каждой паре (#', R') с R' < R < R' < / (Р, №) и
каждым X > 0, б > 0 при достаточно больших п соответствует
блоковый код длины п, для которого (\/п) log | Mf\ Ss R' — б и
ё (W», f, Ф) < ехр {—/г (ErtX(R', P, W) + R' — R' — б)},
/, Ф) «£ ехр {—/г (£r, ,A (£', Р, W) — б)}.
Полагая R' JL R — л, R' = / (Р, \\7) — т) для произвольно ма-
малого т) > 0, из E.29) и строгой монотонности EsP (R, P, W) полу-
получаем, что можно найти настолько большое К и настолько малое б,
что
Ет, х (Rr, P, W) + R' — R' — б > Е (R, W),
Ет. iii(R', P, W) — б >0.
Этим следствие В доказано при Е (R, W) < оо. Если Е (R, W) =
= оо, аналогичные рассуждения показывают, что для каждого
/С > 0 существуют блоковые коды длины п с нужной скоростью,
для которых е (Wn, f, ф) произвольно мало, а
ё (W\ f, cp) <: ехр {— пК\.
При достаточно больших К из последнего соотношения вытекает,
что ё (W*, f, Ф) = О.П
ОБСУЖДЕНИЕ. В § 1 мы рассматривали е-пропускные спо-
способности ДКБП при фиксированных s. Мы показали, что Сс = С
для любого s > 0, но, вообще говоря, Со < С. Одна из целей
этого параграфа состоит в том, чтобы показать, что происходит
в промежуточном случае, когда допустимая вероятность ошибки
положительна и имеет некоторый предписанный порядок убы-
убывания при возрастании длины блока п. Для каждого такого по-
порядка можно определить свою пропускную способность. В част-
частности, если вероятность ошибки имеет порядок ехр {—пЕ\, со-
соответствующая пропускная способность равна наибольшему R,
для которого Е (R) з== Е (задача 15). Из теоремы 5.6 вытекает,
что если допустимая вероятность ошибки стремится к нулю
медленнее, чем по экспоненте, то соответствующая пропускная
способность равна обычной пропускной способности. Ясно, ко-
конечно, что для ДКБП последовательность положительных вероят-
вероятностей ошибки не может стремиться к 0 быстрее, чем экспонен-
экспоненциально.
Теорема 5.6 дает лишь частичное решение общей задачи о про-
пропускной способности. Заметим, что общее решение включало
бы в себя определение пропускной способности при нулевой
ошибке, что само по себе является одной из наиболее давно стоя-
стоящих нерешенных задач теории информации. Столь же интересная

168 Гл. 2. Системы с двумя терминалами
с математической, если не с практической, точки зрения задача
состоит в уточнении обращения теоремы кодирования для кана-
каналов с шумами, т. е. в определении того, насколько быстро стре-
стремится к нулю вероятность нравильного декодирования при ско-
скоростях, больших пропускной способности. Эта задача легче преды-
предыдущей, и в настоящее время почти полностью решена (задача 16).
Результаты о кодировании для источника и для канала из
§ 4 и 5 во многих отношениях похожи. Одно существенное раз-
различие состоит, однако, в том, что в случае источников для любой
скорости R существует последовательность кодов, характеристики
которых стремятся к оптимальным равномерно для любого ДИБП,
а в случае каналов это уже не так. Задача универсального коди-
кодирования для каналов существенно отличается от задачи коди-
кодирования для одного ДКБП, что побудило нас обратить особое
внимание на универсальные кодовые следствия леммы об упа-
упаковке, включая более тонкий анализ ошибок декодирования
(следствие 5.ПА).
Мы до сих пор не имеем окончательных результатов. Улучше-
Улучшения приведенных в основном тексте оценок как для одного ка-
канала, так и в случае универсального кодирования в случае малых
скоростей рассматриваются в задачах 10, 17—23 и 28. Эти улуч-
улучшения показаны на рис. 5.4 к задаче 28.
Некоторые видоизменения модели, такие, как введение об-
обратной связи, которые не меняют результатов на начальном этапе,
но влияют на вероятность ошибки, см. в задачах 33—35.
Результаты § 4 и 5 можно объединить с более тонким анализом
ПМСП. См. также Csiszar A982a). Мы видели, что если при пере-
передаче сообщений длины k от ДИБП по ДКБП наложен е-критерий
точности (к, Д), где s £ @, 1) не зависит от k, то предельное ми-
минимальное отношение правдоподобия можно получить, комбини-
комбинируя «хорошие» коды для источника и для канала. Оказывается,
что если s зависит от длины блока k, это, вообще говоря, уже
неверно (задача 29).
С практической точки зрения сами по себе асимптотические
оценки ошибки представляют небольшой интерес. Вместо этого
интересно иметь оценки для ошибки при конечных длинах блоков.
Анализируя наши доказательства, несложно получить такие
оценки, хотя они могут оказаться плохими при малых длинах.
Однако получение точных оценок для каждой длины блока п
не входит в нашу задачу (задача 30).
Задачи
1 (общая граница Гилберта). (а) Предполагая, что УцХ, покажите, что х;
из леммы об упаковке удовлетворяют условию / (х; Д Xj) ^ R для любых i ф j.
(b) Приведите прямое доказательство существования exp {n (R — б)}
последовательностей типа Р, для которых / (х; Д Xj) ^ R при I ф /.

§ 5. Лемма об упаковке 169
(Blahut A977).)
(с) пусть | Х| = 2 и Р = A/2, 1/2). Покажите, что существует ехр {п X
X (R — о)} двоичных последовательностей длины п, таких, что R > 1 —
— h(dm\Jn)' где dmin = minf¥=/dH(xi' х/) (см. задачу 1.18 (Ь)). Докажите
непосредственно, что для любого фиксированного п можно найти даже ехр {nR}
двоичных последовательностей, для которых R > 1 — h(dmin/n). Этот результат
известен как граница Гилберта (см. также задачу 26).
(Gilbert A952).)
2. Покажите, что Ес (R, P, W) > О в том и только том случае, если R <
<: / (Р, W), так что из теоремы 5.2 вытекает следствие 1.3 и, значит, суще-
существование кодов в теореме кодирования для каналов с шумом. Заметьте, что не-
неравенство E.14) автоматически выполнено при R J> / (Р, W).
3 {конечность экспоненты сферической упаковки), (а) Докажите, что Roo (P,
W) равно минимальному значению / (Р, V) по всем V, для которых V (у [ х) = О
каждый раз, когда W (у \х) = 0. В частности, R<x> (P, W) > 0 в том и только
том случае, если для любого у £ Y существует такое х £ X, что Р (х) > 0
и № ((/1 х) = 0.
(b) Покажите, что функция £sp (R, P, W) конечна и непрерывна справа
в точке R = Roo (P, W). Покажите, что это же верно для £sp {R, W) Д
А тахр Я3р (R, P, W) я Я «.а тахрЯ» (Р, W).
(c) Докажите, что Roo= — minp maxy log J]^. w (y , ж) > 0P (jc).
Выведите отсюда, что для ДКБП с положительной пропускной способностью
при нулевой ошибке /?оо = Со /; см. задачу 1.28.
(Shannon—Gal lager—Berlek'amp A967).)
Указание: использовать задачу 4.7.
4. (а) Покажите, что нижняя оценка е (Wn, f, cp) > ехр {—п [Esp (R,
pt W) -(- б]} (но не равномерность по W) для кодов из теоремы 5.3 при достаточно
больших п может быть доказана с использованием вместо E.20) неравенства
Vn (Sm | / (m)) > s (для некоторого фиксированного е).
Указание: использовать теорему 1.1.2, как при доказательстве теоремы 4.5.
(Ь) Докажите нижнюю оценку в теореме 4.5 методом теоремы 5.3.
5 (другой вывод границы сферической упаковки), (а) Пусть заданы два ко-
конечных множества X, Y и положительные числа R и б. Покажите, что для
любого типа Р последовательностей из X™, любого подмножества {х;: i £ М} С
С Тр, такого, что A//г) log | М | ;> R + б, любой стохастической матрицы
V £ У (Р) и любого отображения cp: Y" —»- М имеем
в предположении, что п~^ щ (|Х|, [ Y |, б).
(Dueck— Кбгпег A979).)
(Ь) Выведите отсюда, что при п > Щ (| X |, | Y |, б) любой блоковый код
(Л Ф) длины п для ДКБП {W: X ->- Y}, такой, что A/га) log | Щ | > Я + б
и все кодовые слова имеют тип Р, удовлетворяет условию
(l/n) log г (U7", f, ф) > min О(У|(М|Р)—1//г.
/ (P. /)<S—(i/»z)
6. Пусть
e (/г, Я) a min e (wn, f, ф)
— максимальная вероятность ошибки «наилучшего» блокового кода длины п
со скоростью R для ДКБП {W}.

170 Гл. 2. Системы с двумя терминалами
(a) Проверьте, что теорема 5.6 эквивалентна следующим двум утвержде-
утверждениям:
(i) Шй A/га) log e (n, /?)< — £> (R),
rt-»-oo a
(И) fim A//г) log - (/г, Я) > — Esp (R), если Я ф Rco.
(b) Проверьте, что (ii) выполнено также, если заменить lim на lim. Выве-
Выведите отсюда, что при R > RCT
lim A/n) е (п, Я) = Яг (Я) = £sp (Я).
П->-<х>
(При R < i?cr неизвестно даже, существует ли этот предел).
7 (критическая скорость). Покажите, что Rcr < С, если для некоторого
х £ X: (i) Р (х) > 0 для распределения Р, максимизирующего / (Р, W), и (ii)
строка W (■ | х) матрицы W содержит по крайней мере два различных положи-
положительных элемента. Выведите отсюда, что RCT = С тогда и только тогда, когда
Rao = С; см. задачу 3.
(Gallager A965).)
Указание. Если Я (Р, W) = / (Р, W) для некоторого Р, то Яг (Я, Р, W)
является прямой с тангенсом угла наклона —1 на отрезке 0 ^ R ^ / (Р, W).
Полагая R = 0, получаем, что минимальное значение / (Р, V) -\- D (V \\W \ P)
достигается при V = W. Показать что в этом случае все положительные эле-
элементы строки W (- \х), для которой Р (х) > 0, должны совпадать.
8 (входные ограничения). Докажите аналог теоремы 5.6 для ДКБП с вход-
входным ограничением (с, Г). Покажите, что оценка снизу остается справедливой,
если вместо условигя с (f (m)) =£С Г для любого т требовать лишь выполнения
условия |M/|-i 2]га6М/С(/(т)КГ.
9 (несуществование универсально оптимальных кодов). Для фиксирован-
фиксированного R рассмотрим поточечную верхнюю грань универсально достижимых
экспонент ошибки Е* (W). Покажите, что она равна Е (R, W), но Е (R, W)
не является универсально достижимой. В частности, не существует «наилучшей»
универсально достижимой экспоненты ошибки. Интерпретируйте этот результат
в том смысле, что для каналов в отличие от источников задача универсального ко-
кодирования принципиально отличается от задачи кодирования для одного канала.
10 (универсальное улучшение границы случайного кодирования), (а) Пока-
Покажите, что для каждой универсально достижимой экспоненты ошибки Е* (W)
при скорости R существует распределение вероятностей Р на X, для которого
Е* (W) = ЕГ (R, P, W) при любом W, для которого R (P, W) < R (см. след-
следствие 5.4).
(Ь) Покажите, что для любого распределения Р на X
Er(R, P, W)A . min (D(V\\W\P)+\I(P, V)-R\+)
~ V: I (P, V)—
— H (V[P)> R
является универсально достижимой экспонентой ошибки при скорости R. При-
Привести пример, когда ЕТ (R, P, W) > ЕТ (R, P, W).
Указание: использовать замечание к лемме 5.1.
(Более точный результат и дальнейшее обсуждение см. в работе Csiszar—
Korner A981).)
СОСТАВНЫЕ ДКБП (задачи 11 — 13)
II. Докажите, что если е-пропускную способность и пропускную способ-
способность определять через среднюю вероятность ошибки вместо максимальной, то
(а) пропускная способность не изменится, но

§ 5. Лемма об упаковке 171
(Ь) е-пропускная способность может увеличиться. (Удивительный факт,
состоящий в том, что сильное обращение теоремы кодирования для составного
ДКБП со средней вероятностью ошибки может оказаться неверным, был заме-
замечен Алсведе (Ahlswede A968).)
12 (максимальные коды для составных каналов), (а) При | W | < оо дока-
докажите следствие 5.10 непосредственно.
Указание. Показать, что следствие 1.3 обобщается на любое конечное мно-
множество Ж каналов в такой форме. При п ;> л0 (| X |, | Y |, т, е, \УР\) пусть (/, ср)
есть (п, е)-код для каждого ДКБП {W}, W £ Ж, такой, что f (от) £ Т[Р])
ф (от) С Uw , ^=T[U7] (f (от)) для любого от £ М^ и у кода (/, ф) нет расши-
расширений с такими же свойствами. Тогда
A/n) log | М/ | > / (Р, W) — 2т.
(Ь) Избавьтесь в (а) от предположения | W | < оо.
Указание. Приблизить каналы из Ж конечным числом каналов (завися-
(зависящим от п) таким образом, что для каждого W £ ^существует аппроксимиру-
аппроксимирующий канал W*, удовлетворяющий условию | W (у | х) — W* (у \ х) | < | X | п'4
для любых х £ X, у ^ Y. Показать, что (а) применимо к множествам ДКБП,
зависящим от п, если только число каналов есть ехр {о (га)}.
(Wolfowitz (I960), A961).)
13 (составные каналы с информированными кодером или декодером). Пусть
задан составной ДКБП. Предположим, что кодер может выбираться зависящим
от W £ W (фактически работающего канала), в то время как декодер не
зависит от W. Определяя обычным образом пропускную способность, покажите,
что она равна нижней грани пропускных способностей каналов W £ УР. За-
Заметим, что эта величина может превосходить C(W). Если, однако, декодер может
зависеть от W, а кодер не зависит от W, то пропускная способность всегда
остается равной С (if).
(Wolfowitz (I960).)
14 (необнаруженная ошибка), (а) Проверьте, что в интервале #оо ^ R < С
функция Е (R, W) является убывающей выпуклой функцией R, строго боль-
большей £sp (R, W).
(Ъ) Приведите пример, показывающий, что оценка в следствии 5.11В для
Е (R, W) не является, вообще говоря, точной.
Указание. Для двоичного стирающего канала (задача 1.8) величина Е (R,
W) конечна для любого R > 0, в то время как для любой скорости, меньшей
пропускной способности, можно построить коды с
е (Wn, fn, Фп) — 0, ё (Wn, fn, Фп) = 0.
15 (обобщенная пропускная способность). Для ДКБП {W} положим ЕСТ Д
Д Е (RCr)- Покажите, что при Е ^ Ест «пропускная способность», соответству-
соответствующая допустимой вероятности ошибки ехр {—пЕ) (т. е. наибольшее R, для
которого Е (R) >* Е), равна
max min / (P, V).
Р V: D (V || W\P)*ZE
16 (вероятность ошибки при R > С), (а) Покажите, что для каждого
БП {№:Х -*■ Y} блоковый код (/, ф) длины п со скоростью (\ln) log | М/ | >
R -\- S имеет при п > пг (| X |, | Y |, б) среднюю вероятность ошибки
e(wn, /, ф)> 1 —ехр {—п IK(R, W) — б]},
где К (R, W) Д min min (D (V \\ W | Р) + | R — / (Р, V)\+).
Р V

172 Гл. 2. Системы с двумя терминалами
Указание: использовать неравенство из задачи 5 (а).
(b) Покажите, что результат в (а) экспоненциально точен для любого
R> С, т. е. при достаточно большом п а существует блоковый код длины п
со скоростью (\ln) log | М/ [ > R — 8, удовлетворяющий условию
e(wn, f, ф) < 1 — ехр {— п [К (R, W) + б]}.
Указание. По аналогии с доказательством теоремы 5.3 показать, что для
любого п ;> щ (| X |, | Y |, б) и каждого типа Р последовательностей из X"
существует код (f, <р) с кодовыми словами типа Р и скоростью A/я) log | Mf | :>
R — б, имеющий максимальную вероятность ошибки
e(Wn, f, <р)< 1 — ехр{— п [ min - D (V || W \ Р) + б]}.
V: I (P, V) 3»Л ~
Далее заметить, что любой код со скоростью R, для которого e(Wn, f, ф) ^
=S^ 1 — ехр (—пА), может быть расширен до кода (f, ф) со скоростью R' >
> R, для которого e(wn, f, ф) ^ 1 — ехр {—п [А — R' -)- /?]} (полагая ф =
= Ф).
(Dueck— Кбгпег A978); доказательство части (Ь) использует идею Омуры
(Omura A975)). Результат части (а) был впервые получен (в другой форме)
в работе Arimoto A973).)
(c) (добавлено при корректуре). Покажите, что обратная связь не увеличи-
увеличивает экспоненты правильного декодирования при скоростях, больших пропуск-
пропускной способности, т. е. результат в (а) справедлив даже для блоковых кодов
с полной обратной связью; см. задачу 1.27.
Указание. Достаточно показать, что имеет место следующий аналог не-
неравенства в задаче 5 (а):
где А (/, Р, V) обозначает множество тех у = у1 ... уп € Y", Для которых
последовательность х=х1...хп, Xj=f(i,ylt ..., yj-i),
имеет тип Р и у£Ту(х). Поскольку
2 [ A (i, Р, V) П Ф (*) |< I Tpv К ехр {пН (PV)},
остается проверить, что
|А(», Р, V) К ехр {nH(V\P)}.
Это, однако, следует из равенства
где Vf построено по V, как в задаче 1.27.
(Csiszar—Korner A980b, не опубликовано); эквивалентный результат был
получен ранее Огюстеном (Augustin A978, не опубликовано)) и Шевердяевым,
частное сообщение. Более слабый результат, состоящий в том, что для ДКБП
с полной обратной связью справедливо сильное обращение, появился во втором
издании книги Вольфовица (Wolfowitz A961)), где он приписывается независимой
неопубликованной работе Кемпермана и Кестена.
17 (уточнение границы случайного кодирования). Для заданного ДКБП
{W: X -»-Y} определим (не обязательно конечнозначную) меру искажения на
X X X равенством
dxv {х, х) А - log ^ VW(y\x)W(y\x).

§ 5. Лемма об упаковке
173
Положим
EX(R,P, W)A min [Edw(X, X)-\-I (X/\ X) — R],
I (X Л X) < R
Ex (/?) = Ex {R, W) Д max Ex (R, P, W).
P
а) Покажите, что для каждых R > 0, б > 0 при достаточно больших п
каждому типу Р последовательностей из X" соответствует код, скорость которого
не меньше R — б, а максимальная вероятность ошибки удовлетворяет условию
e{Wn, /, Ф)<ехр{— п [EX(R, P, W) — б]}.
(Csiszar—Кбгпег-—Marton A977, не опубликовано).)
(b) Покажите, что Е (R) > Ех (R).
(Эквивалентный результат был впервые получен в работе Gallager A965),
где он назван границей с выбрасыванием. Относительно эквивалентности резуль-
результатов Галлагера и утверждения (Ь) см. задачу 23.)
(c) Покажите, что для каждого ДКБП с положительной пропускной способ-
способностью Ех (R) > Ет (R) при достаточно малых R. Точнее, докажите, что Ех (О,
Р, W) > Ег (О, Р, W), если / (Р, W)> 0.
Указание. Лемма 5.1 гарантирует существование exp {n (R — б)} последо-
последовательностей xt £ Хп типа Р, таких, что для любого г и любой стохастиче-
стохастической матрицы V: X -»-Х число последовательностей xj в TV (xi) не превосходит
Lexp {n [R — / (Р, K)]}J- (в качестве V: X -»- X нужно взять единичную
матрицу). Используя множество кодовых слов {xj} вместе с декодером по
максимуму правдоподобия (определенным в задаче 1.2), показать, что
/фС ,
Здесь внутренняя сумма равна ехр {— nEdw (X, X)}, где X, X — СВ с сов-
совместным распределением Рх х , откуда следует утверждение (а).
Переходя к (с), следует заметить, что
Ег (О, Р, W) = min [D (К|| W | Р) + / (Р, V)] =
= min 2 ^ Р (х) V(y\x) log ■
У (У I *)
х, у
= 2 min Г—
Q
VW(y\x)Q(y)
■lx у J
юка
У'
Дифференцируя, можно показать, что если Q* дает это минимальное значение,
то Q* {у) > 0 и

174 Гл. 2. Системы с двумя терминалами .
принимает одно и то же значение для каждого у £ V, для которого PW (у)> 0.
Поскольку Q* — РВ на Y, это значение должно быть равно 1. Ввиду выпуклости
логарифма отсюда следует, что
Ех @, Р, W) — ЕТ @, P,W) =
= — V V
) loe
P(X)I
У
W(y\x]
i (x) V
>Q*0/)
W(y\x
У
)W(y\x)
" У У
= — log N Q* (y) = 0.
у
Это неравенство является строгим, если W (у \х) зависит от х для некоторого у,
для которого PW(y)>0, т.е. если / (P, W) > 0.
18 (граница с выбрасыванием и пропускная способность при нулевой ошибке).
(a) Проверьте, что £х №, Р) (см. задачу 17) является убывающей непре-
непрерывной выпуклой функцией R в замкнутом слева интервале, в котором она
конечна (для каждого фиксированного Р), и это же верно для Ex (R). За-
Заметьте, что если пропускная способность Со при нулевой ошибке канала {W}
равна нулю, то Ex (R, Р) < оо для любого Р, в то время как если Со > 0,
то Ех @, Р) = оо для любого Р, для которого Р (х) > 0 при любом х £ X
(см. задачу 1.4).
(b) Пусть
— наименьшее # > 0, для которого £х (/?, Р) <С оо, и /?^ Д maxp R^ (P) —
наименьшее R ^ 0, для которого £х (/? ) < оо. Докажите, что /?£,==
= loga(G), где G= G (W) и a (G) были определены в задаче 1.21.
(Gallager A965), A968), Кот A968).)
Указание. Показать сначала, что минимум в формуле для R^ (P) дости-
достигается в том и только том случае, если
р (Х х) + {
хх ' \ 0 в остальных случаях,
где распределение Q и константа с однозначно определяются требованием Рх ==
= Рх = Р. Вывести отсюда, что
/?^(P) = logc— 2£>(P||Q)<logc<— log min J] Q(x)Q(x).
Q x, x: dw (x, x) < oo
Если dw (xlt x2) < оо, последняя сумма является линейной функцией (Q (xt),
Q (х2)), когда остальные Q (х) фиксированы. Таким образом, минимум дости-
достигается, когда Q сосредоточено на подмножестве X, не содержащем связанных
пар. Отсюда сразу следует неравенство /?£, ^ log a (G), в то время как обратное
неравенство очевидно.
(с) Пусть Ех (R, Wn) обозначает аналог £х (R, Щ для канала Wn: Xя-*-
-v Y". Покажите, что A/га) Ex {nR, Wn) также является нижней границей для

§ 5. Лемма об упаковке 175
функции надежности ДКБП {W} и A/га) Ex(nR, Wn)^Ex(R, W). Исполь-
Используя часть (b), приведите пример, когда это неравенство является строгим.
(d) Пусть Rx, п — аналог R& для канала Wn: X" -*■ У'1. Покажите, что
Игл A/га) R^, „ = Со.
Указание: использовать результат части (Ь) и задачу 1.21.
НАДЕЖНОСТЬ ПРИ R = 0 (задачи 19—22)
19 (вероятность ошибки для двух сообщений). Пусть заданы ДКБП
{W: X -v Y} и две последовательности х £ X", х £ X". Пусть
е (х, х) Д min max (lF" (в | х), Wn (I | х))
В<=у"
— максимальная вероятность ошибки для кодов с двумя сообщениями, имеющих
кодовые слова х, х. Для каждого s g [0, 1 ] положим
ds(x,x)A-log £ Ws(y\x)W1-s(y\x),
где (только в этой задаче) 0° А 0. Далее, положим
п
ds (х, х) Д — 2j ds (xit xt).
1=1
(а) Покажите, что для любого s £ [0, 1 ]
е (х, х) ^ ехр {— nds (x, х)}.
Указание. Ясно, что для В А {у: Wn (у | х) < Wn (у |"х)} имеем
И7"(В|х)< 2]
gY
и аналогичное неравенство верно для Wn (B|x).
(b) Докажите, что для любого 8>0 и любого п ^ Пц (б, W)
е (х, х) ;> ехр {— п [ max ds (х, х) + б]}.
(Shannon^Gallager^Berlekamp A967), обобщение результата Чернова
(Chernoff A952)).)
Указание. Рассмотрите распределения Plt ..., Рп на Y", задаваемые равен-
равенством
Pi (х) uWs(y\ xt) Wl-S(y | xt) [ ^ Ws {y' | xt) Wl's (y' | ^г)]-',
у'
где s£ [0, 1] максимизирует ds (x, x). Примените теорему 1.1.2 с 8= 1/2
и U7(-|x;), соответственно U7(-|jE;) вместо Mt(-).
(Здесь объединены доказательства из работ Csiszar—Longo A971) и Blahut
A977).)
(c) Покажите, что если | X | = 2 и х, х имеют одии и тот же тип, то ds (x, х)
максимально при s = 1/2, так что верхняя оценка в (Ь) справедлива при мере
искажения из задачи 17. Покажите далее, что при |Х| ^ 3 это уже не так.

176 Гл. 2. Системы с двумя терминалами
Указание. Для построения контрпримера в качестве канала W: {0, 1, 2} —*■
-*- {О, 1, 2} следует взять канал с аддитивным шумом, задаваемым распределе-
распределением с Р @) > Р A) > Р B) = 0 (см. задачу 1.11 (а)). Далее следует рассмо-
рассмотреть последовательности х и х дли^ы п = 3k, для которых
N@, 1 |х, х) = NA, 2|х, х) =N B, 0 | х, х) = k.
(Этот пример содержится в работе Shannon — Gallager — Berlekamp A967).)
20 {надежность при R = 0). Докажите, что для каждой последователь-
последовательности кодов (fn, фп) для ДКБП {W: X -*- Y} из условия | Mfn | ->■ оо следует,
что
_Urn(l/n)\oge(Wn, /„, ф„)>-£х@).
Заметьте, что, хотя Е (/?) неизвестна при 0 < /? < /?сг> отсюда и из задачи 17
вытекает, что
lim £(/?) = £Х(О).
R-*0
(Berlekamp A964, не опубликовано), опубликовано — с небольшой ошиб-
ошибкой, которой не было в оригинале, — в работе Shannon—Gallager—Berlekamp
A967).)
Указание, (i) Ввиду задачи 19(b) достаточно показать, что для каждого
б > 0 каждое подмножество X" мощности т = т (б) содержит последователь-
кости х Ф х, для которых
max d$ (X, х) ^ Ех @) + б.
Можно предположить, что ds принимает конечные значения, поскольку иначе
Ех @) = сю. Заметьте далее, что ds (х, х)—выпуклая функция s £ [0, 1].
(ii) Пусть
d'(a,b)A-Lds(a,b)\s=l/2; d' (х, х ) & -L ^ /V (а, 6 | х, х) d' (а, 6).
а, Ь
Поскольку d' (х, х) = — d (х, х) для любых х, х, каждое множество нз т =
= exp k последовательностей из X" содержит упорядоченное подмножество
{Xj, ..., Xfc}, для которого d' (х,, х^) ;> 0 при i<j- Проверьте, что тогда
max ds (x,, xy)^<J(x,:, xj), если г ^/.
где d — мера искажения, задаваемая формулой
d (a, b) a dl/2 (a, b) -f A/2) d' (a, 6).
Проверить, что достаточно доказать, что
min d(Xi, Xj)^Ex@)+8
i<i
для любого набора С = {х2 х^} CZ X", если k^k(d).
(iii) Для любого набора С = {%, ..., x/t} С X" положим

§ 5. Лемма об упаковке 177
где Pi — тип вектор-столбца длины k, состоящего из 1-х компонент последова-
последовательностей хг £ С. Полагая k = 2klt обозначим через C1CZX2" упорядоченное
множество соединений х'. Д xfxt.+ft i = 1, ..., kv Показать, что
т (С) Д min Я (х,, х,) < Ех @) + 2draax I X \1'2 (V (Сг) - V (С)I/2,
i <i
где dmax Д maxa> ь d (a, 6).
Для этого, используя идею работы Plotkin A960), ограничить минимум /л (С)
средним значением
ft, 2&! n
i=l /=*,+1 J=l а, й
где Р\ — аналог Р( для С].. Для получения нужной оценки проверить, что
^ Pt (а) Pt (b) d (а,Ь) = -L ^ ^
7^=1 a, 6 /=1 a, 6
2 | Р; (a) p;+/ (b) - Pl (a) Я/ F) I < 2 I P'i (a) - P, (a) | +
а, Ь а
+ S i p'n+i (*) - ^ (*) i =2 Б ip; (a) - pi
в то время как
последние два соотношения вытекают из того, что Р1 = A/2) (Р\ -\- Р'п+/)-
(iv) Пусть теперь k = ехр г. Построить по С = {хъ ..., x;J С X" множе-
множество Ci С X2", как в (iii), по Сг построить С2 cz X4" таким же способом и т. д.
до тех пор, пока не будет получено множество Сг С Xkn, состоящее из одной
последовательности. Показать, что
т (С)< т (Ci) < т (С2) < ... < т (Cr_i).
Далее, V (Сг) ^ 1 для любого i, так что V (С;+1) — V (С;) ^ \1г по крайней
мере для одного i. Применяя оценку из (iii) к этому i, получить (*) при
достаточно большом г.
21 (надежность при R = 0, коды с постоянной композицией), (а) Пусть
(/п. Фп) — последовательность кодов, такая, что каждое кодовое слово га-го кода
имеет один и тот же тип Рп. Покажите, что если | Mfn | -*- оо и Рп-*- Р, то
_Игп (l/n)e(Wn, fn, (pn)>—Ex @, Я, IF),
где £-^ @, P, W) — вогнутая верхняя оболочка Ех @, P, W) как функция Р.
Указание. Если все последовательности х; имеют один и тот же тип, усред-
усреднение типов Рi из указания к задаче 20 (iii) совпадает с общим типом всех х^.
(Ь) Докажите, что граница в (а) является точной; это значит, что для любой
последовательности |"in|^L=i с (\ln) logmn -*- 0 существует последовательность
кодов (fn, фп) с | М/п | = тп и с кодовыми словами типа Рп-*-Р, для которой
/я) log e(Wn, fn, ср„) < - Е"х @, Р, W).

178 Гл. 2. Системы с двумя терминалами
Указание. Пусть Р = (РA) -\- РB))/2. Рассмотреть последовательности
($К ф*,1*) и {f}f>, ф<,2)) с М A, = М С21, композициями кодовых слов Р{п{) -v
' И IП
lim (l/л) loge(Wn, /</>, cp</>) < — £„ (О, P(o, W), i= 1, 2.
rt-»-<x>
Такие коды существуют ввиду задачи 17. Пусть f2n (т) — соединение /^1} (т)
и Д21 (т). Тогда для декодера по максимальному правдоподобию ф2п
e(W2n f да \<e(Wn f(l) cdA)W (Wn F{2) w{2))
e\w , f2n' 4'2:J *== e [w 'In ' Tn )e \w 'In • Фл )•
откуда
^2", /2n, ф2л)<(_1/2)(£х@,
Обобщить эти рассуждения на произвольную выпуклую комбинацию распре-
распределений.
22 (граница с выбрасыванием и надежность при R = 0 с ограничениями
на входе).-Сформулируйте и докажите аналоги задач 17 (Ь) и 20 для ДКБП
с ограничениями на входе.
Указание: использовать задачи 17(а) и 21.
23 (другая форма экспоненты сферической упаковки и экспоненты с выбра-
выбрасыванием), (а) Докажите, что
£sp (R, Р) > шах {- 6R - log £ ( £ Р (х) )
б>о j, х
и если Р дает максимум £Sp (R) Д max £sp (/?, Р), то в предыдущей формуле
имеет место равенство, так что
Esp(R) = max max f— 6/? - log У! / У]Р (д:) U71/A+6) (j/1 x)V+6\.
(В таком виде £sp (/?) была определена в работе Shannon—Gallager—Berle-
kamp A967). Основанный на этой формуле алгоритм для вычисления £Sp (R)
содержится в работе Arimoto A976).)
Указание. (\) Показать, что, аналогично лемме 3.1,
(д, Р) = max {— 6R + min [D (V \\ W \ P) + б/ (Р, V)]}.
бз>о v
(ii) min [£> (V || W | P) + б/ (Р, 1/)] =
= min J-A+«)J]p (*) log ^ ^1/A+б) (* I *) Q6/A+6) Or)!.
{ x у J
(iii) Ввиду выпуклости выражение в скобках ограничивается снизу выра-
выражением
- A + б) log 2 Р (х) £ U7'/<1+e> (i, | *.) Q6/*^6» (у).
« у
Оно минимально, если
где с — нормировочная константа.

§ 5. Лемма об упаковке 179
(iv) Покажите, что величина — logj] / £ Р (х) Wl/(l+6) (у | х)\1+6
у \ х I
максимальна в том и только том случае, если Р удовлетворяет условию
2 wI/<I+e> (у i х) г 2] я (*
У I Х-
с равенством для каждого х £ X, для которого Р (х) > 0. Для того чтобы огра-
ограничить сверху минимум в (И), нужно выбирать Q, как в (iii), для максимизиру-
максимизирующего Р.
(Ь) Докажите, что
Ex (R) = max max j— 8R — 8 log Yj P (x) P (x) / Yj V~W (у \ x)W (у \.
^ \ X, X \ у
(В этом виде Ех (R) была определена в работе Gallager A965),)
Указание, (i) Показать, что
Ех (R, Р) = max f— б R + У, [Edw (X, X) + 81 (X Д Х)]1.
(ii) При каждом фиксированном б минимум достигается на совместном рас-
распределении вида
Р(х, x) = cQ (x) Q (х) ехр {—dw (x, х)/8),
где Q — распределение на X и б — нормировочная константа; отсюда
£dtt7 (X, X) + 81 (X /\ X) = log c—2D(P || (?) < log с <
< max f— log ^ 2 Q (x) Q (x) exp [- dw (x, x)/8]\.
Q \ x x j
(iii) Распределение Q*, дающее максимум последнего выражения, удов-
удовлетворяет условию
2 Q* (?) ехр [—du7 (x, х)/8] постоянно,
х
eam'Q* (x) > 0. Поэтому одномерные распределения, соответствующие совмест-
совместному распределению, определенному по Q*, как в (ii), совпадает с Q*. Следова-
Следовательно, при^Р = Q* неравенства в (ii) превращаются в равенства.
(с) Выведите, что Ех (Rcr) = £sp (Лег) = Ет (Rct), где Rcr — критиче-
критическая скорость ДКБП {W}.
(Gallager A965).)
24 (граница с выбрасыванием и искажение как функция скорости). (а) Пусть
Д (R, Р) — искажение как функция скорости (т. е. функция, обратная скорости
как функции искажения) для ДИБП с распределением Р относительно меры
искажения dw (x, х) из задачи 17. Заметьте, что на интервале, где тангенс угла
наклона кривой Ex (R, Р) меньше —1, Ex (R, Р) >• A (R, Р). В частности,
на интервале, где тангенс угла наклона Ex (R) меньше —1, имеем
Ех (R) > Ло (R) Д max Д (Л, Р).
р
(Впервые связь границы с выбрасыванием с функциями, выражающими за-
зависимость искажения от скорости, была отмечена в работе Omura A974).)
(b) Покажите, что если распределение Р, на котором достигается минимум в
ЕХ (R) й max Ex (R, Р),
р

180 Гл. 2. Системы с двумя терминалами
состоит нз положительных вероятностей, то на этом же распределении дости-
достигается максимум в Ао (R) н Ex (R) = До (R)- Выведите отсюда, что если Ex (nR,
Wn) для некоторого п достигается на строгд положительном распределении на X",
то (см. задачу 18 (с))
A/л) Ех (nR, Wn) = Ех (R).
(Blahut A977).)
Указание: использовать задачу 23 (Ь) и тот факт, что Ао (R) не убывает
при переходе к произведению пространств, что вытекает из теоремы 4.2.
(с) ДКБП {W} называется эквидистантным, если du? (х, х) принимает
одно и то же значение для всех х =^= х. Покажите, что максимум в определении
Ex (R, Р) для такого канала достигается на равномерном распределении
на X и Ex (R) = A7л) Ex (nR, Wn) для любого п. Заметьте, что каждый ДКБП
с двоичным входом является эквидистантным.
(Jelinek A968).)
25 (границы для вероятности ошибки в ДСК). Рассмотрим ДСК с вероят-
вероятностью ошибки р < 1/2 (см. задачу 1.8).
(a) Покажите, что при R <С С = 1 — h (p) имеем
£sp (R) = Я log (q/p) + A - <7) log ((I - q)l(\ - р)),
где q < 1/2, h (q) = 1 — R.
(b) Выведите отсюда, что критическая скорость равна
= l — h
(с) Покажите, что при R < RCT имеем
Ех (R) = (q/2) log (l/ip A - р)),
где q определено в (а).
(Gallager A965).)
26 (граница с выбрасыванием и граница Гилберта), (а) Пусть задан ДКБП
{W: {0, 1}->-Y}. Покажите, что каждый код с постоянной композицией (f, cp)
с длиной блока п > п0 (б, W) имеет максимальную вероятность ошибки, удов-
удовлетворяющую неравенству
е (Wn, /, ф) > ехр {—dmin (dw @, 1) + б)},
где drum — минимальное расстояние Хэмминга между кодовыми словами и
dig? определено в задаче 17.
Указание: использовать задачу 19 (Ь), заметив, что
d,/2(x, x) = (l/n)dH(x, x)dw@, 1), если Px = P%-
(b) Выведите отсюда, что гипотеза об асимптотической точности границы
Гилберта, т. е. утверждение о том, что
R < 1 — h (dmin/n) + б
для любого множества двоичных последовательностей длины п ]> п0 (б), влекло
бы за собой асимптотическую точность границы с выбрасыванием для любого
ДКБП с двоичным входным алфавитом при R =SC RCT.
(Blahut A977), McEliece—Omura A977).)
Указание. Утверждение очевидно, если выпуклая кривая Ex (R) не содер-
содержит прямолинейного отрезка с тангенсом угла наклона —1 при R ^ RCr- В про-
противном случае использовать задачу 28.
Замечание. Было сделано много попыток ограничить сверху R при заданном d.
К 1979 г. наилучший результат содержится в работе McEliece—Rodemich—
Rumsey—Welch A977).

§ 5. Лемма об упаковке 181
27 {списочные коды). Списочным кодом для канала W называется код (f, ср),
у которого ср принимает значения в множестве подмножеств М/. Интуитивно
декодер выдает список сообщений, и ошибка происходит в случае, если истинное
сообщение не принадлежит этому списку. Если каждое подмножество в области
значений состоит не более чем из / элементов, говорят, о списочном коде с длиной
списка I.
(a) Пусть е (га, R, L) — аналог е (га, R) (см. задачу 6) для списочных кодов
с длиной списка exp {nL}. Покажите, что для ДКБП
I- , D n (С если R<C+ L,
hm е (га R, L) = {
п^оо ' 1 1, если R> C+ L.
(b) Покажите, что при R <С С -\- L
TIrn"(l/ra) log е (га, R, L) < — Er (R — L),
П-*-оо
lim A/ra) log е (га, R, L) > —£Sp (R — L).
П-*-оо
(Shannon — Gallager—Berlekamp A967).)
(с) Найдите аналоги теорем 5.2—5.6 для списочных кодов с постоянной дли-
длиной списка /, заменяя Er (R, Р) на ETj (R, Р)\ см. E.28). Выведите отсюда,
что функция надежности для ДКБП при длине списка / равна £Sp (R) для лю-
любого R 5г Rcr i, где RCI> i — наименьшее R, при котором опорная прямая
к кривой £Sp (R) имеет тангенс угла наклона —/.
Указание: обобщить лемму 5.1, заменив неравенство E.6) на
для произвольных V, Vlt ..., Vi.
(d) Определим пропускную способность при нулевой ошибке для списочных
кодов в ДКБП как наибольшее R, для которого существуют списочные коды
с нулевой ошибкой, имеющие постоянную длину списка и скорости, сходящиеся
к R. Покажите (см. задачу 3), что эта пропускная способность равна
/?<х, = minp maxj, ^J x-. w (у\ х) >о р (•*)•
(Списочные коды были впервые введены в работе Elias A957). Результат
в (d) принадлежит тому же автору (Elias A958, не опубликовано)). Относительно
аналогичных верхних оценок для средней длины списка и средней вероятности
ошибки см. Forney A968).)
28 (прямолинейное улучшение границы сферической упаковки). Покажите,
что если Ео является верхней границей для функции надежности ДКБП при
некоторой скорости /?о si 0, то для любого Rt > Ro прямолинейный отрезок,
соединяющий (/?0, Ее) с (Rx, ESp (Ri)), является верхней оценкой для Е (R)
на интервале (Ra, RJ.
(Shannon—Gallager—Berlekamp A967).)
Указание. Пусть ё (га, т, I) — минимальная средняя вероятность ошибки
для списочных кодов с длиной блока п, длиной списка / и числом сообщений т.
Основной этап доказательства состоит в установлении неравенства
г («! -|- «2. т' U > ё (ni> т> 0 ё («2. I + 1. !)•
29 (экспонента ошибки для источника, и канала). Пусть заданы ДИБП
с алфавитом S и распределением Р и ДКБП {W: X ->- Y} с функцией надеж-
надежности Е (R). Обозначим полную вероятность ошибки (см. задачу 1.1) для кода
с кодером fh: Sk -*- x"k и декодером (ph: Y /; ->- S через е (fh, yk) = е (fk,

182
Гл. 2. Системы с двумя терминалами
срй> Р, Wy Покажите, что для каждой последовательности |(/ft, <Pfe)}£Li бло-
блоковых (k, п^-кодов с n-fjk -*■ L вероятность ошибки удовлетворяет неравенству
lim (Ilk) log e* (fk, <pft) > — min [LE (H (Q)lL) + D (Q\{ P) ].
Кроме того, если пропускная способность при нулевой ошибке канала {W)
положительна, то в этой формуле можно достичь равенства.
Прямолинейное улучшение
ЕХ(Ю
ЕГ(Ю
Лег
Рис. 5.4.
Различные границы для функции надежности ДКБП. При
R £ @ R) Е (R) й б
R
р фу р
@, RCr) кривая Е (R) лежит в заштрихованной об-
области.
Указание. Величина LE (Я (Q)lL) -)- D (Q || Р) является экспонентой наи-
наименьшего возможного вклада в общую вероятность ошибки от сообщений длины k
и типа Q. Если Со > 0, то код (fh, cpft) можно получить из оптимальных кодов
для канала с соответствующими множествами сообщений Tq. Для этого к каж-
каждому кодовому слову следует добавить короткий префикс, который безошибочно
уведомит декодер о типе Q сообщения источника длины k.
Добавлено при корректуре. Относительно случая Са = 0 см. Csiszar A980).
30 (граница случайного кодирования без остаточного члена). (а) Покажите,
что для каждого ДКБП {W}, каждой длины блока п и каждого R существует
код (/, ф) с | М/| = fexp (nR)], для которого
e(W\ f, q>)s£exp i—nEr(R)}.
(Gallager A965).)
Указание. Выбрать [ехр (nR)] кодовых слов случайно и независимо друг
от друга в соответствии с распределением Рп (х) д П"=1 Р (xi). Показать, что

§ 5. Лемма об упаковке 183
при использовании декодирования по максимуму правдоподобия среднее значе-
значение ё (Wn, f, cp) для такого случайно выбранного кода не превосходит
ехр («в*). Г 2 ( ЦР (*) Wl"l+6> (у\х)у+6]п
J
I у
\ х / J
при любом б £ @, 1). Затем использовать задачу 23 (а).
(b) Выведите из (а), что существуют коды с | М/ | = [ехр га/?], для ко-
которых
е (Wn, /,ф)<4 ехр {— пЕт (#)}.
(Gallager A965).)
(c) Покажите, что для ДСК результат в (а) справедлив даже для линейных
кодов, см. задачу 1.11.
(Elias A955).)
31* (среднее значение вероятности ошибки для случайно выбранного кода).
(а) Покажите, что при случайном выборе, описанном в указании к задаче 30(а),
приведенная оценка для среднего значения i(Wn,f, cp) экспоненциально точна.
(Gallager A973).)
(b) Пусть Р — тип последовательностей из X". Выберем [ехр (га, R)] ко-
кодовых слов случайно, независимо друг от друга в соответствии с равномерным
распределением на Тр.'где 0< R <С / (Р, W). Покажите, что для полученного
случайно выбранного кодера / и соответствующего декодера по максимуму прав-
правдоподобия ср среднее значение e(wn, f, cp) удовлетворяет оценке E.14); далее,
эта оценка для среднего значения e(Wn, /, cp) экспоненциально точна.
(Дьячков A980).)
32 (пропускная способность с нулевой вероятностью необнаруженной
ошибки х)). Для данного ДКБП {W: X-+Y] обозначим через С0) u наибольшее R,
для которого существуют блоковые коды длины га со скоростями, сходящимися
к R, для которых е (W\ /n, ф„) -v 0 и S (wn, /„, ср„) = 0.
(a) Выведите из задачи 14, что R^ ^ Со ^ С; покажите, что оба неравен-
неравенства могут перейти в равенства.
(b) Покажите, что если для / ;> 2 не существует различных элементов
х1г .., xi из X и различных элементов уг, ..., yi из Y, таких, что W (yi \ х{) > 0,
W (yi | xi+l) > 0, С = 1, ..., / (где xi+i й Xl), то Со> u = С.
(Пинскер—Шевердяев A970).)
33 (ДКБП с полной обратной связью, блоковые коды). Определим достижимые
экспоненты ошибки для ДКБП, как в основном тексте, допуская, однако, бло-
блоковые коды с полной обратной связью, как в задаче 1.27.
(a) Покажите, что хотя обратная связь не увеличивает пропускную способ-
способность (задача 1.27), она может привести к большим достижимым экспонентам
ошибки, по крайней мере для малых скоростей. Точнее, покажите, что для ка-
канала с положительной пропускной способностью при нулевой ошибке £sp (R)
является-достижимой экспонентой ошибки для любого R £ (COi f, С), где Со> /—
пропускная способность при нулевой ошибке с обратной связью.
Указание: вследствие задач 3 (с) и 27 (с) £sp (R) является достижимой экс-
экспонентой ошибки для списочных кодов с некоторой постоянной длиной списка.
Поскольку Со > 0, истинное сообщение может быть выделено в списке без асим-
асимптотического уменьшения скорости.
(b) Покажите, что достижимый показатель ошибки для ДКБП {W} с обрат-
обратной связью не может превышать
E+(R)k min max D(V\\W\P)= min max D (V (-1 x) II W (-1 x)),
V: С (V)^R P V:C(V)^Rx£X
В оригинале zero undetected error capacity. — Прим. перев.

184 Гл. 2. Системы с двумя терминалами
где С (К) = maxpl (Р, V) — пропускная способность ДКБП {V). Проверьте,
что если канал W симметричен, то Е+ (/?) = £sp (R).
(Арутюиян A977); относительно симметричных каналов см. Добрушин
A962с).)
Указание: рассуждать так же, как при доказательстве теоремы 5.3, исполь-
используя то, что строгое обращение справедливо и в присутствии обратной связи, см.
задачу 16 (Ь).
(с) Покажите, что для ДСК с вероятностью ошибки р £ (О, 1/2) (см. задачу 1.8)
существует число /?СГ; / < J?cr, для которого Еяр (R) достижимо при скоростях
R «3= Rcr, f, в то время как при R < /?Сг, / достижимой является экспонента
Е]_(Я)й max {XR — log max [p {2q)x +
0 -q Л/2, Я.<—1
+ A - p) B A - </))\ p (q/(\ - q))X +(l — p) (A - q)lq)X)}-
Проверьте, что Ех @) = —log (p1/3 A — рJ/3 +• p2/3 A — p)uz) > E @).
(Зигангиров A970), обобщение на произвольный ДКБП содержится в ра-
работе Дьячкова A975).)
Указание. Определить последовательно отображения fx, ...,/n. задающие
кодер, с помощью вспомогательного ДСК с вероятностью ошибки q < 1/2 сле-
следующим образом. Пусть flt ..., //_1Уже определены. Вычислим апостериорные
вероятности Tj (т) сообщений т £ М как функции принятой последователь-
последовательности Ух, ..., yj_x, предполагая, что используется этот вспомогательный канал
и априорное распределение является равномерным (при / =* 1 положим
Тх (гп) = 1/| М |). Распределим сообщения последовательно в соответствии с убы-
убыванием Tj (/га) по двум группам, помещая каждое да в ту группу, для которой
сумма Tj меньше (поступая в случае равенства произвольным, но фиксирован-
фиксированным способом). Далее положим fj (m, yly ..., У]-д равным 0 или 1 в соответствии
с тем, принадлежит ли пг к первой или второй группе. Определив таким образом
/i> ••■. fn, зададим декодирование, полагая, что сообщение на выходе декодера
равно m в том и только том случае, если Тп (да)- [1 — Тп (/п)]^» 1.
Пусть фактически переданное сообщение есть m £ М. Положим
и д Тп {гп) = ! П v,
и ~ 1—Г„(Я1) |М|-1 l \ "
д Tj+1(m) Г Tj(m)
V I
Проверить, что при задании первых / принятых символов Vj принимает зна-
значения 2q (I -f- (I — 2q) ty1 и 2A — q) A — A — 2q) t)'1 с вероятностями р
и 1 — p, где 0 ^ t ^ 1 зависит от {Tj (m)}m^- м, т. е. от рассматриваемых при-
принятых символов. Вывести отсюда, что для любого Я < 0 выполнены неравенства
где
Если Я^—1,то fq%x(l) принимает максимальное значение при ^=0 или 1,
откуда следует втор'ое утверждение. Далее, если q выбрано, как в задаче 25, и
^{1- log [A - р) р-1}} {log [(I - q) q-1!}-1,
то XR — log fqj % @) = £sp (R); здесь A, > —1, Я = —1 или Я < —1 при R >
> ^?cr. R — Rct или R <: ^сг соответственно. Если обозначить через RCTy /<

§ 5. Лемма об упаковке 185
<; Rcr единственное значение R, для которого при указанном выше выборе q
и Я выполнено равенство /g> j, @) = /5j %(\), то при R ^ RCt, f имеем
тахо<г<1/?, я@ =/?, ?„ @). Отсюда следует первое утверждение.
(d) Выведите, что для ДСК с обратной связью наилучшей достижимой экс-
понентой ошибки при скоростях R ;> RCr, / является £Sp (R)-
(Для малых скоростей наилучшая достижимая экспонента ошибки с обрат-
обратной связью (так же, как без обратной связи) неизвестна. Однако ее предел при
R -»- 0 равен Е1 @), где Ег введено в п. (с); см. Berlekamp A964, не опубликовано),
Зигангиров A978).)
34 (решающая обратная связь). Блоковый код (f, ф) длины п для ДКБП
{W: X^Y} приводит к (неравномерному) коду с решающей обратной связью
следующим образом: если передача кодового слова / (т) £ X" (т £ М/) при-
приводит к стиранию, т. е. если ср (у) ф М/, то по бесшумной линии обратной
связи передается запрос на повторную передачу и кодовое слово / (т) передается
еще раз; если возникает еще одно стирание, f (т) передается снова и т. д.
(a) Заметьте,_что длина передачи ./V является случайной величиной со сред-
средним значением ./V = EN, удовлетворяющим условию
и < W < и (l — е (Wn, f, cp))~\
так что скорость N'1 \og\Mf\ оказывается сколь угодно близкой к скорости
блокового кода (/, <р), если е (Wn, f, ф) достаточно мало.
(b) Выведите из следствия 5.11В, что в случае ДКБП для каждого б> 0
существует код с решающей обратной связью, скорость которого больше R — 6,
а вероятность ошибки меньше ехр {—./V (Е (R, W) — 6)}. Другими словами,
Е (R, W) является достижимой экспонентой ошибки при скорости R, если ис-
использовать решающую обратную связь.
(Аналогичный результат был получен в работе Forney A968). Увеличение
экспоненты ошибки для неравномерных кодов с обратной связью в ДКБП по
сравнению с наилучшими блоковыми кодами было ранее показано в работе
Horstein A963.))
(c) Покажите, что при R < COj tt (см. задачу 32) использование решающей
обратной связи может привести к нулевой вероятности ошибки.
35* (неравномерные коды с активной обратной связью). До сих пор мы рас-
рассматривали пассивную обратную связь, когда передаваемая от декодера к ко-
кодеру информация однозначно определялась выходом канала. Отбрасывание этого
предположения приводит к активной обратной связи. Это значит, что переда-
передаваемая назад информация зависит также от исхода случайного эксперимента,
производимого на выходе канала. Неравномерный кодер с активной обратной
связью для ДКБП {W: X -*■ Y} определяется отображениями fi\ MXZ->-X
(где Z ■—произвольное множество) и распределениями pi (■ \у± ... у г) на Z,
t= 1, 2. Для каждого i после приема первых i выходных символов уг, ...,у%
на выходе канала осуществляется случайный эксперимент с распределением
Pi КЛУл. ■•• Уг>- Исход z; этого эксперимента сообщается кодеру. Если передавае-
передаваемое сообщение есть т £ М, то следующий передаваемый символ равен xt+1 =
= fi+t (m> zl)- Предположим далее, что в Z выделено подмножество Zo и пере-
передача прекращается после i символов, если г,- £ Zo. Декодер определяется те-
теперь как отображение ф: Z* ->- М' r> M. Очевидным образом определяются сред-
средняя вероятность ошибки ё и средняя длина передачи ./V такого кода (предпола-
(предполагая, что все сообщения равновероятны). Величина Е является достижимой экспо-
экспонентой ошибки, если при любом б > 0 и любом достаточно большом | М | сущест-
существует код описанного выше вида со скоростью N~L log | М | > R — 6 и вероят-
вероятностью ошибки, меньшей ехр {—Л/ (Е — 6)}.

186 Гл. 2. Системы с двумя терминалами
Докажите, что наибольшая достижимая экспонента ошибки для таких кодов
равна
Е* (R) й A — (R/C)) Сг (Ж С), •
где С — пропускная способность ДКБП "{W} и
^kmaxD (W (-\xJ\\W (-\х2)).
(Относительно случая Сх = со см. задачу 1.28 (с).)
(Бурнашев A976).)
Историческая справка
Исторически центральной задачей при исследовании экспоненциального
поведения вероятности ошибки кодов в ДКБП была задача определения функции
надежности Е (R, W) данного ДКБП {1^}. Стандартные результаты в этом на-
направлении изложены в теореме 5.6 и задачах 17 (Ь), 20, 28; в литературе соот-
соответствующие границы появлялись в разных алгебраических формах. Для ДСК
теорема 5.6 была доказана в работе Elias A955) (в несколько другой формули-
формулировке). Этот результат был обобщен на произвольный симметричный канал
Добрушиным A962а). Нижняя граница для Е (R) в случае произвольного ДКБП
была получена Фано (Fano A961)), снова в несколько ином виде. Более простое
доказательство последнего результата и новый вид границы дал Галлагер (Gal-
lager A965)). Верхняя граница из теоремы 5.6 для произвольного ДКБП была
приведена (с неполным доказательством) Фано (Fano A961)) и доказана в работе
Shannon—Gallager—Berlekamp A967). Приведенная в тексте форма этой верх-
верхней границы была получена Арутюняном A968) и независимо Блеихутом (В1а-
hut A974)).
В этом параграфе мы следовали подходу работы Csiszar—Коте^—Marton
A977, не опубликовано), который дает универсально достижимые экспоненты
ошибки. Лемма 5.1, служащая основным инструментом прн данном подходе,
а также теоремы 5.2, 5.8 и 5.11 содержатся в этой работе. Граница для ошибок
в случае кодов с постоянной композицией, эквивалентная теореме 5.2 во всем,
кроме универсальности, была впервые выведена Фано (Fano A961)) *). Декоди-
Декодирование по максимуму взаимной информации было предложено Гоппой A975).
Теорема 5.3 (с неполным доказательством) появилась в работе Fano A96I), однако
в другой алгебраической форме. Она была доказана Арутюняном A968). Состав-
Составные каналы были введены независимо Блекуэллом, Брейманом и Томасяном
(Blackwell—Breiman—Thomasian A959)), Добрушиным A959а) и Вольфовицем
(Wolfowitz (I960)). Эти авторы доказали следствие 5.10. Совместные экспонен-
экспоненциальные оценки для вероятности ошибки и вероятности стирания были впер-
впервые получены Форни (Forney A968)). Ссылки на другие работы, относящиеся
к материалу этого параграфа, содержатся в задачах.
§ 6. ПРОИЗВОЛЬНО МЕНЯЮЩИЕСЯ КАНАЛЫ
До сих пор мы рассматривали характеристики кодов для
ДКБП и для семейств ДКБП (составные ДКБП). В этом параграфе
мы будем интересоваться хорошими кодами для семейств кана-
каналов, которые не всегда являются ДКБП.
Составной канал является моделью устройства связи, в ко-
котором неизвестные параметры предполагаются постоянными во
г) В работе Ahlswede—Dueck A982)* показано, что утверждение теоремы 5.2
справедливо для кодов, имеющих сравнительно простую структуру. — Прим.
перев.

§ 6. Произвольно меняющиеся каналы 187
время передачи одного кодового слова. Другой моделью, имею-
имеющей не меньший практический и наверняка больший математи-
математический интерес, является модель, в которой параметры канала
могут меняться от буквы к букве произвольным неизвестным об-
образом. В то время как при кодировании источников произвольно
меняющиеся источники оказываются лежащими целиком в пре-
пределах методов § 4, произвольно меняющиеся каналы не под-
поддаются исследованию методами § 5.
Пусть Ж — не обязательно конечное семейство каналов
W- X ->■ Y. Это семейство рассматривается как модель единого
(с технической точки зрения) канала, имеющего много возможных
состояний. Элементы матриц W (E Ж часто будут записываться
в виде W (y\x, s), где состояние s £ S указывает некоторый ка-
канал W £ Ж. Переходные вероятности для последовательности
длины п, соответствующие последовательности состояний s =
= sx ... sn, равны
W"(y\x, s)A UW{yt\xt, Si), F.1)
Семейство каналов W"(-\-, s): X" ->■ Y", s £ S" будет обозна-
обозначаться через Ж".
ОПРЕДЕЛЕНИЕ 6.1. Произвольно меняющимся каналом
(ПМК) с входным алфавитом X и выходным алфавитом Y назы-
называется описанная выше последовательность [Жп)™=\- Он будет
обозначаться через {Ж: X ->■ Y} или просто через {Ж}. О
При определении пропускной способности ДКБП (или состав-
составного ДКБП) мы не делали различия между случаями, когда ка-
качество кода измерялось максимальной или средней вероятностью
ошибки (задача 5.11). Оказывается, что для ПМК эти два под-
подхода приводят к разным результатам.
ОПРЕДЕЛЕНИЕ 6.2. е-пропускной способностью ПМК
{Ж: X -»- Y} для максимальной (соответственно средней) вероят-
вероятности ошибки называется наибольшее R, такое, что для каждого
б > 0 и каждого п ^= п0 (Ж, б) существует блоковый код (/, ср)
и каждого п ^ п0 (Ж, о) существует блоковый код (/, ср) длины п
со скоростью
A/л) log | МЛ > R — б,
для которого
е (Wn, /, ф) <: е (соответственно ё (Жп, /, ср) <: е).
(Последнее условие означает, что максимальная (соответственно
средняя) вероятность ошибки для кода (/, ср) в каждом из каналов
Wn('\-, s) £ Жп не превосходит е; см. определение 5.9.)
Пропускная способность Ст = Ст (Ж) для максимальной
вероятности ошибки (соответственно Са = Са (Ж) для средней
вероятности ошибки) определяется как нижние грани соответ-
соответствующих е-пропускных способностей, е > 0. О

188 Гл. 2. Системы с двумя терминалами
Обозначим через Ж (соответственно Ж) замыкание множества
матриц V: X ->■ Y с элементами вида
V(y\x) = -LP(s) W(y\x, s) F.2)
(соответственно V (y\x) = 2 P (s\ x) W (y\ x, s)), F.3)
где S — произвольное конечное подмножество S и P (•) (соответ-
(соответственно P (•]■)) — произвольное распределение (соответственно
стохастическая матрица). Множество Ж называется выпуклым
замыканием Ж, а_Ж — построчным выпуклым замыканием W'.
Вместо (Ж)п и (Ж)п мы будем писать просто ~Жп и W.
ЛЕММА 6.3. Для каждого блокового кода (/, ср) длины п
е (Ж", /, Ф) =е (F", /, Ф), е (Жп, f, Ф) - ё (Ж~«, f, Ф). О
СЛЕДСТВИЕ 6.3. Для каждого 0 < е < 1 для максималь-
максимальной (соответственно средней) вероятности ошибки 8-пропускная
способность ПМК {Ж: X -*-JY} равна соответствующей е-про-
пускной способности ПМК {Ж} (соответственно {Ж}). Она не
превосходит минимума С (W) по W из Ж (соответственно Ж)',
здесь С (W) — пропускная способность ДКБП {W}. О
Доказательство. Для каждого набора Уъ ..., Vn матриц
вида F.3) рассмотрим канал V- X" ->■ Y" с переходными вероят-
вероятностями
V(y\x)^=nvi(yi\xi) =
= П2 PtiSiUdWiy^Xi, st)= 2 Р(в|х)Гп(у|х, s),
где P (s | x) й ^"-=\Pt (Si\Xi). Тогда для любого кода (/, ф) и лю-
любого т £ М/
V (ф-1 И | / (т)) = 2 Р (s | / (т)) Wn (ф-1 (т) | f (m), s), F.4)
s€§"
откуда
г (V, /, Ф) < max e (Wn (■]-, s), /, Ф) = е (Ж", f, Ф).
Поскольку Ж — замыкание множества каналов V указанного
выше вида, получаем первое утверждение. Если Vlt ■■-, Vn имеют
вид F.2), то F.4) по-прежнему справедливо, если заменить

§ 6. Произвольно меняющиеся каналы 189
р (s\f (т)) на Р (s) = П"=1 Рг (s;). Усредняя по т £ М/, полу-
получаем
в (К, /, Ф) = 53 Р (s) ё (И?« (-I-, s) /, Ф) <: ё (У», /, Ф).
Отсюда следует второе утверждение.
Следствие сразу вытекает из леммы, поскольку е-пропускная
способность ДКБП (как при максимальной, так и при средней
вероятности ошибки) равна его пропускной способности. По-
Поскольку ввиду равномерной совместной по Р и W непрерывности
/ (Р, W) величина С (W) непрерывно зависит от W, то С (W)
достигает минимального значения на компактных множествах W
и W (задачи 1, 2). □
Рассмотрим сначала задачу определения пропускной способ-
способности ПМК для максимальной вероятности ошибки. Мы будем
рассматривать случай [ Y | = 2; если число элементов выходного
алфавита больше 2, задача до сих пор не решена (задача 3).
Временно ограничимся случаем ПМК с |Х| = |Y| = 2. Ка-
Каналы W: {О, 1} ->■ {0, 1} называются двоичными каналами. Ос-
Основное наблюдение состоит в том, что для любого семейства W
двоичных каналов W всегда содержит «наихудший» канал W
в том смысле что «хорошие» коды для Wn имеют еще меньшую ве-
вероятность ошибки для любого другого канала из Жп.
Пусть /: {1, ..., М} -*~ {0, 1}" — кодер для двоичного канала.
Соответствующий декодер по минимуму стандартного расстоя-
расстояния (МСР) определяется как такое отображение ср: {0, 1}"->-
—»-{1, ..., М\, что ф (у) —это наименьшее т, для которого
dn (У. f {т)) достигает минимума по т £ |1 М\.
ЛЕММА 6.4. Пусть W — произвольное множество двоич-
двоичных каналов и W — такой двоичный канал, что
W @ | 0) 5* W @ | 0), W(l\l)^W(l\l) для любого W £ Ж.
F.5)
Тогда для любого кодера /: {1, ..., М\ -*- {0, 1}п и соответствую-
соответствующего декодера по МСР вероятности ошибки ет для любого ка-
канала из Wn не больше соответствующих вероятностей для Wn. О
Доказательство. Для удобства обозначений занумеруем ма-
матрицы из F и матрицу W элементами некоторого множества S
и будем обозначать элементы матрицы с номером s ^ S через
W {■{■, s). Мы утверждаем, что для любого кода (/, ф), где ф —
декодер по МСР, максимальное значение вероятностей ошибки ет
по всем каналам W {■]-, s), s £ S", достигается при s = s ... s,
где s — номер W.

190 Гл. 2. Системы с двумя терминалами
Достаточно показать, что если в любой последовательности
s = sx ... sn £ S" заменить номер Si Ф s (если такой есть) на
s'i = s, то полученная последовательность s' = sx ... Si^ss^ ... sn
будет удовлетворять условию *
W (ф-1 (от) | / (от), s) ^ Wn (ф-1 (т.) | / (т.), s). F.6)
Зафиксировав 1 <: ( <: я, обозначим через х, у, s последователь-
последовательности длины п— 1, полученные из последовательностей х, у, s
длины п удалением i-й компоненты. Зафиксируем некоторое т
и положим
В,-^{у: \у 6 ф-1 (т), Уг = /К / = 0, 1.
Поскольку ф — декодер по МСР, Вх сг Во или Во сг Вх в зави-
зависимости от того, равна ли 1-я компонента х Л= f (m) нулю или
единице. Таким образом, при хг = 0
= Wn~' (Bi | x, s) + ^""' (Bo - Bi | x, s) W @1 0, s,),
и, аналогично, при Xj = 1
IF" (ф-1 (/n)|/(m), s) =
Замена s на s' приводит к замене множителя W@|0, st) (соот-
(соответственно W A | 1, Sj)) на W @ 10, s) (соответственно на W A | 1, §)).
Ввиду предположения F.5) соотношение F.6) доказано. □
ЛЕММА 6.5. Пусть W — произвольный двоичный канал с
W @ | 0) + W A | 1) > 1. Тогда пропускная способность ДКБП
| W] достигается на кодах с декодером по минимуму стандарт-
стандартного расстояния, т. е. для любого е £ @, 1), любого б > 0
и любого достаточно большого п существует (п, е)-код с деко-
декодером по МСР, скорость которого больше С (W) — б. О
Доказательство. Из предположений относительно W следует,
что W @ | 0) > W @11), W A | 1) > W A 10). Отсюда вытекает,
что если все кодовые слова / (/л), 1 •< т < М, имеют один и
тот же тип и у £ {0, 1}"—-фиксированная последовательность,
то W" (у|/ (т)) является убывающей функцией dH (у, f (т)),
так что декодер по МСР является декодером по максимуму правдо-
правдоподобия, т. е.
Wn (у | / (ф (у))) = max Wn (у | / (т))
для любого у (Е |0, 1\п. F.7)

§ 6. Произвольно меняющиеся каналы 191
Пусть теперь (/, ф') — произвольный код длины п с постоянной
композицией, имеющий множество сообщений М/ =й= {1, ..., 2М\
М s? ехр \п (С (W) — б)}
и среднюю вероятность ошибки, меньшую е/2. Ввиду F.7) замена ср'
на декодер ср по МСР, соответствующий /, не увеличит средней
вероятности ошибки. Ограничивая / на М сообщений из М/
с наименьшими вероятностями ошибки, мы получим новый кодер /
и соответствующий декодер по МСР, задающие требуемый код. □
ТЕОРЕМА 6.6. Пропускная способность ПМК \W: |0, 1} ->-
->- [0, 1}} для максимальной вероятности ошибки равна
Cm (W) = min_C (W). F.8)
Более того, е-пропускная способность для максимальной вероят-
вероятности ошибки равна Сш (W) при любом 0 < е < 1. О
Доказательство. Ввиду_следствия 6.3 достаточно доказать,
что для некоторого W £ W
Cm(W)^C(W). F.9)
Меняя, если нужно, местами строки матриц из W, мы можем
предположить, что max =p (W @ | 0) 4- W A | 1)) з= 1- Если
тогда min =p (W @10) + W A | 1)) < 1, то из выпуклости вы-
вытекает, что W @ | 0) + W A | 1) = 1 для некоторого W £W, так
что С (W) = 0, и доказывать нечего. В противном случае матрица
W £ У(°, для которой
IF @10)= inf Г@|0), ir(l|l)= inf IT A11),
удовлетворяет условиям леммы 6.5. Поэтому F.9) вытекает из
лемм 6.4 и 6.5. □
ТЕОРЕМА 6.7. Утверждение теоремы 6.6 справедливо для
любого ПМК с |Y| = 2. О
Доказательство. Пусть Y = \0, 1} и
а (х) A, inf W @\x), b (х) Л, sup W @\х), х £ X.
Когда W пробегает Ж, вектор-столбцы {W @\х): х ^ X} пробе-
пробегают декартово произведение замкнутых интервалов [а (х), Ь (х) I,
х £ X. Если среди этих интервалов нет пары непересекающихся,
то все они содержат общую точку, скажем w. В этом случае ма-
матрица, все строки которой равны (w, 1 — w), принадлежит W и
Сга (У) = min_C (W) =0.

192 Гл. 2. Системы с двумя терминалами
В противном случае обозначим через х0 и хх элементы X с наи-
наибольшим а (х) (соответственно наименьшим Ъ (х)), так что
а (х0) > Ъ (хх). Из доказательству теоремы 6.6 вытекает, что про-
пропускная способность дл^ максимальной вероятности ошибки
ПМК с входным алфавитом \х0, х±\, определяемого соответствую-
соответствующими строками матриц W £ W, равна С (W), где
/а (х0) 1 — а (х0)
Это значит, что Ст (Ж) з= С (W). Таким образом, в силу следст-
следствия 6.3, для окончания доказательства теоремы осталось найти
матрицу W £_ W, для которой С (W) <: С (W). Ввиду выбора хо
и хг каждый интервал [а (х), Ъ (х) I, х £ X, пересекает [Ь (хг),
а (х0)]. Поэтому существует матрица W ^ W, для которой
W ф\х) G № (-^i). а (х0)] при любом х £ X. Каждая строка та-
такой матрицы W является выпуклой комбинацией строк W с не-
некоторыми весами а. (х) и 1 — а (х). Из леммы о выпуклости
(лемма 1.3.5) следует, что если Р — произвольное распределение
на X и Р = (Р (лгд), Р (xj)) задается равенствами Р (х0) Л=
± Ц,ехсх (х) Р (*), Р (хО Al-Я (х0), то / (Р, W) < I(P, W).
Поэтому С (W) <с С (W) (задача 4). □
Перейдем теперь к задаче определения пропускной способ-
способности для средней вероятности ошибки ПМК с произвольными
(конечными) алфавитами. Мы будем использовать метод случай-
случайного кодирования в более сложном, чем ранее, варианте.
Пусть заданы конечные множества X, Y и Me M'. Обозна^
чим через ^ (М ->■ X, Y ->■ М') семейство пар отображений (/, ср),
/: М -*- X, ф: Y —»- М'. Случайным кодом называется СВ со зна-
значениями в таком семействе. Если такая случайная величина
имеет распределение Q, мы, допуская некоторую неточность,
будем говорить о случайном коде Q. Для каждого канала W:
X->-Y случайный код задает новый канал Т: М ->■ М', где
Т (т | т) a S Q {f, Ф) W (cp (m') | / (т)). F.10)
(/. ф)
Заметим, что канал F.10) описывает реализуемую схему передачи
только в том случае, если результат случайного эксперимента,
в котором выбирается (f, cp), может наблюдаться в обоих кон-
концах (технического) канала, описываемого матрицей W. Хотя это
случается достаточно редко, случайные коды часто дают хороший
метод доказательства.
Вероятности ошибки для случайного кода определяются ана-
аналогично вероятностям ошибки обычного кода (задача 5) с заме-

§ 6. Произвольно меняющиеся каналы 1эЗ
ной A.1) на F.10). В частности, мы будем использовать обозна-
обозначения
ет (W, Q)^l~T (m\m), e (W, Q) A max em (W, Q),
• e(W, СЯЖ-^щ 2 e^W' Ф- (б-")
Аналогично, для семейства каналов
е(Ж, Q)A max e(W, Q) = max em(W, Q),
e{W, Q)A, max e(W, Q). F.12)
Ясно, что случайный код принимает некоторое «значение» (обыч-
(обычный код) на любом канале, и соответствующая средняя вероят-
вероятность ошибки не превосходит среднюю вероятность ошибки слу-
случайного кода. Для семейств каналов ситуация оказывается более
сложной. Основой нашего вычисления пропускной способности
ПМК для средней вероятности ошибки как раз и будет построе-
построение «хороших» обычных кодов из «хороших» случайных кодов.
Для этого мы используем следующую лемму.
ЛЕММА 6.8. (редукция случайного кода). Пусть Ж*—конеч-
Ж*—конечное семейство каналов W: X ->• Y и Q — распределение вероят-
вероятностей на ^ (М ->■ X, Y ->■ М')- Для любых е, К, удовлетворяю-
удовлетворяющих условиям
e>21og(l+e(jr, <?)), /С >B/е) (log | М | + ^g\W\), F.13)
существует К кодов (/,, фг) £ ®* (М ->■ X, Y-^-M'). таких, что
к
em(W,fi, Фг)<е для любых m £ М, W £ W. О F.14)
ЗАМЕЧАНИЕ. Утверждение леммы означает, что при выпол-
выполнении условий F.13) по каждому случайному коду можно по-
построить другой случайный код, равномерно распределенный по К
обычным кодам, имеющий максимальную вероятность ошибки,
меньшую е. О
Доказательство. Рассмотрим К независимых экспериментов
по выбору кода с распределением Q, т. е. пусть {(Ft, ф^)}^ •—
независимые СВ со значениями в Я? (М -*■ X, Y -> М') и одним
и тем же распределением Q. Тогда ввиду неравенства Маркова
для каждого т £ М и каждого канала W £ W имеем
(
7 Чисар И., Кернер Я.

194 Гл. 2. Системы с двумя терминалами
= Рг ехр V ет (W, Fh Ф,) ^ ехр /Се| <:
К
<: ехр (—/Се) £ ехр £ ет (W, F,, Ф,).
1=1
Поскольку случайные величины ет (W, Ft, Фг), / = 1, ..., К,
независимы и одинаково распределены, очевидное неравенство
ехр £<:1 + ?@«:?«:1) приводит к следующей верхней оценке
для математического ожидания их суммы:
[Е ехр ет (W, Flt Фг)]к -в: [1 + £em (W, Flt ФХ)И =
Отсюда
Pr (x S e-(W, F,, Ф,)^е} < ехр \~Kle~ log(l +е(У, Q))]}.
\ 1 = 1 J
F.15)
Таким образом, учитывая условия F.13), получаем
Pr Ij- II em(W, Ft, Ф{)<е для любых m £ М, F
Это значит, что некоторая реализация {(/,', (p,-)JfLi последователь-
последовательности СВ (F,-, Ф,) удовлетворяет F.14). □
Сначала мы вычислим для ПМК «пропускную способность слу-
случайного кода». Мы будем рассматривать такие коды (/, ср) £
£ G {М —* X, Y —♦ М'}, для которых декодер ср определяется
по некоторой функции d (x, у) на X xY с неотрицательными зна-
значениями следующим образом:
(т, если max d(f(m'), y)<d(f(m), у),
ф(У) = 1 т'фт ' FЛ6)
[т0 G М' — М, если таких т ^ М нет,
Семейство таких кодов будет обозначаться через Gd — Gd (M —♦
— X, Y -> МО-
ЛЕММА 6.9. Пусть X ■— СВ со значениями в X и d (x, у) —
функция на X xY с неотрицательными значениями, для которой
Ed (X, у) = 1 для любого у £ Y. F.17)
Тогда существует такое распределение Q на Cd (М —> X, Y—>
—* М'), что для любого канала W: X —> Y и любого т £ М
имеем
ет (W, Q) <: Pr \d (X, Y) < | М |/е} + е,
где Y — СВ, связанная с X каналом W, и е > 0 произвольно. О

§ 6. Произвольно меняющиеся каналы 195
Доказательство. Обозначим распределение X через Р и пусть
Хт, гп £ М, — независимые СВ с распределением Р. Положим
F (rn) JL Хт для каждого т £ М и определим Ф формулой F.16)
с F вместо f. Тогда (F, Ф) — СВ со значениями в Gd. Обозначая
ее распределение через Q, имеем
ет (W, Q) = Еет (W, F, Ф) =
= ££ W(y\Xm)Z(y\m), F.18)
где Z (у, т) = 0, если Ф (г/) = т, и Z (г/, т) = 1 в остальных слу-
случаях. Вычислим математическое ожидание в F.18), взяв сперва
условное математическое ожидание при условии Хт = х. Ввиду
F.16) и независимости различных Хт получаем
(W, Q) = %Р (х) TiW (У\х) Е (Z (у, т) \ Хт = х) =
У
) W(y\x)Pr \ц>(у)фт\Хт = х\ =
) W (y\x) Pr /max d (Хт-, у) ^ d (x, у)\-
у \т'фт 1
При d (х, у) < | М |/е ограничим последнюю вероятность едини-
единицей. Заметим далее, что при d (х, у) ^ | М |/е формула F.17)
и неравенство Маркова дают
Ц Pr \d (Xm-, У)^\М \/г\ « е.
т'ФШ
Таким образом,
em(W, Q)« D Ж*) W(yU) + e. □
х, у \d(x, )g|MI/S
em
X
х. у
ЛЕММА 6.10. Пусть заданы ПМК |>Г: X -~* Y} и распреде*
ление Р на X. Существуют случайные блоковые коды Qn длины п
(где Qn — распределение на множестве пар отображений /: М„ —•
—• X", ф; Y" —♦ М'п), для которых
е (Ж, Qn) — 0, A/п) log | М« | — / (Р, Ж),
где / (Р, W) Amin^^^ / (P, W) (задача 6). О
СЛЕДСТВИЕ 6.10. Существуют случайные блоковые коды
длины п для ПМК \W: X —* Y}, такие, что
Qre) — 0, A/n) log |М„ | — mm С (W). О
_
Доказательство. Зафиксируем Р и обозначим через W ^ W
канал, минимизирующий / (Р, W) для W С ^ Тогда для каж-
каждого f ^ F и каждого 0 < а « 1 имеем
/ (Р, 9W + (!-«)#) ^ / (Р, f),
7*

196 Гл. 2. Системы с двумя терминалами
откуда
Поскольку
(l -a)W)= %P(x)(W(y\x) -W(y\x)) X
x у
x, у
!
aPW (y) + A — a) PW (y)
получаем, что из условия Р (у) W (у | х) > О вытекает, что
W (у\х) > 0 или W (у | х) = 0 и Р W (у) = 0. В последнем случае
положим W (y\x)/PW(y) = 1. Тогда
F.19)
Пусть Хп = Xi ... Xn — последовательность независимых СВ
с одинаковым распределением Р. Применим лемму 6.9 к этому Хп
вместо X с
(У)
(полагая й(%, у) „Д, 1, если (Р#)" (у) *= 0). Тогда условие F.17)
будет выполнено, и для каждого е > 0 и каждого множества
сообщений Ып лемма 6.9 гарантирует существование случайного
блокового кода Qn длины п, такого, что для любого канала V €
^ Жп и любого т g ЬЛп имеем
+ «, (в.20,
где Yn ~ Уг ... Yn связано с Хп каналом V,
Введем СВ
Z. л log^
Поскольку пары (Xt, У,) попарно независимы, PXi — Р и СВ X*
и Уг связаны некоторым каналом W £ W (зависящим от /), слу-
случайные величины Zt также независимы и их математическое ожи-
ожидание равно
EZt=I>P (х) W(y\x) log )У|^ для некоторого W € 2Г.
(РГШ F.21)

§ 6. Произвольно меняющиеся каналы 197
Вспоминая, что W (у\х) > 0, если PXtYi (х, у) = Р (х) W (у\х) >
> 0, мы видим, что | Zl I < •—log m^ с вероятностью 1, где т^ —■
наименьший положительный элемент W. Поэтому дисперсия
var (Zt) < [log m^f. F.22)
Предполагая, что | М„ \ <£ ехр {л (/ (Р, Ж) — е)} для n ^
^ B/е) log (Г/е), мы получаем из F.20), F.21), F.19) и F.22)
с помощью неравенства Чебышева
ет (У, Qn) <: Рг {J; Zt < n (I (P, Ж) - (е/2))} + е <:
<: Рг £ (Z. — EZ\ > пе/2 + е <: D/ле2) [log/n^]2 + e.
F.23)
Поскольку е > 0 произвольно, лемма 6.10 доказана.
Следствие вытекает из тождества
min max / (Р, W) = max min / (Р, W).
p
Это тождество справедливо по теореме о минимаксе (см., например,
Karlin 1959, теорема 1.1.5)), поскольку функция / (Р, W) вогнута
по Р и выпукла по W и оба переменных пробегают компактные
множества. Q
Теперь можно доказать следующий результат.
ТЕОРЕМА 6.11. Пропускная способность для средней ае*
роятности ошибки ПМК \$Р'. X -*■ Y} равна либо 0, либо числу
Са (Ж) » minW£5rC (W). О (задачи 7, 8)
Доказательство. Положим
CjkminC(W), F.24)
Согласно следствию 6.3, Со {Ж) < С, поэтому достаточно пока-
показать, что если Са (Ж) > 0, то С„ (Ж) ^ С.
Идея доказательства состоит в следующем. В силу следствия
6.10 существуют случайные блоковые коды длины л, для которых
A/л) log | Мге | -> С, е (Ж", Qn) -> 0 (я -> оо). F,25)
Используя лемму 6.8, мы получим, что существуют случайные
коды, в которых положительные веса приписаны лишь «экспо-
«экспоненциально малому» числу кодов, по-прежнему удовлетворяющие
F.25). Если Са (Ж)>0, то случайный код можно свести к обыч-
обычному коду, добавляя к кодовым словам короткие префиксы,
указывающие, какой именно код был выбран, '

198 Гл. 2. Системы с двумя терминалами
Переходя к формальному доказательству, предположим сна-
сначала, что | ЗР | < оо. Применим лемму 6.8 к семейству кана-
каналов W1 и случайных кодов, удовлетворяющих F.25), например
с К = п2. Из нее следует, что для любого е > 0 и любого доста-
достаточно большого л существуют коды
такие, что (в обозначениях F.1))
^-, s),fni, Ф„0«е для любых т £ Мге, s £ S".
F.26)
Далее, если Са BР) > 0, существует последовательность кодов
(Г», ф»), таких, что fn: {1, ..., л2} -> ХЧ Ф : Ykn -> {1, ...,/г2},
где &„/п ->0 и
ё (Г*" (• [ -, s), /п. фп) < е для любого Г^ S*". F.27)
Определим теперь новые коды (fn, фп) длины kn + п с мно-
множествами сообщений {1, ..., я2} х М„ следующим образом.
Пусть fn (i, m) — соединение кодовых слов fn (i) и fni (m). Пред'
ставляя последовательности у £ Y л в виде у = уу, у £ Y rt»
у £ Y", положим ф (у) =4, (/, ц>щ (у)), где / А фге (у). ТОгда дли
каждого фикеированного s = ss, з ^ S ", s ^ S
(-\ .-t% fn,
ем (/) А ет (W* (■ | -, а), /„,, ф„,), F,28)
откуда в силу F.26) и F.27)
т. е. е CP*7i+n, fn, ф„) < 2е. Поскольку предел скоростей кодов
{In, Фп) равен lim A/n) log|Mre|, доказательство для случая
гг-*оо
| W | < оо закончено.
Если | W\ = оо, нужны рассуждения, использующие аппрок?
симацию. Подразделяя | X 11 Y |-мерный единичный куб на кубы
С длиной ребра д~4, выберем по одной матрице W ^ W 8 каждом

§ 6. Произвольно меняющиеся каналы 199
кубе, содержащем по крайней мере одну матрицу из W. Пусть
S' c= S — множество индексов, соответствующих выбранным ма-
матрицам. Тогда каждому s £ S соответствует s' £ S', такое, что
| W (y\x, s) — W (y\x, s')| < я-*, откуда
W(y\x, s) < A + A/n2)) W(y|x, s') для любых х, у,
для которых W (y\x, s) ;>- 1/п2.
Поскольку A + A/л2))" <: 2, каждому s £ S" соответствует
s' £ S'", такое, что W" (у | х, s) <: 2№" (у | х, s) всегда, за исклю-
исключением случая, когда W (г/; | xt, st) < 1/n2 для какого-нибудь t.
Поэтому для любого кода
em(W4-\ ■, s), /, q>) <i 2em (W* (■ \ •, s'), /, Ф) + | Y \/п.
F.29)
Теперь мы можем применить лемму 6.8 к семейству каналов
\Wn (-| •, s): s С S'"}> состоящему из | 5' |"< пА 1 Xl ] Y I « кана-
каналов, и к случайным кодам, удовлетворяющим F.25), снова с К =
= п2. Мы получим, что для некоторых кодов (/„;, ср„;) F.26)
справедливо для любых т £ М„, s 6 S'n. Ввиду F.29) анало-
аналогичное неравенство верно для любого s £ S" с заменой е на Зе.
В остальном доказательство проходит так же, как в случае
\W\ < оо. □
ЗАМЕЧАНИЕ. Суть теоремы 6.11 состоит в том, что пропуск-
пропускная способность ПМК для средней вероятности ошибки либо
равна 0, либо совпадает с пропускной способностью случайного
кода. Заметим, что при доказательстве этого результата не ис-
используется ни фактическое значение пропускной способности
случайного кода, ни мультипликативная структура ПМК (за-
(задача 9).
Вспомним, что общий случайный код описывает реализуемую
схему передачи только в случае, если исход входящего в описа-
описание кода случайного эксперимента известен на обоих концах
канала. Если, однако, рассматривается случайный код, в котором
декодер неслучаен, никаких проблем не возникает. В этом слу-
случае вероятности Т (т' \ т) из F.10) однозначно определяются | М |
распределениями на X. Для каждого т £ М выбор кодового слова
для сообщения т определяется соответствующим распределением.
Совместное распределение кодовых слов для различных сооб-
сообщений т несущественно. Этим мотивировано
ОПРЕДЕЛЕНИЕ 6.12. Код со случайным кодером — это пара
(F, ср), где F — стохастическая матрица F: М ->■ X и ф — отобра-
отображение ф: Y ->■ М'. Для каждого канала W: X -> Y пара (F, ф)
задает новый канал Т: М ->- М' с
Т (т' | т) Л, £ F {x\m) W (ц>-1 (m') |х). F.30)

200 Гл. 2. Системы с двумя терминалами
Используя этот канал Т, определим различные вероятности
ошибки кода (F, ср) так же, как для обычного кода (/, ср). О
Блоковый код длины п со случайным кодером определяется
как пара (F, ср) из определения 6.12 с X" и У вместо X и Y.
Разрешая в определении 6.2 такие коды, мы приходим к поня-
понятиям пропускной способности для ПМК для максимальной и сред-
средней вероятности ошибки при кодах со случайным кодером.
ТЕОРЕМА 6.13. Обе пропускные способности ПМК {ЗГ: X ->■
-> Y} при кодах со случайным кодером равны Са CF). О
Доказательство. Обозначим пропускную способность при ко-
кодах со случайным кодером для максимальной вероятности
ошибки через С'т, а для средней вероятности ошибки — через Са.
Докажем сначала, что Са = Са. Поскольку ясно, что Са ^
^ Са, нужное утверждение будет доказано, если мы покажем
следующее: для каждого R > 0, каждого е > 0 и каждого до-
достаточно большого п любому блоковому коду {F, ф) длины п
со случайным кодером, для которого
A/я) log | М | ss R, ё (Жп, F, ф)> е,
можно сопоставить кодер /: М —*■ X", для которого
ё (Wn (ф, s), /, ср) <: ae для любого s ^ S", F.31)
где a — абсолютная константа.
Рассмотрим независимые СВ Хт, т £ М, со значениями в X™
и с распределениями Рхт = F {-\т). При фиксированном s G
£Sn СВ
Zm = Zm (s) A 1 - W» (ф-1 (т) | Xmi s)
попарно независимы, и по предположению
EZm^ ё {W-{■ \ -, s), F, Ф) <е.
т£ М
Заметим, что из неравенств 2' < 1 + £ < 3' @ <£ ^ <: 1) выте-
вытекает неравенство Е ехр 7т < Зя2щ. Поэтому
m£ M
<exp(—|M|as) П
log3- J] £Zm\ <: exp (—| M |e(a - log3)) <
< exp (— exp (nR) ■ s (a — log 3)).

§ 6. Произвольно меняющиеся каналы 201
Полагая а = 2, получаем, что если S конечно, то при доста-
достаточно больших л
Рг ]гщ ^_, Zm (s) ^ 2е для некоторого s £ S'H < 1.
м
Это значит, что для некоторой реализации Хт = хт, т£ М,
случайной величины Хт имеем
A — Wm (ф-1 (т) | хт, s)) <: 2е для всех s £ S™.
тк М
Полагая/ (т)Л, хт, [получаем F.31) с а = 2. Если S бесконечно,
можно использовать ту же аппроксимацию, что и при доказатель-
доказательстве теоремы 6.11; см. F.29).
Поскольку неравенство С'т <: Са очевидно, мы уже знаем,
что Са = Са; осталось показать, что С'т Sa Ca. Для этого рред-
положим, что Са = С > 0. Из доказательства теоремы 6.11 вы-
вытекает, что для любого е > 0 и любого достаточно большого л
существуют коды
(fm, 4>пс) 6 У (М„ -> X", Y" -»- м;), £ = 1, ..., л2,
с A/л) log | Ма\ -+ С, удовлетворяющие F.26). Кроме того, су-
существуют коды (fn, ф„), fn: {1, ..., л2} ->■ X*", ц>п: Ykn ->. {1, ...,
..., л2} с kn/n->-'Q, удовлетворяющие F.27). Рассмотрим коды
(fn, фп). построенные из них при доказательстве теоремы 6.11.
Определим случайный кодер Fn: М„ -*- Хкп+п, считая, что
Fn (ш\т) — распределение на Х''п+п, приписывающее вес 1/л2
каждому кодовому слову }п (£, т), £ = 1, ..., л2. Далее, для каж-
каждого у £ Ykn+n положим ф„ (у) Л, т, если фп (у) = (£, т) для
некоторого 1 <: £ <: л2. Тогда скорость кодов (Fn, q>n) со случай-
случайным кодером стремится к С и для любого s (j Sfe'l+" и любого
т£М имеем в обозначениях F.28)
ет (Wk*+n (• | •, s), Fn, Фп) < -i- У! (^ + ет (£)) < 2е
в силу соотношений F.27) и F.26) (задача 9). □
ОБСУЖДЕНИЕ. При исследовании произвольно меняю-
меняющихся каналов мы столкнулись с явлениями, которые отсутствуют
в более простых моделях: в случае ПМК 0) пропускные способ-
способности для средней и максимальной вероятности ошибки могут
отличаться друг от друга и (ii) случайное кодирование может
увеличить пропускную способность для максимальной вероят-
вероятности ошибки. Следует ясно понимать, что обе величины Са

202 Гл. 2. Системы с двумя терминалами
и Cm (W) оказываются существенными в (разных) задачах тео-
теории связи (задача 10). Если ограничиться обычными кодами, то
для ПМИ и ПМК нельзя сформулировать общей теоремы о пере-
передаче для источника и канала, ,р которую входило бы только отно-
отношение двух чисел, характеризующих соответственно ПМИ и
ПМК. Однако при использовании кодов со случайным кодирова-
кодированием это неудобство пропадает. Можно утверждать, что для
ПМК «естественное» понятие кода включает случайное кодиро-
кодирование, и «истинная» пропускная способность для ПМК — это
общее значение двух пропускных способностей для кодов со слу-
случайным кодером. По теореме 6.13, это значение равно Са EР)-
Заметим, что случайные декодеры не дают никаких дополнитель-
дополнительных выгод (задача 11). Мы не рассматривали экспоненциальных
границ для вероятности ошибок в ПМК, поскольку в настоящее
время здесь почти ничего не известно.
Полезно рассмотреть техническую задачу передачи сообще-
сообщений по каналу с меняющимися состояниями с теоретико-игровой
точки зрения (см., например, Karlin A959)). Это помогает несколь-
несколько систематизировать большое число различных теоретико-ин-
теоретико-информационных задач, связанных с различными ситуациями пере-
передачи по каналу, который может непредсказуемым образом менять
свои состояния в процессе передачи. Хотя рассмотренные в тек-
тексте задачи охватывают лишь небольшую часть этого широкого
круга проблем, границы применимости описанных выше методов
довольно широки.
Пусть задано семейство каналов W = \W (• | •, s): s£S}-
Для каждого множества сообщений М и каждой длины блока п
рассмотрим игру двух лиц между «селектором кодов» и «селектором
состояний». Игра определяется множеством допустимых (чистых)
стратегий игроков и соответствующими платежными функциями.
Мы всегда будем предполагать, что платежная функция селектора
состояний есть либо максимальная, либо средняя вероятность
ошибочной передачи, т. е. либо maxm^M A — Т (т\т)), либо
Гм7 ^j f= ^ — Т (т\ т)), где Т(т' \ т) — вероятность (при выб-
выбранных стратегиях) декодировать сообщение т в сообщение т'.
Модель связи — это семейство таких игр (для всех п и М). Число
R > 0 называется достижимой скоростью для этой модели, если
для любых е > 0, б > 0 и любого достаточно большого я сущест-
существует множество сообщений М с A/n) log | M | ^ R — б, такое,
что некоторая допустимая стратегия селектора кодов гарантирует
платеж, не превосходящий е, при любой стратегии селектора со-
состояний. Наибольшая достижимая скорость называется пропуск-
пропускной способностью рассматриваемой модели.
Если при данных Мил допустимыми стратегиями селектора
кодов являются коды (/, ф) £■?? (М ->■ X", Y" ->■ М'), а допусти-

§ 6. Произвольно меняющиеся каналы 203
мыми стратегиями селектора состояний — все последователь-
последовательности s^S", мы получаем пропускные способности ПМК \W\
для максимальной и средней вероятности ошибки, описанные выше
(задача 12).
Увеличивая множество допустимых стратегий селектора кодов,
мы приходим к моделям, в которых фактические состояния ка-
канала известны (полностью или частично) на приемном и (или)
передающем конце (задача 13). Если, например, состояния из-
известны только на выходе, допустимые стратегии селектора кодов
задаются множеством всех пар (/, ср), где / : М -*- X" — кодер
в обычном смысле, а ср— отображение ср: VxS™ —>-М'. Для
каждой такой пары (/, ср) и каждой последовательности s £ S"
вероятность того, что сообщение т будет декодировано в сообще-
сообщение т', равна
Т(т'\т)Л. £ W»(y\f(m), s). F.32)
у: ф (у, s)=m'
Определяя максимальную и среднюю вероятность ошибки с по-
помощью F.32), мы приходим к понятиям пропускных способностей
ПМК с состояниями, известными на выходе (задача 14).
Аналогично можно поступать, если состояния известны на
входе. Однако более реалистичная модель соответствует случаю,
когда в каждый момент i предполагаются известными только прош-
прошлые состояния Si, -.., S(_i или еще текущее состояние, т. е. sb ...
..., st. В этом случае допустимые стратегии селектора кодов
описываются парами (/, ср), где ср: Y" ->- М' — обычный декодер,
а / = Д ... /п — последовательность отображений ft MXS'-1 ->■
—>- X или соответственно />: MXS' ->■ Х- Эти отображения опре-
определяют t-й передаваемый символ как функцию передаваемого со-
сообщения и известных состояний. Для таких (/, ср) и s£S" ве-
вероятность того, что сообщение т будет декодировано в т', равна
Т (m'\m) Д ^ П Г Ы/< (m, slt .... s,^), st) F.33)
У: ф (y)=ff»' 1 = 1
в первом случае и аналогичному выражению с ft (m, slt ■■-, st)
вместо ft (m, sl7 ..., Sj_x) во втором случае (задача 15). Таким об-
образом можно получить понятия максимальной и средней пропуск-
пропускных способностей ПМК при известных предыдущих или преды-
предыдущих и текущем состояниях (задача 16).
Предположение о том, что кодер знает предыдущие (и текущее)
состояния, может быть заменено (или дополнено) предположением
о том, что в каждый момент времени кодер знает предыдущие
выходные символы (по бесшумной линии обратной связи). Фор-
Формальное определение допустимых стратегий селектора кодов и
соответствующий аналог F.33) в этом случае очевидны (задача 18)«
Таким образом, мы получаем различные понятия пропускной спо-

204 Гл. 2. Системы с двумя терминалами
собности ПМК с полной обратной связью. Излишне указывать, что
все перечисленные модели можно обобщить, если ввести случайные
кодеры; это, однако, не приводит к новым значениям пропускной
способности, поскольку для вс£х этих моделей справедлив аналог
теоремы 6.13.
Можно увеличить также множество допустимых стратегий
селектора состояний. Таким образом, получаем новые модели ка-
каналов, которые описывают различные технические ситуации лучше,
чем ПМК. Разумным с технической точки зрения будет, например,
предположение о том, что состояние st в момент времени i зависит
некоторым неизвестным образом от предыдущих входных симво-
символов хъ ..., Xi_!. Эту ситуацию можно формализовать, если раз-
разрешить в качестве допустимых стратегий отображения а: X" —>-
—>- S", задаваемые последовательностями отображений at: Xl~l -*■
-*• S, так что а (х) = ага2 (xi) ... сг„ (хг ... xn_x). Каждая такая
стратегия задает канал W"(-\-, а) по формуле
W" (у | х, a) A W" (у | х, а (х)). F.34)
Обозначим через Ж п* семейство всех таких каналов при а, про-
пробегающем множество всех описанных выше стратегий. Последова-
Последовательность^ Жп* }£Li является моделью канала, в котором допус-
допускается еще большая свобода изменения состояний, чем в ПМК.
Эта модель уже имеет память. Последовательность {Wn*}^+1
будет называться произвольно «звездочка»-меняющимся.' каналом,
или П*МК- Модель связи с описанными выше стратегиями селек-
селектора состояний и стратегиями (/, ф) £ <& (М ->■ X". Y" ->- М') се-
селектора кодов приводит к понятиям пропускной способности для
максимальной и средней вероятности ошибки П*МК (задача 19).
Можно допустить также, чтобы стратегии селектора состояний
разрешали каждому состоянию st зависеть от текущего входного
символа xt или от всех символов хи ..., хг. Однако таким путем
нельзя получить принципиально новых моделей (задача 20).
^J^OpH описанном выше увеличении множества допустимых стра-
стратегий селектора состояний пропускная способность ПМК \W\
для максимальной вероятности ошибки не уменьшается, в то время
как пропускная способность для средней вероятности ошибки,
вообще говоря, уменьшается. В крайнем случае, когда допусти-
допустимыми являются все отображения X" в S", пропускная способ-
способность для максимальной вероятности ошибки по-прежнему равна
Сга №)', более тогоГ в этом случае пропускная способность для
средней вероятности ошибки также становится равной Ст (УС)
(задача 21).
Некоторые пары стратегий селектора кодов и селектора состоя-
состояний, описанные выше, являются совместимыми, в то время как
другие пары несовместимы. Например, стратегии, возникающие

§ 6. Произвольно меняющиеся каналы
в F-33), совместимы со стратегиями селектора состояний, зави-
зависящими от предыдущих входных символов. Вероятности Т (m' \ т),
соответствующие паре таких стратегий, по-прежнему задаются
формулой F.33), в которой состояния Si теперь определяются по-
последовательно по формуле
Sj = (Т/ (*!, ..., x^j), xi — ft (m, slt ..., Sj_x).
Пример несовместимых пар задают стратегии, когда при выборе
кода i-му входному символу разрешается зависеть от i-ro состоя-
состояния, в то время как при выборе состояния i-му состоянию разре-
разрешается зависеть от 1-го входного символа.
Описанные модели связи в различной мере интересны с тех-
технической и математической точек зрения. В то время как на одни
из них затрачено много усилий, другие вообще не исследовались.
Задачи
1 (положительность пропускной способности для максимальной вероят-
вероятности ошибки), (а) Покажите, что если для каждой пары хи х2 элементов из X
существует канал W 6 5f, для которого W (у \ xj = W (у\ х2) при любом «/ £ Y,
то для любого блокового кода длины п, содержащего по крайней мере два сооб-
сообщения, имеем е (W1, f, ф) > 1/2.
(Ь) Покажите, что Ст (Ж) положительна в том и только том случае, если W
не обладает свойством, описанным в п. (а).
(Kieffer—Wolfowitz A962).)
Указание. Для доказательства достаточности в (Ь) заметим, что строки ма-
матриц из Ж, соответствующих любому фиксированному х£Х, образуют компакт-
компактное выпуклое множество. Таким образом, если для некоторой пары xlt х2 эти
множества не пересекаются, они разделяются некоторой гиперплоскостью,
т. е. для некоторых констант а. (у), у £ Y, и у имеем
тах_ у а (у) W (у | xj < у < min_ V а (у) W (у | х2).
В качестве блоков для построения кодовых слов блоковых кодов длины п нужно
k k
использовать х.% £x-± ... хг £ Xk и х2 _А_ х9 ... х2 б Xk (k фиксировано, п -»-
-*• оо), учитывая, что множество А = {у: у £ Y/e> 2 ь € Y Л^ (Ь | у) а (Ь) < йу}
удовлетворяет условию Wk(A\x1, s) > 3/4, Wk (A | x2, s) < 1/4 для любого
s (; S , если k достаточно велико.
2. Приведите примеры ПМК, для которых
(a) minr e jfC (W) > 0, но Ст (Ж) = О,
(b) minr e ypC (W) > 0, но Са (Ж) = 0.
Указание. В п. (Ь) нужно положить X = S й {0, 1}, У й {0, 1, 2},
W (y\x, s) й I, если у — х-{- s, nW(y\x, s) == 0 в остальных случаях.
Тогда для любого блокового кода (/, ф) длины п имеем
ё (?Рп, f, ф) = max -гщ I {т: ф (/ (т) + s) =#= /п)} |.
s€(o,.J"'

206 Гл. 2. Системы с двумя терминалами
Рассматривая векторы состояний s, равные кодовым словам, получаем
ё{Жп, f, 9)>^L_|{(m, m'y. q>(f(^lM^
(Blackwell—Breiman—Thomasian (I960).)
3 (пропускная способность для максимальной вероятности ошибки и про-
пропускная способность с нулевой ошибкой). Пусть W: X —>- Y— произвольный ка-
канал и УР — семейство всех стохастических матриц V: X —>- Y с элементами 0 и 1,
для которых V (у | х) = 0 каждый раз, когда W (у \ х) = 0. Проверьте, что Ст (Ж)
совпадает с пропускной способностью ДКБП {W} при нулевой вероятности
ошибки. Этот пример показывает, что нахождение вычислимого описания про-
пропускной способности общего ПМК для максимальной вероятности ошибки
должно быть очень трудной задачей.
4. Пусть {Ж: X -» Y} — ПМК с | Y | = 2. Для каждой пары х', х" £ X
обозначим через {Ж (х', х"): {х', х"} -*■ Y} ПМК, задаваемый соответствующими
строками матриц W £ Ж. Выведите из доказательства теоремы 6.7, что
(а) Ст (Ж) = max Ст (Ж (х', х")).
X', X"
(Ъ) Максимальное значение достигается на паре (х', х"), максимизирующей
inf W @ I х') + Ш W A | х")
\Р£Ж W£Ж
в предположении, что этот максимум больше 1; в противном случае Ст(Ж) = 0.
(Ahlswede—Wolfowitz A970).)
5 (случайные коды). Пусть заданы множества X, Y и М с М'; заметим, что
случайные коды эквивалентны тройкам (U, f, ср), где U — СВ, принимающая зна-
значения в некотором конечном множестве Uh/:MX U->-X,f: YX U-+M'-
некоторые отображения, так что каждая тройка определяет случайный код,
т. е. распределение Q на ^ (М -*- X, Y —>- М') и каждое Q можно получить та-
таким образом.
(a) Покажите, что если W: X -*- У — произвольный канал, М — СВ, не
зависящая от U, X й f (М, U), MU е- X -е- Y, PY \ х = г> м> = Ф (Y' и)- т0
Рг {М' — т' \М = т) задается формулой F.10). Если, в частности, М равно-
равномерно распределена на М, то Рг {М' ф М} = ё (W, Q).
(b) Покажите, что для случайных кодов несущественно, используется мак-
максимальная или средняя вероятность ошибки. Другими словами, для каждого
случайного кода Q существует другой случайный код Q, такой, что ет (W, Q) =
= ё (W, Q) для любого канала W: X —>- Y и любого т £ М.
Указание. Пусть П — множество всех перестановок я множества М и П —
СВ, не зависящая от У и равномерно распределенная на О. Заменим тройку
(U, f, ф) тройкой (U,J, ф), где U й (U, П), J(т, и, л) uf (n (т), и),"ф (у, и, п) й
йя(ф(У. «))•
6 (пропускная способность ПМК для случайных кодов). Покажите, что «про-
«пропускная способность ПМК {W} Для случайных кодов» равна
Си max - C(W), т.е. случайные блоковые коды длины п с (максимальной
или средней) вероятностью ошибки, стремящейся к 0, для которых
lim,,^,^ A/п.) log J МЛ | ^ R, существуют в том и только том случае, если
D <^ Q
"~(Bl'ackwell—Breiman—Thomasian (I960).)
Указание. Показать, что пропускная способность ДКБП для случайных
кодов равна обычной пропускной способности. Затем использовать лемму 6.3
и следствие 6.10.

§ 6. Произвольно меняющиеся каналы 207
7. (а) По аналогии с теоремой 6.11 можно было бы предположить, что
Ста (W) либо равно 0, либо совпадает с min = С (W). Опровергните это
предположение, приведя контрпример.
(Ь) Заметьте, что любой контрпример в (а) является также примером ПМК,
для которого Ст (Ж) < Са (Ж).
(Ahlswede, частное сообщение, 1977.)
8 (положительность пропускной способности для средней вероятности
ошибки), (а) Покажите, что если на X существуют РВ Рц и Р1г такие, что для лю-
любой пары РВ Qo и Qt на S с конечными носителями распределения
{J^xsPi (x) Qi (s) W (у | х, s): у € Y}, i = 0, 1 различны, то Са (Ж) > 0.
Указание. Решение опирается на теорему 6.13. Любой код для ПМК
{Ж: {0,1} -*■ Y}с переходными вероятностями W (у | i, s) = ^jx£ X^Z (*) ^(у\х,
s), i = 0, 1, задает код со случайным кодером для ПМК {Ж}. Затем нужно ис-
использовать задачу 1 для ПМК {Ж}.
(b) Покажите, что Са {Ж) > 0 в том и только том случае, если для некото-
некоторого п ;> 1 выполнено условие п. (а) с Жп вместо Ж.
(c) Выведите, что если Ж выпукло по строкам, т. е. Ж = Ж, то Са (Ж) > 0
в том и только том случае, если Ст (Ж) > 0.
(Ahlswede A978).)
9. Опишите модель системы связи, включающую блоковые коды с актив-
активной обратной связью (см. задачу 5.35) для ПМК. Покажите, что если бесшумная
линия обратной связи имеет сколь угодно малую, но положительную пропуск-
пропускную способность, то пропускные способности для максимальной и средней ве-
вероятностей ошибки всегда равны пропускной способности ПМК для случайных
кодов.
Указание. Предположим, что на выходе ПМК можно проделать случайный
эксперимент с п2 возможными исходами и его результат становится известным
на входе. Если использовать коды, зависящие от такого случайного экспери-
эксперимента, то пропускная способность для максимальной вероятности ошибки будет
равна пропускной способности для случайных кодов, задаваемой F.24).
10 (теоремы о передаче для источника и канала для ПМК)- (а) Покажите,
что для любой последовательности распределений Рп на множествах Мп, такой,
что
Tim"(l/n) log|Mn| <Са(Ж), limn2 max Рп (т) = 0,
п-~со п-оо т£м„
существует последовательность блоковых кодов длины п с множествами сообще-
сообщений Мп, для которых вероятность ошибки удовлетворяет условию
max у Pn(m)em(Wn (-\-, s), /„, Ф„)-*0.
S£S т<=мя
Указание. Без потери общности можно предположить, что | Mn | делится на я2.
Представим М„ в виде {1, ..., ге2} X Мп таким образом, чтобы вероятности лю-
любых двух множеств {7} X Мп отличались не больше чем на maxmPn (Щ- Тогда
вероятности этих множеств асимптотически равны \/п2 игодятся коды, построен-
построенные при доказательстве теоремы 6.11 (с М„ вместо Мп в F.25)).
(Ь) Пусть задан источник [Zi}f=l с алфавитом Z. Вероятность ошибки (k, n)-
блокового кода (f, ф) 6 <ff {Zk -» X", Y" ->- Zk\ для ПМК {Ж: X -+ Y} оп-
определяется формулой
max Г 1 - £ Р Лг) Wn (ф (z) \f(z), s)
| Z

208 Гл. 2. Системы с двумя терминалами
Покажите, что для ДИБП с порождающим распределением Р и ПМК {Ж} (k, п)-
блоковые коды с nlk -*■ L и вероятностью ошибки, стремящейся к 0, существуют
в том и только том случае, если L > Н (P)ICa (Ж).
Указание. Существование следует из т. (а), если положить Мп й Т"Ру
Необходимость легко получить для пропускной способности при средней вероят-
вероятности ошибки для кодов со случайным кодером (разбить ТД>-. на
exp [k (Н (Р)—8)} подмножеств асимптотически одинаковой вероятности; лю-
любой кодер /: Z —>- X" приводит к случайному кодеру F: Мп —*■ X", где Мп —
семейство атомов этого разбиения). Однако по теореме 6.11 эта пропускная спо-
способность "равна Сa (Ж).
(с) Заметьте, что (k, п)-блоковые коды с nlk —*■ L и с вероятностью ошибки,
стремящейся к 0 равномерно для всех источников с алфавитом Z, существуют
в том и только том случае, если L ^ log | Z \1Ст (Ж). То же верно, если ограни-
ограничиться меньшим семейством всех источников с независимыми выходами.
(с1)^Выведите из пп. (Ь) и (с), что для ПМИ и ПМК нельзя сформулировать
никакой теоремы о передаче для источника и канала в терминах отношения двух
чисел, одно из которых характеризует ПМИ, а другое — ПМК, если ограничиться
обычными кодами. Если, однако, разрешить использовать коды со случайными
кодерами, то для любого ПМИ (заданного множеством распределений вероятно-
вероятностей &) и любого ПМК {Ж} наибольшая нижняя грань для L равна
(l/C)"max — Я (Р), гдеС= Са (Ж) — общее значение обеих пропускных спо-
Р £ ЭР
собностей (для средней и максимальной вероятностей ошибки) при кодах со
случайными кодерами.
11 (случайное декодирование не увеличивает пропускную способность). Код
со случайными кодером и декодером — это пара стохастических матриц F: М —»-
—»- X, Ф: Y —*■ М'. Для заданных канала W: X —>- Y и такого кода аналогом ма-
матрицы Т из F.30) является матрица Т = FWO.
(a) Заметьте, что с точки зрения вероятностей ошибки коды со случайным ко-
кодером и декодером эквивалентны случайным кодам, задаваемым теми распреде-
распределениями Q на Ф (М -*■ X, Y -*■ М'), которые имеют вид
Q (/• Ф) = Qi (/) Q2 (Ф) ■
(b) Проверьте, что теорема 6.13 верна также для кодов со случайными коде-
кодером и декодером.
(c) Покажите, что введение кодов (/, Ф) с обычным кодером и случайным де-
декодером не увеличивает пропускной способности ПМК для максимальной вероят-
вероятности ошибки.
Указание. Пусть задан код (f, Ф) с е (Жп, f, ф) < е. Случайным выбором ф
показать, что существует декодер ф, для которого е (Жп, f, ф) < 2е. (Пусть
ф (у), у g Y" — независимые случайные величины с распределением Ф (• |у).)
12 (теоретико-игровой подход). Если допустимыми (чистыми) стратегиями
селектора кодов являются коды (/, ф) 6 ®" = "?" (М ->■ X", Y" ->• М'), то сме-
смешанными стратегиями будут случайные коды, т. е. распределения Q на 'В'.
(a) Покажите, что если платежной функцией является средняя вероятность
ошибки, то для смешанной стратегии Q селектора кодов ожидаемый платеж в со-
состоянии s £ S" равен ё (W" (■ \ ■, s), Q). Если, однако, платежной функцией яв-
является максимальная вероятность ошибки, то ожидаемый платеж, вообще, го-
говоря, больше е (Wn (• \ ■, s), Q).
(b) Пусть допустимыми(чистыми) стратегиями селектора состояний являются
все последовательности s £ S"- Для каждой смешанной стратегии, т. е. распре-
распределения Р па S", положим
W" (у | х, Р) д £ Wn (у | х, s) P (s).
S

§ 6. Произвольно меняющиеся каналы 209
Выведите из теоремы о минимаксе (см. Karlin A959), теорема 1.4.1), что
min ё (Жп, Q) = max min ё (Wn (• | •, Р), /, ф).
Q P If. ф)
Используя этот результат, определите пропускную способность {Ж} для случай-
случайных кодов.
(Blackwell—Breiman—Thomasian (I960).)
13 (состояния, известные на входе и на выходе). Покажите, что если допусти-
допустимыми стратегиями селектора кодов являются коды, зависящие от всей последо-
последовательности состояний s £ S", то обе пропускные способности (для максималь-
максимальной и средней вероятностей ошибки) равны inf^,,^, С (W).
Указание. Достаточно показать, что при я > п0 (\ X■ |, | Y |, е, 5) максималь-
максимальная скорость (п, 8)-кодов в канале Wn (• | •, s) удовлетворяет условию | R —
— (l/я) ^"=1C(W7 (• | •, sO) | <б. При | S | < оо это легко получается мето-
методами § 1; при | S |= оо нужно использовать аппроксимацию, как при доказатель-
доказательстве теоремы 6.11.
Замечание. С точки зрения теории игр эту модель можно сформулировать
в терминах того же множества (чистых) стратегий, что и в задаче 12; однако здесь
следует предположить, что селектор состояний использует свою минимаксную
стратегию, в то время как в определение 6.2 входит минимаксная стратегия се-
селектора кодов. Отметим тот несколько неожиданный факт, что если семейство Ж
выпукло, то знание селектором кодов множества состояний не увеличивает про-
пропускную способность для средней вероятности ошибки, если только Са (Ж) > 0.
14 (состояния, известные на выходе). Заметим, что пропускная способность
для средней (соответственно максимальной) вероятности ошибки ПМК
{Ж: X->-Y}, задаваемого стохастической матрицей W: X X S -*- У, состояния
которого известны на выходе, совпадают с обычной пропускной способностью
для средней (соответственно максимальной) вероятности ошибки ПМК
{Ж: X X Y X S}, задаваемого переходными вероятностями
W (у, s\x, s)UW (у\ х, s); W (у, s' | x, s) й 0, если s' Ф s.
(a) Выведите из теоремы 6.11, что пропускная способность для средней ве-
вероятности ошибки ПМК {Ж}, состояния которого известны на выходе, равна
либо 0, либо maXp/ (P, Ж).
(b) Докажите более сильное утверждение, согласно которому пропускная
способность для средней вероятности ошибки всегда равна maxp/ (P, Ж), т. е.
пропускной способности составного ДКБП; задаваемого Ж.
gj (Стамблер 0975).)
Указание. Для каждого кодера /: {1, ..., Мп} -*-Хп определим декодер
ср: Y" X S"->-{0, 1, ..., Мп} равенством
наименьшее i, для которого у £ Т'^-| (/(г), s),
Ф(У, s)i| «п
0, если y<£ U TjVj (/(/), s).
Предполагая, что | S | <С оо, достаточно доказать следующее: пусть кодовые
слова выбираются случайно при / (»") й X", где СВ X", i = 1, ..., Мп, незави-
независимы с общим распределением Р"; тогда в случае (l/n) log | Мп \ -»-/?, 0 < R <С
< / (Р, Ж) вероятность Рг \ё (Wn (• | ■, s), f, ф (•, s)) > е| стремится к 0 бы-
быстрее, чем экспоненциально (при п—>-оо), равномерно по s. Последняя вероят-
вероятность равна Pr {Af-1 £^ Z( (s) > e),

210 Гл. 2. Системы с двумя терминалами
«, s)) U (.У. Tfo (*?. s)) |x?, в).
где
Z,- (s) й W
Легко проверить, что для каждых фиксированных значений X", ...,Х"_, услов-
условное математическое ожидание Z{ (s) меньше е/2 (если я достаточно велико).
Отсюда можно вывести нужное утверждение.
15 (предыдущие состояния, известные на входе), (а) Показать, что пропускная
способность для максимальной вероятности ошибки ПМК с предыдущими со-
состояниями, известными на входе, не превосходит min == C(V). В частности,
при | Y | = 2 знание предыдущих состояний на входе не увеличивает эту пропуск-
пропускную способность. -щ
Указание. Пусть V: X -*- Y — произвольный канал вида F.3), т. е.
К 0/|*)= ^P(s\x) W(y\ x, s)
и (/, ф) —допустимая стратегия селектора кодов с/= Д ... fn, /j:MX S'~' -»-X.
Пусть М — СВ, равномерно распределенная на М, и пусть СВ X;, S;, Yi, i =
= 1, ..., я, определяются последовательно следующим образом:
х, й fi (M, s1-1), Afx'-'s'-'y'-1 -е-х,. -е- scy£,
ps up, Py.^.s. = w.
Показать, что
Рг |ф (Yn) ф М\ < е (Жп, /, ф), / (М Л Ф (У")) <
< 2 / (Л! Л У г I У') < 2 7 (Хг Л Гг I К'~1) < пС (К)-
Поэтому первое утверждение вытекает из неравенства Фано. Второе утвержде-
утверждение следует из теоремы 6.7.
(b) Покажите, что пропускная способность для средней вероятности ошибки
ПМК с предыдущими состояниями, известными на входе, равна либо 0, либо
min —C(V). В частности, если Са (Ж) > 0, знание предыдущих состояний
на входе не увеличивает эту пропускную способность.
Указание. Для того чтобы проверить, что пропускная способность для сред-
средней вероятности ошибки при прежних состояниях, известных на входе, никогда
не превосходит min —С (V), обозначим через V: X -*■ Y любой канал вида
V ^ /Р
F.2) и введем СВ М, X,, Yi, Si, как и ранее, с тем отличием, что теперь S, не
зависит от Xi и имеет распределение Р. Показать, что в этом случае Рг |ф (Уп) Ф
Ф М\ < в (Ж'\ f, Ф).
(c) Покажите, что пропускная способность для средней вероятности ошибки
при предыдущих состояниях, известных на входе, может быть положительной
(и, значит, равной min — С (V)) даже в том случае, когда Са (Ж) = 0.
Указание. Пусть X; — семейство всех отображений х: S' —>- X. Рассмотрим
ПМК \ Ж^: XX Хх X • • • X Xfe_t -+■ Yk\ с множеством состояний Sfe, для которого
__ k
Wh (У | Х~ S) й W (У1 1 X, Si) Y\W(yi\ Гц (Si, ■ • -, Si_t), S;),
(=1
x = xx^ . . . *^_i, Xi ^ X i.

$ 6. Произвольно меняющиеся каналы 21 i
Тогда каждый блоковый код длины п для ПМК {Й^/Л задает допустимую стра-
стратегию селектора кодов для {Ж} с предыдущими состояниями, известными на входе
(с длиной блока kn), причем средняя вероятность ошибки при этом не меняется.
Применяя к {Ж^} задачу 8 (а), получаем достаточное условие положительности
рассматриваемой пропускной способности для средней вероятности ошибки. Про-
Проверить, что если {Ж^} — ПМК из указания к задаче 2, то это условие выполнено
при k = 2.
Замечание. Разумно предположить, что пропускная способность для средней
вероятности ошибки при предыдущих состояниях, известных на входе, всегда
равна min —С (W). Эта задача, по-видимому! до сих пор не рассматривалась.
(d) Проверьте, что теорема 6.13 останется верной, если заменить все пропуск-
пропускные способности на соответствующие пропускные способности с предыдущими
состояниями, известными на входе.
16 (текущее состояние, известное на входе). Пусть допустимыми стратегиями
селектора кодов являются пары (/, ф), где / — последовательность отображений
/V М X S->- X, i = 1, ..., п, и ф: У -»- М' — обычный декодер.
(a) Покажите, что пропускные способности {Ж} для максимальной^! средней
вероятностей ошибки равны соответственно Ст (Ж) и Са (Ж), где {Ж: Хх -»- Y} —
ПМК, задаваемый формулой W (y\xlt s) й W (у I хг (s),s) (см. указание к задаче
15 (с)).
Выведите отсюда, что знание текущего состояния на входе может увеличить
пропускные способности ПМК.
(b) Покажите, что пропускные способности ПМК {Ж} с предыдущими и те-
текущим состояниями, известными на входе, равны соответствующим пропускным
способностям ПМК {Ж} с предыдущими состояниями, известными на входе;
см. задачу 15.
17 (списочные коды). Определим пропускную способность списочных кодов
в ПМК как наибольшее R, которое при любом 6 > 0 является достижимой ско-
скоростью для списочных кодов с объемом списка ехр {пб}. Точнее, определим
пропускную способность ПМК {Ж} со списочными кодами для максимальной ве-
вероятности ошибки как наибольшее R, такое, что для любых е £ @, 1), б > 0 и
любого достаточно большого п существует списочный код длины п с объемом списка
ехр {пб}, скоростью A/я) log | М/ | > R—6 и максимальной вероятностью
ошибки в любом канале из Жп, не превосходящей 8. Аналогично определяется
пропускная способность списочных кодов для средней вероятности ошибки.
(а) Покажите, что лемма 6.3 остается справедливой и для списочных кодов.
(Ь)* Покажите, что пропускная способность {W} со списочными кодами для
максимальной вероятности ошибки равна min =C(W).
(Ahlswede A973b).)
(c) Покажите, что пропускная способность {Ж} со списочными кодами для
средней вероятности ошибки равна min =C (W).
Указание. Рассмотрим коды (fni, ФПЛ из F.26). Полагая
ч>» (у) = Ki (уУ- ''= ' Ь
получаем из F.26) существование списочных кодов со случайным кодером, для
которых объем списка равен п2, максимальная вероятность ошибки меньше е
и скорости стремятся к rnin —С (W). Далее нужно повторить первую часть до-
доказательства теоремы 6.13 для списочных кодов.
18 (обратная связь). Стратегия селектора кодов, использующая обратную
связь, — это пара (/, ф), где / —последовательность отображений ff.MX Y'~' -»-

Гл. '2. Системы с двумя терминалами
-*■ X, i — 1( ..., ft, и ф. Y'! -*• M — декодер в обычном смысле; см. задачу 1.27,
Для такой пары (/, ф) и s £ S'1 положим
у: ф (У)=т' t=l
Если, кроме того, на входе известны предыдущие состояния, / будет последова-
последовательностью отображений /;: М X Sl'lXY'~l -+ХНТ (m' | m) определяется такой
же формулой.
(а) Покажите, что обратная связь может увеличить пропускную способность
ПМК для средней вероятности ошибки,сделав ее даже больше, чем min pWC(W),
т. е. пропускная способность для максимальной вероятности ошибки в первом
из описанных выше случаев может быть больше указанного минимума.
Указание. Положим X ■= Y = S = {0, 1},
W @|0, 0) = W A| 1, 1)й 1, W (t|0, 1)= W(i\l, 0)й 1/2, /=0,1.
Определим новый ПМК {Ж} с входным алфавитом X, выходным алфавитом Y2
и множеством состояний S2, полагая
W (z/x, у2 | 0, Sl, s2) й W (У11 0, si) W (г/2 | уг, s2),
W (г/i, у2 \ 1, sx, s2) = W (i/i | 1, si) W (y2 | ylt s2).
Каждый код длины я для ПМК {УР} задает стратегию селектора кодов с обрат-
обратной связью для ПМК {W1} (с длиной блока 2я), имеющую ту же самую максималь-
максимальную вероятность ошибки. Заметим теперь, что min , ^> С (W) = 0, в то время
как Ст {Ж) > 0 (см. задачу 1).
Этот пример принадлежит Алсведе (Ahlswede A973c).)
(b) Покажите, что пропускная способность ПМК с обратной связью для сред-
средней вероятности ошибки (независимо от того, известны ли на входе предыдущие
состояния) равна либо 0, либо min r^C{W).
Указание. По аналогии с задачей 15 (а) проверить, что пропускная способ-
способность для средней вероятности ошибки с обратной связью и с предыдущими со-
состояниями, известными на входе, не может превосходить min ,y С (W).
(c) Ввиду п. (Ь) обратная связь не увеличивает пропускную способность для
средней вероятности ошибки, если Са (Ж) > 0. Приведите пример, когда обрат-
обратная связь увеличивает эту пропускную способность.
Указание. Для ПМК из указания к задаче 2 обратная связь приводит к зна-
знанию предыдущих состояний на входе; см. задачу 15 (с).
(d) Покажите, что если Ж = 'W, утверждение п. (Ь) справедливо также
в случае пропускной способности для максимальной вероятности ошибки при
наличии обратной связи.
(Ahlswede A973c); его оригинальное доказательство было конструктивно.)
Указание. Если пропускная способность с обратной связью для максималь-
максимальной вероятности ошибки положительна, она, очевидно, ие меньше пропускной
способности для максимальной вероятности ошибки со списочными кодами. Те-
Теперь утверждение вытекает из задачи 17 (Ь) и п. (Ь).
(e) Выведите из п. (d), что пропускная способность с нулевой ошибкой и
с обратной связью ДКБП{Й7: Х->- Y} либо равна 0, либо min ,- sp C(V), где Ж —
такое же семейство, как в задаче 3.
(Гипотеза Шеннона (Shannon A956)), доказанная Алсведе (Ahlswede, A973c));
Шеннон дал другую формулу для пропускной способности ДКБП с обратной
связью с нулевой вероятностью ошибки; см. задачу 1.28.)

§ 6. Произвольно Меняющиеся Каналы 11\'б
Замечание. Результаты этой задачи относятся к «пассивной обратной связи».
В случае «активной обратной связи» (см. задачу 5.35) обе пропускные способ-
способности (для максимальной и средней вероятностей ошибки) становятся вследствие
задачи 9 равными min ,-^5 С (И?), даже если бесшумная линия обратной связи
имеет сколь угодно малую положительную пропускную способность.
19 (состояния, зависящие от предыдущих входов), (а) Покажите, что пропуск-
пропускная способность П*МК \Ж>п*\'^=1 (см. F.34)) для случайных кодов равна соответ-
соответствующей пропускной способности ПМК {Ж}.
(Blackwell—Breiman—Thomasian (I960).)
Указание. Если У" связана с Хп произвольным каналом из Wn , то для СВ
Zt, определенных в доказательстве леммы 6.10, условные математические ожи-
ожидания Е (Z{ | X' = xt-1) имеют вид F.21). Отсюда по-прежнему следует нера-
неравенство F.23), если заменить СВ Z; —• EZi на некоррелированные СВ Zi —
-EiZt]*-1).
(b) Пусть Ж' k — подмножество Wn*, состоящее из тех каналов Wn(- | •, а),
которые соответствуют стратегиям селектора состояний, имеющим «память глу-
глубины fo», т. е. стратегиям, в которых состояния s, = а, (х') зависят только от k
последних символов в х'. Покажите, что для каждого фиксированного k про-
пропускная способность канала {Ж' fe}^L_i для средней вероятности ошибки равна
либо 0, либо min .- xs С (W) и что для этих каналов верен аналог теоремы 6.13.
Замечание. Неизвестно, справедлив ли этот факт для П*МК \Ж"*\^==1.
Число каналов в семействе Жп* растет по двойной экспоненте от я, вследствие
чего доказательства, проведенные для ПМК, не проходят для этого канала.
(c) Предположим, что состояния могут зависеть от предыдущих входных
и от выходных символов, т. е. стратегии селектора состояний задаются отобра-
отображениями <Si\ Х'" X Yl~x -»- S. Для такой стратегии а = (аг, .... ап) положим
Wn (у | х, a) uf[ W (t/t | xi, ot (x'-1, у')).
Покажите, что при замене урп* на большее семейство описанных каналов
Wn (• | •, сг) по-прежнему будут выполняться аналоги утверждений пп. (а) и (б).
20 (состояния, зависящие от текущего входа), (а) Пусть допустимыми стра-
стратегиями селектора состояний являются отображения а: X"—*- S™, определяемые
последовательностями отображений а,: X —>- S по формуле а(\)~о1(х1) ...
ап (хп). Покажите, что если стратегиями селектора кодов являются коды (/, ф) £
£ ^ (М —>- X", Y" —>- М') и платежной функцией является максимальная (соот-
(соответственно средняя) вероятность ошибки, то пропускная способность получен-
полученной системы связи равна пропускной способности ПМК {УР: X-*-_Y}, возмож-
возможными состояниями которого являются отображения о: X —*■ S и W (у | х, о) =
Д W (у | х, а (х)), для максимальной (соответственно средней) вероятности
ошибки.
(Ь) Предположим, что состояния могут зависеть от предыдущих и текущего
входов, т. е. допустимые стратегии селектора состояний задаются последователь-
последовательностями отображений а,: X' —*■ S по формуле а (х) = а± (xt) ... оп (хх ... х)п.
Покажите, что если стратегиями селектора кодов являются коды (/, ф) £
g "F (M ^-X", Y"^- M'), получаемая модель эквивалентна П*МК {ЗГ"*1~=1»
где Ж определяется, как в п. (а).
21 (состояния, зависящие от всей входной последовательности). Пусть до-
допустимыми стратегиями селектора состояний являются все отображения:

Гл. 2. Системы с двумя терминалами
а: X" -*■ S", а допустимыми стратегиями селектора кодов — коды (/, ф) £ И (М -*■
-+Хп, Y"-*-M')-
(a) Покажите, что в случае, когда платежная функция есть максимальная
вероятность ошибки, пропускная способность модели есть пропускная способ-
способность ПМК {W} для максимальной вероятности ошибки.
(b) Покажите, что если платежная функция есть средняя вероятность ошибки,
пропускная способность этой модели оказывается той же самой.
(Ahlswede—Wolfowitz A969).)
Историческая справка
Произвольно меняющиеся каналы были введены Блекуэллом, Брейманом
и Томасяном (Blackwell—Breiman—Thomasian (I960)). Основное содержание
этого параграфа—немного упрощенное изложение результатов работ Ahlswede—
—Wolfowitz A970) и Ahlswede A978). Результаты от леммы 6.3 до
теоремы 6.8 взяты из статьи Ahlswede—Wolfowitz A970). Теоремы 6.11 и 6.13
содержатся в работе Ahlswede A978), и лемма 6.8 о редукции случайного кода
является ключевым результатом этой работы. Лемма 6.10 была установлена
в работе Blackwell—Breiman—Thomasian A960). Позднее доказательство было
упрощено (Stiglitz A966)). Приведенное здесь доказательство взято из статьи
Ahlswede—Wolfowitz A969).
Для некоторых классов ПМК пропускная способность для средней вероят-
вероятности ошибки была найдена ранее Добрушиным — Стамблером A975) *).
Добавлено при корректуре. В работе Ahlswede A980) было показано, что
формула из теоремы 6.7 для пропускной способности при средней вероятности
ошибки справедлива для более широкого класса ПМК; дальнейшие обобщения
этой формулы принадлежат Чисару и Кернеру (Csiszar—Korner A979, не опубли-
опубликовано)). См. Csiszar—Korner A981) *.
) Дру
Прим. перев.
Другая модель ПМК предложена в работе Gelfand—Pinsker A980)*.
пеоев.

МНОГОТЕРМИНАЛЬНЫЕ СИСТЕМЫ
§ 1. РАЗДЕЛЬНОЕ КОДИРОВАНИЕ КОРРЕЛИРОВАННЫХ
ИСТОЧНИКОВ
Пусть задана последовательность \(Xi, Yi)\T=i независимых
копий пары случайных величин (X, Y), принимающих значения
в конечных множествах X и Y соответственно. Рассматриваемые
порознь последовательности {Xi}T=i и {Yc}T=[ являются дву-
двумя ДИБП, г-е выходы Xt и Yt которых могут быть зави-
зависимы. Таким образом, последовательность \(Х{, Yt)\T=i будет
называться дискретным многокомпонентным источником без па-
памяти (ДМИБП) с двумя компонентами, порожденным величинами
(X, Y), или просто 2-источником. Если два источника кодируются
раздельно так, как если бы другого источника не существовало,
то, разумеется, минимальная скорость, необходимая для почти
точного воспроизведения, равна Н(Х) + H{Y). Если между X
и Y имеется зависимость, то
Н(Х, Y) < Н(Х) + H(Y).
Это означает, что раздельное кодирование и декодирование двух
компонент источника приводит к заметно худшим кодам для
объединенного источника, чем совместное кодирование и декоди-
декодирование. Этот совсем не удивительный факт подсказывает, что
интересно рассмотреть промежуточные случаи. Эти промежуточ-
промежуточные случаи являются типичными задачами кодирования много-
многокомпонентных источников.
Посмотрим сначала, как наличие источника \Yc\u=\ влияет
на кодирование источника \Xi\7=\- Рассмотрим ДИБП \Xi\T=\
как «основной источник» и ДИБП \Yc\T=i как «дополнительную
информацию», имеющуюся в распоряжении кодера и декодера
основного источника. Ясно, что, какой бы критерий точности
мы ни рассматривали, знание фактических выходных значений
ДИБП \Yc\T=i может быть полезным при определении наилуч-
наилучшего возможного кодирования и декодирования источника
\X(\T=i- В самом деле, для каждого значения у £ Y* случай-
случайной величины Yk случайные величины XtX2 ■■■ Xk могут иметь
различные условные распределения, от которых зависит наиболее
подходящий способ кодирования и декодирования (задача 1.1.5).
Задача становится более интересной, если дополнительная
информация известна только декодеру. После формализации

lit4 Гл. 2. Системы с двумя терминалами
а: Х': -*■ S'\ а допустимыми стратегиями селектора кодов — коды (/, ф) £ %? (М -*■
(a) Покажите, что в случае, когда платежная функция есть максимальная
вероятность ошибки, пропускная способность модели есть пропускная способ-
способность ПМК {W} Для максимальной вероятности ошибки.
(b) Покажите, что если платежная функция есть средняя вероятность ошибки,
пропускная способность этой модели оказывается той же самой.
(Ahlswede—Wolfowitz A969).)
Историческая справка
Произвольно меняющиеся каналы были введены Блекуэллом, Брейманом
и Томасяном (Blackwell—Breiman—Thomasian (I960)). Основное содержание
этого параграфа—немного упрощенное изложение результатов работ Ahlswede—
—Wolfowitz A970) и Ahlswede A978). Результаты от леммы 6.3 до
теоремы 6.8 взяты из статьи Ahlswede—Wolfowitz A970). Теоремы 6.11 и 6.13
содержатся в работе Ahlswede A978), и лемма 6.8 о редукции случайного кода
является ключевым результатом этой работы. Лемма 6.10 была установлена
в работе Blackwell—Breiman—Thomasian A960). Позднее доказательство было
упрощено (Stiglitz A966)). Приведенное здесь доказательство взято из статьи
Ahlswede—Wolfowitz A969).
Для некоторых классов ПМК пропускная способность для средней вероят-
вероятности ошибки была найдена ранее Добрушиным—• Стамблером A975) х).
Добавлено при корректуре. В работе Ahlswede A980) было показано, что
формула из теоремы 6.7 для пропускной способности при средней вероятности
ошибки справедлива для более широкого класса ПМК; дальнейшие обобщения
этой формулы принадлежат Чисару и Кернеру (Csiszar—Кбгпег A979, не опубли-
опубликовано)). См. Csiszar—Korner A981) *.
*) Другая модель ПМК предложена в работе Gelfand—Pinsker A980)*. —
Прим. tie рев.

МНОГОТЕРМИНАЛЬНЫЕ СИСТЕМЫ
§ 1. РАЗДЕЛЬНОЕ КОДИРОВАНИЕ КОРРЕЛИРОВАННЫХ
ИСТОЧНИКОВ
Пусть задана последовательность \(Xi, Yi)\T=\ независимых
копий пары случайных величин (X, Y), принимающих значения
в конечных множествах X и Y соответственно. Рассматриваемые
порознь последовательности \Xi\T=\ и {Fi}£Li являются дву-
двумя ДИБП, г-е выходы Xt и Yt которых могут быть зави-
зависимы. Таким образом, последовательность \{Xi, Yt)\T=\ будет
называться дискретным многокомпонентным источником без па-
памяти (ДМИБП) с двумя компонентами, порожденным величинами
(X, Y), или просто 2-источником. Если два источника кодируются
раздельно так, как если бы другого источника не существовало,
то, разумеется, минимальная скорость, необходимая для почти
точного воспроизведения, равна Н(Х) + H(Y). Если между X
и Y имеется зависимость, то
Н(Х, Y) < ЩХ) + H(Y).
Это означает, что раздельное кодирование и декодирование двух
компонент источника приводит к заметно худшим кодам для
объединенного источника, чем совместное кодирование и декоди-
декодирование. Этот совсем не удивительный факт подсказывает, что
интересно рассмотреть промежуточные случаи. Эти промежуточ-
промежуточные случаи являются типичными задачами кодирования много-
многокомпонентных источников.
Посмотрим сначала, как наличие источника \Yi\iL\ влияет
на кодирование источника \Хс\Т=\- Рассмотрим ДИБП {X,-}S=i
как «основной источник» и ДИБП {Yc]^ как «дополнительную
информацию», имеющуюся в распоряжении кодера и декодера
основного источника. Ясно, что, какой бы критерий точности
мы ни рассматривали, знание фактических выходных значений
ДИБП \Yc\fL\ может быть полезным при определении наилуч-
наилучшего возможного кодирования и декодирования источника
\ХС}Т=\. В самом деле, для каждого значения у £ Yk случай-
случайной величины Yk случайные величины ХгХ2 ... Xk могут иметь
различные условные распределения, от которых зависит наиболее
подходящий способ кодирования и декодирования (задача 1.1.5).
Задача становится более интересной, если дополнительная
информация известна только декодеру. После формализации

216 Гл. 3. Многотерминальные системы
задачи мы покажем, что если требовать почти точного воспроиз-
воспроизведения Xk, то минимальная скорость, с которой нужно коди-
кодировать Хк, в двух последних ситуациях асимптотически одна
и та же. Этот результат является сравнительно неожиданным.
В § 4 мы увидим, что он не распространяется на произвольные
критерии точности.
ОПРЕДЕЛЕНИЕ 1.1. Блоковым кодом длины k с допол-
дополнительной информацией у декодера для источников с алфавитом X
и дополнительным алфавитом Y называется пара отображений
/: X* ->■ М, ср: М X Yft->-Xft. Здесь М—-произвольное конеч-
конечное множество. Вероятность ошибки такого кода для 2-источника
{(Хь Yt)\T=i есть
е (/, ф) А Рг {ф (/ (Xk), Yk) фХк\. О
ТЕОРЕМА 1.2. Для каждых е, б £ @, 1), каждого 2-источ-
2-источника, порожденного переменными (X, Y), и каждого k ^
5г &о (I X |, | Y |, е, б) существует блоковый код (Д q>) длины k
с дополнительной информацией у декодера, такой, что (задача 1)
(i) (l/*)log|/I<//(X|K) + 6,
(ii) e (f, ф) < е. О
Доказательство. Рассмотрим произвольную стохастическую
матрицу W: X ->■ Y, такую, что если вероятность Рг {Y =
= у | X = х\ определена, она равна W(y\x). Тогда Yk можно
рассматривать как выход канала Wk, соответствующий входу Xk.
Временно обозначим через /: Xй —*■ М произвольное отображе-
отображение X* в М А {1, 2,..., т|, такое, что для некоторого ё, точное
значение которого будет указано 'позднее, /-1 G) есть множество
кодовых слов (k, е)-кода для ДКБП \W\ при любом i <m и
Рг \f (Xk) = т\ <s 28.
Мы предположим, что для каждого рассматриваемого кода для
канала множество сообщений совпадает с множеством кодовых
слов. Таким образом, декодер (k, ё)-кода с множеством кодовых
слов f~l (i) — это некоторое отображение ф('-): Y* —>- ф~' (О-
Очевидно, что отображение с указанными свойствами всегда
существует.
Если ё < е/3, то декодеры фA) наших (k, ё)-кодов могут
быть объединены в отображение ф: М X Y'-> Xk, такое, что
(/, ф) удовлетворяет условию (ii) теоремы. В самом деле, положим
Г ф(') (у), если i < m,
Ф (L у) -A. {
^ к ' { произвольно, если i = т.
Тогда
Рг {ф (/ (х), Y") ф х | X" = х\ = Рг |ф('") (Y") Ф х | X" = х} =
= 1 - W» (ф(') (х) | х)< е

§ Л Раздельное кодирование коррелированных источников 217*
для любого х с i = / (х) < т. Таким образом,
e(f, cp)<Pr{/(X*) = m} +
+ Ц Рг{Х* = х}Рг{ф(/(х), Ук)фх\Хк = х] «Зе.
х: f (х) < т
Поэтому доказательство будет завершено, если мы сможем по-
построить указанное выше отображение / так, чтобы выполнялось
условие (i). Другими словами, достаточно показать, что суще-
существуют (т — 1) (k, s)-кодов для ДКБП {W\ с непересекающимися
множествами кодовых слов Сг, i = 1, •■•, т—■ 1, таких, что
(Ilk) log m « Я (X | Y) + б, A.1)
Pr JX*^ \jiCi\<2e. A.2)
Мы построим такие коды с помощью теоремы 2.1.10.
Зафиксируем 0<ё<1/2и6>0и пусть k настолько ве-
велико, что
Pru*e т^пЫ i-s A.3)
и для любого множества A cz Tkxi c Pr l-^* £ Al>s суще-
существует (k, е)-код для ДКБП {W} с множеством кодовых слов
Сс А объема
IdSsexp \k U (X А У) — Ш. A-4)
Пусть Ai Л, Т*х] = Т[л:] и Ci с Ai — множество кодовых слов
(k, е)-кода, удовлетворяющего A.4). Если непересекающиеся
множества кодовых слов Ci, ..-, Сг-i {k, е)-кодов, удовлетво-
удовлетворяющих A.4), уже построены, мы не сможем построить i-e мно-
множество кодовых слов
d сА(А ТСх] - U С/
1
с тем же свойством только в случае, если Pr \Xk £ Aj| < й.
Предположим, что это произошло после построения Cm_i- Тогда,
поскольку
Pr j Х*Ф Д[ Ct j ^ Рг {X*
условие A.2) будет выполнено, см. A.3). Далее, ввиду A.4)
т—\
|T[*]|Ss .U ЮН^И- 1)ехр{Ш(ХД Y)-3&]\.
Полагая 6=^6/4, получаем из леммы 1.2.13, что при достаточно
большом k будет выполнено также условие A.1) (задача 2).П

Й18 рл_ з. Многотерминальные cUcnieMbl
СЛЕДСТВИЕ 1.2 {деление скоростей). Для любого б > О,
любого s £ @, 1), любого 2-источника, порожденного величи-
величинами (X, Y), и любого k ^ &0 (| Х.|, | Y |, б, е) существуют функ-
функции /: Xй -*■ Мх, g: Y*-*-*iY. Ф; Мх х Му -*- Xй х Y\ такие,
что
(i) A/^) log 1/1| < H(X\Y) + 8,
(ii) (l/k)\og]g]<H(Y) + 6,
(iii) Pr {Ф (/ (X*), g (K*)) =/= (X*. Г*)} «S e.
Более того, если g —■ кодер произвольного кода длины k для
источника Y, имеющий вероятность ошибки, меньшую е/2, то
при k 5г k0 (| X |, | Y |, б, s) существуют f и Ф, такие, что вы-
выполнены условия (i) и (iii). О
Доказательство. В силу теоремы 1.1.1 достаточно доказать
последнее утверждение. По теореме 1.2 существуют функции /:
Xй -»■ Мх, ф: Мх X Y* -*■ Xй, такие, что выполнено условие
(О и
Рг {Ф (/ (Xй), Yk) Ф Xk\ < е/2.
Если (gf, -ф) — код для источника Y, g: Yk -> MY, ty'- MY ->■ YA,
с Pr {ф (g(Y*)) Ф Yk) < e/2, то /, g и
Ф (i, j) А (Ф (i, ф (/)), ф (/)), t 6 Mx, / € MY.
удовлетворяют (i) и (iii). Q
Доказанная теорема играет основную роль в теории много-
терминальных систем без памяти, особенно при доказательстве
теорем кодирования для сетей, в которые входит несколько источ-
источников информации.
Пусть ХА=А{Ха}а£Д — набор из г СВ, принимающих
значения в конечных множествах Ха, где А — множество индек-
индексов, состоящее из | А | = г элементов. Последовательность
|Х }^=[ независимых копий XAi^{Xa ,)agA набора Хд
называется дискретным многокомпонентным источником без па-
памяти (ДМИБП) с г компонентами, или просто г-источником;
г ДИБП {Xa, i\7=\ называются компонентами ДМИБП.. СВ
Ха, а (Е А, называются порождающими величинами ДМИБП.
Предположим, что г компонент ДМИБП кодируются раз-
раздельно с помощью блоковых кодов и эти закодированные сообще-
сообщения поступают Кфцекодеру. Задача декодера состоит в том, чтобы
воспроизвести г блоков на выходах источников с малой вероят-
вероятностью ошибки. Мы будем называть такую сеть вилочной сетью х)
из-за возникающей зрительной аналогии. Определяя обычным
образом скорости г кодеров, мы задаемся вопросом о том, на-
х) В оригинале fork network. — Прим. перев.

§ 1. Раздельное кодирование коррелированных источников 219
сколько малыми могут быть эти скорости. Будем рассматривать
асимптотическую постановку задачи. Для того чтобы не перегру-
перегружать текст слишком сложными обозначениями, мы временно огра-
ограничимся рассмотрением 3-источников.
ОПРЕДЕЛЕНИЕ 1.3. Пусть \(Xt, Yt, Zt)\T=\ - ДМИБП с 3
компонентами, порожденный величинами X, Y, Z, принимаю-
принимающими значения в X, Y, Z соот-
соответственно. Блоковым кодом | | | 1 | | Источники
длины k для соответствующей
вилочной сети называется чет-
четверка отображений (/, g, h, cp), |-L-| f-\ [^] кодеры
где
Xй ^Мх, g: Yk^ MY>
Рис 1 1
ф: МхХМуХ MZ-^ Xй X Yk X Zk, Вилочная 'сеть.
Мх. My, Mz — произвольные конечные множества. Вероят-
Вероятность ошибки такого кода есть
e{f, g, h, ф)ДРг{Ф(/(Х*), g(Y*), A(Z*))^(X*, Y», Z*)}. A.5)
Тройкой Скорости этого кода называется тройка чисел
R (/, g, h) A {(Ilk) log I /1|, A/Л) log I g ||, A/Л) log 1 h ||).
Тройка неотрицательных Ёещеетвенных чисел (Ях, Ry, R^)
называется е-достижимой тройкой скоростей для вилочной сети,
если для любого б > 0 и любого достаточно большого k еуще-
ствуют блоковые коды длины k с вероятностью ошибки, мень*
шей е, и тройкой скоростей, для которой R (/, g, h) < (Rx 4= 8,
Ry + 6, Rz + 6), т. е.
Тройка (Rx, Ry, Rz) называется достижимой тройкой скоростей,
если она е-достижима для любого 0 < е < 1. Множество всех
е-достижимых (соответственно достижимых) троек скоростей на-
называется областью е-достижимых (соответственно достижимых)
скоростей и обозначается 3tz (X, Y, Z) (соответственно 31 (X,
Y, Z)). О
Ясно, что й (X, Y, Z) = Пе>о Яе {X, Y, Z).
ЗАМЕЧАНИЕ. Рассматривая 3-источник, порожденный ве-
величинами X, Y, Z, как единый ДИБП, порожденный величиной
(X, Y, Z), мы можем рассматривать код (/, g, h,q>) для вилочной
сети как код в обычном смысле с кодером (Д g, h): X* X Yft x
X 2Lk —>-Мх X My X Mz и декодером ф. В частности, вероят-
вероятность ошибки е (/, g, h, ф) равна вероятности ошибки этого

220 Гл. 3. Многотгрминальные систгмы
обычного кода. Скорость кода ((/, g, h), cp) есть сумма компо-
компонент тройки 'R^(/, g,~Ji)- О
Ясно, что если (Дх, Ry, Rz\ £ & (X, Y, Z) и (#x, Ry, Rz) ^
^ (Rx,Ry, ^Z^JSj^bJ^Y- ^z) ^ Л (x> ^. z)- Поэтому дей-
действительно интересной задачей является задача определения
оптимальных точек из $5! (X, У, Z), т. е. таких троек (Rx, Ry,
/?z) £ 91 (X, Y, Z), для которых не существует троек (Rx,
Ry, Rz) e & (X, Y, Z) с (Rx, Ry, Rz) <■ (^x, Ry, Rz)- В слу-
случае одного источника достижимые скорости заполняют полубеско-
полубесконечный интервал, левый конец которого есть энтропия источника
(или в более общем случае — скорость при А-искажении). Теперь
роль этого левого конца играет множество оптимальных точек
области достижимых скоростей. После того как эти точки опре-
определены, можно найти всю область достижимых скоростей.
Ясно, что область 91 (X, Y, Z) замкнута и содержит все тройки
вещественных чисел, которые покоординатно больше некоторой
оптимальной тройки скорости. Следующим важным свойством
области достижимых скоростей является ее выпуклость.
ЛЕММА 1.4 (принцип разделения времени). Область 01 (X,
Y, Z) выпукла. О
Доказательство. Пусть kx и &а — произвольные положитель*
йые целые числа и (/<'>., g(i), A('>, ср(|Г)) -— блоковый код длины
kt, I = 1, 2, для вилочной сети с нашим З^источником. Соеди*
пением (/, g, h, cp) этих двух кодов называется блоковый код
длины ki + k% для этой же еети, который строится следующим
образом. Положим k A h\ + ka и определим /: X* ~* М^0 X M^f'
следующим образом:
/ (Х,Х2, . . X/A+i • • • Хк)Л,ф" (XiX9 . ,. Хк1), /<») (Xkt+i ■.. Хм)).
Аналогично определим отображения g: Yu -*■ Му^ X MyJ и
AiZ'^M^Mf1, исходя из g(l): Yki~*Mif} и hw: Z*< —
-> М^ соответственно. Наконец, определим значение, принимае-
принимаемое декодером
ф: Mi" х Mk2)-x UyX) x MV2) x M2» x Uf -н- X* x Y* x Z*,
которое соответствует /<" (X*«), /<2> (X*,+i . . . X*), £ГA> (Fft')>
g<2> (У*,+1 . . . Yk), A(» B*0, A») (Z*I+i . . . Z*), соединением
соответствующих компонент значений, принимаемых q>A) и
ФB). Имеем .
e(f, g, h, Ф)^е(/('), g^, A<», ф">) + е(/B), g<«, A(«, ф<20, A.6)

§ 1, Раздельное кодирование коррелированных источников 221
Пусть R<0 А (/?х\ 7?^. -^zO —достижимая тройка скоро-
скоростей, i = 1, 2иА- произвольное число между 0 и 1. Покажем,
что тройка R^XRO + A —• Я) R'2,), также является достижи-
достижимой. В самом деле, для любого целого k положим &A> Л= [kk],
k B> Л. k — &A>. По предположению существует последователь-
последовательность кодов \(f(i), giC), hiC), Ф(О)}. достигающих R<'>, i = 1, 2.
Соединяя код с длиной блока &A) из последовательности, дости-
достигающей RA), с кодом с длиной блока kB) из последовательности,
достигающей RB>, мы получаем код с длиной блока k, облада-
обладающий, как видно из A.6) и A.7), всеми требуемыми свойствами.□
ТЕОРЕМА 1.5 (теорема кодирования для вилочной сети).
&£ (X, Y, Z) состоит из всех троек (Rx, Ry 7?z)> удовлетворяющих
неравенствам (задача 3)
Rx^H(X\Y, Z), Ry^H(Y\X, Z), RZ^H(Z\X, Y),
H (X, Y\ Z), RY + Rz ss Я (Y, Z \ X),
Rx + RZ 2* H (X, Z | Y), RX + RY + RZ^H (X, Y, Z).
Более того, &г (X, Y, Z) = Ж (X, Y, Z) для любого 0 < s< l.Q
Доказательство. Обозначим через 91* множество всех троек
(Rx, Ry, Rz), удовлетворяющих всем неравенствам теоремы.
Предположим, что (Rx, Ry, Rz) является s-достижимой тройкой
скоростей для некоторого е > 0. Мы докажем, что она принадле-
принадлежит Я*. Для этого рассмотрим при каждом k блоковый код (fk,
Sk, hk, Ф*) длины k, такой, ^что
Рг {Ф* ifk (Х% Вн iXk), К B*)) Ф (Х\ УК Z*)\ *$ в, A.8)
1 i~t<i-m»i 1 i' a-i ii 1
Из теоремы 1.1.1 ясно, что
Rx + Ry ~Ь Rz ss= Я (X, F, Z),
Для доказательства неравенства
Ry + Rz 2* я G, z I X)
заменим отображение fk на отображение fk, задаваемое равен-
равенствами
/й(х), если х £ Т[х]»
произвольная константа в противном случае.
Тогда из A.8) следует, что для любого в > е и любого достаточно
большого &
ft V&
» х !

222 Гл. 3. Мноаотерминальные системы
Поэтому снова из теоремы 1.1.1 получаем, что
Поскольку по определению
Пт A/Л) log 1 М| < Я (X),
получаем, что
RY + RZ^H (X, Y, Z) — Я (X) = Я (Y, Z | X).
Аналогично можно доказать неравенство
«х ^ И (X | г, Z),
заменяя пару функций (g-ft, /гА) на новую функцию 4> заданную
на Y* X Z* формулой
/ и, i\ д I (&*(У)> Mz))> если (у, z) £ Tfvzi,
lk (У> z) = ]
{ произвольная константа в противном случае.
Остальные неравенства получаются по симметрии. Таким обра-
образом, мы показали, что
&Е (X, Y, Z) с: J2* для любого s £ @,1).
Осталось установить, что $2(Х, Y, Z) zdM*. Достаточно по-
показать достижимость точек из $.*, для которых Rx. + -Ry + -^Z ^
^= Я (X, F, Z), поскольку любая другая точка из ^* лежит
над некоторой точкой с этим свойством. Область М* пересекает
плоскость, состоящую из точек с суммой координат Я (X, Y, Z),
по выпуклому множеству, граница которого состоит не более
чем из 6 прямых линий: каждая из этих линий является пересе-
пересечением плоскости Rx + Ry + Rz " Н С^» ^» 2) о плоскостью,
уравнение которой получается, если в одном из оставшихся
6 неравенств в определении 31* поставить знак равенства. Таким
образом, крайними точками этого пересечения являются следу-
следующие (не обязательно различные) точки:
Rx = (Я (X), Я (Г | X), Я (Z | X, Y)),
R2 - (Я (X), Я (Г | X, Z), Я (Z | X)),
R3 - (Я (X | Г), Я (Г), Я (Z | X, Г)),
R4 = (Я (X | Г, Z), Я (Г), Я (Z | Г)),
R5 = (Я (X | Y, Z), Я (Г | Z), Я (Z)),
R6 = (Я (X | Z), Я (Г | X, Z), Я (Z)).
Ввиду принципа разделения времени область 52 (X, Г, Z)
выпукла, так что достаточно доказать достижимость этих край-
крайних точек- В силу симметрии достаточно рассмотреть одну из

§ 1. Раздельное кодирование коррелированных источников 223
них, скажем R3. Это можно сделать последовательным приме-
применением следствия 1.2. При заданных е > 0 и б > 0 следует при-
применить это следствие сначала к X и Y. Мы получим, что при
достаточно больших k существуют функции /, g, Ф, удовлетворя-
удовлетворяющие условиям (i), (ii) и (iii) следствия 1.2. Применим теперь
лемму к (X, Y) вместо Y и Z вместо X. Мы получим, что
в дополнение к кодерам fug существуют h: Z.k -> Mz и ф: Мх X
X Му X Mz ->■ Х& х Yft х Zft, такие, что
(Ilk) log ||/i|| <H(Z\X, Y) + б,
Pr {ф (/ (X*), £ (Yk), h (Z*)) Ф (XK Y\ Z*)} « 2e.
Этим доказана достижимость R3 (задача 4).
КОММЕНТАРИИ. Как указывалось выше, ДМИБП {(Хи
Yt, Zc)}T=i можно рассматривать как один ДИБП, порожденный
распределением Pxyz- С формальной точки зрения блоковый
код (/, g, h, ф) для1 вилочной сети — это просто блоковый код
для этого ДИБП, удовлетворяющий дополнительному условию:
кодер должен иметь вид (/, g, h), где три отображения /, g, h
зависят от (х, у, z) £ (X х Y x Z)* только через х, у, z со-
соответственно. По теореме Шеннона о кодировании источника
(теорема 1.1.1) для воспроизведения (Xй, Yk, Zk) с малой вероят-
вероятностью ошибки нужна скорость Н (X, Y, Z) (если /г->■ оо). Тео-
Теорема 1.5 означает, что указанное ограничение на кодер (т. е.
раздельное кодирование трех компонент) не увеличивает мини-
минимальную скорость. Кроме того, эта теорема дает все возможные
способы «деления» минимальной скорости кодирования, т. е.
совместной энтропии, на тройки скоростей, достижимые для
вилочной сети. Как можно было бы ожидать, для тройки (i?x,
Ry, Rz)' лежащей во внутренности Я. (X, Y, Z), вероятность
ошибки оптимальных блоковых кодов длины k с этими скоростями
экспоненциально стремится к 0 при k —>■ оо (задача 5). Можно
доказать также, что существует последовательность кодов, пара-
параметры которых универсально хороши для всех ДМИБП, область
достижимых скоростей которых содержит данную тройку ско-
скоростей (задачи 6, 7). О
Задача, решение которой дается теоремой 1.5, — всего лишь
видимая часть айсберга, размеры которого неизвестны. Мы опишем
сейчас общую модель сети связи без шума, формулируемую в тер-
терминах теории графов. Это позволит представить естественным ло-
логическим образом решенные и нерешенные задачи, так что чи-
читатель сможет увидеть их естественные взаимосвязи.
Направленным графом называется конечное множество то-
точек — вершин графа и множество упорядоченных пар вершин —

224 Гл. 3. МногопгерминальнЫе системы
направленных ребер графа. Набор последовательных направ-
направленных ребер (b0, bx), (blt b2), . . ., (bi_x, b{) называется путем
(длины /), путь с bi = bQ называется циклом. Если в направлен-
направленном графе нет ни одного-цикла, можно определить глубину вер-
вершины как длину наиболее длинного пути, ведущего в эту вер-
вершину. Ясно, что все ребра соединяют вершины разных глубин,
причем направление ребра указывает на вершину с большей
глубиной. Глубиной графа называется глубина наиболее глубо-
глубокой вершины, т. е. наибольшая длина пути в графе. Для каждой
вершины b через S& обозначается множество начал направлен-
направленных ребер, ведущих в Ь. О
ОПРЕДЕЛЕНИЕ 1.6. Сетью называется направленный граф
без циклов и изолированных вершин. Входами (соответственно
выходами) сети называются вершины, в которые не входит (соот-
(соответственно из которых не выходит) ни одной вершины; остальные
вершины называются промежуточными вершинами. Кодом, ассо-
ассоциированным с сетью, называется семейство отображений /ь:
X а £ S& Ma ->- Мь, где Мь — конечное множество, соответству-
соответствующее вершине Ь, и /ь определено для каждой вершины, не явля-
являющейся входом. О
Множество Ма, соответствующее входу а сети, будет интер-
интерпретироваться как множество всех возможных сообщений на этом
входе; как правило, оно будет состоять из сообщений длины k
одной из компонент ДМИБП. Функции / описывают операции
кодирования или декодирования; мы будем называть их просто
кодерами. В случае сетей глубины 2 мы будем, однако, сохранять
названия кодер и декодер для отображений, сопоставленных
вершинам глубины 1 и 2 соответственно. При i ^ 2 кодеры,
сопоставленные вершинам глубины i, перерабатывают сообще-
сообщения и (или) образы сообщений, поставляемых кодерами глубины
</ — 1. Используя эту рекуррентную процедуру, каждой вер-
вершине b глубины 1 можно сопоставить составную функцию f%,
заданную на прямом произведении множеств Ма, соответству-
соответствующих некоторым входам а. В дальнейшем мы будем считать, что
эти /£ определены на прямом произведении множеств Ма для
всех входов а, хотя фактически каждая функция ft зависит лишь
от тех входов, из которых есть путь в Ь. В частности, функции ft,
соответствующие выходным вершинам с, описывают отклик сети
на произвольный вектор входных сообщений. В дальнейшем,
если нет специального указания, множества входных, промежу-
промежуточных и выходных вершин будут обозначаться соответственно
через А, В и С.
ОПРЕДЕЛЕНИЕ 1.7. Сеть источников задается сетью,
ДМИБП {Хд, i\T=\, компоненты \Ха. i\T=\ которого сопостав-
сопоставлены входам а ^ А, алфавитами воспроизводимых символов Vc,

§ 1. Раздельное кодирование коррелированных источников
225
сопоставленными выходам с
с в С О на ХА х Vc, где
Хд = X
С, и мерами искажения dc(-, •)>
Ха
— прямое произведение алфавитов данного ДМИБП. Блоковым
кодом длины k для такой сети источников называется код, введен-
введенный в определении 1.6, для которого Ma4Xj для каждого
входа а и Мс A Vj для каж-
каждого выхода с. О
Пусть заданы вектор
А = {Ас}с£с и число е > 0.
Будем говорить, что блоко-
блоковый код из определения 1.7
удовлетворяет критерию
s-точности (d, А), если
ргк(хА, /;(*£»< д.
для каждого с
A.9)
Рис. 1.2.
rrm f* рпгтяиняя Hivhk-ттия Типичная сеть. В коде, ассоциированном
где ге — составная функция, с это„ се в и имеют о6ла_
определенная кодом в вы- сти определения мь х Ма х Мь и
ходе с, и искажения между Mfc x Mfc соответственно. * Составное
последовательностями дли- отображение Цъ зависит от сообщений на
входах alt a?, a3, a f* — от сообщений на
всех входах.
ны k понимаются в обыч-
обычном усредненном смысле;
(j
урд
см. соотношение B.2.lj.
ОПРЕДЕЛЕНИЕ 1.8. Пусть задана сеть источников. Век-
Вектор R = {Rb}b£B с неотрицательными компонентами называется
s-достижимым вектором скоростей при уровне искажения Д,
если для любого б > 0 и любого достаточно большого k суще-
существует блоковый код длины k, удовлетворяющий критерию е-точ-
ности (d, А), для которого кодеры /ь, соответствующие промежу-
промежуточным вершинам, имеют скорости
Такой вектор R = [Rb}b^.B называется достижимым век-
вектором скоростей, если он е-достижим для любого 0 < е < 1.
Множество s-достижимых (соответственно достижимых) векторов
скоростей называется областью s-достижимых (соответственно
достижимых) скоростей (при уровне искажения А) (задача 8). О
Для задания сети мы будем рисовать "ее граф, вершины кото-
которого будут изображаться клетками. Сопоставление компонент
8 Чисар И., Кернер Я-

226
Гл. 3. Многотерминальные системы
источника входам сети будет изображаться порождающими пере-
переменными этих компонент, помещенными в соответствующие клетки.
Как правило, мы будем рассматривать критерии точности,
которые требуют точно воспроизводить некоторые из компонент
с малой вероятностью ошибки, в то время как на остальные ком-
компоненты не накладывается никаких ограничений. Формально
a b
Рис. 1.3.
Сети связи из определений 1.1 и 1,3.
для каждого с £ С введем подмножество Dc множества тех вхо-
входов, из которых есть путь в с, и положим
vc^ X ха.
a€Dc
Далее, для uJk{xa}a£A положим
dc (и, v) — 0 в том и только том случае, если {*а}а£о = у>
и пусть А — нулевой вектор. Тогда критерий е-точности A.9)
требует, чтобы вероятность ошибки не превосходила е, т. е.
e^Pr {ft (ХкЛ) ф Хое для некоторого с £ С}<е, A.10)
где Х~ Jl [Ха}а£~ . Критерий точности такого вида будет
называться критерием точности по вероятности ошибки; на ри-
рисунках он будет обозначаться символом X, поставленным в клетки,
соответствующие тем выходам, в которых должна быть воспроиз-
воспроизведена компонента, порожденная переменной X.
Для того чтобы привыкнуть к этим обозначениям, можно по-
посмотреть на рис. 1.3, на котором показаны модели из определе-
определений 1.1 и 1.3 (задача 9).
ЗАМЕЧАНИЕ. Для сети источников с критерием точности
по вероятности ошибки вероятность ошибки на выходе с £ С есть

§ /. Раздельное кодирование коррелированных источников 227
В то время как роль критерия s-точности в определении 1.8 играет
выражение A.10), при определении области достижимых скоро-
скоростей мы часто будем вместо A-10) использовать условие ес •<: ес
для любого с £ С. Это можно делать ввиду неравенств ес <: е <:
«: Т>с£сес- О
Большинство сетей источников, для которых известна вычис-
вычислимая характеризация области достижимых скоростей, включают
сети глубины 2 и критерий точности по вероятности ошибки. Сле-
Следующее простое замечание уменьшает число сетей источников
в этом классе, которые нужно исследовать.
ЛЕММА 1.9. Для каждой сети существует другая сеть, такая,
что
(i) множества входных и выходных вершин у обеих сетей
совпадают;
(п) каждое ребро новой сети соединяет две вершины, глубины
которых отличаются на 1;
(ш) для каждого ДМИБП и каждого критерия точности
область достижимых скоростей первоначальной сети источников
является проекцией соответствующей области новой сети. О
Доказательство. Нужно заменить каждое ребро, соединяющее
вершины с разностью глубин / > 1, на путь длины /. □
ЛЕММА 1.10. Для каждой сети источников глубины 2, не
имеющей ребер, соединяющих входы с выходами, с критерием
точности по вероятности ошибки существует другая сеть источ-
источников такого же вида, удовлетворяющая дополнительно следу*
ющим условиям:
A) в новой сети ребра, ведущие из входов в промежуточные
вершины, устанавливают взаимно однозначное соответствие между
этими двумя множествами вершин;
(ii) множество В промежуточных вершин первоначальной
сети можно отождествить с подмножеством множества В про-
промежуточных вершин новой сети таким образом, что вектор R =
" {^ьЬёв принадлежит первоначальной области достижимых
скоростей в том и только том случае, если вектор R =4= {•/?•£}•££§,
задаваемый формулой
Г#5, если б € В,
1 0 в противном случае,
является элементом новой области достижимых скоростей. О
Доказательство. С точки зрения кодера (соответственно пары
кодер—декодер) данной сети источников набор тех компонент,
которые кодируются (соответственно кодируются и воспроизво-
воспроизводятся) вместе, естественно рассматривать как единый источник.
Идея доказательства состоит в построении нового ДМИБП,
имеющего в качестве компонент эти новые источники.

c
228 Гл. 3. Многотерминальные системы
Переходя к формальному изложению, обозначим через Е
множество тех ребер (Ь, с) данной сети, для которых Sb П D
непусто и отлично от Sb. Пусть s£m— класс подмножеств А,
представляемых в виде S6 П D^, (b, с) £ Е. В качестве мно-
множества промежуточных вершин новой сети мы возьмем В Л,
JL В U «я£- Пусть входные вершины новой сети находятся во
взаимно однозначном соответствии с ее промежуточными верши-
вершинами; соединим каждую новую входную вершину с соответству-
соответствующей промежуточной вершиной. Далее, пусть множество выходных
вершин новой сети совпадает с первоначальным множеством С-
Если b £ В и с £ С были соединены ребром в первоначальной
сети, то в новой сети b и Sb П D (при (Ь, с) (Е Е) соединены с с.
Наконец, рассмотрим ДМИБП, порожденный переменными
XaUsbnDc> если 6 = SftnDcG^.
Сопоставим компоненту, соответствующую Уь, входной вершине,
соединенной с б. Новый критерий точности состоит в том, что
компонента, порожденная Ys, воспроизводится в выходной вер-
вершине с в том и только том случае, если б соединена с с и либо
б = b £ В с Sb <= Dc, либо 5 6^.
Эта новая сеть источников удовлетворяет условиям леммы.
Для того чтобы увидеть это, заметим, что, если R =*= {^^}й'€в —
произвольный достижимый вектор скоростей для новой сети
источников, достижимый вектор скоростей R для первоначальной
сети источников можно получить, полагая
6*
ЛЕММА 1.11. Пусть задана произвольная сеть источников
с критерием точности по вероятности ошибки. Можно так изме-
изменить критерий точности, не меняя при этом области достижимых
скоростей, что после этого изменения для каждой пары выходов
из включения Sc с: Sc» будет следовать, что Dc с: Д,». Если
после этого изменения в сети окажется несколько выходов с оди-
одинаковыми Sc, все эти выходы, кроме одного, можно удалить, не
меняя области достижимых скоростей. О
Доказательство. Для каждой пары выходов, для которой
Sc cz Sc», добавление компонент, которые должны быть вос-
восстановлены в с', к тем, которые должны быть восстановлены в с",
не меняет области достижимых скоростей. Эту процедуру следу-
следует повторить несколько раз. Последнее утверждение очевидно. Q

§ /. Раздельное кодирование коррелированных источников 22U
Суммируя утверждения лемм 1.9—-1.1.1, мы видим, что для
определения области достижимых скоростей произвольной сети
источников глубины 2 с критерием точности по вероятности ошибки
можно ограничиться сетями источников, удовлетворяющими усло-
условиям следующего определения.
ОПРЕДЕЛЕНИЕ 1.12. Нормальной сетью источников (НСИ)
называется сеть источников глубины 2 с критерием точности по
вероятности^ошибки, такая, что
(i) не существует ребер, соединяющих входы с выходами;
(ii) | А | = | В |, и ребра из А в В задают взаимно однозначное
соответствие между входными и промежуточными вершинами;
(iii) все выходные вершины связаны с различными множе-
множествами входных вершин;
(iv) если Sc cz Sc, то Dc- a Dc. О
На основании взаимно однозначного соответствия между
входными и промежуточными вершинами можно считать, что
в нормальной сети источников компоненты ДМИБП сопоставлены
промежуточным вершинам b £ В. В дальнейшем для каждого
подмножества L сг В будем писать Х\_ ^■{^■ь\ьс\,.
При исследовании НСИ существенно, есть ли в сети промежуточ-
промежуточные вершины Ь, такие, что для некоторого выхода с, соединенного
е Ь, компонента, соответствующая Ь, не ,_^
должна воспроизводиться на выходе с. цУ
Зга вершина Ъ называется помощником. Т^
(Интуитивно информация, доставляемая |
Кодером в вершине Ь о соответствующей p-j ["^Помощник
компоненте, не нужна в с для восста-
восстановления этой компоненты; она лишь
помешает декодеру в вершине с удовле-
удовлетворить соответствующему критерию точ-
точности.) Так, в нормальной сети источ-
источников на рис. 1.4 имеется один помощ- •
ник, в то время как в нормальной сети
источников на рис. 1.3 (Ь) ломощников нет.
Нормальная сеть источников без помощников характери-
характеризуется тем, что для каждого выхода с £; С все компоненты,
сопоставленные вершинам b £ Sc, должны быть воспроизведены
в с. В частности, такие сети источников однозначно определяются
заданием сети и сопоставлением компонент ДМИБП элементам
из В. Область достижимых скоростей нормальной сети источни-
источников без помощников легко определить, используя уточнение
прямой части теоремы кодирования для вилочной сети. Это уточ-
уточнение (лемма 1.13 ниже) утверждает, по существу, что все слу-
случайно выбранные коды являются хорошими;

230 Гл. 3. Многотерминальнче системы
Рассмотрим вилочную сеть, изображенную на рис. 1.1, с
ДМИБП, компоненты которого задаются переменными Хь,
Ь £ В. Для каждого набора /=. {/6}6gB отображений fb:
Хь -> Мь, рассматриваемых как блоковые кодеры длины k,
определим декодер ф = ф/ (зависящий также от распределения
Рхв) следующим образом. Отождествляя набор f с отображением
из Хв = X ь£в Хб в МА Хь£вМб, задаваемым формулой
A.11)
положим
и, если f~l(m) f]
Ф(ш)
д
произвольно, если I/ ' (m) f) TrxBi
Обозначим через е (/) вероятность ошибки кода (/, ф), т. е.
ЛЕММА 1.13. Пусть задан ДМИБП, порожденный величи-
величиной Хв. Из неравенств
2 (т) log I Мь I ^ Я (Xl | Xs_L) + в Для любого LcB A.12)
вытекает, что
^ ^ в(/L!» A.13)
для любого е £ @, 1) и любого k^z kQ ({| Х6 iJbgB' e> ^)- Здесь
£Г — семейство всех наборов отражений / == [fb\b£B, fb- X* -*-
-> Мь- О
Доказательство. Для каждой пары | В |-наборов u= [xb}bcB,
и' = {х^}Ь£В обозначим через L (и, и') множество тех индек-
индексов Ъ £ В, для которых Хб Ф Xi. Заметим, что если L (и,
и') - L, то
т^Г I {/: f (и) = / (и')} 1= П |МЬ \~\
Полагая Т Л, TfxB] и
1, если
0, если

§ 1. Раздельное кодировние коррелированных источников 231
получаем
WP{x&T}+i 2 2 p^() x
") 2 ' |U': "' G T> L (U> U'} =
= f (u')} I = Pr {X| ^ T)
AЛ4)
E
Пусть 5s—-множество всех совместных типов |В|-наборов u =
== {хь)ь^в 6 Т. Теперь для фиксированных элемента и и мно-
множества L с В число | В |-наборов и' совместного типа Р, для
которых L (и, и') = L, по лемме 1.2.5 не превосходит
exp \k Ш(Р) — #(PB-l)]},
где Рв—L —совместный тип {хь)ь£в—L. Ввиду непрерыв-
непрерывности энтропии (см. лемму 1.2.7) при Р £ 3* это выражение для
достаточно больших k можно ограничить сверху величиной
exp {k [H(XB) -H(XB_i) + F/2)]} = exp {k [H (XL | Xb_l) + F/2)]}.
Используя этот факт и A.12), получаем из A.14), что
В силу леммы 1.2.12 и леммы о числе типов отсюда получаем
A.13). D
ТЕОРЕМА 1.14. Область допустимых скоростей нормальной
сети источников без помощников совпадает с множеством тех
векторов R = {./?ь}ь£в, для которых при каждом выходе
с £ С и каждом подмножестве LcSc выполнено неравенство
2 RB^H(XL\XSc_L). A.15)
Более того, все области е-достижимых скоростей, 0 <е < 1,
совпадают друг с другом. О
Доказательство. Обратная часть сразу следует из теоремы ко-
кодирования для вилочной сети (теорема 1.5). В самом деле, если R
есть s-достижимый вектор скоростей, то
— L

232 Гл. 3. Многотерминальные cucrtieMbi
будет е-достижимой парой скоростей для вилочной сети с двумя
входами и 2-источником, порожденным Х\_ и Xgc_|_.
Для доказательства прямой части теоремы рассмотрим век-
вектор R, удовлетворяющий неравенствам A.15), и зафиксируем
некоторое б > 0. Пусть М&, Ь£ В, —множества, состоящие из
(Яь + 6)], KB, A.16)
элементов. Для каждого выхода с и каждого набора g = {fb}b£B
кодеров /ь : X* —>-Мь, Ъ £ В, поднабор [fb)b£&c можно рас-
рассматривать как семейство / кодеров для вилочной сети с проме-
промежуточными вершинами b £ Sc и выходной вершиной с. Пусть
Фс — соответствующий декодер в смысле A.11) и ес (g) — вероят-
вероятность ошибки соответствующего кода для вилочной сети. Отобра-
Отображения [fb}b(iB, [(РС)С£ с заАают блоковый код длины k для
нашей сети источников. Вероятность ошибки на выходе с для
этого кода равна ес (g). Поскольку ес (g) зависит не от всего на-
набора g, а только от поднабора j/&}fc^gc, лемма 1.13 показывает,
что для любого s > 0 при достаточно большом k
(\1\$\) £ ejg)<s для любого с £ С;
здесь 9 — семейство всех наборов g = [fb)b^B, fb ■ X'b -> Mb.
Применяя это к е А е/| С | и суммируя по всем с £ С, получаем,
что существует g £ 9, для которого Jj c£Ce] (g) < e. □
Поскольку система неравенств A.15) является, вообще говоря,
избыточной для фактического описания области достижимых
скоростей, интересным представляется формулируемое ниже след-
следствие.
СЛЕДСТВИЕ 1.14. Область достижимых скоростей нормаль-
нормальной сети источников без помощников совпадает с множеством
таких векторов R = {ЯьЬбв, которые удовлетворяют нера-
неравенствам A.15) для каждого выхода с £ С и каждого множе-
множества L с Sc, не пересекающегося ни с каким Sc cz Sc (с' £ С). О
Доказательство. Достаточно доказать, что из указанных не-
неравенств вытекают все остальные. Это можно делать последова-
последовательно, используя тот факт, что для любого L cz Lx U L2, La cz
cz: Sc cz Sc, l_2 cz Sc — Sc- выполнено неравенство
L2). Q
Вычислимые характеризации областей достижимых скоростей
для произвольных НСИ до сих пор неизвестны. Однако приводи-
приводимая ниже характеризация (теорема 1.15) оказывается полезной
для многих целей. В частности, она сводит задачу описания обла-

§ /. Раздельное кодирование коррелированных источников 233
стей достижимых скоростей к математической задаче довольно
простой структуры. Мы вернемся к этой задаче в § 3.3.
Допуская некоторую неточность обозначений, мы в следующей
теореме будем обозначать множество промежуточных вершин,
соответствующих входным вершинам из Dc, также через Dc.
Таким образом, множество помощников К с В есть К =
- Ucec(Sc-Dc).
ТЕОРЕМА 1.15 (о помощниках). Область достижимых ско-
скоростей нормальной сети источников с множеством помощников
К с В совпадает с замыканием множества таких векторов R =
= |^ь}ь£в, что для некоторого п ^ 1 существуют функции /*,,
Ъ 6 К, на X" (с произвольным множеством значений), для кото-
которых выполнены следующие неравенства:
\ C) A.17)
и для любого С £ С и любого L с: Dc, не пересекающегося ни
с одним Dc, для которого Sc- cz Sc (с' Ф с),
(й(Х"))- О A.18)
|K
Доказательство. Для доказательства обратной части теоремы
зафиксируем некоторое б > 0 и вектор достижимых скоростей
R' = {R'b}b£e- Рассмотрим блоковый код [fb, фе}ь6в, cgc
длины п, для которого
(l/n)logJ/6|</?i + 6, Ъ еВ, A.19)
едРг{фв{(/ьМ}бе8с)=^х&с «ля некоторого c^CUe. A.20)
Достаточно показать, что при Къ^К'ъ + 26 и подходящем вы-
выборе е кодеры /6, Ъ £ К, удовлетворяют неравенствам A.17), A.18).
Ясно, что для этого достаточно показать выполнение не-
неравенств
V (, {fb(Xi)}beScnK) A.21)
6
для любых с .£ С, L cDc. В силу соотношений A.19) и St
— D, cz Sc Г) К имеем
—к
= -i- Я
Л к)-

234 Гл. 3. Многотерминальные системы
Используя A.20) и неравенство Фано, последнее выражение
можно ограничить снизу величиной
откуда следует A.21).
Переходя к прямой части теоремы, заметим, что достаточно
показать, что если R удовлетворяет неравенствам A.17) и A.18)
для некоторого п и некоторых отображений fb, Ъ £ К, опре-
определенных на Xj, то R является достижимым вектором скоростей.
Зафиксировав некоторое п ^ 1 и семейство отображений fb,
Ъ £ К, мы введем вспомогательную НСИ без помощников. Для
краткости обозначим исходную сеть источников через 9", а вспо-
вспомогательную — через 9. Сеть 9 определяется путем следующего
изменения 9.
Положим D4 Uc6cDc> где множества Dc рассматриваются
как подмножества множества В. Для каждой вершины Ъ £
£ К П D введем новую промежуточную вершину Ь+ и новую
входную вершину, соединенную с Ь+, и соединим Ь+ с каждой
выходной вершиной с, для которой Ъ £ Dc. Далее, для каждой
вершины Ъ (г К введем новую выходную вершину и соединим
ее с Ъ. Определим новый ДМИБП, компоненты которого сопо-
сопоставлены промежуточным вершинам новой сети, следующим
образом:
Хь, если Ъф К,
U {Хь), если b e К,
Yb+^Xb, Ъ 6 К Г) D.
Пусть 9? — НСИ без помощников, однозначно определенная
этим сопоставлением.
Мы утверждаем, что если вектор R с компонентами Rb, b £ В,
и Rb+, b £ К П D, является достижимым вектором скоростей
для 9", то
( (l/n)Rb, если 6^КA D,
К6 А ~ ~ A-22)
( (l/n)(Rb-\-Rb+), если Ь £ К П D,
задает достижимый вектор скоростей R^I^&J&^b аля ^-
Для этого заметим сначала, что каждый блоковый код длины /
для 9? определяет блоковый код длины In для 5^, вероятность
ошибки которого не превосходит вероятности ошибки первона-

^ /. Раздельное кодирование коррелированных источников 235
чального кода. Далее, скорости этого кода для О7 связаны со
скоростями для кода 9> формулами A.22). В самом деле, коде,
ры /ь, К В, и fb+, b £ К Г) D, блокового кода длины / для О7
задают отображения Fb и Fb+ с областью определения X*" по
формуле
Рассмотрим отображения Fb, Ъ 9= К П D, и пары (Fb, Fb+),
ft 6 К П D, как кодеры блокового кода длины In для сети 9".
Далее, для каждого выхода с £ С декодер фс кода для 9> при-
принимает значения в некотором прямом произведении, содержащем
в качестве сомножителей все множества ХГ, Ъ £ Dc. Поэтому
соответствующий декодер кода для 9° можно построить, проекти-
проектируя значения, выдаваемые декодером фс, на X6£DCX&".
Ясно, что построенный таким образом код для 9* обладает указан-
указанными свойствами. Этим доказано, что если R — достижимый
вектор скоростей для 9? и R определяется формулами A.22),
то для любых е > 0, б > 0 и любого достаточно большого
целого кратного k = In числа п существует блоковый код длины k
для 9* со скоростями
(\lk)\og\\Jb\\^Rb + b, Ъ 6 В, A.23)
и вероятностью ошибки (см. A.20))
е < е. A.24)
Легко видеть, что отсюда вытекает аналогичное утверждение
для любого достаточно большого k, так что R является дости-
достижимым вектором скоростей для 9", что и утверждалось. В самом
деле, пусть (/ — 1) п < k < In. Рассмотрим блоковый _код длины
k д In для 9" с кодерами fb, Ъ £ В, и декодерами -фс, с £ С,
удовлетворяющий условиям A.23) и A.24). Этот код можно при-
применить к последовательностям длины k, добавляя к ним произ-
произвольные суффиксы длины fc—k. Формально для фиксированного
z = [zb)b£B, гь £ Хь~к, определим кодеры fb%z с длиной блока
k, полагая
h,x Ы ^ 1Ь{*ьЧ) {*ь € X*).
Далее, для каждого с £ С определим декодер срс, удаляя из
каждой последовательности, выдаваемой фс, последние k—k
символов. Обозначая через ez вероятность ошибки кода с коде-
кодерами ft,x и декодерами фС). получаем из A.24), что

>236 Гл. 3. Многотерминальные сйсШШ
Отсюда следует, что для некоторого z £ Хв~ имеем ez -s: e,
завершая доказательство нашего утверждения о соотношении
A.22). . ■ ■ "
Теперь для доказательства прямого утверждения теоремы
достаточно показать, что для каждого вектора R, удовлетворя-
удовлетворяющего неравенствам A.17) и A.18), вектор R, задаваемый фор-
формулами
Л (H(fb(Xnb)), если&еК,
R>±\nRb. если Ьф К, (L25)
Rb+A,nRb-H(jb(Xl)), К К П D,
является достижимым вектором скоростей для 5Р. Заметим, что 9"
есть НСИ без помощников, в которой множество промежуточных
вершин, соединенных с выходной вершиной с £ С, есть Sc (J D?,
где Dt JL [Ь+ : Ъ £ Dc П К}. Кроме того, выходы S7, не при-
принадлежащие С, находятся во взаимно однозначном соот-
соответствии с элементами К, и каждый из них соединён только с со-
соответствующей вершиной Ъ £ К. Таким образом, ввиду следствия
1.14 R будет достижимым вектором скоростей для 5Р, если
Rb^ H (Yb) для любого Ъ 6 К, A.26)
S Rb+ 23 *b^H(YL, VL+\YSC_L, V-L+) A-27)
для любых L cz Sc — K, L+ cz D?, таких, что L U L+ не пере-
пересекается ни с одним Sc U DJ', содержащимся в Sc U DJ. По-
Поскольку Sc U D?- cz S,, U D? в том и только том случае,
если SC' с: Sc, и, кроме того, Sc — К cz Dc — К, неравенства
A.26), A.27) вытекают из A.17), A.18), A.25) и определения слу-
случайных величин Yb и Уь+. □
Здесь мы отметим только одно из следствий теоремы 1.15.
Это следствие утверждает, что для сетей источников глубины 2
с критерием точности по вероятности ошибки «оптимистическая
точка зрения» приводит к той же области достижимых скоростей,
что и пессимистическая, принятая в определении 1.8. Это утверж-
утверждает
ТЕОРЕМА 1.16. Пусть для сети источников глубины 2 с кри-
критерием точности по вероятности ошибки существует последова-
последовательность блоковых кодов длины kn со скоростями, стремящимися
к компонентам вектора R, и вероятностью ошибки, стремящейся
к 0. Тогда R является достижимым вектором скоростей для этой
сети. О

§ i. Раздельное кодирование коррелированных источников 2'67
Доказательство. По аналогии со сведением задачи определе-
определения области достижимых скоростей к случаю нормальной сети
источников можно показать, что теорему достаточно доказать
для НСИ. Однако для этого случая утверждение содержится
в доказательстве предыдущей теоремы, поскольку доказательство
обратного утверждения дословно переносится на рассматриваемый
сейчас случай. □
КОММЕНТАРИИ о вычислимости характеризаций. Типичными
результатами этой книги являются утверждения, характеризу-
характеризующие достижимые скорости (или достижимые экспоненты вероят-
вероятностей ошибки при фиксированных скоростях) для различных
задач кодирования для источников, для каналов и для состав-
составленных из них сетей.
Как правило, область достижимых скоростей легко охаракте-
охарактеризовать как объединение счетного числа множеств, п-е из кото-
которых описывается в терминах информационных величин, связан-
связанных с выборами п СВ. Такие характеризаций через произведения
пространств не очень ценны. Большинство из них (в действи-
действительности все, встречающиеся в настоящей книге) не удовлетво-
удовлетворяют основному критерию вычислимости и поэтому не могут рас-
рассматриваться как решения задачи об определении исследуемой
области. Однако некоторые характеризаций через произведения
пространств имеют математический интерес и приводят к значи-
значительному продвижению в понимании вопроса; это относится,
например, к теореме 1.15 о помощниках.
Мы будем говорить, что характеризация замкнутого подмно-
подмножества в евклидовом пространстве является вычислимой, если
она приводит к алгоритму, позволяющему решить, принадле-
принадлежит ли произвольная точка пространства е-окрестности этого
множества, и число необходимых для этого арифметических опе-
операций ограничено некоторой функцией от е. Вычислимые харак-
характеризаций в этой книге даются в терминах шенноновских инфор-
информационных величин, вычисляемых для СВ со значениями в ко-
конечном числе фиксированных конечных множеств (а не в терми-
терминах наборов п СВ с п -> оо). В рассмотренных до сих пор теоре-
теоремах кодирования эти СВ принимали значения в алфавитах, входя-
входящих в формулировку задачи. Однако в дальнейшем типичная
ситуация будет не такой. Вместо этого в характеризаций будут
входить СВ, принимающие значения во вспомогательных мно-
множествах. В литературе по интересующему нас вопросу задача
считается решенной, если найдена вычислимая характеризация
такого типа, называемая однобуквенной характеризацией.
Несмотря на свою фундаментальную роль, понятие однобук-
однобуквенной характеризаций до сих пор не формализовано. Приведен-
Приведенное выше описание, охватывающее теоремы кодирования из данной
книги, может оказаться слишком узким для определения одно-

'2'SS Га. 8. МногогПерминальные системы
буквенной характеризации. В самом деле, оно слишком ограничи-
ограничительно уже потому, что в ней рассматриваются только меры ин-
информации шенноновского типа, хотя* в дальнейшем могут быть
найдены аналогичные характерйзации, включающие какие-нибудь
другие функционалы. С другой стороны, класс допустимых функ-
функционалов нужно как-то ограничить, поскольку иначе нам сле-
следовало бы, например, считать, что само определение области до-
достижимых скоростей является однобуквенной характеризацией.
Хотя в настоящее время попытка дать общее определение кажется
преждевременной, существует одно свойство однобуквенных ха-
рактеризаций, которое, по нашему мнению, должно следовать из
любого разумного определения. Именно, однобуквенная харак-
теризация должна быть вычислимой и должна приводить к алго-
алгоритму, который решает, принадлежит ли данная точка простран-
пространства е-окрестности характеризуемого множества, используя при
этом меньше чем (\1г)к арифметических операций. Неизвестно,
всегда ли существует такой «полиномиальный» алгоритм, напри-
например, для описания области достижимых скоростей произвольной
сети источников. Отрицательный ответ на этот вопрос мог бы быть
интерпретирован как доказательство несуществования однобук-
однобуквенной характерйзации.
В то время как однобуквенная характеризация всегда под-
подсказывает некоторый алгоритм для численных расчетов, этот
алгоритм обычно оказывается слишком сложным для проведения
фактических вычислений. Таким образом, часто бывает, что одно-
буквенная характеризация дает только теоретическое решение
задачи. Сравним, например, однобуквенные характерйзации про-
пропускной способности ДК.БП и скорости при Д -искажении (приве-
(приведенные в § 2.1 и 2.2) с эффективным алгоритмом для их фактиче-
фактического вычисления, рассмотренным в § 2.3.
Заметим, наконец, что характерйзации в терминах произведе-
произведений пространств в принципе тоже могут оказаться вычислимыми.
В самом деле, если бы можно было указать, насколько быстро
объединение первых п множеств в данном представлении прибли-
приближается к счетному объединению, можно было бы дать алгоритм
для решения (за заданное число операций) того, лежит ли данная
точка в е-окрестности рассматриваемого множества. Однако
обычно число операций растет при этом быстрее, чем любая сте-
степень 1/в при s —►О.О
ОБСУЖДЕНИЕ. Основной факт, на котором основываются
результаты этого параграфа, составляет содержание теоремы 1.2
и ее следствия о делении скоростей. Приведенное нами доказа-
доказательство основано на тех же математических методах, что и дока-
доказательство теоремы кодирования для каналов с шумами в § 2.1.
Напомним, что в § 2.1 мы искали одно большое множество ти-
типичных последовательностей, которое является множеством ко-

§ /. Раздельное кодирование коррелированных источников 239
довых слов кода для некоторого ДК.БП, в то время как здесь мы
разбили на такие множества почти все множество типичных после-
последовательностей. В некотором приблизительном смысле эти две
задачи могут рассматриваться как «двойственные». Это смутное
понятие «двойственности» будет и в дальнейшем связывать многие
другие задачи этой главы, что и будет использоваться при их ре-
решении. Доказательство теоремы кодирования для вилочной сети
дает пример того, как можно решить более сложные задачи с по-
помощью «деления скоростей». Другим подходом является случай-
случайный выбор кодов; см. задачу 4 и лемму 1.13. Эти два подхода
имеют свои преимущества: первый приводит к большему пони-
пониманию структуры кодов, в то время как второй обычно более
удобен для различных обобщений.
Мы ввели общую схему для постановки задач кодирования
многотерминальных источников. В настоящее время теоретико-
информационное изучение многотерминальных сетей находится
на первом этапе своего развития. На этом этапе основной задачей
является определение областей достижимых скоростей для раз-
различных сетей. В оставшейся части этой главы мы не будем интере-
интересоваться более тонкими вопросами, такими, например, как ско-
скорость сходимости вероятности ошибки к нулю. Мы будем интере-
интересоваться характеризациями, которые являются вычислимыми
в принципе, не рассматривая задачу фактического вычисления
областей.
Мы попытались описать общую теорию сетей источников,
в которых операции кодирования осуществляются одновременно,
а не в несколько последовательных шагов (сети источников глу-
глубины 2). При этом мы ограничились критерием точности по ве-
вероятности ошибки. Было показано, что в этом классе достаточно
ограничиться рассмотрением его подкласса, образованного «нор-
«нормальными сетями источников». Теорема 1.14 дает вычислимую
характеризацию области достижимых скоростей для тех сетей
связи, в которых критерий качества требует, чтобы на каждом
выходе восстанавливались все компоненты исходного источника,
которые расположены на входах, соединенных с данным выходом
некоторым путем. Теорема 1.15 характеризует область достижимых
скоростей произвольной нормальной сети источников. Хотя эта
характеризация не является вычислимой, она дает общую матема-
математическую основу для всех этих задач. Эта теорема показывает,
что важным параметром НСИ является число «помощников»,
т. е. кодеров, поставляющих некоторым декодерам информацию
о компонентах источника, которые не должны восстанавливаться
этими декодерами. В частности, из теоремы 1.15 вытекает, что
область достижимых скоростей для любой НСИ с одним помощ-
помощником можно определить, решив следующую задачу о характери-
зации энтропии (задача 10). Пусть задан произвольный ДМИБП,

240 Гл. 3. Многотерминальные системы
порожденный величинами Ха, а £ А- Требуется охарактеризовать
множество всех векторов вида {A/я) Н (Xa\f (^2„)))а€а.
где а0 — некоторый фиксированный элемент множества А, п про-
пробегает все положительные целые числа и / пробегает совокупность
всех отображений, определенных на Х2„ . Хотя эта задача о харак-
теризации энтропии для произвольного | А | не решена, частный
случай |А| = 3 будет решен в § 3.3. Ясно, конечно, что для
определения области достижимых скоростей для конкретной
сети источников может оказаться достаточным иметь частичные
результаты о характеризации энтропии; см. задачи в § 4. Задачу
о характеризации энтропии можно обобщить таким образом,
чтобы включить случай нормальных сетей источников с несколь-
несколькими помощниками, и авторы верят, что эти задачи составляют
математическую основу теории сетей источников. Однако ре-
решение этих более общих задач находится вне рамок наших воз-
возможностей.
Вычислимая характеризация области достижимых скоростей
в теореме 1.14 и невычислимая характеризация в теореме 1.15
о помощниках являются примерами того, что обычно называется
однобуквенной характеризацией и характеризацией в терминах
произведения пространств; см. комментарии перед этим обсужде-
обсуждением. Эти интуитивные термины, которым трудно придать стро-
строгий математический смысл, широко используются при теоретико-
информационном исследовании дискретных систем без памяти.
В то время как вычислимая характеризация области дости-
достижимых скоростей известна только в некоторых случаях, были
найдены некоторые простые свойства таких областей: каждая
область достижимых скоростей выпукла (задача 8) и, по край-
крайней мере для сетей источников глубины 2 с критерием качества
по вероятности ошибки, оптимистическое и пессимистическое
определения области достижимых скоростей эквивалентны (тео-
(теорема 1.16). Заметим, однако, что даже эти свойства не доказаны
для областей е-достижимых скоростей, хотя мы не знаем ни одного
примера, когда бы область е-достижимых скоростей отличалась
от области достижимых скоростей. Для нормальных сетей источ-
источников без помощников совпадение областей достижимых и е-до-
е-достижимых скоростей было доказано в теореме 1.14. Мы вернемся
к этому Еопросу в § 4.
Задачи
1. (а) Рассмотрим блоковые коды длины k с дополнительной информацией
у кодера и у декодера, т. е. f^: X\X Y*-»- М, ф^: М X Yfe -»- Xfe; пусть ве-
вероятность ошибки определяется аналогично определению 1.1. Докажите, что
если Ш^е (fk, cpft)< 1, то lim^M {Ilk) log \\fk || > H (X | Y).
(b) Выведите, что результат теоремы 1.2 является наилучшим возможным
и что отсутствие дополнительной информации у декодера асимптотически несу-
несущественно.

§ /. Раздельное кодирование коррелированных источников 241
2. Докажите, что если (/, ф) — блоковый код длины k с дополнительной
информацией у декодера, удовлетворяющий условиям (i) и (п) теоремы 1.2,
то существует функция f: X -*■ М, такая, что (f, ф) по-прежнему удовлетворяет
этим условиям и f обладает следующими дополнительными свойствами:
(a) Рг {! (Хк) = f (Xk)\ >1-S,
(b) для любого С < т множество f'1 (i) является (k, ё)-кодом для канала
Wk, где ё й V"s, J-1 (/) с= Т*х].
3 (область скоростей при нулевой ошибке), (а) Покажите, что для любого
2-источника, порожденного переменными (X, Y), область скоростей Яо (X, Y)
с нулевой ошибкой для соответствующей вилочной сети, вообще говоря, меньше,
чем область достижимых скоростей Я (X, Y).
(b) Сформулируйте задачу нахождения 5?0 (X, Y) в терминах теории гра-
графов. Точнее, пусть % (G) — хроматическое число графа G, a G™ есть п-я степень G
(см. задачу 2.1.21). Покажите, что задача'определения Я„ (X, Y) для любого
ДМИБП включает в себя задачу теории графов об определении
Хо (G) ^ Нш A/и) log х (О»)
п-*оо
для произвольного графа G.
Указание. Пусть Ry = log | Y |. Тогда нахождение наименьшего i?x, та-
такого, что (i?x> ^Y) € ^\> (^. ^)> эквивалентно нахождению %о (G) для графа G,
соответствующего каналу №= Ру | ^, как описано в задаче 2.1.21.
(Witsenhausen A976).)
(c) Пусть G — пятиугольник; покажите, что для сс0 (G) й Нтп_).оо A/я) X
X log a (G«) имеем Хо (G) + «о (G) = log 5, откуда Хо (^ = (log 5)/2.
Указание: использовать результат Ловаса, приведенный в замечании к за-
задаче 2.1.21.
4 (случайный выбор кодов с промеокуточными скоростями), (а) Используя
метод случайного выбора, покажите, что при достаточно большом k («боль-
(«большинство» блоковых кодов (Д g, Ф) длины k со скоростями (Н (X \ Y),
Н (Y)) удовлетворяют условию (ш) следствия о делении скоростей. Точнее,
для фиксированных k и 6 > 0 обозначим через М^ и Му произвольные множе-
множества, для которых
(Ilk) log | Мх | > Я (X. \Y) + 6, (Uk) log | My | > Я (У) + б.
Пусть У — семейство всех отображений /: Xfe -*■ Мх и У — семейство всех
отображений g: Yk -*- М у. Для каждой пары (/, g) £ У X !F и каждых i £
€ Мх, / 6 Му обозначим через Т (/, /) множество тех последовательностей (х, у) £
€ Т*Ху], для которых / (х) = I, g (у) = j. Далее, для каждой пары / G ^"«
g £ & определим отображение Ф<„: Мх X Му -»- Xй X Y* формулой
m ,. ,л/(х> У)- если (х> у> € т ('> /) и IT('• /)!=!.
{ произвольно в остальных случаях.
Докажите, что если (F, G) — СВ, равномерно распределенная на У X &, то
случайная тройка (F, G, Фра) удовлетворяет следствию о делении скоростей
с вероятностью, стремящейся к 1 при k -*■ оо.
(Ь) Обобщив утверждение в п. (а), докажите теорему 1.5 непосредственно,
не используя разделения времени между крайними точками.
Указание: использовать лемму 11.13.
(Cover A975).)

242 Гл. 3. Многотерминальные системы
5 (экспоненциальные границы для вероятности ошибки). Рассмотрим вилоч-
вилочную сеть с 2-нсточником, порожденным величинами X, Y. Покажите, что если
(Rx, Ry) € & (X, Y), то для каждого положительного 5 и каждого достаточно
большого k существует блоковый код (f, g*, ср) длины k для этой сети, такой,
что R (/, g) < (Rx, Ry) -J- E, 5) и'
e (f, g. ф < exp {— k (£•[ (tfx, Ry, X, Y) — 6)}.
Здесь
(X, Y) пробегает множество всех СВ со значениями в X X Y.
Указание: см. следующую задачу.
Экспоненциальные границы для вероятности ошибки для этой сети были
впервые получены Галлагером в 1976 г. (не опубликовано) и Кошелевым A977);
приведенный выше результат получен авторами н Мартон в 1977 г. и опублико-
опубликован в работе Csiszar—Korner A980a). Некоторое уточнение этого результата
содержится в работе Csiszar—Korner A981).
6 (универсальное кодирование для вилочной сети), (а) Покажите, что для
заданных конечных множеств X, Y н произвольного 5 > 0 при k^ k0 (\Х\,
У |, 5) существует блоковый код (/, g, ф) для вилочной сети, такой, что
(Ilk) logЦ/1| < Rx + S, (Uk) log||g||< Ry + »
и для каждого ДМИБП, порожденного произвольными переменными (X, Y)
со значениями в X н Y соответственно,
е (f, g, ф) < exp \-k (f, (tfx, Ry, X, Y) - 5)}.
Здесь Е± определено в задаче 5.
(b) Покажите, что если Rx -f Ry > Я (X, Y), Rx> H (X\ Y), Ry >
> Я (Y | X), то Ex (Rx, Ry, X, Y) > 0. Таким образом, вероятность ошибки
построенных кодов стремится к 0 экспоненциально для любого ДМИБП, для
которого (Rx, Ry) является внутренней точкой 91 (X, Y).
Указание. Пусть Мх н Му — такие множества, что
(Ilk) log | Мх | > Rx + 6, (Ilk) log | My | > Ry + 5.
Обозначим через 3F семейство всех пар (/, g) отображений /: X —>- Мх, g: У —>-
->- Му. Для каждой пары (/, g) £ &~ рассмотрим декодер ср = ср/; g no минимуму
энтропии
(х, у), еслн/(х)=г, g (у) = / и Я (х, у)<Я(х', у')
для любой пары (х', у') ф (х, у), для
которой / (х') = i, g (у') = /",
произвольно, если таких (х, у) нет.
Для заданных (/, g) £ 9~ обозначим через Е = Е (/, g) множество тех (х, у),
для которых код (/, g, (|/> g) делает ошибку, т. е. ср (/ (х), g (у)) Ф (х, у). По-

§ Л Раздельное кодирование коррелированных источников
казать, что для k ^ k0 (| X |, | Y |, б) и каждого совместного типа Р последова-
последовательностей из Xk X Yk
|Тр|
;exp — h
К), ДХ-
где X, Y — СВ с совместным распределением Р. Вывести отсюда, что суще-
существует пара (/, g) £ #", такая, что для каждого совместного типа Р
I Е Л Тр |/1 ТР I < ехр {-А | min [tfx +
+ #у — Я (X, К), Дх — Я (X | К), RY — H(Y fx)] |
Проверить, что (f, g, <p/t 5) является требуемым кодом.
(Совместный результат авторов и Мартой, полученный в 1977 г.; опублико-
опубликован в работе Csiszar—Korner A980a); обобщение см. в задаче 12.)
7 (точность экспоненциальных границ для вероятности ошибки), (а) Дока-
Докажите, что для каждых Rx > 0, Ry > 0, 8 > 0 при k > k0 (| X |, | Y |, 6)
каждый блоковый код (/, g, ф) длины й со скоростями
A/4) logll/K ^х - 8, (I/A) log ||g|| < tfy — б
для вилочной сети с 2-источником, порожденным величинами X, У, имеет вероят-
вероятность ошибки, удовлетворяющую неравенству
где
е (f. g, Ф) > A/2) ехр \-kE2 (RK, Ry, X, Y) A + 8)},
X. Y: (RX,
min
D
(X, Y)
(p
xy\
xy
)-
(b) Сравнивая п. (а) и задачу 5, докажите, что
/?у)
(X, К), для которых
-j- Лу=
в некоторой окрестности точек
= Н (X, Y).
Указание: см. доказательство теоремы 2.5.3.
(Неопубликованный результат, полученный авторами и Мартон в 1977 г.;
частичный результат был получен ранее Галлагером в 1976 г. (не опубликовано).)
8 (принцип разделения времени). Покажите, что область достижимых скоро-
скоростей произвольной сети источников выпукла.
Указание: обобщить принцип разделения времени из леммы 1.4.
9 (редукция сетей). Докажите, что при любом критерии точности задача
для сети на рис. 1.5 сводится к задаче для вилочной сети.
Указание: рассмотреть^вилочную сеть с тремя входами и 3-нсточник, по-
порожденный величинами X й (Z, Y), Y й (X, Z), Z 4 (X, Y).
10 (характеризация энтропии). Выразите область достижимых скоростей
произвольной нормальной сети источников с одним помощником через решение
задачи о характеризации эитропин.
Указание. Пусть Ьо —■ промежуточная вершина, являющаяся помощником.
Обозначим в A.17) и A.18) fb через / и заметим, что //( / (X"o)) = пН (Xho) —

1"л. 3. Многотерминальные системы
— Н (х1о |/ (<^j0))- Далее нужно записать условные энтропии в A.18) в виде
И (XDC \f (Хь0)) ~ Н (*DC-L | f (Хь)) и ввести новый ДМИВП> порожденный
величинами Х^о и Xj, где J пробегает вей подмножества всех множеств Dc.
11 (помощники в произвольной сети источников). Пусть задана произволь-
произвольная сеть источников глубины 2 с критерием точности по вероятности ошибки.
Вершина b £ В называется помощником, если существует такой путь (а, Ь),
(Ь, с), что а ф, Dc. Мы доказали существование такой НСИ, что область дости-
достижимых скоростей для первоначальной сети можно получить из области дости-
достижимых скоростей НСИ, пересекая ее сначала с под-
подпространством, порожденным некоторыми координатны-
координатными осями, а затем проектируя. Покажите, что эту
НСИ можно выбрать так,^ чтобы число помощников
в ней не превосходило число помощников в перво-
первоначальной сети.
12 [универсально достижимые экспоненты для
вероятности ошибки), (а) Покажите, что для любой
нормальной сети источников без помощников, любого
вектора R={^?b} с. с неотрицательными компонента-
компонентами, любого 8 > 0 и любого достаточно большого k
существует блоковый код {/ь, фс}. а
Рис. 1.5- k, такой что
В, с
такой что
К задаче 9. A//г> log j| /ь || < /?ь -Ь 5 для любого
и вероятность ошибки ес для любого выхода с удовлетворяет условию
'с<ехрГ'
длины
Здесь Q — совместное распределение СВ, задающих ДМИБП нашей сети; для
каждого распределения Р на Хв= X . ^ _X6 и подмножества LczB через Р\_
обозначается проекция Р на Х|_. Поверьте, что все выписанные выше экспоненты
положительны в том й только том случае, если R является внутренней точкой
области достижимых скоростей. (Точность этих границ рассматривается в сле-
следующей задаче.)
(Ь) Покажите, что экспоненты для вероятностн ошибки в п. (а) универсально
достижимы. Точнее, для любой НСИ без помощников с заданными алфавитами
источников одно и то же множество кодеров {/ь} .- с декодером срс по минимуму
* с В
энтропии, соответствующим этим кодерам (см. задачу 6), достигает этих границ.
Указание. Пусть задай набор |В| отображений /= {Мь£в> ?ь: Х*->-Мб
и множества L с S с В. Обозначим через Е (S, L, /) множество тех | В | -на-
-наборов u= \xb}b£. в (x6^Xj), для которых существует | S |-набор v =
), удовлетворяющий условиям:
(i) УъФ хь для Ь £ L, уь = хь для Ь £ S— L,
(ii) fb (уь) = /ь (хь) для любого i £ 8,
(iii) Я(у)<Я(и8), где us^ |хй}„€8.

§ i. Раздельное кодирование коррелированных источников
'MB
Достаточно показать, что для любого б > 0 и любого неотрицательного вектора
для которых
(Ilk) log | Мь К Яь + S (b <= B),
и для любого совместного типа Р | В |-наборов и и любых множеств 0 :
|E(S, L, /) f)Tp| „
■ pfTi < ехР ~k
66L
Это, однако, является непосредственным обобщением результата из указания
к задаче 6. Достаточно показать, что при k ~^-. k0
|E(S, L, /) П Тр|
|Tp|
ЗГ\ 2j 2j 2j
X
X ехр
[*Г I!L
и ^ — мно-
многде &~ — семейство всех наборов отображений {/(,} -- , fb: X* —*
жество всех совместных типов | В |-наборов и. Зафиксировав Р, S, L, обозна-
обозначим через К (х) множество всех | S j-наборов v, удовлетворяющих условиям (i)
и (iii). Тогда
|E(S, L, /) П ТР|
|Тр|
r\ Zj
= —j-j—г— У^ . ар | I { f- некоторое v ^ К (х) удовлетворяет (ii)} |
|Тр|
2 2^
(Уь) = Ь (хь) для всех Ь£ S} |.
Поэтому нужное утверждение получается так же, как при доказательстве
леммы 1.13.
(Csiszar—Когпег A980а).)
13 (обратные экспоненциальные границы для вероятности ошибки), (а) Рас-
Рассмотрим произвольную МСИ с одним выходом. Обозначим через Si (Q) область
достижимых скоростей этой сети для ДМИБП с совместным распределением Q.
Покажите, что для любой последовательности блоковых кодов длины k со ско-
скоростями, сходящимися к R, вероятности ошибки е& (Q) удовлетворяют условию
lim (Ilk) log eh (Q) > — inf D (P || Q).
*^°° P: ЯфЯ (Р)
Указание. Рассмотреть произвольное совместное распределение Р с R £
£ Я (Р). Тогда по теореме 1.16 существует 8 > 0, такое, что прн достаточно
больших k вероятность ошибки е^ (Р) не меньше 8. Затем применить следст-
следствие 1.1.2.
(Эта идея восходит к работам Арутюняна A968) и Blahut A974).)
(b) Выведите, что экспоненциальные границы для вероятности ошибки
в задаче 12 являются точными в некоторой окрестности границы области дости-
достижимых скоростей НСИ без помощников в том смысле, что их нельзя одновре-
одновременно улучшить.

'246 Гл. 3. Многотерминальные сисШМЫ
Историческая справка
Исследование многотерминальных систем является одной их наиболее дина»
мичных областей теории информации. Для того чтобы лучше представить себе
ее развитие, читателю следует обратиться также к историческим справкам сле-
следующих параграфов.
Первые результаты о раздельном кодировании коррелированных источни-
источников были получены Гачем и Кернером (Gacs—Korner A973)), см. задачу 4.27,
и Слепяном и Вулфом (Slepian—Wolf A973a)). Основы теории сетей источников
были заложены Слепяном и Вулфом. В частности, они доказали теорему 1.2
н теорему кодирования для вилочных сетей 1.5 для 2-источннков. В настоящем
виде теорема 1.5 появилась в работе Wolf A974). Доказательство теоремы 1.5,
приведенное в тексте, принадлежит Алсведе (Ahlswede A974b, не опубликовано)),
см. Ahlswede—Korner A975). Обобщение теоремы 1.5 на произвольные вилоч-
вилочные сети и ее простое доказательство, воспроизведенное в лемме 1.13, принад-
принадлежат Коверу (Cover A975), A977, ие опубликовано)). Попытки развить единый
подход к задачам кодирования многотермииальных источников были сделаны
Кернером (Korner A975)).
Общая постановка и результаты, начиная с определения 1.6, принадлежат
авторам (Csiszar—Korner A980a)). Идея о связи концепции однобуквенной ха-
рактеризации с вычислительной сложностью была подсказана нам П. Гачем.
Добавлено при корректуре. Класс сетей источников глубины 2 в смысле этого
параграфа рассмотрен в работе Han—Kobayashi A980). Их подход дает прямые
результаты, но не приводит к однобуквенным обращениям. Хан (Han A980))
рассмотрел сети произвольной глубины с одной выходной вершиной и обобщил
на этот случай теорему кодирования для вилочной сети.
[В работе Ahlswede A979, 1980) * описана область достижимых скоростей
кодирования для произвольио меняющейся внлочиой сети и для некоторых дру-
других сетей источников. В этой работе содержатся также ряд других результатов.
См. также Jahn A981)*. В работе Csiszar A982b)* описаны применения линей-
линейных кодов к задаче кодирования для сетей источников. (Перев.)]
§ 2. КАНАЛЫ С МНОЖЕСТВЕННЫМ ДОСТУПОМ
В предыдущем параграфе мы описали сравнительно общую
модель сетей бесшумной связи. Отсутствие шума означает, что
кодеры, расположенные в вершинах сети, имеют прямой доступ
к результатам операций кодирования, производимых в непосред-
непосредственно предшествующих вершинах сети. Отбрасывая это пред-
предположение, мы рассмотрим теперь модель, описывающую связь
при наличии шума. Мы предположим, что кодовые слова, произ-
произведенные в некоторой вершине, являются компонентами вектор-
векторного входа канала с шумом, и соответствующий выход канала
может наблюдаться в некоторой другой вершине сети.
Математические задачи, решаемые в этом параграфе, будут
связаны с зашумленным аналогом простейшей многокомпонентной
сети — вилочной сети. Для того чтобы избежать громоздких
обозначений, приведем формальные определения только в случае
двух входов.
Пусть заданы конечные множества X, Y, Z. Будем рассмат-
рассматривать каналы с входным алфавитом X х Y и выходным алфави-
алфавитом Z. Кодом с множественным доступом (МД-кодом) для такого

§ 2. Каналы с множественным доступом . 247
канала называется тройка отображений /: Mi —»-X, g'- М2 —»-Y,
ф: Z —>-MiXM2, где Мъ М2 — произвольные конечные множества.
Отображения / и g называются кодерами с множествами сообще-
сообщений Mi (соответственно М2); ф называется декодером. МД-код
является одновременно кодом в обычном смысле с кодером (/, g)
и декодером ср. Вероятности ошибки этого кода в канале W:
XxY-*Z будут называться вероятностями ошибки МД-кода
в канале W.
Мы будем исследовать характеристики МД-кодов в различных
ДКБП {W: XxY ->Z}. В такой ситуации ДКБП {W: XxY^-
—>-2.\ будет называться (дискретным и без памяти) каналом с
множественным доступом, сокращенно КМД. Множества X и Y
называются входными алфавитами, a Z — выходным алфавитом
КМД \W).
Пусть задан ДМИБП с двумя компонентами и КМД {W:
XxY—>-Z|. Можно рассматривать МД-коды (f, g, <p), где / и g
отображают k-e декартовы степени алфавитов компонент в X"ft
и Y"k соответственно, а ср отображает Z"ft в произведение мно-
множеств, на которых определены fug. Для такого кода можно оп-
определить вероятность неправильного воспроизведения сообщений
длины k данного ДМИБП. После этого можно задать вопрос
о том, чему равен предел минимальной скорости передачи
L =4= minllm (%/&), B.1)
&-»■<»
где минимум берется по всем последовательностям описанных
выше кодов, для которых вероятность неправильного воспроиз-
воспроизведения сообщений длины k стремится к 0 (или, в более общем
случае, удовлетворяется некоторый другой критерий точности).
Аналогия с двухтерминальной теорией приводит к идее рассмат-
рассматривать отдельно «задачу кодирования источника» (исследовав-
(исследовавшуюся в § 1) и «задачу кодирования для канала» (которая будет
сформулирована ниже), а затем объединить полученные резуль-
результаты в теорему о передаче для источника и канала, аналогичную
теореме 2.2.4. К сожалению, такой подход приводит к нужным
результатам только в некоторых частных случаях, и общая задача
все еще остается нерешенной (задача 1). Тем не менее задача о ко-
кодировании для канала — к формулировке которой мы сейчас
переходим — представляет независимый интерес как с матема-
математической, так и с практической точки зрения.
Блоковым МД-кодом длины п для КМД с алфавитами X, Y, Z
называется МД-код (/, g, ср) сХп, Yn, Z", заменяющими соот-
соответственно X, Y, Z. Для удобства мы будем обозначать соот-
соответствующие множества сообщений через Мх и MY вместо Mi

248 Гл. 3. Многотерминальные системы
и М2. В качестве показателя качества блокового МД-кода длины п
мы будем использовать пару скоростей
(A/п) log | щ |, A/n) log | MY I).
Заметим, что скорость кода (/, g, cp), рассматриваемого как обыч-
обычный блоковый код, равна сумме этих двух чисел (задача 2).
ОПРЕДЕЛЕНИЕ 2.1. Пара неотрицательных чисел (Rx, Ry)
называется е-достижимой парой скоростей для КМД {W: XxY—►
—vZ}, если для любого б > 0 и каждого достаточно большого п
существует блоковый МД-код (/, g, cp) длины п, такой, что
A/п) log | Мх I Ss #х- — б, A/п) log | MY 5э Ry — 6,
и средняя вероятность ошибки удовлетворяет условию
ё {Wn, f, g, ф) < е.
Пара (Rx, Ry) называется достижимой парой скоростей, если
она е-достижима для любого е > 0. Множество всех достижимых
пар скоростей называется областью пропускной способности
КМД \W: XxY^Z}. О
ЗАМЕЧАНИЕ. Достижимые пары скоростей и область про-
пропускной способности можно определить также для максимальной
(вместо средней) вероятности ошибки (задача 3). В отличие от
ситуации в § 2.1 эти два подхода приводят, вообще говоря, к раз-
разным результатам. В многотерминальных моделях средняя вероят-
вероятность ошибки является более привычным показателем качества
кода, чем максимальная вероятность ошибки. Кроме того, ее
легче исследовать имеющимися в настоящее время методами
(задача 4). Отметим, кроме того, что если использовать блоковые
МД-коды со случайными кодерами, то оба критерия точности
приводят к определенной выше области пропускной способности
(задача 5). О
ЛЕММА 2.2 (принцип разделения времени). Область, пропуск-
пропускной способности произвольного КМД является замкнутым вы-
выпуклым множеством. О
Доказательство. Замкнутость очевидна из определения. Вы-
Выпуклость доказывается аналогично доказательству леммы 1.4.
Соединением блоковых МД-кодов (ft, git срО длин nt (i = 1, 2)
называется блоковый МД-код (/, g, cp) длины пх + п2, строящийся
следующим образом: Мх^Мх'хМх' является прямым произ-
произведением множеств сообщений f1 и /2; если (ть /п2) £ Мх, то
/ (тъ /л2) есть соединение Д (mj и /2 {"чУ- Кодер g определяется
аналогично и ср определяется формулой
9(z)A(9i(z!), <p2(z2)), если z^z^, %i^Zn\ i=\, 2,
где (Мх' X Мх}) X (Мх' х Му}) естественно отождествляется с Мх X
ХМу- Р

§ 2. Каналы с множественным доступом
249
Докажем теперь теорему о существовании, которая вместе
с принципом разделения времени полностью описывает область
пропускной способности произвольного канала с множественным
доступом (задача 6).
ТЕОРЕМА 2.3. Для каждой пары независимых СВ X, Y
со значениями в X и Y все пары (Rx, Ry), для которых
О <: Rx < / (X д Z \Y), 0 <: Ry <: / (Y д Z | X),
Rx + Ry < / (X, У Д Z), B.2)
принадлежат области пропускной способности К.МД {W: XxY—>-
—>7.\; здесь Z — СВ, связанная с (X, Y) каналом W. О
Доказательство. Утвер-
Утверждение является доста-
достаточно простым следствием
теоремы кодирования 1.5
для вилочной сети. Для
того чтобы увидеть это,
рассмотрим ДМИБП с по-
порождающими СВ X, Y, Z,
введенными выше. Пусть
(f, U, h, Ф) — блоковый
код длины п для вилоч-
вилочной сети с этим ДМИБП,
для которого
Т: X" — {1, ..., К], '
I(YaZ\X)
I(XaZ\Y)
Рис. 2.1.
Множество достижимых пар скоростей для
КМД.
и й — тождественное отображение Z". Соответственно пусть де-
декодер ф имеет вид
Ф (г, /, z) = (х, у, z) для любых 1 « i <s К, 1 <:;'«: L, z ^ 2"о
B-3)
Предположим далее, что для любых I и / множества
A|A{x: f(x) = i), BjJk\y: g (у) = j\
состоят из последовательностей одинакового типа. С каждым
таким кодом (f, g, h, ф) мы свяжем семейство (/,, gj, ц>ц), i =
= 1, ..., К, j = 1) .... L, блоковых МД-кодов длины п. Пусть /;
(соответственно gj) — тождественное отображение Aj (соответ-
(соответственно Bj) в себя и cpij отображает z в первые две компоненты
ф (i, j, z), т. е.
. сро-(z) А (х, у), если ф(г, /, z) = (x, у, z).
Мы утверждаем, что взвешенное с некоторыми весами усредне-
усреднение средних вероятностей ошибки _МД-кодов (Д-, gJt ц>и) равно
вероятности ошибки кода (f, g, h, ф) для вилочной сети.

250 Гл. 3. Многотерминальные системы
Для этого сначала заметим, что поскольку как А;, так и Bj
состоят из последовательностей одинакового типа, а X и Y неза-
независимы, то
^T/^ € А„ у € В,.
Отсюда следует, что средняя вероятность ошибки МД-кода
g-y-, ф;7-) в К.МД \W\ удовлетворяет соотношению
_ Pr \f(Xn) = i, g(Yn) = j, qi(f, /, 2Г)ф(Хп, Г", Z")}
Поэтому, если вспомнить определение A.5) вероятности ошибки
е (f, f, й, ф),
S 2 <?(Л f, Я, ф). B.4)
Этим установлена справедливость нашего первого утверждения.
Далее мы покажем, что среди МД-кодов (/;, g}, фгу) суще-
существует по крайней мере один код с «малой вероятностью ошибки
и большими скоростями». Обозначим для этого через I с: {1, ...,К\
множество тех индексов i, для которых
2^(В/)ё(Г, /,, g,-, ф,/)<г2в(Г, g, Я, ф). B.5)
/=i
Из B.4) следует, что 2,-£| Px(Ai)^ 1/2. Поэтому лемма 1.2.14
доказывает, что для любого б >0 при п ^ пх (| X |, б) имеем
A/л) log U А; ^ Н (X) — б.
Поэтому существует по крайней мере один индекс i £ I, для
которого
ill
U
€1
B.6)
Зафиксировав t £ I, для которого выполнено неравенство B.6),
обозначим через J с: {1, ..., L\ множество тех индексов /', для
которых
в(Г», /„ gj, <Pv)<4e(f, g, h, ф). B.7)
Тогда вследствие B.5)
2 Р£ (В/) 5з 1/2,

§ 2. Каналы с множественным доступом 251
откуда, как и выше, следует, что (при п 2г п2 (| Y |, б)) суще-
существует индекс j £ J, для которого
| В, | rss (Ш.) ехр {л (Я (К)-6)}-
Отсюда и из B.6) следует, что для каждого кода (f, g, Я, ф) для
вилочной сети с указанными выше свойствами существует код
(ft, §j> Фо') Для канала с множественным доступом, со средней
вероятностью ошибки, удовлетворяющей B.7), и парой скоростей
(A/n) log | А» |, A/л) log | В, |) ^
^ (Я (X) -■ A/л) log || f || - б, Я (Г) - A/л) logO ё II - б)- B-8)
Зафиксируем теперь пару (Rx, Ry), удовлетворяющую B.2),
и положим
RXJLH(X)-RX, Ry^H(Y)~Ry, Rz А, Я (Z). B.9)
Тогда в силу B.2) и независимости X и У имеем
&х^Я(Х| Г, Z), £к^Я(Г|Х, Z), Ях + Ry^ H{X, Y\Z).
Вследствие теоремы 1.5 (Rx, Ry, Rz) является достижимой
тройкой скоростей для вилочной сети с ДМИБП, порожденного
СВ X, Y, Z. Поэтому для любых е > 0, б > 0 и любого доста-
достаточно большого п существует блоковый код (f, g, Л, ф) длины п
для этой сети, удовлетворяющий условиям
A/л) log || в II < Яу + (в/2), в (Т, 6, К, Ф) ^ в.
Ясно, что по этому коду можно построить код {f, §, Я, ф), обла-
обладающий свойствами, сформулированными в начале доказатель-
доказательства, для которого
A/л) log ||/|| < £х + в, A/л) log || i|| « Ry + б,
е (f, ё, Я, Я) < е. B.10)
(Для изменения fug следует присоединить к каждому кодовому
слову тип кодируемой последовательности и не обращать вни-
внимания на эту дополнительную информацию при декодировании.)
Таким образом, существует блоковый МД-код (/;, gj, (ptj) длины п
со средней вероятностью ошибки, не превосходящей 4е, см. B.7),
и парой скоростей
(A/л) log | А, |, A/л) log | В/ |M* (Ях - 26, RY - 26),
см. B.8)—B.10). Поскольку е > 0 и б > 0 произвольны, (Rx, Ry)
является достижимой парой скоростей для нашего КМД (задача7). □

252
Гл. 3. Многотерминальные системы
ТЕОРЕМА 2.4 (теорема кодирования для канала с множе-
множественным доступом). Область пропускной способности КМД
\W: XxY->Z| совпадает с выпуклым замыканием множества
точек (Rx, Ry), удовлетворяющих B.2) для некоторой тройки
СВ X, Y, Z, как в теореме 2.3. О
Доказательство. Прямое утверждение теоремы о том, что
область пропускной способности содержит выпуклое замыкание
описанного множества, немед-
немедленно следует из теоремы 2.3
и леммы 2.2. Для доказатель-
доказательства обращения рассмотрим
произвольный блоковый МД-код
(/. g> ф) длины п со средней
вероятностью ошибки
e{W», f, g, Ф)<5 е. B.11)
Пусть S и Т — независи-
независимые СВ, равномерно распре-
распределенные на соответствующих
множествах сообщений Мх и
Му нашего кода. Положим
Рис. 2.2. Xn—f <S>' Yn£-
Область пропускной способности КМД. и пусть 2"—СВ, связанная
с (Хп, Yn) каналом Wn, так
что ST -о- XnYn ■©• Zn. Тогда B.11) можно переписать в виде
. Рг {Ф (Z») Ф (S, Т)} «ее,
откуда по неравенству Фано (лемма 1.3.8)
#(S|Z») < slog|Mx|+ 1,
H(ST\Z") 4$ в log | M* X My I + 1. B.12)
По определению
Я (S) - log | Mxi,
Я (ST) « log | Mx X My [ - log | Mx 1 + log | My |,
так что в силу B.12)
A — е) log | Mx | — 1 <s Я (S) — Я (S | Z") =
= /(SaZ»)</ (X" л YnZn) B.13)
(последнее неравенство следует из леммы об обработке данныхI
Аналогично,
A — е) .(log | Mx I + log | My |) — 1 ^
i Я (ST) — Н (ST | Z") < / (XnYn д Zn).
B.14)

§ 2. Каналы с множественным доступом 253
Ввиду независимости Хп и Yn из B.13) получаем
A — е) log | Мх | — 1 < / {Xя Л Z" I У")- B-15)
По симметрии имеем также
A — е) log | MY | — 1 < / (Уп Л Zn I X"). B.16)
Заметим теперь, что для любых СВ Хп = Хх ... Хп, Yn = Yx...Yn,
Zn = Zx ... Zn, где Zn связано с (Хп, Yn) каналом W", имеем
Поэтому
tl Tt
I (X- л 2» | F») < £ Я (Z, | F») - £ Я (Z, | X.Yt) <
< I! '(*i Л ^il^i), B-17)
n n n
I /VnVn д 7n\ ^- \* Tl 17 \ V1 T-t 17 I V V ~1 V / / V V д 71
(=1 ,=1 (-=1
B.18)
По симметрии имеем также
/ (F" Л 2" I *») <" S / (П Л 2г I Xi). B.19)
Из сравнения B.14)—B.16) с B.17)~-BЛ9) получаем, что пара
скоростей кода (/, g, ф) удовлетворяет условиям
1 , Л " . \
4" lQg I Mx I + 4- l°S I MY I «s

254 Гл. 3. Многотерминальные системы
Для завершения доказательства достаточно проверить, что
любая пара (Rx, R\)> Аля которой
п. Л п
4- 27 (** л z, i-ro,яY< 4- 2
принадлежит выпуклому замыканию множества точек, удовлет-
удовлетворяющих B.2) для некоторой тройки СВ X, Y, Z, как в тео-
теореме 2.3. Для этого положим
/, JL [Г(Хг Л Zt | Yt) + 1(Уг A.Zt | Xt) -I(XtYt A Zt)] X
L t=i J
дг, A / (X, Л 2t- I Yt) - J JL V / (Xt- Д Zt I Г.-) - /?x ,
^ д / (^ л г, i xt) - ^ U- 27 (^ Л Zi'Xi) - ^y L
zt A / (Xfn Л &) - <* I 4" 2 7 (Х'Г'" Л Z<) ~*(/?K + ^Y) Г
Ясно, что любая пара неотрицательных чисел (г^°, гу°) для
которой
принадлежит требуемой области. Поэтому достаточно заметить,
что
Rx = A/л) 23 х1г Ry - A/л) S f/ь /?х + ^Y = A/л) Е г,. □
ЗАМЕЧАНИЕ. Мы не доказали, что для фиксированного
0 < е < 1 все Е-достижимые пары скоростей лежат в области
пропускной способности, описанной выше. В настоящее время
неизвестно, верно ли это утверждение (сильное обращение тео-
теоремы кодирования для канала с множественным доступомI).
О Добавлено при корректуре. Недавно Г. Дуек доказал сильное обращение;
см. Pueck A981)*,

§ 2. Каналы с множественным доступом 255
Однако доказательство последней теоремы показывает, что
«оптимистическая» точка зрения (см. обсуждение в §2.1) приво-
приводит к той же области пропускной способности, что и «пессими-
«пессимистическая», принятая в определении 2.1. О
Области пропускной способности К.МД можно описать не-
несколько иным способом, введя дополнительную СВ для операции
выпуклого замыкания. Благодаря этому теорема будет иметь
большее сходство с дальнейшими результатами.
СЛЕДСТВИЕ 2.4. Область пропускной способности КМД
{W: XxY->Z} состоит из тех пар (Rx, Ry), для которых суще-
существуют СВ X, Y, Z, U со значениями соответственно в X, Y, Z
и в некотором конечном множестве U, такие, что X е- U -о- Y,
U & XY & Z, СВ Z связана с XY каналом W и
О <: Ях< / (X A Z | UY), 0 < Ry <: / (Y д Z\ UX),
Rx + RV < / (XY A Z | U). B.20)
Далее, можно предположить, что | U | = 2. о
Доказательство. Пусть W (P, Q) — множество точек (Rx, Ry),
удовлетворяющих B.2) с Р% = Р, Ру = Q- Тогда B.20) озна-
означает, что (Rx, Ry) является выпуклой комбинацией с весами
Рг \ U = и\ точек, принадлежащих множествам ^ (Ри, Qu), где Ри
и Qu — условные распределения X и Y при условии U = и.
Для того чтобы показать, что каждую такую точку (Rx, Ry)
можно получить из двух точек, принадлежащих некоторым мно-
множествам & (Pit Qt), i = 1,2, рассмотрим для каждых (Рх, Qx),
(Рг, 0.г) выпуклое замыкание Ф (Рх, Qt) \J Ч? (Р2, Q2). Ясно, что
объединение всех таких множеств выпукло и замкнуто и, значит,
совпадает с выпуклым замыканием объединения всех множеств
9 (Р, Q). □
Мы решили задачу кодирования для канала в случае простей-
простейшей сети. Хотя до общего решения соответствующей задачи для
более сложных сетей, по-видимому, еще очень далеко, мы при-
приведем формальную постановку задачи для сетей глубины 2 (в смысле
предыдущего параграфа). Это позволит нам описать имеющиеся
результаты и представляющиеся наиболее важными и глубокими
открытые вопросы, тем самым прояснив их взаимосвязь.
Рассмотрим сеть глубины 2 (см. определение 1.6). Пусть А —■
множество входов, В — множество промежуточных вершин и
С — множество выходов этой сети. Напомним, что для каждой
вершины с через Sc обозначается множество начал направленных
ребер, заканчивающихся в с.
Мы предположим, что декодер в выходе с £ С может наблю-
наблюдать векторы кодовых слов, производимых в вершинах Ъ £ Sc П В
и прошедших через ДКБП, в то время как сообщения из входов
а € Sc П А наблюдаются в с непосредственно. Кроме того,

256
Гл. 3. Многотерминальные системы
эта модель будет описывать задачи теории связи, в которых не
все входные сообщения предназначены для всех выходов. Адре-
Адресация сообщений будет задаваться, множествами Dc с А, с £С,
и мы будем говорить, что на выходе с произошла ошибка, если
сообщения входов а £ Dc не были правильно воспроизведены
декодером в с. Поскольку сообщения из входов а £ Sc непосред-
непосредственно наблюдаются в с, можно предположить, что Dc П Sc= 0.
ОПРЕДЕЛЕНИЕ 2.5. Сеть каналов (дискретная и без памяти)
задается сетью глубины 2 (с множествами А, В и С входных про-
промежуточных и выходных вершин соответственно), семейством
ДКБП I Wc: Хй£8 пв^ь -*-Хс}, с £ С и семейством множеств
Dc с А — Sc, с £ С, называемых адресацией. Блоковым кодом
длины п для этой сети каналов называется семейство отображений
fb- X Мь-+Хь, Ь
a£Sb
где Me о X Ма. О
X
ЗАМЕЧАНИЕ. В более общем контексте определенная выше
сеть каналов должна была бы называться сетью каналов глуби-
Рис. 2.3.
Типичная сеть каналов. В блоковом коде длины я для этой сети кодер
отображает M
aj
£з, а декодер cpCi отображает X™ X
жест во М М м
в мно"
Ма, х ма3
ны 2. Поскольку более общие сети каналов в этой книге рассмат-
рассматриваться не будут, допущенная нами небольшая неточность
терминологии не приведет к недоразумениям '.) О
Дискретные каналы без памяти {We\ являются компонен-
компонентами сети каналов. Множества Ma. a £ А, являются множе-
*) Одним нз примеров сети каналов глубины > 2 является так называемый
рэлеевскнй канал; см. работы Cover — El. Gamal A979)*, El Qamal — Aref
A982)*. —Прим. перев.

§ 2. Каналы с множественным доступом
257
ствами сообщений, отображения fb — кодерами, срс — декоде-
декодерами. Вектор с компонентами A/n) log | Ма |, а € А, будет
называться вектором скоростей кода.
Сеть каналов можно представлять себе, нарисовав соответ-
соответствующий граф, как и в случае сетей источников. Как правило,
входы будут занумерованы, и адресация будет указываться тем,
что в каждой выходной клетке будут ставиться номера тех вхо-
входов, сообщения которых предназначены для этого выхода; см.
Q Р
Рис. 2.4.
Упрощенное представление сети каналов,
изображенной на рис. 2.3.
Рис. 2.5.
Канал с множе-
множественным досту-
доступом.
рис. 2.4. Заметим, что каждый блоковый МД-код длины п яв-
является блоковым кодом длины п для сети каналов, показанной
на рис. 2.5; допуская некоторую неточность терминологии, будем
называть такую сеть каналов КМД.
Для каждого вектора z с компонентами, занумерованными
элементами некоторого множества Е, и для каждого подмно-
подмножества F cz E через zp будет обозначаться вектор, состоящий из
тех компонент z, номера которых лежат в F.
Пусть задан блоковый код длины п для сети каналов. Будем
считать, что кодеры /6, 6 ( В, определены на декартовом произ-
произведении М =4= X а£л Ма всех множеств сообщений, полагая
/ем= х м
а€ А
Для каждого подмножества В' сг В положим
Наконец, для каждого вектора сообщений m ^ Ми каждой
выходной вершины с £ С обозначим через К^ (т) сг Х£ мно-
множество тех последовательностей х £ Х^, для которых декодер
в с правильно воспроизводит требуемые сообщения, т. е.
К,(т)А{х: х<=Х", ф
9 Чисар И., Кёлнер Я-

258 Гл. 3. Многотерминальные системы
Тогда для данного вектора сообщений m вероятность ошибки
на выходе с задается формулой
ес (ш) А. 1 - ^?(К,*(т) |/8сПв (т)). B.21)
Средняя (соответственно максимальная) вероятность ошибки на
выходе с есть
ёо = ё (W1, f, фс) А-р^р
= e(Wnc, f, фс)Атахес(т)\. B.23)
^ /
ОПРЕДЕЛЕНИЕ 2.6. Вектор R с компонентами Ra =& О,
a G А, называется г-достижимым вектором скоростей для дан-
данной сети каналов, если для любого б > 0 и любого достаточно
большого п существует блоковый код длины п для сети каналов
со скоростями
(l/n)log|Ma|5s/?a —б, а е А,
и средними вероятностями ошибки
ёе < е, с £ С.
Достижимыми векторами скоростей являются те, которые е-до-
стижимы для любого е > 0. Множество всех достижимых векто-
векторов скоростей называется областью пропускной способности
сети каналов.
Заметим, что определение 2.6 является непосредственным
обобщением соответствующего определения для КМД (см. опре-
определение 2.1.), если рассматривать КМД как сеть каналов, изобра-
изображенную на рис. 2.5 (задачи 8, 9).
ЗАМЕЧАНИЕ. Достижимые векторы скоростей и область
пропускной способности можно определить, используя макси-
максимальные вероятности ошибки вместо средних. Определенная
таким образом область пропускной способности будет называться
областью пропускной способности для максимальной вероятности
ошибки, в то время как определенная выше область — областью
пропускной способности для средней вероятности ошибки. Наши
определения, выделяющие среднюю вероятность ошибки, введены
частично из соображений удобства, поскольку большинство имею-
имеющихся результатов относится к этому критерию точности (зада-
(задача 10). Кроме того, другой естественный подход, связанный с тем,
что допускаются случайные кодеры, в любом случае приводит
к области пропускной способности для средней вероятности
ошибки (задача 11).
В заключение мы кратко укажем, как может быть сформули-
сформулирована для многотерминальных сетей (глубины 2) задача о пере-
передаче для источника и канала.

§ 2. Каналы с множественным доступом 259
ОПРЕДЕЛЕНИЕ 2.7. Сеть источников и каналов (дискретная
и без памяти) состоит из ДМИБП и сети каналов, причем ком-
компоненты ДМИБП поставлены во взаимно однозначное соответ-
соответствие с входами сети. Блоковый (k, я)-код для сети источников и
каналов — это блоковый код длины п для сети каналов, такой,
что множество сообщений для каждого входа является k-й де-
декартовой степенью алфавита соответствующего источника.
Вероятность ошибки на выходе с для данной сети источников
и каналов и данного блокового (k, /г)-кода определяется оче-
очевидным образом как усреднение вероятностей ошибки ес (т)
(см. B.21)), где т пробегает все последовательности длины k
реализаций данного ДМИБП, и усреднение проводится по сов-
совместному распределению, задающему источник.
ОПРЕДЕЛЕНИЕ 2.8. Предельная минимальная скорость пере-
передачи (ПМСП) для сети источников и каналов есть минимум ве-
величины lim/г-оо tik/k по всем последовательностям блоковых
(k, /гй)-кодов, для которых вероятность ошибки на каждом вы-
выходе стремится к 0.
ЗАМЕЧАНИЕ. В приведенном определении мы предполагали,
что на каждом выходе сети используется критерий точности по
вероятности ошибки, т. е. сообщения компонент источника,
предназначенные для данного выхода, должны воспроизводиться
с малой вероятностью ошибки. Ясно, как распространить это
определение на более общие критерии точности (задача 12). В на-
настоящее время, однако, в этом направлении не получено почти
никаких результатов. В отличие от классической (двухтерми-
нальной) теории ПМСП для сети источников и каналов нельзя
определить, решая отдельно задачи кодирования для источника
и для канала.
ОБСУЖДЕНИЕ. Основным математическим содержанием этого
параграфа является решение задачи кодирования для простой
сети каналов (теорема 2.4). Для прямого утверждения (теорема 2.3)
существует непосредственное доказательство, использующее слу-
случайный выбор кодов (задача 7); мы предпочли, однако, вывести
ее из теоремы кодирования для вилочной сети (источников), под-
подчеркивая таким образом тесную связь между двумя задачами.
Мы ввели также сравнительно общий класс задач кодирова-
кодирования для многотерминальных сетей каналов и разработали про-
простые графические правила для представления таких задач. Основ-
Основное ограничение нашего общего подхода состоит в том, что все
операции кодирования производятся одновременно, а не после-
последовательно. Достаточно легко обобщить модель таким образом,
чтобы включить в нее, например, обратную связь. Поскольку
о задачах, не входящих в наше описание, известно очень мало
(см. задачи 18, 19), мы не видели причин формулировать более
общие определения.
9*

260 Гл. 3. Многотерминальные системы
Фундаментальной задачей для сети каналов (как, например,
для КМД) является задача о нахождении вычислимой характе-
ризации области пропускной способности. Следует обратить вни-
внимание на несколько аспектов атой задачи. Во-первых, опреде-
определения 2.1 и 2.6 области пропускной способности отражают «пес-
«пессимистическую точку зрения». Именно, при определении дости-
достижимых векторов скоростей требовалось, чтобы коды с малой
вероятностью ошибки и скоростями, примерно равными данным,
существовали для любой достаточно большой длины блока п.
Оптимист был бы удовлетворен существованием бесконечной по-
последовательности таких кодов. Можно, однако, показать (см.
задачу 22), что «оптимистический» подход всегда приводит к той же
области пропускной способности, что и подход, принятый в тек-
тексте. Эквивалентность двух определений для КМД очевидна,
конечно, из доказательства теоремы 2.4. Во-вторых, в то время
как выбор между «оптимистическим» и «пессимистическим» под-
подходами не влияет на область пропускной способности сети кана-
каналов, использование максимальной вероятности ошибки вместо
средней приводит, вообще говоря, к меньшей области пропускной
способности. Это может случиться уже для КМД (задача 3).
Однако при использовании стохастических кодеров оба крите-
критерия точности приводят к одной и той же области пропускной спо-
способности. Эта область совпадает с областью пропускной способ-
способности для средней вероятности ошибки из определения 2.6 (за-
(задача 10). В-третьих, заметим, что по крайней мере для сетей
каналов, имеющих более одного выхода, область е-пропускной
способности (для средней вероятности ошибки) может превышать
область пропускной способности, если е велико; см. задачи 6,
8 и 2.5.11. Неизвестно, может ли это произойти для любого е
или для сетей каналов с одним выходом.
Наконец, многотерминальные задачи отличаются от класси-
классических (двухтерминальных) также и тем, что здесь задача о пере-
передаче для источника и канала не может быть сведена к комбинации
задач о кодировании для источника и для канала (задача 1).
В частности, задача о ПМСП для общего КМД и произвольного
ДМИБП кажется очень трудной, хотя область достижимых ско-
скоростей для соответствующей сети источников и область пропускной
способности для соответствующей сети каналов хорошо известны
(задача 5, 12).
В задачах к этому параграфу рассматривается несколько сетей
каналов. Один из методов нахождения достижимых векторов
скоростей основан на тесной связи между сетями каналов и ис-
источников (теорема 2.3, задачи 14—17). Другой обычный метод
состоит в случайном выборе кодов. К сожалению, вычислимое опи-
описание области пропускнойспособности известно лишь для отдельных
случаев. Они рассматриваются в следующих ниже задачах и в § 4.

§ 2. Каналы с множественным доступом 261
Задачи
1 (независимые каналы). Пусть заданы два канала Wx : X -*■ Zx н W2: Y -*■
-*■ Z2. Рассмотрим КМД {W: Xx Y ->- ZxXZa}, такой, что
W (z1( ^ | *, у) й Wx (Zl | x) W2 (% | j/).
Покажите, что для этого КМД и произвольного ДМИБП, порожденного СВ
S, Т, ПМСП, определенная формулой B.1), равна
L = min max (RjC-ь RjC2),
где Я (S, Т) — область достижимых скоростей для вилочной сети с заданным
ДМИБП, а Сг — пропускная способность ДКБП {tt'';}. i— 1,2.
Замечание. Эта задача проста, потому что рассматриваемый КМД является
независимой композицией двух ДКБП. Общая задача трудна нз-за «коррели-
«коррелированного шума».
2 («МД-пропускная способность» ДКБП). Определим МД-пропускную спо-
способность ДКБП {W: XxY->Z} как наибольшее R, для которого при любых
е > 0, б > 0 и любом достаточно большом п существует блоковый МД-код длины л,
который — рассматриваемый как обычный блоковый код — имеет вероятность
ошибки, меньшую е, и скорость, большую R — б.
(a) Покажите, что МД-пропускная способность равна max / (X, Y /\ Z),
где X, Y — независимые СВ, a Z связана с (X, Y) каналом W.
Указание: использовать теорему 2.4.
(b) Приведите пример, показывающий, что МД-пропускная способность
канала {W: XxY -»- Z} может быть меньше, чем его обычная пропускная спо-
способность.
3* (максимальная вероятность ошибки). Определим область пропускной
способности КМД {W: XxY->- Z} для максимальной вероятности ошибки,
используя в определении 2.1 максимальную вероятность ошибки вместо средней.
Покажите, что область пропускной способности для максимальной вероятности
ошибки может быть меньше, чем область пропускной способности для средней
вероятности ошибки, определенная в тексте.
(Dueck A978).)
4 (стохастические кодеры). Блоковый МД-код длины п со стохастическими
кодерами — это тройка (F, G, е), где F: Мх ->■ X™ и G: My -*■ Y" — стохасти-
стохастические матрицы, а ф: Z" —>-М' гэ МххМу — обычный декодер. Вероятность
ошибочной передачи пары сообщений (/пр т^ £ МххМу по КМД {W: XxY-»-
—»- Z} с помощью этого кода равна
emi>m2 й 1 - 5] 2 F (х | /щ) G (у | /я,) Wn (ф-1 (щ, /я,) | х, у).
Y
Определите область пропускной способности КМД со стохастическими кодерами
для средней н максимальной вероятностей ошибки. Докажите, что в обоих слу-
случаях получается та же область пропускной способности, что и в определении 2.1.
(Ahlswede), частное сообщение в 1977 г.)
Указание: доказательство аналогично доказательству теоремы 2.6.13.
(i) Покажем сначала, что если (i?x, Ry) — достижимая пара скоростей
в смысле определения 2.1, то для любых s> О, б>Ои любого достаточно боль-
большого п существуют блоковые МД-кодеры (f, g, ф) длины п, такие, что каждое
множество сообщений является объединением непересекающихся подмножеств
нз л2 элементов каждое:
L М
МХ= U АЬ MY= U Bm, |A,| = |Bm|=.
/=1 т=1

262 Гл. 3. Многотерминальные системы
причем A/тг) log L > /?х — 6, A/тг) log М > /?у — в, и внутри каждой пары
множеств А;, Вт сообщений средняя вероятность ошибки меньше 8, т. е.
а
*».»•.(*"•f'*^-ф)<е> /=i ^ «=i..... л«.(*)
Для этого обозначим через (/, g, ф) МД-код длины /г' < п с множествами сооб-
сообщений {1, ..., L), {1, ..., Af}, где
A/л') log L > «х — F/2), A/n') log Af > #у — F/2),
и положим
е (I, т)йЛ — Wn' (ф-1 (/, т) | / (/), § (от)).
Пусть Si, ..., Sk, 71! 7\—независимые СВ, равномерно распределенные
на {1, ..., L) и соответственно на {1, ..., М). Тогда для каждых фиксирован-
фиксированных I и т
L и
E? (I + SU m + Tj) = jjf 2j 2j e (/> т) = ё ^"'' f' g' ф)
(где сообщения складываются по модулю L (соответственно по модулю М)).
Полагая Ti+rk й Т{+к_кд.ля каждого фиксированного k, если i'. -\- k >• iC, полу-
получаем, что СВ е (I-\- Si, m -f- 7"z+ft) независимы. Как и при доказательстве лем-
леммы 2.6.8, отсюда следует, что
Ргр<
откуда
I X X 1
Рг I "К" Zj Zj eV + Sj, m + Ту) < e для всех 1 < /^ L, 1 < m < М \ >
> 1 — KLM ехр {—iC [е — log (I + ё (Wn', f, g, ф))]}-
Полагая К = я2, получаем, что последняя вероятность положительна, если,
скажем, ё (Wn', /, g, ф) < ехр (е/2) — 1. Этого можно добиться, если считать л'
достаточно большим. Поэтому существуют sp ..., sn2, tl tnl, такие, что
*■ ж Sj, m -\- tj) < е для 1 ^ / ^ L, 1 ^ m ^ Af.
Пусть теперь п' < п выбрано так, чтобы я'/я -*- 1 и существовали блоковые МД-
коды (f, g, ф) длины я—я' с множествами сообщений {1, ..., л2} и средней веро-
вероятностью ошибки, меньшей е. Положим
Мх й {1, .... л2} х {1, .... -М> Му = {1, .... л2} X {1, .... М),
1 (/, /) £ f @ / (/ + sO, й (/. «) й, й (/) * (« + О)-
Тогда при очевидном определении ф мы получим требуемый код с А / = {1, ..., л2} X
X {/}, Вщ = {1, •■■, я2} X {т}. Соотношение (*) будет выполняться с 2s вместо 8,

§ 2. Каналы с множественным доступом 263
(ii). Из (i) следует, что каждая пара (R^, Ry), достижимая в смысле опре-
определения 2.1, достижима также в смысле максимальной вероятности ошибки, если
разрешить использовать стохастические кодеры (пусть F и О — стохастические
кодеры с множествами сообщений соответственно {1, ..., L} и {1 М), где
F (• | I) и G (• | т) сопоставляют веса 1/п2 кодовым словам f (т±), т± £ А;, и
соответственно g (т^), т2 £ Вт). Для доказательства того, что каждая пара
(/?х, Ry), достижимая в смысле средней вероятности ошибки для стохастиче-
стохастических кодеров, достижима также для детерминированных кодеров, следует рас-
рассуждать точно так же, как при доказательстве теоремы 2.6.13.
5 (передача независимых источников по КМД). (а) Покажите, что область
пропускной способности КМД определяет ПМСП (см. B.1) для 2-источников
с независимыми компонентами. Точнее, для 2-источника с независимыми компо-
компонентами, порожденными СВ 5 и Т, ПМСП равна
L = min max (H (S)/Rx , H (T)lRy)
(«X«Y) V "
где (/?x> Ry) пробегает область пропускной способности данного КМД.
Указание. Если (аН (S), аН (Т)) — достижимая пара скоростей для неко-
некоторого а> 0, то существование блоковых (k, /г)-кодов с множественным досту-
доступом, для которых kin -*■ а, а вероятность неправильного воспроизведения сооб-
сообщений длины k мала, следует нз (i) предыдущего указания аналогично зада-
задаче 2.6.10 (следует разбить Т?ст и Т^^на п2 подмножеств с примерно одинаковой
вероятностью). Обратно, если (/, g, ф) — произвольный (k, п)-блоковый МД-код,
то ограничение / и g на последовательности типа Р и Q приводит к МД-коду
(Fp> gn> Ч>) с множествами сообщений соответственно Тр и TQ; вероятность не-
неправильного воспроизведения сообщений длины k является взвешенным сред-
средним ё (Wn, fp, g», ф) для различных пар (Р, Q). Поэтому если эта вероятность
стремится к 0 и kin стремится к а, то пара (аН (S), а.Н (Т)) является достижи-
достижимой парой скоростей для данного КМД.
(Ь) По аналогии с п. (а) и задачей 1 можно было бы предположить, что для
любого 2-источника и любого КМД ПМСП равна
min max (R,/Rx, RylRy),
где (/?!, Rz) пробегает область достижимых скоростей данного ДМИБП, а (Лх, Ry)
пробегает область пропускной способности данного КМД. Приведите контр-
контрпример к этому предположению.
Указание: рассмотреть 2-источннк, компоненты' которого принимают оди-
одинаковые значения с вероятностью 1, и КМД {W: XxY—*■ Z}, для которого МД-
пропускная способность меньше обычной пропускной способности; см. задачу 2.
6 Приведите пример КМД, для которого некоторые достижимые пары
скоростей ие удовлетворяют B.2) ни для какой пары независимых СВ X, Y.
(Такой пример был построен независимо авторами, см. указание ниже,
и в работе Bierbaum—Wallmeier A979).)
Указание. Пусть X = Y = Z й {0, 1}, W @ | 0, 0) = W A | 0, 1) =
= W A | 1, 0) й 1, W @ | 1, 1) й 1/2. Тогда A,0) и @, 1) являются достижи-
достижимыми парами скоростей, откуда по принципу разделения времени достижимой
является и любая пара (/?х, Ry) с Rx-f- Ry = 1. Однако те из этих пар, у ко-
которых обе компоненты положительны, не могут удовлетворять B.2), поскольку
если X и Y независимы и невырожденны, то / (XY Д Z) < 1.
7 (случайный выбор МД-кодов), (а) Приведенное в тексте доказательство
теоремы 2.3 основано на усреднении ё (Wn, f, g, ф) по некоторому семейству
кодов (см. B.4)), т. е. на той же идее, на которой основан метод случайного вы-
выбора кодов. Докажите теорему 2.3 непосредственно, используя этот метод.

264 Гл. 3. Многотерминальные системы
Указание. Пусть (/?х, Ry) — пара скоростей, удовлетворяющая B.2).
Рассмотрим множества сообщений Мх и Ыу, состоящие соответственно из
[exp [n (Rx — б)}] и [exp |л [Ry — б)}] ^элементов. Выберем кодеры / и g
случайно, выбирая кодовые слова, ^ отвечающие различным сообщениям т1 £
£ Мх (соответственно т2 £ Му), независимо друг от друга и согласно равно-
равномерному распределению на Tj^j (соответственно T^Kj). Для заданных / и § опре-
определим ф, полагая ф (z) Д (т,, /л^,), если z <£ Т^^ (/ (от^, § (m^j) и (/Hj, m2) —
единственная пара с этим свойством, и <р (z) = m' £ Mx хМув остальных слу-
случаях. Показать, что математическое ожидание ё {Wn, f, g, ф) по этому случай-
случайному ансамблю кодов стремится к 0 при п. -*- оо.
(Cover A977, не опубликовано).)
(b) Докажите непосредственно, без использования принципа разделения
времени, что если X, Y, Z, U — СВ, для которых X-Q- U ■& Y, U' ■& XY О Z
и Z связана с XY каналом W, то каждая пара (.Л?х, Ry), удовлетворяющая не-
неравенствам B.20), является достижимой парой скоростей для КМД {W}.
Указание. Поступать аналогично п. (а) с той разницей, что кодовые слова
выбираются теперь (случайно) соответственно из множеств Т^х |ц](и) и Т£К| и^ (и)
для некоторой фиксированной по-
последовательности и £ "l"[tn-
8 (составной КМД). (а) Покажите,
что сеть источников Haj рис. 2.6 (а)
представляет собой составной ДКБП
с информированным декодером (см.
задачу 2.5.13), .задаваемый двумя ком-
компонентами сети. В частности, область
пропускной способности есть интер-
интервал [0, С (Ж)], где С (ЗГ) —про-
—пропускная способность этого состав-
а ь ного ДКБП.
рис 2 6 С5) Сеть каналов, изображенная
. . _ „ ' ',,". ,,.,„ на рис. 2.6 (Ь), называется КМД
(а) Составной канал. (Ь) КМД с двумя с двумя входами и двумя выходами; ее
входами и двумя выходами. можно представлять ce6ej какХсостав-
ной КМД с информированным декоде-
декодером. Пусть X, Y — независимые СВ и 2Х (соответственно Z2) — СВ, связанная
с (X, Y) компонентой Wt: X X Y -*■ Z± (соответственно W2: XxY-*- Z2). Дока-
Докажите, что все пары (i?x> Ry), удовлетворяющие неравенствам
0 < Rx < min (/ (X Л 2, | К), I(X I\Z2\ К)),
0 < Ry < min (/ (Y A Zi\ X), I (К A 22 | X))t
R* + Ry< min (/ (X, Y Л Z{), I(X,Y A 22)),
достижимы для сети каналов на рис. 2.6 (Ь).
Указание: метод случайного выбора£кодов из задачн~7 (а) показывает, что
все пары (Лх> Ry)> удовлетворяющие этим неравенствам, достижимы.
(c) Покажите, что область пропускной способности сети каналов, изобра-
изображенной на рис. 2.6 (Ь), совпадает с множеством всех пар (Rx, Ry), таких, что
для некоторых СВ X, Y, U, Zlt Z2, для которых X-&U-&Y, U-Q-XY-Q-Z^
и Zj (соответственно 22) связана с (X, Y) каналом W± (соответ-

§ 2. Каналы с множественным доступом 265
ственно W2), выполнены неравенства
О < Rx s£ min (/ (X /\ Zx | YU), I (X /\ Z2 \ YU))t
О <#у < min G (Y Л Zx | Xf/), / (К Д 22 | XU))t
#X + #Y < min (/ (*K Л 2, | {/), / (XK дг2 | £/)).
Кроме того, можно предположить, что I U I <I 6.
(Ahlswede A974 а).)
Указание. Прямое утверждение вытекает из случайного выбора кодов в за-
задаче 7 (Ь). Обратное утверждение можно доказать рассуждениями, аналогичными
доказательству теоремы 2.4, которые нужно применить к обеим компонентам
канала. Обозначая выходную последовательность /-й компоненты канала через
Z" = Zfl ... Zjn (/=1,2), заметим, что, например,
Л Zn \Yi) = Г(Х AZj\ YU),
где U— СВ, равномерно распределенная на {1, ..., п) и не зависящая от всех
других СВ, a X й, Хц, Y = Yjj, Zj й Zju. Для доказательства того, что можно
взять | U | ^ 6, следует использовать лемму о носителе (лемма 3.4) из следую-
следующего параграфа.
(d) Приведите пример, показывающий, что описанная область пропускной
способности может быть больше, чем выпуклое замыкание объединения всех
множеств, построенных по парам независимых СВ, как в п. (Ь).
Указание. Пусть X = Y й {0, 1, 2, 3}, Z й { 0, 1},
если х £ {0, 1}, у £ {0, 1}, z= x или
х € {2, 3}, у е {2, 3}, г = у.— 2,
в остальных случаях
если х £ {0, 1}, у € {0, 1}, г = у или
х € {2, 3}, у £ {2, 3}, z = х ~ %
\11 в остальных случаях.
Проверить, что A/2, 1/2) является достижимой парой скоростей для КМД с двумя
входами и двумя выходами, задаваемого Wlt W2, которая не принадлежит ука-
указанному выпуклому замыканию.
9 (двусторонний канал). Сеть каналов на рис. 2.7
называется двусторонним каналом. Можно считать,
что левая (правая) часть изображенного на рис. 2.7
канала расположена в «левом» («правом») терми-
терминале (реального) канала, по которому можно пере-
передавать сообщения в обоих направлениях. Покажите,
что с точки зрения области пропускной способности
эта сеть каналов эквивалентна сети, изображенной на
рис. 2.6 (Ь). Выведите отсюда, что область пропускной
способности двустороннего канала совпадает с мно-
жеством пар (/?х, Ry), для которых существуют
СВ X, Y, Zu Z2, как в задаче 8 (Ь), удовлетворя- Лвустооон'ий ' нал
ющие условиям Двусторонний канал.
О < Rx < / (X Л Z2 | К), 0 < Ry < / (К Л -Zj | X).
(Shannon A961); ои первоначально поставил более сложную задачу (см.
задачу 19). Шеннон определил указанную область пропускной способности непо-
средстз in о, не связывая эту задачу с КМД.)
w2
(?
(z\
1*.
ll>
f
llt>
i
1
1/2
1

266 Гл. 3. Многотерминальные системы
Указание. Определим канал W±: X X Y -*- Z1 х X, полагая Wx (z, х' \х, у)й
.Д. W1 (z х, у) б (х, х') (где б (х, х) = 1, б (х, х') = 0, если х' ф х), и пусть
каиал W%: X X Y -*- Z2 x Y определяется аналогично. Тогда каждый^код для КМД
с двумя входами и двумя выходами,»имеющего компоненты W±, W2, задает код
(имеющий ту же вероятность ошибки) для двустороннего канала с компонентами
Wi, W2. Для кодов с различными кодовыми словами верно и обратное, и оче-
очевидно, что для нахождения области пропускной способности достаточно рас-
рассматривать коды с различными кодовыми словами. Указанная характеризация
области пропускной способности вытекает теперь нз задачи 8 (с), поскольку пер-
первые два неравенства из задачи 8 (с) с (Z±, X) и (Z2, Y) вместо Zx и Z2 соответственно
сводятся к неравенствам
О < #х < / (X Д Z2 | YU), 0 < Ry < I (У A Z\ | хи).
а третье неравенство следует из первых двух.
10 (стохастические кодеры). Определите блоковые коды со стохастическими
кодерами для произвольной сети каналов, заменяя отображения /ь в определе-
определении 2.5 на стохастические матрицы F&. При этом B.21) следует заменить на
ec(m)Al-2H7c"(Kc(m)|x) Д Fb (x, | mS )
6€ScnB
где х = 1хЛ пробегает прямое произведение множеств Х£, Ь £ Sc П В. Опре-
Определите достижимые векторы скоростей и области пропускной способности для
кодов со стохастическими кодерами при максимальной и средней вероятностях
ошибки. Покажите, что обе эти области пропускной способности совпадают
с областью пропускной способности из определения 2.6.
Указание. См. задачу 4. Аналогично (*), покажите сначала, что для каж-
каждого достижимого вектора скоростей существуют блоковые коды длины п с тре-
требуемыми скоростями, у которых множества сообщений Ма, а £ А, являются
объединениями непересекающихся множеств ES("\ t= 1, ..., La, из п элемен-
элементов каждое, удовлетворяющих условиям
„—21А| ^ ес(ш)<8 для каждого i £ X U> • - •• L<*} и -с £ С,
т€ Ег at A
Etu X Е<«>. если i ={»■„}„ € а-
a£ A
11 (широковещательные каналы: области пропускной способности для мак-
максимальной и средней вероятностей ошибки совпадают), (а) Покажите, что если
в сети каналов есть только одна промежуточная вершина, то ее область пропуск-
пропускной способности для максимальной вероятности ошибки (с детерминированными
кодерами) совпадает с областью пропускной способности для средней вероят-
вероятности ошибки. Сети каналов с одной промежуточной вершиной и по крайней
мере двумя входными и двумя выходными вершинами называются широкове-
широковещательными каналами (см. §4).
Указание. Использовать задачу 10. Заметим, что если | В | = 1, то выраже-
выражение для ес (ш) в задаче 10 принимает вид
Таким образом, если максимальная вероятность ошибки кода со случайным
кодером меньше 8, то F (• | т)-вероятность множества {х: 1 — W" (Kc (tn) | x) ^
^ | С |е) должна быть меньше | С |"'. Пусть / (ш) £ Хп — любая последова-

§ 2. Каналы с множественным доступом 267
тельиость, ие принадлежащая ни одному нз этих | С | множеств. Таким образом
получается код с (детерминированным) кодером /, максимальная вероятность
ошибки которого не превосходит | С | е.
(Ь) Покажите, что результат п. (а) не распространяется на области 8-про-
пускной способности. В частности, может оказаться, что для максимальной ве-
вероятности ошибки область е-пропускной способности совпадает с областью про-
пропускной способности, а для средней вероятности ошибки это не так.
Указание: это так уже для сети на рис. 2.6 (а); см. задачу 2.5.11.
12 (передача независимых источников по сети каналов). Покажите, что в сети
источников и каналов в случае, когда СВ Sa, а £ А, порождающие источник,
независимы, ПМСП равна
L = min max Н (Sa)/Ra,
R а£А
где R= \Ra\ f пробегает область пропускной способности соответствующей
сети каналов.
Указание: см. задачу 5.
13 (общие каналы с множественным доступом). (а) Сеть каналов, изобра-
изображенная на рис. 2.8, с компонентами W-: X/=i^/^Yf, t= I, ..., г, называется
КМД с s входами и г выходами или s отправителями и г получателями. Обобщая
задачу 8 (с), определите область пропускной способности этой сети каналов.
Для каждой СВ U со значениями в конечном множестве U и каждого набора s
СВ Х-у, ..., Хя, таких, что Xt условно независимы при заданном 0, обозначим
через Ч? (U, Xlt ..,, Xs) множество всех, векторов R = (/?ь ..., Rs), таких, что
для любого l^i'^r и любого множества L d {1, ..., s} выполнены неравен-
неравенства
L Л у
здесь Yi —СВ, связанная с Хь ..., Xs каналом Wi и удовлетворяющая усло-
условию U ■&■ Хх ... Xs ■&■ К;. Докажите, что область пропускной способности равна
объединению всех множеств Ч? (U, Х±, ..., Xs). Далее, покажите, что достаточно
рассматривать U, для которых | U | ^ г Bs— 1).
(Ulrey A975).)
Указание: см. задачу 8 (с).
(Ь) Если Yj = Y для всех i = 1, ..., г, КМД с s отправителями и г получа-
получателями из п. (а) можно рассматривать как составной канал с множественным
доступом с s отправителями и одним получателем, который знает о том, какой
канал фактически использовался; см. задачу 2.5.13. Покажите, что, как и в слу-
случае двухтерминальных каналов, область пропускной способности не изменится,
если получатель окажется неинформированным, т. е. если для всех i = 1, ..., г
должен использоваться один и тот же декодер ф.
14 (сети каналов с одним выходом). Определите область пропускной спо-
способности произвольной сети каналов с одной выходной и двумя промежуточ-
промежуточными вершинами; см. рнс. 2.9 (а).
(a) Покажите, что (Ro, Rlt R2) > 0 — достижимая тройка скоростей в том
и только том случае, если существуют СВ U, X, Y, Z, такие, что X ■&■ U ■&■ Y,
U -е- XY -О- Z, Z связана с XY каналом W и
R± < / (X Л Z | YU), R2 < / (Y Л Z \ XU),
Ri + /?2 < / (XY Л Z | U), Ro+ Rt + #2 < / (XY Л Z).
(Slepian—Wolf A973 b).)
(b) Характеризация п. (а) области допустимых скоростей ие будет вычис-
вычислимой, если не удастся ограничить множество значений вспомогательной СВ U.
Покажите, однако, что можно считать, что | U | ^ | Z | -(- 3.

268
Гл. 3. Многотерминальные системы
(c) Выведите из п. (а), что общие сообщения можно посылать с положитель-
положительной скоростью даже в том случае, когда частные сообщения посылаются с оп-
оптимальными скоростями, т. е. может оказаться, что Ro > 0 даже в случае, когда
(/?i, Ri) — оптимальная пара скоростей для КМД {W: X X Y -*- Z}.
(d) Покажите, что при определении области пропускной способности про-
произвольной сети каналов с одной выходной и k промежуточными вершинами можно
считать, что число входных вершин меньше 2 .
Рис. 2.8.
Канал с множественным досту-
доступом, имеющий s отправителей и г
получателей.
Рис. 2.9.
(а) Общая сеть ка-
каналов с одной вы-
выходной и дву-
двумя вспомогатель-
вспомогательными вершинами.
(Ь). Вспомогатель-
Вспомогательная сеть источни-
источников.
(Вычислимая характернзация области пропускной способности общей сети
каналов с одним выходом приведена в работе Han A979).)
§Р Указание. Для доказательства прямого утверждения п. (а) заметим, что
если (Ro, Rit R%)—достижимая тройка скоростей и R[^R1, R^^R^, R'o^
< Ro + (Ri — R'i) + (Rz — #2). то (R'o, R[, #2) также достижима. Поэтому
достаточно проверить, что достижимыми являются те тройки, удовлетворяющие
неравенствам п. (а), для которых последние два неравенства превращаются в ра-
равенства, т. е. R± + R2 = 1 (XY Л Z | U), Ro= I (U f\ Z). Это можно [сделать
либо подходящей модификацией метода случайного выбора кода, либо следую-
следующим образом, аналогично доказательству теоремы 2.3.
Рассмотрим блоковые коды длины п с вероятностью ошибки, меньшей е,
для сети источников на рис. 2.9 (Ь), для которых скорости кодеров Un, Xn, Y"
равны Ry, Rx, Ry с
Я (X | UYZ),
У = H
RY > H (Y | UXZ),
Ry = Я (U [ Z),
a Z-кодер является тождественным отображением. Измельчим разбиения U",
X™, Y", задаваемые этими кодерами, таким образом, чтобы в новом разбиении
U"= U „=1^/71 каждое из множеств Ст состояло из последовательностей одного
и того же типа. Далее, для каждого и £ U" измельчим разбиения X" и Y" так,
чтобы в новых разбиениях Xм = U jLiAj- (u) и Y" = U '=1 В7- (и) каждое из

§ 2. Каналы с множественным доступом
269
множеств А; (и) и Bj (и) состояло из последовательностей, имеющих один итог
же совместный тип с и. Это можно сделать таким образом, чтобы по-прежнему
выполнялись неравенства
— log M — j
-LlogK —Я
— log L — Ry
Обозначим через срт> ;, j (z) тройку (u, x, у), которая является результатом деко-
декодирования в сети источников для и £ Ст, х £ А; (и), у£ В; (и) и данного z.
Тогда
м
X
Г к L
и)
(и)'и)е(и> '•л
где
е (и, I, /) =
а, с)
| Ст |/2
С'т. С по-
пог7
=?&(п, х, у)} | х, у).
Используя оценку для М, получаем, что существует такое т, для которого CmCZ
С Тр^], | Ст | ;> ехр \п(Н (U) — R\j — 26)| и выражение в квадратных скоб-
скобках меньше 2е. Тогда для некоторого множества С'т С Ст из | С^ | > | С |/2
элементов внутренняя двойная сумма будет меньше 4е для любого и
мощью границ для К и L и рассуждений, использовавшихся при доказательстве
теоремы 2.3, получаем, что для любого и £ С^, существуют индексы » = » (и),
/ = / (и), такие, что е (и, /, /) < 16е и
| А, (и) | > ехр \п (Я (Л-1 U) - RK - 26)},
| Ву (и) | > ехр |/г (Я (К | i/) -/?Y - 26)}.
Выбирая подмножества А (и) С А г (и), В (и) С Bj (и) с числом элементов, не
зависящим от и, которые по-прежнему удовлетворяют выписанным выше нера-
неравенству, а также неравенству
1
А (и) 11 В (и) |
2 2
A (u) y€B (u)
<е(и, », /) <С 1бе
для любого и£Ст, мы завершаем доказательство прямого утверждения.
Заметим теперь, что множество векторов (Rg, Rlt R2), определенных в п. (а),
выпукло и замкнуто (последнее следует из п. (Ь)). Поэтому обратное утвержде-
утверждение можно доказать рассуждениями, аналогичными использованным при дока-
доказательстве теоремы 2.4, взяв в качестве U СВ, равномерно распределенную на
множестве сообщений Мо.
Для доказательства п. (Ь) следует использовать лемму о носителе из сле-
следующего параграфа. Для доказательства п. (с) см. следствие 2.4 и задачу 6.
15 {интерференционный канал). Сеть каналов на рис. 2.10 (Ь) с компонен-
компонентами Wi'. Xi X Х2 -*- Yj, /=1,2, называется интерференционным каналом. За-

270 Гл. 3. Многотерминальные системы
метим, что она отличается от КМД с двумя входами и двумя выходами только
адресацией.
(a) Покажите, что если Яг < / (Хг Д У{), R* < I {Хг Д Y2) Для неко-
некоторой пары независимых СВ Х±, Х2 и СВ Y& связанных с (Х1г Х2) каналами
WI, i = 1, 2, то пара (Rlt R2) является достижимой парой скоростей.
(b) В силу принципа разделения времени выпуклое замыкание множества
всех пар из п. (а) является подмножеством области пропускной способности
интерференционного канала. Приведите пример, показывающий, что это под-
подмножество может быть собственным.
(а) КМД с двумя входами н двумя выходами. (Ь) Интерференцион-
Интерференционный каиал.
(с) Докажите, что область пропускной способности является замыканием мно-
множества таких пар (Rlt /?2), что для некоторого п., некоторых независимых СВ X"
Х% и СВ Y", связанных с (X", Х%) каналами W", i = 1,2, выполнены неравен-
неравенства
(Хпх А У"), R2^ A/«) / (*2г Л Y%).
(Вычислимая характеризация области пропускной способности неизвестна.
Характеризация через произведение пространств (с) приведена в работе Алсведе
(Ahlswede A973a)) как результат, полученный совместно с Огюстеном (U. Augu-
stin) и Вольфовицем (J. Wolfowitz); контрпример, нужный в п. (Ь), приведен
в работе Ahlswede A974a).)
Указание. Коды, достигающие скоростей R^ = / (Хг Д KJ, R2= I (X2 Д
Д К2), можно получить" либо методом теоремы 2.3 из кодов с дополнительной
информацией у декодера для 2-источников, порожденных переменными (Xlt Y±)
(соответственно (Х2, Y2)) либо непосредственно с помощью случайного выбора.
Прямое утверждение п. (с) следует из п. (а), в то время как обратное утвержде-
утверждение очевидно. В п. (Ь) следует заметить, что если W1 = W2 = W, то область
пропускной способности совпадает с областью пропускной способности КМД
{W: Хх X Х2~>- Y}.
16. (а) Другая сеть каналов, отличающаяся от КМД с двумя входами и
двумя выходами только адресацией, показана на рис. 2.10 (с). Покажите, что
пара неотрицательных чисел (Rlt R2) является достижимой парой скоростей для
этой сети, если для некоторых независимых СВ Хъ Х2 и для СВ К,-, связанных
с (Хъ Х2) каналами Wt, i = 1, 2, имеем
Ri<I (*i Л Yi I X2), Rz < / (X, Д Yt I Xt),
Ri + Rz ^ / (*Л Л Yt), R2<r(XiAYi).

§ 2. Каналы с множественным доступом
271
(Ь) Покажите что тройка (Ro, Rlt R2) > 0 является достижимой тройкой
скоростей для сети каналов на рис. 2.11 (а) с компонентами Wt: Хо X Хг X
ХХ2->- Y,, i = 1,2, если для некоторых независимых СВ Хо, Хъ Х2 и СВ
Yt, связанных с (Хо, Хъ Х2) каналами Wi, i= I, 2, выполнены неравенства
Ro
(Хо А
i Л
Хо),
Л У»\ Х2), R2 ^ / (Х2 Л У2
Ro
' (*o*i Л
/ (Х0Х2 Л
(Заметим, что п. (а) является частным случаем п. (Ь). Вычислимая характери-
зация области пропускной способности неизвестна даже в случае п. (а).)
Рис. 2. П.
К задаче 16.
Указание: соответствующие коды могут быть получены из кодов для сети
источников на рис. 2.11 (Ь) или непосредственно методом случайного выбора.
17 (ДКБП с двумя наблюдателями). Рассмотрим ДКБП {W: X -*■ Y}, в ко-
котором Y = Yj X Y2. Блоковый код длины п с двумя наблюдателями для этого
ДКБП — это четверка отображений /: М^ -*■ Хп,
Mj X M2 ->- M', М' ZD М/. Определим ■ф: Y" -»- М'
q>: Y" -*■ Mit i = 1,2,
полагая
■Ф(Уъ У2)^1р(ф1(У1). ф2(У2))-
Тогда (/, г|з) — блоковый код длины п для ДКБП {W} в обычном смысле. Средняя
вероятность ошибки для кода с двумя наблюдателями определяется как средняя
вероятность ошибки ё (Wn, f, -ф). Тройка (Ry^, Rlt R%) называется г-достижимой
тройкой скоростей для ДКБП с двумя наблюдателями, если для любого б > 0
и любого достаточно большого п существует блоковый код с двумя наблюдате-
наблюдателями (/, ф!, ф2, г|з) длины п, такой, что е {Wn, f, ij>) < е и выполнены нера-
неравенства
A/n) log | М^ | ^ /?х — б, (l/n) log || ф,- \\<R{ + 6, /=1,2.
Достижимые тройки скоростей и т. д. определяются обычным образом.
Докажите, что для каждой тройки СВ (X, Ylt Y2), в которой (Yu Y2) свя-
связаны с X каналом W, тройка скоростей (#х, Rlt R2), удовлетворяющая усло-
услоRi
достижима,
H(Yt\Y2),

272
Гл. 3. Многотерминальные системы
Указание: рассмотреть коды для сети источников, изображенной на рис. 2.12.
18 (канал с множественным доступом и обратной связью). Пусть задан КМД
{IF: X X Y—*-Y}. Полная обратная связь к X означает неформально, что в каждый
момент С все выходные символы г^ .... 2;_14известиы в промежуточной вершине
сети, которой сопоставлен алфавит^. В случае обратной связи кодеры нужно
определять, как в задаче 2.1.27, разрешая i-му символу кодового слова зависеть
не только от сообщения, ио и от предыдущих выходных символов.
Дайте формальное определение блокового кода длииы п для КМД с обрат-
обратной связью к X (соответственно кХ и к Y). Определите соответствующие области
пропускной способности. Покажите, что обратная связь может увеличить область
пропускной способности КМД, доказав следу-
следующее утверждение.
Для каждой четверки СВ (U', X, Y, Z), как
в задаче 14, из неравенств
О </?!</ (X Л Z | YU),
О < R2 < / (Y Л Z | XU),
#i + #2 ^ / (XY Л Z)
следует, что (Rlt R2) принадлежит области пропу-
пропускной способности КМД {W: X X Y -*■ Z} с пол-
полной обратной связью к X (или к Y).
(В работе Gaarder—Wolf A975)) было пока-
зано, что обратная связь может увеличить область
пропускной способности КМД. Сформулированный
результат был доказан в работе Cover—Leung Yan
Cheong A976, не опубликовано) в случае обратной
связи к X и к Y х). В работе Willems A982)* по-
показано, что для некоторых КМД область, описанная в этой задаче, совпадает
с областью пропускной способности при наличии обратной связи.
. В ^работе Бассалыго—Пинскер—Прелов A982)* вычислена пропускная
способность при нулевой ошибке для некоторых КМД. См. также работу Wil-
Willems A983)*. — Перев.)
Указание. Если R1 -j- R2 < / (XY /\ Z\ U), то пара скоростей (#ь R2)
достижима без обратной связи. В противном случае положим Д ~ /?i -(- R% —
— / (XY Д Z | U) > 0. Достаточно доказать существование списочных кодов
для сети каналов, изображенной на рис. 2.9 (а) с множествами сообщений Мо,
Мх и М2 = М% X М£, таких, что
(i) (tin) log 11И0 | = (Un) log | Щ | > Д — 8,
A/я) log \M1\>R1 — 8, (l/я) log | Щ | > R2 — Д — 6;
(ii) декодер может восстановить гщ с малой вероятностью ошибки;
(ш) если, кроме того, известны либо т1г либо т'2, вся тройка (т0, ту, т2)
может быть восстановлена с малой вероятностью ошибки.
В самом деле, из таких списочных кодов длины п можно построить коды для
КМД с обратной связью длииы, например In, с множествами сообщений М',
Mg: в каждом подблоке нужно посылать как новую информацию (т. е. некото-
некоторые т1 £ Mi, m2 £ М2), так и дополнительную информацию, необходимую для
декодирования предыдущего подблока (в качестве текущего /щ можио взять пре-
предыдущее ml, которое известно на X в силу предположения (iii) и наличия об-
обратной связи).
Нис. l.\l.
Вспомогательная сеть ис-
точников для КМД с дву-
мя наблюдателями.
г) Добавлено при корректуре. Сформулированное уточнение было также по-
получено Карлейлом (Carleial A979, ие опубликовано)); см. Cover—Leung A981)*,
Carleial A982)*.

§ 2. Каналы с множественным доступом 273
Коды для сети каналов, изображенной на рис. 2.9 (а), обладающие свой-
свойствами (i)—(iii), можно построить либо случайным выбором, либо аналогично
указанию к задаче 14, взяв Rxu Н (X \ U) — Rv Ry й Н (Y | U) — R2 -f Д.
Необходимое изменение конструкции, описанной в этом замечании, состоит
в том, что К-кодер сети источников должен приводить к измельчению разбиения 38
множества Y™. Это разбиение Я определяется кодером, имеющим скорость
Н (Y \ UXZ) -(- в и позволяющим воспроизводить К", если UnXnZn доступно
декодеру как дополнительная информация. После выбора подходящего т для
каждого и £ Ст можно найти ехр {п (Л — б)} множеств В^- (и) (вместо одного
множества), каждое из которых является подмножеством одного и того же эле-
элемента (зависящего от и) разбиения Я.
19 {двусторонний канал). Интуитивно ясно, что каждому из двух кодеров
в сети каналов, описанной в задаче 9, следует разрешить «использовать преды-
предыдущие выходные символы иа том же терминале». Это значит, что нам нужно рас-
рассматривать сеть на рис. 2.7 с обратной связью (от каждого из выходов к соответ-
соответствующей промежуточной вершине); в таком случае говорят о двустороннем
канале без ограничений.
(а) Дайте формальное определение блоковых кодов длины п. для этого слу-
случая. Заметьте, что вероятности ошибки нельзя определить в терминах компо-
компонент Wx и W2. Вместо этого следует ввести канал W: ХхУ-*- ZrZ2 (таким обра-
образом, чтобы одномерные распределения, соответствующие W (•, • \ х, у), были
равны Wi (• | х, у), i — 1,2). Задав такой канал W, определите вероятности
ошибки кода, а также достижимые пары скоростей и область пропускной спо-
способности двустороннего канала без ограничений.
(Ь)* Приведите пример двустороннего канала без ограничений, имеющего
большую область пропускной способности, чем соответствующая сеть каналов
на рис. 2.7.
(Dueck A979).)
(с) Покажите, что каждая достижимая пара скоростей принадлежит выпук-
выпуклому замыканию множества пар, удовлетворяющих неравенствам из задачи 9
для некоторых (быть может, зависимых) X и Y и соответствующих Zlt Z%.
(Shannon A961).)
СВЕДЕНИЕ ЗАДАЧ О СЕТЯХ КАНАЛОВ (задачи 20—22)
20. Определим нормальную сеть каналов как такую, в которой соответствую-
соответствующая сеть обладает следующими свойствами: (i) ни одно ребро не соединяет вход-
входную вершину с выходной; (И) каждая промежуточная вершина связана с каждой
выходной вершиной; (iii) ребра, соединяющие входные и промежуточные вер-
вершины, устанавливают между ними взаимно однозначное соответствие. Для таких
сетей можно отождествить множество А входных вершии с множеством В про-
промежуточных вершин, используя свойство (iii).
(a) Покажите, что каждую сеть каналов можно изменить так, чтобы оиа удов-
удовлетворяла условиям (i) и (ii), а ее область пропускной способности осталась
прежней.
(b) Пусть задана произвольная сеть каналов, удовлетворяющая условиям (i)
и (ii). Рассмотрим произвольные «предварительные каналы» Vb: Xg -*■ X*,,
b £ В, где Ха, а £ А, — произвольные алфавиты иХ|_ = Ха£1_Ха для каждого
множества L. Определим нормальную сеть каналов с компонентами Wc: Хд -*• ХС)
с £ С, где
Wc (*с | *А) = £ Wc (Ха | *в) П Vb (*Ь | *Sb)
хв ё хв ь € в
*А= Га}а£А. *3= \хь\ь£в)'

274 Гл. 3. Многотерминальные системы
и с адресацией, совпадающей с адресацией первоначальной сети каналов. Пока-
Покажите, что каждый достижимый вектор скоростей для этой новой сети каналов
принадлежит области пропускной способности первоначальной сети каналов.
Указание. Каждый код для новой (нормальной) сети каналов задает код
со стохастическими кодерами для первоначальной сети каналов. Далее нужно
использовать задачу 10.
21 (достижимые векторы скоростей для произвольных сетей каналов).
(а) Пусть заданы нормальная сеть каналов (см. задачу 20), семейство независимых
СВ ХА а_ \-Ха\ г и соответствующие СВ Хс, связанные с ХА каналами WC)
с£С. Покажите, что вектор R = {Ra} ,- с неотрицательными компонентами,
at; A
удовлетворяющими неравенствам
£ Ra<I(XL A*c|*Dc_L) Для любых с £ С, LCZDC)
af_ L
принадлежит области пропускной способности данной сети каналов.
Указание: рассуждать, как при доказательстве теоремы 2.3, рассматривая
коды для подходящей НСИ без помощников, или непосредственно, используя
метод случайного выбора кодов, как в задаче 7.
(b) Рассмотрим произвольную сеть каналов, удовлетворяющую условиям (i)
и (П) предыдущей задачи. Пусть £/д Л I UAa g A — произвольное семейство неза-
независимых СВ (со значениями в произвольных конечных множествах), Хь, Ь £ В —
СВ со значениями в Х6, условно независимые при заданных U А и такие, что
£/д О £/g ■& Xb для любого Ь £ В. Далее, пусть СВ Хс,с £ С,связаны с Хв А
= \Xb}b(:B каналами Wc и удовлетворяют условиям £/д ■&ХВ-&ХС. Покажите,
что вектор RA.j/?a|acA с неотрицательными компонентами является дости-
достижимым вектором скоростей, если выполнены следующие неравенства:
£ Яв< / (*/|_ Л *е | f/Dc-L) для любых с е С> LczDc-
Указание: см. п. (а) и задачу 20 (б).
(c) Определим £/д, как в п. (Ь), и пусть теперь СВ Хь и Хс принимают зна-
значения в X" и X" соответственно, и Хс связана с XQ каналом W™. Покажите, что
если £]а£ L %а < A/я) / (U\_ А Хс | UDc_L^ для любых с g С, LcDc, то
R = {Ra}a£ А — достижимый вектор скоростей.
22 (оптимисты и пессимисты). Пусть задана произвольная сеть каналов.
Покажите, что для любого 8 > 0 существует такое е > 0, что если некоторый
блоковый код с вектором скоростей R имеет средние вероятности ошибки ё^:е
для любого с £ С, то R — (б, 8, ..., б) — достижимый вектор скоростей. Выве-
Выведите отсюда, что «оптимистическое» определение области пропускной способности
приводит к тому же результату, что и «пессимистическое» определение, принятое
в тексте.
Указание. Аналогично задаче 20 (а), можно считать, что выполнены усло-
условия (i) и (п). После этого нужно применить задачу 21(с), взяв в качестве Ua
случайные величины, равномерно распределенные на множестве сообщений Ма
данного кода, и использовать неравенство Фано. (Это доказывает, что в действи-
действительности область пропускной способности совпадает с замыканием множества
всех векторов R вида, приведенного в задаче 21(с). Так получается невычисли-
невычислимая «характеризация в терминах произведения пространств» области пропускной
способности.)

§ 3. Характеривация энтропии и объема образа 275
Историческая справка
Теоретико-информационное исследование многотерминальиых сетей было
начато Шенноном (Shannon A961)), который сформулировал несколько задач
и доказал первую теорему кодирования для миоготерминальных сетей; см. за-
задачу 9. В упомянутой работе он писал о канале с множественным доступом как
о «случае, когда можно найти полное и простое описание области пропускной
способности». К сожалению, Шеинон больше не писал работ о миоготерминаль-
иых сетях, и вычислимая характеризация области пропускной способности КМД
была получена только в 1971 г. (Ahlswede A973а)); этот результат содержится
также в диссертации Liao A972, не опубликовано), процитированной в работе
Slepian—Wolf A973b).
Алсведе (Ahlswede A973a)) доказал теорему кодирования для КМД в не-
несколько другой форме. Настоящая формулировка появилась как частный слу-
случай результатов работ Slepian—Wolf A973b) и Ahlswede A974a). Идея построе-
построения кодов для сетей каналов из кодов для сетей источников возникла в совмест-
совместных беседах авторов и Р. Алсведе. Наше доказательство прямой части теоремы
кодирования для КМД представляет собой развитие этой идеи.
Сети каналов глубины 2 — это естественное обобщение моделей, рассматри-
рассматривающихся в этих работах, и «широковещательного канала» Ковера (Cover A972)),
который будет представлен в § 3.4.
§ 3. ХАРАКТЕРИЗАЦИЯ ЭНТРОПИИ И ХАРАКТЕРИЗАЦИЯ
ОБЪЕМА ОБРАЗА
Этот параграф носит технический характер. Рассматриваемые
здесь вероятностные задачи лежат в основе различных результа-
результатов о кодировании для источников и каналов в многотерминаль-
многотерминальных системах.
В § 1 мы видели, что задача нахождения области достижимых
скоростей для широкого класса сетей источников может быть све-
сведена к «задаче характеризации энтропии». В этом параграфе мы
решим такую задачу для 3-источников. Через X, Y, Z в этом
параграфе будут обозначаться случайные величины соответ-
соответственно со значениями в конечных множествах X, Y, Z. Через
V: X —»-Y, W: X —*Z будут обозначаться стохастические матрицы,
для которых
Рг { Y = у | X = х) = V (у | х), Pr {Z = г | X = х\ = W (z\x)
всегда, когда вероятности в левых частях равенств определены.
Вместе со случайными величинами X, Y, Z мы будем рассматривать
ДМИБП {(X;, Yi, Z()T=i, порожденный этими величинами.
Задача характеризации энтропии для 3-источника, порожден-
порожденного (X, Y, Z), в том виде, как она была первоначально сформу-
сформулирована, состоит в определении замыкания множества всех
векторов вида
(A/ft) Я (Х*|/(**)), {\lk)H(Y"\f{Xk)), (I/ft) Я (Z*|/(**))), C.1)
где k пробегает множество положительных целых чисел, а / про-
пробегает множество всех функций, заданных на X*. Одна из наших

276 Гл. 3. Многотерминальные системы
основных целей будет состоять в том, чтобы дать вычислимую
характеризацию множества векторов C.1). Кажется естественным
сравнивать это множество с другим, на первый взгляд большим
множеством, которое мы сейчас опишем. Для каждого положи-
положительного целого к положим
3»* = 3»а (X; Y; Z \ X) JL
^{((l/k)H(Xk\U), (Vk)H(Y*\U), (l/k)H(Zk\U)): U&Xk&YkZk\,
C.2)
где U пробегает множество всех СВ с конечным числом значений,
удовлетворяющих указанному условию марковости. Положим
2в = Ж(Х; Y; Z\X)£, замыкание О 9*к(Х\ Y; Z\X). C.3)
Ясно, что. замыкание множества всех энтропийных векторов C.1)
содержится в Ж. Оказывается, что это замыкание в действитель-
действительности совпадает с 36. Более того, мы укажем простой способ полу
чения 36 из 36Х. Это приведет к вычислимой характеризации 36
и, следовательно, к решению задачи характеризации энтропии.
Доказательства сильных обращений теорем кодирования для
сетей источников и каналов будут основываться на вычислимой
характеризации объемов некоторых множеств и их образов отно-
относительно двух ДКБП. В действительности эта задача тесно свя-
связана с предыдущими, так что мы будем рассматривать их одновре-
одновременно. Однако те из читателей, которых не интересуют сильные
обращения, могут пропустить большую часть текста после тео-
теоремы 3.9.
Перейдем к формальной постановке задач. Напомним (см.
§ 2.1), что множество В cz Y" называется т]-образом множества
А с X" относительно канала Vn: X" -> Y", если V'1 (В | х) ^ т]
для любого х £ А- Минимальный объем (число элементов) та-
такого множества В, обозначаемый через gvn (А, г\), использовался
при построении кодов для ДКБП {V}.
ОПРЕДЕЛЕНИЕ 3.1. Пусть заданы СВ X, Y, Z. Тройка
неотрицательных чисел (а, Ь, с) будет называться достижимой
тройкой энтропии в соответствующей задаче характеризации
энтропии, если для любого б > 0 и любого достаточно большого п
существует функция / на X", такая, что
(i) | (\ln)H{X«\f(X")) — a\ < б,
| A/л) Н (Y" | / (*«)) — b | < б, | A/л) Я (Z» | / (X")) — с | < б.
Множество таких троек будет обозначаться через &" (X; Y\ Z | X).
Далее, тройка (а, Ъ, с) будет называться достижимой трой-
тройкой экспонент для соответствующей задачи характеризации
объемов образов, если для любых 0 < е < 1, б>0 и любого

§ 3. Характеривация энтропии и объема обрава 277
достаточно большого л существует такое множество А с= Т?Л],
что
(п) |A/л) log|A| —а|<б, |A/л) loggvn(A, 1—e)-fe|<6,
| (I/п.) log gwn (A, 1 — s) — с | <: 6.
Множество таких троек будет обозначаться через 9 (X, Y,
Z\X). О
ЗАМЕЧАНИЯ, (i) Легко видеть, что @~ (X, Y, Z\X) совпадает
с замыканием множества энтропийных векторов вида C.1). Ясно,
что 8Г (X; Y; Z \ X) содержится в указанном замыкании. С другой
стороны, каждый вектор (а, Ь, с) вида C.1) удовлетворяет усло-
условию (i) для любого л, являющегося целым кратным k, откуда
легко получить, что (а, Ь, с) удовлетворяет (i) для любого доста-
достаточно большого л. Поэтому задача характеризации энтропии
эквивалентна нахождению 2Г (X; Y; Z\X).
(ii) Ясно, что каждое из множеств SF (X; Y; Z \ X), 36 (X;
Y; Z | X), 9 {X, Y, Z\ X) зависит не от совместного распределе-
распределения X, Y, Z, а лишь от распределения пар (X, Y) и (X, Z).
Мы получим вычислимые характеризации множеств &", 9', 36
и обсудим их взаимосвязь. Для этого важно понять, как объемы
образов связаны с информационными величинами.
ЛЕММА 3.2. Рассмотрим случайную величину Хп = Хх... Хп,
распределенную на некотором множестве A cz Xn, и случайную
величину Yn = Yx ... Yn, связанную с Хп каналом V": X" -»- Y".
Тогда для любых 6 > 0, 0 < г\ < 1, п js Щ (| X |, | Y |, б, т|)
A/л) Я (?") - б <: A/л) log gvn (А, л)- C-4)
Более того, если A cz Т?Х] — множество кодовых слов не-
некоторого (л, е)-кода для ДКБП {V\ и Хп равномерно распреде-
распределена на А, то при л ^ Ло (| X |, | Y |, б, г\) имеем также
(?«) + б -Ь е log | Y|^(l/n)log^n(A, i\). C.5)
Доказательство. Для доказательства соотношения C.4) до-
достаточно ввиду леммы 2.1.6 показать, что для некоторого гH =
= Ло (I Y |, б) при л 5г % (I Y |, б) имеет место неравенство
A/л) Н (Г») - F/2) <: A/л) loggyn (A, %). C.6)
Пусть В с: Y" есть тH-образ А, дающий gyn (A, %). Полагая
рп Л, Рт \Yn cz В\, имеем

278 Гл. 3. Многотерминальные системы
Таким образом, вводя СВ J, принимающую значение 1, если
Yn £ В, и значение 0, если Yn <£ В, получаем
Я (У») = Я (У) + Я (Y* | J) «j 1 +1A - pn) л log | Y | +
+ />„ log | В | < 1 + A - т|0) » log | Y | + log gvn (А, Ло).
Этим доказано неравенство C.6) при, скажем, г\0 = 1 —
— F/4 log | Y j).
Для доказательства C.5) вспомним, что при яг^я2((Х|,
| Y |, г\, б) множество
T[v](A)A U Tm(x) C.7)
является ввиду леммы 1.2.12 т]-образом А. Следовательно, по
лемме 1.2.13 при п ^ п3
\m\ (пЬ/3). C.8)
Далее,
Н (Yn | X") — пН (Y | X) - 2 Я (Г£ | Хг) — Я (Г | X) =
= S S (Ps.W-Px
1
где
р (Х) ^ J
/^ xtK ' я| А | /
'=! х 6 А
х).
Поскольку А <= Т[х] = Т[х]б , получаем, что \Р (х) — Рх (х) \ <:
<: бп, так что при л ^ я4 (I X |, | Y |, б)
\ Н (Yn\ Хп) — лЯ (Y | X) | <: лб/3.
Отсюда и из равенства log | А | = Я (X") получаем при помощи
неравенства C.8), что
A/я) log gvn (А, т]) <: A/п) Я (Х«, У») + B/3) б.
Поскольку А — множество кодовых слов некоторого (л, е)-кода,
неравенство Фано показывает, что
A/п) Я (Хп | Г") <: A/п) Л (е) + е log | Y |.
Из последних двух неравенств следует C.5) при п Зэ пъ. С

§ 3. Характеризация энтропии и объема образа 279
Предварительная форма основных конструкций этого параграфа
содержится в приводимой ниже лемме и ее следствии.
ЛЕММА 3.3. Имеем ЗЮХ{Х; Y; Z\X)<=9(X; Y; Z\X).
Точнее, для любого г\ > 0, любой пары случайных величин U, X,
любого п 5= п0 (| U |, | X |, л) и любого множества Е cz X", для
которого Рх (Е) ^ т], существуют подмножество АсЕ и по-
последовательность u £ T"t/], такие, что
А с= Т[х | с/] (и), Рх | и (А | и) з» т]/2. C.9)
Далее, если множество А и последовательность u £ Три] удо-
удовлетворяют C.9), то
| A/л) log | А | — Н (X | U) | <б, C.10)
и для любого канала V: X -> Y и любой СВ Y, для которых
U & X&Y, Рх i y = V при п ^ п, (| U |, | X |, | Y |, е, б, л),
имеем
| A/л) log^n (А, 1 — е) — H(Y\ U)\<. б. C.11)
Доказательство. Сначала мы покажем, что при достаточно
большом п существует такое множество Е с: T[U] положитель-
положительной вероятности, что
А)ЕТ()
удовлетворяет условиям C.9) для любого u £ F. По лемме 1.2.12
при п 5= п2 имеем Рх\и A[х \ щ (и) | и) ^ 1 — (т]/4), откуда
S Ри (и) Рпх | £/ (Е П Т[* | с/] (и) | и) ^ Р^ (Е) - (л/4) ^ Зл/4.
и££/"
Поэтому если л ^ лз ^ л2 таково, что P[U] (Т[£/]) ^ 1 —(V8),
то для
FAT[(/i Л (и: Р£|£/(.Е П Т[Му](и)|и)^т1/2}
имеем
Р& (F) 3= т]/8. C.12)
По определению множество А =4= А (и) для и £ F удовлетворяет
C.9).
Далее, ввиду лемм 1.2.13 и 1.2.14 любое множество, удовлетво-
удовлетворяющее условиям C.9), имеет объем, удовлетворяющий C.10).
Для проверки C.11) заметим, что для любых л ^ л4 и Ас
с: Т[х | щ (и) множество
В A U Т[У | *£/] (X, U)
х€ А
является A — е)-образом А относительно канала У£. В самом
деле, ввиду свойства марковости U о X о К из леммы 1.2.12
вытекает, что
К" (В | х) = PJ | j«/(В | х, иMэ 1 -е для х G А.

280 Гл. 3. Многотерминальные системы
По аналогии с леммой 1.2.10 имеем
Т[у | хи\ (х, u) cz Т[у | и] (и), если х £ T[* | с/] (и),
для подходящим образом определенных множеств Т[у | £/] (и);
см. б-соглашение 1.2.11. Таким образом,
A/л) logg^A, 1 — е)<: A/л) log | В | <: A/л) | log | Т[у ц/] (u) | <:
<H(Y\U) + 6 при А с= Т[Х i с/] (и). C.13)
С другой стороны, если ВсУ — произвольный A — е)-образ
множества А, удовлетворяющий C.9), то
Ру\и(В\и)^ 23 Рх\и(х\и)Уп(В\х)^(ц/2)A-г).
х£ А
Поэтому ввиду леммы 1.2.14 при л ^ л5 имеем
A/л) log gvn (д. 1 — в) Зэ Я G | t/) — б. □
СЛЕДСТВИЕ 3.3. Для любых б > 0, е > 0, п =3= л0 (I U |,
| X |, | Y |, б, s) по любой паре СВ U, X можно построить такую
функцию /: Хп ->U", что
(i) любой элемент u ^ Un из области значений / кроме зна-
значения и0, принимаемого с вероятностью
Рпх(Г1Ы)<е, C.14)
удовлетворяет условию
Г1 (и) с Tfr i щ (и), и е Т"У];. C.15)
(ii) для любой СВ Г с t/eXeF
' A/л) H(Y»\f (Хп)) < Я (У | f/) + б, C.16)
в то время как
| A/л) Н (Хп | / (Х-)) — Н (X | U) | <: б. О C.17)
Доказательство. Достаточно доказать требуемое утверждение
при s < е0 (| Y |, б). Последовательно применяя лемму 3.3 (с ц =
= s) при л Зэ ль можно найти такие непересекающиеся под-
подмножества Ai, ..., Am в X", что
Р'х (х'г- U А,-)<е C.18)
и для некоторых последовательностей и,- £ Т"^, i = 1, ..., М,
выполнены условия
А* <= T[*i и] (u<). ^x I и (At I u,) ^ s/2. C.19)
По лемме 3.3 из последних условий вытекает, что
| A/л) log | At | — Н (X | U) | < 6/2 C.20)

§ 3. Характеризация энтропии и объема образа 281
и при л $г п2 для любого Y с U -э- X -э- Y и Ру\х ~ V
| A/л) log gvn (A,, 1/2) — Я (У | 60 | < 6/2. C.21)
Положим
(и,, если х £ Аь 1 <: i <£■ /W,
u0 — произвольный элемент U", отличный от всех щ,
в остальных случаях.
Тогда из C.18) следует C.14). Соотношения C.15) выполнены
по определению. Далее,
A/л) Я (Х« | f (Х-)) = Я (X) - A/л) Я (/ (Х«)) 5э
Зг Я (X) — A/n) log (M + 1). C.22)
Поскольку в силу C.19) / является декодером некоторого (л,
1 — (е/2))-кода для ДКБП, связывающего U с X, следствие 2.1.4
дает, что при я ^ л3
A/л) log (М + 1) <: / (U А X) + 6.
Поэтому ввиду C.22)
A/л) Н {Xn\f (X")) S& Я (X | 60 ~ б. C.23)
Далее,
Я (У | / (X")) = PS (Г' (uo)) H{Yn\f (X") = и») +
+ ЦРх (Г1 (u,)) H(Yn\f (X") = uf) <
По лемме 3.2 имеем
Я (У» | / (Х«) = и.) <: log £„„ (Af, 1/2) + (лб/4)
для i = 1 М при л 3* л4. Поэтому неравенства C.21) и C.24)
доказывают, что
A/п) Я (У» | / (Х«)) <: Я(У | 60 + C6/4) + s log | Y |. C.25)
Если е < 6/4 log | Y |, то из C.25) следует C.16). Отметим, что
недостающая часть C.17) является частным случаем C.16). □
Мы уже отмечали, что наши вычислимые характеризации ST,
9 и 96 основаны на множестве Жг, введенном в C.2). Установим
теперь некоторые простые свойства 9вх = 2вх (X; Y; Z\X).
Заметим, что определение 36Х не дает автоматически вычислимую
характеризацию этого множества, поскольку оно не задает мно-
множество значений вспомогательной СВ U,- которое, таким образом,
может быть произвольно большим. Следующая лемма позволяет

282 Гл. 3. Многотерминальные системы
охарактеризовать Зё1 таким образом, чтобы все входящие в харак-
теризацию СВ принимали значения в конечных множествах.
ЛЕММА 3.4 (о носителе). Пучггь 5s (X) — семейство всех
распределений вероятностей «на некотором множестве X и fj,
\ = 1, ..., k, — непрерывные функции на 2Р (X) с вещественными
значениями. Каждой вероятностной мере \х на ст-алгебре борелев-
ских множеств $Р (X) можно сопоставить к элементов Pt £ &* (X),
И неотрицательные числа ось ..., а*, с 5]*=i а,- = 1 таким образом,
что для любого / = 1, ..., k
k
j fj(P)lx(dP)=%aifJ(Pi). О
& (X) '"=i
Доказательство. Требуемое утверждение является следствием
теоремы Феншеля—Иглстона—Каратеодори (см. Eggleiton A958),
теорема 18 (i)—(ii)). Эта теорема утверждает, что в ^-мерном
евклидовом пространстве каждая точка выпуклого замыкания
связного компактного множества Ж может быть представлена
в виде выпуклой комбинации не более k точек Ж. Обозначим теперь
через Ж образ £Р (X) при непрерывном отображении, задаваемом
формулой / (Р) А, (Д (Р), ..., fk(P)). Поскольку & (X) — связ-
связное компактное множество, это же верно относительной. Далее,
точка г с координатами
ПА. \ fj(P)»(dP)
принадлежит, очевидно, выпуклому замыканию Ж. Следова-
Следовательно, по теореме Феншеля—Иглстона—Каратеодори существуют
k точек / (Pi), ..., / (Pk) в Ж, выпуклой комбинацией которых
является г. П
ЛЕММА 3.5. Множество Жг (X; Y; Z | X) совпадает с мно-
множеством троек
(Я (X | U), Н (У | U), H (Z | U))
для всех СВ U, удовлетворяющих в дополнение к условию мар-
марковости
£/eX©KZ C.26)
также следующему ограничению на область значений
| U | < 1 X | + 2. О C.27)
Доказательство. Пусть задана СВ U, удовлетворяющая усло-
условию марковости C.26). Мы покажем, что существует другая СВ
U со значениями в множестве U = {1, 2, ..., | Х\ + 2}, такая,
что U -& X -& YZ и
(H(X\U), H{Y\U), H(Z\V)) = (H(X\U), H{Y\U), H(Z\U)).

§ 3. Характеризация энтропии и объема образа 283
Рассмотрим для этого | X | + 2 вещественнозначных непрерыв-
непрерывных функций на &* (X):
fx (Р) J^ Р (х) для всех элементов х £ X, кроме одного,
fx(P)^H(P), fv (Р) *. Н (PV), fw (P) A, H (PW),
где PV и PW — выходные распределения каналов V: X -> Y
и №: X -> Z, соответствующие входному распределению Р.
Применим к этой ситуации предыдущую лемму с распределением U
в роли ц. Точнее, рассмотрим распределение Рх\и ( -| ") как
элемент !Р (X), имеющий fi-меру Рг \U = и\. Ясно, что соответ-
соответствующие средние значения равны
Е Pr \U = u\ fx (Рх{и (• | и)) = Рг \Х - *},
S Pr {f/ = «}fx(/>x|i/(- |«)) = Я(Х| £/),
и
Z Pr {f/ = u\fv(Px\u(- \u)) = H(Y\ U),
и
Ц Pr {U = «}/^(Рх|у(- | и)) = H(Z\ U).
и
По лемме 3.4 существуют | X | + 2 элементов ut ^ U, i = 1,...
•.., | X | + 2 из множества значений £/ и числа а,- ^ 0 с Jj iii+2 cc,- =
= 1, такие, что
1X1 + 2
£ a,/, (Pjc|c/(- | «()) = Рг \Х = х\, C.28а)
[X |
S сс./х (Рх\и(-\ и,)) = Н (Х\ U), C.28Ь)
Z «t/v (^x |i/ (• I «<)) = Я (Г | f/), C.28с)
i=i
Z «*/w (^ it/ (• | "О) = Я (Z | f/). C.28A)
i=i •
Ввиду условия C.28а) существует СВ U со значениями в U,
такая, что
PVxyz (i, х, у, z) = at Pxyz \u (x, у, г \ ut)
для любых i G U, x 6 X, у 6 Y, z ^ Z. Тогда (£/, X, Г, Z)
удовлетворяют условию марковости C.26) и в силу соотношений
C.28)
H{X\TJ) = H{X\U), H(Y\U) = H(Y\U), H{Z\U) = H{Z\U).U

284 Гл. 3. Многотерминальные системы
ЛЕММА 3.6. Множество Жх = Жх (X; Y; Z \ X) является
выпуклым замкнутым подмножеством трехмерного параллеле-
параллелепипеда ^ "
{(а, Ь, с): 0 «g а <; Я (X), h\y \ X) « Ъ < Я (Г),
H{Z\X) < с< Н (Z)\. О
Доказательство. Из определения Жг ясно, что это множество
содержится в указанном параллелепипеде. Замкнутость Жх вы-
вытекает из леммы 3.5 и непрерывности информационных величин.
Для доказательства выпуклости рассмотрим две СВ Ult ^2.
удовлетворяющие условиям Uj -е- X е- YZ, i = 1, 2. Мы утвер-
утверждаем, что для любого 0 < а < 1
( а Л, аН (Х\ Ux) + A — а) Н (X\U%),
(а, б, с) G 5»i, где { б А аЯ (Г| f/J + A — а) Н (Y\U2), C.29)
(сАаЯ (Z\ иг) + A — а) Я (Z| f/2).
Пусть J — СВ, принимающая значения 1 и 2 с вероятностями а
и 1 — а и не зависящая от остальных СВ. Полагая U A= (£/y, J),
получаем, что точка, рассматриваемая в C.29), совпадает с точкой
(Н (Х\ U), Я (Y\ U), H(Z\ U)). Кроме того, U удовлетворяет
условию марковости C.26), поскольку
Я (YZ | XU) = аЯ (YZ \ XUJ + A — а) Я (FZ | XU-,) =
= Я (YZ\ X). а
Опишем теперь множество, с помощью которого будет получена
вычислимая характеризация SF и 36'. Это множество будет получено
из <3^i простым геометрическим преобразованием, состоящим
в дополнении <3^i отрезками параллельных прямых последова-
последовательно в двух различных направлениях. Точнее, для каждой
точки (а, Ь, с) ^ Жх (X, Y, Z \ X) рассмотрим также точки (й,
Ь, с) с
max [b — Я (Y \ X), с — Я (Z | X)] <: й < а.
Далее, для каждой полученной таким образом точки (й, Ъ, с) рас-
рассмотрим точки
(d-M, b-j-t, с+0: 0« *« min[# (Г) — &, Я (Z) — с]. C.30)
Множество этих точек будет обозначаться через Ж* = Ж* (X;
Y; Z\X).
Другими словами, определим
Ж* = Ж* (X, Y, Z\X)A.
Л. \(а, Ь, с): max [Ь — Я (Y | X), с — Я (Z | X)] «

§ 3. Характеривация энтропии и объема образа 285
где U пробегает множество всех СВ, удовлетворяющих условиям
C.26) и C.27) леммы 3.5 и
О <: t <: min [/ (U Д Y), I (U/\Z)]. C.32)
СЛЕДСТВИЕ 3.6. Множество Ж* = Ж* (X; Y; Z\X) яв-
является замкнутым выпуклым подмножеством трехмерного парал-
параллелепипеда
{(а, Ь, с): 0 < а <: Н (X), Н (Y\X) <: Ь <: Я (Y),
H(Z\X)<zc<: H(Z)\. О □
Следующая лемма является основой всех теорем, обращения
этого параграфа.
ЛЕММА 3.7 (сведение к однобуквенной характеризации).
Пусть Хп — произвольная СВ со значениями в X" и U -о- Хп о
■О- YnZn — произвольные СВ, такие, что Yn и Z" связаны с Хп
соответственно каналами V" и Wn. Тогда
((l/n) H (X"\U), A/n) H(Y»\U), A/я) Н {Ь | U)) е
€ «* (^. i7- 2|X),
где СВ X, Y, Z таковы, что
- и Р = V Р —W Г)
СЛЕДСТВИЕ 3.7. Ж (X; Y; Z | X) с Ж* (X; Y; Z\X). О
Доказательство. Заметим сначала, что без ограничения общ-
общности можно считать, что Yn -о- Хп -е- Z". Положим
аЛ,A/п)Н(Хп\0), bA,(l/n)H(Yn\D), с Д A/n) H (Zn\U). C.33)
Тогда можно написать следующую цепочку равенств:
n(c — b) = H(Zn\U) — H (Г" | U) =
= Я (Z» | С/) — Я (Г^ ... Zn | ?/) + Я (ГА ... Zn | £?) —
-я(г«|£) = [ЯBх|г8... ад-я^!^ ... znt))] +
+ [Я (Z2 ... Zn | ^t/) - Я (Г2 ... Г„ | YJ))].
Переписывая аналогичным образом вторую разность и повторяя
этот процесс, получаем окончательно
£i[H(Zi\ Ь~12М . . . ZnU) - Я (Yt | y'-'Zf+1 . . . Zjj)]-
(=1
C.34)

286 Гл. 3. Многотерминальные системы
Аналогично,
п.
а - Ъ = -i- 2 [Я (X, | Y^XJ+1.. ,'XnU) -H(Yt\ Y'~lXi+1... XnU)],
C.35)
п.
c ~ a= 4" 2 W & I *f-£«+i • • • Zn0) - Я(X; | X^Zi+1 . . . Znt/)].
1=1
C.36)
Заметим, что
H(Xt\ ?'-'X(+1 . . . Xn0) = Я (X, I Г'-'Х£+1 . . . XnZi+1 . . . ZnU).
В самом деле, из предположений U е- Хп -е- F"Z", У" -е X" -е-
О Z", P-ni^n = Wn вытекает, что условное распределение Zn
Z \ X
при заданных U, Хп, Уп равно Wn. Поэтому при заданных Xj+i,...
..., Хп СВ Zj+i, ..., Zn условно независимы от остальных СВ.
Аналогично,
Я (Yt | Y<-iXM . . . XnU) = H{Yt\ Y"Xtn . . . XnZi+1 . . . ZnU).
Поэтому равенство C.35) можно переписать в виде
п
а - Ь = JL 2 [Н {Х-, | Y'-iXM . . . XnZi+1 . . . ZnU) -
2
-H{Yt\ Y"XM . . . XnZi+1 . . . ZnU)]. C.37)
Аналогично из C.36) получаем
n
с - a = JL J] [Я (Zt | Я'-'Г'-'2;+1 . . . ZnU) -
-H(Xt \X^Y^Zi+1 . . . ZnU)]. C.38)
Далее, мы можем написать
1=1
n
Я G I V-17 7 f Г\ С3. 4Q1

§ 3. Характеризация энтропии и объема образа 287
Пусть .1 — СВ, равномерно распределенная на множестве целых
чисел 1, 2, ..., пи не зависящая от (U, X", Yn, Zn). Положим
ХЖ-Xj, Y^Yj, 'ZJk.ij, U^(J, U, Ь~\ Zj+u . . ., Zn),
SJlXj+1 ... Xn, ' TA,XJ-K
В этих обозначениях формулы C.34), C.37), C.38), C.39)
можно переписать следующим образом:
с _ Ъ = Н (Z \ U) — Н (У | U), ' C.40)
a—b = H(X\SU) — H(Y\SU), C.41)
с — а = Я (Z | TU) — Н (X | TV), C.42)
с S3 Н (Z\ U). C.43)
Далее, из C.40), C.43) и очевидных неравенств Ъ <. Н (Y), с <
■< Н (Z) вытекает существование такого числа t, что 0 < t <
< min [/ (U Л У), I (U /\ Z)] и
Ъ = Н (Y\ U) + t, с = Н (Z | U) + t. C.44)
Сравнивая это с C.42), получаем
а = Н (X | TU) + / (Z Д T\U) + t. C.45)
Ясно, что
п
P——-— > P P-i- —V P~,- = W
v и 7 у vl v * 7 7\ v *
1=1
Далее,
UST & X e- FZ, C.46)
поскольку
л
1
~ /г
= — у /-/ (i
Таким образом, в силу C.44) числа b и с имеют нужный вид.
Для доказательства того, что (а, Ь, с) £ Зё* (X; У; Z|X), оста-
осталось проверить, что (см. 3.31)
max
— Н{у\х), с — Н (Z\X)] < а^: Н (X\U) + t.

288 Гл. 3. Многотерминальные системы
Для доказательства второго неравенства заметим, что
/ (Z /\ Т\ U) < I (ZX Д Т\ U) = / (X Л Т\ U),
где последний шаг следует*из C.46). Таким образом, C.45) дает
а < Я (Х| TU) + / (X Л Т\ U) + t = Я (X[U) + t.
Оставшееся неравенство вытекает из неравенств C.41), C.42) и
Я (? \~Х) + Я (X | SU) ^ H (Y | SU),
Н (Z\X) + Н (X | rt/) ^ Я (Z| TU).
Доказательство леммы закончено. Следствие очевидно. □
Для доказательства результатов существования в этом пара-
параграфе нам нужен аналог леммы 2.1.3 о максимальном коде для
двух ДКБП.
ЛЕММА 3.8. Для каждых е, т, ц £ @, 1), каждой четверки СВ
U, X, У, Z, удовлетворяющих условию марковости U -е- Х- ■& YZ,
каждого n^no(|U|, [X|, |Y |, |Z|, e, т, ц), каждой последо-
последовательности и £ Т[(/] и каждого множества А сгХ", удовлетво-
удовлетворяющего условию
существуют (п, е)-коды (/, ф) и (/, \f>) соответственно для каналов
[V : X —>-Y} и [W : X ->Z}, имеющие один и тот же кодер
/: М/ -> А и такие, что
A/n) log | М/1 ss min [/ (X Д ^ | ^). / (X Л 2 ]£/)]— 2т,
C.47)
Ф (т) с Ttv] (/ (т)), Г1 («) cz Ttirj (/ (т)) C.48)
для любого m ^ M/. О
СЛЕДСТВИЕ 3.8. Для каждых е, т], т £ @, 1), каждого
/г :з= л0 (| X | , | Y | , | Z |, е, т, г).) и каждого множества A cz X",
удовлетворяющего условию Рпх (А) ^ т], существуют (п, е)-коды
для каналов {V: X ->Y} и [W: X ^Z} с одним и тем же коде-
кодером /: М/ —>■ А и скоростью
A/я) log | М/1 ss min [/ (X Д ^). / (X Д 2) ] — 2т. О
Доказательство. Рассмотрим (и, е)-коды (/, ф) и (/, г|з) для двух
ДКБП с кодовыми словами / (т) £ А, для которых выполнены
условия C.48). Мы утверждаем, что если эти коды не имеют рас-
расширений, обладающих такими же свойствами, то справедливо
неравенство C.47). В самом деле, положим
C^ U

§ 3. Характеризация энтропии и объема образа 289
Тогда, аналогично доказательству леммы 2.1.3 о максимальном
коде, для каждого х £ А имеем
Vn (Т>] (х) — В | х) <s 1 — е или Wn (TlVi (x) — С / х) < 1 - е,
откуда при п ^ Пх
1/"(В|х) > е — т или W" (С|х) > е — т для х £ А.
Пусть Ai и А2 — множества тех х £ А, для которых выполнены
соответственно первое и второе неравенства. Тогда
Рпх\и (Ai | uMs -п/2 или Рnxiu (Аа | u) ^ ц/2.
В первом случае
откуда по следствию 1.2.14 при п ^ п%
|В|>ехр{л(Я(ГЦ/)—т)}.
Но если п ^ п3, то
т 6 М у m 6 My
Хехр{п(Я(Г|Х)
откуда
Аналогично, в случае Рпх\и (А21 u) ^ tj/2 получаем
|М/|==г ехр {л (/ (X Л Z\U) — 2т)}. □
Перейдем теперь к характеризации 9 (X; Y; Z | X). Чита-
Читатели, которых интересуют лишь задачи характеризации энтропии,
могут перейти после теоремы 3.9 прямо к лемме 3.15.
Дадим сначала вычислимую характеризацию множества 9 (Y;
Z | X) тех пар (Ь, с), для которых при любых е £ @, 1), б >0
и любом достаточно большом п существует множество A ci Tf**]»
удовлетворяющее второму и третьему условиям в п. (и) определе-
определения 3.1. Для этого обозначим через 3@* (У; Z\ X) проекцию
2$* (X; Y; Z | X) на плоскость (Ь, с), т. е. положим
2%* (У; Z\X)j^ {{H{Y\ U) + t, H(Z\U) + t)\, C.49)
где U- пробегает множество СВ, удовлетворяющих условиям
C.26) и C.27), т. е. условиям
U&X&YZ, | U | <£ | X | + 2,
a t удовлетворяет условию (задача 1)
О < t < min [/ (U Д У), I (U Л 2I-
10 Чисар И., Кернер Я.

290
Гл. 3. Многотерминальные системы
Мы докажем, что
9(Y; Z | X) = Ж* (Y; Z \ X).
Начнем с доказательства следующей теоремы.
ТЕОРЕМА 3.9.
Ж* (Г; Z\X) cz 9 (Y; Z\X).
Точнее, для каждых б, 8, т] £ @, 1) и каждой точки (Ь, с) £ Ж* (Y;
Z\X) при п5зяо(|Х|, |Y|, |Z|, б, 8, т]) каждому множеству
Рис. 3.1.
Типичный вид 36* (Y; Z\X). Вместе
с каждой точкой это множество содер-
содержит некоторый прямолинейный отре-
отрезок с угловым коэффициентом 1, иду-
идущий вверх от этой точки.
НШХ) -
H(Y\X)
H(Y)
Е с Т[х] с Рх (Е)
которого
\(\/п) log
т]Тсоответствует множество А'с: Е, для
(А, 1 — г) — Ь\<6,
A/я) bg gwn (А, 1 — е) — с | <6. О
Ж* (Y; Z \ X), т. е.
Доказательство. Зафиксируем (Ь, с)
положим
с д Я (Z | f/) + t,
0 <: < < min
(Y | U) +
(U Л Ю. I(U Л Z) h
Где f/ удовлетворяет условию марковости £/ в- X -е- FZ и огра-
ограничению на значения |U|«|X|+2. Рассмотрим ДКБП
{V :U ->Y}, { W7: U -»Z}, где У и t^ — каналы, связывающие
соответственно U с F и £/ с Z. Определим множество F, как в C.12),
т. е. положим
F .д. Т&л П fu : Рх\и (Е П T[Jf|i/] (и) | и) ==, т,/2}.
Поскольку f <: min [/ (U Д ^). 7 (^ Л Z)], из C.12) и след-
следствия 3.8 вытекает, что для каждого е' > 0 и каждого достаточно
большого п существуют (л, е')-коды для ДКБП {V} и {№} с об-

§ 3. Характеризация энтропии и объема образа 291
щим кодером / : {1, . . . , К) —*■ F с: Т[Ъ] и соответствующими
декодерами qp : Y" -»• {1, ... , К), г|5 : Z" ->■ {1, ..., К), такие, что
| A/л) log К — /1 <■ S/2. C.50)
Мы утверждаем, что при подходящем е' множество
к ^
А^ U Аа, где Aa^l Е П Т[хц/](ий), uh^f(k),
обладает требуемыми свойствами. Из соображений симметрии
достаточно показать, что
| A/n) log £„„ (A, \—B) — H(Y\U) — t\<. 6.
В силу C.50) и утверждения C.13) имеем
к л
A/n) log^n (А, 1 — в) <£ A/л) log £ gj,n (Аи, 1 — е) <
ft=i
< A/n) log К + Я (Г | U) + F/2) < < + Я (Г | i/) + в, C.51)
если п достаточно велико.
С другой стороны, по определению F и Аи имеем
P%\u(Ak\ib)&rtf2. C.52)
Таким образом, еели В es Y" — произвольный A — е)»образ А» то
V" (В | ий) ^ S />3r|V-(x |u») Vя (В | ») s» ij A - *)/2 для любого k,
Поэтому
F" (В Л Ф (k) I Uft) s> A1/2) A — в) — в' для любого k.
Таким образом, полагая е' ^ (т)/4) A — в), из леммы 1,2.И
и C.50) получаем (для достаточно большого л), что
I В|s*g | В П ф-1 (А) | ехр {л (f + Я (Г | t/) - 6)}.
Поскольку В — произвольный A — е)-образ А, сравнение по-
последнего неравенства с C.51) завершает доказательство. □
ТЕОРЕМА 3.10. & (Y; Z \ X) с: 26* (Г; Z \ X). Более того,
для любых 0 < е < 1, б > 0 при л ^ л0 (| X |, | Y |, | Z |, s, б)
каждому множеству А <= Т[*х] соответствует такая точка (Ь, с) £
б 5£* (Г; Z | *), что
A/л) log gvn (A, 1 — е) — Ь | « б,
| A/л) loggwn (A, 1 - е) - е| * $• Q C.53)
J0*

292 Гл. 3. Многотерминальные системы
Доказательство. Для краткости при доказательстве этой тео-
теоремы будем писать 36* вместо 36* (Y; Z \ X). Отметим прежде
всего следующее свойство 36*. Для каждых двух точек (bi, ct) £
6 36*, i = 1, 2, точка (b, с).с
b j^ max [bx, b2], с д max [сь с2]
также принадлежит SOUS*. В самом деле, прямолинейный отрезок,
соединяющий точки (blt с,) и (&2, с2), лежит в 36* ввиду выпуклости;
выбрав точку (Ь', с') этого отрезка, удовлетворяющую условию
с' — Ь' = с — Ь, получаем, что {Ь, с) £ 36*. Теперь достаточно
доказать, что для каждого п ^ гс0 (| X |, | Y|, | Z |, б, е) и каждого
А а Трх] существует точка фг, сг) G 36*, такая, что
| A/n) log gvn(A, I — е) — &! | < б, C.54)
A/n) log gwn (A, 1 — e) S3 Cl — 6. C.55)
В самом деле, отсюда по симметрии следует существование точки
(Ь2, с2) G ^*. Для которой
| A/n) log gwn (A, 1 — е) — с% | <: б, C.56)
О/л) log gvn (A, 1 — е) ^ Ь2 — 6. C.57)
Полагая
b ^ max ,[&х, Ьа], с ^ max [c1( с2],
Замечаем, что из неравенств C,54)'^C.57) следует C.53), а по
нашему первому замечанию (Ь, с) ^ 36*. Таким образом, наша
цель состоит в том, чтобы для произвольного множества А С: Т"л]
Доказать существование точки фг, с^) ^ Ж*, удовлетворяющей
C-54) и C.55). Выберем некоторые е' > 0 и S' > 0, точное зна-
значение которых будет указано позднее.
Пусть А' с: А —-множество кодовых слов некоторого (п, е')-
кода с максимальной скоростью Су (А, е') для ДКБП [V]. Тогда
C (А, в') == Су (А', е'), откуда по лемме 2.1.8 получаем, что при
(|X| |Y| 6', е, в')
| A/n) log gvn (A, 1 — в) — A/n) log gyn (A', 1 — в) | < в'.
C.58)
Разумеется,
A/n) log gwn (A', 1 — е) < A/n) log gva (A, 1-е). C.59)
Пусть X" — СВ, равномерно распределенная на множестве А'
****** *"Ч
и Yn, Zn — СВ, связанные с Хп соответственно каналами Vn
и W', их совместное распределение может э остальном быть про-

§ 3. Характеризация энтропии и объема образа 293
извольным. По лемме 3.2 при n^n2(|X|, |Y|, |Z|, б', е, s')
имеем
A/л) log gwn (А', 1 - в) ^ A/п) Я (Z«) - б', C.60)
-i-tf (Г") - б' < 4 bg^«(A', 1 - е) <: JLtf (?») _f-
+ ^L + e'log|Y|. C.61)
Полагая е'^ 672 log | Y|, из неравенств C.61) получаем, что
| A/л) Н (Г») - A/n) log gyn (А\ 1 — е) J < б'. C.62)
Сравнивая эти неравенства с C.58)—C.60), видим, что
| A/п) log gvn (A, 1 — 8) — A/п) Н (Г») | < 26', C.63)
A/п) log gwn (A, 1 — е) ss A/п) Н (Z») — 26'. C.64)
Теперь по лемме 3.7
Н (Г")> A/п) ^ (Z»)) £ ^* 0^; 2 | X), C.65)
где
5~ (х) для любого
Для завершения доказательства можно использовать непрерыв-
непрерывность. В самом деле, поскольку
я(х Iх^ для Л5обого * 6 х,
из соотношения А' с: Tfx] при п ^ п3 следует, что
I Рх (х) — Рх (х) | < б' для любого х 6 X. C.66)
Далее, согласно определению X, Y, Z, можно предположить, что
Pyz\R — Pyz\x- Для произвольной СВ U, удовлетворяющей
условиям U ■& X ■& YZ и | U | <: | X | + 2, рассмотрим СВ U,
такую, что U -е- X ■© YZ и Яи|х = Z'i/I». Из C.66) заключаем,
что вероятное™ того, что некоторое значение (и, х, у, г) прини-
принимается (£/, X, Y, Z) и (U, X, Y, Z), отличаются меньше чем на б'.
Из равномерной непрерывности рассматриваемых информацион-
информационных величин (лемма 1.2.7) вытекает, что при достаточно малом б'

294 Гл. 3. Многотерминальные системы
(зависящем от б, | X |, |Y|, |z|) каждой точке (б, с) £ 2@(Y;
Z | X) соответствует точка (Ь, с) £ Ж* (У; Z \ X), такая, что
\б — Ь\<6/2,- |с—с|<6/2. C.67)
Мы можем также предположить, что б' < 6/4: Тогда из C.63),
C.64), C.65) и C.67) следуют неравенства C.54) и C.55). П
Объединяя утверждения теорем 3.9 и 3.10, получаем следу-
следующее утверждение.
ТЕОРЕМА 3.11. 9 (Y;Z\X) = #S* (Y; Z\X). О □
Теорему 3.11 можно применять для получения более точных
характеризаций 9 (Y; Z \ X) в различных частных случаях.
Независимый интерес представляет случай Y = X; здесь V:
X —>Y—-тождественная матрица, так что gyn (А, 1 —е) =
= |А|. Поэтому 9 (X; Z \ X) задает асимптотическую характе-
ризацию пар
(|A|,£wr™(A, 1-е)),
где А пробегает подмножества 7"xi, a n стремится к бесконечности.
ЛЕММА 3.12. Включение (а, с) 6 9 (X; Z\X) = Ж* (X;
Z | X) справедливо в том и только том случае, если существует
СВ U, такая, что (задача 2)
с - Н (Z\]U), e — H(Z\X)<.a«H(X\U).Q
Доказательство. По теореме ЗЛ1 9 (X; Z | X) ** 2Ш* (X;
£ [ X). Для того чтобы показать, что Ж* (X; iJ | X) имеет данный
вид, рассмотрим множество Шх (X; Z \ X) энтропийных векторов
Я (X | £/), // (Z | t/)), где G — СВ описанного выше вида.
чогда, по своему определению C.49), множество Ж* (X; Z \ U)
состоит из всех точек
(й + t, & + t): (d, 6) 6 5»х (X; Z \ X),
0 <: ^< min [Я(Х) —й, Н (Z) — 6].
Нам нужно показать, что это множество совпадает с множеством
точек (а, с), таких, что
Я (Z \.Х) <: с <: Я (Z), а" (с) < а <: а+ (с),
а~ (с) .д. с - Я (Z I X), а+ (с) ^. max Я (X I U).
(См. рис. 3.2, на котором ось а расположена вертикально,) Ясно,
что это последнее множество содержится § выпуклом множестве

§ 3. Характеризация энтропии и объема образа
295
36* (X; Z | X), поскольку для каждого с £ Ш (Z \ X), Н (Z) ]
обе точки (а~ (с), с) и (а+ (с), с) принадлежат 36* (X; Z | X).
Для проверки обратного включения заметим сначала, что лю-
любая точка (а, с) £ 36* (X; Z \ X) удовлетворяет условию а ^
>• сГ (с), поскольку
Н (Z\ U)~ H (Z\ X) < Н (Х\ У).
Остается доказать, что «верхняя» граница а+ (с) множества
96Х (X; 7 | X) является также «верхней» границей Зё* (X; ? \ X).
Это сводится к проверке
неравенства
а+ (с) + t <: а+ (с + t) для
0<г<: Н (Z)~с C.68)
(задача 3). Множество 36\
выпукло по лемме 3.6, так
что неравенство C.68) до-
достаточно проверить для наи-
наибольшего возможного зна-
значения t. Для t = H (Z) —
— с неравенство C.68) пре-
превращается в
а+ (Я (Z)) ^ а+ (с) +
+ Н (Z) — с,
где а+ (Н (Z)) = Н (X). По-
Поэтому достаточно показать,
что
Н (X) === Н (X | U) +
+ H(Z)~H(Z\ U)
тю
мхшу
ятю
Рис. 3.2.
Вид множества Ж* (X; Z\X).
+-С.
каждый раз, когда U ■& X -& Z. Это, однако, следует из леммы
1.3.11 об обработке данных. □
Используя теорему 3.11 и лемму 3.12, мы можем легко полу-
получить нужную характеризацию множества 9 (X; Y; Z\X). Рас-
Рассмотрим для этого верхнюю и нижнюю границы 36* (X; Y; Z \ X),
предполагая, что ось а расположена вертикально. Они задаются
функциями
^min a= max [b-H(Y\X), c-H(Z\X)],
(a,b,c) e Ж*
U) +1), C.69)
a-(b, c)
a+ (b, с) д
max a =
max (H (X
H(Y\U)+t=b
mZ\U)+tc
где U — такая СВ, что U е X е YZ, | U | < | X | + 2 и
О <: t < min [/ {U Л Y), I (U A Z) ].

296 Гл. 3. Многотерминальные системы
Обе функции а~ F, с) и а+ (Ь, с) определены для (Ь, с) £ 36* (Y;
Z | X), см. C.49). Зададим теперь функцию а++(Ь, с) с той же
областью определения равенством
a++(b,c)JL max H(X\U), C.70)
где U — такая же СВ, что и выше. Обозначим через 9* (Х\ У;
Z | X) следующее множество:
<3* (X; Y; Z\X) ^
а^ {(а, Ь, с):] (Ь, с) £ 36* (Y; Z | X), сС (Ь, с) <. а <
<: а++ (Ь, с)}. C.71)
Мы докажем, что ^ (X; Y; Z \ X) = 9* (X; Y; Z \ X). Для
этого нам нужна следующая лемма, которая одновременно пока-
показывает, как связаны множества * (X; Y; Z \ X) и 36* (X; Y;
Z\X).
ЛЕММА 3.13. а++ (Ь, с) = max a+ (Б, с). О
СЛЕДСТВИЕ 3.13. Множество 9* (X; Y; Z\X) совпадает
с множеством точек вида (max (а1г а2), max (Ьъ Ь2), max (съ с2)),
где {аи Ьи ct) 6 36* (X; Y; Z\X), i = 1, 2 (задача 4). О
Доказательство. По определению
а++(Ь, с) <: max a+F, с).
Для доказательства обратного неравенства заметим, что для
любых В <: Ь, с< с имеем
а+(В, с)<тахГ max Н (X I U) + Л <тах [a++(b— t, с — t) + t].
t>0 H(Y\U)^b—t t>0
lH(Z\U)^t J
Поэтому достаточно показать, что
а++ (b — t, c — t) + t4i a++ (b, с) при t ^ 0.
Последнее эквивалентно неравенству
a++ (b, с) + t < a++ (b + t, с + *)
для 0 < U min [H (Y) ~ b, H (Z) — c\. C.72)
По лемме 3.6 функция a++ (b + t, с + t) вогнута как функция
от t. Поэтому достаточно проверить C.72) для наибольшего воз-
возможного значения t; без потери общности можно предположить,
что t = H (Y) — Ь. Тогда
а++ (b + t, с + t) = а++ (Я (Г), с + t) = max H (X I U).

§ 3. Характеризация энтропии и объема обрааа 297
Замечая, что функция а+ (с), введенная при доказательстве леммы
3.12, в силу C.68) строго убывает, последнее равенство можно
переписать в виде
а++ (Ь + t, с + 0 = а+ (с + t).
Поскольку также
а++ (Ь, с) « max Н (X I U) = а+ (с),
H(.Z\U)<ic
соотношение C.71) следует из C.68), и лемма доказана.
Следствие легко вытекает из леммы, поскольку, как было от-
отмечено при доказательстве теоремы 3.10,^из*условий^(&,, с,) £
£ 26* (Y; Z\ X), i = 1, 2, вытекает, что "
(max (bly b2), max (clt c2)) £ <%%* (У'> Z\ X). □
Теперь мы можем доказать, что ^ (X; Y; Z \ X) = 9* (X; Y;
Z \ X). В качестве первого шага будет доказана
ТЕОРЕМА 3.14. 9 (X; Y; Z \ X) с 9* (X; Y; Z\ X). Более
того, для любых е £ @, 1), б > 0 и п ^ /г0 (| X | , | Y |, | Z | ,
б, е) для каждого множества А с: Трх] существует такая точка
(а, Ь, с) е &* (X; Y; Z \Х), что (задача 5)
| A/л) log | А | — а | <: б, | A/л) log gyn (A, 1 — е) — Ь | < б,
I A/л) log gwn (A, 1 — е) — с | ^ б. О C.73)
Доказательство. Для каждого А сг Т?х] нужно найти такую
точку (Ь, с) Q 3*6* (У; Z | X), что
1
/ А I р 1 р
C.74)
а- (Ь, с) - б < — log | А | < а++ (Ь, с) + б. C.75)
Зафиксируем некоторое б', точное значение которого будет ука-
указано позже. Из леммьГ_2.1.8 вытекает, что при п 5= пг (|Х|, |Y|,
|Z|, б', е) выполненьГнеравенства
A/л) log | А | =s Cv (А , 1 — е) ss
^ A/л) log gvn (A, 1 — е) — Я(Г | X) - б', C.76)
log | А | Зг Cw (А, 1 — е) ^
^ A/л) log^^ (А, 1 — е) — H(Z | X) — б'. C.77)

298 Гл. 3. Многотерминальные системы
Далее, по теореме 3.10 при /гЗ=п2(|Х|, |Y|, |Z|, 6', е) суще-
существует такая пара (Ь', с') £ Э6* (Y; Z\ X), что
\d/n)loggvn(A, 1 - е)—Ь' | ^6', Ul/^log.^^A, 1 —е)-с'|<6'.
C.78)
Сравнивая это с C.76) и C.77) получаем, что при п 5= max (пь п2)
выполнены неравенства
A/л) log | А | S& &' - Н (Y | Я) —26', A/п) log| A | ^ c'—H (Z \ X)—26'.
C.79)
С другой стороны, из леммы 3.2 вытекает, что если СВ Хп равно-
равномерно распределена на А и У", Zn удовлетворяют условию
Ру^\х« =Руп2п\хп> то при п^п3(|Х|, |Y|, |Z|, б', 8)
log gvn (A, 1 — е) ss Я (Г«) - пб', C.80)
log ^„ (А, 1 — е) ^ Я (Z») — пб' C.81)
и, конечно,
log | А | = Н (к"). C.82)
По лемме 3.7
/п) Я (X"), Ь
G ^* (^; ^; z | X),
где Px^S "i=\P~ In, и мы можем предположить, что ^>yz|T==
= Pyz\x- При доказательстве теоремы 3.10 было показано
(см. C.66), что при n^n4(|X|, |Y|, |Z|, б")
|Рх (х) — Ях (х) | <£ б" для любого х £ X.
Аналогичными рассуждениями можно получить, что существует
такая точка (а, б, с) £ Ж* (X; Y; Z X), что
| A/п) Я (Ъ) — а | <: б', | A/п) Я (F") — б [ <: 5',
| A/п) Я (Z'<) — с | « б'.
Сравнивая эти неравенства с соотношениями C.80)—C.82), по-
получаем, что
| (Vn) log | А | - 5 | «: 6', A/п) log gvn (A, 1 - е) ^ б - 26',
A/п) log £„„ (А, 1 — 8) ^ с — 26'. C.83)

§ 3. каракмериваЦш энтропии и объема образа
В частности, из последних двух неравенств и C.78) имеем
Б <: V + 36', с <: с' + 36'.
Следовательно, в силу C.83) и леммы 3.13
A/n) log | А | < max a+ (В, с) 4- 6' =
= а++ (&' + 36', с' + 36') + 6'. C.84)
Полагая Ь ^ Ь' + 36', с _д_ с' + 36', перепишем последнее не-
неравенство в виде A/гс) logjA | < а++ (Ь, с) + 6'. Сравнивая это
с C.78) и C.79), видим, что неравенства C.74) и C.75) выполнены,
если 6' <: 6/5. П
L i ТЕОРЕМА 3.15. 3* (X; Y;JZ | X) с= 9 (X; Y; Z\ X).
Более того, любая точка (а, Ъ, с) £ 9* (X; Y; Z\X) обла-
обладает следующим свойством. Для каждых 0 < е]< 1, б > О,
г\ > 0, каждого n :ss Яо (| X |, | Y | , | Z | , 6, е, ri) и каждого Е сг
с: Tfx] с /"J (Е) 3= fl существует множество А с Е, такое, что
|(l/n)log|A| —а|<! 6, \A/п) log gvn {A, I—e) —&|<б,
| A/n) log ^в (А, 1 — е) — с | < 6, C.85)
Доказательство. Зафиксируем некоторую точку (й, с) £
£ 5^* (F; Z\X). Сначала докажем, что точка (а~ (Ь, с), Ь, с)
обладает требуемым свойством. Рассмотрим для этого такое мно-
множество Ас Е, что
|^ ^(A, 1 — е) —с|<^-.
. C.86)
Существование таких множеств при п^. пг вытекает из теоремы
3.9. Аналогично доказательству теоремы 3.10, обозначим через
А' сг А множество кодовых слов (п, е)-кода максимальной ско-
скорости Cv (А, е) для ДКБП {V}. Тогда по формулам C.58) и C.86)
при п 5= п2 имеем
| A/n) log£v» (А', 1 — е) — & | < б/З C.87)
и, конечно,
A/ге) loggia (А', 1 — е) < A/n) log^n (А, 1 — е) <
< с + F/4). C.88)
Поскольку A/л) log | А' | = Cv (А', е), лемма 2.1.8 показывает,
что при п ^ п3 из C.87) вытекает неравенство
| A/n) log | А' | — (Ь — Н (Y | X)) | <: 6/2. C.89)

300 Гл. 3. Многотерминальные системы.
Аналогично, если А" сг А — множество кодовых слов (п, е)-кода
с максимальной скоростью для ДК.БП {W), то при п <: п4 имеем
| A/л) log gwn (А"< 1 —"е) — с |< 6/3, C.90)
A/л) log^n (А", 1 — е) < Ь + F/4), C.91)
| A/л) log | А" | — (с — Н (Z | X)) | < 6/2. . C.92)
Из C.87)—C.92) немедленно вытекает, что при п s= пъ множество
А~=4=А' U А" удовлетворяет C.85).
Мы докажем требуемое утверждение для точки (а++ (Ь, с), Ь, с).
Ввиду леммы 3.3 при п ^s п6 существуют такие множества А* с=
с Е, что
| A/я) log | А*| — а++(Ь, с)\< 6/2,
A/л) bg gvn (A*, 1 — 8) < Ь + F/2), A/л) log gwn (A*,
1 — е) ^ с + F/2).
Это значит, что А+^ А~ U А* удовлетворяет C.85) при
п ^ п7. Отсюда вытекает, что для каждой точки (а, Ь, с) с сГ (Ь,
с) < а << а++ (Ь, с) можно найти соответствующее множество А,
А"сДс А+, так что при достаточно больших п выполнены усло-
условия C.85). П
ТЕОРЕМА 3.16 (объем образа). 9 (X; Y; Z | X) = %* (X;
Y; Z\X). ОП
Вернемся теперь к задаче характеризации энтропии. Мы
обещали доказать, что
&(Х; Y; Z | X) = Эё (X; Y; Z | X) = Ж* (X; Y; Z \ X).
Мы уже знаем, что @~ а З/ёсиЯё*. Ниже мы установим недоста-
недостающий результат о существовании:
Э6* (X; Y; Z \ X) сг^ (X; Y; Z | X).
Для этого докажем две технические леммы, обобщающие
лемму 3.8, которые относятся к кодам с общим кодером для двух
ДКБП. Поскольку эти леммы выглядят достаточно сложно, сна-
сначала опишем идею нашего метода доказательства, которая очень
проста. Нам нужно построить функции /, заданные на
X" и имеющие, например, заданную условную энтропию
A/л) Н (Yn | / (Хп)). Пусть X" = U 2LA- — разбиение X", по-
порожденное функцией /. Ясно, что
м
H(Y"\f (Х«)) = S Рпх (А,) Н (Г» | X" е А,.),
где Н (Yn | X" £ А;) — сокращенная запись для энтропии услов-
условного распределения Yn при условии, что X" £ А;. Поэтому для
построения функции с заданной энтропией Н (Yn \ f (Xn)) до-

§ 3. Характеризация энтропии и объема образа 301
статочно построить непересекающиеся множества А; с заданными
энтропиями
Н (Г» | Х- <Е АО-
Неравенство C.4) из леммы 3.2 позволяет ограничить эти энтропии
сверху через объемы образов gyn (А;, 1-е) (где V = Ру\х)-
Будем строить нашу функцию /, строя множества Aj с заданными
объемами образов, для которых эта оценка является точной.
По той же лемме в качестве таких множеств Аг можно брать
множества кодовых слов (п, е)-кодов для ДКБП {V}, состоящие
из последовательностей одного и того же типа. Мы покажем,
что это же верно, если А является объединением непересека-
непересекающихся множеств кодовых слов такого вида, когда соответству-
соответствующие коды почти максимальны, т. е. имеют скорости, близкие
к Cv (А, е). Будем говорить, что такое множество А наполнено
кодами для {V) (задача 6). Мы не будем точно определять, что это
значит, поскольку это понятие будет использоваться только для
предварительного описания формулируемых и доказываемых
позже результатов.
Содержание следующей леммы состоит в том, что для любой СВ
U с U е X е YZ, такой, что / (X Д Y \ U) =& / (X Д Z | U),
при достаточно больших п любое множество А с= X", удовлетво-
удовлетворяющее условию
Рпх\и (А | и) 5& "П для некоторого и £ T"uj,
имеет подмножество А, являющееся множеством кодовых слов
«большого» (п, е)-кода для ДКБП {V: X -»• Y} и одновременно
наполненное кодами для ДКБП {W: X —>Z}.
ЛЕММА 3.17. Для любых т>0, ri>0, 0 < е < 1, п^э
5г «о (I X | , | Y |, | Z |, т, Ti, е), любой четверки СВ (U, X, У, Z),
таких, что U е X е YZ, | U | <г | X | + 2 и
/(ХД Y\ U)^I(X Д Z\ U),
и любых множества А с X" и последовательности u £ T?a]
с Рх\и (А | и) ^ ц существует такое подмножество Ас А, что
(i) все последовательности из А имеют один и тот же тип;
(И) А является множеством кодовых слов некоторого (п ,е)-
кода для ДКБП {V};
(iii) А является объединением непересекающихся множеств
А(т) , т = I, ..., М, для которых
| A/n) log | A<m> | — / (X Д Z | U) | < т,
| A/n) log М — (Н (X | UZ) — Н (X | UY)) | < т,

м
Рл. 3. МноготрМяаАьнЫё сисШМь1
и А(т) — множество кодовых слов некоторого (п, е)-кода для
ДКБП {W}. О
Доказательство. Мы применим конструкцию максимального
Кода из леммы 3.8 два раза. При доказательстве будем рассматри-
вать только такие коды, для которых кодер является тождествен-
тождественным отображением на множестве кодовых слов. В таких случаях
коды будут задаваться множествами кодовых слов и декодиру-
декодирующими отображениями, а не кодерами и декодерами. Положим
т' j^ т/4 и предположим, не теряя общности, что е < 1/2! Ввиду
дB)
A
, \
Рис. 3.3.
леммы 3.8 при достаточно больших п существуют (п, е)-коды для
ДКБП \V\ и {W\ с общим множеством кодовых слов А* с: А,
таким, что
|(l/«)log|A*| — I (X /\Z\U)\<. 2т', C.93)
причем существующие декодеры удовлетворяют условиям
Ф'1 (х) cr TpV] (х), ф (х) с: TtV] (х) Для любого х £ А*. C.94)
Для любого такого кода положим
В* £. U Ф~х(*). С*^ U ^(х).
Рассмотрим теперь семейство таких пар кодов с непересекающи-
непересекающимися множествами кодовых слов А<т), т = 1, ..., М — 1, для
которых соответствующие множества В*, обозначаемые через
В(т), т = 1 М — 1, также не пересекаются. Мы утверждаем,
что при достаточно больших п такие семейства существуют с
A/я) log М 2г Я (X | UZ) — Я (X | г/Г) — 4т'.
C.95)
В самом деле, рассмотрим максимальное семейство таких пар
кодов. Это значит, что если пара (п, е)-кодов с общим множеством

§ 3. Характеризация энтропии и объема образа 303
кодовых слов А* <= А удовлетворяет условию C.94), множество
А* не пересекается с U ^A<m) и В* не пересекается с U ^B(m),
тсМ т<М
то для этой пары не может выполняться условие C.93).
Пусть множество А(М) (возможно, пустое) — это такое мно-
множество А*, которое не является собственным подмножеством
никакого другого множества с теми же свойствами; пусть В(Л1)
и Q(M> —соответствующие множества В* и С*. Тогда
A/n) log | А(л5> | < / (X Л Z I U) — 2т'. C.96)
Далее, полагая В ^ Um=iB(m), получаем, что
V(T£V] (х) — В | х)< 1 — в или W"(Т1Ю - С<^> | х) < 1 — е
для любого х £ А — Um=iA</n). Следовательно для п~^пх
Vn(B |x)sse —т' или Wn{C^ | х) =s е - т' C.97)
для любого х £ А — Um=i A(m). Поскольку для х ^ Um=iA(m)
неравенство V" (В | х) ^ 1 — е выполнено по определению и
е < 1/2, то C.97) справедливо для любого х £ А. Обозначая
через Ai и А2 множество тех х £ А, для которых выполнено пер-
первое (соответственно второе) из неравенств C.97), из условия
Рх\и (А | u) ^ г\ получаем, что
Рх\и (At | и) :=== т)/2 или Рпхш (А, | и) ^ л/2.
Как и при доказательстве леммы 3.8, отсюда следует, что при
n^z п2 имеем
A/л) log U A<m> S* / (^ Л У I t/) — 2т или
7П=1
A/n) log | AW | ^ / (X Л 2 | t/) — 2т'.
Однако второе неравенство не может быть верным ввиду C.96).
Отсюда, учитывая C.93) и C.96), получаем C.95). Утверждение
о том, что множества В(/п) не пересекаются, означает в точности,
что объединение множеств А(т) является множеством кодовых
слов некоторого (п, е)-кода для ДКБП {V]. Таким образом, дока-
доказательство было бы закончено, если бы все кодовые слова имели
один и тот же тип.
Этот пробел легко заполнить. По лемме о числе типов при
п ^ п3 каждому m < М соответствует такой тип Рт, что
|(l/n)log|A<m> {)Tpm\ — I(X/\Z\U)\<. Зт\

304 Гл. 3. Многотерминальные системы
Положим А<т) д А(т) П Тр . Аналогично, для каждого типа Р
обозначим через М (Р) множество тех индексов гп, для которых
Рт = Р- Тогда по лемме о числе типов и доказанному ранее
утверждению при п ^ я4 существует тип Р, для которого
A/n) log| M (P)\2*H(X\UZ) — H(X\ UY) — т'.
Ограничивая первоначальные коды на множества А(т), т. £
£ М (Р), получаем из последнего неравенства полное доказа-
доказательство теоремы. □
Описанная конструкция является основой нашей последней
леммы. Она утверждает, что если (Ь, с) £ Ж* (Y; Z \ X) — такая
точка, что (Г (Ь, с) = max [b — Н (Y \ X), с— Н (Z \ X)] =
= b — Н (Y | X), то при достаточно большом п каждое мно-
множество Е с: X" с Р'^ (Е) 5г т) содержит подмножество А, облада-
обладающее следующими свойствами: А является объединением непере-
непересекающихся множеств А(/), причем |А| примерно равно
ехр \па+ (Ь, с)}, | А (/) | примерно равно ехр \па~ (Ь, с)}, объемы
образов gvn (А, 1 — е) и gyn (А'", 1 — е) примерно совпадают
и примерно равны ехр \nb\ и аналогичные величины для ДКБП
\W\ примерно равны ехр {пс\ каждая. Кроме того, множество
А<г) для каждого / является множеством кодовых слов некоторого
(п, е)-кода для ДКБП { V} и составлено из кодов для ДКБП { W) .
Точнее, имеет место
ЛЕММА 3.18 (наполнение кодами). Для каждых т > 0, г\ >
> 0, 0 < е < 1, п 2э п0 (|Х|, | Y|, |Z| , т, ц, е), каждой четверки
СВ (U, X, Y, Z), таких, что
U ъ X ъ YZ, | U | <: | X | + 2, I (X /\ Y \ U) ^
> / (X A Z I U)\
каждого числа t, удовлетворяющего условиям
0 < t <: min [/ (U Л У), I Ш Л Z)],
каждое множество Е с; X" с Р'х (Е) ^ л содержит подмножество
А с; Е П Т[Х], обладающее следующими свойствами:
(i) А является объединением непересекающихся множеств
А«>, /= 1, ..., L,
| A/n) log L — Н (X | UY) | <: т,
все последовательности А(" имеют один и тот же тип (для каждого
фиксированного /) и А(о является множеством кодовых слов
некоторого (п, е)-кода для ДКБП {V};

§ 3. Характеривация энтропии и объема образа
305
(ii) каждое из множеств А(/) является объединением непе-
непересекающихся множеств А(Л т), т = 1, ..., М,
| A/л) log М — (Н (X | UZ) — Н (X | UY)) | < т,
таких, что каждое из А(/> т) является множеством кодовых слов
некоторого (л, е)-кода для ДКБП { W], удовлетворяющего условию
| A/n) log gwn (A<'- mK l—e) — (H.(Z\U) + t)\< т;
(iii) при любом / выполнены неравенства
| A/n) log | АО | — (/ (X Л Y | U) + t) | < т,
| A/n) log gyn (А<'\ 1 — е) — (Н {Y | U) + t) | < х,
| A/n) log gyn (A,' 1 - e) - (H (Y | £/) + t) | <: т;
log gwn (A, l—e) — (
Доказательство. Зафиксируем некоторые е', т', точное зна-
значение которых будет указано позже. Из доказательства теоремы 3.9
вытекает, что при л ^ пх (| X |, | Y |, | Z |, т', т], е, е') существуют
(п, е')-коды для ДКБП {Fl и |1Г}, связывающие соответственно
(/ с F и (/ с Z, имеющие общее множество кодовых слов {uft}f=i cr
<= Т"щ, где
| A/л) log£—*| « т', C.98)
причем множества А& = Е П T"xjt/] (u*) удовлетворяют условию
Px|t/(Aik|u*)^Ti/2 C.99)
и множество А = U £=iAu сЕ П Т"х] удовлетворяет условию
A/n) log gya (A, l—e)<H(Y\U) + t + x',
(ЗЛ00)
_,„ (A, 1 - e) <: H(Z | f/) + f + т'.
Обозначая декодеры этих двух (п, е')-кодов через ф: Y"
-+ \\,..., R\ и гр: Z" -> {1, .... /С}, имеем
C.101)

306 Гл. 3. Многотерминальные системы
Пусть Ай — наибольшее подмножество А&, для которого
Vя (ф-1 (Jfe)|x) за 1 — (е/2), . C.102)
W" (\|r! (k) | х) =з 1— E/2) для любого х ^ Аь.
Из C.101) и C.99) следует, что
Рх | с/ (А* | iu) 5s Л/4, C.103)
если е' (зависящее от е и т^) достаточно мало. Кроме того, ввиду
C.102) множества Аь не пересекаются.
Зафиксируем теперь некоторое k. Используя C.103), мы можем
несколько раз применить к Аь лемму 3.17. Получим, что при
п S= «2 (I X |, | Y |, | Z |, т', т], е) в Аи существуют непересекаю-
непересекающиеся подмножества А(/> к), /■= 1, •••, L, со следующими свой-
свойствами:
да. k) состоит из последовательностей одного и того же типа,
является множеством кодовых слов некоторого (п, е/2)-кода для
ДКБП {V} и разбивается на непересекающиеся подмножества
д(/. т. fe)) m _ ij f д^; такие, что
. | A/п) log | AC- m- fe' | - / (X Л 2 | U) | <: т', ,
| A/n) log М - (Я(Х | f/Z) — Я (X | f/F)) | <: т',
и каждое А('- т> к) является множеством кодовых слов некото-
некоторого (п, е/2)-кода для ДКБП \W\. Мы можем предположить, что
| A/n) log L — Я (X | £/У) | < Зт'; C.105)
это неравенство вытекает из C.104) и лемм 1.2.13—1.2.14, если
Рх\и(- I и*.) — вероятность объединения множеств А<г>&), / =
= 1, ..., L, больше ti/8.
Заметим, что, поскольку А(Л k) cz Ak является множеством
кодовых слов некоторого (п, е/2)-кода для ДКБП \V\ при любом k,
из C.102) следует, что
Д U A('-fe»
является множеством кодовых слов некоторого (п, е)-кода для
ДКБП {V}. Аналогично,
Д(Л т) ^ у Д(/, т, ft)
является множеством кодовых слов некоторого (п, е)-кода для
ДКБП \W\.

д«.т,П
д«.<п,2)
Рис. 3.4.
Конструкция, лежащая в основе леммы о наполнении кодами.

Гл. 3. Многотерминальные cucmeMbi
Поскольку каждое из множеств А(/> к) состоит из последователь-
последовательностей одного и того же типа, лемма о числе типов утверждает,
что при п 5= Щ (| X |, т'} существует множество индексов
Кг сг {1,. . .,/С}, такое, что
|.A/л) log | К, | — A/я) log ^ | <т' C.106)
и все последовательности из UfecK/A(/> k) имеют один и тот же
тип.
Мы утверждаем, что множества
д</,т)^ у д</, „. к)> д</)^ и д</. *>? д4 и А'"
удовлетворяют утверждениям леммы. Для доказательства этого
осталось установить неравенства в (ii), (iii) и (iv). Из C.104),
C.98) и C.106) следует, что для любых I <. I <. L, 1 <s m <: М,
п 2г п4 (| X |, | Y |, | Z |, т', т], е) выполнено неравенство
| A/n) log | А<'- т> |— (/ (X Д Z | £/) + 0 | <: 2т'. C.107)
Отсюда и из C.104) следует, что
| A/n) log | А«> \ — (I(X/\Y\U) + t)\< Зт'. C.108)
Далее, по построению А с А с А для любого / A <: / «: I),
так что из C.100) имеем
4V 4
C.109)
Аналогично, для любых / и от
I - е) <!
^ | '. C.110)
С другой стороны, поскольку А(/) является множеством кодовых
слов (п, е)-кода для ДКБП \V\, из леммы 2.1.8 получаем, что при
п ^ ^5 (I X |, | Y |, | Z |, т', т], е) выполнены неравенства
- е) ss A/n) log | А<" | + Я (Г | X) - т'.
Таким образом, в силу C.108)
М-4т'. C.111)
Аналогичные рассуждения показывают, что при « 5= пв (| X |,
|Y|, |Z|, т', т,, е)
/n) log | A''- "> | + Я (Z | X) - t',

§ 3. Характеривация энтропии и объема образа ЗОЙ
так что ввиду C.107)
A/«) l°ggw" (А, 1 - е) ^ (l/n)loggwn (А<", 1 - e)s*
>(l/n)log£irB(A<''m>, l-e)^H(Z\U) + t-&z'. C.112)
Полагая т' = т/4, получаем, что неравенства C.104) и C.108)—
C.112) завершают доказательство леммы. □
Теперь мы можем доказать следующую теорему.
ТЕОРЕМА 3.19. Ж* {X; Y; Z | X) с: У (X; Y; Z\X).
Точнее, для любого б > 0 и любой точки (а, Ь, с) £ Ж* (X;
Y; Z | X) при п >■ п0 (| X |, | Y |, | Z |, б) существует заданная
на X" функция /, для которой (задача 7)
| A/п) Н (X». | / (Xя)) — а | < S, C.113)
| A/п) Я (F" | / (X»)) — 6 | < 6,
| A/п) #(Z"|/(*"))— с|< б. О C-114)
Доказательство. По определению для каждой точки (а, Ь, с) £
6 ^* (X; Г; Z | X) существует СВ U с | U | <: | X | + 2, удовле-
удовлетворяющая марковскому условию U ©■ X ^ FZ, и число t,
0 « f « min [/ (f/ /\ Y), I {U Д Z)],
такие, что
6 = Я(Г| IQ +/, с = ЯB|^/) + ^, C.115)
max [I {X J\Y\U), I (X /\ Z\ U)] + t < a < H (X\ U) + t.
C.116)
Сначала построим функции /~ и /, удовлетворяющие условиям
теоремы для Ь, с из C.115) и
а" ■£. max [/ (X /\ У I t/), / (X Л Z | f/) ] + f
(соответственно а = Н (X \ U) + i).
Предположим, не ограничивая общности, что
/ (X Д У\Ц) 2* I (X Д Z\ U). C.117)
Зафиксируем некоторые tj > 0, т>0, 0 < е < 1, точные зна-
значения которых будут указаны позже. Последовательно применяя
лемму 3.18, получаем, что при п > щ (| X |, | Y |, |Z|, т, т), е)
существуют непересекающиеся множества А/ с; Т^х], / = 1, •••
..., У, такие, что
Рх{[) А/)^1-л C-118)
и каждое Aj обладает свойствами множества А из указанной
леммы. В частности, каждое из множеств Ау- является объедине-

Ш Рл. 3. Многотерминальные системы
нием непересекающихся множеств А/" кодовых слов некоторых
(п, е)-кодов для ДКБП {V] и каждое А/° является объединением
непересекающихся множеств. А/1' * кодовых слов некоторых
(п, е)-кодов для ДКБП {W\.. Положим
г—/х\_й-1 (/> 0. если х £ А/° для некоторых / и /,
| 0 в противном случае,
/, если х £ А/ для некоторого /,
О в противном случае.
Заметим, что если /~ (х) = (/, /), то / (х) = /. Учитывая C.118),
имеем
(\/п) Я (Y"\r (Хп)) < A/п) Я (У" | / (Хп)) <:
По лемме 3.2 при п ^ п2 (| X |, | Y |, | Z |, т, т], е) имеем
О = /) = H(Yn\Xn £ А,) <: log£y (А,, 1 — е) + пх.
Далее, из условия (iv) леммы 3.18, их соотношения C.119) и
последнего неравенства вытекает, что
+ H(Y\U) + t-\-2%. C.120)
Аналогично,
4Я^" I Г U")) <:4-ЯB" |/ (X")) <:
< Л log |Z| + #(Z| £/) + * +2т, C.121)
4- Я (X" | / (Хл)) <; т, log | X | + Я (X | £/) +1 + 2т.
Далее, по определению /~ из C.118) и условий (ш) леммы 3.18
получаем, что
A/п) Н(Хп\Г(Хп)) <nlog\X\ + I (X AY\U) + t + x. C.122)
Для доказательства обратных неравенств напишем
Г(Хп))^ £ UPr{X</!) ^ Ai'M^C^lA^e A}0)- C.123)
i
Поскольку А/" состоит из последовательностей одного и того же
типа, условное распределение СВ X" при условии Хп £ А/°
равномерно на А/" для каждых /, /. Поскольку А/" является

§ 3. Характеризация энтропии и объема образа 311
множеством кодовых слов (п, е)-кода для ДКБП \V\, из леммы 3.2
следует, что при п ^ п3 (| X |, | Y |, | Z |, т, г\, е) для любых /, /
(]/п)Н (Yn | Хп (= А)°) > A/n) logffv« (А}°, 1 _ е) - т - е log| Y |.
Следовательно, из условий (iii) леммы 3.18, используя C.123)
и C.118), получаем, что
A/п) Я (Г | / (X" )) ^ A/п) Я (Г | Г (*")) ^
S* A - Л) f min -L loggvn (A<-'\ 1 - e) - т - e log I Y |) >
^(l-rO(H(Y\U) + t-2x-e log | Y |). C.124)
Аналогично,
j l м
н (zn | г (xn)) ^ £ Ц S Pr {x" 6 A}'- m)} я (z" | x" ^ а)л m)).
/=1 /=1 m=l
C.125)
Поскольку A/'1 m) — множество кодовых слов некоторого (п, е)-
кода для ДКБП {W}, такие же рассуждения, что и выше, пока-
показывают, что при п > «4 (| X |, | Y |, | Z |, т, ц, г)
A/п) Я (Z" | Хп £ А(/- т)) ^ A/п) log^ (А)Л т), 1 - е) -
— Т — 8 log | Z |.
Таким образом, из C.125), C.118) и условий (ii) леммы 3.18 по-
получаем
A/п) H{Zn\f (Xn)) ^ A/п) Я (Г | Г (*")) ^
^ A - Л) (.min 4" log ff^« (А)'' т\ 1 - е) - т - ,; log | Z |) ^
^ A - tj) (Я (Z | f/) +1 - 2т - е log | Z |). C.126)
Наконец,
A/п) Я (X" | Г (Xя)) = Н (X) ~ A/п) Я (Г (Хп)) ^
2* Я (X)-A/п) login
A/п) Я (X" | / (Хп))= Я (X) - A/п) Я (/ (Хп)) s*
Здесь из условий (iii), (iv) леммы 3.18 и неравенства C.118) при
п :з= п5 получаем, что
-1- log | ГI < Я (X) - rain 4" bg| Ajn | +
+ т < Я (X) - (/ (X Д ^ I £/) + 0 + 2т,

312
Гл. 3. Многотерминальные системы
4-log||/|| < Я (X) - min-1-log
Таким образом, .
+ т < Я (X) - (Н(Х | U) + t) + 2т.
(l/n)
(X\U) + t —
.
Если т, t] и е достаточно малы, то сравнение соотношений
C.120), C.121), C.122), C.124), C.126), C.127) доказывает наши
утверждения о точках (а, Ь, с), удовлетворяющих C.115) и C.116)
с любым равенством в C.116). Для произвольной точки (а, Ь, с)
можно поступать аналогично, разбивая множество индексов L
на подмножества Ls примерно одинакового объема и рассматри-
рассматривая функцию f (х), принимающую значение (/, s), если х £ А/"
для некоторого I £ Le. □
Сравнивая следствие 3.7 и теорему 3.19, получаем следующее
утверждение.
ТЕОРЕМА 3.20 (характеризация энтропии).
ЗГ (X; У; Z | X) = Ж (X; Y; Z\X) + 36* (X; Y; Z \ X). о П
ОБСУЖДЕНИЕ. В этом параграфе мы привели решение за-
задачи характеризации энтропии и задачи характеризации объема
образа в частных случаях 3-источника и двух ДК.БП соответ-
соответственно. В § 1 было показано, что вычислимая характеризация
области достижимых скоростей для сети источников с одним по-
помощником может быть получена из решения задачи характери-
характеризации энтропии. В следующем параграфе мы увидим, что соответ-
соответствующие характеризации объемов образов могут быть исполь-
использованы для доказательства сильных обращений теорем кодиро-
кодирования для сетей источников, а также для решения задач о сетях
каналов. При этом важно отметить, что множества достижимых
энтропии и достижимых экспонент имеют одинаковые двумерные
проекции; см. теоремы 3.11 и 3.20 (задача 8). Сами эти множества,
однако, не обязаны совпадать; их взаимосвязь описывается
следствием 3.13.
Авторы считают, что теоремы 3.16 и 3.20 представляют собой
математическую основу достигнутых в настоящее время методов
доказательств результатов о многотерминальных сетях источни-
источников и каналов. Конечно, при доказательстве конкретных теорем
кодирования нужна не вся разработанная техника. Кроме того,
как будет видно из следующего параграфа, отдельные результаты
можно получить и другими, иногда более простыми методами.
Может создаться впечатление, что основные теоремы легко
обобщаются, и аналогичным образом можно охарактеризовать
достижимые векторы энтропии произвольных ДМИБП и сорт-

§ 3. Характеризация энтропии и объема образа 313
ветственно экспоненциальное поведение т)-образов подмножеств
Т[х] относительно нескольких ДК.БП, когда п стремится к беско-
бесконечности. Это, по-видимому, не так, и соответствующие общие
задачи до сих пор не решены. Частные результаты содержатся
в задачах 16—20.
Доказательства в этом параграфе основаны на лемме 3.7 о све-
сведении к однобуквенной характеризации, а также на доказанных
ранее лемме о раздувании (§ 1.5) и лемме о максимальном коде
(§ 2.1). Заметим, что мы постоянно использовали то, что
A/л) log gvn (A, r\) фактически не зависит от г\ при больших п
(лемма о раздувании) и что наименьший образ множества лишь
немногим больше максимального множества кодовых слов (п.,
е)-кода, который в нем содержится (следствие леммы о максималь-
максимальном коде). Мы также существенно использовали результат из
теории выпуклости, а именно лемму 3.4 о носителе. Именно эта
лемма дала нам возможность ограничить множество значений
вспомогательных СВ. Такие границы необходимы для того, чтобы
полученные в этом параграфе характеризации были вычислимы.
Задачи
1. Покажите, что в определении Ж* (Y; Z \ X), см. C.49), ограничение
| U | ^ | X | -J- 2 на число значений можно усилить до | U [^ | X | -(- 1.
Указание: непосредственно применить лемму о носителе.
2 (ухудшенные каналы). Напомним (см. задачу 2.1.14), что канал W: X -»- Z
называется ухудшением канала V: X -*■ Y, если для некоторого канала £>: Y -»- Z
имеем
W(z\x)= £ У (У I х) D (г | у) для любых х £ X, г £ Z.
Покажите, что для такой пары каналов и для СВ X, Y, Z с PY , х — У, Р% \ х ==
= W имеем (Ь, с) £ <%&* (Уг Z \ X) в том и только том случае, если
Я (Z | X) s-S с sg Я B), Ь~ (с) ss b sg b+ (с),
где Ь- (с) = с + Я (К | X) - Я (Z | X)
и Ь+ (с) — наибольшее значение Я (Y \ U) при ограничении Я B | U) sg; с для
всех СВ U с
t/O X-Q- YZ, | U |^|Х|-Ь 1.
Указание. Дословно применимо доказательство леммы 3.12; относительно
ограничения на число значений см. задачу 1.
3 (наклон границы множества Ж*(Х\ Z | X)). По лемме 3.12 (см. C.68)) тан-
тангенс угла наклона «верхней границы» а+ (с) множества Ж* (X; Z | X) всюду не
меньше 1. Покажите, что если матрица W = Рz i x имеет строго положительные
элементы, то этот тангенс строго больше 1.
Указание. Достаточно показать, что Ж* (X; Z \ X) имеет опорную прямую
с тангенсом угла наклона больше 1 в «самой высокой» точке (а, с) = (Я (X),
Я (Z)) (считая, что ось а расположена вертикально, см. рис. 3.2). Заметим, что

314 Гл. 3. Многотерминальные системы
этот тангенс равен нижней грани отношения / (U /\ X)l I (U /\ Z) по всем СВ U,
таким, что U -О- X -& Z, | U | sS | Х"| + 2, / (U Д 2) > 0. Поскольку
HUAX)= £ Ри (и) D \РХ , и=и || Рх),
«£ U
эта нижняя грань строго больше 1 ввиду результата задачи 1.3.18. (Более силь-
сильный результат содержится в задаче 12.)
ОБЪЕМ ОБРАЗА]_ПРОИЗВОЛЬНОГО МНОЖЕСТВА (задачи 4—5)
4 (максимальное замыкание). Для произвольного множества & троек веще-
вещественных чисел обозначим через max (<&) множество троек (а, Ъ, с), которые можно
получить из троек (at, bi, c{), i— I, 2, 3, полагая
д , д , д
а= max а,, 6 = max bi, с =
l<3 l<
Назовем max {&) максимальным, замыканием &'.
(a) Докажите, что для каждого множества & в трехмерном евклидовом про-
пространстве множество max (<£) максимально замкнуто, т. е.
max (max (#))'= max (<£).
(b) Докажите, что 3* (X; Y; Z\ X) — максимально замкнутое множество.
(c) Покажите, что
U 3* (X; У; Z | X), ( * )
где объединение берется по всем распределениям Рxyz c ^y I x == ^» ^z \ х = ^»
не является максимально замкнутым множеством.
Указание. Найти каналы V, W, для которых существуют распределения Р
и Q на X, такие, что PV и QV — равномерные распределения соответственно на
Y и Z, а, скажем, Р не является равномерным распределением на X. После этого
заметить, что
(log | X |, log | Y |, log | Z |)
содержится в максимальном замыкании объединения (*), но не содержится
в самом этом объединении.
5 (объем образа произвольного множества). Пусть заданы два ДКБП {V:
X-+Y) и {W: X—»■ Z} с общим входным алфавитом. Назовем тройку (а, Ь, с)
достижимой тройкой^экспонент для соответствующей задачи об объеме образа
без ограничений, если для любых г, б £ @, 1) и любого достаточно большого п
существует множество А с X", для которого выполнено условие (ii) определе-
определения 3.1, т. е.
| A/л) log | А | - а | ^ б, | A/п) loggvn (А, 1 - е) - Ь | ==S б,
| 0/п) log *у„ (А, 1—е)-с|^8.
Обозначим множество таких троек через & (V, W). Покажите, что это множество
является максимальным замыканием (см. задачу 4) множества U 3* (X; Y; Z\ X),
где объединение берется, как в задаче 4 (с).
Указание. Существование очевидно. Для доказательства обращения пред-
представить А как объединение непересекающихся множеств, состоящих из последо-
последовательностей одного и того же типа, и применить к каждому из этих множеств
теорему 3.14.

§ 3. Характериаация энтропии и объема образа 315
6 {множества, наполненные кодами). Обобщите оценку C.5) леммы 3.2 на
множества А с ~^?х]' являющиеся объединениями непересекающихся под-
подмножеств А;, таких, что
A/л) log | А; |> Су (А, s) —6
и каждое А г является множеством кодовых слов некоторого (л, £)-кода для
ДКБП {V: X-v Y), где V = Ру\х- Точнее, покажите, что если случайная ве-
величина Хп равномерно распределена на таком множестве, a Yn связана с Хп
каналом V", то при л Js л0 (| X |, | Y |, г, 6, г|) выполнено неравенство C.5) с за-
заменой 6 на 36.
Указание. По лемме 2.1.8 из условий на А, при л ^ пг (| X |, | Y |, 8, б, г\)
вытекает, что
A/п) log gyn (А,, г,) > A/n) log gyn (A, ti) - 26.
Поэтому, применяя C.5) к Aj, получаем
A/n) Я (Yn | Xя <= Af) + б + e log | Y | > A/n) log gyn (A, r,) - 26.
7. Докажите непосредственно, что для любого б > 0, любого п ^ п0 (| X |,
| Y |, | Z |, б) и любой точки (а, Ь, с) ^Ж* (X; Y; Z | X) существует'функция /
на Xя, для которой
A/n) H(Xn\f (X")) ^а+6, A/л) H(Yn\f (Xn)) ^Ь+8,
A/л) H{Zn\f (Хп)) ^ с + б,
и, кроме того, выполнено любое заранее заданное неравенство из следующих
трех:
A/л) Н (Хп | Г (Хп)) > а ~ б, A/n) H(Yn\f (Xn)) > 6 - в,
.(l/n) N(Zn | / (Хп)) > с - S,
Указание: использовать теорему 3.15 и лемму 3.2.
S. Приведите пример распределения Pxyz> для которого
3?<Х; Г! *| Я) **•(*; У; «|А).
Указание: нужно показать, что 8С* (X; К; Z | X) >»* »• (X; Y\ Z \ X).
A) Для каждого распределения Pxvz верхняя граница а++ (&, с) мид«
жества У* удовлетворяет условию
а++ (я (у), с) «■ а+ (с) == max Я (X | У),
Я (Z | V) = с
где £/ — такая СВ, что
1/©^©2h|U|<|X|+2.
(ii) Если матрица 1^ = Pz j x имеет строго положительные элементы, то
ввиду задачи 3
о+ (с) > а+ (c — t) + t при t > 0.
(iii) Верхняя граница а+ (£, с) множества 3#* удовлетворяет условию
в* (Я (У), с)= max [Я (X | £/) + / (У Л У) 1.
H(Z\U) + i JY)
H(Z\U)
где максимум берется по всем СВ U, для которых
(iv) Если с < Я (Z) и матрица V является обратимой квадратной матрицей,
то минимальное значение / {U Д Г) по geein четверкам СВ (U, X, Y, Z),

316 Гл. 3. Многотерминальные системы
ющима++ (Я (Y), с), строго положительно. Обозначьте это минимальное значеиие
через t0.
(v) Вывести из пп. (ш) и (ii), что
а+ (Я (К), с) s=s max (а+ (с — f) + t) < а* (с).
i>t0 *
Ввиду п. (i) этим доказано наше утверждение в случае, когда Pxyz таков°. ч?0
V= Ру\ х имеет ненулевой определитель, a W имеет строго положительные
элементы.
9 {образы относительно ДСК). (а) Покажите, что если V — двоичный сим-
симметричный канал с вероятностью ошибки р и СВ Хп и Yn связаны каналом Vn
(компоненты Xt не обязательно независимы), то из условия A/п) Я (Хп) >■ h (X)
вытекает, что
A/л) Я (Yn) > h (X A - р) + A - X) р).
Указание. Из следствия 3.7 и леммы 3.12 вытекает, что
min A/я) Я (Yn) > min Я (К | t/),
A/п) Я (Хп) > с Я (X | С/) > с
где минимум в правой части берется по всем СВ U, X, Y, таким, что U -в- X ■©■ Y
и X, Y связаны каналом V. Заметим, что функция
g (с) = min Я(К| U)
является нижней выпуклой оболочкой функции
/ (с) ^ min Я G).
Я (X) »с
Поэтому достаточно показать, что функция / (с) выпукла. Ясно, что
f (с) = h (ft-i (с) A - р) + A - /Г* (с)) »),
где /Г1: [0, 1 ] -* [0, 1/2] -» функция, обратная двоичной энтропии; для доказа-
доказательства выпуклости следует вычислить вторую производную.
(Wyner—Zlv A973).)
(b) Покажите, что если А„ — множество двоичных последовательностей
длины п, то из условия
lim A/л) log | An I = с .
П~юо
вытекает, что для любого 0 < s < 1
Jim.(i/«) bg Svn (An. 1 - ej >/ (c).
n-*<x>
Указание: применить п. (а) и лемму 3.2.
(Ahlswede—Gics—Korner A975).)
10 (образы для двоичных каналов), (а) Покажите, что если V — двоичный
канал, т. е. X = Y =J0, 1}, то для любых СВ Хп и Yn, связанных каналом Vn,
из условия (l/n) H (Хп) >■ с вытекает, что
A/п) Н (Yn) > f\c),
где /(с)= min Я (К)
Н (X) >с
и минимум берется по всем СВ X и Y, связанным каналом V. Докажите
ствующее обобщение утверждения задачи 9 (Ь),

§ 3. Характеризация энтропии и объема образа 317
Указание. Как и в задаче 9 (а), нужно доказать, что функция / (с) выпукла.
Для этого достаточно доказать ,^что, полагая^ , _j
/0(с) = min Я (К),
щх)с
имеем /А (с) > О, К (с) > 0. Далее следует показать, что для V= (" ?
\Р Р/
(где й= 1 — а) имеем /0 (с) = ft (/ (ft (с))) с функцией / (я), задаваемой фор-
формулой
Z(*)^*(a —P) + a @sS*sS 1/2).
Теперь неравенство f'o (с) > 0 получается непосредственными вычислениями, в то
время как неравенство f'Q (с) > 0 сводится к доказательству того, что при 0 ^
^ х ^ 1/2 и у = (а — Р) х -{- а справедливо неравенство
Это последнее неравенство очевидно, если у sg x. Если же х sg у sg 1/2, рассмо-
трим канал W = I _ ) , для которого у—(к — |а) х -f- Я,. Если ( *) выполнено
для канала с наибольшим (к — р.), то оно, очевидно, выполнено для всех других.
Однако (к — (х) максимально, если W — двоичный симметричный канал, и можно
применить задачу 9 (а).
(Ь) Покажите, что для любых X, Y с max (| X |, | Y |) > 2 существует канал
V: X ->■■ Y, для которого соответствующая функция / (с) не выпукла.
Указание: рассмотреть каналы
/3/4 1/4\ /1/2 1/2 ОХ
3/4 1/4 и
/ \1/8 1/8 3/4/
(Ahlswede—Когпег A977), Wit3enhausen A974).)
11 (сравнение каналов), (а) Каиал V: Х-> Y называется менее шумнымГчт
канал W: X~*- Z, еслн для любого канала F; U -*- X (с произвольным U) канал
FV: U -*• Y является более мощным, чем канал FW; см. задачу 2.1.16. Покажите,
что описание 2SS* (У; Z \ X), приведенное в задаче 2, остается верным и в этом
случае.
Указание: использовать задачу 2. ! [К
(Ь) Покажите, что канал V может быть более мощным, чем W, и в то же время
не быть менее шумным.
Указание. Пусть Х= {1, 2, 3), Y = Z =^= {1, 2) Грассмотрим каналы
1 О
Положим
= A/4, 1/4, 1/2), U = f{X) =| X —
Тогда / (U Л У) = 0, в то время как / (U Д 2) > 0.
(с) Покажите, что К менее шумен, чем W, в том и только том случае, если W
является более сжимающим в смысле расходимости, т. е. для любой пары Р, Р
распределений на входе
D {PV \\PV) > D (PW $PW),

318 Гл. 3. Многотерминальные системы
(Кбгпег—Marton A977a). Приведенный там контрпример к п. (Ь) принадле-
принадлежит Алсведе. О характеризации понятия «менее шумный» в терминах теории
кодирования см. задачу 4.33 (а).)
12* (сильные леммы об обработке данных). Совместное распределение двух
СВ X и Y называется неразложимым, если не существует заданных на X и Y
функций / и g, таких, что
(i) Pr {f(X) = g(Y)} = 1,
(ii) / (X) принимает по крайней мере два значения с ненулевыми вероят-
вероятностями.
(a) Покажите, что совместное распределение СВ (X, Y) неразложимо в том
и только том случае, если множество 36* (X; Y \ X) имеет опорную прямую в точке
(Н (X), Н (Y)) с тангенсом угла наклона, строго меньшим 1. (В отличие от за-
задачи 3 теперь ось а расположена горизонтально. Таким образом, минимальный
наклон опорных прямых в точке (Н (X), Н (Y)) равен
axK^sup (/ (U Д Y)ll (U Д X)),
где верхняя грань берется по всем СВ U, для которых U -Q- X -Q- Y, I U I <
<|Х|+2. /(£/Д Х)>0.)
(b) Определим aw для канала W: X —*■ Y формулой aw.= maxaJCS,, где
максимум берется по всем СВ X, Y, связанным каналом W. Докажите, что aw <C 1
в том и только том случае, когда пропускная способность канала W при нулевой
вероятности ошибки равна 0.
(c) Докажите, что для любого канала
(Совместный результат Алсведе, Гача и авторов, опубликованный а работе
Ahlswede«~Gacs A976),) »3
13 (кваэиобразы множества). Пусть задана пара СВ (X, У). Множество
ScY" называется ц-квазиобразом множества А с X" по каналу К" (где V «"
? )
у I х)
Рт{Уп g В |Х" € А}>т).
Обозначим через ^„Я(А, i}) минимальный объем т]-квазиобраза А по Vn. Поиа-
жите, что множество всех троек (а, Ь, с), для которых прн каждых б, ц £ @, 1)
и каждом достаточно большом п существует множество А с Т"Х], такое, что
|<l/n)log|A|-al<e, | <l/n) log «уЯ (А, Т))-Ь|<е,
| A/я) log 8wn (А, Ч)-с|<в
совпадает с 3» (X; Y; Z | X).
14* (взаимные квазиобразы). Пусть X, Y — пара СВ с неразложимым совмест-
совместным распределением (см. задачу 12).
(а) Покажите, что если для некоторого фиксированного т\ £ @, 1) множества
Ап cz X". и В„ С Уп являются взаимными Т)-квазиобразами друг друга, т. е.
Pv\Xn е А„|У€ В„}>т) н Рг{К" € Bn|x"€ An}>ti, (*)
то
A/я) log Рг \Хп € A,, Yn <= В„} — О,
(Qacs—Кбгпег A973).)

§ $. Характеризация энтропии и объема образа 319
(b) Покажите, что для каждого 0< а <1/2 существует число х = х (Pxy,
о) < 1, такое, что для каждой пары множеств An cz X", В„ с Y", удовлетво-
удовлетворяющих условиям
а< Рг \Х" £ Ап\ < 1 — а, а<Рг{кп £ В„} < 1 — а,
имеем
Рг \Хп <= Ап, Y" £ Вп\ + Рг \Хп <£ Ап, Yn <=£ В„} < т.
(Witsenhausen A975).)
(c) Покажите, что существуют два числа Я, (х £ @, 1) (зависящие от Pxy)
с Я -j- (х > 1, такие, что для каждого /г и каждых An cz X", Bn cz Y" имеем
Рг {Хп £ А", Уп £ Вп\ <: [Рг \Хп £ Ап\)х [Рг {К" € ВП}Р-
Заметьте, что отсюда следует п. (Ь). Докажите, что отсюда следует также такое
усиление результата п. (а): существует такая константа 8 = г (Pxy, f]) > 0,
что для любого п и любых множеств Ancz X", Bn cz У" из условия ( *) вытекает,
что
рг{х" е ап. vn e в„}>8.
(Ahlswede— Gacs A976).)
15 (образы и порожденные последовательности). Постройте ДКБП [W:
X ->■ Y} и множества An cz X", такие, что в обозначениях C.7)
Jim A/я) (log| Tnim (А„)| - log gvn (А„, 1 - е))> 0.
П->-оо
Указание. Рассмотрим тройку СВ U, X, Y, для которой U ■& X ■& У и
Р Y 1 х = Й7. Положим
А„ ~ Трх , у] ("„) Для некоторого и„ 6 Тру].
Тогда A/п) log g п (Ая, 1 — 8) -+ Я (F | £/) (см. лемму 3.3), в то время как
_Шп A/л) logj T^j (А„) I > max Я (К
И—bfYI ■
где максимум берется по всем СВ О, для которых Ял„ == ^с/х * °Диако марков-
марковское свойство может не выполняться.
ИСТОЧНИКИ, ИМЕЮЩИЕ БОЛЕЕ ТРЕХ КОМПОНЕНТ (задачи
16—20)
16 (достижимые снизу векторы энтропии). Пусть задан ДМИБП с г -f- 1
компонентами, порожденный переменными X, К* , ..., У^г\ Назовем вектор R
с неотрицательными компонентами Ri, 0 <: i <■ г, достижимым снизу вектором
энтропии, если для любого б > 0 и любого достаточно большого п существует
заданная на X" функция /, для которой
(\ln)H{Y^n\f{Xn))^Ri + b, 1=1. .... г,
\(\ln)H(Xn\f{Xn))-Rtt\ ss6.
Докажите, что вектор R является достижимым снизу вектором энтропии в том
и только том случае, если существует такая СВ U, что U -Q- X -Q- F'1' ... У^л), V
принимает не больше | X | + г значений и
Ri Ss Я (К('> | U), I = 1, ..., г, Ra= H(X\ U).

320 Гл. 3. МноготерминальнЫе системы
Указание: достижимость снизу указанных векторов R вытекает из след-
следствия 3.3. -.., ;4asj
Для доказательства того, что других достижимых снизу векторов энтропии
нет, заметить, что *
«
H{Yn\f (Хп)) = £ Я (у, 1 Yl~\ f (Xn)) >
/=i
> S H (Yj | W-1, Х'-\ f (Хп)) = |] Я (К,- | Х>-«, / (X"))
где через Y обозначается любая из СВ К*'*, и
H(xn\f (хп)) = £ я (X/1 я'-1, / (*»)).
Ввести СВ J, независимую от всех остальных и равномерно распределенную на
множестве {1, ..., п), и рассмотреть СВ
su = xJ~l f (хп), х £. Xj, у<'> = уу>.
(Gray—Wyner A974), Ahlswede—Korner A974, ие опубликовано).)
17 (У = Ж для любого ДМИБП). (а) Уточняя следствие 3.3, докажите, что
при п ;> п0 (| X |, | Y |, | Z |, б, е) существует функция /: Х"-> U", обладающая
свойствами из этого следствия и такая, что
\(Vn)H(Yn\nxn))-H(Y\U)\<S (•)
для любой СВ Y с U в- X в- У.
Указание. Сначала показать, что утверждения C.10) и C.11) леммы 3.3
остаются верными, если в C.9) заменить условие Р1^ | v (A |u) > т]/2 на более
слабое условие
£% , и (А | и) > т)л, где т)„-н-0, A/л) log л„ -*0.
Отсюда можно вывести, что каждое из множеств Aj при доказательстве следствия
3.3 можно выбрать состоящим из последовательностей одного и того же условного
типа при заданном аг-, причем будут выполняться все условия C.18)—C.21) с тем
исключением, что условие PJ , у (А(. | ut-)^e/2 в C.19) заменяется иа условие
Рпх | и {At | и;) ;> 11Л. Если определить теперь /: Хл—>■ U" с помощью этих Аг,
то неравенство (*) будет выполнено. В самом деле, пусть задана СВ У с
U-Q-X-&Y. При достаточно больших п каждое Aj можно представить в виде объ-
объединения множеств Ajj, I =ST / =gC Л';, кодовых слов некоторых (я, е)-кодов для
ДКБП {V} и множества А;о, для которого | Aj0 |< б | А, |, причем
{IIП) log | AtJ | > Cr (Aj, в) — в, !<K JVi-
Полагая
i м
0, если х С U Aia,
g (Ю ^ «=1
[ 1 в остальных случаях,
получаем, что
Я (У | / (Xя)) > A - б) Я (У11 / (Xя), g (Хп) = 1).

§ 3. Характеризация энтропии и объема образа 321
Теперь можно завершить доказательство, используя задачу 6 для проверки того,,
что
= A/л) Я (К" | Xя е Аг- - А,о) > A/л) log gya (А,, 1 - е) - Зб -
- в log | Y |.
(Ь) Определите для (/•+ 1)-источника, порожденного произвольными пере-
переменными X, КA) К(г>, множества У (X; К<1>;...;К('° I X) и 36 (X; Y°>;...
...; К'г' | X) как замыкания множеств всех векторов вида
(A/л) Я (X" | / (Хп)), A/л) Я (К<'» " | / (Хп), ..., A/л) Я (К(л:> " | / (X"))),
(A/л) Я (Хп | £/), A/л) Я (КA) п | £/) A/л) Я (К(г> " | U))
соответственно, где U.-& Хп -в- (КA)... К<г))". Покажите, что У = Ж
Указание: использовать п. (а)
18^ (достижимые векторы энтропии). Покажите, что для (г + 1)-источника,.
порожденного произвольными пер-менным.1. (X, К'1', ..., К(г'), покоординатный!
минимум двух векторов
(Я (X |.t/) + <, Я (К<" | t/) + t, ..., Я (К<г> | U) Ч- 0, ' " '' '
где t/ О X О КA) ... У(г) и < > 0, лежит в области V (X; КA); ...; К(г) | Х),.
введенной в задаче 17.
Указание. При ^ = 0 утверждение содержится в задаче 17 (а). При t > 0 рас-
рассуждения, используемые при решении задачи 17 (а), следует применить к множе-
множествам А,-, построенным аналогично множеству А при доказательстве теоремы 3.9'
(см. Кбгпег A984)*).
19 {достижимые сверху векторы энтропии). Пусть задан ДМИБП с (г -f- 2)'
компонентами, порожденный переменными (X; КA), ..., К(г), S). Назовем век-
вектор R с неотрицательными компонентами Ri, 0 <; г ^ г -j-■ 1, достижимым сверху
вектором энтропии, если для любого б > 0 и любого достаточно большого п су-
существует заданная на X™ функция f, для которой
A/л) Я (К«> » | / (X")) > «г — б, 1
Докажите, что при выполнении свойства X -в- 5 ■& УA)... К(Г) вектор R является'
достижимым сверху вектором энтропии в том и только том случае, если сущест-
существуют СВ U, для которой
U в Y в- S О КA) ... K(r), |U |<
и число ^, 0 < / < / (f/ Д Ч> такие, что
/?„ < Я (X | U) +-t,
Ri < min (Я (У(''> | i/) + /, Н (Yw
ЛГ+1 = Я E | t/) + t.
И Чисар И., Кёриер Я.

322 Гл. 3. Многотерминальные системы
Указание. Достижимость сверху таких векторов вытекает из предыдущей
задачи. Для доказательства обратного утверждения мы будем использовать тож-
тождество
Н{Т)~Н 2)= Я (T\Z)~ H(Z\T). (*)
Обозначая через Y любую из СВ Y^, имеем
H(Sn\f (Xn)) -H{Yn\f {Xn)) = H(Sn\ Ynf (Xn)) ~H{Yn\ SJ (Xn)) =
=*.Н (Sn | Ynf (Xn)) - nH(Y | S) = fj \H {Sj \S'-17j | Yjf (Xn)) - H (Y j |Sy)]>
/='
> fj [H {Sj \~SJYjYjf(Xn)) - H (Yj | Si)],
/=l
где Yj = Yx ... Yj_xYj+x ... Yn и Sj определяется аналогично. Здесь
Я {Sj | SjYjf {Xn) Yj) = H {Sj 1 S/ {Xn) Yj),
поскольку Sj ■©■ YjSjf (Xn) ©■ Fj ввиду марковского свойства. Аналогично,
Н {Yj | S}) = H(Yj } SjSjf (X")). .;
Используя эти равенства и (*), получаем, что последняя сумма равна
V [н {Sj \Sjf (X") Y}) - Н (Yj \SjSj f (*"))) =
= £ [Я (Sj \Sjf (A)) - H{Yj \Sjf (X"))\.
Таким образом мы доказали, что
Н (Sn | / (Xя)) - Н (У<*> п | / (Хп)) >
Далее, последовательно применяя (*), получаем
H(Sn\f (X")) — И {Хп | / (Хп)) = Я (S" | X"/ (X")) - Я (\" | Sn f (Хп)) >
> fj [Я (Sj I X,) - Я (X; | SjSjf (Х„))] =
= £ [Я (Sj | XjSyf (*„)) - Я (Xj-1 SjSjf {Xn))l =
= fj [Я (S7-1 Sy/ (X"j) - Я(ХУ 1 S^ (X"))].
Введем СВ J, не зависящую от остальных и равномерно распределенную на мно-
множестве {1, 2, .... п). Рассмотрим следующие СВ:
UUSjf(Xn)y XUXJt Y^UYJ'K ~SUSJm
Ясно, что У © X в S © УA) ... F(r). Введем СВ U так, чтобы совместное рас-
распределение случайных величин, обозначенных буквами с волной над ними, сов-

§ 3. Харалтеризация энтропии и объема образа 323
падало с совместным распределением соответствующих случайных величин,
обозначенных теми же буквами без волны. Тогда (* *) и последнюю цепочку
неравенств можно переписать в виде
H(Sn\f (Хп)) — Н (У('> " | / (Хп)) > H(S\U) — H (К('> | U)t
H(Sn\f (Хп)) — H(Xn\f (Хп)) > Н (S\U) — H (X\U).
Далее, из неравенства
4=1
имеем
H(S"\f(Xn))>H(S\u).
20 (три канала). Пусть F: X.—*- S, V: X.—*- У, W: X—^ Z — такие три ка-
канала, что V и VP являются ухудшениями F. Пусть X •©■ S ©• YZ — такие СВ, что
(а) Обозначим через ST (S; Y; Z \ X) множество таких троек (а, Ь, с), что для
каждого 6 >• 0 и каждого достаточно большого я существует множество
А с: Tj^-], удовлетворяющее условиям
| A/я) log gpn (А, 1 - в) - а | < S, | A/п) log gvn (A, 1 - е) - Ь | « б,
{A, Г—в)-с|^в.
Покажите, что У (S; К; Z (Л) состоит из тех троек (а, Ь, с), для которых
(Ь, с) £ Зв* (Y; Z\ X) и а~ (b, c)< a < «++ (й, с), где
в~ (*, с) U max [й + Н (S | X) — Н (К | X),
c+tf(S|X) — H(Z\X)],
a a++ (й, с) — наибольшее значение Н (S | U) при ограничениях Я (К | U) ^ А,
Я B1 У) < с для СВ U с £/ е- X в- S е- YZ, | U |< | X | Ч- 3.
(Ь) Аналогично определим У (S; Y; Z\ X) как множество троек (а, Ь, с),
тажхсп.. что для каждого б >- 0 и каждого достаточно большого л существует функ-
функция / на X", удовлетворяющая условиям
| A/п) H(Sn\f(Xn)) -a\^ б, |A/л) Я (Y«\f (Х«)) - Ь \ < б,
Покажите, что 3? (S; К; 2|Х) состоит из таких троек (а, Ь, с), что F, с) £
£ Ж* (Г; Z | X) и а~ (Ь, с)<^а^ а* (Ь, с). Здесь а~ (Ь, с) такое же, как в п. (а),
н а* (Ь, с) — наибольшее значение Н (S\U) -\- t при ограничениях Н (Y | U) -f-
+ / = ■&, Я (Z | У) + * = с, 0 < t < min (/ (U /\ Y), I (U /\ Z)) для всех СВ
U, как в п. (а). .
Указание: доказательства аналогичных результатов в основном тексте при-
применяются почти дословно.
, . ,. Историческая справка
Исследование объемов множеств и их образов в связи с задачами кодирова-
кодирования было начато в работах Qacs—Кбгпег A973) и Ahlswede—-Qacs—Кбгпег
A976). Связь задач кодировання с задачей совместного описания энтропии после-
последовательностей СВ, связанных ДКБП, была понята (в частном случае) в весьма
стимулирующей работе Wyner—Ziv A973). Первый важный шаг в разработке об-
общей техники доказательства обратных результатов был сделан Галлагером A974).
11*

324 Гл. 3. Многотерминальные системы
Задача о характеризации энтропии в смысле C.1) была впервые применена для
доказательства теоремы кодирования для сети источников в работе Ahlswede—
Кбгпег A975).
Существенная часть настоящего параграфа основана иа работах Ahlswede—
Gacs—Кбгпег A976), Кбгпег—Martou A977c). Изложение в основном тексте ис-
использует число элементов множеств вместо их вероятностей: Это оказывается по-
полезным при получении равномерных оценок.
Техника ограничения числа значений вспомогательных СВ, основанная на
лемме 3.4 о носителе, была независимо предложена Алсведе и Кернером (Ahtswe-
de—Кбгпег A975)) и Вайнером (Wyner A975b)). Лемма 3.7 о сведении к одиобук-
венной характеризации обобщает результат Кернера и Мартон (Кбгпег—Marton
A977с)). Доказательство леммы 3.8 использует идею Алсведе (частное сообщение,
1974). Теоремы 3.9—3.12 принадлежат Кернеру и Мартон (Кбгпег—Marton
A977с)). Лемма 3.12 была доказана ранее в работе Ahlswede—Gacs—Кбгпег
A976). Лемма 3.15 взята из работы авторов (Gsiszar—Кбгпег A978)). Остальные
результаты основной части этого параграфа излагаются здесь впервые; они были
получены совместно с Мартон х). -■.-..
§ 4. СЕТИ ИСТОЧНИКОВ И КАНАЛОВ
Результаты предыдущего параграфа позволяют решить ряд
задач кодирования для различных сетей источников/и каналов.
Большинство получающихся таким образом теорем кодирования
приводятся в настоящем параграфе в виде задач, которые ре-
решаются более или.менее теми же приемами. Для иллюстрации
применяемых при этом методов мы подробно обсудим одну сеть
каналов и одну (нормальную) сеть источников. Кроме того, мы
рассмотрим сеть источников с критерием точности более общим,
чем вероятность ошибки.
Сети каналов с одной промежуточной вершиной называются
широковещательными каналами (задача 1). Интенсивно исследо-
исследовался в последнее время простейший случай сети с двумя вы-
выходами. Без потери общности можно предположить, что в сети
имеются 3 входа. Такой широковещательный канал (ШК) с двумя
выходами показан на рис. 4.1.
В настоящее время вычислимая характеризация области про-
пропускной способности широковещательного канала с двумя выхо-
выходами получена лишь в частных случаях. Имеющая самостоятель-
самостоятельный интерес модель получается в случае, когда «либо вход 1, либо
вход 2 бездействуют». Таким образом получается новая сеть
каналов, изображенная на рис. 4.2. Эта сеть, называемая асимме-
асимметричным широковещательным каналом (АШК) с двумя выходами^
и будет сейчас рассматриваться.
В дальнейшем ДКБП, соответствующие выходам с адресами
10 и 0, будут обозначаться через { V: X -> Y} и { W: X -»• Zf соот-
соответственно.
г) Более простое доказательство основных результатов этого параграфа со-
содержится в работе Кбгпег A984).* — Прим. перев.

§ 4. Сети источников и каналов
325
ТЕОРЕМА 4.1 (прямая часть теоремы кодирования для АШК)-
Любая пара (Rx, Ro) отрицательных чисел, для которой сущест-
существует четверка СВ (U, X, Y, 2), такая, что U е- X е- YZ, Y и 2
связаны с X соответственно каналами V и W и выполнены нера-
неравенства
J?x + Ro < min [/ (X Д У). I(X /\Y\U) + I(U /\ 2I,
D.1)
Яо < / (t/ Л Z), D.2)
является достижимой парой скоростей для асимметричного широ-
широковещательного канала с двумя выходами, задаваемого ДКБП
Рис. 4.1.
Широковещательный канал
с двумя выходами.
(ШК)
Рис. 4.2.
Асимметричный широковещатель-
широковещательный канал (АШК) с двумя выходами.
V:
{ X -* Y} и \W: X-^-Z}. Более того, каждая такая пара
(R-l, Ro) содержится в области пропускной способности АШК для
максимальной вероятности ошибки (задача 2). О
Доказательство. Достаточно доказать последнее утверждение.
Для этого заметим, что из определения АШК вытекает такое утвер-
утверждение: для каждой достижимой пары скоростей (Rlt Ro) дости-
достижимыми являются также пара (/?!-(-М?о» A~^)^о) ПРИ любом
О <! % «3 1 и все пары {R[, Rft О (Rt Ro).
Заметим, что если в D.1)
то
/ (X Л У) <S I (X Л 2).
Ro *s I (X Л У) «з 1(Х Л Z)
и такая пара (Rlt Ro) достижима ввиду следствия 3.8 и предыду-
предыдущего замечания. Поэтому остается расссмотреть случай
/ (X Л У) > I (X Л Z).
Мы утверждаем, что в этом случае можно считать, что СВ U в D.1)
и D.2) удовлетворяет условию
/ (X Д У) ^ / (X Л У\ V) + I (U Л 2).

324 Гл. 3. Многотерминальные системы
Задача о характеризации энтропии в смысле C.1) была впервые применена для
доказательства теоремы кодирования для сети источников в работе Ahlswede—
Кбгпег A975).
Существенная часть настоящего параграфа основана на работах Ahtswede—
Gacs—Кбгпег A976), Кбгпег—Marton, A977c). Изложение в основном тексте ис-
использует число элементов множеств вместо нх вероятностей: Это оказывается по-
полезным при получении равномерных оценок.
Техника ограничения числа значений вспомогательных СВ, основанная на
лемме 3.4 о носителе, была независимо предложена Алсведе и Кернером (Ahtswe-
(Ahtswede—Кбгпег A975)) и Вайнером (Wyner A975b)). Лемма 3.7 о сведении к однобук-
венной характеризации обобщает результат Кернера и Мартов (Кбгпег—Marton
A977с)). Доказательство леммы 3.8 использует идею Алсведе (частное сообщение,
1974). Теоремы 3.9—3.12 принадлежат Кернеру и Мартон (Кбгпег—Marton
A977с)). Лемма 3.12 была доказана ранее в работе Ahlswede—Gacs—Кбгпег
A976). Лемма 3.15 взята из работы авторов (Gsiszar—Кбгпег A978)). Остальные
результаты основной части этого параграфа излагаются здесь впервые; они были
получены совместно с Мартон1). ' ■
§ 4. СЕТИ ИСТОЧНИКОВ И КАНАЛОВ
Результаты предыдущего параграфа позволяют решить ряд
задач кодирования для различных сетей источников, и каналов.
Большинство получающихся таким образом теорем кодирования
приводятся в настоящем параграфе в виде задач, которые ре-
решаются более или.менее теми же приемами. Для иллюстрации
применяемых при этом методов мы подробно обсудим одну сеть
каналов и одну (нормальную) сеть источников: Кроме того, мы
рассмотрим сеть источников с критерием точности более общим,
чем вероятность ошибки.
Сети каналов с одной промежуточной вершиной называются
широковещательными каналами (задача 1). Интенсивно исследо-
исследовался в последнее время простейший случай сети с двумя вы-
выходами. Без потери общности можно предположить, что в сети
имеются 3 входа. Такой широковещательный канал (ШК) с двумя
выходами показан на рис. 4.1.
В настоящее время вычислимая характеризация области про-
пропускной способности широковещательного канала с двумя выхо-
выходами получена лишь в частных случаях. Имеющая самостоятель-
самостоятельный интерес модель получается в случае, когда «либо вход 1, либо
вход 2 бездействуют». Таким образом получается новая сеть
каналов, изображенная на рис. 4.2. Эта сеть, называемая асимме-
асимметричным широковещательным каналом (АШК) с двумя выходами^
и будет сейчас рассматриваться.
В дальнейшем ДКБП, соответствующие выходам с адресами
10 и 0, будут обозначаться через { V: X -* Y) и { W: X -»• 7-\ соот-
соответственно.
г) Более простое доказательство основных результатов этого параграфа со-
содержится в работе Кбгпег A984).* — Прим. перев.

§ 4. Сети источников и каналов
325
ТЕОРЕМА 4.1 (прямая часть теоремы кодирования для АШК).
Любая пара (Rly Ro) отрицательных чисел, для которой сущест-
существует четверка СВ (U, X, Y, Z), такая, что U е- X е- YZ, Y и Z
связаны с X соответственно каналами V и W и выполнены нера-
неравенства
i?x + Ro <: min [/ (X Д У), I (X /\ Y\U) + I (U /\ Z)],
D.1)
Ro < / (U A Z), D.2)
является достижимой парой скоростей для асимметричного широ-
широковещательного канала с двумя выходами, задаваемого ДКБП
Рис. 4.1.
Широковещательный канал
с двумя выходами.
(ШК)
Рис. 4.2.
Асимметричный широковещатель-
ный канал (АШК) с двумя выходами.
{V:
X -»• Y} и \W: X -»■ Z\. Более того, каждая такая пара
( Ro) содержится в области пропускной способности АШК для
максимальной вероятности ошибки (задача 2). О
Доказательство. Достаточно доказать последнее утверждение.
Для этого заметим, что из определения АШК вытекает такое утвер-
утверждение: для каждой достижимой пары скоростей (Rlt Ro) дости-
достижимыми являются также пара (Ri^\-KR0, A — ty Ro) при любом
О «! % «3 1 и все пары (R{, R'o) <s (Rt Ro).
Заметим, что если в D.1)
I (X А У)
A
и такая пара (Rlt Ro) достижима ввиду следствия 3.8 и предыду-
предыдущего замечания. Поэтому остается расссмотреть случай
/ (X д У) > I (X A Z).
Мы утверждаем, что в этом случае можно считать, что СВ U в D.1)
и D.2) удовлетворяет условию
/ (X Л У) ^ / (X л У\ и) + / (V Л Z).

326 Гл. 3. Многотерминальные системы
В самом деле, если первоначально U не удовлетворяла этому усло-
условию, введем СВ Ja, не зависящие от остальных, с
Рг{/а = 0}Аа, Рг |/; = 1}А1-а.
Полагая
д | U, если Ja = О,
а=1 X, если Ja = 1,
мы видим, что Ua е- X —*■ YZ и Ua удовлетворяет D.2). Далее,
/ (X Д Y\ Ua) + / (Ua Д Z) является линейной функцией а,
которая равна / (X Д Z) < / (X Д Y) при а = 0 и / (X Д
/\Y\U) + I (U А 2) > / (X Д F) при а = 1. Поэтому для не-
некоторого О < а < 1 выполнено равенство
/ (X д Y) = i (X д у\ иа)• + I (иа Л Z),
чем наше утверждение установлено.
Таким образом, снова используя замечание в начале доказа-
доказательства, осталось установить, что если
#! = /(ХД Y\U), R0=I(U/\Z)> D-3)
Rt + Ro < / (X Д Y) D.4)
для некоторой четверки (U, X, Y, Z), удовлетворяющей усло-
условиям теоремы, то пара скоростей (Rly Ro) является достижимой
(в смысле максимальной вероятности ошибки). Заметим, что из
D.3) и D.4) вытекает неравенство
/ (U Л Z) < / (U Д Y). D.5)
Зафиксируем некоторые б > 0, в £ @, 1/4). Пусть V: U -»• Y
и ^: U -»• Z — каналы, связывающие U с F и Z. Ввиду D.5) и
следствия 3.8 при каждом /г ^& /гх (| LJ |, |Y|, |ZJ, s, б) сущест-
существуют (л, е)-коды (Д ф) и G, $) для ДКБП {Р} и { W} с общим ко-
кодером, имеющим скорость
A/л) log | МН ^ / (I/ Д Z) — б. D.6>
По определению для каждого m £ Mf выполнены неравенства
V" (ф-1 (т) | /(/я)) = S V» (с?1 (т) | х) П | у (х | ?(т)) ^ 1 - е,
<4.7>

§ 4. Сети источников и каналов 327
Пусть А (гп) — наибольшее подмножество X", для которого
Vя (ф-1 (т) | х) ss 1 — 2е,
Wn (гИ (т) |х) 2гв 1 — 2е для любого х 6 А (т). D.8)
Из определения множеств А (т) вытекает, что они не пересекаются
(напомним, что е < 1/4), и из соотношения D.7) имеем
Рпх\и{Ь(гп)\1{т))^\12 для m £ Mf.
Используя лемму 3.8, при n^n2(|X|, |Y|, e, б) для каждого
m £ Mf можно построить (л, е)-код (/т, фт) для ДКБП {V] с ко-
кодовыми словами в А (т), причем все эти коды будут иметь одно
и то же множество сообщений Мг:
(lM)log |МХ|^/(ХЛ Y\U)-&. D.9)
Определим теперь отображения /: Мх хМ0-> X", ф." Y" -»■
-* Mi х Mo, ^: Z" -* Mo, где Мо =й= Mf, полагая
/ (т', т") Л= fm~ (т') для любого т' ^ Мц т" £ Мо,
Ф (у) ^ (<рто (у), т), где т ^ ф (у),
Вспоминая, что при любом, т ^ Мо пара (/т, фт) является (л,
е)-кодом для ДКБП \V), получаем из D.8), что (/, ф, гр) является
блоковым кодом длины л с максимальной вероятностью ош бки
в данном АШК, не превосходящей Зе. Поскольку е и б произ-
произвольны, из D.6) и D.9) вытекает достижимость (Rlt Ro). □
В общем случае пропускная способность сети каналов для мак-
максимальной вероятности ошибки может отличаться от пропускной
способности для средней вероятности ошибки. Однако в случае
АШК такого произойти не может. Имеет место
ЛЕММА 4.2. По каждой е-достижимой паре скоростей (Rlt Ro)
для АШК с компонентами {V: X -*■ Y\ и \ W: X -*• Z} каждому
б > 0 и каждому п ^ л0 (|Х|, г, б) можно построить блоковый
код (/, ср, гр) длины л с максимальными вероятностями ошибки, не
превосходящими 2s + б, и вектором скоростей (Rlt RQ), удовле-
удовлетворяющим условиям
#i 3* #i — 36, ^0 ^ #0 — 36.
Более того, можно считать, что все кодовые слова такого кода
имеют один и тот же тип. О
СЛЕДСТВИЕ 4.2. Пропускная способность АШК для макси-
максимальной вероятности ошибки равна его пропускной способности
для средней вероятности ошибки (задача 2,11). О

328 Гл. 3. Многотерминальные системы
Доказательство. Пусть (f, ср, гр) — блоковый код длины л для
АШК со средними вероятностями ошибки, меньшими е, где ср и
гр — декодеры, соответствующие выходам 10 и 0:
/ : Mi X Мо-v X", Ф: Y"-v MY =5 Mi X Мо, ф: Zn-vMz => М„,
Л, СТ0 С Мо
I — xi i —и I — ^ ^ ^*
m, t М, m01 Mo
где
i, m0) A= 1 — l/n (Ф (mi, m0) | f (mb m0)),
вь (fflj, mo) ^ 1 — Wn (яр (mo) | f (mlf m0)).
Предположим далее, что
(l/n)log|Mi|ss#i —6, A/n) log | Mo | ^/?0 — 6. D.11)
Положим
^ 2] (eio(mi. «0 + ^(^1, m)).
m, 6 M,
Поскольку ввиду D.10)
-J- V e(m)<2e,
|Mo1 Й
m t Mo
при достаточно большом л (зависящем от б) существует такое мно-
множество Мо <= Мо. что
A/л) log|M0|^ A/n) logjMo! — б D.12)
и ё (т) «г 2s + F/2) для любого m £ Мо- Аналогично, при до-
достаточно большом л для любого т £ Мо существует такое мно-
множество Мх =4= Mi (m), что
A/л) log| Mi (m) | s* A/n) log | Mi | —6, D.13)
ew imi> m) + eo (mi> m) < 2s + б для любых
"г € Мо, т1 6 Мх (m). D.14)
По лемме о числе типов при каждом п ^= п1 (|Х|, б) любому
m £ Мо соответствует множество Мх (т) с: Мх (т), такое, что
A/я) log | Mi (m) | ^ A/n) log | Mx (m) | — 6, D.15)

§ 4. Сети источников и каналов 329
и при каждом фиксированном т все последовательности f (тх, т),
mi 6 Мх (m), имеют один и тот же тип. Ввиду D.13) и D.11) из
неравенства D.15) вытекает, что при п^п2(|Х|, 8, б)
A/я) log | Mi (m)\ 5- Дх — 36. D.16)
Мы можем предположить, что все множества сообщений Mi (т)
состоят из одного и того же числа элементов и что при всех т мно-
множества Mi (т) совпадают, Mi JL Мх (т). По лемме о числе типов
при п :э= п3 (|Х|, б) существует такой тип Р, что для некоторого
множества Мо cz Мо с
_(l/rt)log|M0|S& A/n) Iog|Mo| — б
общий тип всех последовательностей \f (mlt т); m1 £ Mi} при
т £ Мо равен Р. Из последнего неравенства и неравенств D.11),
D.12) получаем, что
(l/l0|Ss#o —36. D.17)
Ввиду нашего определения Мх из D.16), D.17) и D.14) вытекают
утверждения леммы. Q
ТЕОРЕМА 4.3 (обратное утверждение теоремы кодирования
для АШК)- Если (Rlt Ro) есть е-достижимый вектор скоростей
(при некотором 0 < s < 1/2) для асимметричного широковеща-
широковещательного канала с двумя выходами, задаваемого ДКБП {V: X ->
-»• Y} и { W: X —*■ Z\, то существует четверка СВ (U, X, YZ), обла-
обладающая следующими свойствами:
(i) Y и Z связаны с X соответственно каналами V и W,
U е- X е YZ, U 6 U с | U | < | X | + 2,
(»)
/?х + ^о < min [/ (X Д П. I (X AY\U) + I (U A Z),
Ro ^ I (U /\ Z) (задача 3). О
Доказательство. Предположим, что (Rlt Ro) есть е-достижи-
е-достижимый вектор скоростей, и зафиксируем некоторое б, 0 < б <
< A/2)— s. Ввиду леммы 4.2 при достаточно большом п сущест-
существует блоковый код (/, ф, г|)) длины л для АШК, где
/: Мг х Мо-^-Х", ф: Y"->MY=> Mi х Мо. ^: Z"-> Mz => Мо,
такой, что все кодовые слова имеют один и тот же тип Р и
е10 (тг, т0) + е0 (ти т0) < 2е + б для любых тх ^ Mi,
т0 е Мо, D.18)
A/я) log | Mi| Ss #i — 6, A/я) log|Mo|Ss Ro — б- D.19)
Пусть X, Y, Z — произвольная тройка СВ, для которой Рх = Р,
PY\x = V, Pz | х — W. В соответствии с теоремой кодирования

330 Гл. S. Многотерминальные системы
для канала с шумом, точнее, с ее следствием 2.1.4 из D.18) вытекает,
что при п 5= nx (|X|, ]Y|, e, 6) справедливо неравенство
"'^ Л 10 + 6,
откуда ввиду D.19)
Ro + tfj. <: / (X Д 10 + 38. D.20)
Рассмотрим для любого т £ Мо множества
А (т)Л. {/(тъ т): % f Mi}, C(mLT"z] П Г1 И-
Поскольку г|гг (т) есть A — Bе + 8))-образ А (т) (ввиду D.18))
и ввиду лемм 1.2.10 и 1.2.12 при п^п3 множество Т"г] является
A — б)-образом А (т), то С (т) является 1 — Bе + 2б)-образом
А (т). Следовательно, полагая у\ Л* 1 — Bе + 26), имеем
|С (m)\5s*gWn. (А (т), ц) для любого т £ Мо- D.21)
По определению множества С (т) являются непересекающимися
подмножествами T"z]- Поэтому ввиду леммы 1.2-13 при п ^ rt4
Следовательно, обозначая через А и С некоторые множества
А (т) и С (т), для которых С (т) имеет минимальное число эле-
элементов, имеем в силу D.21)
A/n) log| Мо ] <: Н (Z) + б — A/л) log \C\<.
<: Н (Z) + б - A/n) log дг^ (А, л)- D.22)
С другой стороны, ввиду D.18) А является множеством кодовых
слов (п, 2е + б)-кода для ДКБП [V] с множеством сообщений Mi-
Поскольку А с Тр с Т"х]. из леммы 2.1.8 вытекает, ~ что при
log IMi| < (l/n)[log^B(A, л) + б —Я(Г|Х).| D.23)
Далее, по теореме 3.10 при п ^ па существует пара (Ъ, с) £
6 •?£* (У; Z]X), такая, что
g^(A, л) —й|< S, |A/я) log^;t(A, л)— с|<6.
Сравнивая это с D.23) и D.22), получаем, что
A/n) log|Mo| < Я (Z) —с + 26, A/n) log| Mil <
< b — H (Y\X) + 26,
откуда ввиду D.19)
|#, <: Ь — Я (Г ] X) + 36, Яо <; Я (Z) — с + 36. D.24)

§ 4. Сети источников и каналов 331
Напомним, что Ж* (Y; Z\X) состоит из пар
(ft, с) = (H(Y\U) + t, H(Z\U\+t),
где U «■ X е YZ, | U | <: 1X | + 2 и
О < f «с min [/ (I/ Л 10, / (^ А 2I.
Таким образом, D.24) можно переписать в виде
Ях <: / (X Д 1^1 U) + t + 36, Ro <z I (U /\ Z) — t + 38.
Следовательно,
/?! + Ro <: / (ХД^|(/) + /((/Л2) + 66,
Ro <: / (f/ Д Z) + 36.
Поскольку для любого б > 0 существует четверка СВ (U, X, Yr
t), как и выше, удовлетворяющая этим неравенствам и неравен-
неравенству D.20), для завершения доказательства осталось использовать
непрерывность энтропии. □
СЛЕДСТВИЕ 4.3 (теорема кодирования для АШК). Область-
е-достижимых пар скоростей АШК, заданного ДКБП [V: X -»-
-*■ Y} и {W: X -*■ Z}, не зависит от е при 0 < е < 1/2 и состоит
из всех пар (Rlt Ro) неотрицательных чисел, для которых сущест-
существует четверка СВ (U, X, У, Z), удовлетворяющая условиям
(i)—(ii) теоремы 4.3 (задачи 4, 5). О Q
Наша следующая цель состоит в том, чтобы применить резуль-
результаты предыдущего параграфа к сетям источников. Из теоремы
о помощниках (теорема 1.15) следует, что решение задачи харак-
теризации энтропии, сформулированной в обсуждении в § 1,
должно привести к вычислимой характеризации области.достижи-
области.достижимых скоростей любой нормальной сети источников с одним помощ-
помощником. Задача о характеризации энтропии была решена для 3-
источников (теорема 3.20); это решение позволит нам доказать тео-
теоремы кодирования для ряда сетей источников. Напомним, что тео-
теорема 1.15 оставляет открытым вопрос о том, может ли область,
е-достижимых скоростей данной сети источников отличаться от
области достижимых скоростей. Решение задачи об объеме об-
образа, приведенное в предыдущем параграфе, позволит нам дока-
доказать для некоторых сетей сильные обращения, т. е. равенство об-
областей е-достижимых и достижимых скоростей.
Для иллюстрации наших методов мы подробно обсудим одну
сеть. Другие сети будут обсуждаться в задачах. Кроме того, мы
рассмотрим также задачу, включающую произвольный критерий
точности, решение которой не полностью основано на результатах
§ 3.
В § 1 мы решили задачу кодирования для вилочной сети,
изображенной на рис. 4.3, доказав, что область достижимых ско-

332
Гл. 3. Многотерминальные системы
ростей состоит из всех пар (Rx, Ry), удовлетворяющих неравен-
неравенствам
Rx + Ry Ss H (X, Y),
Ry^H(Y\X).
В этом параграфе мы рассмотрим сети источников, основанные на
той же сети, но с другими критериями точности. Рассмотрим сна-
сначала сеть источников, изображенную на рис. 4.4. Обозначим
соответствующую область е-достижимых скоростей через
Жъ ((X), Y) и область достижимых скоростей через 3? ((X), Y).
Q Р
Рис. 4.3.
Вилочная сеть.
Рис. 4.4
Частичная дополнительная информа-
информация у декодера.
Заметим, что задача определения 31 ((X), Y) является естест-
естественным обобщением задачи, рассматриваемой в теореме 1.2. В са-
самом деле, если рассматривать компоненту, порожденную величи-
величиной Y, как основной источник, а другую компоненту —как источ-
источник дополнительной информации, то в настоящей задаче деко-
декодеру доступна лишь частичная дополнительная информация о Хп.
ТЕОРЕМА 4.4. Пусть задан 2-источник, порожденный пере-
переменными (X, Y). Пара (Rx, Ry) лежит в$! ((X), Y) в том и только
том случае, если существует СВ U, для которой
U & X & Y, |U|<!X| + 2 D.25)
Более того, для любого 0 < е < 1 (задача 6)
®.z «X>, Y) = 01 (<Х), Y). О
Доказательство. Сеть источников, изображенная на рис. 4.4,
•является нормальной сетью ^источников с одним помощником.
Поэтому по теореме 1.15 область достижимых скоростей является
замыканием множества таких векторов (i?x. Ry), чт0 Для некото-
некоторого п ~^~ 1 существует заданная на X" функция f о
Rx ^ A/n) H (f (X")), % 5* A/я) H{Y-\f (Х-)).

§ 4. Сети источников и каналов 333:
Следовательно, по теореме.20 (Rx, Ry) £ 31 ((X), Y) в том и.
только том случае, если
Rx 5* Н (X) — a, Ry 2г Ь для некоторого
(а, Ь) 6 Ж* (X; Y\X). D.26)
Это утверждение уже дает вычислимую характеризацию-
01 {{X), Y). Простая характеризация, приведенная в формули-
формулировке теоремы, вытекает из вида Ж* (X; К|Х), приведенного
в лемме 3.12.
Осталось доказать сильное обращение. Для этого обозначим
через (/ft, gk, q>h) произвольный блоковый код длины k для этрй
сети источников, такой, что
Prl<pfc(M**). ёъ(Ук))ФУк\<г. D.27)
Для любого х £ X* обозначим через В (х) множество тех элемен-
элементов у £ Y*, для которых декодирование происходит без ошибки,,
т. е. таких, что
■ Vh(fk (х), gh (У)) = У- "
В этих обозначениях D.27) можно переписать в виде
S /$ (х) V* (В (х) | х) з* 1 - е, D.28>,
х е х*
где V = Ру\х- Обозначим через А множество тех последователь-
последовательностей х £ Т[Х] cz Xk, для которых Vk (В (x)jx) rjs A — е)/2.
В силу D.28) и леммы 1.2.12 при k ^= kx (|Х|, е) имеем Рх (A) 5s-
^ A —е)/3, так что ввиду леммы 1.2.14 при &Ss&2(|X|, e, 6),
(Vk) log | А | ^ Н (X) — б, D.29)
где точное значение б > 0 будет указано позже. Ясно,, что сущест-
существует такое множество А с А с Т**]. что функция Д постоянна,
на А и
|А|=НА|/|!М-
Тогда В (х) не зависит от х при х £ А. Положим В = В (х)..
Ввиду D.19) множество А при k ^ k2 удовлетворяет условию
(Vk) log| А | ^ Н(Х) — Ь- (Vk) log \\hl D.30)
По определению В является A—е)/2-образом А относительно,
канала Vk, так что
D.31)
Кроме того, поскольку функция fk постоянна на А, положим.
/ft = с. Все последовательности у £ В таковы, что срй (с, gft (y)) =
= у, и поэтому имеем \gh\ ^= | B|. Сравнивая это.с D,31), полу-
получаем, что
\\gk\\^gvk(k, (I -e)/2). D-32),

334
Гл. 3. Многотерминальные системы
Теперь ввиду теоремы 3.10 при k ^ k3 (\X\, |Y|, г, 6) сущест-
существует такая пара (а, Ь) £ Ж* (X; У|Х), что
-|-log|A|-a|<6, |^log^A(A, Цг^)- Ъ
Отсюда, из D.30) и D.32) вытекает, что
(Ilk) log Ifk\\ Ss Я (X) — a — 26, (Ilk) log \gh\ ;== Ь — 6.
Поскольку 6 произвольное, этим доказано сильное обращение;
см. D.26). □
Рассмотрим теперь более общую задачу. Пусть сеть источни-
источников задается сетью изображенной на рис. 4.5, 2-источником, по-
порожденным величинами (X,. У), и произволь-
произвольной мерой искажения на X х Y x Z, где
Z — алфавит воспроизводимых символов.
Задача вычислимой характеризацин области
достижимых скоростей для этой сети источни-
источников не поддается нашим методам и кажется
очень трудной. Следующий результат дает
одну из точек на границе области достижимых
скоростей.
ТЕОРЕМА 4.5. Пусть задана опиеанная
выше сеть источников с мерой искажения.
Пусть (U, Z) — произвольная пара СВ, для
которой
Z ^ Z, Z = h (U, X), D.33)
Рис. 4.5.
Вилочная сеть е
произвольным кри-
критерием точности.
т. е. Z — функция U и X, принимающая значения в Z, и, кроме
того,
U е- Y е- X D.34)
Ed (X, Y, Z) < Д D.35)
с Д > 0. Тогда
[Я (X), I {U Л Y\X)}
является достижимой парой скоростей при уровне искажения Д.О
Доказательство. Зафиксируем произвольные числа т > 0 и
0 < е < 1. Рассмотрим произвольную пару СВ (U, Z), удовле-
удовлетворяющую D.33), D.34) и D.35).
Ввиду следствия 3.3 при А ^э= Ах (] U |, | X |, |Z|, т) сущест-
существует функция \\>: Yk -*• U*, для которой
(l/k) Н(Ц (Y»)): *е I(U Д Y) + x,
(l/k) H (X* |я|> (Г*)) <«з Н (X | U) + х,
Рг {(У*, ф (У*)) 6 Tfro]} S= I - (т/2).
D.36)
D.37)

§ 4. Сети источников и каналов 335
Отсюда и из марковского свойства U о Y & X вытекает, что при
подходящем задании T[xyc/] = T^xyu] (см. б-соглашение
1.2.11) для k Ss £2 имеем
Рг {(X*. УК -Ф (П) € Т^гс/] ^ 1 + т. D.38)
Определим для каждых х £ X и u £ U* последовательность
Л (и, х) £ Z* таким образом, чтобы ее /-й элемент равнялся
h (и}, Xj) (/ = 1, 2, ..., &), где х = хухг ... xh, u = ихиг ... uh и
Л: U х X -*■ Z — функция из D.33). Далее, при подходящем зада-
задании Т[ЛГ2] = T[XYZ]6k из (х, у, и) £ Т[а:уу] вытекает, что (х,
у, Л (и, х)) £ T[^yz]. так что, аналогично доказательству теоре-
теоремы о скорости как функции искажения (теорема 2.2.3), получа-
получаем, что
d(x, у, А(н, х))< S И И Лс„(дг, у, z)d{x;y, 2) +
где dM — наибольшее значение функции d (х, у, z) иа X X Y X
X Z. Поэтому из D.38) вытекает, что при k 5= kz
Pr {d (X*. Y", h (* (K*),- X*)) ^ £d (X, F, Z> + TdM} ^ 1 - it.
D.39)
Для завершения доказательства применим следствие 1.2 о де-
делении скоростей. Заметим сначала, что из D.37) и D.36) вытекает,
что
{Ilk) H (у (Yk)\Xk) = {Ilk) H (X*|i|> (Y*)) +
+ A/*) Н (х\> (Г*)) — Н (X) <
< н (х | г/) + т + / (t/ л Y)+ х — н (X) =
.==/([/ Л К) — / (£/ Л ^) + 2т =/ (t/ Л Г1Х) + 2г- D-4°)
Рассмотрим «укрупненный ДМИБП», порожденный переменными
(X, U), где Х4Х(, f/Дг|з (?), К A Y' и / настолько велико,
что При k = / выполнены условия D.40) и D.39). Последнее усло-
условие означает, что в наших новых обозначениях
Pr \d (X, Y, h (U, X)) < Ed (X, Y, Z) + x dM\ ^ 1 - т.
D.41)

336 Гл. 3. Многотерминальные системы
По следствию о делении скоростей при достаточно большом s су
ществуют функции f: X's ->■ Мх. g- Y's -*■ My. 9: Mx xMy->
-*■ U's x X's, такие, что
og||/l«: Я
(Ills) \og\g\ <. A/1)H(U\X) + т« I (U Л Г|Х) + Зт, D.42)
Pr 19 (/ (Xs), Я (П) =*= (^s- Xs)} <: e/2, D.43)
где Xs Л, ХЛ ... Xs = XjXa ... Хы и т. д. Пусть N — число
таких индексов i, 1 <: г < s, для которых d (Хг, Fj, h (£/г, Хг)) >
> Ed (X, F, Z) + xdM. Из D.41) вытекает, что при достаточно
большом s
Pr [N/s < 2-е} > 1 — (е/2). D.44)
Определим^.теперь отображение ф: Мх х Му -»• Z's формулой
<р (ть т2) JL h (9 (mlt m2)). Поскольку
1=1
из D.43) и D.44) вытекает, что
Рг \d (X}*, К", Ф (/ (Х'«), g (У'«))) <
<: Ed (X, Г, 2) + Зт dM] > 1 — е.
Вспоминая, что т произвольно, мы, таким образом, показали, что
для любых б > 0 и k = /s при достаточно большом s существуют
блоковые коды (fh, gh, q>h) длины k, для которых
{Ilk) log|M< Я (X) + б, (l/k) log\\gh\\< I (U A Y\X) + S,
Pr {d (X*, Y", щ (fk (X*), gk (K*))) < £d (X, Г, 2) + 6} > 1-е.
Отсюда сразу следует существование таких кодов для любого
достаточно большого k. Вспоминая, что Ed (X, Y, Z) < Д, за-
завершаем доказательство теоремы. Q
Вместо того чтобы доказывать соответствующие (слабые) об-
обращения, мы докажем несколько более сильный результат, вклю-
включающий средние искажения кода.
ТЕОРЕМА 4.6. Пусть задана сеть источников с мерой иска-
искажения, как в предыдущей теореме. Для каждого блокового кода
(/, g, ф) длины k со средним искажением
Ed (X", Y\ ф (f (X*), g (Yk))) < Д D.45)
имеем
log ||gfl ===/(£/ Л Y\X).

§ 4. Сети источников и каналов 337
для некоторой пары СВ (U, Z), для которой
Z € Z, Z 6 h (U, X), D.46)
I/eKeX, D.47)
Е d (X, Y, Z) < А, D.48)
и число значений | U |, принимаемых СВ U, удовлетворяет усло-
условию
|U| < |Y| + 1. О D.49)
СЛЕДСТВИЕ 4.6. Пара (Я (X), R) является достижимой
парой скоростей при уровне искажения Д > 0 для сети источни-
источников из теоремы 4.6 в том и только том случае, если существует
пара СВ (U, Z), обладающая свойствами D.46) — D.49), для ко-
которой (задача 7)
R^I(U A Y\X). О
Доказательство. Введем функции
R (А) = R*XY (Д) ±: inf (/ (U Л Y\X), D.50)
Ed (X, У, 2)<Д
где (U, Z) пробегает множество всех пар СВ, обладающих свойст-
свойствами D.46) и D.47). Мы утверждаем, что ограничение D.49) на
число значений U не увеличивает эту нижнюю грань.
Пусть задана СВ U, удовлетворяющая D.47). Обозначим через
A (U) наименьшее значение Е d (X, Y, Z) по всем возможным
функциям Z от (U, X) со значениями в фиксированном множестве
Z. Ясно, что
R* (Д) = inf / (U Л Y\X)= inf [/ (U /\ Y) —
Д (С/)-<Л А (У)<Д
— / (U Л X)]= H (Y) — Я (X). + inf [Я (X | U) —
д (£/)<д
— H(Y\U)l D.51)
Таким образом, наше утверждение будет установлено, если мы
покажем, что множество пар
(A (U), Я (Х\ U) — Я (Y\ U)) D.52)
для СВ U, удовлетворяющих D.47), не изменится, если мы нало-
наложим еще и условие D.49) на число значений. Это, однако, сразу
следует из леммы 3.4 о носителе. В самом деле, рассмотрим сле-
следующие | Y | + 1 действительных функций на i? (Y):
fu (Р) А. Р (у) для всех у £ Y, кроме одного,
fxY (Р) JL H (PW) - Н (Р)
12 Чисар И., Кернер Я.

338 Гл. 3. Многотерминальные системы
(где W: Y —»- X — канал, связывающий X с Y) и
fd{P)£. min £ £ Р(д)у(х\у)с1(х.у,1(х)).
Аналогично доказательству леммы 3.5, обозначим через U произ-
произвольную СВ, обладающую свойством D.47). Применим к этой си-
ситуации лемму о носителе с распределением U в роли (х, т. е. рас-
рассмотрим распределение Ру \и {-\и) как элемент 0> (Y) с ji-мерой
Pr \U = и]. Соответствующие средние равны
\ \fl,(i(
U
\u(- \u))=H(X\U)-H(Y\U).
S J l/d(^|t/(|))
«£ U
Теперь по лемме 3.'4 о носителе существуют | Y | + 1 точек из
области значения U, множество которых будет обозначаться
через Uo, и числа а (и), и ^ Uo, с 2ы^и0а (") = *> для которых
U a(u)fd(PYll/l(-\u)) = A(U).
"€U0
Этим доказано наше первое утверждение.
Заметим далее, что/?* (А) — непрерывная выпуклая функция Д
и нижняя грань в ее определении в действительности является ми-
минимумом. Ввиду D.51) для проверки этого утверждения достаточно
проверить, что множество пар D.52) с U, удовлетворяющим усло-
условиям D.47) и D.49), выпукло и замкнуто. Замкнутость очевидна,
поскольку непрерывны входящие в определение величины, а вы-
выпуклость можно проверить аналогично доказательству леммы 3.6.
А именно, если UL и U2 удовлетворяют D.47), это же верно для Ut,
где / —двоичная СВ, не зависящая от UxUiXY. Если Рг {/ =
= 1} = X, то
Д ([//) = к Д (I/O + A - Ц А (£/,),
и, аналогично доказательству леммы 3.6,
Я (X | Uг) = ЯЛ (X | Ux) + A — Ц Н (X | U2),
Н (Y\ U,) = ЯЛ (К| £/х) + A - Ц Н (Y\Ua).
Эти три соотношения доказывают выпуклость.

§ 4, Сети источников и каналов 339
Теперь для доказательства теоремы достаточно показать, что
из D.45) следует неравенство
A/*) logics* Я* (Д). D.53)
Полагая U =й= g (Yk), имеем
A/A)log \\g\\ === (I/A) H (U) === A/А) Я (£/1 Xfe) ===
==> (I/A) / (f/ A Yk\Xk) = H (Y\X) — (I/A) Я
D.54)
Здесь
* . .
-j- H (Yk | Xfet/) = у^Я(У;| Х*К'-'г/). D.55)
Введем для каждого i новую СВ Ut формулой
Ui*.(Xlt ..., Хг_ь Xi+1> .... Xh, У*-*, U).
Поскольку U = g (Yk) и для каждого i
Х'-'Х1+1 ... XkYb & Yt ъ Xit
мы видим, что
U, 0 К; 0 Хг-. D.56)
В этих новых обозначениях D.55) превращается в равенство
Подставляя его в D.54), получаем
* 1 — II _ II ■— * чГ* 1 it т А л г 1л^-\ /л С-7\
Заметим, что СВ Zk А. ф (/ (X*), g (Yk)) принимает значения
в Z*. Обозначим ^-ю координату этой СВ через Zt. Тогда
d{XK Y", Z*)=-L2 d^, Yu Zt). D.58)
Поскольку Zt — функция Xk и U — g (Yk), Zt является также
функцией £/,• и Х{. Отсюда по определению R" (Д) = Rxy (A) =
= Rxivi (А) следует, что, обозначая Д,- ±. Ed (Xc, К,-, Z,-),
имеем
/ (г/г Л Yt\Xt) ^ -R* (д0 Для любого С,
12*

340 Гл. 3. Многотерминальные системы
Таким образом, из D.57) и выпуклости R* (Л) получаем
Ввиду D.58) и D.45) имеем
ft
— V Д- = Ed (Xk, Yk
Следовательно, используя монотонность R* (Д), из D.59) можно
вывести D.53), и теорема доказана.
Следствие утверждает, что (Я (X), R) является достижимой
парой скоростей при уровне искажения Д > 0 в том и только том
случае, если R ^ R* (Д). Прямое утверждение следует из теоремы
4.5 в силу непрерывности функции R* (Д). Для доказательства
обратного утверждения предположим, что для каждых е > 0,
б > 0 существует блоковый код (f, g, ср) длины k с
Pr \d (X", У\ Ф (/ (X*), g ( У*))) < Д} ^ 1 - е
Согласно теореме, из этих соотношений вытекает, что R + о ^
^ R* (Л + е ^м)- Ввиду непрерывности следствие доказано. □
ОБСУЖДЕНИЕ. В этом параграфе содержатся недавно полу-
полученные результаты, большинство из которых излагаются в виде
задач. Основной текст служит лишь для иллюстрации типичных
методов, применяемых на настоящем этапе развития теории. Наш
основной принцип при отборе материала состоял в том, чтобы уде-
уделить наибольшее внимание вычислимым характеризациям обла-
областей пропускной способности и достижимых скоростей. В ситуа-
ситуациях, где такие характеризации не доступны, мы старались при-
привести частные результаты окончательного характера, например
охарактеризовать проекцию рассматриваемой области. Несмотря
на то что используемые методы часто приводят к нетривиальным
внутренним или внешним границам для областей пропускной спо-
способности или достижимых скоростей, несовпадающие границы
такого типа рассматривались нами как неокончательные резуль-
результаты, и они упоминаются лишь в исключительных случаях.
В случае сетей каналов почти все известные результаты, не
рассматривавшиеся в § 2, относятся к широковещательным ка-
каналам. Область пропускной способности общего широковещатель-
широковещательного канала с двумя выходами (рис. 4.1) до сих пор неизвестна.
Из трех ее проекций охарактеризованы лишь проекции на плоско-
плоскости (Rx, Ro) и (Ro, R2) (теорема кодирования для АШК). В случае

§ 4. Сети источников и каналов 341
когда компоненты канала сравнимы, и в некоторых других част-
частных случаях, определена полная область пропускной способности
(задачи 4, 5, 8, 9, 11). Напомним, что области пропускной способ-
способности широковещательного канала для максимальной и средней
вероятностей ошибки совпадают (задача 2.11). Во всех упоминав-
упоминавшихся случаях, т. е. когда известен окончательный результат,
справедливо сильное обращение для максимальной вероятности
ошибки. Для средней вероятности ошибки это уже не так (задача
2.11), однако для АШК область е-пропускной способности одна и
та же для всех 0 < е < 1/2.
Наши знания о сетях источников хотя и ограниченные, более
полны. Используя общие результаты §1,3, можно определить
область достижимых скоростей для ряда сетей источников. Тео-
Теорема 4.4 иллюстрирует этот подход. Сети источников с произволь-
произвольным критерием точности лежат вне рамок этого метода; даже для
простой сети на рис. 4.5 известна лишь проекция области достижи-
достижимых скоростей (следствие 4.6).
Задачи 13—18 дают примеры применения этого общего метода.
После приведения рассматриваемых в этих задачах сетей к нор-
нормальной форме они содержат одного помощника. Таким образом,
характеризация в терминах произведений пространств, задавае-
задаваемая теоремой 1.15, приводит к задаче характеризации энтропии.
Поскольку соответствующее множество #" имеет вычислимую
характеризацию, это же верно для области достижимых скоростей.
Далее, в случаях, когда соответствующие множества #"и $ совпа-
совпадают, можно доказать также сильные обращения. Конечно, при
решении конкретной задачи о сети источников часто оказывается
достаточным частичное знание соответствующего множества &"
(или З), поскольку в характеризацию области достижимых ско-
скоростей входит только часть границы &~. Именно поэтому оказы-
оказывается возможным определить область достижимых скоростей для
некоторых сетей источников со многими входами; см. задачи 6, 31.
Как правило, сети источников, в которых имеется больше од-
одного помощника, приводят к очень трудным задачам. Исключение
составляют случаи, когда ни одна пара помощников не связана
с одним и тем же выходом (задача 19). Уже задача о сети на
рис. 4.14 (задача 20) представляется подавляюще трудной. Даже
в частном случае, рассматриваемом в задаче 20, решение основано
на специальном приеме. Не меньшие трудности возникают при
исследовании сети источников на рис. 4.5 с общим критерием
точности (задача 22). Заметим, что общее решение этой задачи
(задача 23) содержало бы решение задачи рис. 4.14 в случае,
когда Z — произвольная функция пары X, Y. Далее, задача
рис. 4.14 для произвольного 3-источника является частным слу-
случаем задачи для вилочной сети с произвольным критерием точности
и тем же 3-источником.

342 Гл. 3. Многотерминальные системы
Задачи
1 Покажите, что область пропускной способности широковещательного
канала с k выходами может быть .получена из этой области для частного случая
такой сети каналов с не более чем 2 — 1 выходами.
2. (а) Покажите, что для каждых СВ (X, Y, Z), где У и Z связаны с X соот-
соответственно каналами V и W, пара
/?! й XI (X Д Y), Ro = A — X) min [/ (X Д П. / (X Л Z) ]
является достижимой парой скоростей для АШК с компонентами V и W при лю-
любом 0 ^jX=sj 1. Заметим, что, за исключением частных случаев, область получен-
полученных таким образом пар скоростей меньше, чем область, описанная в теореме 4.1.
Указание: применить теорему кодирования для составного канала (теорема
2/5.10) и принцип разделения времени.
(b) Покажите, что условия D.1)—D.2) определяют ту же область, что и усло-
условия D.2) и
R1 < / (X Д У 1 U), Ro + tfi < / (X Д У).
Указание: показать, что при фиксированных XYZ новая область выпукла.
(Когпег—Marton A977b).)
(c) Пусть S и Т — независимые СВ и X = g (S, Т) — функция S и Т. Далее,
пусть (Y, Z) — произвольные СВ, для которых ST-&XQYZ, Ру\х = ^»
Pz , х = W. Покажите, что пара неотрицательных чисел (Rlt Ro), для которых
выполнены неравенства
Ri < I {S Л У I Л, R0^I(T AY\S), Ro sS / (T Л Z),
Ri + Ro < / (ST Л П.
является достижимой парой скоростей для нашего АШК.
Указание: рассмотреть сеть каналов на рис. 2.10 (с) с компонентами V:SX
X Т->- Y и W: S X Т->- Z, где V й Ру \ST, W ~ Pz\ ST, и применить резуль-
результаты задачи 2.16.
(Van der Meulen A975), Cover A975a).)
(d) Покажите, что из результата п. (с) следует теорема 4.1.
Указание. Из доказательства теоремы 4.1 (см. D.3) — D.5)) следует, что для
каждой четверки СВ (Г, X, Y, Z), для которой T&X&YZ и Y и Z связаны с X
каналами V и W, причем / (Т Д Z)< / (Г Д Y), пара (Rlt Ro), для которой
/?! < / (X Л Y | U), Ro < / (Г Л 2),
является достижимой парой скоростей для АШК. Далее, как было показано при
доказательстве теоремы, из достижимости этих пар следует теорема 4.1. Таким об-
образом, достаточно доказать, что эти пары можно получить в виде (с). Для этого
представим стохастическую матрицу V = Рх | т как выпуклую комбинацию сто-
стохастических матриц V& с элементами 0 и 1 в виде
К
k—i
Пусть S — СВ, не зависящая от Т, для которой Pr {S = k} = Хк. Положим
Х = /s (Т), где lk — функция, однозначно определяемая матрицей Vh с элемен-
элементами 0 нли 1. Пусть Y и Z — СВ, связанные с X соответственно каналами V и W,
для которых ST-Q-X-Q-YZ. Следует доказать, что эта пятерка удовлетворяет
п. (с).
(Korner—Marton 1977b).)

§ 4. Сети источников и каналов 343
3 (оценки типа обратной теоремы для III К с двумя выходами). Покажите, что
если (Rlt 0, Rz) — достижимая тройка скоростей для ШК с компонентами V: X—>■
—»- Y, W: X —>- Z, то существуют СВ U, X, Y, Z, такие же, как в теореме 4.3 и
число t, 0 < t < min [/ (U Д Y), I (U Д Z)], такие, что
Rt < / (X Л У I U) + U Я2 < / (£/ Д Z) — Л
Доказательство. Дословно применимо доказательство теоремы 4.3. В самом
деле, появление индекса 0 в адресе на выходе канала V было использовано только
при выходе оценки Ro + Rt ^ / (X Д Y).
(Совместный результат Кернера и Мартон 1975 г., опубликованный в работе
Marton A979).)
4 (ухудшенный широковещательный канал). Канал W является ухудшением
канала V, если для некоторой стохастической матрицы D имеем
W(z\x)= ^ v (У I x) D (г I У) для любых х£Х
(a) Используя неравенство Фано, докажите слабое обращение теоремы 4.1
в случае, когда канал W является ухудшением канала V.
(b) Покажите, что (Rlt Ro, R2) ;> 0 является достижимой тройкой скоростей
для соответствующего ШК в том и только том случае, если (Rlt Ro + R2) удовле-
удовлетворяет условиям
Rt < / (X Д Y | U), Ro+ R2^I(U AZ), Rt + Ro + R2 < / (X Д Y)
для некоторой четверки СВ (U, X, Y, Z), как в теореме 4.3, для которой U-Q-
O-X-Q-Y-Q-Z.
Указание, (а) Предположим, что (Rt Ro) — достижимая пара скоростей.
Рассмотрим последовательность блоковых кодов (fn,(pn,r()n)длины я, достигающих
(/?!, Ro). Пусть СВ Мх и Мо независимы друг от друга и равномерно распределены
на соответствующих множествах сообщений.
Положим
Хп й /„ (Мъ Мо)
и пусть СВ (Yn, Zn) удовлетворяют соотношениям
где стохастическая матрица D была определена выше.
Имеем
Ro — S < A/я) Я (Мо) = A/я) / (Мо Д Z") + A/я) Я (Мо | Z"),
Rj, — 8 < A/я) ЩМ1 | Мо) =
+ A/я) Я (Mi | YnMo) < A/я) / (Хп Д Yn | УИ0) + A/я) Я (ЛГХ | К").
В обоих случаях последний член в правой части стремится к нулю ввиду неравен-
неравенства Фано. Далее,
/ (М„ Д Z") = Я (Zn) — ЯB" | Af0) <
< f] Я (Zj) -f] Я (Zj | MoZ'"-1) < |] [Я (Z>) - Я (ZH Mo Z'-lYl-%
i=i i=i i=l
Здесь для каждого фиксированного значения Мо выход Zf ДКБП {D} условно
независим от предыдущих выходов Z'~l при заданных значениях Y'~l и в этом
заданном значении Мо. Таким образом, имеем
я (zt | Av'-'r'-1) = я (Zi | Мо*'')

344 Гл. 3. Многотерминальные системы
откуда
п
I (М Л Zn) < ^ / (М у'"~' д z)-
Далее, используя марковское свойство
которое вытекает из того, что К" и X" связаны ДКБП, получаем
/ (Хп Д У" I ЛГ0) = Я (К" | УИ„) — Я (Г" | М0Х") =
= £ [Я (Г; | AW'-1) - Я (Kj | M0XtYc-1)} =j}l(XtAYt\ M0Yl~l).
i=l t=-i
Введем СВ /, равномерно распределенную на множестве {1, 2, ..., п} и не зави-
зависящую от всех остальных. Положим
U й, M0Y'-lI, Хй Xj, Y UYi, ZU Z/.
Проверить, что из (*) вытекает, что
A/я) / (Мо Д Zn) < / (U Л Z | /) <; / (U Л Z),
в то время как (**) означает, что
A/я) / (х" л Уп I м0) = I (X л у I и).
(Ь) Использовать теорему 4.1 и задачу 2.1.14.
(Ковер (Cover A972)) поставил задачу и сформулировал аналогичное утверж-
утверждение. Прямая часть теоремы кодирования была доказана Бергмансом (Bergmans
A973)). В случае двоичных симметричных V и W слабое обращение было доказано
Вайнером и Зивом (Wyner—Ziv A973)). Галлагер A974) доказал, что выпуклая
оболочка указанной выше области является областью пропускной способности,
оставив открытым вопрос о справедливости предложения Ковера и Бергманса,
согласно которому сама эта область выпукла. Это было доказано Алсведе и Кер-
Кернером (Ahlswede—Korner A975)). Соответствующее сильное обращение (которое
следует теперь ввиду п. (Ь) из теоремы 4.3) было установлено в работе Ahlswede—■
Gacs— Korner A976).)
5 (широковещательный канал со сравнимыми компонентами). Рассмотрим ШК
с двумя выходами, для которого канал V является более мощным, чем канал W,
в смысле задачи 2.1.16.
(а) Покажите, что (Ri, Ro, R2) > 0 является достижимой тройкой скоростей
в том и только том случае, если (Rl7 Ro-\-Rz) удовлетворяет неравенствам
Ях < / (X Л УI U). Ro + Ri < / (U Л Z),
Ri + Ro + R* < / (X A Y)
для некоторой четверки СВ, как в теореме 4.3.
Указание: использовать теорему кодирования АШК (с задачей 2 (Ь)) и задачу
2.1.16.
(В работе Korner—Marton A977a) этот результат доказан в случае, если V
менее шумен, чем W, в смысле задачи 3.3.11. Этот результат был обобщен в ра-
работе El Gamal A979), в которой и было доказано сформулированное выше утверж-
утверждение.) __
Ь) Вывести соответствующее сильное обращение.
Указание: использовать теорему 1.3 и задачу 2.1.16.

§ 4. Сети источников и каналов 345
6 (один источник с дополнительной информацией), (а) Докажите прямую часть
теоремы 4.4 без явного использования теоремы 1.15 и общего решения задачи о
характеризации энтропии.
Указание. Вывести из следствия о разделении скоростей, что для любого п
и любой функции / на X" пара
(A/л) Я (/(X")), A/я) Я (Y* | / (X")))
является достижимой парой скоростей. Затем использовать следствие 3.3.
(Это доказательство содержится в работе Ahlswede—Когпег A975).)
(Ь) Дайте непосредственное доказательство слабого обращения в теореме 4.4.
Указание. Предположим, что (#х, #у) — достижимая пара скоростей, и рас-
рассмотрим последовательность блоковых кодов (/^, gk, tpft) длины ft с вероятностью
ошибки, стремящейся к нулю, и
ТЫ (I/A) log||/ft||<tfx, Ш A/А) logll^ll^tf
Вводя обозначения U A fk (Xft), Yh & <ph (fh (Xk), gk (Yk)), имеем
(I/ft) log l| gh || > (I/ft) Я (gk (Yk) | U) > A/fe) Я (fft | Ш >
(К* Л ?h I У) = A/*) H (Yk I ^) - A/*) H (Yk | Kft, U),
где A/й) Я (У* | Fft, ?/) стремится к нулю в силу неравенства Фано и свойств
(fh, gh, 4>h)- Далее,
k k
я
(\/k) я(к*|с/) = -^^я (к, | f'-'у) > -i- V
ii fi
Используя марковское свойство, состоящее в том, что / (F, Д у'~' | X'"
U = и) = 0 для каждого фиксированного значения и величины О, получаем
k
(i/fe) я (к* | a) > -L
11
С другой стороны,
A/fe) log I /ft fl > (I/A) Я (У) > A/fe) / (U Л ^*) =
= Я VX) - A/fe) Я (Xs | У) = Я (X) - -L ^ Я (Xj | X'~lU).
1=1
Введем СВ /, равномерно распределенную на {1, 2 п}} и не зависящую от
всех остальных. Положим
UkUX'-xI, ' X й X/, К=У/.
Тогда t/OX^-F и Р^~у = РХу Используя эти определения, два последних
неравенства можно переписать в виде
(I/ft) Я (У* | U) > Я (У | I/), (I/ft) Я ((У) > / (X Д f>0-
Наконец, нужно применить лемму о носителе (лемма 3.4).
(Это доказательство содержится в работе Gray—Wyner A974), Wyner A975b),
Ahlswede—Когпег A975).)

346
Гл. 3. Многотерминальные системы
(с) Рассмотрим ДМИБП с г + 1 компонентами, порожденный переменными
X, Y^\ ..., Y*rK Докажите, что область достижимых скоростей сети источников,
изображенных на рис. 4.6, состоит из всех наборов (Ro, Ri, •••. Яг) действитель-
действительных чисел, удовлетворяющих неравенствам "
Ro > I (X Л U), Ri>H (У{С\\ U), i = 1 г,
для некоторой СВ U, для которой U■&■ XO-Y^ ... F(r) и U принимает не более
I X I + г значений.
Рис. 4.6.
Рис. 4.7.
Указание: рассуждать, как в пп. (а)—(Ь).
(При г ;> 2 результат принадлежит Вайнеру (Wyner A975)) и Алсведе и
Кернеру (Ahlswede—Korner A974, не опубликовано)), см; Когпег A975).)
(d) Установите соответствующее сильное обращение.
Указание. Ограничить скорости с помощью объемов образов, как при доказа-
доказательстве теоремы 4.4. Ограничить объемы образов через энтропии с помощью
леммы 3.2. Затем продолжать, как в п. (Ь).
(Этот метод описан в работе Ahlswede—Gacs—Korner A976).)
7 (ограничения на деление скоростей). Замечательный факт, лежащий в основе
следствия 1.2 о делении скоростей (которое весьма существенно в § 1), означает,
что интервалы достижимых скоростей для двух сетей источников, изображенных
на рис. 4.7, совпадают. Покажите, что в случае произвольного критерия точности
это не так.
Указание. Заметить, что следствие 4.6 дает интервал достижимых скоростей
для сети источников на рис. 4.7 (а) при любом критерии точности. Рассмотреть

§ 4. Сети источников и каналов 347
двоичный 2-источник, порожденный случайными величинами с совместным рас-
распределением
Pxy @, 0) = Pxy A, 1) = A — р)/2,
Pxy @, 1) = Pxy (I, 0) = р/2, 0< р< 1/2,
и меру искажения
. . , д Г °. если У = z.
d (ж, г/, г) & \
[ 1 в остальных случаях.
Показать, что при Д <; р наименьшая достижимая скорость для сети на рис. 4.7
(Ь) равна h (р) — h (Д), в то время как для сети на рис. 4.7 (а) эта скорость дости-
достижима только при Д = 0.
(Wyner—Ziv A976). Аналогичное явление описано в задаче 21.)
ШИРОКОВЕЩАТЕЛЬНЫЕ КАНАЛЫ
8 (произведение ухудшенных широковещательных каналов). Рассмотрим ШК
с двумя выходами, имеющий компоненты V: Хг X Х2—>• Yx X Y2, W:XX X Х2—>■
->- Zx X Z2, где
V (Уъ У% I Ч, х») & Vi (Уг I %) V2 (у, | д^),
W (гх, г2 | *lf *,) й Wx (zx | %) У, (г2 | л:2).
Предположим, что W± — ухудшение V\, a V2 — ухудшение W2, т. е. сомножители
ухудшены в разных направлениях.
(a) Докажите, что (Rlt Ro, R2) ^ 0 является достижимой тройкой скоростей
для этого ШК в том и только том случае, если существует набор из 8 СВ 0';, X;,
Yi, Zt (i = 1, 2), такой, что две четверки (£/;, Xi, Yi, Z;) не зависят друг от
друга, Yt и Zj связаны с X,- соответственно каналами Vt и Wt, UiQXi&YiZu
| Uj | ^ | X,- | + 2, и выполнены неравенства
Ro <f(UiA Уг) + I {U2 A YJ,
Ro < I (t/i AZ^ + i (U2 a z2),
/?.+ /?i</ № A^+/ {Щ А У2),
Ro + Rz < I (Ui ЛЧ+' (Xi Л 22),
i?o + «i + «2 < / (^i Л KJ + / (f/i ЛЧ+/ № Л 22 I.I/,).
tf0 + /?! + i?3 ^ / (f/j Л ^l) + / № Л 22) + / (*! Л ^i I t/i);
(Полтырев A977), El Gamal A980). Полтырев рассматривал случай i?0 =0.)
(b) Проверьте, что эта область пропускной способности больше, чем сумма
(по Минковскому) областей пропускных способностей сомножителей, т. е. ШК
с компонентами (Vi, W{), i = 1, 2.
Указание. Прямое утверждение использует построения теоремы 4.1 с U =
= ихиг.
При доказательстве обращения условие независимости четверок (£/;, X;,
Yt, Zt) можно не учитывать, поскольку совместное распределение четверок не
входит в характеризацию. Зафиксируем некоторое 8 > 0 и рассмотрим коды
с A/я) log | Mj | > Rj — F/4), / = 0, 1, 2, и вероятностями ошибки, стремящи-
стремящимися к нулю.
Пусть Мо, М1у УИг — независимые СВ, равномерно распределенные на соот-
соответствующих множествах сообщений Мо, М1г М2, и Хп — кодовое слово, соответ-
соответствующее тройке сообщений Мо, Мъ М2. Обозначим через X" и Х£ соответствую-

348
Гл. 3. Многотерминальные системы
щие входы каналов-сомножителей и через К", Z" — соответствующие выходы
VI и U7". Тогда в силу неравенства Фано при достаточно большом п имеем
nR0 < Я (Мо) +«-!<"/ (Мо Л y?Kj) + яв,
я («о + Ri)<H (Мо) + \Н (Л1,) + я -L < / (луИ, Л W) + яв,
я (Ло + *i + ^2) < Я (ЛГ.) + Я (Mi) + Я(УИ2) + п -4р<
</ (mom, л rfr£) + / (л*2 л г«Щ) + яв.
Далее, ограничивая nR0 и « (i?0 + Rt), имеем
я(Л0-в)^/(Л10 Л Г£) + 1(М0 Л^Г|^)<
/\Y«) + I (М0М2У% Л К,*),
Л Kg) + / (А@Л(, Л У?
Наконец, ограничивая п (Ro + i?x + i?2)» получаем
л (/?0 + Я, + i?2 - 6)^ / (ЛГ0М, Л П
= / (мом, л к5) + / (мом, л к
+ / (м2 д 2^ | mom,z?) =
= / (л*оВД л у?) - / (z? Л УЪ
+ / (AtyVf, Л V? | ^) + ' {Щ Л
^ / (мйм,г\ л у%) +' (Щ Л zf,
2 Л 2^ | М0Мi) =
(м2 л zf | мом,) +
Af0Af,Zf)
(м2 л zf | мом,)
ом, л к? | Пг)
(м2 л 4 I M(
Поскольку Wx — ухудшение Vi, имеем далее
n(R0 + Rl + R2-6)^I (-M0M,Zf Л У2) +
+ 1 (М^Г^У^ мам№) + { (MoMi Л У? | Y») + / (M2 Л ZJ | Af0Af,Zf) =
= /(mom,z," л KJ) + / (мом,м2 л y?\у2) +1 (Щ A 2.41M0M,zf)^
^ / (MqM.ZJ' Л Y$) + l {Щ Л Zj I Af0Af^f) + / (X? Л У?) «S
^ / (Af0Af ,Zf Л ZJ) + / (M2 Л ^ I Af0M,Z7) + / {XI Л Kf),
где последний шаг следует из того, что V2 — ухудшение W2. Для каждого i =
= 1, 2, ..., п положим
ии й y$
<-\ u2£ й гЧ

§ 4. Сети источников и каналов 349
Тогда Uii-Q-Xtf-Q-YuZ-Li, Uii^-X2i^-Y2.iZ2i, и легко видеть, 4Tq
/ (M0Mt Л К») < |] I(U2I Л Y2{),
1
1=1
/ (M Y Y2 Л Yn\ < V / (U Л У Л
1=1
/ (М, Д Y«\M0M2Y%) ^ J / (Хи Д F,. | У,,.).
Используя эти неравенства и соответствующие неравенства, получающиеся за-
заменой (Vly Wj} на (W2, V2), видим, что
п
п
п (Ro- S) ^ 2 Г7 №и Л 2xi) + / (U2t Д 22i)l,
i=i
я № + /?i - в) ^ 23 г; (у« л Ум) + / (^ii л
п
я № + /?2 - в) ^ 23 t; (yi* Л zlf) + / (X2i л
i=i
+ fli + /?i - в) < 23 I7 (хи Л Ун) + / (UM Л ^2i) + / (X2i Л
я (/?о + «i + ^2 - в) =ss 23 I7 (X2i Л 22i) + / (Ult Л 21г) + / №i Л ^ii
£=1
Окончание доказательства аналогично указанию к задаче 4.
9 (сумма ухудшенных ишроковещательных каналов). Рассмотрим ШК с двумя
выходами, имеющий компоненты V: Хх U Х2—>• Yjjj Y2 и W: Хг Ц Х2 —*-
-*-.7.х U Z2, такие, что V — сумма (см. задачу 2.1.13) каналов Vf. X;—>-Yj,
a W, — сумма каналов W,: X,—э- Z;, t = 1, 2. Определите область пропускной
способности ШК (V, W), если №х — ухудшение Vlt а ^ — ухудшение Ц72.
(El Gamal A980). При Ro = 0 решение было дано Полтыревым A979).)
Указание. Положим X й Xt [) Х2, Y й Yx U Y2> Z й Zx U Z2 и зададим
i7: X—*■ {1, 2}, полагая F (x) = i, если x £ Xj. Докажем, что (Rlt Ro, Ra) яв-
является достижимой тройкой скоростей в том и только том случае, если существует
четверка СВ (U, X, Y, Z), такая, что Y (соответственно Z) связана с X каналом
V (соответственно W), U&X-Q-YZ, область значений U СВ U удовлетворяет
условию J U | =s: | X | + 4 и выполнены неравенства
Ro ч= min [/ (U, F (X) Д Y), I (U, F (X) Д Z) 1.
+ Ri < / (U, F (X) A Y) + Pr {F (X) = 1} / (X Д Y \ U, F (X) = 1),
+^2^/ (U, F (X) A 2) + Pr {F (X) = 2} / (X Д Z \ U, F (X) = 2),

350 Гл. 3. Многотерминальные системы
(U, F (X) Л Y), I (U, F (X) A Z)\ +
+ Pr {F (X) = 1} / (X A Y \ U, F (X) = 1) + Pr{F (X) = 2} X
*X I(X A Z\ U, F(X)= 2).
Прямое утверждение легко следует из результата задачи 4.
Для доказательства обращения зафиксируем б > 0 и рассмотрим такие же
коды, как в предыдущей задаче. Пусть М1у Ма, М2 — независимые СВ, каждая
из которых равномерно распределена на соответствующем множестве сообщений
Мь Мо, М2, и Хп — кодовое слово, соответствующее тройке сообщений Мъ Мо,
М2. Обозначим через Y" и 2" выходы каналов Vn и ^".соответствующие входу Хп,
положим Fn (Хп) й F (.XJ...F (Хп) и введем СВ Ut (i = 1, 2, ..., п) следующим
образом:
MoMJ"- (Xn) У'-1гс-\ если F (Xt) = 2,
M0M2Fn (Хп) У1-Хг{~\ если F (Хг) = 1.
Из неравенства Фано следует, что при достаточно большом п
п (Яо - б)< / Шо AYn)^I {Mu, Fn {X") Л К") ^
(F (X,) ЛУ;) + / (Мо Л Yt\ Fn (Хп) У1~х)
Yi) + I(UiAYi) \F(Xt)].
Снова по неравенству Фано
я № + «1 - б) ^ / (AfoAfx Л У") < / (AloAiif" (X») Л У1)
< 2 [/ (F (X,) Л У1) + / (Afo^i Л Yt | F"(XB)
i=l
Здесь
/ {МОМХ /\Уг\ Fn (Xn) У) <
< Pr {F (X,) = 1} / (ХпАГ0М1Ма Л У» I ^ (^"). ^ ( ^») = 1. У1'1)
+ Pr {F (X,) = 2} / (ЛМ*! Л У» I Fn (Xn), F (X,) = 2, У') <
<Pr{f (Х,)= 1} U(Ut Л У* | f (Xj)= 1) + /(Х"ЛУП^№)=1,
+ Pr {F (Xt) =2} I(Ut AYt\F (X,) = 2).
Поскольку канал V" является каналом без памяти, имеем
п (Ко + Ki - в)< £ [/ (F (X,) AYt) + I {Ut AYi\F (Xt)) +
+ Pr {F (Xt) = 1} / (Xi /\Yi\F(Xi) = 1. l/i)]. C**)
Наконец, используя неравенство Фано так же, как раньше, получаем
n (Л") M0Mi Л У") + / (М2 Л ^"г" | Fn (Xn) M0Mj) <:
S Yt) + I (MOMX AYi\Fn (Xn) У'*1) +
(Af2 Д Уггг | Fn (Xn) MuMtY'^z'-1)]. (***)

§ 4. Сети источников и каналов 351
При условии выполнения события F (Хг) = 1 имеем здесь
/ (МоМгЛ Yi I F" (*") К', F (X,) = l) +
+ / (м2 л yizf | f» (х") мам^-хг1-\ f (х,) = 1) <
< / (XnUiM1 Л Уг-2г | F (Хг) = i) =/((/. д кг2г | f (Хг) = 1) +
+ / (X" Л У*2, | I/,, F (Xt) = 1) <
< / (Ut Л ^ i F (Xi) = 1) + / (X, Л ^i I l/i. F №) = 1),
где последнее неравенство вытекает из того, что W± — ухудшение Vy, а V" — ие
имеет памяти. С другой стороны, при условии F (Х{) = 2 имеем
/ (МоЛ*! Л Yi I Fn (Хп) У', F (X,) = 2) < / (Ut Л Vi I F (Xf) = 2),
/ (Л*2 Л У|2, | F" (X") ЛМ^У'-1*'-1, F (X0 = 2) <
< / (X" Л YtZt | Ut. F (X;) = 2) = / (X, Л Zi I Uu F (Xf) = 2),
где последнее неравенство вытекает из того, что W1} не имеет памяти, а V — ухуд-
ухудшение W2-
Из последних трех оценок и (* * *) получаем
я № + *i + Я2 - б) < 2 [/ (F (X,) Л ^f) + / A/« Л Vf I f №)) +
+ Pr {F (Xt) = 1} / (X, Л Yt | f (Xi) =1, l/j) +
+ Pr {F (Xt) = 2} / (X, Л Zt | f (Xd = 2, I/,)].
Отсюда, из (*),(**) и их аналогов, полученных переменой ролей двух компо-
компонент канала, требуемый результат получается аналогично тому, как в указании
к задаче 4.
10 (некоторые достижимые скорости для общего ШК с двумя выходами).
(а) Пусть S, T, U — независимые СВ и X й g (S, Т, U) — функция этих трех
СВ. Пусть далее Y, Z — произвольные СВ, для которых STUQXQYZ,
Ру 1 х — V> ^z | \ ~ W. Покажите, что любая тройка неотрицательных чисел
(Ri, Ro, Rz), удовлетворяющих неравенствам
R± ==£ / (S Л Y | T), R2< I(U Л 2 | T),
Ro < min [/ (T Л Y | S), / (T/\Z | U)],
Ro + Ri < / (TS Л Y), RB+ R2*s. 1 (TV Л Z),
является достижимой тройкой скоростей для ШК с компонентами {V} и {W}.
Указание. Рассмотреть сеть каналов на рис. 2.11 (а) с компонентами V: S X
XTXU—»-Yh U7: S X Т X U—*- Z, имеющими матрицы переходных вероят-
вероятностей V й, PY | STU и W = Pz | STU и обобщить задачу 2 (Ь).
(Van derMeulen A975), Cover A975a).)
(b) Пусть (S, U, X, Y, Z) — пятерка независимых СВ, для которых
SUQXQYZ и Y и 2 связаны с X каналами V и W соответственно. В частности,
S и U могут быть зависимыми. Докажите, что если (Rlt R2) удовлетворяет усло-
условиям
«! < / (S Л Y), R, < 1 (U Л Z), '
/?1 + «, < / (S Л П + / {U Л 2) - / (S Д ^),

352 Гл. 3. Многотерминальные системы
то (#1( О, R2) —достижимая тройка скоростей для ШК с компонентами {V} и
Указание. Достаточно доказать, что тройка (Rlf 0, #2) с
R± й I (S Д Y), R2=r(uAZ)-I(UAS)
является достижимой тройкой скоростей. Зафиксируем некоторое 6>0 и поло-
положим
J й [ехр {и (/ (SAY)- в)}], /С 4 [exp {n (I (U A Z) - I (U A S))}J.
L Д lexp {я/ (С/ Л S)}J.
Используя метод случайного выбора кодов, выберем последовательности s^ £ S",
Uft/ f U"; 1 ■< / <[ J, 1 <; k <: /С, 1 ^ / <: L, длины п независимо друг от друга
в соответствии с распределениями PJ и Рц соответственно. Для каждых / и k обо-
обозначим через /(/, k) наименьшее /, для которого (Sj, uw) £ ~^1suv если такая
пара есть, и / (/, k) = 1, если такой пары нет. Положим
В/ = Т^|5](^)-ли.ТГу,5]Ы,
с* = U TFz I m (aki) - U U Tfz, щ (uku).
/=1 A'^ts /=1
Сопоставим случайному набору ^{(s/, ий/), 1 <: / ^ /, 1<й <: /С, 1 ^
<: L) блоковый код (/, <р, if) длины п для данного ШК, где f: {1, ..., 7} X {1, ...
...,/(}—>-Х" таково, что / (/, й) — произвольный элемент из Т?х i ^tf] (s/> ufti (/ а>)
и ф (г/) = / тогда и только тогда, когда у £ Bj, a if (г) = Дг тогда и только тогда,
когда г € Сь. Докажите, что математическое ожидание средних вероятностей
ошибки для этих случайно выбранных кодов (f, <p, ty) стремится к 0 при п—>- оо.
(Marton A979).)
(с) Обобщите п. (Ь), показав, что для любого набора шести СВ (S, T, U, X,
Y, 2), для которого STUQXQYZ и X, Y, Z удовлетворяют тем же условиям,
что и в (Ь), любая тройка неотрицательных чисел (Rlt Ro, R2), для которой
{/ (Т А У). I (T A Z)},
RB +/?!<:/ (ST AY), Ro + Я2 < / (UT A Z),
Ro + Ri + Rz < min {/ (T A Y), I(T A Z)) +
+ / (S л у I T) + i (u a z I T) - / (uas I T),
достижима для ШК из (б).
(Marton 1979).)
11. (а) (детерминированный ШК) Рассмотрим ШК с двумя выходами, в кото-
котором V и W являются матрицами с элементами 0 и 1, т. е. задаются отображениями
f: X-> Y, g: X—>• Z. Докажите, что область пропускной способности состоит из
тех троек неотрицательных чисел (Rlt Ro, R2), для которых существует пара СВ
(Т, X) с | Т | < | X | + 2, таких, что, полагая Y й f (X), ZUg (X), имеем
Ro < min {/ (Т А У), I (T A Z)},
Ro+ R1^H(Y), Ro+ R2^H(Z),
Ro + Ri + Ri < min {/ (T AY), I (T A 2)} + H (Y, Z\ T).
Указание. Прямая часть результата является частным случаем задачи 10 (с).
Обращение получается обычным образом (полагая Tj = M0Y'~lZi~1)-

§ 4. Сети источников и каналов 353
(Блекуэлл (Blackwell A963, не опубликовано)) поставил задачу в частном
случае и доказал, что разделение времени между компонентами неоптимально.
В этом частном случае область пропускной способности была определена Гельфаи-
дом A977). Сформулированный результат был доказан (при Ro = 0) в работах
Пинскера A978) и Мартон (Marton A979).)
(b) {полудетерминированный ШК) Рассмотрим более общий случай, когда
только одна компонента V ШК с двумя выходами задается матрицей с элементами
О и 1, в то время как компонента W произвольна. Докажите, что (Rlt О, R2) ле-
лежит в области пропускной способности в том и только том случае, если существует
четверка СВ (U, X, Y, 2), такая, что
U&X&YZ, PY[X = V, Pzlx= W, | U |<|Х|+2,
()<#!< Я (Г), 0 <#„</(£/ Д 2),
R1 + R2 < H (Y | U) + / (U Л 2).
Указание. Прямое утверждение является частным случаем задачи 10 (Ь)
(при S = К). Обратная часть является частным случаем задачи 3.
(Marton A979); независимо Гельфанд и Пинскер A980) определили полную
область пропускной способности.)
(c) (нулевая ошибка) Покажите, что ШК с двумя выходами из п. (а) обладает
тем свойством, что для каждой достижимой тройки скоростей (Rlt Ro, R2) су-
существуют коды со скоростями, сходящимися к (Rlt Ro, R2), имеющие нулевую
вероятность ошибки.
(Пинскер A978).)
Указание: использовать задачу 2.11.
12 (АШК с входными ограничениями). Определите область достижимых пар
скоростей с входным ограничением (с, Г) (см. § 2.1) для АШК с компонентами
{У}, {Щ, т. е. ограничьтесь рассмотрением кодов, для которых любое кодовое
слово / (тъ гщ) удовлетворяет условию с (/ (тг, гщ)) <; Г.
Докажите, что (Rlt R2) является е-достижимой парой скоростей {б £ @, 1/2))
с входным ограничением (с, Г) в том и только том случае, если существует чет-
четверка СВ (U, X, Y, Z), для которой
и -е- х -е- yz, с/ € и, | и| < |х| + з, £с(Х)<г,
К и 2 связаны с X соответственно каналами V и W и выполнены неравенства
Ro < / (U A Z),
Ro+ Ri< min [/ (X Л У), I (X Л У I U) + I (U Л 2)].
Указание: доказательство аналогично доказательству теорем 4.1 и 4.3.
СЕТИ ИСТОЧНИКОВ С ТРЕМЯ ВХОДАМИ И ОДНИМ ПОМОЩНИКОМ
13 (зигзагообразная сеть источников). Определите область достижимых скоро-
скоростей для сети источников, изображенной на рис. 4.8 (а), с произвольным 3-источ-
ником. Докажите, что (/?х, Ry, R^) является достижимой тройкой скоростей
в том и только том случае, если существуют СВ U и число t, такие, что
U-& Y & XZ, |U|<|Y| + 2, 0< *<min {(U f\ X), I (U /\ Z)],
и выполнены неравенства
Rx > Я (X), Ry > H (XY) — H (X \ U) — t, /?z> H (Z \ U) +t.
(Korner—Marton A977c),)
Указание. По лемме 1.11 область достижимых скоростей для этой сети источ-
источников совпадает с областью достижимых скоростей для нормальной сети источни-

354 Гл. 3. Многотерминальные системы
ков с одним помощником, изображенной на рис. 4.8 (Ь). По теореме 1.15 о помощ-
помощниках эта область достижимых скоростей совпадает с замыканием множества
векторов (#х> Ry> z)> К0Т0Рые ПРИ некотором п и некотором отображении g,
заданном на Y", удовлетворяют неравенствам
Rx > Н (X), Ry > A/n) H (g (К")) + A/п) Н {Yn \ g (V), Хп),
Rz>(Vn)H(Zn\g(Yn)).
Замечая, что
Н (g (Уп)) + H(Yn\g (Yn), Xn) = пН (X, Y)-H(Xn\g (Yn)),
из этих неравенств и теоремы 3.20 получаем нужное утверждение.
Рис. 4.8.
(а) Зигзагообразная сеть источников. (Ь) Соответствующая НСИ.
14 (сильное обращение для зигзагообразной сети источников). Докажите, что
область в-достижимых скоростей для зигзагообразной сети источников при любом
0 < в < 1 совпадает с областью достижимых скоростей.
Указание. Зафиксируем некоторое 6>0 и рассмотрим код (f^, g^, h^, cp^,
4>ki 6*) с вероятностью ошибки, меньшей в. Аналогично доказательству сильного
обращения в теореме 4.4, обозначим для каждого у £ Y* через А (у) £ Х&
и через С (у) с: Z* множества тех элементов ХА и Zfi соответственно, для кото-
которых при декодировании не происходит ошибки, т. е. для которых 1|>ь (/^ (х),
Sh (У))= У и Qh (gk (У). hh (z))= z- По предположению
2 ^у (У) ^х I у (А (У) X С (у) -|-у)>1-е.
y€Y*
Обозначим через В множество тех последовательностей у £ Тру, a Y", для
которых
pxz | у (А (У) X С (у) | у) > A - е)/2.
Тогда при достаточно большом й
Р$. (В) >A - 8)/3,
так что
(I/A) log|B|>tf (К) — б.
Как и при доказательстве теоремы 4.4, существует такое множество ВсВ, что
отображение gh постоянно на В и | В | ^ | В | (Ц^Ц), т. е.
A/Л) log | В | > Н (У) - б - A/Л) log j|gft ||.

§ 4. Сети источников и каналов
355
Пусть V = Рх | у и W = Pz | Y. Заметим, что В является множеством кодовых
слов некоторого (п, A — е)/3) кода для ДКБП {V}. Поэтому ввиду леммы 2.1.8
для любого Т| > 0 и любого достаточно большого k
gyk (В, т))
В | exp {k (Я (X[Y)- б)},
откуда
- 36.
Ry > (I/A;) log || gk || — б > H (X, Y) — (Ilk) log gyk (B,
Как и при доказательстве теоремы 4.4, для достаточно больших k имеем также
RZ > (I/A) log gwk (В, A - в)/2) - б.
Полагая Т| = A — s)/2, получаем, что два последних неравенства и теорема 3.10
завершают доказательство нужного утверждения.
Рис. 4.9.
(Korner—Marton A977 с).)
15. Определите область достижимых,скоростей для сети источников, изобра-
изображенной на рис. 4.9 (а).
(а) Докажите, что (#х, Ry, Rj) — достижимая тройка скоростей в том и
только том случае, если существует такая СВ U, что
и е- y e xz, | и к | y | + 2,
и выполнены неравенства
Rx > Н (X), Ry > Я (X, Y,Z) — H (X, Z\U), Rz > Я B | U).
(b) Докажите соответствующее сильное обращение.
(Korner A975).)
Указание. Соответствующая НСИ с одним помощником изображена на
рис. 4.9 (Ь). Из теоремы 1.15 вытекает, что область достижимых скоростей сов-
совпадает с замыканием множества таких векторов (#х, Ry, R^r), что для некото-
некоторого п и некоторого заданного на Y™ отображения g выполнены неравенства
Н (X),
(I/n) Я (К" | X", Z», g (К")) + A/я) Я (g (У1)),
Поэтому утверждение п. (а) следует из теоремы 3.20. Сильное обращение можно
доказать так же, как в задаче 14.

356
Гл. 3. Многотерминальные системы
(с) Не используя предыдущих результатов, докажите непосредственно,
что проекция области достижимых скоростей для сети источников, изображенной
на рис. 4.9 (а), на плоскость (Ry, R^) совпаДа9Г с проекцией на ту же плоскость
области достижимых скоростей для зигзагообразной сети источников с 3-источ-
киком, порожденным переменными (X, Z), Y, Z.
Рис. 4.10.
16. Определите область достижимых скоростей для сети источников, изобра-
изображенной на рис. 4.10 (а), при произвольном 3-источнике.
(а) Докажите, что (#х, Ry, R^ является достижимой тройкой скоростей
в том и только том случае, если для некоторой случайной величины U и некото-
некоторого t, удовлетворяющих условиям предыдущей за-
задачи, выполнены неравенства
Rx > Н (X | U) + t,
Ry>H (X, Y) — [Я (X | U) + t],
RZ> H{Z\ U)+ t.
(b) Докажите соответствующее .сильное обра-
обращение.
Указание. Область достижимых скоростей для этой
сети совпадает с областью достижимых скоростей
Рис. 4.11. Для НСИ с одним помощником, изображенной на
рис. 4.10 (Ь). Далее рассуждать, как в предыдущей
задаче.
17. Определите область достижимых скоростей для сети источников, изоб-
изображенной на рис. 4.11, при произвольном ^-источнике. Докажите, что (Rx, Ry,
RZ) является достижимой тройкой скоростей в том » только том случае, если для
некоторых U и t, как в задаче 15, выполнены леравенства
// (X | U)+ t,
И (X, Y, Z) — H (X, Z\ U) — t.
RZ > H (Z I U) + t.
Уиа:мш:е. Соответствующая НСИ (с одним помощником) получается за-
заменой Y в среднем выходе на рис. 4.11 на XYZ. По теореме 1.15 область дости-
достижимых :Kopo-Ttii совпадает с замыканием множества таких векторов (#х, Ry, Ry),

§ 4. Сети источников и каналов 357
что для некоторого п и некоторого заданного на Y" отображения g выполнены
неравенства
п.
Ry>-^-H(g (Yn)) + -i- Я (К" | Хп, Zn, g (Yn)),
Заметим, что хотя в данном случае нельзя применить теорему 3.20, однако можно
применить задачу 3.20 (Ь).
Рис. 4.12. Рис. 4.13. Рис. 4.14.
18. Определите область достижимых скоростей и докажите соответствую-
соответствующее сильное обращение для сети источников, изображенной на рис. 4.12. До-
Докажите, что тройка (#х> ^v> ^Z) является е-достижимой в том и только том
случае, если существует
для которой выполнены неравенства
RK > Н {X | U), Ry > / (U Л У), RZ>H (Z\ U, X).
Указание: доказательство аналогично предыдущим.
(Неопубликованный результат Кернера и Мартой, 1975 г.)
СЕТИ ИСТОЧНИКОВ С ДВУМЯ ПОМОЩНИКАМИ
19. Докажите, что (Ry,, Ry, Ry) является е-достижимой тройкой скоростей
для сети источников, изображенной на рис. 4.13, в том и только том случае,
если (Дх, Ry) 6 Я «Х>, Y) и (Rz, Ry) € 31 (B), К).
Указание. Требуемая форма области достижимых скоростей сразу выте-
вытекает из теоремы 1.15. Сильное обращение следует из того, что оно справедливо
для сети источников из теоремы 4.4.
(Sgarro A977).)
20 {двоичное сложение). Рассмотрим сеть источников на рис. 4.14. Пусть
X, Y, Z принимают значения в {0, 1}. Пусть X, Y имеют симметричное совмест-
совместное распределение, т. е.
Pxy @, 0) = Pxy A, О = A - рI2,
Pxy @, 1) = Pxy A,0) = p/2.

358 Гл. 3. Многотерминальные системы
Положим далее
ГО, если X = Y,
"~ { 1, если X*£Y,
т. е. Z = X ф Y, где ф обозначает сложение по модулю 2.
(a) Докажите, что существуют коды (/^, gk, h^, cp^), для которых h^ прини-
принимает одно значение и
такие, что
limPr{cpftD(XA), gk (Yk)) Ф Zk) = О,
lim (l/&) log || fh О = lim (\lk) log||gfe|| = H (Z).
(Совместный результат Кернера и Мартон, опубликованный в работе Ког-
пег A975).)
(b) Определите область достижимых скоростей. Докажите, что она состоит
из тех троек (#х, ^у ^z)' для КОТОРЫХ
Rx + Rz> Я B), Ry + Rz^z H B).
Докажите соответствующее сильное обращение.
(Korner—Marton A979).)
Указание, (а) Согласно задаче 1.1.7, существуют такие функции f^: {0, 1} —>•
—> {0, 1} h и qv {0, 1} ft—>{0, 1}А, что fh — линейное отображение, т. е.
fft B' ф г") = fh B') ф fft {г")
и
lim Pr {фй (fft Bfe)) ^4= Z*} = 0, lim lk/k = Я (Z).
А-юо (j-юо
Проверьте, что можно положить
h М - h (х). Sft (у) ^ fft (у), фй (/ft (х)), gfe (у) 4 Фй (/fe (х) ф gk (у)).
(Ь) Прямое утверждение следует из п. (а) ввиду принципа разделения вре-
времени. Для доказательства обратного утверждения рассмотрим коды (}k, gkt
hk, <pft) с вероятностью ошибки, меньшей в. Заменяя gh на тождественное отобра-
отображение Yfe, мы можем изменить декодер таким образом, чтобы получить код для
вилочной сети с тем же ДМИБП, имеющий ту же вероятность ошибки. По теореме
кодирования для вилочной сети Rx + Rz ^ Я (XZ | Y). По симметрии Rz +
-f- RZ > Я (YZ | X). Заметим наконец, что Я (XZ | Y) = Я (KZ | X) == Я B).
21 (ограничения на разделение скоростей). Если (/?х, i?y> ^z) — достижимый
вектор скоростей для сети источников на рис. 4.14 с произвольным 3-источни-
ком, то
>, 2). (*)
Верно ли, что для любого элемента Я ((XY), Z) существует достижимая тройка
скоростей, удовлетворяющая ( *)?
Указание: нет; см. задачу 20.

§ 4. Сети источников и каналов 359
ОБЩИЕ КРИТЕРИИ ТОЧНОСТИ
22 {двоичное сложение). Рассмотрим сеть источников иа рис. 4.15 с Х =
= Y^{0, 1} и мерой искажения
.[ О, если г = х ф у,
d (х, у,г)й{
[ 1 в остальных случаях.
Здесь ф означает сложение по модулю 2. Докажите, что если (X, Y) имеют сим-
симметричное совместное распределение, как в задаче 20, то (#х> ^v) является 8~Д°~
стижимым вектором скоростей в том и только том
случае, если
R>H(Z) RH(Z)
где 2 = X ф Y,
Указание: см. задачу 20.
(Кбгпег—Marton A979).)
23 (двоичное сложение). Рассмотрим ту же сеть,
что и в задаче 22, но с произвольными двоичны-
двоичными СВ X и Y.
(a) Докажите, что если Я B) ^ min [Я (X),
Н (Y)], пара (Rx, Ry) является достижимым век-
вектором скоростей при уровне искажения 0 в том
и только том случае, если
RK > Я (X | Y), Ry > Я (Y | X),
Rx + Ry>H (X, Y). Рис. 4.15.
Это означает, что для восстановления последовательности сумм Xk ф Yk нужно
иметь столь же большие скорости, как и для восстановления пары (X , Y ).
(b) Докажите соответствующее сильное обращение.
Указание, (а) Прямое утверждение является очевидным следствием теоремы
кодирования для вилочной сети (теорема 1.5). Для доказательства слабого обра-
обращения предположим, например, что Н (Z) ;> Я (У), и рассмотрим каналы V:
X—>- Z и W: X—>- Y, такие, что V = Pz | х и W = PY \ х- Заметим, что соот-
соответствующие матрицы имеют одну общую строку, в то время как в другой строке
одно и то же распределение появляется в двух разных порядках. Проверить, что
отсюда следует, что один из каналов является ухудшением другого. Поскольку
Я B) > Н (Y), и значит / (X A Z) > / (X A Y), канал W является ухудше-
ухудшением V. Зафиксируем некоторое б > 0. Ввиду неравенства Фано для достаточно
большого k и любого кода (fh, gh, cpft) с малой вероятностью ошибки имеем
k (Rx + б) > Я (fh (Xk)) + Н (Zk)\fk (Xk), Yk) = kH (X,Y) - Я (К* | fk (Xk)),
k (Ry +6)>H(Zk\fk (Xh)) >H{Yk\fk (Xk)),
где последнее неравенство вытекает из неравенства
/ (Z* Д X" | fk (X*)) ^l{Yk Л X* | fk (X*)),
которое следует из того, что W — ухудшение V. Пункт (Ь) доказывается ана-
аналогично сильному обращению в теореме 4.4 с использованием того, что один из
каналов является ухудшением другого, как в п. (а).
(Кбгпег A977, не опубликовано).)
Замечание. Существуют двоичные СВ X, К с несимметричным совместным
распределением (см. задачу 20), такие, что некоторая достижимая пара скоростей
для двоичного сложения удовлетворяет условию
RK+ RY< н (X. Y)-

360 Гл. 3. Многотерминальные системы
В самом деле, ввиду конструкции в задаче 20 (Я (Z), Я (Z)) является достижимой
парой скоростей.
24 (двухступенчатое кодирование источника), (а) Рассмотрим ДИБП X
и два критерия е-точности (d1, Д') и (d", А").Определите область е-достижимых
скоростей для сети источников на риг. 4.16 с этим источником при двух задан-
заданных критериях точности на декодерах. Докажите, что (R', R") является дости-
достижимой парой скоростей в том и только том случае, если существуют СВ Z' и Z"
со значениями в соответствующих алфавитах воспро-
воспроизводимых символов, для которых
R' > I (X Л Z'), R' + R" > Г (X Д Z'Z"),
Ed' (X, Z')< Л', Ed" (X, Z")< Л".
(Gray—Wyner A974) *.)
(b) Докажите соответствующее сильное обращение.
А^^ . Указание. Обратное утверждение доказывается так
^V,.^ T же, как теорема 2.2.3.
^■^1 Для доказательства прямого утверждения достаточ-
I ' но показать, что если Ed' (X, Z') < Д', Ed" (X, Z") < Д",
ЛТТ„ то (I (X Л Т), I (X Л Z" | Z'))— достижимая пара скоро-
(а,Л) (а,Д > стей. Это можно сделать аналогично доказательству теоре-
Ряс 4 16 мы 2.2.3, используя конструкцию с кодом для ка-
' нала, аналогичную конструкции теоремы (но более про-
простую). Рассмотрим два ДКБП {V: Z'xZ"—>-Х} и {W:
7.' —>■ X}, где V = Рх | 2-z"> ^ = ^х I Z- Выберем сначала максимальный код
для {W} с Z'-типичными кодовыми словами z2. Затем для каждого i рассмотрим
максимальный код для {V} с кодовыми словами, которые Z'Z'-типичны и имеют
проекцию Z, на Z ". Применим лемму о раздувании к множествам декодирования
на выходе ДКБП {V} и сделаем полученные множества непересекающимися
с помощью обычной процедуры. Полученное разбиение X" задает два кода для
источника аналогично тому, как это сделано в теореме 2.2.3.
НЕКОТОРЫЕ ТОЧКИ ОБЛАСТЕЙ СКОРОСТЕЙ
25 (двойное марковское свойство). Докажите, что тройка СВ (U, X, Y) удов-
удовлетворяет условиям
у©хву, хеиег ' (*)
в том и только том случае, если существуют такие функции / от U и g от X, что
(i) / (U) = g (X) с вероятностью 1,
(ii) Y условно не зависит от UX при заданных (f (U), g (X)).
В частности, если совместное распределение X и 0 неразложимо (см. задачу 3.12),
то из (*) вытекает независимость Y и UX.
26 {информация об Y, содержащаяся в X). Обозначим через А (X; Y) наимень-
наименьшее R, для которого- (R, Я (Y \ X)) £ Я. ((X), Y) (см. теорему 4.4). Интуи-
Интуитивно А (X; Y) — это скорость информации, содержащейся в источнике X об
источнике У. Ясно, что / (X А У)< А (X; Y) < Я (X). Докажите, что
А (X; Y) < Я (X) в том и только том случае, если существует такая функция
■ф (X) от X, что Я (ф (X)) < Я (X) и
X «■ т|> (X) в- Г.
Указание: применить теорему 4.4 и задачу 25.
г) Естественное обобщение описанной схемы кодирования содержится в ра-
работе El Gamal—Cover A982)*. См. также Wistenhausen—Wyner. A981)*, Ber-
ger—Zhen Zhang A983)*.—Прим. перев.

§ 4. Сети источников и Каналов 361
27 (общая информация). Пусть (fh, cpft) и (gh, т|>/;) суть \k, lk\- и [k, /лд]-бло-
ковые коды для компонент ДМИБП, порожденного X, Y; см. § 1.1. Зафиксируем
некоторое е £ @, 1).
(a) Пусть Nh — (случайная) длина наиболее длинного совпадающего на-
начального сегмента двух двоичных последовательностей fh (Xk) и gh (У*). Дока-
Докажите, что для асимптотически оптимальных кодов, т. е. в случае, когда
lim lklk = Я (X), lim mhlk = Я (Y),
Jim Рг {<pk {fk (Xk)) = Xk, i|)ft (gk (Yk)) = Yk) > 1 — e, ( * }
ft->-oo
средняя общая длина EN^ двух кодов удовлетворяет условиям
Шп ENh/k < Я (/),
ft-»-oo
где J — общая функция X и Y с наибольшим числом значений. Точнее, J =
= / (X) = g (Y), где / и g — функции соответственно X и Y, такие, что./ (X) =
= g (Y) с вероятностью 1, » число значений, принимаемых / (или g) с положи-
положительной вероятностью, максимально. (Ясно, что все такие СВ J имеют одина-
одинаковую энтропию). Покажите далее, что существуют последовательности опи-
описанных выше кодов, для которых
lim ENhlk = Я (/).
По этой причине Я (/) можно назвать общей информацией X и Y. В частности,
если совместное распределение X н У неразложимо, эта общая информация
равна 0.
(b) Докажите, что для кодов, удовлетворяющих (*), для которых началь-
начальные сегменты (неслучайной) длины nk последовательностей fk (X ) к gk (У*)
совпадают друг с другом с вероятностью, не мень-
меньшей е, имеет место неравенство lim n^lk ^ Я (/);
ft-»-oo
кроме того, здесь можно достичь равенства.
Указание: применить задачу 3.14 (а).
(Gacs—Korner A973а).)
28 (общая информация). Рассмотрим сеть
источников, изображенвую на рис. 4.17, с ДМИБП,
порожденным переменными X и У. Обозначим
через С (X А У) наибольшее R, для которого
(Я (X) — R, R, Н (У) — R) является дости-
достижимой тройкой скоростей для этой сети. До- Рис 4 17
кажите, что С (X А У) = H(J), где /— та же СВ,
что и в предыдущей задаче. (Если /„, gn, hn — кодеры блокового кода
длины п для этой сети, то (fn (Xn), gn (Xn, У")) используется для воспроизведе-
воспроизведения Хп, a (hn (Xn), gn (Xn, У")) используется для воспроизведения У". Есте-
Естественно требовать, чтобы (\ln) log || fn || + (\ln) log || gn \\ было близко к Я (X),
а (\1п) log || hn || +A/л) log [| gn ||- к H(Y); в этом случае A/л) log | gn |
естественно интерпретировать как меру общей информации этих двух источ-
источников).
. Указание. Применить задачу 6. Из нее следует, что
С(Х Л У) = max / (XY A U).
! (XYAU) + Н (X | U) = Н (X)
г (xY A U) + Н (Y ! С) = Н (Y)

362 Гл. 3. Многотерминальные системы
Пусть (U, X, Y) — некоторая тройка, для которой достигается этот максимум.
Ограничения эквивалентны условиям УвХв КиКв-Кв-Х соответственно.
Вследствие результата задачи 25 существует общая функция J от X и от Y, для
которой U условно независима от XY при заданном J. Поэтому
С (X Л Y) = / (XY Л(/)=Т (XYJ A U) = / (J А £/)< Я (У).
Обратное неравенство очевидно.
(Поскольку для сети источников на рис. 4.17 справедливо сильное обраще-
обращение, этот результат обобщает задачу 27 (Ь); это обобщение принадлежит Алс-
веде и Кернеру (Ahlswede—Когпег A974, не опубликовано)).)
29 (общая информация по Вайнеру). Обозначим через W (X А У) и назовем
общей информацией по Вайнеру наименьшее R, для которого существует такая
пара (#х, Ry), что (#х, R, Ryj — достижимая тройка скоростей для сети ис-
источников, изображенной на рис. 4.17 и #х + R + Ry = Я (X, Y). Интуи-
Интуитивно W (Х-A Y)—-наименьшая скорость общего кода для двух компонент
источника, которая обеспечивает почти оптимальное с точки зрения скорости
функционирование сети источников на рис. 4.17. Докажите, что
W (X A Y) = min / (XY A U).
(Wyner A975a, b).)
30 (общая информация и взаимная информация). Докажите, что
С (X A Y) < / (X А К) «S W (X A Y)
и каждое из неравенств превращается в равенство в том и только том случае,
если зависимость между X и Y является детерминированной. (Это значит, что
существует такая общая функция X и Y, что X и Y независимы при заданном
значении этой функции.)
Указание. Применить задачу 25. Пусть (U, X, Y)—тройка, для которой
достигается минимум в определении W (X A Y). Для этой тройки условие
/ (XY A U) = / (X A Y) эквивалентно условию Я (X, Y | U) = Н (X | Y) +
+ Я (Y | X). Принимая во внимание марковское условие X -Э- U -Q- Y, можно
свести последнее равенство к равенству Я (X | Y) + Я (Y \ X) = Н (X | U, F)+
-f- H (Y | U, X). Это в свою очередь эквивалентно условиям Х0У© У и
U -е- X -е- Y, откуда / (XY A U) = Я (/), где / —такая жеСВ, что и в задаче 27.
(Ahlswede—Когпег A974, ие опубликовано).)
РАЗЛИЧНЫЕ СЕТИ ИСТОЧНИКОВ
31 (вилочная сеть с дополнительной информацией). Определите область
достижимых скоростей для сети источников, изображенной на рис. 4.18, с произ-
произвольным (/■'+ 1)-источником, порожденным переменными X, КA), ..., К(г). По-
Покажите, что R = (Ro, Rt, ..., Rr) является достижимым вектором скоростей
в том и только том случае, если существуют СВ U и число t ^ 0, такие, что
|UK|X|+r+ I, t^ I (U
и выполнены неравенства
г
Ro > | / (U А X) — 11+, ^ Ri > Я (ГA>... Г<'>| U)
и для любого L с: {1, ..., /■}
где YL&

§ 4. Сети источников и каналов
363
(Однобуквенная характеризация этой области достижимых скоростей была
приведена в алгебраически более сложной форме Гельфаидом и Пиискером A979).)
Указание. Обозначим через Я* множество всех векторов, удовлетворяющих
приведенным неравенствам для некоторых U и t, как в (* ). По теореме 1.15
о помощниках область достижимых скоростей является замыканием множества
всех векторов R = (Ro, Rlt ..., RT), которые при иеком п и некой заданной на X"
функции / удовлетворяют неравенствам
До
(/ [Хп)),
53
(= L
L с {1, ...,
Поэтому прямое утверждение, т. е. достижимость любого вектора R £ 32*,
вытекает из задачи 3.18. Обращение можно проверить, используя обратное ут-
Рис. 4.18.
верждение из задачи 3.19 с S = F' ... Y^rK Из него следует, что ввиду приве-
приведенных выше неравенств каждому достижимому вектору скоростей R = (Ro,
Rlt ..., Rr) соответствуют СВ U и число t, удовлетворяющие (*), для которых
выполнены требуемые неравенства.
32 {сети глубины > 2). (а) Легко видеть, что для произвольного ДМИБП
область достижимых скоростей для сети источников, изображенной на рис. 4.19 (а)
совпадает с Я ((X), Y), т. е. с асимптотической точки зрения связь между ко-
кодером источника X и кодером источника Y бесполезна. Докажите, что связь
в обратном направлении может быть полезной. Точнее, покажите, что пара (^х,
Ry) является е-достижимой парой скоростей для сети источников, изображенной
на рис. 4.19 (Ь), в том и только том случае, если
Rx + RY > Н (Y), Ry>H(Y\ X).
Указание. Обратное утверждение очевидно. Для доказательства прямого
утверждения достаточно проверить, что
#х й I (X A Y), Ry й Н (Y | X)
является достижимой парой. Пусть g: Yk—>■ My задает разбиение Yk иа мно-
множества кодовых слов (k, вй)-кодов (с eh—v 0) для ДКБП {V: У—v X} (где V =
= Ру | х)> как в теореме 3.1.2. Положим
/ (т, х) й <рт (х), если g (у) = т,
где <рт — декодер m-ro (k, еА)-кодаг

364
Гл. 3. Многотерминальные системы
(Ь) Выведите отсюда, что область достижимых скоростей для сети источ-
источников, изображенной на рис. 4.19 (с), вообще говоря, отлична от области дости-
достижимых скоростей для сети источников, изображенной на рис. 4.14.
Указание: п. (а) является частным случаем нужного утверждения.
НЕДРУЖЕСТВЕННЫЕ УЧАСТНИКИ
Последние три задачи идейно отличаются от всех остальных задач, рассмат-
рассматривавшихся в этой главе. Они моделируют системы связи, в которых одни участ-
участники пытаются предотвратить использование другими участниками «поступаю-
«поступающей в систему» информации.
33 {канал с перехватом). Пусть заданы два ДКБП с общим входным алфа-
алфавитом: {V: X—v Y} и { W: X—>■ Z}. Рассмотрим задачу передачи сообщений по {V}
таким образом, чтобы «перехватчик», который может наблюдать выход {W}
(и знает используемый код), не мог восстановить посылаемое сообщение. Для
обеспечения секретности можно использовать случайный кодер. Пусть задан
такой кодер F: М—>-X"; см. определение 2.6.12. Будем измерять степень незна-
незнания перехватчика скоростью неопределенности A/п)Н (М \ Zn)\ здесь М—СВ,
равномерно распределенная на множестве сообщений М, a Z" — выход ДКБП
{1^}, соответствующий входу, полученному из М применением случайного ко-
кодера F. Пара неотрицательных чисел (R, Re} называется достижимой парой
скоростей для канала с перехватом, если для любых е > 0, б > 0 и любого до-
достаточно большого п существует случайный кодер F: М —*■ X", для которого
| A/я) log I M | — R |< 6,
скорость неопределенности для ДКБП {W} больше Re — б и при подходящем
декодере ср: Y"—»- М вероятность ошибки кода (F, е) в канале {V} меньше е.
Обозначим через Я множество всех достижимых пар скоростей. Секретная про-
пропускная способность определяется как наибольшая скорость, при которой воз-
возможна «надежная передача с полной секретностью», т. е. как наибольшее R,
для которого (R, R) £ Я..
(а) Покажите, что (R, Re) £ 5? в том и только том случае, если существует
пятерка СВ U, Г, X, Y, Z, такая, что U&T-e-X-e-YZ, Y и Z связаны с X
соответственно каналами V и W и
Y | U) — / (Т Л Z | U),
(*)
(* *)'

§ 4. Сети источников и каналов 365
Здесь можно предположить, что U принимает не более | X | + 2 значений, а Г —
ие более | X |2 + 3 | X | + 2 значений. Докажите, что секретная пропускная
способность равна
Cs= max [I (ТА У) —I (ТА Z)],
где число значений Т может не превышать | X |. В частности, Cs равна нулю
в том и только том случае, если канал W менее шумен, чем V; см. задачу 3.11.
Указание, (i) Обратное утверждение. Ограничения на число значений можно
получить из леммы о носителе (лемма 3.4). (Для этого следует зафиксировать
сначала Рxyzt | и и применить эту лемму для ограничения | U |. Далее нужно
зафиксировать распределение U и использовать ту же процедуру для ограни-
ограничения | Т |.) Рассмотрим случайный кодер F: М-*-Х" в определении достижимой
пары скоростей (R, Re) и обозначим через Уп соответствующий выход ДКБП {V}.
Тогда для достаточно малого е (зависящего от 6) получаем ввиду неравенства
Фано
A/я) Я (М | Y") < 6,
так что
R < A/я) Я (М) + 6 < A/я) 1{М А У") + 26,
#е< A/я) Я (М\ Z") + 6 < A/я) [ / (М >Yn) — I (М Д Zn)\ + 26.
Применяя формулу C.34), можно написать
/ (М Л Уп) — / (М Л Zn) = Я (Yn) — Я (Zn) + Я {Zn\ М) - Я (У" | М) =
= J] \H (Yt [ У1-1) — H(Zi\ Zi+1 . . . Zn)] +
+ fj [Я (Z4 I Z'-1ZU1 ■ . . ZnM) - Я (Кг 1 Кг+1 . . . ZnM)] =
n
= S U (Yi A Zi+1 . . . ZnM I Y{-1) — I (Zi А У1~1М I Zi+1 . . . Zn)].
Теперь легко проверить равенство
п п
2 / (V Л 7 V I V' — h V / (^7 Л V>;—! I ■> 7 )
j I \У i A ^i+l ■ ■ ■ ^п \ Y > ~ 2j ' VLi А У I ^j+l • • ■ Lnj-
» = 1 i=\
Используя его, последний результат можно переписать в виде
/ (м л у") -1 (м л z") =
= S [/ (к« Л м | у'-1 zJ+1 . . . z«) - / (кг л м | к'-1 zJ+1 . . . zn)].
Ясно, конечно, что, кроме того,
/ (м л уп) = S / (^ л м | к'-'Х S / (Уг Л Aif-'-'z^ . . . zj.
1=1 (=1
Этим доказаны равенства (*) и (**) с
ХйХ{, Уй?1, ZUZ(, U 4 IY'-lZi+l . . . Zn, TU

366 Гл. 3. Многотерминальные системы
(где / — СВ, равномерно распределенная на множестве {1, ..., я} и не зависящая
от всех остальных), если вспомнить, что б > 0 произвольно. (Неравенство Re ^ R
следует из определения.)
(ii) Прямое утверждение. Заметим сначала, что 32 — замкнутое выпук-
выпуклое множество (выпуклость следует из пришйша разделения времени). Мы ут-
утверждаем, что если *
О < Re < I (X A Y | U) — I (X Л Z | U),
Яе < Ж 1(Х А У),
где f/e-Xe-KZ, PY | х = V, Pz f x = W, то (R, Re) £ 32. Этот результат,
примененный к вспомогательным каналам, задаваемым произведениями Ру • Т =
= ?х | т ' V и ^z | т = ^х | г" ^ вместо Ки Р, немедленно влечет за собой,
что любая пара (R, Re), удовлетворяющая (*) и (* *) (с U-&TQ-Х& YZ),
также принадлежит &L. В самом деле, предварительный ДКБП ,|Рх | г| может
рассматриваться как дополнительная рандомизация кодера.
Зафиксируем X, Y, Z. Поскольку область 52 выпукла и (R, 0) £ 32 при
0 < /? < / (л Л К), для доказательства нашего утверждения достаточно уста-
установить; что пары (R, Re) с
#е= max'[I(X Л Y \ U) — I (X A Z\ £/)]< i?< I {X Л Г) (* * *)
принадлежат 32. Это можно сделать, применяя некоторые из результатов, сфор-
сформулированные в лемме о наполнении кодов (лемма 3.18). Зафиксируем U, для
которого достигается максимум в неравенстве (* * *). Заметим сначала, что
в силу соотношения
I(XAY\U)~I(XAZ\ U) = f(XAY) = I(X A Z)~ [I(U A Y)-I(UAZ)]
это U должно удовлетворять условию/ (U Л Y) ^ / ({/ Л Z). Применим лемму
3.18 к этим U, X, Y, Z и t й I (U A Y). Обозначим полученные множества
А*" и А"' т' (при некотором фиксированном I) через А и А'ш' соответственно,
так что А с ~{?хЛ является множеством кодовых слов некоторого (п, е)-кода
для {V}, составленным из непересекающихся множеств А^т\ т = 1, ..., М,
каждое из которых является множеством кодовых слов некоторого (л, е)-кода
для {W}. При этом (ввиду свойства (ii) леммы 3.18)
| A/я) log М — [I (X Л Y I U) — / (X A Z | {/)] |<т
и (.ввиду формулы C.107))
| A/я) log | A(m) ]— U (X A Z | £/)+ I (U А КI<т, т = 1, ..., М.
Далее, из условий (ii) и (Hi) леммы 3.18 имеем также
| 0/л) bg gwn (A, 1-е) - A/я) log gwn (A(m), 1 - в) | ^ 2т. (****)
Пусть теперь задано R, удовлетворяющее неравенствам (***). Выберем такое
целое К, что
| A/я) log MK — R |< б.
Разобьем каждое А(/п) на К подмножеств равного объема (можно считать, что
| А(/п) | делится на К) и определим случайный кодер F: {1, ..., М} X {1, ..., К} -*-
—>- X", выбирая кодовое слово для сообщения (т, k) равновероятно из k-то под-
подмножества А'т*. Поскольку А= U ^_[ A <-m^ является множеством кодовых слов
(я, е)-кода для {V}, этот кодер F (с подходящим декодером <р) имеет среднюю
вероятность ошибки в {V}, меньшую е. Пусть далее М = (Mlt /Vf3) — СВ, равно-

§ 4. Сети источников и каналов 367
мерно распределенная на множестве сообщений {1, ..., М}Х{1 К}. Мы ут-
утверждаем, что
A/я) Я (М | Zn) > A/я) Н (Mi | Z") > A/я) Я (Мг) — б >
> / (X Л Y | £/) — / (X Л Z | U) — 26.
Это утверждение сразу станет очевидным, если мы покажем, что
A/я)/(М1Л2")< б.
Поскольку Z"— выход ДКБП {№}, соответствующий случайному входу, рас-
распределенному на А, и поскольку при условии Мг = т этот вход равномерно рас-
распределен иа А*т), последнее неравенство следует нз леммы 3.2 и неравенства
(b) Покажите, что если канал V менее шумен, чем канал W, достижимые
пары скоростей имеют следующее более простое описание: (R, Re) £ ш в том
и только том случае, если существуют СВ X, Y, Z (с PY .^ = У, Pz ■ х = W\
для которых
0<йе</(ХЛ Y) — / (X Л Z),
В частности, в этом случае
Cs = max [/ (X Л Г) — / (X Л Z)].
Указание. Из того, что У менее шумен, чем W, вытекает, что для любой пя-
пятерки СВ из п. (а) имеем
/ (U Л Y) > / (U A Z), / (X Л К | Г) > / (X Л Z | Г),
откуда
/ (Г Л Y | У) — / (Т Л Z | £/)< / (Г Л Г) — / (Т Л Z)< Г(Х Л Г) — / (XAZ).
Поэтому нужное утверждение вытекает из результата п. (а).
(c) (секретные и публичные сообщения) Изменяя первоначальную постановку
задачи о канале с перехватом, предположим, что по ДКБП {V }нужно одновре-
одновременно передавать два разных сообщения; одно из этих сообщений должно быть
полностью недоступно для перехвата на выходе ДКБП {W}, в то время как иа
другое не налагается никаких требований секретности.
Формально: блоковый код длины я со случайным кодером F: MjXMj-^X"
и декодером <р: Yn—vMjXiVU (где Мг — множество секретных сообщений, а Ма —
множество публичных сообщений) называется (п, е)-кодом для этой задачи, если
средняя вероятность ошибки (F, ср) в канале {V} меньше е и, кроме того,
(\/п) Я (Л*! | 2Г) > A/я) log | Мх | — е.
Здесь Мг и М3 — СВ, равномерно распределенные соответственно на Мх и М2,
и Г — выход {W}, соответствующий входу, полученному применением F
к (Мх, М2)- Пара (Rlt R2) называется достижимой парой скоростей, если для
любых е > 0, б > 0 и любого достаточно большого п существует (п, е)-код со ско-
скоростями
A/я) log | Mi | > Rt — 8, A/я) log | M2 | > #2 — S.
Докажите, что (Ru R2) является достижимой парой скоростей в этом смысле тогда
и только тогда, когда
№ + я,, Ri) e я.
Указание. Ясно, что если (Rlt R2) — достижимая пара скоростей в новом
смысле, то (/?! + Я2> Ri) — достижимая пара скоростей в смысле п. (а). Далее,
доказательство прямого утверждения, приведенное в указании к п. (а), показы-

368 Гл. 3. Многотерминальные системы
вает, что если (Rx + Rn, Ri) удовлетворяет (* ) и (* *), то (Rlt R2) —дости-
—достижимая пара скоростей в новом смысле.
(d) (передача для источника и канала). Определим ПМОП для передачи
ДИБП (порожденного S) по {V} при уровне незнания Л у {W}. Это ПМОП есть
наименьшее L, для которого при любом 6> О и любом достаточно большом п
существует блоковый [k, /г)-код со случайным кодером F: S&—vX" и декодером
<р: У1—»- Sfe, такой, что
nlk< L+ 6, Pr {<р (У1) ф Sk\ < 6, A/jfe) Я (Sk | Z") > Л — 6.
Здесь К" и Z" — выходы каналов {V} и {W}, соответствующие входу, полу-
полученному из Sk применением F. Покажите, что для любого 0 ^ А ^ Я (S) ПМОП
равно
L ~- min max (Я (S)/R, &/Re).
В частности, ПМОП с полной секретностью (т. е. при уровне незнания Д =
= Я (S)) равно
L=H (S)ICS.
Указание. Нужно доказать, что для существования блоковых [k, /г]-кодов
с требуемыми свойствами необходимо и достаточно, чтобы
(Я (S)/L, ML) £ Я.,
Для этого нужно использовать характеризацию 32, приведенную в п. (а). Необ-
Необходимость легко доказать, используя те же рассуждения, что и в указании к п. (а)
(обратное утверждение), с Sk вместо М. Достаточность также легко проверить,
используя конструкцию кодов, приведенную в указании к п. (а), для кодирова-
кодирования 5-типичных последовательностей.
(«Канал с перехватом» был введен Вайнером (Wyner A975 с)). Он сформу-
сформулировал и решил задачу (d) в случае, когда канал W является ухудшением V.
Модель Вайнера была обобщена авторами (Csiszar—Кбгпег A978)); все остальные
результаты, приведенные в этой задаче, принадлежат им.)
34 (АШК с конфиденциальными сообщениями).\Y>ассмотрим АШК с компо-
компонентами {V} и {W}, как на рис. 4.2. Обобщая задачу 33, наложим дополнитель-
дополнительное требование, состоящее в том, что приемник на выходе {W} не^должеи знать
частного сообщения, посланного другому приемнику. Обозначая через Мх
и Мо независимые СВ, равномерно распределенные на соответствующих множе-
множествах сообщений Мг и Мо> будем измерять это незнание скоростью неопределен-
неопределенности A/л) Я (Мг12п). Здесь 2"— выход {W}, соответствующий входу, полу-
полученному применением кода к (Мг, Мо).
Дайте формальное определение достижимой тройки скоростей (Ru Ro, Re)
(допуская случайные кодеры, как в задаче 33). Докажите, что (Rlt Ro, Re) —
достижимая тройка скоростей в том и только том случае, если для некоторой
пятерки СВ U, Т, X, Y, Z, удовлетворяющей условиям задачи 33, выполнены
следующие неравенства:
О < Re < Rlt Re < / (Т A Y | U) — / (Т A Z | U),
Ri + Ro < / (Т A Y | U) + min [/ (U А У), I (U A Z)],
О < Ro < min [/ (U A Y), I (U A Z)].
Здесь можно считать, что U принимает не более 1X1 + 3 значений, а Г — не
более | X |а + 4 | X | +3 значений.

§ 4. Сети источников и каналов 369
Указание. Для каждого кода с малой вероятностью ошибки имеем (исполь-
(используя неравенство Фано)
A/ге) Я (Л*! | Zn) < / (Mi Л Yn | Мо) — / (Mi Л Z" | ЛГ0) + 6,
A/n) log | Mx К / (Ali Л Yn | Af0) + S,
A/n) log | K?l0 К min [/ (Af0 Л K/!), / (Mo Л Z")] + 6.
Поэтому обращение можно доказать, аналогично обратному утверждению в за-
задаче 33 (а). Прямое утверждение также может быть доказано аналогично пря-
прямому утверждению задачи 33 (а), если более точно использовать построения,
лежащие в основе леммы 3.18 о наполнении кодами.
(Csiszar—Korner A978).)
35 (задача о сетях источников). Рассмотрим сеть источников, изображенную
на рис. 4.6, в случае г = 2, обозначая Yil) и К'а) соответственно через Y и Z.
Область достижимых скоростей для этой сети источников была определена в за-
задаче 6 (с). Теперь мы изменим постановку задачи, предполагая, что кодер источ-
источника X выбирается таким образом, чтобы доставляемая им «дополнительная
информация» была полезна для декодера Y, но по возможности бесполезна для
декодера Z. Вопрос состоит в том, насколько тем не менее выигрывает
декодер Z от использования этой дополнительной информации. Для того чтобы
наилучшим образом использовать имеющуюся дополнительную информацию,
кодер и декодер источника Z должны иметь возможность использовать коды с
длиной блока, большей k, скажем с длиной nhk, где п^ — положительное целое
число.
а) Пусть достижимая тройка скоростей (R^, Ryt ^^) для этои задачи опре-
определяется следующими условиями: для любых s> 0, 6> 0 и любого достаточно
большого k
(i) существует блоковый код (//,, g^, щ) длины k для сети источников на
рис. 4.4, имеющий источник X в качестве «источника дополнительной информа-
информации», а источник Y в качестве «основного источника», для которого
и вероятность ошибки меньше е;
(ii) для каждого кода (/&, g^, «р^), как в п. (i), существует число п^ и бло-
блоковый код (/jj, Ль, т|)ь) длины rikk для сети источников, имеющей источник X
в качестве «источника дополнительной информации», а источник Y в качестве
«основного источника», для которого fl является соединением nh экземпляров fh?
скорость Ль удовлетворяет условию
и вероятность ошибки этого кода меньше е.
Докажите, что (#х, Ry, R-£) является достижимой тройкой скоростей в этом
смысле в том и только Том случае, если (#х, Ry) £ Я. ((X), Y) (см. теорему 4.4),
и, кроме того,
RZ > max (H(Z\U) + t), (*)
Н (Y | U) + t re Ry
1 (U Л X) - t < «x
где максимум берется по всем CBi/ и всем неотрицательным числам t, удов-
удовлетворяющим условиям C.26), C.27) и C.32).
Указание. Нам нужно доказать, что для любой пары (#.$-, Ry) € ^ (\^)i Y)
тройка (#х> ^Y> ^Z) достижима в том и только том случае, если выполнено
13 ЧисарИ., Кернер Я.

370 Гл. 3. Многотерминальные системы
условие (*). Это легко следует из теоремы 3.20 о характеризации энтропии. Для
того чтобы показать это, заметим сначала, что ( *) можно сформулировать сле-
следующим образом: для любых (а, Ь) с i?x > Я (X) — а, Ry > b имеем
RZ ^ с тогда и только тогда, когда (а,, с) £ Ж* (X; Y\ Z \ X) (* * )
(см. C.31)).
Пусть теперь задан код (fk, gk, q)ft), как в п. (i).
Аналогично указанию к задаче 6 (Ь), имеем
Rx + б > {ilk) log || fh\>H (X) - (I/ft) Я (Xk | /й (Xk)) .
и (если е достаточно мало)
Ry + 2б > (I/ft) log jj ft j + б > (I/ft) Я (У* | /fe {X%
Полагая
a £ (I/ft) Я (X* | /ft (Xй)), b й (I/ft) Я (К* | /ft (Xй)),
с 4 (I/ft) Я (z* | /ft (X*)),
получаем, что существЬвание кода вытекает из (* *) ввиду теоремы 1.2 (приме-
(примененной к 2-источнику, порожденному величинами /ft (Xft) и Zfe).
Обратно, нам нужно показать, что для любой тройки (а, Ь, с) G Зв* (X; Y,
Z\X) с
RK + б > Я (X) — а, #у + 6 > * ( * * *)
существуют Коды (/ft, g^, q)ft), как в п. (i), обладающие тем свойством, что если
по ним можно построить коды, удовлетворяющие условию (И), то обязательно
Rz. Ч~ б > с. Ввиду теоремы 3.20 это достаточно показать в случае, когда
a = A//) Н(Х1\? (X1)), Ъ = (I//) Я (К' | f (X1)), с = A//) H(Zl\f (X1))
для некоторого целого / и некоторой функции f от X1. Применяя следствие о де-
делении скоростей к 2-источнику, порожденному переменными f (X1) и Y1, полу-
получаем при достаточно больших целых кратных k числа / коды (/й, gh, фд) с парами
скоростей, близкими к (A//) Я (f (X1)), (III )H (Y1 \ ] (X1))), т. е. удовлетворяю-
удовлетворяющими п. (i) с (Ry^, Ry), как в (***), для которых /^ является функцией соеди-
соединения kll экземпляров f. Тогда каждый код из п. (ii) (с этим /д) обязательно удов-
удовлетворяет условиям
RZ + б > (I/ft) Я (Z* | fh (Xk)). = A//) Я B'| / U0) = с
(Ъ) В п. (а) неявно сделано обычное предположение о том, что кодер и деко-
декодер для источника Z можно выбирать, зная кодер /ь для источника X. Перефор-
Переформулируйте задачу, отбросив это предположение. Покажите, что при этом область
достижимых скоростей ие изменится.
Указание. Нам нужно показать, что если выполнено условие (*), то коды
в п. (ii) могут быть построены даже без знания отображения /& (конечно, пред-
предполагая, что задано множество значений /ft). Для этого нужно дословно повто-
повторить предыдущее доказательство, используя вместо теоремы 1.2 ее универсаль-
универсальный вариант; см. задачу 1.6 (Ь).
(Csiszar—Кбгпег A976); здесь исправлена допущенная в этой статье ошибка.)
Историческая справка
Широковещательные каналы были введены Ковером в работе Cover A972).
Он сформулировал теорему кодирования для ухудшенных широковещательных
каналов, а также предложил конструкцию кодов, которая была обобщена Берг-

§ 4. Сети источников и каналов 371
маисом (Bergmans A973), доказавшим таким образом прямое утверждение этой
теоремы. Дальнейшая история задачи (в случае ухудшенного канала) описана
в комментариях к задаче 4. Теорема кодирования для AIHK. принадлежит Кер-
иеру и Мартон (Korner—Marton A977a)).
Задача, решение которой дает теорема 4.4, была поставлена в работе Вай-
иера и Зива (Wyner—Ziv A973)). Они доказали (слабое) обращение этого ре-
результата для двоичных симметричных источников. Для общих источников об-
область достижимых скоростей была определена независимо Алсведе и Кернером
(Ahlswede—Korner A975)) и в серии работ Грея и Вайнера (Gray—Wyner A974),
Wyner A975a), A975b)). Сильное обращение доказано в работе Ahlswede—Gacs—
Korner A976). Теоремы 4.5 и 4.6 являются переформулировками результатов
работы Wyner—Ziv A976) х).
В то время, когда писалась эта книга, для многих важных задач были из-
известны лишь частичные результаты. Большинство этих результатов не оконча-
окончательны (в смысле, указанном в обсуждении), так что они здесь не приводятся.
Интересующийся читатель может обратиться к обзорам van der Meulen A977),
Berger A977) и Гельфанд—Прелов A978). См. также El Gamal—CoverA980)*.
*) Обобщение теорем 4.5, 4.6 на случай критерия точности, который не может
быть выражен в виде «среднего искажения», приводится в работах Ahlswede—
Csiszar A981)*, El Gamal A983)*.—Прим. перев.
13*

ЛИТЕРАТУРА 1)
Используются следующие сокращения названий журналов и сборников
статей:
AMS Annals of Mathematical Statistics
BSTJ Bell System Technical Journal
1С Information and Control
IEEE-IT IEEE Transactions on Information Theory
IRE-IT . IRE Transactions on Information Theory
KP Key Papers in the Development of Information Theory (ed. Slepian, D.), IEEE
Press, New York 1974
PCIT Problems of Control and Information Theory
Topics in IT Topics in Information Theory (ed. Csiszar, I.-Elias, P.). Coll. Math. Soc. J. BolyaJ,
No. 16. North Holland, Amsterdam 1977
7.W Zeitschrift fur Wahrscheinlichkeitstheorie und verwandte Gebiete
Aczel, J.-Daroczy, Z. A975) On Measures of Information and Their Characterizations. Academic
Press, New York.
Aczel, J.-Forte, B.-Ng, С. Т. A974) Why the Shannon and Hartley entropies arc "natural"
Advances Appl. Probability 6, 131-146.
Ahlswede, R. A968) Certain results in coding theory for compound channels. In: Proc. Coll. Inf.
Th. Debrecen 1967 (ed. Renyi, A.), i. Bolyai Math.Soc., Budapest, Hungary. Vol. 1,
35-60. )
Ahlswede, R. A970) A note on the existence of the weak capacity for channels with arbitrarily
varying channel probability functions and its relation to Shannon's zero error capacity.
AMS 41, 1027-1033.
Ahlswede. R. A973a) Multi-way communication channels. In: Proceedings of 2nd International
Symposium on Information Theory, Tsahkadsor, Armenian SSR. 1971, Akademiai Kiado,
Budapest, pp. 23-52.
Ahlswede, R. A973b) Channel capacities for list codes. J. Appl. Prob. 10, 824-836.
Ahlswede, R. A973c) Channels with arbitrarily varying channel probability functions in the
presence of noiseless feedback. 2^25. 239-252.
Ahlswede. R. A974a) The capacity region of a channel with two senders and two receivers.
Annals of Probability 2, 805-814.
l) Этот список был составлен в мае 1979 г. Работы, помеченные знаком *,
добавлены при корректуре. (Работы, помеченные знаком Д, имеются на русском
Языке; см. с. 382. {Перев.))

Литература 373
Ahlswede, R. A974b) Paper presented at the 7th Hawaii International Conference'on System.
1 Sciences, Jan. 1974. Published in: Ahlswede-Korner A975).
Ahlswede, R. A978) Elimination of correlation in random codes tor arbitrarily varying channels.
ZW 33,. 159-175.
*Ahlswede, R. A980) A method of coding and an application to arbitrarily varying channels.
Journal of Combinatorics, Information and System Sciences, 5, 10-35.
Ahlswede, R.-Dueck, G. A976) Every bad code has a good subcode: A local converse to the
coding theorem. ZW 34, 179-182.
Ahlswede, R.-Gacs, P, A976) Spreading of sets in product spaces and hypercontraction of the
Markov operator. Annals of Probability 4, 925-939.
Ahlswede, R.-Gacs, P. A977) Two contributions to information theory. In: Topics in IT, pp.
17-40.
Ahlswede, R.-Gacs, P.-K6rner, J. A976) Bounds onconditional probabilities with applications
in multi-user communication. ZW 34, 157-177.
Correction to . . ., ibid. 39 A977) 353-354.
Ahlswede, R—Korner, J. A974) On common information and related characteristics of
correlated information sources. Preprint. Presented at the 7th Prague Conference on
Information Theory, etc. September 1974.
Ahlswede, R.-K6rner, J. A975) Source coding with side information at the decoder and a.
converse for degraded broadcast channels. IEEE-IT 21, 629-637.
Ahlswede, R.-Korner, J. A977) On the connections between the entropies of input and output
. - distributions of discrete memoryless channels. In: Proceedings of the Fifth Conference on
Probability Theory, Brasov 1974. Editura.Academiei Rep. Soc. Romania, Bucuresti 1977,
' pp. 13-23.
Ahlswede, R,—Wblfowitz, J. A969) Correlated decoding for channels with arbitrarily varying
channel probability functions. 1С 14, 457-473.
Ahlswede, R.-Wolfowitz, J. A970) The capacity of a channel with arbitrarily varying cpf's and
binary output alphabet, ZW 15, 186-194.
Arimoto, S. A972) An algorithm for computing the capacity of arbitrary discrete memoryless
channels. IEEE-IT 18, 14-20.
Arimoto, S. A973)'On the converse to the coding theorem for discrete memoryless channels.
IEEE-IT 19, 357-359.
Arimoto, S. A976) Computation of random coding exponent functions. IEEE-IT, 22,665-671.
♦Augustin, U. A978) Noisy channels. Habitation Thesis, Universitat Erlangen-Niirnberg.
Berge, C, A962) Sur une conjecture relative au probleme des codes optimaux. In: Commun.
... I3eme Assemble Gen. URSI, Tokyo, 1962.
Berger, T. A971) Rate Distortion Theory: A Mathematical Basis for Data Compression, Prentice
Hall, Englewood Cliffs, N. J.
Berger, T. A977) Muhiterminal source coding. In: The Information Theory Approach to
Communications (ed. Longo, G.), CISM Courses and Lecture Notes No. 229, Springer,
Wien-New York, pp. 172-231.
Bergmans, P. P. A973) Random coding theorems for broadcast channels with degraded
components. IEEE-IT 19, 197-207.
Berlekamp, E. R. A964) Block coding with noiseless feedback. Ph. D. Thesis, MIT, Cambridge,
Mass.
Bierbaum, M.-rWallmeier, H. M. A979) A note on the capacity region of the multiple-access
channel. IEEE-IT 25, 484,

374 Литература
Blackwell, D. A963) Statistics 262. Course given at the University of California, Berkeley 1963.
Quoted by: van der Meulen A977).
Blackwell, D.-Breiman, L.-Thomasian, A. J. A959) Tfce capacity of a class of channels. AMS
30, 1229-1241. (Reprinted in К P.)
Blackwell, D— Breiman, L—Thomasian, A. J. A960) The capacities of certain channel classes
under random coding. AMS 31, 558- 567.
Blahut. R. E. A972) Computation of channel capacity and rate-distortion functions. IEEE-IT
18, 460-473.
Blahut, R. E. A974) Hypothesis testing and information theory. /£££-/T 20. 405-417.
Blahut, R. E. A977) Composition bounds for channel block codes. IEEE-IT 23, 656-674.
Вое, J. M. A978) Une famille remarquable de codes indecomposables. Preprint no. 78-26,
Laboratoire Informatique Theorique et Programmation, Universite de Paris.
Boltzmann, L. A877) Beziehung zwischen dem. zweiten Hauptsatze der mechanischen
Warmetheorie und der Wahrscheinliehkeitsrechnung respcktive den Satzen iiber das
Wiirmegleichgewicht. Wien. Bcr. 76, 373-435.
Carleial, A. B. A979) Paper presented at the IEEE International Symposium on Information
Theory, June 1979, Grignano, Italy.
Cesari, Y. A974) Sur 1'application du theoreme de Suschkevitch a l'etude des codes rationnels
-complets. In: Automata, Languages and Programming (ed. J. Loeckx). Lecture Notes in
Computer Science, Springer-Verlag, pp. 342—350.
Chaundy, T, W-McLeod, J. B. A960) On a functional equation. Proc. Edinburgh Math. Soc. [2]
12 (Edinburgh Math. Notes 43) 7-8,
Chemoff, H. A952) A measure of asymptotic efficiency for tests of a hypothesis based on a sum
of observations. AMS 23, 493-507.
Cover, T. M. A972) Broadcast channels, IEEE-IT 18, 2-14. (Reprinted in КРЛ
Cover, T, M. A975a) An achievable rate region for the broadcast channel. iEEE-ITli, 399-401.
Cover, T. M. A975b) A proof of the data compression theorem of Siepian and Wolf for ergodia
sources. IEEE-IT 21, 226-228.
Cover, T. M. A977) Lecture at the 7th European Meeting of Statisticians. August, 1977. Leuver),
Belgium.
Cover, T.Mr- Leung Yan Cheong, 3. К. (i 976) A rate region for the multiple-access channel with
feedback. Preprint. To appear in IEEE-IT
Csiszar, I. A967) Information-type measures of difference of probability distributions and
indirect observations. Studia Sci. Moth. Hangar 2, 299—318.
Csiszar, 1, A969) Simple proofs of some theorems on noiseless channels, 1С 14, 285-298..
Csiszar, I, A972) A class of measures of informativity of observation channels. Periodica
Math.Hungar. 2, 191-213.
Csiszar, I. A973)On the capacity of noisychannels with arbitrary signalcosts. PCLT2, 283-304.
Csiszar, 1. A974) On the computation of. rate-distortion functions. IEEE-IT 20. 122—124.
Csiszar, 1.A975) /-divergence geometry of probability distributions and minimization problems.
Annals of Probability 3. 146-158,
'Csiszar, I. A980) Joint source-channel error exponent. PC IT 9, 315—328.
Csiszar, i.-Katona, Gr-Tusnady, G. A969) Information sources with different cost scales and
the principle of conservation of entropy. ZW 12. 185-222.
Csiszar, 1,—KomJos, i. A968) On the equivalence of two models of finite-state noiseless, channels
from the point of view of the output. In: Proc. Coil. Inf. Th.. Debrecen, 1967 (e<J. Renyi, A.)
1, Botyai Math. Soc-, Budapest. Hungary, Vo!, !, 101-Ш,

Литература 375
Csiszar, I,—Komer. J. A976) Source networks with unauthorized users. Journal of
Combinatorics, information and System Science.* 1, 25-40.
Csiszar, I.—Korner, J. (!978) Broadcast channels with confidential messages. IEEE-IT 24,
339-348.
*Csiszar, I.—Korner, J. A979) On the capacity of the arbitrarily varying channel for maximum
probability of error. Preprint. Submitted to 7.W.
Csiszar, I—Komer, J. A980a) Towards a general theory of source networks. IEEE-IT 26,
155-165.
«Csiszar, I.-Komer, J. A980b): Feedback does not affect the reliability function of a DMC at
rates above capacity. Preprint. Submitted to IEEE-IT.
Csiszar, I.—Korner, J. A981) Graph decomposition: a new key to ceding theorems. IEEE-ITU.
Csiszar, I.-Korner, J.-Marton, K. A977) A new look at the error exponent of a discrete
memoryless channel. Preprint. Presented at the IEEE International Symposium on
Information Theory, October 1977, Cornell Univ. Ithaca, N. У.
Csiszar, I.—Longo, G. A971) On the error exponent for source coding and for testing simple
statistical hypotheses. Studio Sci. Math. Himgar. 6, 181-191.
Daroczy, Z. A964) Ober Mittelwerteund Entropien vollstamjiger Wahrscheinlichkeitsverteilun-
gen. Acta Math. Aead. Sci. Hungar. IS, 203-210.
Davisson, L. D. A966) Comments on "sequence time coding for data compression". Proc. IEEE
54, 2010.
Davisson, L. D. A973) Universal noiseless coding. IEEE-IT 19, 783-796. '
Dobrusin, R. L.—Cybakov, B, S. A962) Information transmission with additional noise. IRE-IT
8, 293-304. (Reprinted in KP.\
Dueck, G. A978) Maximal error capacity regions are smaller than average error capacity regions
for multi-user channels. PCIT 7, 11-19.
Dueck, G. A979) The capacity region of the two-way channel can exceed the inner bound. /C40,
258-266.
Dueck, G .-Korner, J. A979) Reliability function of a discrete memoryless channel at rates above
capacity. IEEE-IT IS, 82-85.
Eggleston. H. G. A958) Convexity. Cambridge Univ. Press, Cambridge.
El Gamal, A. A. A979) The capacity region of a class of broadcast channels. IEEE-IT 25,
166-169.
Elias. P. A955) Coding for noisy channels. In: IRE Convention Record, Part 4, 37-46. (Reprinted
in HP.)
Elias, P. A957) List decoding for noisy channels. In: IRE WESCON Convention Record, 2,
94-104.
Elias, P. A958) Zero error capacity for list detection. Quarterly Progress Report No. 48, Research
Laboratory of Electronics. MIT, Cambridge, Mass. Quoted by: Ahlswede A973b).
Erdos, P. A946) On the distribution function of additive functions. Ann. of Math. 47, 1-20.
Fano, R. M. A948) Tecnnical Report No. 65. The Research Laboratory of Electronics, MIT.
Cambridge, Mass. Quoted by: Shannon A948).
Fano, R. M. A952) Class notes for transmission of information. Course 6.574, MIT. Cambridge,
Mass.
AFano, R. M. A961) Transmission of Information, A Statistical Theory of Communications. Wiley.
New York-London, 1961.
Feinstein, A. A954) A new basic theorem o( information theory. IRE-IT A, 2-22. (Reprinted in
KP.)

376 • Литература
r, W. A966), A968) An Introduction to Probability Theory and its Applications. Vol. I, 3rd
edition, 1968; Vol. 2, 2nd edition 1966. Wiley, New York.
Fisher, R. A. A925) Theory of statistical estimation, froc. Camb. Phil. Soc. 11, 700-725.
Forney, G. D. A968) Exponential error bounds for erasure, list and decision feedback schemes.
IEEE-IT 14, 206-220. (Reprinted in KP.)
Forte, B. A975) Why Shannon's entropy. In: Conv. Inform. Tear. 1st. Naz. Alia Mat, Roma
1973. Symposia Mathemattca, Vol. 15. Academic Press, New York, pp. 137-152.
Gaarder, N. T.-Wolf, J. K. A975) The capacity region of a multiple access discrete memoryless
channel can increase with feedback. IEEE-IT 21, 100-102.
Gacs,~P.-K.6rner, J. A973) Common information is far less than mutual information. PCIT1,
149-162.
Gallager, R. G. A964) Information theory. Chapter 4 in: Mathematics of Physics and Chemistry.
Ed.: H. Margenau, G. M. Murphy. Van Nostrand, Princeton, Vol. 2.
Д Gallager, R. G. A965) A simple derivation of the coding theorem and some applications. IEEE-
IT 11, 3-48. (Reprinted in KP.)
AGallager, R. G. A968) Information Theory and Reliable Communication. Wiley, New. York.
Gallager, R. G. A973) The random coding bound is tight for the average code. IEEE-IT 19,
244-246.
Gallager, R. G. A976) Source coding with side information and universal coding. Preprint.
Presented at the IEEE International Symposium on IT, June, 1976, Ronneby, Sweden.
Gallai, T. A958) published in: Hajnal-Suranyi A958) t)ber die Auflosung von Graphen in
vollstandige Teilgraphen. Ann. Univ. Sci. Budapestinensis Sectio Math. 1, 113—121.
Gerrish, A. M. A963) Estimation of information rates. Ph. D. Thesis, Dept. Electrical
Engineering, Yale Univ., New Haven, Conn. Quoted by: Berger A971).
Gilbert, E. N. A952) A comparison of signalling alphabets. BSTJ 31, 504-522. (Reprinted in
К P.)
AGilbert, E. N.-Moore, E. F. A959) Variable length binary encodings. BSTJ 38, 933-967.
Goppa, V. D. A975) Nonprobabilistic mutual information without memory. PCIT 4, 97—102.
Gray, R. M^Wyner. A. D. A974) Source coding for a simple network. BSTJ 58, 16Й1 —1721.
Haemers, W. A979) On some problems of Lovasz concerning the Shannon capacity of a
graph. IEEE-IT 15. 231-232.
AHamming, R. V. A950) Error detecting and error correcting codes. BSTJ 29, 147-160.
Han, T. S. A979) The capacity region of general multiple-access channel with certain correlated
sources. 1С 40, 37-60.
•Han, T. S. A980) Slepian-Wolf-Cover theorem for a network of channeJs, 1С 47, 67-83.
*Han, T. S.-Kobayashi, K. A980) A unified achievable rate region for a general class of multi-
terminal source coding systems. IEEE-IT 16, 277-288.
Hardy, G. H.-Littlewood, J. E.-P61ya. G. A934) Inequalities. Cambridge Univ. Press.
Harper, L. H. A966) Optimal numbenngs and isoperimetric problems on graphs. Journal of
Comb. Th. 1, 385-394.
Hartley, R. V. L. A928) Transmission of information. BSTJ 7. 535.
Hoeffding, W. A965) Asymptotically optimal tests for multinomial distributions. AMS 36,
369-400.
Horibe, Y. A973) A note on entropy metrics. 1С 11, 403-404.
Horstein, M. A963) Sequential transmission using noiseless feedback. IEEE-IT 4, 136-143.

Литература 377
Huffman, D. A A952) A method for the construction of minimum redundancy codes. Proc. IRE
40, 1098-1101. (Reprinted in KP.)
Jeffreys, H. A946) An invariant form for the prior probability in estimation problems. Proc.
Roy. Soc. (London) Ser. Л. 186, 453-461.
Jelinek, F. A967) Evaluation of distortion-rate functions for low distortions. Proc. IEEE 55,
2067-2068.
Jelinek, F. A968a) Evaluation of expurgated bound exponents. IEEE-IT 14, 501-505.
Jelinek, F. A968b) Probabilistic Information Theory. McGraw Hill, New York.
.Jelinek, F.-Schneider, K. A972) On variable-length-to-block coding. IEEE-IT 18, 765-774.
Korn, 1. A968) On the lower, bound of zero-error capacity. IEEE-IT 14, 509-510.
Karamata, J. A932) Sur une inegalite relative aux fonctions convexes. Publ. Math. Univ.
Belgrade 1, 145-148.
Karlin, S. A959) Mathematical Methods and Theory in Game, Programming and Economics.
Addison-Wesley, Reading. Mass.
Karush, J. A961) A simple proof of an inequalityof McMillan. IRE-IT T, 118. (Reprinted in
KP.)
Katona.G. O. H.-Nemetz, Т. О. Н. A976) Huffman codes and self information. IEEE-ITU,
337-340.
Kemperman, J. H. B. A967) On the optimum rate of transmitting information. In: Probability
and Information Theory. Lecture Notes in Mathematics, Springer, pp. 126—169.
Kiefer, J.-Wolfowitz, J. A962) Channels with arbitrarily varying channel probability functions.
1С 5, 44-54.'
Korner, J. A973a) Coding of an information source having ambiguous alphabet and the entropy
of graphs. In: Proc. 6th Prague Conference on Inf. Theory, etc. Academia, Prague, pp.
411-425.
Korner, J. A973b) Coding of finite sources with sum-type distortion. Preprint
Korner, J. A973c) An extension of the class of perfect graphs. Studia S<i. Math. Hungar. 8,
405-409.
Korner, J. A975) Some methods in multi-user communication: a tutorial survey. In: Information
Theory, New Trends and Open Problems (ed. Longo, G). CISM Courses and Lectures No,
219, Springer Verlag, Wien, pp. 173-224.
Korner, J. A977) On a simple source network. Paper presented at the IEEE Int. Symp. on IT,
October 1977, Cornell Univ. Ithaca, N. Y.
Korner, J—Marton, K. A977a) The comparison of two noisy channels. In: Topics in IT, 411—423.
Korner, J—Marton, K. A977b) General broadcast channels with degraded message sets. IEEE-
IT 23, 60-64.
Korner, J. Marton. K. A977c) images of a set via'two channels and their role in multi-user
communication. IEEE-IT 23, 751-761.
Korner, J.-Marton, K. A979) How to encode the modulo 2 sum of two binary sources. IEEE-IT
25. 219-221.
Kraft. L. G. A949) A device for quantizing, grouping and coding amplitude modulated pulses.
MS Thesis. Depi. of t.F.. MIT, Cambridge. Mass.
Krause, R. M. (I962) Channels which transmit letters oi inequal duration 1С 5. 13-24.
Kricevskii. R. E—Trofimov. V. К A977)Optimal coding of unknown and inaccurately known
sources. In: Topics in IT, 425-430.
Kullback, S. A967) A lower bound for discrimination in terms of variation. IEEE-IT 13,
126-127.

378 Литература
Kullback, S.-Leibler, R. A. A951) On information and sufficiency. AMS 22, 79-86.
Liao.H. J. A972) Multiple access channels. Ph. D. Thesis, Dept. of ЕЕ, Univ. Hawaii, Honolulu.
Ouoted by: Slepian-Wolf A973b).
•Longo, G.-Sgarro, A. A979) The source coding theorem revisited: a combinatorial approach.
IEEE-IT 25, 544-548.
Lovasz, L. A972) Normal hypergraphs and the perfect graph conjecture Discrete Math. 2,
253-267.
Lovasz, L. A979) On the Shannon capacity of a graph. IEEE-IT 25. 1-7.
Lynch, T. J. A966) Sequence time coding for data compression. Proc. IEEE, 54, 1490-1491.
Marton, K. A974) Error exponent for source coding with a fidelity criterion. IEEE-/T 20,
197-199.
Marton, K. A979) A coding theorem for the discrete memoryless broadcast channel. IEEE-IT
25, 306-311.
Massey, J. L. A974) On the fractional weight of distinct binary n-tuples. IEEE-IT 20, 131.
McElieC«:"'R. J.-Omura, J. K. A977) An improved upper bound on the block coding error
exponent for binary-input discrete memoryless channels. IEEE-IT 23, 611-613.
McEliece, R. J.-Rodemich, E. R.-Rumsey, H. Jr.-Welch, L. R. A977) New upper bounds on the
rate of a code via the Delsarte-MacWilliams inequalities. IEEE-IT 23, 157-166. ~
.A'McMillan, B. A956) Two inequalities implied by unique decipherability. IRE-IT 2, 115—116.
Muroga, S. A953) On the capacity of a discrete channel. J. Phys. Soc. Japan 8, 484-494.
Nemetz, T.-Simon, J. A9.77) Self-information and optimal codes. In: Topics in IT, 457-468.
Neuhoff, D. L.-Gray, R. M.-Davisson, L. D. A975) Fixed rate universal block source coding
with a fidelity criterion. IEEE-IT 21, 51 1-524!
Ng, С T. A974) Representation for measures of information with the branching property. 1С 25,
45-56.
Omura, J. K. (i974) Expurgated bounds, Bhattacharyya distance and rate distpriton functions.
1С 24, 358-383.
Omura, J. K. A975) A lower bounding method for channel and source coding probabilities. 1С
27, 148-177.
AOmstein. D. S. A970) Bernoulli shifts with the same entropy are isomorphic. Advances in Math.
4, 337-352.
/^Ornstein, D. S. A973) Ergodic Theory, Randomness and Dynamical Systems- Yale Univ. Press,
New Haven.
Pile, R. A968) The transmission distortion of a source, as a function of the encoding block-
length. BSTJ 47, 827-885.
APIotkin, M. A960) Research division report 51-20, University of Pennsylvania, 1951. Published
in: Plotkin, M.: Binary codes with specified minimum distance. IRE-IT 6, 445-450.
Posner, E. C.-Mc Eliece, R. J. A971) Hide and seek, data storage and entropy. AMS 42,
1706-1716.
Rajski, C. A961) A metric space of discrete probability distributions. 1С 4, 371-377.
Renyi, A. A961) On measures of entropy and information. In: Proc. 4th Berkeley Symp. Math.
Statist. Prob. Univ. of Calif. Press, Berkeley, Vol. 1, 547-561.
Renyi, A. A965) On the foundations of information theory. Rev. Inst. Internal. Slat. 33, 1—14.
Reza, F. M. A961) An Introduction to Information Theory. McGraw Hill, New York.
Sardinas, A. A.-Patterson, G. W. A953) A necessary and sufficient condition for the unique
decomposition of coded messages. In: IRE Convention Record, Part 8, 104-108.

Литература Й79
Sauer, N. A972) On the density of families of sets. J. Comb, Theory, Series A, 13, 145-147
Schmetterer, L. A974) Introduction to Mathematical Statistics. Springer. Berlin,
. ■Schiitzenberger, M. P. A967) On synchronizing prefix codes. 1С II, 396-401.
Schutzenberger, M. P.-Marcus, R. S. A959) Full decodable codeword sets. IRE-ITS, 12-15.
Sgarro, A. A977) Source coding with side information at several decoders. IEEE-ITU, 179-182.
AShannon, С. Е. A948) A mathematical theory of communication. BSTJ 27, 379-423.
623-656. (Reprinted in KP.)
Shannon, С E. A950) Some topics in information theory. In: Proc. Int. Cong. Math. Vol. 2, 262.
Д Shannon, C. E. A956) Th6 zero error capacity of a noisy channel. IRE-IT 1, 8-19. (Reprinted in
KP.)
ДShannon, С. Е. A957a) Certain results in coding theory for noisy channels. 1С 1, 6—25!
(Reprinted in KP.)
ДShannon, С. Е. A957b) Geometrische Deutung einiger Ergebnisse bei der Berechnung der
Kanalkapazitat. Nachrichientechn. Zeitschr. 10, 1—8.
Д Shannon. C. E. A958) A note on a partial ordering for communication channels. 1С 1, 390^398.
(Reprinted in KP.)
Д Shannon, С. Е. A959) Coding theorems for a discrete source with a fidelity criterion. In: IRE
Nat. Conv. Rec, Part 4, 142-163. (Reprinted in KP.)
Д Shannon, С. Е. A961) Two-way communication channels. In: Proc. 4th Berkeley Syntp. Math.
Statist, and Prob. Univ. of Calif. Press, Berkeley, Vol 1, 611-644. (Reprinted in KP.)
A Shannon, C. E.-Gallager, R. G.-Berlekamp. E. R. A967) Lower bounds to error probability for
coding in discrete memoryless channels i-II. 1С 10, 65-103, 522-552. (Reprinted in KP.)
Slepian, D—Wolf, J. K. A973a) Noiseless coding of correlated information sources. IEEE-IT 19,
471-480. (Reprinted in KP.)
Slepian, D.—Wolf, J..K. A973b) A coding theorem for multiple access channels with correlated
sources. BSTJ 52, 1037-1076.
Smorodinsky, M. A968) The capacity of a general noiseless channel and its connection with
Hausdorff dimension. Proc. Amer. Math. Soc.19, 1247-1254.
Sobel, M. A960) Group testing to classify efficiently all defectives in a binomial sample. In:
Information and Decision Processes (ed. Machol, R. E.), McGraw Hill, N. У. pp. 127—161.
Stein, С A952) published in: Chernoff, H. A952).
Stiglitz, 1. G. A966) Coding for a class of unknown channels. IEEE-IT 12, 189-195. .
Strassen, V. A964) Asymptotische Abschatzungen in Shannon's Informationstheorie. In:
Transactions of the Third Prague Conference on Information Theory etc., 1962.
Czechoslovak Academy of Sciences, Prague, pp. 689—723.
Szekeres, Gy—Turin, P. A937) An extremum problem in the theory of determinants (in
Hungarian). Matemalikai es Termeszettudomdnyi Ertestto 56, 796-804.
Thomasian, A. J. A961) Error bounds for continuous channels. In: Fourth London Symposium
on Information Theory, (ed. Cherry, C), Butterworths, Washington, DC, pp. 46-60.
Topsee, F. A967) An information theoretical identity and a problem involving capacity. Studio
Sci. Math. Hungar. 2, 291-292.
Tops<te, F. A972) A new proof of a result concerning computation of capacity for a discrete
channel. ZW 22, 166-168.
■ Tunstall, B. P. A968) Synthesis of noiseless compression codes. Ph. D. Thesis. Georgia Institute
of Technology. Quoted in: Jelinek-Schneider A972).
Lllrey, M. L. A975) The capacity region of a channel with л senders and r receivers. 1С. 29,
185-203.

380 Литература
Van der Meulen, Ё. С. (!975) Random coding theorems tor the general discrete memoryiess
broadcast channel. IEEE-1T21, 180—190.
Van der Meulen, E. C. A977) A survey of muiti-way channels in information theory: i 961—i 976.
IEEE-IT 23, 1-37.
Weiss, L. A960) On the strong converse of the coding theorem for symmetric channels without
memory. Quart. Appl. Math. 18, 209-214.
Witsenhausen, H. S. A974) Entropy inequalities for discrete channels. IEEE-IT 20, 610-616.
Witsenhausen, H. S. A975) On sequences ot pairs of dependent random variables. SI AM J.
Appl. Math. 28, 100-113.
Witsenhausen, H. S. A976) The zero-error side information problem and chromatic numbers.
IEEE-IT 22, 592-593.
Wolf, J. K. A974) Data reduction for multiple correlated sources. In: Proc. of I he Fifth
Colloquium on Microwave Communication. Budapest, 1974, pp. 287—295.
Wolfowitz, J. A957) The coding of messages subject to chance errors. Illinois J. Maih. 1,
591-606. (Reprinted in KP.)
Wolfowitz, J. A960) Simultaneous channels. Arch. Rat. Mech. Anal. 4, 371-386.
Wolfowitz, J. A961) Coding Theorems of Information Theory. Springer, Berlin-Heidelberg. 2nd
1 edition 1964, 3rd edition 1978.
Woifowitz, J. A963) On channels without capacity. 1С 6, 49-54.
Wolfowitz, J. A966) Approximation with a fidelity criterion. In: Proc. 5th Berkeley Symp. Math.
Statist. Prob. Univ. of Calif. Press, Berkeley, Vol. 1, 565-573.
Wyner, A. D. A974) Recent results in the Shannon theory. IEEE-IT 20, 2-10.
Wyner, A. D. A975a) The common information of two dependent random variables. IEEE-IT
21, 163-179.
Wyner, A. D. A975b) On source coding with side information at the decoder. IEEE-IT 21,
294-300.
Wyner, A. D. A975c) The wire-tap channel. AS77 54, 1355-1387.
Wyner, A. D—Ziv, J. A973) A theorem on the entropy of certain binary sequences and
applications MI. IEEE-IT 19, 769-778.
Wyner, A. D.—Ziv, J. A976) The rate-distortion function for source coding with side information
at the decoder. IEEE-IT 22, 1-11.
Zigangirov, K. Sh. A978) Optimum zero rate transmission through binary symmetric channel
with feedback. PCIT1, 183-198.
РАБОТЫ, ОПУБЛИКОВАННЫЕ НА РУССКОМ ЯЗЫКЕ
Арутюнян Е. А. A968) Оценки экспоненты вероятности ошибки для полу-
полунепрерывного канала без памяти. — Проблемы передачи информации, т. 4,
№ 4, 37—48.
Арутюнян Е. А. A977) Нижняя граница для вероятности ошибки в каналах
с обратной связью. — Проблемы передачи информации, т. 13, № 2, 36—44.
Блох Э. Л. (i960) Построение оптимального кода, составленного из элемен-
элементарных символов различной длительности. — В сб.: Проблемы передачи
информации, т. 5, с. 100—111. — М.: Изд. АН СССР.
Бурнашев М. В. A976) Передача информации по дискретному каналу с об-
обратной связью. Случайное время передачи. — Проблемы передачи инфор-
информации, т. 12, № 4, 10—30.
Габидулин Э. М. A967) Границы для вероятности ошибки декодирования при
использовании линейных кодов в каналах без памяти. — Проблемы пе-
передачи информации, т. 3, № 2, 55—62.

Литература 381
Галлагер Р. Г. A974) Пропускная способность и кодирование для некоторых
широковещательных каналов. — Проблемы передачи информации, т. 10,
№ 3, 3—14.
Гельфанд С. И. A977) Пропускная способность одного широковещательного
канала. — Проблемы передачи информации, т. 13, № 3, 106—108.
Гельфанд С. И., Пиискер М. С. A979) Кодирование источников по наблюде-
наблюдениям с неполной информацией. — Проблемы передачи информации, т. 15,
№ 2, 45—57.
Гельфанд С. И., Пинскер М. С. A980) Пропускная способность широковеща-
широковещательного канала с одной детерминированной компонентой. — Проблемы
передачи информации, т. 16, № 1, 24—34.
Гельфанд С. И., Прелов В. В. A978) Связь с многими пользователями. — В сб.:
Итоги науки и техники. Теория вероятностей, математическая статистика,
техническая кибернетика, т. 15.—М.: ВИНИТИ.
Добрушин Р. Л. A958) Передача информации по каналу с обратной связью. —
Теория вероятн. и ее примен., т. 3, № 4, 395—412.
Добрушин Р. Л. A959а) Оптимальная передача информации по каналу с неиз-
неизвестными параметрами. — Радиотехника и электроника, т. 4, 1951—1956.
Добрушин Р. Л. A9596) Общая формулировка основной теоремы Шеннона в те-
теории информации. — Успехи матем. наук, т. 14, № 6, 3—104.
Добрушин Р. Л. A962а) Асимптотические оценки вероятности ошибки при пе-
передаче сообщения по дискретному каналу связи без памяти с симметрической
матрицей вероятностей перехода. —Теория вероятн. и ее примен., т. 7,
№ 3, 283—311.
Добрушин Р. Л. A9626) Асимптотическая оценка вероятности ошибки при пе-
передаче сообщения по каналу без памяти с использованием обратной связи. —
В сб.: Проблемы кибернетики, вып. 3, с. 161—168. —М.: Физматгиз.
Добрушин Р. Л. A970) Единые методы оптимального квантования сообщений.—
В сб.: Проблемы кибернетики, вып. 22, с. 107—157. —М.: Физматгиз.
Добрушин Р. Л., Стамблер С. 3. A975) Теоремы кодирования для некоторых клас-
классов произвольно меняющихся дискретных каналов без памяти. — Проблемы
передачи информации, т. 11, № 2, 3—22.
Дьячков А. Г. A975) Верхние границы для вероятности ошибки при передаче
с обратной связью в случае дискретных каналов без памяти. — Проблемы
передачи информации, т. 11, № 4, 13—28.
Дьячков А. Г. A980) Границы средней вероятности ошибки для ансамбля кодов
с фиксированной композицией. — Проблемы передачи информации, т. 16,
№ 4, 3—8.
Ерохин В. Д. A958) е-энтропия дискретного случайного объекта. — Теория
вероятн. и ее примен., т. 3, № 1, 103—107.
Зигангиров К. Ш. A970) Верхние оценки вероятности ошибки для каналов
с обратной связью. —Проблемы передачи информации, т. 6, № 2, 87—92.
Кармазин М. А. A964) Решение одной задачи Шеннона. — В сб.: Проблемы
кибернетики, т. 11, с. 263—266. —М.: Физматгиз.
Колмогоров А. Н. A958) Новый метрический инвариант транзитивных дина-
динамических систем и автоморфизмов пространств Лебега. — Докл. АН
СССР, т. 119, № 5, 861—864.
Кошелев В. Н. A977) О задаче раздельного кодирования двух зависимых ис-
источников. — Проблемы передачи информации, т. 13, № 1, 26—32.
Кричевский Р. Е. A968) Связь между избыточностью кодирования и достовер-
достоверностью сведений об источнике. — Проблемы передачи информации, т. 4,
№ 3, 48—57.
Кричевский Р. Е. A970) Лекции по теории информации. — Новосибирск:
Изд. НГУ.
Любич Ю. И. A962) Замечание о пропускной способности дискретного канала
связи без шумов. — Успехи матем. наук, т. 17, № 1, 191—198.
Маргулис Г. А. A974) Вероятностные характеристики графов с большой связ-
связностью. — Проблемы передачи информации, т. 10, № 2, 101—108.

Jlumepaniypd
Пинскер М. С. A960) Информация и информационная устойчивость случайных
величин и процессов. — В сб.: Проблемы передачи информации, т. 7. —
М.: Изд. АН СССР.
Пинскер М. С. A978) Пропускная способности широковещательных каналов
без шумов. — Проблемы передачи .информации, т. 14, № 2, 28—32.
Пинскер М. С, Шевердяев А. Ю. A970) Пропускная способность с нулевой ошиб-
ошибкой и стиранием. —Проблемы передачи информации, т. 6, № 1, 20—24.
Полтырев Г. Ш. A977) Пропускная способность для параллельных широко-
широковещательных каналов с ухудшающимися компонентами. — Проблемы пе-
передачи информации, т.. 13, № 2, 23—35.
Полтырев Г. Ш. A979) Пропускная способность суммы широковещательных
каналов.—Проблемы передачи информации, т. 15, №2, 40—44.
Санов И. Н. A957) О вероятности больших уклонений случайных величин. —
Матем. сб., т. 42, № 3, с. 11—44.
Синай Я. Г. A959) О понятии энтропии динамической системы. —Докл. АН
СССР, т. 124, № 4, 768—771.
Стамблер С. 3. A975) Теоремы Шеннона для полного класса дискретных каналов,
состояние которых известно на выходе.—Проблемы передачи информации,
т. 11, № 4, 3—12.
Фаддеев Д. К. A956) К понятию энтропии конечной вероятностной схемы.
Успехи матем. наук, т. 11, № 1, 227—231.
Фитиигоф.Б. М. A966) Оптимальное кодирование при неизвестной и меняю-
меняющейся статистике сообщений. — Проблемы передачи информации, т. 2,
№ 2. 3—11.
Ху Го Дин A962) О количестве информации.—Теория вероятн. и ее примен.,
т. 4, № 0, 447—455.
Чисар И. A970) О каналах без шума.—Проблемы передачи информации, т. 6,
№ 4, 3—15.
Эль Гамаль А. А. A980) Пропускная способность произведения и суммы двух
несогласованных широковещательных каналов. — Проблемы передачи ин-
информации, т. 16, № 1, 3—23.
РАБОТЫ, ПЕРЕВЕДЕННЫЕ НА РУССКИЙ ЯЗЫК
Вольфовиц Дж. A967) Теоремы кодирования теории информации. — М.: Мир.
Галлагер Р. Г. A966) Простой вывод теоремы кодирования и некоторые при-
применения. — Кибернетический сб., новая серия, вып. 3. —М.: Мир.
Галлагер Р. Г. A974) Теория информации и надежная связь. — М.: Совет-
Советское радио.
Гилберт Э. Н., Мур Э. Ф. A961) Двоичные кодовые системы переменной
длины. — Кибернетический сб., вып. 3. — М.: ИЛ.
Ковер Т. М. A974) Широковещательные каналы. — Кибернетический сб.,
новая серия, вып. 11. —М.: Мир.
Ловас Л. A983) О шенноновской емкости графа. — Кибернетический сб.,
новая серия, вып. 19. —М.: Мир.
Мак-Миллан Б. A961) Два неравенства, обусловленные однозначностью рас-
расшифрования. — Кибернетический сб., вып. 3. —М.: ИЛ.
Орнстейн Д. A971) Сдвиги Бернулли с равной энтропией изоморфны. — сб.
пер. Математика, т. 15, вып. 1, 114—130.
Орнстейн Д. A978) Эргодическая теория, случайность и динамические системы.—
М.: Мир.
Плоткин М. A963) Двоичные коды с заданным минимальным расстоянием. —
Кибернетический сб., вып. 7. — М.: ИЛ.
Фано Р. М. A965) Передача информации. Статистическая теория связи. —
М.: Мир.
Феллер В. A984) Введение в теорию вероятностей и ее приложения, Т. 1., 2. —
М.: Мир.

Литература 383
Хаффман Д. А. A961) Метод построения кодов с минимальной избыточно-
избыточностью. — Кибернетический сб., вып. 3.—М.: ИЛ.
Хэмминг Р. В. A956) Коды с обнаружением и исправлением ошибок. — В сб.:
Коды с обнаружением и исправлением ошибок.—М.: ИЛ.
Шеннон К- A963) Математическая теория связи. —В сб.: Работы по теории
информации и кибернетике. — М.: ИЛ.
Шеннон К- A963) Пропускная способность канала с шумом при нулевой ошибке.
— В сб.: Работы по теории информации и кибернетике.—• М.: ИЛ.
Шеннон К- A963а) Некоторые результаты теории кодирования для каналов
с шумом. —В сб.: Работы по теории информации и кибернетике. —М.:
ИЛ.
Шеннои К. A9636) Геометрический подход к теории пропускной способности
каналов связи. —-В сб.: Работы по теории информации и кибернетике. —
М.: ИЛ.
Шеинон К. A963в) Замечания о частичном упорядочении каналов связи. —
В сб.: Работы по теории информации и кибернетике.—М.: ИЛ.
Шеннон К. A963г) Теоремы кодирования для дискретного источника при
заданном критерии точности. —В сб.: Работы по теории информации и
кибернетике.—М.: ИЛ.
Шеннон К- A963д) Двусторонние каналы связи. —В_сб.: Работы по теории
информации и кибернетике. —М.: ИЛ.
Шеннон К., Галлагер Р., Берлекэмп Е. A968) Нижние границы вероятности
ошибки в дискретном канале без запоминания. — Зарубежная радиоэлек-
радиоэлектроника, вып. 2, 52—81, вып. 6, 41—64.
ЛИТЕРАТУРА, ДОБАВЛЕННАЯ ПРИ ПЕРЕВОДЕ1)
Бассалыго Л. А., Пинскер М. С, Прелов В. В. A982) Пропускная способ-
способность при нулевой ошибке для детерминированных каналов с множественным
доступом. —Проблемы передачи информации, т. 18 № 1, 3—11.
Возенкрафт Дж., Джекобе И. A969) Теоретические основы техники связи. —
М.: Мир.
Галлагер Р. A974) Теория информации и надежная связь. —М.: Сов. радио.
Колесник В. Д., Полтырев Г. Ш. A982) Курс теории информации. —М.:
Наука.
Полтырев Г. Ш. A982) О точности границ случайного кодирования для ши-
широковещательных каналов.—Пробл. упр. и теории инф., т. 11, №5,
353—364.
Полтырев Г. Ш. A983) Границы случайного кодирования для некоторых ши-
широковещательных каналов. — Проблемы передачи информации, т. 19,
№ 1, 9—20.
Файистейн А. A960) Основы теории информации.—М.: ИЛ.
Ahlswede R. A979, 1980). Coloring hypergraphs: A new approach to multi-user
source coding, I—II. —J. Combinatorics, Inform, and Syst. Sci., 4, p. 76—
115; 5, p. 220—268.
Ahlswede R., Csiszar I. A981). To get a bit of information may be as hard as
to get full information. — IEEE IT, 27, p. 398—408.
Ahlswede R., Dueck G. A982). Good codes can be produced by a few permutati-
permutations. — IEEE IT, 28, p. 823—828.
Berger Т., Housewright K., Omura J., Tung S., Wolfowitz J. A979). An upper
bound of the rate distortion function for source coding with partial side in-
information at the decoder. — IEEE IT, 25, p. 664—666.
Ссылки в тексте на эти работы помечены знаком

384 Литература
Berger Т., Zhen Zhang A983). Minimum breakdown degradation in binary source
coding. — IEEE IT, 29, p. 807—814.
Carleial A. B. A982). Multiple access channels with different generalized feed-
feedback signals. — IEEE IT, 28, p. 841—85».
Cover Т., El Gamal A. A979). Capacity theorems for the relay channel. —IEEE
IT, 25, p. 572—584.
Cover Т., El Gamal A.. Salehi M. A980). Multiple access channels with correla-
correlated sources. — IEEE IT, 26, 648—657.
Cover Т., Leung S. K. A981). An achievable region for the multiple access chan-
channel with feedback. — IEEE IT, 27, p. 291—298.
Csiszar I. A982a). On the error exponent of source—channel transmission with
a distortion threshold. — IEEE IT, 28, p. 823—828.
Csiszar I. A982b). Linear codes for sources and source networks. — IEEE IT,
28, p. 585—592.
Csiszar I., Korner J. A981). On the capacity of an arbitrarily varying channel
for maximum probability of error. —ZW, 57, p. 87—101.
Csiszar I., Tusnady A983). Information geometry and alternating minimization
procedures.—Preprint No. 35, Math. Inst. Hungar. Acad. Sci., to be pub-
published in Statistics and Decisions.
Delsarte P., Piret P. A982). Algebraic constructions of Shannon codes for regu-
regular channels. — IEEE IT, 28, p. 593—599.
Dueck G. A981). The strong converse of the coding theorem for the multiple
access channel. —J. Combinatorics, Inform, and Syst. Sci., 6, p. 187—196.
El Gamal A. A983). A simple proof of the Ahlswede—Csiszar one-bit theorem. —
IEEE IT, 29, p. 931—933.
El Gamal A., Aref M. A982). The capacity of the semideterministic relay chan-
channel. — IEEE IT, 28, p. 536.
El Gamal A., Cover T. A980). Multiple user information theory. —Proceedings
IEEE, 68, p. 1466—1483.
El Gamal A., Cover T. A982). Achievable rates for multiple descriptions. — IEEE
IT, 28, p. 851—857.
El Gamal A., van der Meulen E. A981). A proof of Marton's coding theorem for
the discrete memoryless broadcast channel. — IEEE IT, 27, p. 120—122.
Ericson Т., Кбгпег J. A983). Successive encoding of correlated sources. — IEEE
IT, 29, p. 390—395.
Gelfand S., Pinsker M. A980). Coding for channels with random parameters. —
PCIT, 9, p. 19—31.
Hajek В., Pursley M. A979). Evaluation of an achievable rate region for the bro-
broadcast channel. — IEEE IT, 25, p. 36—46.
Jahn J.—H. A981). Coding with side information and a rate distortion theorem
for arbitrarily varying correlated sources. —J. Combinatorics, Inform.
Syst. Sci., 6, p. 137—168.
Kaspi A., Berger T. A982). Rate-distortion for correlated sources with partially
separated encoders. — IEEE IT, 28, p. 828—840.
Korner J. A984). OPEC or a basic problem in source networks. — IEEE IT,
30, p. 68—77.
Rivest R., Shamir A. A982). Howto reuse a write-once memory. —1С, 55, p. 1—19.
Willems F. M. J. A982). The feedback capacity region of a class of discrete me-
memoryless multiple access channels. — IEEE IT, 28, p. 93—95.
Willems F. M. J. A983). The discrete memoryless multiple access channel with
partially cooperating encoders. — IEEE IT, 29, p. 441—445.
Witsenhausen H. A980). Indirect rate distortion problems. — IEEE IT, 26,
p. 518—521.
Witsenhausen H., Wyner A. A981). Source coding for multiple descriptions, II:
A binary source. — BSTJ, 60, p. 2281—2292.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Автомат
Мили 82
Мура 82
Аддитивность информационных мер 32,
53, 55
Аддитивный шум 110
Адресация сообщений 256
Активная обратная связь 185, 207
Алфавит
воспроизведения 116
источника 23
канала входной, выходной 13, 96,
247
Асимметричный широковещательный
каиал (АШК) 324 и далее
с конфиденциальными сообщениями
368
теорема кодирования f г)
Бесшумный канал 13, 70
общий 81, 82
пропускная способность на единицу
стоимости 70
с конечным числом состояний 82
Блоковый код
для вилочной сети 219
для источников 23, 116
для каналов 96
для сетей источников 225
для сетей каналов 256
с обратной связью 114
случайные кодер, декодер 199, 208
См. также Линейный код
Большие отклонения
вероятности для эмпирических рас-
распределений 48
Вероятность ошибки 23, 95, 226
в ДСК 180
для семейства каналов 161
г) Символ \ означает: см. Теорема
кодирования для АШК. Аналогично
этот символ следует понимать и в ос-
остальных случаях. — Прим. ред.
для сетей источников 226
максимальная 95, 161
на выходе с 226, 258
средняя 95, 161
Вероятность ошибки при двух сообще-
сообщениях 175
Взаимная информация 29
выпуклость 54
и общая информация 362
нескольких случайных величин 61
отдельной последовательности 52
условная 52
Взаимные квазиобразы 318
Вилочная сеть 218
область достижимых (е-достижимых)
скоростей 219
область скоростей при нулевой ошиб-
ошибке 241
с дополнительной информацией 362
теорема кодирования 221
универсальное кодирование 242
экспоненциальные границы для ве-
вероятности ошибки 242, 243, 245
Входные ограничения 104, 119
несколько 112
пропускная способность 104, 170
средние 108
функция надежности 170, 178
Выборка 27
Выпуклое замыкание 21
множества случайных матриц 188
Выходные ограничения 112
Вычисление
пропускной способности ДКБП 132
для простых каналов 109
метод Муроги 139
скорости как функции искажения
135, 139
экспоненты ошибки
для источника 49
для канала 155, 159
при проверке гипотез 48
Глубина
вершины 224

386
Предметный указатель
графа 224
Граница Гилберта 168
и граница с выбрасыванием 180
Граница с выбрасыванием 172
для ДСК 180
для произведения пространств 174
для эквидистантных каналов 180
другая форма 178
и граница Гилберта 180
и пропускная способность при нуле-
нулевой ошибке 174
при ограничениях на входе 178
связь с границей случайного коди-
кодирования 172
точность при R = 0 176
Граница случайного кодирования 153,
159
для ДСК 180
для ДСК, линейные коды 183
для составного ДКБП 162
коды с постоянной композицией 153
списочные коды 181
точность при больших скоростях
159, 181
универсальное улучшение 170
уточнение 172
См. также Экспонента случайного
кодирования
Граница сферической упаковки 155,
для ДСК 180
для составного ДКБП 162
другая форма 178
другой вывод 169
коды с постоянной композицией 155
с обратной связью 183
с ограничениями на входе 170
списочные коды 181
точность при больших скоростях 159
улучшение при малых скоростях 181
См. также Экспонента сферической
упаковки
Граф
интервальный 113
направленный 223
покрытие 148
совершенный 113
соответствующий каналу 112
Дважды стохастическая матрица 61
Двоичное сложение (источник) 357, 358
Двоичный канал
без шума 16
образы 316
симметричный (ДСК) см. Двоичный
симметричный канал
стирающий 109
Двоичный симметричный каиал (ДСК)
109
границы для вероятности ошибки
, 180
линейные коды 109, 183
образы 317
пропускная способность 109
с обратной связью 184
Двойное марковское свойство 360
Двусторонний канал 265, 273
Двухступенчатое кодирование источ-
источника 361
Декодирование 12
Декодер 12, 14
для источника 116
для канала 95
для сети источников 224
для сети каналов 247
максимального правдоподобия 107
по максимуму _взаимной информа-
информации 153 ~
по минимальному расстоянию 109
по минимуму стандартного расстоя-
расстояния 189
по минимуму энтропии 242
случайный 208
Деление скоростей 217
ограничения 346, 348
Дивергенция информационная 27
выпуклость 54
и расстояние по вариации 61
условная 37
Дискретный источник без памяти
(ДИБП) 23
Дискретный каиал без памяти (ДКБП)
95 и далее, 149 и далее
линейные коды 109, 182
пропускная способность f
пропускная способность при нуле-
нулевой ошибке |
с входными ограничениями f
с двумя наблюдателями 271
с обратной связью |
теорема кодирования 101, 104
остаточный член 113
сильное обращение 108
слабое обращение 108
универсальное кодирование 160, 164,
170
функция надежности
Дискретный многокомпонентный источ-
источник без памяти (ДМИБП) 215, 218
Дистанционные источники 128
Достижимая (е-достижимая) пара ско-
скоростей для КМД 248
Достижимая («-достижимая) пара ско-
скорость—искажение 117

Предметный указатель
387
Достижимая (е-достижимая) скорость
для источника, при уровне искаже-
искажения Д 117
для канала 97
Достижимая (е-достижимая) тройка
скоростей для вилочной сети 219
Достижимая тройка экспонент 276.
См. также Задача об объеме образа
Достижимая тройка энтропии 276. См.
также Задача характеризации энтро-
энтропии
Задача об объеме образа 276 и далее
для произвольного множества 314
три канала 323
Задача характеризации энтропии 260,
275 и далее
и сети связи 260, 261
связь с задачей об объеме образа 296,
312, 315
частичные результаты 320 и далее
Зигзагообразная сеть источников 353,
354
Изоморфные источники 80
Изопериметрическая задача 85, 93
Интерференционный канал 269
Информационный радиус 133
Информация 11
аксиоматический подход 30, 33
взаимная f
общая 361—362
содержащаяся в событии 27
Фишера 33
Хартли 34
Искажение 38
как функция скорости 146
Источник 11, 23
дискретный без памяти (ДИБП) 23
дискретный миогокомпонеитный без
памяти (ДМИБП) 215, 218
произвольно меняющийся (ПМИ) 143,
148
составной 147
стационарный 68
См. также Теорема кодирования для
источника
Канал 11, 14
бесшумный f
двоичный f
двоичный симметричный f
двусторонний 265, 273
дискретный без памяти (ДКБП) |
интерференционный 269
как матрица 95
произведение 110
с множественным доступом (КМД)
см. Канал с множественным досту-
доступом (КМД)
симметричный 109
сравнение ПО, 111, 317
сумма ПО
широковещательный (ШК)
эквидистантный 180
Канал с множественным доступом
(КМД) 247 и далее
область пропускной способности 248,
255
область пропускной способности для
максимальной вероятности ошибки
261
общий 267
ПМСП 241, 260, 263
с двумя входами и двумя выходами
264, 270
с обратной связью 272
составной 264, 267
стохастические кодеры 261
теорема кодирования 252, 255
Канал с перехватом 364
передача для источника и канала 368
секретные и публичные сообщения
367
ухудшенный случай 367
Класс композиционный 35
Код 12, 14
алфавитно-упорядоченный 78
бесконечный 80
блоковый f
Гилберта — Мура 78
для сообщений длины k 63
линейный f
мгновенный 74
префиксный f
разделимый f
с множественным доступом (МД) 246
с обратной связью 114
с переменной длиной слов на входе
и фиксированной длиной слов на
выходе 78
с синхронизацией 76
с фиксированной длиной слов на
входе и выходе 14
с фиксированной длиной слов на
входе и переменной длиной слов иа
выходе 63
с фиксированной композицией 111,
119 и далее
связанный с сетью источников 225
скользящий блоковый 80
случайный 192, 206 и далее
списочный 181
суффиксный 76

388
Предметный указатель
Танстелла 79
универсально оптимальный \
Хаффмана 75
Шеннона — Фано 84
Кодер 12, 14
для источника 116
для канала 95
для сети источников 224
для сети каналов 257
прогрессивный 80
с обратной связью 114
стохастический 261, 266
Кодирование источника с дополнитель-
дополнительной информацией 215, 216
при нескольких декодерах 357
с заданным уровнем искажения 334
и далее
с недружественными участками 369
частичная дополнительная инфор-
информация 332, 345
Коды с постоянной композицией 111,
149 и далее
граница с выбрасыванием 172
граница случайного кодирования 153
граница сферической упаковки 155
надежность при R = 0 171
необнаруженная ошибка и стирание
164
общая граница Гилберта 168
Количество информации 16, 25, 27, 29
Композиция кодов 76
Крамера — Рас неравенство 34
Крафта неравенство 74, 75
Критерий рандомизированный 30
Критерий точности 11
для ПМИ 143
Для сетей источников 224
несколько мер искажения 127
по вероятности ошибки 125, 126
средний 116
зависимость от е 126, 147
Критическая скорость 159, 170
Ех (R) = Esp (R) 179
для ДСК 180
для списочных кодов 181
с обратной связью, ДСК 184
Лемма Неймана — Пирсона 30
Лемма о максимальном коде 98
для двух каналов 288
для составных каналов 171
обращение 100
Лемма о наполнении кодами 304
Лемма о носителе 282
Лемма о покрытии типа 140
Лемма о раздувании 94
Лемма об обработке данных 59
сильная 318
Лемма об упаковке 151
Лемм* Стейна 34
Линейный код
для источника 31
для канала 109, 182
сдвинутый 109
Максимальная вероятность ошибки 95,
161
для семейства каналов 161
на выходе с в сети каналов 258
МД-код 246
блоковый 246
стохастические кодеры 261
МД-пропускная способность 261
Мера искажения 13, 116
иекоиечная 127, 139
несколько 127
пиковая 127
связанная с каналами 172
средняя 117, 126
Метод случайного кодирования 140
Минимальное расстояние в кодовом
множестве 168, 180
Минимальное стандартное расстояние
(МСР) 189
Множество сообщений 95, 247, 256
Модель связи (включающая ПМК) 202
Момент остановки 78
Надежная передача 12, 14
бесконечная 15, 125
Наполнение кодами 301, 315
Направленный граф 223
Насыщенное кодовое дерево 75
Недружественные участники 364 и
далее
Неймана — Пирсона лемма 30
Неопределенность 17, 25
Неравенство Крамера — Рао 34
Неравенство Крафта 74
обобщенное 75
Неравенство Фано 57
Неравномерные коды
для источника 63 и далее
для канала 114
с обратной связью 115, 185
Неразложимое совместное распределе-
распределение 318
Нормальная сеть источников (НСИ)
229
без помощников 230—232
с двумя помощниками 357—358
с тремя входами и одним помощни-
помощником 353—356

Предметный указатель
389
универсальное кодирование для НСИ
без помощников 244
Нормальная сеть каналов 273—274
Область достижимых (е-достижимых)
скоростей
для вилочной сети f
для сети источников
характеризация через произведе-
произведение пространств 233
частные точки 360
для сети каналов см. Область про-
пропускной способности
оптимальные точки 220
Область пропускной способности 248,
258
другие определения 258, 274
обратная связь увеличивает область
пропускной способности 272
связь с передачей источников по ка-
каналам 259, 261, 263, 267
Обратная связь 18, 114
активная 185
для КМД 272
не увеличивает пропускную способ-
способность ДКБП 120
полная 114, 183
при R > С 172
решающая 185
экспоненты ошибки 183—186
Объем образа 97
асимптотическая независимость от г\
102
для двоичных каналов 316
и е-пропускная способность множе-
множества 102
связь с информационными величи-
величинами 277
См. также Теорема об объеме об-
образа
Оптимальная передача без кодирова-
кодирования 128
Оценка несмещенная 34
Ошибка необнаруженная 162
Передача
бесконечная 15
надежная f
независимых источников по сетям
каналов 263, 267
Пиковая мера искажения 127
Покрытие графа 148
Получатель 11
Помощник 229
в произвольной сети источников
244
Порождающее распределение источни-
источника 23
Порождающие случайные величины 218
Последовательность
с типичной энтропией 46
Р-типичная 39 и далее
К|Х-типичная 40
Последовательность Фибоначчи 77
Предел максимальной скорости пере-
передачи (ПМСП) 14, 126
ДИБП — ДКБП см. Теорема о пе-
передаче для источника и канала
канал с перехватом 368
КМД 241, 260, 263
ПМИ — ПМК 207
Префиксный код 64
алфавитно-упорядоченный 78
неравенство Крафта 74, 75
оптимальный 75
представление на кодовом дереве 65
с синхронизацией 76
Проверка статистических гипотез 27,
30—32, 48
Произвольно меняющийся источник
(ПМИ) 143, 148
Произвольно меняющийся канал (ПМК)
187 и далее
и пропускная способность ДКБП
при нулевой ошибке 206
обратная связь 207, 211
пропускная способность \
случайный декодер 208
состояния, зависящие от входа 203,
213
состояния, известные на входе или
на выходе 202, 209—211
теоремы кодирования 191, 197, 200
теоремы о передаче для источника
и канала 207
теоретике-игровой подход 202, 208
Произвольно «звездочка»-меняющийся
канал (П*МК) 204, 213
Промежуточная вершина 224
Пропускная способность ДКБП 16, 97
алгоритм для вычисления 132
другие определения 107
другие формулы 94, 134, 138
как информационный радиус 134, 138
как функция ограничения 129
множества 102
на единицу стоимости 114
обобщенная 167, 171
при входном ограничении 104, 108,
112
при выходном ограничении 112
с нулевой ошибкой 108, 112—114
секретная 364

390
Предметный указатель
Пропускная способность при макси-
максимальной вероятности ошибки ПМК 187
и пропускная способность ДКБП
при нулевой ошибке 206
положительность 205
теорема кодирования 191
Пропускная способность при макси-
максимальной и средней вероятности ошибки
равенство для ДКБП 107
равенство для ПМК при случайном
кодере 200
различие для ПМК 207
Пропускная способность при нулевой
ошибке, ДКБП 108, 112
и граница с выбрасыванием 174
и графы 112
с обратной связью 115, 212
списочные коды 181
Пропускная способность при средней
вероятности ошибки, ПМК 187
положительность 207
теорема кодирования 197
Прямолинейная граница 181
Разделимый код 64
Распределение эмпирическое 35
большие уклонения 48
Сеть источников 224 и далее
вилочная f
глубины 2 227 и далее
глубины >2 406
графическое представление 226
зигзагообразная 353, 354
нормальная f
область достижимых (е достижимых)
скоростей 225, 226
с двумя помощниками 357—358
с недружественными участниками 369
с тремя входами и одним помощни-
помощником 353—356
сведение к НСИ 227—228
теоремы кодирования f
Сеть каналов 246 и далее
нормальная f
область пропускной способности
с одним выходом 267
сведение к нормальным сетям 273—
274
теоремы кодирования f
Сильное обращение 107
для каналов с произвольными кодо-
кодовыми множествами 103
для сетей источников 332, 341, 354—
357
отсутствие 108, 171
См. также Теоремы кодирования
Скорость как функция искажения 117,
128
выпуклость 118
вычисление 135, 139
* дифференцируёмость 139
другая формула 137
непрерывность 118
при нулевой ошибке 126, 142, 148
Скорость передачи 14
Слой (У-слой) 37
Скорость
блокового кода
для источника 116
для канала 96
достижимая \
как функция искажения см. Ско
рость как функция искажения
критическая \
неопределенности 361
неравномерного кода для канала
114
Случайный выбор
кодов для вилочной сети 230
кодов для источника 31
кодов для канала 108
кодов с промежуточными скоростя-
скоростями 241
МД кодов 263—265
б-соглашение 40
Сообщение 11, 12, 95
длины k 12
случайное 12, 13
Составной источник 147, 148
Составной ДКБП
максимальные коды 171, 288
с информированными кодером или
декодером 171
сильное обращение неверно 170
теорема кодирования 162
функция надежности 162
Составной канал 161
дискретный без памяти \
с множественным доступом 264
Состояние канала 82, 187
зависящее от входа 213
известное на входе или на выходе
209—211
Списочный код 181
пропускная способность ПМК 211
пропускная способность при нуле-
нулевой ошибке 181
экспонента ошибки 181
Средняя мера искажения 117, 126
Стационарный источник 68
проблема изоморфизма 81
Стейна лемма 34
Стирание 163

Предметный указатель
391
Стоимость 68, 69, 114
передачи 11
произвольная 83
Теорема кодирования для АШК 331
другая форма 342
, обратная часть 329
прямая часть 325
с ограничением на входе 353
См. также Асимметричный широ-
широковещательный канал
Теорема кодирования для источника
блоковые коды 23, 116
коды с переменной длиной слов на
входе и фиксированной длиной слов
на выходе 78
неравномерные коды 65, 9—70,
128
Теорема кодирования для канала с шу-
шумом 101
Теорема кодирования для сетей источ-
источников
вилочная сеть f 1 """?Г'-Ф*>*
и задача характеризации энтропии
239, 243
НСИ без помощников 231, 232
различные 345, 353, 360, 362, 363
сильные обращения и задача об объ-
объеме образа 332, 341, 354—357
Теорема о передаче для источника и
канала 123, 125
дистанционные источники 128
канал с перехватом 368
неравномерные коды 128
произвольно меняющийся канал 207
Теорема о помощниках 233
Теорема об объеме образа 300
вырожденный случай 294
обратное утверждение 297
прямое утверждение 299
Теорема о скорости как функции иска-
искажения 119
двухступенчатое кодирование 360
дистанционные источники 128
многокомпонентные обобщения 337,
341, 360
неконечные меры искажения 127
неравномерные коды 128
несколько мер искажения 127
пиковая мера искажения 127
произвольно меняющийся источник
143, 148
применение к покрытию произведе-
произведений графов 148
с нулевой ошибкой 142
составной источник 147, 148
Теорема о средней длине 65, 76, 77
Теорема о средней стоимости 69
Теорема Феншеля — Иглстона — Ка-
ратеодори 282
Тип
последовательности 35
совместный 35
б-соглашение 40
условный 36
Универсально оптимальный код
для источника 45, 73, 83
для источника с мерой искажения
145
для каналов: несуществование 170
Универсальное кодирование 45, 73,
160
для источников
блоковые коды 43, 47
неравномерные коды 73, 83
с мерой искажения 145—147
для каналов 164, 170, 174
для сетей источников 242—244
Уточнение асимптотики
в теореме кодирования для канала
с шумом 113
вероятности ошибки для источника
50
минимаксной избыточности 83
объема т р 45
объема высоковероятного множества
32
среднего искажения 148
Ухудшенный широковещательный ка-
канал 343, 347, 349
Фано неравенство 57
Функция надежности 159
границы 182
для скоростей, больших пропускной
способности 171
для составного канала 162
для списочных кодов 181
при R = 0 176, 177
при ограничениях на входе 170, 178
с обратной связью 183—186
Характеризация
вычислимая 237
однобуквенная 237
через произведение пространств 237
Хроматическое число графа и область
скоростей при нулевой ошибке 241
Хэмминга
граница 85, 87, 93
окрестность 85
пространство 93
расстояние 57
сфера 93

392
Предметный указатель
Цепные правила 54
Цепь Маркова 20, 58
Число типов 35
Шеннона формула 25
Широковещательный канал (ШК) 324
асимметричный (АШК) t
границы для области пропускной
способности 343, 351
детерминированный 352
области пропускной способности для
максимальной и средней вероятности
ошибки совпадают 266
полудетерминированный 353
произведение ухудшенных 347
с конфиденциальными сообщениями
368
со сравнимыми компонентами 344
сумма ухудшенных 349
ухудшенный 343
Энтропия 17, 25, 32
аксиоматическое определение 32, 33
в физике 34, 50
в эргодической теории 80, 81
верхние границы 60
индивидуальной последовательности
51
как асимптотика полиномиального
коэффициента 35, 45
Реньи 33
свойства 51 и далее
сохранение 80, 82
условная 28
Экспонента ошибки
в проверке гипотез 27, 48
для источника 43, 48, 49
для источника и канала. 181
для сетей источников 242—245
для составного ДКБП 161
Экспонента ошибки в ДКБП 149 и
далее
для двух сообщений 175
для скоростей, больших пропускной
способности 171
коды с постоянной композицией
153—155 '
модифицированная 163
иеобНаружения и стирания 162
с обратной связью 183—185
списочные коды 181
универсально достижимая 160, 170
Экспонента случайного кодирования
Er (R, P, W), Er(R, W) 154, 159
без остаточного члена 182
для составного канала 162
другая форма 178
модифицированная 163
свойства 158
связь с экспоиеитой сферической
упаковки 157
Экспонента сферической упаковки
£sP (R, P, W), E (R, W) 155, 159
без остаточного члена 182
для составного канала 162
другая форма 178
другой вывод 169
модифицированная 163
свойства 158, 169
Эргодическая теория 80

УКАЗАТЕЛЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ
АШК
ДИБП
ДКБП
ДМИБП
ДСК
КМД
МВИ
МД
МСР
ней
пми
пмк
п*мк
пмсп
шк
(С Г)
С(Р)
С, Сг
Со
Co,f
С (А, 8) = CV (А,
С (Г)
С = С (W)
С (Ж)
Са = Са (Ж)
Cm = C
SP (М-^
d(x> у)=4"
(d, A), (d, Д)
d(P, W)
dw
Dc
Асимметричный широковещательный канал с двумя
выходами 324
Дискретный источник без памяти 23
Дискретный канал без памяти 95
Дискретный многокомпонентный источник без памяти
215
Двоичный симметричный канал 109
Канал с множественным доступом 247
Максимум взаимной информации 153
Множественный доступ 246
Минимум стандартного расстояния 189
Нормальная сеть источников 229
Произвольно меняющийся источник 143
Произвольно меняющийся канал 181
204
Предел максимальной скорости передачи 14
Широковещательный канал 324
входные ограничения 104
104
пропускная способность, s-пропускная способность 97
пропускная способность при нулевой ошибке 97
пропускная способность при нулевой ошибке с обрат-
обратной связью 115
е-пропускная способность множества 102
пропускная способность при ограничениях 104
пропускная способность ДКБП {W} 101
162
пропускная способность ПМК {Ж} при средней веро-
вероятности ошибки 187
пропускная способность ПМК {Ж} при максимальной
вероятности ошибки 187
192
расстояние Хэмминга 57
, t/i) мера искажения (средняя) 117,
критерий точности 117, 224
118
мера искажения, связанная с каналом 172
множество входов, воспроизводимых на выходе с 226,
256
г) Основные обозначения см. с. 19—21. В этом списке приведены обозначе-
обозначения, которые были введены в тексте и в дальнейшем использовались без допол-
дополнительных объяснений.

394 Указатель сокращений и обозначений
D (Р \\ Q) информационная дивергенция 27
D (V Ц W | Р) условная дивергенция 37
е {W, /, ф) максимальная вероятность ошибки 95
ё {W, /, ф) средняя вероятность ошибки 95
em (W, f, cp) вероятность ошибки при передаче сообщения т 95
Е (/?) = Е (R, W) функция надежности 159
Ег (R) = Ег (R, W) экспонента случайного кодирования 159
Ет {R, F) = £7 (R, P, W) экспонеита^случайного кодирования, коды с постоян-
постоянной композицией 154
£sp (R) = ^sp (.R, W) экспонента сферической упаковки 159
Esn(R, P) = экспонента сферической упаковки, коды с постоянной
= £sp (#f P, Ю композицией 155
Ex (R) — Ех (Я. W) экспонента с выбрасыванием 173
Ex (R, Р) = экспонента с выбрасыванием, коды с постоянной ком-
= EX(R. P, W) позицией 173
У (X; Y, Z | X) область достижимых троек энтропии 276
UW (А, 'Ц) • объем образа 97
Ъ (X; Y; 2 | X) область достижимых троек экспонент 277
9 (Y; 1\ X) проекция 9 (X; Y\ Z \ X) 289
У* (X; Y; Z | X) 296
ГВ, Г'В окрестность Хэмминга, /-окрестность 85
Н (X), Я (Р) энтропия 25
Н (х) энтропия индивидуальной последовательности 51
7/ (Х°°) энтропийная скорость 67
Н (Y I X), Я (W I P) условная энтропия 28, 37
Ж (X; Y; Z I X) 276
Жъ (X; Y; 1 \ X) 276
Ж* (X; К; Z\ X) 284
/ (X Д У). I (P> w) взаимная информация 29, 52
/ (х д у) взаимная информация индивидуальных последователь-
последовательностей 52
/ (X Д К I Z) условная взаимная информация 52
/(Р, W) 162
/ (х) длина последовательности 65
I (f) средняя длина кодового слова 65
М = М/ множество сообщений 95
N(a | х) 35
Рх тнп последовательности 35
R (Д) скорость при А-искажении 117
Яе(А) 124
R (Д) = R (Р, Д) скорость как функция искажения 117, 128
Rcr критическая скорость 159
9t (X, Y, Z) область достижимых скоростей для вилочной сети 219
Я «Х>, Y) 332
Sb множество вершин, из которых выходят направленные
ребра, ведущие в Ъ 11\
множество последовательностей типа Р 35
множэство б-типичных последовательностей 39
множество типичных последовательностей 39. См.
_ _ . также б-соглашение

Указатель сокращений и обозначений 395
Ту (х) = Т£ (х) У-слой 37
' [W]6 (х) ~ [W]6 W I множество порожденных последовательностей при
Т /хч — Tk (х} I данном б 39
Trwi (х) = T[W] (х) = T[W]S W 1
1 J L J l J6fe I множество порожденных последователь-
Т[У | х] (х) = Т[У | х] (х) = Ттх]б(х) I ностей За См- таКже б-соглашение
T[W-](A)A U Т[И7](хJ78
х 6 А
{№} = {fl7: X^-Y} дискретный канал без памяти 95
= {УУ: X-»-Y} произвольно меняющийся канал 187