Текст
                    Введение в вэйвлеты
в свете
линейной алгебры


Michael W. Frazier An Introduction to Wavelets Through Linear Algebra With 46 Illustrations Springer
Μ. Фрейзер Введение в вэйвлеты в свете линейной алгебры Перевод с английского Я.М. Жилейкина Допущено УМО по классическому университетскому образованию в качестве учебного пособия для студентов высших учебных заведений, обучающихся по специальности 010501 «Прикладная математика и информатика» и по направлению 010500 «Прикладная математика и информатика» & Москва БИНОМ. Лаборатория знаний 2008
УДК 517+512 ББК 22.1 Ф86 Фрейзер М. Ф86 Введение в вэйвлеты в свете линейной алгебры / М. Фрейзер ; пер. с англ. — М.: БИНОМ. Лаборатория знаний, 2008. — 487 с. : ил. ISBN 978-5-94774-557-3 (русск.) ISBN 0-387-98639-1 (англ.) Дается изложение методов линейной алгебры, и с этой точки зрения описываются свойства дискретного вэйвлет-преобразования, очень важного в приложениях. Приводится большое количество практических примеров и задач, наглядно иллюстрирующих свойства используемых математических методов и их современную прикладную направленность. Для студентов и преподавателей вузов, научных работников и инженеров. УДК 517+512 ББК 22.1 Первый тираж издания осуществлен при финансовой поддержке Российского фонда фундаментальных исследований по проекту X* 05-01-14108 Учебное издание Фрейзер Майкл ВВЕДЕНИЕ В ВЭЙВЛЕТЫ В СВЕТЕ ЛИНЕЙНОЙ АЛГЕБРЫ Ведущий редактор М. С. Стригунова Главный художник С. Инфантэ. Художник Я. В. Зотова Корректор Е. Н. Клитина Оригинал-макет подготовлен О. Г. Лапко в пакете WIf$i 2ε с использованием кириллических шрифтов семейства LH Подписано в печать 09.11.07. Формат 70 х 100/16. Гарнитура Computer Modern. Печать офсетная. Бумага офсетная. Усл. печ. л. 39,65. Тираж 1600 экз. Заказ 2835. «БИНОМ. Лаборатория знаний» 125167, Москва, проезд Аэропорта, д. 3 Телефон: (499) 157-5272, e-mail: Lbz@aha.ru, http://www.Lbz.ru Отпечатано в полиграфической фирме «Полиграфист» 160001, г. Вологда, ул. Челюскинцев, 3 ISBN 978-5-94774-557-3 (русск.) Translation from the English ISBN 0-387-98639-1 (англ.) ^^Znto Wavelets Through Linear Algebra by Michael W. Frazier Copyright © 1999 Springer-Verlag New York, Inc. Springer is a part of Springer Science+Business Media All Rights Reserved © Перевод на русский язык, оформление, «БИНОМ. Лаборатория знаний», 2008
Оглавление Предисловие переводчика 8 Предисловие 10 Выражение признательности 15 Пролог: сжатие файлов базы данных ФБР 18 Глава 1. Основные понятия: комплексные числа и линейная алгебра 23 1.1. Вещественные и комплексные числа 23 Упражнения 30 1.2. Комплексные ряды, формула Эйлера и корни из единицы 31 Упражнения 40 1.3. Векторные пространства и базисы 43 Упражнения 50 1.4. Линейные преобразования, матрицы и переход от одного базиса к другому 53 Упражнения 64 1.5. Диагонализация линейных преобразований и матриц 68 Упражнения 88 1.6. Скалярные произведения, ортонормированные базисы и унитарные матрицы 90 Упражнения 105 Глава 2. Дискретное преобразование Фурье 111 2.1. Определение и основные свойства дискретного преобразования Фурье 111 Упражнения 130 2.2. Линейные преобразования, инвариантные относительно сдвига 135 Упражнения 150 2.3. Быстрое преобразование Фурье 156 Упражнения 166
6 Оглавление Глава 3. Вэйвлеты на множестве Z# 169 3.1. Построение вэйвлетов на Z#: первый этап 169 Упражнения 190 3.2. Построение вэйвлетов на Z#: итерационный этап 198 Упражнения 218 3.3. Примеры и применения 225 Упражнения 259 Глава 4. Вэйвлеты на множестве Ζ 261 4.1. Пространство £2(Ζ) 261 Упражнения 264 4.2. Полные ортонормированные множества в гильбертовых пространствах 267 Упражнения 272 4.3. Пространство L2([—π,π)) и ряд Фурье 274 Упражнения 287 4.4. Преобразование Фурье и свертка в £2(Ζ) 293 Упражнения 301 4.5. Вэйвлеты первого этапа на Ζ 303 Упражнения 310 4.6. Итерационные этапы для вэйвлетов на Ζ 314 Упражнения 320 4.7. Примеры и применения 322 Упражнения 337 Глава 5. Вэйвлеты на множестве R 339 5.1. Пространство L2(R) и функции приближенно тождественного элемента свертки 339 Упражнения 348 5.2. Преобразование Фурье на множестве Ш 351 Упражнения 364 5.3. Кратномасштабный анализ и вэйвлеты 368 Упражнения 381 5.4. Построение кратномасштабных анализов 386 Упражнения 409 5.5. Вэйвлеты с компактным носителем и их вычисление 416 Упражнения 433 Глава 6. Вэйвлеты и дифференциальные уравнения 437 6.1. Число обусловленности матрицы 437 Упражнения 441 6.2. Метод конечных разностей для дифференциальных уравнений 444
Оглавление 7 Упражнения 450 6.3. Методы вэйвлет-Галеркина для дифференциальных уравнений 455 Упражнения 465 Библиография 468 Библиография на русском языке 474 Предметный указатель 475
Предисловие переводчика Теория вэйвлетов и их применения являются важным и актуальным разделом современной математической науки. По этой тематике издано достаточно много книг на русском языке, в которых отражены основные свойства вэйвлетов. Среди них можно назвать монографии И. Добеши «Десять лекций по вэйвлетам», Ч. К. Чуй «Введение в вэй- влеты», С. Малла «Вэйвлеты в обработке сигналов» и др. Приятно отметить тот факт, что по теории вэйвлетов появилось много качественных книг, написанных российскими авторами. Их неполный перечень дается в списке дополнительной литературы на русском языке. Несмотря на это, необходимость в новых книгах по вэйвлетам очевидна. Книга М. В. Фрейзера посвящена подробному изложению теории вэйвлетов, основанному на применении алгебраических методов. Она написана очень четко и ясно и в основном ориентирована на студентов 2-4-х курсов высших учебных заведений. В книге М. В. Фрейзера весьма удачно дается изложение методов алгебры и с этой точки зрения описываются свойства дискретного преобразования Фурье (DFT): диагонализуемость дискретным базисом Фурье операторов, инвариантных относительно сдвига, быстрая численная реализация DFT с помощью алгоритма FFT. Следует отметить четкое описание этого алгоритма, который находит широкое практическое применение. Главное внимание в книге М. В. Фрейзера уделяется дискретному вэйвлет-преобразованию, важному с практической точки зрения. Эта тема изложена очень подробно, дается четкое алгоритмическое описание реализуемых на современных компьютерах методов дискретного вэй- влет-преобразования. В монографии М. В. Фрейзера приводится большое количество практических примеров и задач, наглядно иллюстрирующих свойства используемых математических методов и их современную прикладную направленность. Так, книга М. В. Фрейзера начинается с примера использования вэйвлетов для компактного хранения цифровых отпечатков пальцев, которое осуществляется в ФБР.
Предисловие переводчика 9 Скажем несколько слов о терминах, используемых в русском переводе книги М. В. Фрейзера. Как правило, они носят традиционный для русской литературы характер. Это означает, что в основу положены термины работы И. Я. Новикова и СБ. Стечкина «Основы теории всплесков» (Успехи математических наук. —1998. — Т. 53, №6(324).— С. 53-128). Кроме этого, широко используется терминология, введенная в русском варианте монографий Ч. К. Чуй и С. Малла. В 80-е годы российским математиком профессором К. И. Осколко- вым был предложен русский аналог термина «вэйвлеты» — «всплески». Этот термин иногда используется в русскоязычной литературе. В предлагаемом переводе книги М. В. Фрейзера (так же, как и в книгах Ч. К. Чуй и С. Малла) используется термин «вэйвлеты», так как он более широко распространен и общепринят во всем мире. Математическая теория вэйвлетов — это сложный предмет, связующий и обобщающий многие разделы современной математики. Изучение этой теории довольно сложно как для студентов и научных сотрудников, так и для инженеров. В отличие от ранее изданных книг по теории вэйвлетов монография М. В. Фрейзера более доступна и проста. Несомненно, что книга М. В. Фрейзера полезна широкому кругу российских читателей и будет пользоваться большим спросом. Профессор Я. М. Жилейкин Московский государственный университет им. М. В. Ломоносова
Предисловие Студенты Мичиганского государственного университета, специализирующиеся по математике, прослушивают «завершающий» курс («Capstone») в конце их трехгодичного обучения. Содержание каждого курса меняется в зависимости от необходимости. Его цель —собрать вместе различные темы из списка предметов учебного плана младших курсов и подготовить студентов к изучению наиболее развивающихся областей математики. Предлагаемая книга была написана именно для «завершающего» курса. Основы вэйвлет-теории — это естественная тема для такого курса. Появление вэйвлетов (именно под таким названием) датируется 1980-ми годами. Занимающая место между математикой и инженерией, вэйвлет- теория наглядно показывает студентам, что математические исследования с успехом применяются в важных практических областях, таких как сжатие изображения и численное решение дифференциальных уравнений. Автор книги верит, что наиболее существенные элементы теории вэйвлетов достаточно элементарны для того, чтобы их с успехом преподавать наиболее сильным студентам младших курсов. Книга предназначена для студентов первых лет обучения, поэтому предполагается только знание основ линейной алгебры и математического анализа. Мы не требуем хорошей осведомленности о комплексных числах и корнях из единицы. Эти материалы даются читателю в первых двух параграфах гл. 1. В конце гл. 1 мы приводим обзор по линейной алгебре. Студенты должны хорошо разбираться в основных определениях разд. 1.3 и разд. 1.4. С нашей точки зрения, линейные преобразования имеют первостепенное значение для изучения; матрицы возникают как реализация линейных преобразований. Многие студенты могут быть знакомы с результатами по замене базисов в разд. 1.4, но имеют возможность воспользоваться и повторить эти вопросы снова. В разд. 1.5 мы ставим вопрос о том, как выбрать базис, чтобы по возможности упростить матричное представление заданного линейного преобразования. Мы сосредоточиваем внимание на простейшем случае, когда линейное преобразование диагонализуемо. В разд. 1.6 мы подробно рассматриваем скалярные произведения и ортонормирован-
Предисловие 11 ные базисы. Мы заканчиваем эту главу формулировкой спектральной теоремы для матриц, доказательство которой в общих чертах выносится в упражнения. Это доказательство выходит за границы знаний большинства студентов младших курсов. Глава 1 носит характер справочного материала. В зависимости от основных знаний многие читатели и преподаватели могут перескочить или быстро просмотреть многое из этого материала. Изложение в гл. 1 достаточно полное для того, чтобы текст был по возможности самодостаточным, оно обеспечивает логически упорядоченное толкование предметного материала и стимулирует его дальнейшее развитие. Автор уверен, что студенты могут приступить к изучению анализа Фурье в его конечномерном контексте, где все можно объяснить в терминах линейной алгебры. При таком подходе ключевую идею можно изложить, не отвлекаясь на технические моменты, связанные со сходимостью. Мы начинаем с введения дискретного преобразования Фурье (DFT) в разд. 2.1. DFT вектора состоит из его компонент относительно некоторого ортогонального базиса комплексных экспонент. Ключевой момент состоит в том, что все линейные преобразования, инвариантные относительно сдвига, диагонализуются таким базисом; это доказывается в разд. 2.2. Мы обращаемся к вычислительным проблемам в разд. 2.3, в котором мы видим, что DFT может быть быстро вычислено с помощью быстрого преобразования Фурье (FFT). Не так хорошо известно, что основы теории вэйвлетов могут быть введены с точки зрения конечномерных пространств. Это делается в гл. 3. Материал этой главы не является полностью стандартным, это — адаптация вэйвлет-теории к конечномерным данным. Она обладает тем преимуществом, что в качестве основы требует только знания линейной алгебры. В разд. 3.1. мы исследуем ортонормированные базисы с пространственной и частотной локализациями; разложения по этим базисам могут быть быстро вычислены. Мы приходим к рассмотрению четных сдвигов двух векторов, в некотором смысле материнского и отцовского вэйвлетов. Здесь естественным образом возникает методика набора фильтров для вычисления вэйвлетов. Путем итерации этой структуры набора фильтров в разд. 3.2 мы приходим к многоуровневому вэйвлет- базису. Примеры и приложения обсуждаются в разд. 3.3. В этом же контексте представлены вэйвлеты Добеши и рассмотрены элементарные примеры сжатия информации. Студент, знакомый с системами MATLAB, Maple или Mathematica, при желании сможет решить аналогичные задачи.
12 Предисловие В разд. 4.1 мы переходим к бесконечномерным, но дискретным пространствам ^2(Z), состоящим из суммируемых с квадратом последовательностей, заданных в целых точках. Главные свойства полных орто- нормированных множеств в пространствах со скалярным произведением обсуждаются в разд. 4.2. Здесь математический анализ впервые серьезным образом возникает на нашей картине. Интегрируемые с квадратом функции на промежутке [—π, π) и их ряды Фурье подробно рассматриваются в разд. 4.3. Здесь мы совершаем небольшой обман: мы говорим, что используем интеграл Лебега, но не определяем его, и просим студентов принять на веру некоторые его свойства. Мы снова приходим к главному принципу, что система Фурье диагонализует линейные операторы, инвариантные относительно сдвига. Подходящая версия преобразования Фурье на этом множестве есть отображение последовательности в пространстве £2{Ъ) на функцию в L2([—π,π)), коэффициенты Фурье которой составляют исходную последовательность. Его свойства представлены в разд. 4.4. После этих приготовлений построение вэйвлетов первого этапа на целочисленных множествах (разд. 4.5)и итерационный шаг, приводящий к многоуровневому базису (разд. 4.6), получаются как полная аналогия методов в гл. 3. Вычисление вэйвлетов в контексте £2(Ζ) обсуждается в разд. 4.7, который включает в себя построение вэйвлетов Добеши на множестве Ζ. Порождающие векторы и и ν вэйвлет- системы в £2(Ζ) снова появляются в гл. 5 как масштабная последовательность и ее компаньон. Обычный вариант вэйвлет-теории на вещественной прямой представлен в гл. 5. Предварительные замечания, касающиеся функций, интегрируемых с квадратом, и преобразования Фурье обсуждаются в разд. 5.1 и разд. 5.2. Факты, касающиеся обратного преобразования Фурье в L2(R), доказываются в деталях, хотя многие преподаватели предпочитают считать эти результаты известными. Формула обратного преобразования Фурье аналогична представлению функции с помощью ортонормированного базиса, где вместо суммы используется интеграл. Мы видим также, что система Фурье диагонализует операторы, инвариантные относительно сдвига. В разд. 5.3 доказана теорема Малла о том, что кратномасштабный анализ дает вэйвлет-базис. Рассмотренное выше соотношение между масштабной последовательностью и вэйвле- тами в £2(Z) приводит нас к прямому использованию результатов гл. 4. Условия, при которых вэйвлеты в £2(Z) могут быть использованы для генерации кратномасштабного анализа и, следовательно, вэйвлетов на множестве R, рассматриваются в разд. 5.4. В разд. 5.5 мы строим вэйвлеты Добеши с компактным носителем и показываем, как выполняется вэйвлет-преобразование с использованием набора фильтров.
Предисловие 13 В гл. 6 мы кратко описываем применение полученных результатов к численному решению дифференциальных уравнений. Раздел 6.1 начинается с обсуждения вопроса о числе обусловленности матрицы. В разд. 6.2 мы представляем простой пример численного решения обыкновенного дифференциального уравнения с постоянными коэффициентами на отрезке [0,1] с использованием метода конечных разностей. Мы видим, что, хотя результирующая матрица является разреженной, что удобно, она имеет число обусловленности, которое возрастает квадратично с размером матрицы. Для сравнения, в разд. 6.3 мы видим, что в методе вэйвлет-Галеркина дискретизации равномерно эллиптического дифференциального уравнения с переменными коэффициентами матрица полученной линейной системы может быть переобусловлена так, что будет обязательно разреженной и будет иметь ограниченное число обусловленности. Ограниченность числа обусловленности вытекает из свойства эквивалентности нормы вэйвлетов, которое мы приводим без доказательства. Разреженность полученной матрицы происходит от локализации вэйвлет-системы. В значительной степени ортогональность элементов вэйвлет-базиса является следствием непересечения их носителей (конечно, при использовании вэйвлетов с компактным носителем). Это гораздо более сильное свойство, например, в случае умножения на функцию с переменными коэффициентами, чем тонкое взаимное уничтожение, лежащее в основе ортогональности системы Фурье. Поэтому, хотя вэйвлет-система может и не диагонализовать точно ни один часто встречающийся оператор, она почти диагонализует (в смысле разреженных матриц) гораздо более широкий класс операторов, чем базис Фурье. Основы теории вэйвлетов включают разделы линейной алгебры, вещественный и комплексный анализ, численный анализ и инженерию. В этом отношении она повторяет свойства современной математики, которая становится все более междисциплинарной. С самого начала эта книга относительно элементарна, но уровень сложности неуклонно возрастает. Ее можно использовать по-разному, в зависимости от уровня подготовки студентов. Если гл. 1 требует для изучения длительного времени, то наиболее сложные доказательства в следующих главах могут быть только коротко очерчены. Для более сильных студентов можно перескочить многие или даже все разделы гл. 1, что оставит время для более основательного рассмотрения оставшегося материала. Краткий курс для более квалифицированной аудитории можно начать с гл. 4, так как основной материал в гл. 4 и 5 носит технический, а не концептуальный характер, независимый от содержания гл. 2 и 3.
14 Предисловие Человек с солидным знанием анализа Фурье должен изучать основы теории вэйвлетов, данные в разд. 4.5, 4.7, 5.3, 5.4, 5.5 и 6.3, только временами обращаясь к оставшемуся тексту. Эта книга предназначена быть по возможности элементарным введением в вэйвлет-теорию. Она не планировалась как основательный обзор. Мы отсылаем читателя, заинтересованного в дополнительной информации, к библиографии в конце книги. М. Фрейзер Мичиганский государственный университет Апрель 1999 г.
Выражение признательности В создании этой книги принимали участие большое число моих коллег и студентов. Результаты о дискретном вэйвлет-разложении, представленные в гл. 3 и 4, были получены в совместной работе (Фрэйзер и Кумар, 1993 г.) с Аруном Кумаром при нашей ранней попытке понять вэйвлеты. В дальнейшем это было развито в общей работе, выполненной с Джеем Эпперсоном и Даниелем Вагнером, нашими коллегами из Калифорнии. Многие графики в этой книге аналогичны примерам, выполненным Дугласом МакКаллохом в течение этого консультационного проекта. Некоторые дополнения, раскрывающие суть задачи, были получены в последующей работе с Рудольфо Торресом. Мои коллеги из Мичиганского государственного университета оказали разнообразное содействие при создании этой книги. Патти Лэмм прочла весь предварительный вариант книги и сделала более сотни полезных замечаний, некоторые из них привели к полной переработке § 6.2. Она также обеспечила книгу компьютерными рисунками для пролога. Шелдон Акслер осуществил техническое редактирование книги и сделал ряд замечаний, которые улучшили стиль и оформление всей рукописи. Т. И. Ли сделал ряд ценных замечаний, включающих в себя предоставление упр. 1.6.20. Байрон Дрехман оказал помощь при составлении указателя. Я воспользовался благоприятной возможностью опробовать предварительные варианты этой книги в студенческих аудиториях. Они использовались в Мичиганском государственном университете в весеннем курсе 1996 г. для студентов младших курсов и в вводном курсе для студентов старших курсов летом 1996 г. Администрация математического факультета, в первую очередь Джон Холл, Билл След и Вей Эй Куан, сделали все, чтобы обеспечить прочтение этих курсов. Студенты, посещавшие лекции, сделали много замечаний и поправок, которые улучшили текст рукописи. Гихан Мандур, Йан Ю Лин, Рудольф Блажен и Рихард Андрусяк внесли большое количество исправлений.
16 Выражение признательности Эта книга была также основой для трех коротких курсов по вэйвле- там. Один из них был прочитан в университете Пуэрто-Рико в Майагу- езе весной 1997 г. Я благодарю Найду Сантьяго за помощь в организации визита Шоуна Ханта, Доминго Родригеса и Рамона Васкеса за приглашение и теплое гостеприимство. Другой короткий курс был прочитан в университете штата Миссури г. Колумбия осенью 1997 г. Я благодарю Елиаса Сааба и Накхле Асмара, сделавших это возможным. Третий короткий курс состоялся в институте математики UNAM в г. Куернавака, Мексика, весной 1998 г. Я благодарю профессоров Сальвадора Перез- Естеву и Карлоса Виллегас Бласу за их усилия при организации этой поездки и за их всестороннее участие. Книга в первоначальном виде была также использована в лекциях Кристиной Перейра в университете Нью-Мексико и Сюзанной Турвилль в Карнеги-Меллон университете. Кристина, Сюзанна и их студенты выполнили ценную работу и внесли большое количество исправлений, как это сделал Киис Онневиар. Мои дипломники Кунчан Вонг и Майк Никсон сделали много полезных замечаний и внесли в рукопись некоторое число исправлений. Мой другой дипломник, Шанхьян Зонг, обучил меня математике (см. § 6.3.1). Я также благодарю его и его сына, Симона Зонга, за рис. 35. Примеры отпечатков пальцев на рис. 1-3 в прологе были предоставлены Крисом Брислоуном из Лос-Аламосской национальной лаборатории. Я благодарен ему за разрешение воспроизвести эти изображения. Рисунки 36, д и е были подготовлены с использованием программы (Summus 4U2C 3.0), предоставленной мне Бьёрном Яавертом и Summus Technologies, Inc., которых я благодарю. Рисунки 36, 5, ей г были получены с использованием коммерчески доступного программного матобеспечения Win JPEG v.2.84. Рукопись и некоторые рисунки были подготовлены с помощью издательской системы ВД^Х. Другая часть рисунков получена с использованием пакета MATLAB. Стив Племмонс, руководитель компьютерной группы математического факультета Мичиганского государственного университета, оказал разнообразную помощь, в частности касающуюся изображений на рис. 36. Я благодарю Ину Линдеман, моего издателя в Шпрингер-Ферлаг, за ее участие, ободрение и особенно за ее терпение. Я пользуюсь удобным случаем поблагодарить математиков, критическая помощь которых способствовала тому, что я смог написать эту книгу. Терпение и поддержка моего научного консультанта Джона Гарнета с самого начала играли главную роль. Мое раннее сотрудничество с Бьёрном Яавертом сыграло решающую роль в моей карьере.
Выражение признательности 17 Руководитель моей докторской диссертации Гвидо Вайсе подбадривал и помогал мне в течение многих лет во всех важных случаях. Эта книга была пересмотрена и исправлена во время отпуска, предоставленного мне Мичиганским государственным университетом. Этот отпуск я провел в университете штата Миссури в г. Колумбия. Я благодарю университет штата Миссури за их гостеприимство, предоставленные мне необходимые возможности и техническое содействие. В то время как академическая система испытывает многочисленные атаки, стоит отметить, что эта книга, а также много других книг не были бы написаны без поддержки этой системы.
Пролог: сжатие файлов базы данных ФБР Когда ваша местная полиция арестовывает кого-либо по незначительному обвинению, она всегда хочет проверить, предъявлялся ли этому лицу ордер на арест, возможно, в другом штате, за более серьезное преступление. Для проверки можно послать отпечатки пальцев этого человека в архив отпечатков пальцев ФБР в Вашингтон Д. К. К несчастью, ФБР не может сравнить полученные отпечатки пальцев с имеющимися записями достаточно быстро, чтобы их идентифицировать до того, как подозреваемый должен быть отпущен. Преступник, обвиняемый в серьезном преступлении, постарается быстро скрыться, пока ФБР осуществит нужную идентификацию. Почему это занимает так много времени? Файлы ФБР с отпечатками пальцев хранятся на карточках отпечатков пальцев в кабинетах файлов в складском помещении, которое занимает площадь около одного акра. Материально-техническое выполнение процедуры поиска делает невозможным ее быструю реализацию. Решение этой задачи кажется очевидным — отпечатки пальцев базы ФБР должны быть компьютеризированы, и поиск должен быть осуществлен электронным образом. В конце концов, мы живем в компьютерный век. Почему это не было давно сделано? Данные, представляющие изображение отпечатков пальцев, могут храниться на компьютере таким образом, что изображение может быть восстановлено с точностью, достаточной для получения полной идентификации. Для этого изображение отпечатков пальцев сканируется и оцифровывается. Каждый квадратный дюйм изображения отпечатка пальцев разбивается на решетку из 500 χ 500 маленьких квадратов, называемых пикселями. Каждый пиксель задается значением шкалы яркости, соответствующим его потемнению, с масштабом от 0 до 255. Так как целые числа от 0 до 255 могут быть представлены в двоичной системе с использованием 8 знаков (т. е. каждое целое от 0 до 255 соответствует 8-значной последовательности нулей и единиц), то они занимают 8 двоичных бит данных для определения потемнения одного пикселя. (Одна двоичная цифра представляет один бит данных, который электронно соответствует пе-
Пролог: сжатие файлов базы данных ФБР 19 Рис. 1. Оригинальное изображение отпечатков пальцев (любезно предоставленное Крисом Брислоуном, Лос-Аламосская национальная лаборатория) реключателю в положении «включен» или «выключен».) Пример отпечатков пальцев, отсканированных таким образом, показан на рис. 1. Рассмотрим объем данных, требуемых для одной карточки отпечатков пальцев. Каждый отпечаток занимает площадь около 1.5 дюйма χ χ 1.6 дюйма, с 5002 = 250 000 пикселей на квадратный дюйм, каждый требующий 8 бит данных (один байт данных). Поэтому каждый отпечаток пальцев требует около 600000 байт данных. Карточка включает все 10 отпечатков пальцев, плюс 2 отпечатка больших пальцев и 2 отпечатка всех пальцев на руке (всей пятерни). Результат таков, что каждая карточка требует около 10 мегабайт данных (мегабайт — это примерно один миллион байтов). Такое число еще доступно для современных компьютеров, которые часто имеют несколько гигабайт памяти (гигабайт — это примерно один миллиард, или 109, байт). Электронная передача
20 Пролог: сжатие файлов базы данных ФБР данных карточки допустима, хотя и довольно медленна. Таким образом, полиция имеет возможность послать необходимые данные электронным образом в ФБР, пока подозреваемый еще находится под наблюдением. Однако ФБР имеет в своем архиве около 200 миллионов карточек с отпечатками пальцев. (Многие отпечатки принадлежат уже умершим людям, это приводит к увеличению информации, но очевидно, что ФБР не собирается ее уничтожать.) Следовательно, оцифровка всего архива потребовала бы около 2 χ 1015 байт, или около 2000 терабайт (терабайт — это 1012 байт) памяти. Это представляет собой большее количество памяти, чем имеется в современном компьютере. Даже если мы сократим количество карточек, соответствующих подозреваемым в преступлениях в настоящее время, то мы будем иметь дело приблизительно с 29 миллионами карточек (учитывая некоторое дублирование, обусловленное неточностями), или, грубо, с 2 χ 1014 байтами данных. Поэтому нам потребовалось бы около 60 000 трехгигабайтных запоминающих устройств. Это слишком много далее для ФБР. Далее если эта большая база данных будет храниться, то ее нельзя быстро просмотреть и организовать поиск. Однако это количество памяти нельзя считать астрономически большим. Если объем данных будет урезан примерно в 20 раз, он может храниться примерно на 3000 трехгигабайтных запоминающих устройствах. Это все еще очень много, но нельзя сказать, что это невообразимо большое количество данных для государственного учреждения. Поэтому нам необходим метод сжатия данных, т.е. возможность представить информацию с использованием меньшего количества данных, сохраняя при этом достаточную точность для осуществления нужной идентификации. Сжатие данных есть важное поле деятельности в анализе сигналов, которое имеет длинную историю. Текущий промышленный стандарт сжатия изображения был написан Объединенной группой фотографических экспертов (Joint Photographic Experts Group) и называется JPEG. Многие файлы изображений, которые загружаются в Интернете, сжимаются с помощью этого стандарта; поэтому они имеют расширение .jpg. Несколько лет назад ФБР объявил конкурс на разработку методики сжатия их файлов отпечатков пальцев. Различные группы откликнулись на просьбу ФБР и предложили свои методы. Контракт был заключен с группой из Лос-Аламосской национальной лаборатории, руководимой Джонатаном Брэдли и Кристофером Брислоуном; руководителем проекта был Том Хоккер из ФБР. Они предложили сжатие, использующее недавно развитую теорию вэйвлетов. Отчет об этом проекте можно найти в статье Брислоуна (1995).
Пролог: сжатие файлов базы данных ФБР 21 Рис. 2. JPEG-сжатие (любезно предоставлено Крисом Брислоуном, Лос- Аламосская национальная лаборатория) Чтобы понять соображение, в связи с которым был одобрен вэйвлет- проект вместо проектов, основанных на JPEG, рассмотрим изображения на рис. 2 и 3. Оба содержат сжатие изображения отпечатков пальцев на рис. 1 с коэффициентом около 13. Рисунок 2 показывает сжатие, использующее JPEG, а рис. 3 дает изображение вэйвлет-сжатия. Одна особенность JPEG состоит в том, что он сначала разбивает большое изображение на меньшие квадраты и затем осуществляет независимое сжатие в этих меньших квадратах. Это обеспечивает некоторые преимущества, обусловленные локальной однородностью в изображении. Его недостаток состоит в том, что подразбиения могут совпадать недостаточно хорошо на границах малых квадратов. Это приводит к регулярному рисунку из горизонтальных и вертикальных линий, хорошо видных на рис. 2. Они называются блочными артефактами или, более коротко,
22 Пролог: сжатие файлов базы данных ФБР Рис. 3. Вэйвлет-сжатие (любезно предоставлено Крисом Брислоуном, Лос- Аламосская национальная лаборатория) блочными линиями. Это не только вызывает зрительное раздражение, но и является препятствием для машинного распознавания отпечатков пальцев. Методы вэйвлет-сжатия не требуют разбиения изображения на маленькие блоки, потому что нужные свойства локализации естественно заложены в вэйвлет-систему. Поэтому вэйвлет-сжатие на рис. 3 не имеет блочных линий. Это одно из главных соображений, почему контракт с ФБР о сжатии отпечатков пальцев был заключен с группой, занимающейся вэйвлетами. Мы рассматриваем оба метода — сжатие Фурье и вэйвлет-сжатие — в разд. 3.3 этой книги. Примеры сжатия файлов отпечатков пальцев на рис. 2 и 3 показывают, что области математики, развитые в последние годы (в пределах последних 10 или 12 лет), находят большие практические применения.
Глава 1 Основные понятия: комплексные числа и линейная алгебра 1.1. Вещественные и комплексные числа Для начала введем некоторые обозначения. Множество натуральных чисел {1, 2, 3, 4, ...} будет обозначаться буквой N, а множество целых чисел {..., —3, —2, — 1, 0, 1, 2, 3, ...} —буквой Z. Комплексные числа введем несколько позже. Мы предполагаем также знакомство с множеством вещественных чисел и их свойствами, которые коротко приводим ниже. Основные алгебраические свойства множества R следуют из того, что R — поле. Определение 1.1. Полем (F,+,·) называется множество F с двумя операциями: + (называемой сложением) и · (называемой умножением) обладающими следующими свойствами: С1 (замкнутость относительно сложения). Для всех х,у € F определена сумма χ + у, которая является элементом множества F. С2 (коммутативность сложения), χ + у = у + х для всех х, у € F. СЗ (ассоциативность сложения), χ + (у + ζ) = (χ + у) + ζ для всех x,y,z€F. С4 (существование нулевого элемента). Существует элемент поля F, обозначаемый 0, такой, что χ + О = χ для всех χ € F. С5 (существование элемента, обратного по сложению). Для каждого χ € F существует элемент поля F, обозначаемый через —я, такой, что χ + (—х) = 0. У1 (замкнутость относительно умножения). Для всех ж, у € F определено произведение χ-у, которое является элементом множества F. У2 (коммутативность умножения), χ -у = у · χ для всех х, у € F. УЗ (ассоциативность умножения), χ · (у · ζ) = (χ · у) · ζ для всех x,y,ze F. У4 (существование единицы). Существует элемент поля F, обозначаемый 1, такой, что 1^0иЖ'1 = а; для всех χ € F. У5 (существование элемента, обратного по умножению). Для каждого χ € F такого, что χ φ 0, существует элемент множества F, обозначаемый через х~1 (или 1/х), такой, что χ · (х~г) = 1. Д (закон дистрибутивности), χ · (у + ζ) = (χ · у) + (χ · ζ) для всех x,y,z£¥.
24 Глава 1. Комплексные числа и линейная алгебра Мы подчеркиваем, что, в принципе, операции + и · в определении 1.1 могут быть любыми операциями, обладающими требуемыми свойствами. Однако в случае пространств R и С это обычные операции сложения и умножения. В частности, при обычном понимании знаков + и · множество (R, +, ·) образует поле. При этом мы опускаем знак · и пишем ху вместо χ · у. Все основные алгебраические свойства множества R (такие как — (—х) = х) следуют из свойств поля. Они приводятся во многих вводных курсах анализа. В этой книге мы предполагаем все эти свойства известными. Упорядоченное поле есть поле F с отношением <, обладающим свойствами 01-04. Первые два свойства устанавливают, что F есть упорядоченное множество. 01 {принцип сравнения). Если х,у 6 F, то выполняется одно и только одно из следующих соотношений: х < 2/, У < х, У = х- 02 (транзитивность). Если ж,у,ζ € F, где χ < у и у < ζ, то χ < ζ. Оставшиеся два свойства устанавливают тот факт, что операции + и ·, определенные в F, не противоречат отношению порядка <: 03 (непротиворечивость + с <). Если x^y^z € F и у < ζ, то х + у <х + ζ. 04 (непротиворечивость · с < ). Если ж, у 6 F, где 0 < ж и 0 < у, то О < ху. Мы принимаем факт, что множество R с обычным отношением < образует упорядоченное поле. Все стандартные свойства порядка в R (если 0 < х, то —х < 0) следуют из свойств 01-04. Эти свойства понадобятся нам в дальнейшем. Мы используем стандартное обозначение χ > у в том же смысле, что и у < х. Запись χ ^ у (эквивалентная у ^ х) означает, что или χ < у, или χ = у. Для xGR обозначим через \х\ абсолютное значение, или модуль, х, где \х\ = х, если χ ^ 0, и \х\ = —ж, если χ < 0. Поэтому \х\ ^ 0 для всех χ € R, и \х\ = 0 тогда и только тогда, когда χ = 0. Лемма 1.2 (неравенство треугольника в R). Если х,у 6 R, то 1* + У|< И + М- ДОКАЗАТЕЛЬСТВО. Упражнение 1.1.1. ■ Модуль \х — у\ можно интерпретировать как расстояние между точками χ и у в R. (См. упр. 1.1.2.) Это приводит к понятию сходимости последовательности.
1.1. Вещественные и комплексные числа 25 Определение 1.3. Пусть Μ € N и χ Ε R. Последовательность вещественных чисел {хп}™-м схо^ится к %·> если для любого ε > 0 существует N 6 Ν, такое, что \хп—х\ < ε при всех η > N. Последовательность {хп}^м сходится, если она сходится к некоторому пределу χ € R. Определение 1.4. Последовательность {жп}^=м вещественных чисел есть последовательность Коти, если для любого ε > 0 существует такое N 6 Ν, что |жп — хт\ < ε при всех п,т> N. Множество Q рациональных чисел является упорядоченным полем. Свойство, которым отличается от него множество R, есть его полнота. Во многих книгах это формулируется как свойство наличия (точной) верхней грани, а именно что каждое непустое, ограниченное сверху множество вещественных чисел имеет верхнюю грань. Свойство наличия верхней грани приводит к следующему результату. Теорема 1.5 (признак Коши сходимости последовательности). Любая последовательность Коши вещественных чисел сходится. Признак Коши позволяет нам доказать, что последовательность сходится, даже если мы не знаем значения предела. Это особенно полезно, когда мы рассматриваем ряды. Обратное утверждение (т. е. что любая сходящаяся последовательность есть последовательность Коши) также справедливо (упр. 1.1.3). Мы видели, что множество R (с обычным сложением и умножением) образует полное упорядоченное поле. Это характеризует R: любое другое полное упорядоченное поле, по существу, есть то же самое R, за исключением выбора названий и обозначений, даваемых элементам и операциям (более точно, любое другое полное упорядоченное поле «изоморфно» R). Мы не будем это доказывать. В нашей книге мы будем в основном работать с множеством С комплексных чисел. Комплексные числа также образуют полное поле (но не упорядоченное; см. упр. 1.1.4). Один (несколько мистический) способ определения множества С состоит в предположении существования некоторого обобщенного числа г (не вещественного), которое удовлетворяет равенству г2 = — 1. Тогда С определяется как множество всех чисел вида ζ = χ + гу, где х, у 6 R. В этом случае мы вводим в С обычные операции сложения и умножения: для жъ#2>Уъ2/2 € R (χι + iyi) + (х2 + гу2) = {х\ + Х2) + г{у\ + Ы (1.1) и (#1 + гуг) · (х2 + гу2) = (#ι · х2 - У\ - Ы + i(xi -y2 + x2- у\), (1.2) которые мы получаем, если формально перемножаем элементы и используем соотношение г2 = — 1. (Уточним, что мы определили операции
26 Глава 1. Комплексные числа и линейная алгебра + и · в С в левой части уравнений (1.1) и (1.2), используя в правой части обычные операции +, — и ·, определенные вЕ.) Далее будем писать zw вместо ζ · w. Единственная проблема состоит в том, что все это не имеет смысла, если гипотетическое число i не существует. Простейший путь обойти это препятствие состоит в том, чтобы ввести множество С = R х R = {(ж, у): ж, у € R} с операциями + и ·, определенными формулами (si, yi) + (я?2,1й) = 0*1 +s2,ift +ite) (1-3) и (si,!fc) · 0*2»Itt) = 0*1*2 - У1У2,х\У2+Х2У\), (1.4) где +, — и · в правых частях соотношений (1.3) и (1.4)—стандартные операции в R. Уже не встает вопрос о том, имеют ли эти определения смысл. Отметим, что формула (1.3) есть, по существу, соотношение (1.1), а формула (1.4) — по существу, соотношение (1.2). Заметим, что множество Rx {0} = {(ж,0): хеЩ изоморфно R; это означает, что отображение (ж,0) —► χ есть взаимно однозначное соответствие, которое идентифицирует R χ {0} с R. Соотношения (Я?1,0) + (Я?2,0) = (Я?1+Я?2,0) и (Я?1,0) · (#2,0) = (^1^2 — 0· 0, Si -0 + Ж2 Ό) = (Ж1Ж2,0) показывают, что сужения операций (1.3) и (1.4) на R χ {0} не противоречат обычным операциям в R. Поэтому R вложено в С с сохранением операций сложения и умножения. Из формулы (1.4) вытекает равенство (0,1) · (0,1) = (0 · О - 1 · 1,0 · 1 + 0 · 1) = (-1,0). Следовательно, уравнение ζ2 = (—1,0) имеет решение (0,1) в С (фактически два решения, другое решение — (0, —1)), даже если оно не имеет решения в R χ {0}. Так как мы идентифицируем (—1,0) € С с —1 € R, то из этого следует, что уравнение ζ2 = — 1 имеет решение в множестве С, даже если оно не имеет решения в R. В этом нет ничего противоречивого или удивительного. Теперь можно положить по определению г = (0,1).
1.1. Вещественные и комплексные числа 27 При iGR мы пишем χ вместо (ж, 0). Заметим, что при у € К *У = У1 = М)-(0,1) = (0,у), что вытекает из формулы (1.4). Поэтому мы получаем (х, у) = (х, 0) + (0, у) = χ + гу. В этом обозначении равенства (1.3) и (1.4) дают формулы (1.1) и (1.2), и мы возвращаемся назад к исходным позициям, но уже без боязни противоречия. Важно хоть раз выполнить эти упражнения для разных обозначений. Однако на практике никто не использует обозначение (х,у) для комплексных чисел, предпочитая сохранять его для векторного пространства R2 (см. п. 1.3). Здесь мы следуем стандартной терминологии: обозначаем множество комплексных чисел через С, навсегда забыв о множестве С, и вводим его элементы обычным образом, а именно полагаем ζ = χ + гу, где ж, у 6 К. Мы называем χ вещественной частью комплексного числа ζ, а, у — его мнимой частью (довольно неудачное название, проистекающее из недостаточного понимания конструкции, рассмотренной нами ранее). Для вещественной и мнимой частей комплексного числа ζ используются обозначения Re ζ и Im z соответственно. Точки ζ = χ + гу можно рассматривать как точки плоскости, где одна ось (вещественная) содержит точки χ 6 R, а перпендикулярная к ней ось (мнимая) содержит точки гу, где у 6 М. В этой плоскости (ее называют комплексной плоскостью) точка х + гу занимает то же самое место, что и точка (ж, у) в R2. Определение 1.6. Пусть ζ = χ + гу € С. Определим число ζ, комплексно-сопряженное к числу 2, по формуле ζ = χ — гу, квадрат модуля числа ζ равенством \ζ\2 = zz = (x + iy)(x - гу) = х2 + у2, а модуль \ζ\ числа ζ соотношением \ζ\=ν\Ψ=ν^τ^.
28 Глава 1. Комплексные числа и линейная алгебра Эти определения приводят к следующим свойствам. Лемма 1.7. Пусть z,w 6 С. Тогда ζ = ζ, η ζ+ζ τ ζ-ζ Re* = —-, lmz = —— , z + w = z + w, z-w = z-w, \z\=z, \zw\ = \z\\w\, \Rez\^\z\, и |1тг|<|г|. Доказательство. Упражнение 1.1.5. ■ При доказательстве утверждений о комплексных числах студенты часто формулируют их в терминах вещественных чисел. Этого соблазна следует избегать, потому что доказательство в комплексных обозначениях часто бывают гораздо проще. Лемма 1.8 (неравенство треугольника для С). Пусть z,w € С. Тогда \z + w\ ^ \z\ + |ги|. Доказательство. Упражнение 1.1.6. ■ Аналогично рассмотренному выше случаю с множеством R мы понимаем под модулем \z — w\ расстояние на комплексной плоскости между точками ζ и w (см. упр. 1.1.7). Заметим, что если z\ = х\ + гу\ И Z2 = Х2 + ЪУ2, ТО 1*1 - ъ\ = \xi -Х2 + г(Уг - 2/2)1 = у/Ы "" х*)2 + (У1 ~ Ы2, что совпадает с обычным расстоянием в R2 между точками (#i,yi) и (ж2,Ы· Отметим, что (С, +, ·) есть поле (упр. 1.1.8). Комплексный ноль имеет вид 0 = 0 + г О, а комплексная единица равна 1 = 1 + г 0. Число, обратное к ζ = χ + гу по сложению, есть — ζ = —ж — гу. Чтобы найти мультипликативное обратное ненулевого числа ζ = χ + гу, проведем следующие преобразования: 1__1£_^_ # — iy_ # -у ζ ζ ζ \ζ\2 χ2 + у2 χ2 Λ- у2 χ2 + у2 ' Выражение слева еще не имеет смысла, потому что мы не определили деление двух комплексных чисел. Однако можно проверить, что комплексное число _ _,. х | j у х2 + у2 х2 + у2
1.1. Вещественные и комплексные числа 29 действительно обратно по умножению к числу х + гу (в предположении х + гу φ 0). Тем самым определено ζ~ι для ненулевых ζ Ε С, и мы полагаем Ζ ι — = ζ · ги для г, гу G С, где w ф0. w Лемма 1.9. Пусть z,w € С, где w ф0. Тогда \wj w U . . Доказательство. Упражнение 1.1.9. ■ Определения, связанные со сходимостью последовательностей комплексных чисел, формально те же, что и в определениях 1.3 и 1.4. Определение 1.10. Пусть Μ 6 N и ζ 6 С. Последовательность комплексных чисел {ζη}^=Μ сходится к числу ζ, если для любого ε > 0 существует N 6 Ν, такое, что \ζη - ζ\ < ε при всех η > N. Мы говорим, что последовательность {ζη}^=μ сходится, если она сходится к некоторому числу ζ Ε С. Для указания того, что последовательность {*п}^м сходится к числу ζ, используются обозначения lim zn = ζ и ζη —► ζ. η-++οο Определение 1.11. Последовательность {%п}™=м комплексных чисел есть последовательность Коти, если для любого ε > 0 существует N Ε N, такое, что \ζη — zm\ < ε при всех п,т> N. Это приводит к критерию Коши для сходимости последовательности комплексных чисел. Теорема 1.12 (полнота множества С). Последовательность комплексных чисел сходится тогда и только тогда, когда она является последовательностью Коши. Доказательство. Упражнение 1.1.10. ■ Последовательность {#n}J£LM вещественных чисел можно рассматривать как последовательность комплексных чисел. Однако легко видеть, что последовательность сходится в вещественном смысле тогда и только тогда, когда она сходится в комплексном смысле к тому же самому пределу (сравните с упр. 1.1.10). Следовательно, в используемых определениях нет неясностей, и мы пишем lim xn без уточнения поля, п-+оо в котором сходимость имеет место.
30 Глава 1. Комплексные числа и линейная алгебра Упражнения 1.1.1. Доказать лемму 1.2. 1.1.2. Пусть X — произвольное множество. Метрика, или функция рас- стояния на X, есть отображение d: Χ χ Χ —> {t € R: t ^ 0}, удовлетворяющее следующим свойствам: Ml (симметричность): d(x,y) = d(y,x) для всех х, у Е X; Μ2 (невырожденность): d(x,y) = 0 тогда и только тогда, когда ж = у; МЗ (метрическое неравенство треугольника): d(x,z) ^ ^ d(x, у) + d(y, ζ) для всех x,y,z € X. Метрическое пространство (X, d) — множество X с метрикой d. Для ж, у 6 Μ положим й(ж, у) = \х—у\. Доказать, что d — метрика наК. 1.1.3. Доказать, что сходящаяся последовательность {х-пУ^-м вещественных чисел является последовательность Коши. 1.1.4. Пусть F с отношением < есть упорядоченное поле. 1) Предположим, что χ € F и χ φ 0. Доказать, что х2 > 0. 2) Доказать, что не существует отношения порядка < на поле С, которое делает С упорядоченным полем. Подсказка: предположить противное, т. е. что < — такое отношение порядка. Используя (1), доказать, что 0 < —1. Показать, что это противоречит свойствам упорядоченности, при этом < вовсе не обязательно обычное упорядочивание, как при сужении наК. 1.1.5. Доказать лемму 1.7. 1.1.6. Доказать лемму 1.8. Подсказка: не используйте прямую запись в терминах вещественной и мнимой частей. Вместо этого докажите, что \ζ + w\2 = (z + w)(z + w) = \z\2 + 2 Re(2ti;) + \w\2 и примените лемму 1.7. 1.1.7. Для z9w Ε С определим d(z,w) = \z — w\. Доказать, что (C,d) есть метрическое пространство (см. упр. 1.1.2 с определением). Изобразить рисунок в комплексной плоскости и показать, почему условие МЗ в упр. 1.1.2 называется неравенством треугольника. 1.1.8. Убедиться, что множество С с операциями (1.1) и (1.2) есть поле, проверяя выполнение свойств С1-С5, У1-У5 и Д. 1.1.9. Доказать лемму 1.9.
1.2. Комплексные ряды, формула, Эйлера и корни из единицы 31 1.1.10. Пусть {zu}^Lm~ последовательность комплексных чисел. Для каждого числа η положим ζη = хп + гуп, где хп, уп 6 К. 1) Доказать, что {ζη}^Μ есть последовательность Коши комплексных чисел (определение 1.11) тогда и только тогда, когда {хп}^=м и {Уп}^м~ последовательности Коши вещественных чисел (определение 1.4). 2) Доказать, что последовательность {гп}™-м сходится к некоторому ζ = χ + гу 6 С (определение 1.10), где х,у 6 R, тогда и только тогда, когда {xu}^Lm сходится к ж и {уп}^м сходится к у (определение 1.3). 1.1.11. Предполагая справедливость теоремы 1.5, доказать теорему 1.12. 1.2. Комплексные ряды, формула Эйлера и корни из единицы Рассмотрим ряды комплексных чисел. Особый интерес представляют случаи геометрических прогрессий и степенных рядов для sin z, cos z и ez. Используя их, мы установим формулу Эйлера егв = cos θ + isin0. Это приведет к полярному представлению комплексных чисел и позволит нам вычислить корни степени N из комплексных чисел, особенно корни степени N «из единицы», корни числа 1. В гл. 2 мы напишем разложения Фурье векторов, используя комплексные экспоненты, введенные в этом пункте. Начнем с определения сходимости рядов комплексных чисел, которое формально то же, что и для рядов вещественных чисел. Определение 1.13. Ряд комплексных чисел, или комплексный ряд, есть выражение вида где каждое zn — комплексное число и Μ 6 Ζ. При k^ Μ называем k к-й частичной суммой ряда. Если комплексная последовательность {sfc}£LM сходится к некоторому s € С (определение 1.10), то мы говорим, ОО 00 что ряд Σ ζη сходится κ числу s или £) zn = s. Если последователь- ность {sk}^LM не сходится, то мы говорим, что ряд расходится. Это определение вместе с критерием сходимости Коши для комплексной последовательности (теорема 1.12) означает, что ряд сходится
32 Глава 1. Комплексные числа и линейная алгебра тогда и только тогда, когда последовательность его частичных сумм является последовательностью Коши. Лемма 1.14 (критерий Коши для сходимости ряда). Ряд ком- оо плексных чисел Σ ζη сходится тогда и только тогда, когда для < ε при всех любого ε > О существует целое Ν, такое, что т^к> N. Доказательство. Упражнение 1.2.1. ■ Следствие 1.15 (необходимое условие сходимости ряда). Если оо комплексный ряд Υ\ ζη сходится, то lim zn = 0. Доказательство. Упражнение 1.2.2. ■ оо Следствие 1.16 (признак сравнения). Пусть ]ζ ζη — комплексном ный ряд и Σ αη ~ ряд неотрицательных вещественных чисел. Пред- положим, что существует целое число Ν, такое, что \ζη\ ^ ап при оо оо всех η ^ N и что ряд Σ ап сходится. Тогда сходится и ряд Σ ζη- Доказательство. Упражнение 1.2.3. ■ Если элементы ряда — вещественные числа, то они могут рассматриваться как комплексные числа, и определения сходимости для вещественных и комплексных рядов совпадают. С этого момента мы используем термин «ряд», не уточняя, являются его члены вещественными или комплексными. оо Определение 1.17. Ряд Σ ζη сходится абсолютно, если сходится оо ряд Χ) \ζη\. Признак сравнения показывает, что абсолютно сходящийся ряд сходится. Если ряд сходится, но не абсолютно, то переиндексация членов может дать ряд, сходящийся к другому значению (упр. 1.2.4). С абсолютно сходящимся рядом этого случиться не может. Критерий Коши и признак сравнения позволяют нам установить сходимость ряда без определения значения его суммы. Сумма ряда может быть точно вычислена в очень редких случаях. Геометрическая прогрессия представляет собой одно из таких исключений.
1.2. Комплексные ряды, формула Эйлера и корни из единицы 33 Определение 1.18. Геометрическая прогрессия — это ряд вида оо "£2 zn = 1 + ζ + ζ2 + ζ3 + ... η=0 при некотором ζ € С. Заметим, что частичная сумма геометрической прогрессии есть sk = 1 + ζ + ζ2 + ζ3 + ζ4 + · · · + zk~l + zk. Это один из немногих случаев, когда частичная сумма может быть вычислена в явном виде. Для этого заметим, что (1 - z)sk = 1 + ζ + ζ2 + · · · + zk - {ζ + ζ2 + · · · + zk + zk+l). Все члены в правой части сокращаются, за исключением первого и последнего (это называется телескопической суммой), поэтому (1-*)** = Ι-*1*1. Мы можем разделить обе части на 1 — ζ (если это выражение не равняется нулю) и получить равенство *L ι _ -,μ-ι 8k = 22zn = l + z + ** + --- + z!B= _ при ζφ\. (1.5) η=0 В тех случаях, когда ζ = 1, определение дает нам значение sk = k + 1. Используя формулу (1.5), получаем следующий результат. Теорема 1.19 (признак сходимости геометрической прогрес- 00 сии). Пусть ζ € С. Геометрическая прогрессия Σ ζη сходится к 1/(1 — ζ), если \ζ\ < 1, и расходится, если \ζ\ ^ 1. Сходимость при \ζ\ < 1 абсолютная. Доказательство. Упражнение 1.2.5. ■ Заметим, что (1.5) — очень полезная формула, которую мы применим для других целей в гл. 2. Рассмотрим теперь степенные ряды. Определение 1.20. Зафиксируем точку zq € С. Степенной ряд в окрестности точки zo есть ряд вида оо Y^an(z-zo)n, где ап € С для каждого целого η ^ 0. Степенной ряд имеет радиус сходимости, определяемый коэффициентами {ап} по формуле из упр. 1.2.7. Функция /, заданная на открытом множестве О С С (множество, обладающее свойством, что
34 Глава 1. Комплексные числа и линейная алгебра вместе с любой точкой этого множества в нем содержится шар положительного радиуса с центром в этой точке), называется аналитической, если в каждой точке ζ Ε О функция / представляется степенным рядом в окрестности ζ с положительным радиусом сходимости. Здесь мы слегка касаемся обширной области комплексного анализа изучения аналитических функций. Напомним формулы из математического анализа: ОО 2η4·1 °° 2η °° η sinz = V(-lf^—— , cos:r = y^i-lf-l-TT и ех = V~ . έο (2η + 1)!' £- (2n)! Zj»| (1.6) При этом ряды сходятся абсолютно к значениям соответствующих функций в каждой точке χ Ε R. Так как эти ряды сходятся абсолютно, то ряды ΣΓ2η+1 r2n rn (2гс+1)!' ^Щ» И ^Ы" n=0 V ' n=0 V ' п=0 сходятся при любом вещественном числе г. Заменяя г на значение |з|, мы видим, что комплексные ряды ~ y2n+l ~ y2n ~ rn Β-')"^ΤΊ)ϊ· B-D-jbr - Elf n=0 v ' n=0 v ' n=0 сходятся абсолютно для любого комплексного числа ζ. Это также следует из признака Даламбера (упр. 1.2.6). В любом случае следующее определение имеет смысл. Определение 1.21. Для всех ζ € С положим η=0 ν ' η=0 ν ' η=0 (1.7) Когда ζ вещественное, выражения (1.6) и (1.7) совпадают. Итак, определение 1.21 распространяет функции синуса, косинуса и экспоненты на все множество С. Многие из основных свойств вещественных функций синуса и косинуса в формуле (1.6) остаются справедливыми и в комплексном случае. Например, из соотношений (1.7) следует, что cos(—z) = cos ζ и sin(—z) = — sin 2 (1.8) для всех ζ Ε С. Из формул (1.7) вытекает формула Эйлера —очень элегантное и полезное тождество. Теорема 1.22 (формула Эйлера). Для каждого ζ 6 С elz = cos ζ + г sin z. (1.9)
1.2. Комплексные ряды, формула Эйлера и корни из единицы 35 Доказательство. Применим третью из формул (1.7) с подстановкой значения iz вместо ζ и сгруппируем четные и нечетные степени ζ: е -1 + гг+ 2 + 3! + 4! + 5! + 6! + " Λ г2 г2 г4г4 г6г6 \ /. i3z3 ibzb \ Λ г2 ζ4 ζ6 \ . / ζ3 ζ5 \ = (1-т+4Г-вг+-;+Чг-зг+5Г—·) = = cos ζ + г sin ζ. Ш Из этой замечательной формулы следуют любопытные факты, такие как -е™ = 1. Применение формулы Эйлера с —ζ вместо ζ и использование тождеств (1.8) дают формулу e~lz = cos ζ — г sin z. (110) Сложение и вычитание соотношений (1.9) и (1.10) приводят к равенствам etz+e-tz . ег*-е"г* ,, 11Ч cosz = и sinz = — . (Ill) Хотя эти формулы справедливы для всех комплексных чисел г, они представляют для нас главный интерес в случае, когда ζ вещественно. При θ 6 R имеем: eie = cos0 + isin0, e~ie = cos0 - isin0, (1.12) z>*0 ι 0—iB 0iB 0—iB cosfl= \ и sinfl = 0 . (1.13) 2 2г v ' Для 0 € IR из соотношений (1.12) вытекают равенства 7s = е~* (1.14) |ё»| = 1. (1.15) Для нас представляет интерес случай, когда показатели экспонент чисто мнимые: eMei<p = ei(0+<p) для всех 0,<peR. (1.16) Это равенство может быть доказано с помощью одной из формул (1.12), а также с помощью формул тригонометрии (упр. 1.2.9(1)). Лемма 1.23. Пусть z,w € С. Тогда ez+w = ezewt
36 Глава 1. Комплексные числа и линейная алгебра Доказательство. Упражнение 1.2.9 (2). ■ Применяя равенство (1.16), получим, что для ЙЕЕипЕМ (е^)п = еш. (1.17) Эту формулу можно использовать для получения элементарных тригонометрических тождеств более простым способом. Например, мы можем выразить sinn0 и cosn0 через sin0 и cos 0 (в виде многочленов от sin0 и cos0), итерируя формулы сложения для синусов и косинусов. Однако формула (1.17) дает нам для этого гораздо более быстрый путь. Пример 1.24. Выразить sin 40 и cos 40 через sin0 и cos0. Решение. Сначала запишем e4i* = cos40 + isin40. С другой стороны, e4^ = (e^)4 = (cos0 + isin0)4. Раскрывая это выражение с учетом того, что г2 = — 1, имеем: (cos 0 + г sin 0)4 = cos4 0 + 4i cos3 0 sin 0 - б cos2 0 sin2 0- -4icos0sin30 + sin40. Приравнивая вещественную и мнимую части последнего выражения функциям cos 40 и sin 40, получим cos 40 = cos4 0-6 cos2 0 sin2 0 + sin4 0 и sin 40 = 4 cos3 0 sin 0 - 4 cos 0 sin3 0. ■ Далее, первая из формул (1.12) приводит к полярному представлению комплексных чисел (представлению в тригонометрической форме). Пусть ζ = χ + гу 6 С, где х,у 6 R и ζ φ 0. Точка (х/л/х2 + у2, у/у/х2 + у2) находится на расстоянии 1 от нулевой точки в R2 и поэтому лежит на единичной окружности. Следовательно, существует угол 0 (на самом деле бесконечно много углов) такой, что cos0 = х/у/х2 + у2 и sin0 = y/\/x2 + у2. Используя формулу (1.12), получаем = |z|(cos^ + isin^) = |z|eie.
1.2. Комплексные ряды, формула Эйлера и корни из единицы 37 Положив г = \z\, имеем ζ = гегв = г cos θ + ir sin θ. Итак, гег^ находится в той же точке на плоскости С, что и точка с полярными координатами (г, Θ) на плоскости R2. Мы называем гегв полярным представлением комплексного числа ζ, а θ — аргументом ζ, записывая θ = argz. Поэтому г есть расстояние в С от ζ до начала координат, а θ — угол в радианах между положительным направлением оси χ и лучом из нуля в точку ζ. Полярное представление точки ζ = О имеет вид г = 0, а аргумент argO считается неопределенным. Как и в случае полярных координат в R2, полярное представление ненулевого числа ζ е С не единственно. Из соотношений (1.12) и того факта, что функции синуса и косинуса имеют период, равный 2π, получаем, что rei* = rei(*+2M (118) для любого целого к. Отсюда видно, что argz определен с точностью до слагаемого 2&7Г, где к 6 Z. Значение argz, удовлетворяющее неравенству —π < argz ^ π, называется главным значением аргумента. Полярное представление дает геометрическую интерпретацию операции умножения комплексных чисел. Предположим, что ζ\ = ν\βιθι и Z2 = r2e^2. Тогда ZlZ2 = ne*V2 = rir2e^1+fa) из формулы (1.16). Отсюда видно, что модуль произведения есть произведение модулей (как мы это уже знаем из леммы 1.7), а аргумент произведения есть сумма аргументов. Другими словами, результат умножения комплексного числа ζ на гегв состоит в умножении расстояния от ζ до нуля на г и в повороте ζ на угол θ радиан против часовой стрелки. Полярное представление делает вычисление положительных целых степеней комплексных чисел более легким, так как при η 6 N (reie)n = rn(eie)n = rnein\ что следует из равенства (1.17). Пример 1.25. Вычислить (1 + г)43. Решение. Комплексное число 1 + г в полярном представлении имеет вид Λ/2βί7Γ/4, так как |1 + г\ = л/2 и (cos π/4, sin π/4) = (1/\/2,1/\/2). Отсюда (1 + i)43 = (ч/2)43еШ7Г/4 = 221л/2е*(3*/4+107Г> =t= = 221л/2е*3*/4 = 221 ч/2 (cos Ц + isin Ц) = -221 + г г2 21
38 Глава 1. Комплексные числа и линейная алгебра Для сравнения представьте, чего стоит прямое решение этой задачи. Полярное представление позволяет также находить корни из комплексных чисел. Для начала сформулируем задачу, которую решим чуть ниже, после некоторых рассуждений. Пример 1.26. Вычислить все корни 5-й степени из числа 2 + 2%/Зг;т.е. найти все комплексные числа a + гЬ, такие, что (а + гЬ)5 = 2 + 2\/Зг. Если выполнить возведение в степень в левой части уравнения (а + гЬ)5 = 2 + 2\/Зг и приравнять действительные и мнимые части, то получатся два полиномиальных уравнения 5-й степени от двух переменных α и 6. Теперь надо решить систему из этих двух уравнений. Даже одно уравнение 5-й степени от одного переменного нельзя решить с помощью общей алгебраической формулы (это следует из основополагающей теоремы Галуа, — тема абстрактной алгебры), поэтому для решения этой задачи нужно найти какой-нибудь другой подход. Рассмотрим ненулевое комплексное число ζ. Будем искать корни степени N (для N 6 Ν) из него следующим образом. Пусть г = \ζ\ и Θ — значение argz такое, что 0 < θ < 2π. Используем формулу (1.18) и запишем ζ = гегв в виде следующих N выражений: гегв = ге*(0+2тг) _ Γ6ΐ(0+4π) = _ ^(0+2(^-1)^ (1в19) Корни степени N из числа ζ, которые мы хотим найти, будут иметь вид {rl/Neie/N^ rl/Nei(e+2n)/N ^ rl/Nei(e+4n)/N ? ^ ^ μ/'Ν6ί(θ+2(Ν-1)π)/Wj (1.20) или, более кратко, ^/NJiO+lkiyNyN-l^ (L21) Легко видеть, что каждое из этих значений есть корень степени N из числа ζ: из формул (1.17) и (1.18) следует, что (rl/Nei(e+2kn)/NjN = гег(в+2кж) = ^ίθ = χ Заметим, что, хотя модули чисел (1.19) одни и те же, их аргументы различны и лежат между 0 и 2π (включая, возможно, 0, но не 2π). Следовательно, N значений в множестве (1.20) также различны. (Если мы продолжим список значений (1.19), добавляя еще одно значение ν6ι(θ+2Νπ)^ то это ПрИведет к увеличению множества (1.20) на еще один элемент rl/Nel(e+2N^)/N^ который является тем же самым, что и первый элемент Τι/Νβιθ/Ν^ Это следует из формулы (1.18).) Общий результат (см. упр. 1.2.16) показывает, что уравнение ζΝ = w (или любое полиномиальное уравнение степени N) может иметь самое большее N различных решений ζ. Поэтому N различных корней степени N
1.2. Комплексные ряды, формула Эйлера и корни из единицы 39 из числа гегв, записанных в виде (1.20) или (1.21), образуют полное множество искомых корней. Можно подумать, что так как N выражений в формуле (1.19) равны, то это означает, что числа в множестве (1.20) также равны друг другу, но это неверно. Суть состоит в том, что нет такого объекта как единственным образом определенный корень из комплексного числа ζ (за исключением случая ζ = 0), а вместо этого существует N различных комплексных чисел, ЛГ-я степень каждого из которых равна ζ. Решение. Полярное представление 2 есть 4ei7r/3. Мы можем записать 2 + 2\/Зг в следующих пяти видах: 4е«т/з = 4β*7π/3 = 4еШ7Г/3 = 4еШ7г/3 = 4ei257r/3. Следовательно, корни 5-й степени из числа 2 + 2\/3 суть ^/15, W7*/15, #4еШ7Г/15, #4еШ7Г/15 и #4ei257r/i5. Используя формулу (1.12), можем записать эти корни в виде а + гЪ (например, ^/4егтг/15 = ^4οοδ(π/15) + iffisin(n/15) « 1.2906735 + + 0.274341 li, —получается с помощью калькулятора). ■ Теория корней в поле С гораздо проще, чем теория корней в поле R. Во множестве R положительное число имеет 2 вещественных корня степени JV, если N четное число, и один корень, если N нечетное, в то время как отрицательные числа не имеют вещественных корней, если N четное, и имеют один корень, если N нечетное. В множестве С каждое ненулевое комплексное число имеет N различных корней N-R степени. Это типичное явление в математике: ситуация упрощается при правильном обобщении. Для наших целей наиболее важными корнями являются корни степени N из единицы (т. е. корни ЛГ-й степени из числа 1). Согласно только что рассмотренной процедуре, они имеют вид {е***/"}Щ = {1, e2™/N, еш'м,..., ftf-V**/**}. (1.22) Мы завершаем этот раздел кратким обсуждением основной теоремы алгебры. Определение 1.27. Многочленом степени Ν ^ 0 называется функция Ρ вида Ρ(ζ) = aszN + α,Ν-ιζΝ~ι + ... + a2z2 + αχζ + αο, где сц 6 С при i = 0,1,2,..., JV и ajv ^ 0. Число адг называется старшим коэффициентом многочлена Р. Корнем многочлена Ρ является такое комплексное число а, что Р(а) = 0.
40 Глава 1. Комплексные числа и линейная алгебра Мы видели, что в случае ненулевого w € С многочлен zN — w имеет корень (на самом деле N корней). Это частный случай теоремы 1.28. Мы приводим этот результат без доказательства, так как оно выходит за пределы этой вводной главы (но, например, легко следует из результата комплексного анализа, называемого теоремой Лиувилля). Теорема 1.28 (основная теорема алгебры). Пусть Ρ —многочлен степени, большей или равной 1. Тогда Ρ имеет корень в С. Эта теорема была доказана Гауссом в его докторской диссертации. Из нее следует, что любой многочлен над полем С раскладывается на линейные множители. Следствие 1.29. Пусть Ρ —многочлен степени Ν ^ 1 со старшим коэффициентом ам- Тогда существуют комплексные числа ζχ,Ζ2, ..., ζν (не обязательно различные), такие, что Ρ(ζ) = αΝ(ζ - ζχ)(ζ -ζ2)...(ζ- ζΝ). Доказательство. Упражнение 1.2.16. ■ Упражнения 1.2.1. Доказать лемму 1.14. 1.2.2. Доказать следствие 1.15. 1.2.3. Доказать следствие 1.16. 1.2.4. Ряд комплексных чисел условно сходится, если он сходится, но оо не абсолютно. Пусть Σ а& — условно сходящийся ряд веществен- ных чисел. Пусть а — произвольное вещественное число. Покат зать, что существует переиндексированная последовательность {a7r(fc)}fcLi последовательности {ak}(%L1 (это значит, что π есть перестановка множества индексов Ν, т. е. взаимно однозначное оо отображение N на Ν), такая, что ряд ^ ^π(Ατ) сходится к а. оо Подсказка: так как 5Z ак сходится, то lim α& = 0. Так как k=l fc—>+oo оо Σ ak не сходится абсолютно, то ряд из положительных членов к=1 и ряд из отрицательных членов в {ak} должны расходиться. Расположите положительные члены в убывающем порядке (наг зовем их {bk}) и отрицательные члены в порядке убывания их модулей (назовем их {с^}). Образуйте переупорядоченный ряд, взяв достаточное количество элементов bk по порядку, начиная
Упражнения 41 с 6ι, до тех пор, пока их сумма не превзойдет а. Затем добавьте достаточное количество членов с& по порядку, начиная с ci, до тех пор, пока сумма не станет меньше а. Затем добавьте некоторые числа bk из оставшихся так, чтобы сумма ряда стала больше а. Аналогичные операции повторите с с&. В результате при продолжении этого процесса сумма ряда будет каждый раз переходить через значение а. Оставшиеся числа bk и с& всегда имеют бесконечные суммы, поэтому можно добавить их достаточное число, чтобы перейти через значение а. Покажите, что так как последовательности {bk} и {ck} сходятся к нулю, то таким образом полученный ряд сходится к а. 1.2.5. Доказать теорему 1.19. Подсказка: при расходимости применить следствие 1.15. оо 1.2.6. (Признак Даламбера.) Пусть Σ ζη~ ряд из комплексных чи- п—М сел. Предположим, что существует Ι*η+ιΙ lim η—>оо оо 1) Доказать, что если ρ < 1, то ряд Σ ζη абсолютно сходится, п=М оо тогда как, если ρ > 1, ряд Σ ζη расходится. Подсказка: п=М проведите сравнение с геометрической прогрессией и примените следствие 1.16. Используйте то, что последовательность {гп}^=0 расходится, если г > 1. 2) Приведите примеры сходящихся и расходящихся рядов, для которых ρ = 1. (Отсюда следует, что признак Даламбера не дает ответ о сходимости ряда при ρ = 1.) Можно использовать тот факт, что ряд ^ 1/ην сходится тогда и только тогда, когда р> 1. 1.2.7. (Радиус сходимости.) Рассмотрим степенной ряд оо ]Γαη(2-20)η. п=0 Пусть R = 1/lim sup (ΙαηΙ1/71). При этом R считается равным О п—юо или с», если знаменатель равен с» или 0 соответственно. Дока- оо зать, что ряд ^ αη(ζ — ζο)η абсолютно сходится при \ζ — zq\ < R n=0 и расходится при \z — zq\ > R. Число R называется радиусом сходимости ряда. Используйте ту же подсказку, что и в упр. 1.2.6, хотя решение будет другим.
42 Глава 1. Комплексные числа и линейная алгебра 1.2.8. В доказательстве теоремы 1.22 мы неявно использовали факт, оо оо оо что если ряды Σ zn и Σ wn сходятся, то ряд Σ (zn+wn) также η=0 η=0 η—Ο СХОДИТСЯ И ^ оо оо оо Σ&η + Wn) = Σ Ζη + Σ Wn' η=0 η=0 η=0 Доказать этот факт и объяснить, как он был использован при доказательстве формулы Эйлера (какие величины играли роль ζη и wn7). К тому же мы использовали тот факт, что если ряд оо оо Σ ζη сходится и α € С, то ряд Σ αζη также сходится и п=0 п=0 оо оо η=0 η=0 Доказать это утверждение. 1.2.9. 1) Доказать соотношение (1.16). Подсказка: напомним формулы синуса и косинуса для суммы углов: cos(0 + φ) = = cos0cosy> — sin0siny> и sin(0 + y>) = sin Θ cos φ + cos Θ sin φ. оо 2) Доказать лемму 1.23. Подсказка: ez+w = Σ (ζ + w)n/n\ no n=0 определению. Используя формулу бинома Ньютона, разложите (z + w)n. Затем измените порядок суммирования. 1.2.10. Пусть θ 6 R. Выразить sin 50 и cos 50 через sin0 и cos0. 1.2.11. Записать каждое из следующих комплексных чисел в виде a+i Ь, где а, Ь 6 R (ответ не должен содержать тригонометрических функций): 1) e37ri/2, 2) е1™, 3) e27ri/3, 4) Зе™/4, 5) 5e"57ri/6, 6) 2e"327ri/3. 1.2.12. Записать следующие комплексные числа в полярной форме гегв\ где г > 0 и 0 ^ 0 < 2π: 1) 4 + 4i, 2) 2л/3-2г, 3) -3 + 3л/3г, 4) -\/Т5-\/5г. 1.2.13. Найти (л/3 + г)101. Запишите ответ в виде a + г Ь, где а, Ь 6 R, не используя тригонометрические функции. 1.2.14. Найти корни 3-й степени из числа — 2 + 2 г. Запишите ответы в виде α + г Ь, где а, Ь 6 R. Возьмите на выбор один из корней и проверьте его прямым возведением в куб (т. е. проверьте без использования полярного представления). Замечание: можно использовать калькулятор для получения ответа с высокой точностью, но в этом случае вы можете получить точные ответы,
1.3. Векторные пространства и базисы 43 используя формулы для суммы углов (см. упр. 1.2.9) и записывая частное 1/12 как сумму частных 1/3 и 1/4, например, 1/12 = 1/3 - 1/4. 1.2.15. Используя калькулятор, найти все корни 4-й степени числа 3+4 г с несколькими верными десятичными знаками. 1.2.16. 1) (Теорема о делимости многочлена.) Пусть Р — многочлен и α € С. Мы говорим, что ζ — α делит Ρ или ζ — α— делитель многочлена Ρ (записывается как (ζ — α)|Ρ), если существует такой многочлен Q, что Ρ(ζ) = (ζ — a)Q(z). Доказать, что (ζ — α) ΙΡ тогда и только тогда, когда Ρ (а) = О; это означает, что ζ — α делитель Ρ тогда и только тогда, когда а корень Р. Подсказка: «только тогда» следует непосредственно. Случай «тогда» легко следует из алгоритма деления многочленов в том случае, если вы его знаете. Если нет, то наиболее простое доказательство может быть получено сначала из доказательства того, что (ζ — a)\(zk — ak) для любого целого k ^ 1. (Это может быть доказано небольшим обобщением формулы (1.5), которая является частным случаем при а = 1.) Выписав разность P(z) — Ρ(α), придем к общему результату. 2) Доказать следствие 1.29. 3) Доказать, что многочлен степени N может иметь самое большее N различных корней. 1.3. Векторные пространства и базисы В гл. 2 и 3 мы будем работать с векторным пространством Сп. Оно аналогично хорошо известному пространству Rn за исключением того, что его векторы имеют комплексные компоненты. Позже мы сосредоточимся на некоторых бесконечномерных векторных пространствах. Чтобы дать единую трактовку, начнем с общего определения векторного пространства. Далее обсудим понятия линейной оболочки множества векторов, линейной независимости и базисов векторных пространств. Грубо говоря, векторное пространство V над полем F есть множество объектов (называемых векторами), для которых определены две операции, а именно сложение векторов и умножение векторов на элементы поля (называемые скалярами) так, что эти операции обладают некоторыми естественными свойствами. Общее определение 1.1 поля было дано ранее, здесь в качестве примеров мы используем пространства R и С. Определение 1.30. Пусть F —поле. Векторным пространством V над F называется множество с операциями сложения векторов +
44 Глава 1. Комплексные числа и линейная алгебра и умноженуя на скаляры · , которые удовлетворяют следующим свойствам: С1 (замкнутость относительно сложения). При всех и, υ Ε V сумма и + ν определен^ и является элементом пространства V. С2 (коммутативность сложения), и + ν = ν + и для всех и, υ 6 V. СЗ (ассоциативность сложения), и + (v + w) = (и + υ) + w для всех u,v,w € V. С4 (существование нулевого элемента). Существует элемент V, обозначаемый 0, такой, что и + 0 = и для всех и €V. С5 (существование элемента, обратного по сложению). Для каждого и € V существует элемент V, обозначаемый через —п, такой, что и + (-и) =0. У1 (замкнутость относительно умножения на скаляры). Для любого а € F и и 6 V произведение α · η определено и является элементом пространства V. У2 (умножение на мультипликативную единицу скалярного поля). 1 · и = и для всех и € V, где 1 есть мультипликативная единица поляР. УЗ (ассоциативность умножения на скаляры), а · (/? · и) = (α/?) · η для всех а, /3 G F и η 6 V. Д1 (первое свойство дистрибутивности), а · (п+г;) = (а · п) + (а · г;) для всех а е¥ ищу eV. Д2 (второе свойство дистрибутивности), (α+β) - и = (а - η) + (β · и) для всех а, /? 6 F и и G V. Свойства С1-С5 гарантируют разумное поведение суммы. Свойства поля также обеспечивают разумное поведение скаляров. Свойства У1-УЗ и Д1-Д2 устанавливают, что умножение на скаляры совместимо с векторным сложением. В дальнейшем мы будем опускать символ · для умножения на скаляры, записывая оси вместо а · и. Пример 1.31 (пространство Rn). Поле F в этом примере —это R. Пусть Rn — множество всех n-мерных вещественных векторов ГжГ \χ2\ X = Χηη
1.3. Векторные пространства и базисы 45 где #ι,#2>#3,. · · 'Жп ^ "*· ВектоРное сложение и скалярное умножение определяются обычным образом: для α € R и £;, у, € R, г = 1,2,... η α Можно непосредственно проверить, что наделенное этими операциями множество Rn есть векторное пространство над полем R. Пример 1.32 (пространство Сп). Здесь поле F есть С. Пусть Сп — множество всех n-мерных комплексных векторов "z{ \хг \Х2 \JEn_ = ax\ ax2 αχη_ и χι Χ2 Χη_ + Vi У2 .»η. = Х1+У1~\ Χ2 + ί/2 Χη + Уп\ Ζ = 22 где ζι, 2^2, 23, · · · ? 2η € С Мы называем ζχ, Ζ2,..., 2η компонентами вектора г. Пусть для α € С и zt, ад; € С при г = 1,2,... η 21 Г2 ич = αζι α^2 αζη_ и 21 22 J4 + W\ W2 wn_ = 2i +Wi'\ 22 + W2\ Zn + tl7nJ a Легко проверить, что множество Сп с этими операциями есть векторное пространство над полем С. В рассмотренных примерах элементы векторного пространства, или векторы, состояли из элементов числового поля. В общем случае это может быть совсем не так; см. упр. 1.3.1(1) и следующий пример. Пример 1.33. Пусть [0,1] = {χ ε R: 0 ^ χ ^ 1}. В этом примере полем является множество С. Пусть V — совокупность всех комплекснознач- ных функций на отрезке [0,1], т. е. V = {/:[0,1]->C}. Определим сложение обычным способом: для /,ρ ε V сумма f + g есть функция на [0,1], заданная равенством (f + g)(*) = f(*) + g(*)· Умножение на скаляры также определяется естественным образом: для α ε С и / ε V произведение а/ есть функция на [0,1], такая, что (af)(x)=af(x). Поэтому V есть векторное пространство над полем С (упр. 1.3.1(2)).
46 Глава 1. Комплексные числа и линейная алгебра Определение 1.34. Пусть V — векторное пространство над полем F, η 6 N и vi, V2,..., νη € V. Линейной комбинацией векторов v\, V2,..., νη называется сумма вида η У^ otjVj = αχνχ + а$оъ + ... + anvn, i=i где αι,α2,...,αη € F. Заметим, что в определении требуется, чтобы линейная комбинация была конечной суммой. Определение 1.35. Пусть V — векторное пространство над полем F и пусть U С V. Линейной оболочкой подпространства U (обозначаемой span U) называется множество всех линейных комбинаций элементов из U. В частности, если U — конечное множество, т. е. t/ = {ui,u2,...,un}, то п spanU = < 2^ <*зиз: аз ^ ^ ПРИ всех J = 1,2,..., η >. Чтобы визуально представить себе линейную оболочку, заметим, что оболочка одного ненулевого вектора и вЖп состоит из всех векторов, лежащих на линии, проходящей через начало координат и содержащей и. Если и и г; — два неколлинеарных вектора в R3, то span{u, г;} образует плоскость, проходящую через начало координат, содержащую векторы и и v. Определение 1.36. Пусть V — векторное пространство над полем F и v\, V2,..., vn — элементы V. Мы говорим, что векторы v\, V2,..., νη линейно зависимы (или что {τ;χ, г?2, ·. · ,vn} есть линейно зависимое множество), если существуют а\,а2,... ,otn 6 F, не все равные нулю, такие, что a\V\ + OL2V2 + . . - + OtnVn = 0. Мы говорим, что векторы v\,V2,... ,vn линейно независимы (или {v\,V2, · · · ·>νη} есть линейно независимое множество), если равенство OL\V\ + OL2V2 + . . . + anVn = 0 выполняется, только когда ctj = 0 для каждого j = 1,2,3,..., п. В случае бесконечного подмножества U пространства V мы говорим, что U линейно независимо, если любое конечное подмножество U линейно независимо, и мы говорим, что U линейно зависимо, если U имеет конечное подмножество, которое линейно зависимо.
1.3. Векторные пространства и базисы 47 Другими словами, векторы νχ,ι^,... ,νη линейно независимы, если лишь тривиальная линейная комбинация a\V\ + ot^v^ + ... + cxnvn равняется нулю (otj = 0 при всех j = 1,2,...,η ). Если существует нетривиальная линейная комбинация элементов νι,ν2,...,νη, которая равняется нулю, то векторы νχ, V2,..., г;п линейно зависимы. Последняя часть определения 1.36 согласуется с первой частью с помощью упр. 1.3.7. Если множество линейно зависимо, то один элемент может быть записан как линейная комбинация остальных, и этот элемент может быть удален из множества без изменения линейной оболочки (упр. 1.3.8). Определение 1.37. Пусть V — векторное пространство над полем F. Подмножество U пространства V называется базисом пространства V, если U — линейно независимое множество такое, что span £7 = V. Базисы также характеризуются следующим образом. Лемма 1.38. Пусть V — векторное пространство над полем ¥ и U — непустое подмножество V. 1) Предположим, что U конечно uU = {щ, u<i,..., ип} при некотором η Ε Ν с Uj φ Uk при j φ fc. Тогда U есть базис пространства V тогда и только тогда, когда для каждого vGV существует η единственный набор αχ, «2,..., αη € F таких, что ν = Σ otjUj. ί=ι 2) Если U бесконечно, то U есть базис V тогда и только тогда, когда для каждого ненулевого ν 6 V существуют: единственное т € Ν, ί/χ,ί/2,... ,um € U и ненулевые элементы т αχ,θ!2,...,otm € F такие, что ν = Σ cxjUj. Доказательство. Упражнение 1.3.11. ■ Приведем простейший пример базиса. Определение 1.39. Определим базис Ε = {βχ, β2,..., еп} равенствами IT 0 0 L°. ,e2 = "0" 1 0 0. ,e3 = "0" 0 1 0. , . . . , βγι го] 0 0 _lj Эти векторы можно рассматривать как элементы пространства Rn и как элементы пространства Сп. Мы называем базис Ε стандартным, или евклидовым, базисом Rn или Сп.
48 Глава 1. Комплексные числа и линейная алгебра Эта терминология оправдана потому, что Ε — базис пространств Rn или Сп. Чтобы в этом убедиться, проверьте определение или используйте лемму 1.38 и заметьте, что вектор с компонентами αϊ,с*2, · · · ,otn η может быть единственным образом записан в виде Σ ctjej. Может 3=1 показаться странным, что одни и те же векторы могут охватывать пространство Rn и кажущееся более широким пространство Сп, но это происходит потому, что скалярное поле для Сп есть С, в то время как для Rn это R. Если векторное пространство V имеет базис, состоящий из конечного числа элементов, мы говорим, что V — конечномерное пространство. В этом случае любые два базиса V имеют одно и то же число элементов. Теорема 1.40. Пусть V — векторное пространство над полем F. Предположим, что V имеет базис, состоящий из η элементов. Тогда любой другой базис V также имеет η элементов. Доказательство. Упражнение 1.3.13. ■ Это позволяет нам дать определение 1.41. Определение 1.41. Пусть V — конечномерное векторное пространство. Число элементов в базисе V называется размерностью пространства V и обозначается dim V. Если dim V = η, мы говорим, что V есть п-мерное векторное пространство. Теорема 1.42 отмечает тот полезный факт, что совокупность η векторов в n-мерном векторном пространстве образует базис, если выполняется одно из двух условий (что они линейно независимы, или что их линейная оболочка совпадает со всем пространством) в определении 1.37. Теорема 1.42. Предположим, что V есть n-мерное векторное пространство и v\, V2, ..., vn —различные векторы в V. Тогда vi,i;2, ..., vn линейно независимы тогда и только тогда, когда span{vi,v2,...,vn} = V. Доказательство. Так как V есть n-мерное пространство, V имеет базис, состоящий из η векторов, например w\, W2, ·.., wn. Сначала предположим, что νχ, V2,..., νη линейно независимы. Пусть и 6 V — произвольный вектор. Тогда u,v\,V2,... ,vn — это п+ 1 векторов, принадлежащих span{wi,W2,... ,wn}. Согласно упр. 1.3.12, векторы u,vi,V2,··· ,^п линейно зависимы. В соответствии с упр. 1.3.9(2) это означает, что и € span{i;i,i;2,... ,г;п}. Так как и произвольный вектор, это доказывает, что span{i;i, V2,..., νη} = V.
1.3. Векторные пространства и базисы 49 Теперь предположим, что span{vi,^2,..., vn} = V. Если v\, V2,..., νη линейно независимы, то, согласно упр. 1.3.8(2), мы можем найти подмножество из η — 1 векторов, линейная оболочка которых все еще совпадает с V. Тогда ΐϋχ, г^2,..., wn — это η линейно независимых векторов, принадлежащих линейной оболочке из η — 1 векторов, что невозможно в соответствии с упр. 1.3.12. Это противоречие показывает, что векторы vi > ^2? · · · , vn линейно независимы. ■ Определение 1.43. Пусть V — векторное пространство над полем F и S = {vi,V2,...,vn} естъ базис V. Согласно лемме 1.38, для любого вектора ν € V существует единственный набор αϊ,аг,...,αη Ε F, такой, η что ν = Σ α^^'· Обозначим через [ν] 5 вектор вРс компонентами i=i αι,α2,. ,αΐη Ms = αϊ «2 «η (1.23) Элемент aj называется j-U компонентой вектора ν в базисе 5. Другими словами, для базиса S = {νι,ι^,...,νη} формула (1.23) η означает, что г; = Σ otjVj. 3=1 Не следует путать [v]s с самим вектором v. Во-первых, это объекты различного типа. Например, если векторное пространство есть Рп — полиномы степени η (см. упр. 1.3.1(1)), то ν — многочлен, в то время как набор [v]s является n-мерным вектором чисел. Во-вторых, даже если векторное пространство V есть Шп или Сп, и г; —это набор из η чисел (вполне определенный объект для любого базиса), то ν и [v]s — это различные наборы из η чисел (если только S не евклидов базис, о чем будет сказано ниже). Таким образом, мы не отождествляем [v]s с ν (так как n-мерные числовые векторы равны, только если имеют одинаковые компоненты). Вместо этого [v]s есть вектор, компоненты которого —это компоненты υ относительно базиса 5. Однако компоненты вектора ν в евклидовом базисе Ε (определение 1.39) —это обычные компоненты v. Например, если Г1 \z2\ Ζ = lzn\
50 Глава 1. Комплексные числа и линейная алгебра η есть вектор в Сп (аналогично для Rn), то ζ = £ zjej> и поэтому ζ = [ζ]Ε. (1.24) Предположим, что V есть n-мерное векторное пространство над полем С (аналогичные замечания справедливы для R). Мы можем представить любой элемент ν из V в заданном базисе вектором в Сп. Итак, в соответствующем смысле (а именно в смысле изоморфизма векторных пространств, которого мы не определили), любое n-мерное векторное пространство над полем С эквивалентно Сп. Если мы касаемся только конечномерных векторных пространств над R и С с точностью до изоморфизма, все, что нам необходимо рассмотреть, это Rn и Сп. Поэтому общая теория векторных пространств требуется только в том случае, если мы хотим рассматривать более общие поля (чего мы не делаем) или бесконечномерные векторные пространства (что мы сделаем позже). В абстрактном смысле любой базис так же хорош, как и другой. Однако в частных случаях (например, если мы изучаем специальный линейный оператор) выбор базиса может иметь первостепенную важность. Многие задачи линейной алгебры сводятся к выбору базиса, в котором задача максимально упрощается. Это также лежит в основе анализа Фурье и вэйвлет-теории, излагаемых в этой книге. Упражнения 1.3.1. 1) Для произвольного η Ε Ν обозначим через Рп совокупность многочленов над С степени ^ п. Определим сложение и умножение на комплексные числа в функциональном смысле: это значит, что для р,д Ε Ρη и α 6 С мы имеем (р + ч)(х) = Р(х) + ч(х) и (aP)(x) = otp(x). Доказать, что Рп есть векторное пространство над С. 2) Доказать, что множество V в примере 1.33 с определенными там операциями образует векторное пространство над С. 1.3.2. Пусть V — векторное пространство над полем F, и пусть U — подмножество V. Мы говорим, что U есть подпространство V, если множество U само с операциями, унаследованными из V, образует векторное пространство над F. Большинство свойств векторного пространства автоматически справедливы в U как раз потому, что они справедливы в большем множестве V. Докажите, что для того, чтобы убедиться, что U есть подпространство
Упражнения 51 V, необходимо проверить, что U φ 0 (где 0 — пустое множество); если щ ν 6 17, то и + ν 6 17; если u eU и α € F, то au eU. Другими словами, если 17 — непустое подмножество, то необходимо только проверить, что U само есть замкнутое множество относительно сложения и умножения на скаляры. 1.3.3. Пусть V — векторное пространство над полем F, и пусть ui, П2,..., пп € V. Доказать, что span{ui, U2,..., un} есть подпространство V. (Использовать результат упр. 1.3.2.) 1.3.4. Доказать, что векторы г г -2 L3 J "-2" 3 _ 1 _ и "51 1 2\ линейно независимы в R3. 1.3.5. Доказать, что векторы Г г 2 + г Lз ? 2 —г _4-г_ и "31 -1 2 J линейно независимы в С3. 1.3.6. Доказать, что любая совокупность векторов, содержащая нулевой вектор, линейно зависима. 1.3.7. Доказать, что если U — конечное множество векторов, которое содержит линейно зависимое подмножество, то U — линейно зависимое. 1.3.8. Пусть г?1, г?2,... ,vn — линейно зависимые векторы в некотором векторном пространстве. 1) Доказать, что существует некоторое j 6 {1,2,3,..., η}, такое, что Vj Ε span{i;i, v2,..., гл,_ь vj+u..., νη}. 2) Для j, определенного в п. 1), доказать, что span{i;i,i;2,... ,Vj,... ,vn} = sptm{vi,v2,... ,Vj-Uvj+u... ,vn}. 1.3.9. Пусть u, v\, г;2,... ,vn — векторы в некотором векторном пространстве. 1) Если и Ε span{i;i,г;2,..., νη}, доказать, что и, ν\, ν2,..., vn — линейно зависимые.
52 Глава 1. Комплексные числа и линейная алгебра 2) Пусть v\, v2,..., νη — линейно независимые векторы. Если u, vi, v2,..., νη — линейно зависимые векторы, то u € span{i;i,i;2,... ,vn}. 1.3.10. Пусть V есть n-мерное векторное пространство, к ^ η и {vi,V2,... ,Vk}— линейно независимое множество в V. Показать, что существуют Vk+\,..., νη в V, такие, что {vi, t£,..., νη} есть базис для V. (Другими словами, любое линейно независимое множество может быть дополнено до базиса.) Подсказка: если к φ n,span{i;i,i;2,... ,г;д;} φ V. Тогда существует Vk+i € V\span{i;i,i;2,... ,г;^}. Из упр. 1.3.9(2) следует, что множество {νχ,..., г;^, Vk+i} — линейно независимое. Продолжите этот прием. 1.3.11. Доказать лемму 1.38. 1.3.12. Предположим, что η + 1 векторов принадлежат линейной оболочке из η векторов: Wj 6 span{i;i,i;2,... ,vn} для j = 1,2, ...,n + 1. Доказать, что од, од,... ,wn,wn+i линейно зависимы. Подсказка: доказать это индукцией по п. Пусть рп — нужное утверждение. Нетрудно показать справедливость утверждения для случая η = 1. Предположим, что справедливо Pn-i- Чтобы доказать рп, запишем од = ahivi + ah2v2 + ... + ahnvn, од = a2,ivi + a2i2v2 + .*. + a2ynvn, wn+i = an+i,ii;i + an+i2V2 + ... + αη+ι,ηι;η. Если wn+i = 0, то утверждение доказано (упр. 1.3.6). В противном случае по крайней мере один из коэффициентов не равен нулю. В результате переиндексации мы можем предположить, что ап+1)П φ 0. Рассмотрим векторы ик = wk - ( α*'η ) Wn+i при к = 1,2,..., п. Выражение щ через vi, v2,..., νη показывает, что значение νη отсутствует. Следовательно, Uk € span{i;i, ..., νη-ι}. Исходя из индукционного предположения рп-ъ имеем, что Ui,U2, ..., un — линейно зависимые векторы. Показать, что это означает линейную зависимость од, од,..., wn+i. 1.3.13. Доказать теорему 1.40. Подсказка: использовать упр. 1.3.12.
1.4. Линейные преобразования, матрицы 53 1.3.14. Пусть Л— базис конечномерного векторного пространства V над полем F. Доказать, что: 1) [и + г;]я = [и]я + Ия для всех щν е V; 2) [ocv)r = а[г;]я для всех a € F и ν € V. 1.3.15. Пусть V — конечномерное векторное пространство над С с баг зисом Л. Пусть vi, 02,..., vm — элементы V. Доказать, что множество {г?1,г;2,... ,vm} линейно независимо в V тогда и только тогда, когда множество {[νι]#? Мя? · · · ι Ьт]я} линейно независимо в Сп. 1.4. Линейные преобразования, матрицы и переход от одного базиса к другому В математике мы часто встречаемся с классами объектов, имеющими некоторую структуру, например группы, поля, метрические или топологические пространства. В каждом случае мы рассматриваем отображения между этими объектами, которые с ней совместимы или сохраняют эту структуру, такие как гомоморфизмы или изоморфизмы групп, изометрии метрических пространств и гомеоморфизмы топологических пространств. Векторные пространства имеют линейную структуру, сформулированную в определении 1.30. Отображения, которые соответствуют этой структуре, называются линейными преобразованиями. Определение 1.44. Пусть U и V — векторные пространства над одним полем F. Линейное преобразование Τ есть функция Т: U —* V, обладающая следующими свойствами: Л1 {аддитивность). Т(и\ + щ) = Т(щ) + Т(щ) для всех щ, щ € U. Л2 (однородность относительно умножения на скаляры). Т(аи) = = аТ(и) для всех a Ε F и и € U. Пусть Г: U —* V есть линейное преобразование и U — конечномерное пространство с базисом {ui,U2,...,%}. Тогда Τ определяется своим действием на базис {ιΐι,ί/2,... ,ип} в следующем смысле. Пусть и Ε U. Тогда по лемме 1.38 существуют единственные скаляры αι,α2? · · · >α:η, η такие, что и = ^ ctjUj. Из свойств Л1 и Л2 следует, что 3=1 т(и) = г(]Гвд) = Σα'Γ^)' В частности, предположим L: U —* U есть линейное преобразование и L(uj) = r(uj) для всех j = 1,2,..., п. Тогда L = Г, т. е L(u) = T(u)
54 Глава 1. Комплексные числа и линейная алгебра для всех и € С/, так как вышеприведенная формула показывает также, η что L(u) = Σ ajL(tij). Напомним (определение 1.43), что для заданного базиса S = {щ, ί/2,... ,un} векторного пространства U вектор [u]s является элементом Fn (например, в Rn или Сп), компоненты которого αι,α2,... ,αη —это η коэффициенты в разложении и = £ ajwj· Любое линейное преобра- зование Г: 17 —* V может быть представлено в базисах пространств U и V с помощью матричного умножения, которое будет определено в лемме 1.49. Сначала мы определим матрицы и естественные операции над ними. Определение 1.45. Для m,n Ε Ν матрица А размера т χ η wad полел* F есть прямоугольный массив вида ац ai2 ... ain , «21 «22 · " · tt2n [p"ml °"m2 · · · «mnj где G4j G F при всех i = 1,2,..,,ши j = 1,2,..., п. Значение ay называется (i,j)-M элелсентолс лсатрп^ы А. Матрицу А также можно записывать в виде («ij]i<i<m,i<j<n или, когда понятно, о каких тип идет речь, — в виде [ay]. Заметим, что матрица размера η χ 1 — это вектор из η компонент, который есть элемент пространства Rn или Сп. Сложение матриц одинакового размера определяется как очевидное сложение соответствующих элементов. Скалярное умножение также определяется естественным образом. Определение 1.46. Пусть А = [ay] и В = [6у] —две матрицы размера т χ η над одним полем F. Тогда А + В есть матрица С = [су] размера m χ η, в которой су = ay + by для всех i = 1,2,... т и j = 1,2,... п. Пусть а 6 F; тогда аЛ есть матрица Z) = [dy] размера m χ η, в которой dij = aay для всех i,j. Умножение матриц — это более хитроумный процесс. Определение 1.47. Пусть А = [ay] есть матрица размера πι χ / над полем F и В = [Ьу] есть матрица размера / χ η над тем же полем F. Тогда АВ есть матрица С = [су] размера m χ η, в которой су = 22 aik^k3 для i = 1,2,... т и j = 1,2,... η.
1.4. Линейные преобразования, матрицы 55 Для вещественных матриц Qj есть скалярное произведение г'-й строки матрицы А на j-ft столбец матрицы В. Заметим, что умножение матрицы размера πι χ / определено только на матрицу размера / χ η, которое дает матрицу размера га χ η (индекс / «сокращается»). Умножение матриц некоммутативно: во-первых, когда определено АВ, может быть так, что В А не определено; во-вторых, даже если обе матрицы определены, мы можем получить, что АВ φ ΒΑ. Однако умножение матриц ассоциативно: для А = [ttij]i<i<m,i<j</j в = Mi<i<*,i<j<b с = tej]i<i<M<:/<n элементы с индексами (i, j) матриц (АВ)С и А(ВС) размера mx n равны ι к У , У ;aipbpqCqj. p=lq=l Особым частным случаем, представляющим интерес, является произведение матрицы А размера πι χ η и матрицы χ размера η χ 1 (т. е. вектора). Результатом является у = Ах — матрица размера πι χ 1, которая представляет собой вектор из га компонент. Отображение Г, ставящее в соответствие вектору χ элемент Ах так, что Fn —* Fm (например, F = R или С), определенное равенством Т(х) = Ах, есть линейное преобразование (упр. 1.4.2). По определению 1.47 г-я компонента вектора Ах равна η {Ax)i = 2ZaikXk' k=l В более общих конечномерных векторных пространствах матрица приводит к линейному преобразованию, действуя на вектор компонент в заданном базисе. Лемма 1.48 (линейное преобразование, ассоциированное с матрицей). Пусть U u V —конечномерные векторные пространства над полем F. Предположим, что R = {^ι,ί/2,... ,un} есть базис U и S = {^1, г;2, ..., vm} есть базис V. Пусть А — матрица размера тхп над полемF. Определим отображение Та: U —► V следующим образом: для и 6 U пусть Тл(и) есть элемент V, вектор компонент [Ta{u)]s которого в базисе S есть А[и\ц> т. е. [TA(u)]s = A[u]R. Тогда Та есть линейное преобразование. Доказательство. Упражнение 1.4.3. ■ Таким образом, каждая матрица дает линейное преобразование. Обратное также справедливо: каждое линейное преобразование между
56 Глава 1. Комплексные числа и линейная алгебра двумя конечномерными векторными пространствами может быть представлено матрицей. Лемма 1.49 (матричное представление линейного преобразования). Пусть U u V —конечномерные векторные пространства над полем F. Предположим, что R = {ui,u2,... ,ип} есть базис U, S = {v\,v2,..., vm} есть базис V и Т: U —► V —линейное преобразование. Так как T(uj) 6 V для каждого j, mo существуют единственные скаляры aij, г = 1,2,..., т и j = 1,2,..., η, такие, что Т(щ) = αηνι + a2ii;2 + ... + am\vm, T(u2) = α12νχ + a22v2 + ...+ am2vm, T(un) = a\nv\ + a2nv2 + ... + amnvm. Пусть A — матрица размера πι χ η, у которой k-й столбец состоит из скаляров otik, a2k, · · ·, &mk β разложении Т(щ): А = ац а\2 а2\ а22 Gin amn Тогда [T(u)]s = A[u]R для всех ueU. (1.25) Более того, А — единственная матрица, удовлетворяющая соотношению (1.25). Доказательство. Пусть и € U — произвольный вектор. Пусть ci, С2, ..., Сц — компоненты и относительно базиса Д, т. е. Мя = или, эквивалентно, и = Σ CjUj. По определению матрицы А справед- 3=1 т ливо равенство Т{щ) = Σ aijVi. г=1 Ввиду линейности (η \ η η τη πι ί η \ Σ сзиз Ι = Σ ciTiui) = Σ ci Σ °*^=Σ Σ α№ νί· j=l J j=l j=l г=1 *=1 \j=l J
1.4. Линейные преобразования, матрицы 57 Следовательно, i-я компонента вектора Т(и) в базисе S есть ^ (HjCj\ это по определению — г-я компонента произведения матрицы А на вектор [u]r. Отсюда следует (1.25). Доказательство единственности матрицы А мы оставляем читателю (упр. 1.4.6). ■ Матрицу А из леммы 1.49 называют матрицей, представляющей преобразование Τ в базисах R и S. Мы иногда записываем ее как Αχ. Пример 1.50. Определим базис R для R2: и базис S для R S=< -Μ) 1 0 2 ) 0 1 1 ϊ 1 0 3 } Зададим преобразование Г: R2 —► R3 формулой \2х - у] х + у . [х - Зу\ Требуется найти матрицу А, которая представляет Г в базисах R и 5. Решение. По определению 3 3 -1 ■ гР= -2 2 -6 Согласно лемме 1.49, мы должны найти {<Hj}, такие, что Гз" 3 -1 = «11 Т 0 2 + 021 "0" 1 1 + 031 "1] 0 3 (1.26) Г-2" 2 1-е = αΐ2 1 0 2 + 022 0 1 1 + аз2 1 0 3 (1.27) Это —линейные системы; например, уравнение (1.26) есть система 1ац +0α2ΐ + 1α3ι = 3, Оац + 1α2ι +0аз1 =3, 2ац + 1α2ΐ +3азг = —1,
58 Глава 1. Комплексные числа и линейная алгебра которая может быть решена, например, методом исключения Гаусса, что (мы опускаем вычисление) дает ац = 13,α2ΐ =3 и asi = —10. Аналогично, решая уравнения (1.27), получаем &12 = 2, а22 = 2 и аз2 = —4. Следовательно, А = 13 2 3 2 -10 -4 Леммы 1.48 и 1.49 показывают, что существует полное соответствие между матрицами и линейными преобразованиями в конечномерных векторных пространствах. Чтобы лучше понять это соответствие, мы рассмотрим некоторые свойства линейных преобразований и соответствующие свойства связанных с ними матриц. Следующее определение сформулировано в общей форме потому, что оно имеет смысл для любой функции. Определение 1.51. Пусть U и V — множества и Г: U —► V — отображение. Говорят, что Г взаимно однозначно (пишут «1-1») или инъектиено, если Т{и\) = Т{щ) означает, что и\ = ί/2· Говорят, что Г есть отображение «на» или сюрзективно, если для каждого υ € V существует и € f/, такое, что Т(и) = υ. Отображение Τ обратимо или биективно, если Г есть одновременно «1-1» и «на». Другими словами, Г есть «1-1», если соотношение щ φ U2 означает, что Т(щ) φ T{u<i)\ это значит, что Г не может принимать два различных значения для одного аргумента, и Г есть отображение «на», если Г принимает значение каждого элемента в V. Если Г есть «1-1» и «на», можно определить обратное отображение Г-1: V —► U следующим образом: для каждого υ 6 V существует (так как Г есть «на») единственный (так как Г есть «1-1») элемент и Ε U, такой, что Т(и) = υ. Пусть Г-1 (г;) = и. Тогда легко видеть, что Г""1 есть обратное к Г отображение в том смысле, что Г_1(Г(п)) = и для всех и 6 U и Г(Г_1(г;)) = υ для всех υ € V. В этом смысл употребления термина обратимо в определении 1.51. С терминами «1-1» и «на» связаны ядро и область значений линейного преобразования. Определение 1.52. Пусть £7, V — векторные пространства, Г: U —► —► V — линейное преобразование.
1.4. Линейные преобразования, матрицы 59 Ядром Τ называется множество всех векторов, которые отображаются в нулевой вектор преобразованием Т, т. е. kerT = {ueU:T(u) = 0}. Область значений Τ есть множество всех векторов в V, которые являются образами некоторых векторов в U при преобразовании Г: rangeT = {T(u): ueU}. По определению Τ есть отображение «на» тогда и только тогда, когда range(T) = V. Так же из линейности Г следует, что Г есть «1-1» тогда и только тогда, когда ker(T) = {0} (упр. 1.4.7). Соответствующим понятию обратимого линейного преобразования есть понятие обратимой матрицы. Для этого нам сначала нужно определить единичную матрицу. Определение 1.53. Единичная матрица I размера пхп над R или С есть матрица [o>ij]i^ij^n такая, что ац = 1 для г = 1,2,..., η и ау = 0, если г φ j. Другими словами, J есть матрица с элементами, равными 1 на главной диагонали и равными нулю на всех других местах. Простое вычисление показывает, что 1х = χ для любого вектора χ € Rn или Сп, именно поэтому матрицу / и называют единичной. Определение 1.54. Пусть А есть матрица размера пхп над R или С. Мы говорим, что А — обратимая матрица, если существует матрица размера пхп, обозначаемая А-1, такая, что А~1А = 1 и АА~г=1. Матрица А~г, если она существует, называется обратной матрицей для матрицы А. Для матриц 2x2 полезно вспомнить, что если ad — be φ 0, то ι-l а Ь с d 1 d -Ь —с а ad —be Обратимые линейные преобразования соответствуют обратимым матрицам. Лемма 1.55. Пусть U и V —n-мерные векторные пространства над полем С (аналогично, если оба над R). Предположим, что Т: U —► V есть линейное преобразование. Пусть R — базис U и S — базис V. Пусть At — матрица, которая представляет Τ в базисах R и S, как в лемме 1.49. Тогда Τ — обратимое преобразование тогда и только тогда, когда At есть обратимая матрица.
60 Глава 1. Комплексные числа и линейная алгебра Доказательство. Сначала предположим, что Г —обратимое преобразование. Пусть ζ — произвольный элемент Сп с компонентами 21,22, η ..., ζη. Предположим, что R = {ui, U2,..., un}. Пусть u = ^ ZjUj ; дру- гими словами, [u]r = ζ. Пусть Αγ-ι — матрица, которая представляет Г-1 в базисах S и R. Тогда ζ = [u)R = [T-\T(u))]R = AT-i[T(u)]s = Так как 2 — произвольный элемент Сп, то Ατ-ιΑτ = / согласно упр. 1.4.6(1). Из симметричности аргументов также следует, что АтАт-1 = J. Поэтому Ат — обратимая матрица с обратной матрицей Ат-1. В обратную сторону. Предположим, что Ат — обратимая матрица. Тогда kerT= {0}. Чтобы убедиться в этом, возьмем η € 17, и пусть Т(и) = 0. Тогда [T(u)]s есть нулевой вектор в Сп. Отсюда А^Мя = = [T(u)]s = 0. Умножение этого равенства слева на (Ат)"1 дает [и]ц = = (Ат)~г0 = 0. Но из равенства [и]л = 0 следует и = 0. Это доказывает, что kerT = {0}. Из упр. 1.4.7 вытекает, что Г есть «1-1»-отображение. Так как U и V — n-мерны, то из упр. 1.4.8(5) следует, что Г есть преобразование «на». Поэтому Г — обратимое преобразование. ■ Другое полезное понятие — это ранг матрицы. Определение 1.56. Пусть Л —матрица размера πι χ η над полем С (или R). Пусть Г — линейное преобразование, соответствующее А в стандартном базисе; это значит, что Г: Сп -> Cw (или Г: Rn -> Rm) и Τ (χ) = Ах. Из упр. 1.4.9(2) следует, что область значений Г есть подпространство Ст (или Rm), и, следовательно, является конечномерным векторным пространством. Ранг матрицы А — это размерность области значений преобразования Г. (Для ранга матрицы А используется обозначение rank А.) В случае квадратной матрицы это приводит к другому интересному критерию обратимости. Лемма 1.57. Пусть А есть матрица размера η χ η над полем С (или R). Матрица А обратима тогда и только тогда, когда rank А = п. Доказательство. Пусть отображение Г: Сп —► Сп определяется равенством Τ(ζ) = Αζ, как в определении 1.56. Если А —обратимая матрица, то Г —обратимое преобразование по лемме 1.55. Следовательно, range Г =± Сп. Так как область значений Г имеет размерность п, то rank А = п.
1.4. Линейные преобразования, матрицы 61 Обратно, если rank А = п, то range Г имеет размерность п. Это значит, что range Г = Сп. (Доказательство: пусть ζ € Сп — произвольный вектор. Тогда базисные элементы щ, щ,..., un области значений Г вместе с ζ составляют п+1 элемент в Сп, которые должны быть линейно зависимы (упр. 1.3.12). Из упр. 1.3.9(2) ζ € span{ui,U2,... ,un} = range Г.) Поэтому Г есть преобразование «на». Из упр. 1.4.8(5) Г есть «1-1» и, следовательно, обратимое преобразование. По лемме 1.55 А также обратимая матрица. Для доказательства в случае, когда А есть матрица над R, следует заменить С повсюду полем R. ■ Изучив несколько предварительных свойств матриц, мы готовы вернуться к исследованию представления векторов в различных базисах. Если у нас есть два базиса в одном и том же конечномерном векторном пространстве, то как можно получить компоненты вектора в одном из этих базисов, если мы знаем его компоненты в другом базисе? Лемма 1.58. Пусть V есть n-мерное векторное пространство над R или С, a R = {ui,U2,... ,ип} и S = {vi,t^,... ,vn} — это два базиса V. Так как S — базис V, то существуют единственные скаляры ац,г = 1,2,..., η и j = 1,2,..., η, такие, что щ = αηνι + a2\v2 + ... + αηινη, Щ = Cb\2Vi + <&22^2 + . . . + Cbn2Vn, Un = 0,\nV\ + a2nV2 + . . . + Q>nnVn- Пусть A — матрица размера η χ η, fc-й столбец которой состоит из коэффициентов а^ь, a2fc,..., ank в представлении вектора и^ Гац а\2 ... αιηΊ «21 «22 · · · «2п А = «nl «п2 · · · 0>пп [x]s = ^4[ж]я для всех χ 6 V, и А — единственная матрица, обладающая этим свойством. Доказательство. Оно следует из леммы 1.49, если положить Г равным тождественному преобразованию J, определенному равенством Ι(χ) = χ для всех х. Ясно, что / — линейное. Так как щ = I(uj) для каждого j, то матрица Л —такая, как требуется в лемме 1.49. Следованно, ^ = m]g = a[x]r Единственность А также следует из леммы 1.49. ■
62 Глава 1. Комплексные числа и линейная алгебра Назовем матрицу А, полученную в лемме 1.58, матрицей перехода от базиса R к базису S. Пример 1.59. Определим базисы R и S для R2: Найти матрицу А перехода от базиса R к базису S. Решение. По лемме 1.58 нужно найти {(Hj} такие, что T21_L = oil + α2ΐ 1 -2 и -1 7 = Ч*] + G22 Решение этих линейных систем дает ац =2,α2ΐ = -1, а\2 = —5 и С&22 = 3. Следовательно, А = 2 -5 -1 3 Как и следовало ожидать, матрица перехода от базиса R к базису S всегда обратима и обратная к ней матрица является матрицей перехода от базиса S к базису R (упр. 1.4.14). Теперь сосредоточим наше внимание на линейном преобразовании конечномерного векторного пространства на себя. Зафиксируем базис и рассмотрим представление линейного преобразования в этом базисе. Следующее определение есть частный случай того, что было рассмотрено в лемме 1.49. Определение 1.60. Пусть V есть конечномерное векторное пространство над R или С с базисом R. Пусть Атд есть матрица, которая представляет Τ в базисах R и R (как определено в лемме 1.49), т. е. Ат,п есть такая матрица, что [T(x)]R = At,r[x]r для любого χ 6 V. Мы называем At,r матрицей, представляющей Τ в базисе R.
1.4. Линейные преобразования, матрицы 63 В качестве простейшего примера предположим, что мы имеем дело с матрицей А размера η χ η над полем С и определим связанное с ней линейное преобразование Гд: Сп —► Сп равенством Τα(ζ) = Αζ. Тогда в евклидовом базисе Ε = {ei,..., еп} (определение 1.39) [Ta(z)]e = TA(z) = Az = A[z]E в соответствии с формулой (1.24). Другими словами, А представляет Гд в базисе Ε или АТа,е = А. Если мы работаем с линейным преобразованием Τ из V в V, то можно зафиксировать базис V и представить Г матрицей в этом базисе. Это позволяет использовать алгебру матриц для вычислений, связанных с преобразованием Г. Однако можно выбрать много базисов пространства V. Какой эффект дает выбор базиса при использовании матриц, которые представляют преобразование? Лемма 1.61. Пусть V —конечномерное векторное пространство с базисами RuS,aT:V—>V есть линейное преобразование. Пусть At,r есть матрица, представляющая Τ в базисе R, At,s есть матрица, представляющая Τ в базисе S. Обозначим через Ρ матрицу перехода от базиса R к базису S. Тогда ATiR - P~lATySP. Доказательство. Пусть χ 6 V — произвольный элемент. Из упр. 1.4.14 следует, что Р~1 есть матрица перехода от базиса S к базису R. Следовательно, [T(x)]r = P-1[T(x)]s. Однако At,s представляет Г в базисе S и [T(x)]R = P-^sMs. Но Ρ есть матрица перехода от базиса R к базису S, поэтому [x]s = Р[ж]д. Подстановка этой формулы в предыдущее равенство дает [T(x)]R = P-1At,sP[x]r. Поэтому результат следует из утверждения единственности в лемме 1.49. ■ Этот результат имеет естественную интерпретацию: чтобы добиться действия Г в базисе Я, мы можем сначала перейти к базису S (т. е. умножить на Р), затем применить Г, представленное в базисе S (т. е.
64 Глава 1. Комплексные числа и линейная алгебра умножить на Ατ,β), и, наконец, вернуться назад в базис R (умножить на Р"1). Определение 1.62. Пусть А и В —матрицы размера η χ η над R или С. Говорят, что А и В — подобные матрицы или что А подобна В, если существует матрица Р, такая, что В = Р~1АР. Легко видеть (упр. 1.4.16), что это подобие есть отношение эквивалентности. В частности, в определении 1.62 матрицы А и В можно поменять ролями. Лемма 1.61 говорит нам, что две матрицы, представляющие одно линейное преобразование в различных базисах, должны быть подобными матрицами. Главное состоит в том, чтобы сделать лучший выбор базиса так, что линейный оператор, с которым мы работаем, будет иметь представляющую матрицу наиболее простого вида в выбранном базисе. В разд. 1.5 мы рассмотрим операторы, представляющие матрицы которых могут быть сделаны диагональными. Упражнения 1.4.1. Пусть U — множество всех дифференцируемых функций на интервале (0,1) = {х е К: 0 < χ < 1}, т. е. U = {/: (0,1) -► R, такое, что / (х) существует для всех χ € (0,1)}. Пусть V — множество всех функций /: (0,1) —► R. Определим сложение функций и умножение функций на вещественные числа обычным способом (как в примере 1.33). 1) Доказать, что U и V — векторные пространства. (Воспользуйтесь стандартными фактами из математического анализа.) 2) Определим отображение Г: U —► V соотношением Г(/) = / . Доказать, что Г — линейное преобразование. Этот пример показывает, что важные линейные преобразования возникают в контексте бесконечномерных векторных пространств. 1.4.2. Пусть А — матрица размера πι χ η над полем С. Определим Г: Сп —> Ст как Τ (ζ) = Αζ (матричное умножение). Доказать, что Г есть линейное преобразование. 1.4.3. Доказать лемму 1.48. Указание: использовать упр. 1.4.2 и 1.3.14. 1.4.4. Зафиксируем угол θ € R. Пусть Tq — отображение плоскости R2 на себя, которое получается поворотом вектора против часовой стрелки на угол θ (т. е. в полярных координатах Т$ оставляет
Упражнения 65 неизменным длину вектора и увеличивает угол на Θ). С помощью рисунков покажите, почему Т$ есть линейное преобразование. Подтвердите это заданием матрицы Т#, которая представляет То в стандартном базисе R2. 1.4.5. Определим базис R для R3: R = 1 1 0 J 2 0 1 J 3 2 0 ч > / и базис S для -{№· Зададим отображение Г: R3 —► R2 формулой Г = ж + у-г 2x-y + 3z 1) Найти матрицу Л, которая представляет Г в базисах i? и 5. 2) Предположим, что η 6 R3 и Мя = 1 о -1 Найти [T(u)]s. 3) Для вектора п, определенного в п. 2), найти координаты в евклидовом базисе. 4) Найти евклидовы координаты Т(и) двумя способами: или используя п. 3) и определение Г, или используя п. 2) и определение 5. 1.4.6. Пусть Л —матрица размера ηχ η над R или С. 1) Предположим, что Ах = χ для всех векторов χ 6 Rn. Доказать, что А есть единичная матрица J. (Подсказка: рассмотрите стандартные базисные векторы ei, ег,..., еп в определении 1.39.) 2) Предположим, что В есть матрица размера пхп над тем же полем, что и А, и Вх = Ах для всех χ G Rn. Доказать, что А = β, т. е. а^· = ify· для всех i,j. 3) Доказать единственность в лемме 1.49. 1.4.7. Пусть U и V — векторные пространства и Г: U —► V —линейное преобразование. Доказать, что Г есть «1-1»-отображение тогда и только тогда, когда kerT = {0}.
66 Глава 1. Комплексные числа и линейная алгебра 1.4.8. Пусть U и V — векторные пространства и Г: U —► V — линейное преобразование. Предположим, что U есть n-мерное пространство с базисом {ui, ί/2,..., un}. 1) Доказать, что Т есть «1-1»-отображение тогда и только тогда, когда {T(ui),Γ(ί/2),...,T(un)} —линейно независимое множество в V. 2) Доказать, что span{T(ui),T(u2),... ,T(un)} = rangeT. 3) Доказать, что Г есть обратимое преобразование тогда и только тогда, когда {T(ui),T(u2),... ,T(un)} — базис V. 4) Предположим, что Т: U —► V — обратимое линейное преобразование. Доказать, что V есть конечномерное пространство размерности п. 5) Предположим, что V — также конечномерное пространство размерности п. Доказать, что Г есть «1-1»-отображение тогда и только тогда, когда Г есть отображение «на». (Подсказка: использовать теорему 1.42.) 1.4.9. Пусть U и V — векторные пространства и Г: £/ —► V —линейное преобразование. Вспомним определение подпространства из упр. 1.3.2. 1) Доказать, что kerT есть подпространство U. 2) Доказать, что rangeT есть подпространство V. 1.4.10. {Теорема о ранге.) Пусть U и V — векторные пространства, dim U = nnT:U-*V есть линейное преобразование. Доказать, что dim ker Г + dim range Г = η. Подсказка: положим k = dim ker Г. Пусть {ιΐχ, ι*2,..., и*} — базис kerT. Из упр. 1.3.10 мы можем найти Ufc+i,... ,un, такие, что {iti, ι*2,.. · ?^п} есть базис U. Доказать, что T(tik+i), ..., T(un) линейно независимы, и применить упр. 1.4.8(2). 1.4.11. Пусть А — матрица размера πι χ к и В — матрица размера к хп (обе над одним полем R или С). Доказать, что rank(AB) ^ rank Л и rank(AB) ^ rank Б. 1.4.12. Пусть А и В — матрицы размера пхп над одним полем R или С. 1) Доказать, что Л В —обратимая матрица тогда и только тогда, когда обе матрицы А и В —обратимые; в этом случае (АВ)~1 = В~1А~1. (Подсказка: использовать лемму 1.57 и упр. 1.4.11 для случая «только тогда».) 2) Предположим, что АВ = I. Доказать, что А и В обратимые матрицы, В = А~1 и А = В-1.
Упражнения 67 Следовательно, чтобы проверить, что В = А~1, достаточно убедиться, что АВ = J или ВА = J, нет необходимости проверять оба равенства. 1.4.13. Определим базисы Яи S для R2: и -{MY 1) Найти матрицу А перехода от базиса R к базису S. 2) Предположим, что ж 6 К2 и Ия = Найти [х] 5. 3) Найти евклидовы координаты вектора χ двумя способами: или используя [x]r и определение Я, или используя [#]s и определение 5. 4) Непосредственно найти матрицу перехода от базиса S к базису Л, используя метод леммы 1.58. Затем проверить, что она есть матрица, обратная для матрицы, найденной в п. 1). 1.4.14. Пусть V — конечномерное векторное пространство над R или С с базисами R и 5. Пусть А есть матрица перехода от базиса R к базису S. Доказать, что Л —обратимая матрица и ее обратная матрица есть матрица перехода от базиса 5 к базису R. (Подсказка: использовать упр. 1.4.6 и, чтобы было проще, упр. 1.4.12(2).) 1.4.15. Пусть V — это Rn или Сп. Пусть Ε = {еь... ,еп} —евклидов базис (определение 1.39) пространства V и пусть R = {ui,..., un} —другой базис V. Предположим, что для каждого j = 1,2,..., η lay Uj = a2j anj Пусть A = [aij\i£ij£n. 1) Доказать, что А есть матрица перехода от базиса R к базису Е.
68 Глава 1. Комплексные числа и линейная алгебра 2) Предположим, что S = {υχ,..., υη} есть также базис V, и ГЬу1 hj Vj = : [pnjj для каждого j = 1,2,..., η. Пусть Б = [bij]i<ij<n· Доказать, что В~1А есть матрица перехода от базиса R к базису S. 3) Проверить результат п. 2) так же, как при решении упр. 1.4.13(1). Замечание: обычно это простейший метод решения таких задач. 1.4.16. Для двух матриц А и В размерности пхп определим отношение А ~ В, если А и В подобные матрицы (определение 1.62). Доказать, что ~ есть отношение эквивалентности, т. е. доказать, что 1) А ~ А для всех матриц А размера пхп; 2) если А ~ В, то В ~ А; 3) если А ~ В и В ~ С, то А ~ С. (Подсказка: использовать упр. 1.4.12(1).) 1.5. Диагонализация линейных преобразований и матриц Рассмотрим линейное преобразование Т: V —► V, где V — конечномерное векторное пространство. Пространство V имеет много базисов; выбор базиса означает выбор координатной системы. Если мы выбираем базис R пространства V, мы можем представить Г матрицей в базисе Л, которую мы называем At,r (определение 1.60). Если вычисления для Г выполняются с этой матрицей, то хотелось бы так выбрать базис Я, чтобы At,r была как можно проще. Какие возможности нам предоставляются? По лемме 1.61 мы знаем, что для любого другого базиса S матрица At,s, представляющая Τ в S, должна быть подобна At,r- Это единственное ограничение: любая матрица, подобная At,r, есть матрица, представляющая Г в некотором базисе V. Этот факт есть следствие леммы 1.63, которая представляет независимый интерес. Лемма 1.63. Пусть R — базис n-мерного векторного пространства V над полем Ж или С, и Ρ есть обратимая матрица размера пхп (над тем же полем). Тогда существует базис S пространства V, такой, что Ρ есть матрица перехода от базиса R к базису S.
1.5. Диагонализация линейных преобразований и матриц 69 Доказательство. Положим R = {жьжг»··· ,жп} и [ду] = Q = Ρ-1. Определим 5 = {vi, V2,..., υη}> где η ν* = Σ9****' (1.28) г = 1,2,... ,n. Для j = 1,2,..., η соотношение (1.28) дает η η η η / η \ ΣΛ* ^ = 53 py Σ ^ж*= Σ (Σ9ww^)ж*=xj> ί1·29) г=1 г=1 fc=l fc=l \г=1 / η так как ^ 9а^ Pi j есть (fc, j)-ft элемент матрицы QP = J и, следовательно, равняется единице при к = j и нулю в других случаях. Пусть η 6 V — произвольный элемент. Предположим [u]R = α = αϊ или, эквивалентно, u = ^ Gj#j. Из соотношения (1.29) имеем i=i η / η u=Σαί Σ^νί = Σ ΣΛ*α* ΙVi=Σ(ρα)^> ί1·30) где (Pa)i есть г'-я компонента вектора Pa. Это показывает, что линейная оболочка множества 5 совпадает с V и, следовательно, по теореме 1.42, S является базисом. Это также показывает, что Ms = Pa = P[u]R. Последнее означает, что Ρ есть матрица перехода от базиса R к базису 5. ■ Следствие 1.64. Пусть V —конечномерное векторное пространство с базисом R, и Т: V —► V есть линейное преобразование. Пусть At,r есть матрица, представляющая Τ в базисе R. Предположим, В есть матрица, подобная At,r- Тогда существует базис S пространства V, представляющий Τ в S (т. е. такой, что В = At,s)- Доказательство. По предположению существует обратимая матрица Р, такая, что В = P~1At,rP. Тогда Р~г также обратимая матрица; в результате применения леммы 1.63 существует базис S пространства V такой, что Р-1 есть матрица перехода от базиса R к базису S.
70 Глава 1. Комплексные числа и линейная алгебра Из упр. 1.4.14 следует, что Ρ есть матрица перехода от базиса S к базису R. Применяя лемму 1.61 (поменяв местами R и S в утверждении этой леммы), получим Ат%з = Р~1АтдР = В. Ш Следовательно, нахождение лучшего базиса для представления линейного преобразования сводится к нахождению простейшей матрицы, подобной данной. Напомним (упр. 1.4.16), что подобие матриц есть отношение эквивалентности. Поэтому мы ожидаем простейшего представления в классе эквивалентности, который состоит из всех матриц, подобных данной. Для начала мы рассмотрим некоторые особенности линейного преобразования Г, присущие всем матрицам, представляющим Г. Такими характеристиками являются собственные значения. Мы определяем собственные значения как для линейных преобразований, так и для матриц. Определение 1.65. Пусть V есть векторное пространство над полем F и Т: V —► V — линейное преобразование. Скаляр А € F называется собственным значением преобразования Г, если существует ненулевой элемент ν € V такой, что Τ{ν) = Χν. (1.31) Любой вектор υ G V, удовлетворяющий соотношению (1.31) (включая нулевой вектор), называется собственным вектором преобразования Т, соответствующим А. Множество всех таких векторов Ех = ЕХ(Т) = {veV: T(v) = λυ} называется собственным пространством преобразования Г, соответствующим λ. Любой вектор υ 6 V, удовлетворяющий соотношению (1.31) для некоторого А € F, называется собственным вектором преобразования Т. Собственный вектор — это направление, в котором Г действует просто скалярным умножением. В случае матриц определения аналогичны. Определение 1.66. Пусть поле F есть R или С. Пусть А — матрица размера η χ η над F. Если F = R, то пусть V = Rn, и, если F = С, то V = Сп. Скаляр А € F есть собственное значение матрицы А, если существует ненулевой υ € V такой, что Αν = \υ. (1.32)
1.5. Диагонализация линейных преобразований и матриц 71 Любой вектор υ Ε V, удовлетворяющий соотношению (1.32) (включая нулевой вектор), называется собственным вектором матрицы А, соответствующим А. Множество всех таких векторов Εχ = Εχ(Α) = {veV:Av = Χυ} называется собственным пространством матрицы А, соответствующим А. Любой вектор υ 6 V, удовлетворяющий соотношению (1.32) для некоторого λ Ε F, называется собственным вектором матрицы А. Пусть Г: V —► V есть линейное преобразование и А —скаляр. По определению υ Ε Εχ(Τ) означает, что Τ(υ) = Аг;, что эквивалентно (А/ — Г)(г;) = 0 или υ 6 ker(AJ — Г), где / есть тождественный оператор (определенный равенством Ι(υ) = υ для всех г;). Следовательно, Е\(Т) = ker(AJ — Г). Из упр. 1.4.9(1) следует, что Е\(Т) есть подпространство V. Определим геометрическую кратность А (относительно Г) как размерность пространства Е\(Т). В тех случаях, когда А не есть собственное значение Г, Е\(Т) = {0} и геометрическая кратность А равняется нулю. Дадим аналогичное определение для матрицы А. Ввиду линейности, ЕХ(А) = {veV:(\I- Α)υ = 0} есть подпространство V, здесь / — единичная матрица. Геометрическая кратность А (относительно А) — это размерность подпространства Е\(А). Если А не является собственным значением матрицы А, то геометрическая кратность А равняется нулю. Следующая лемма показывает, что, когда матрица соответствует линейному преобразованию, собственные значения и их геометрические кратности для матрицы и преобразования одни и те же. Лемма 1.67. Пусть V — конечномерное векторное пространство с базисом R. Пусть Т: V —► V —линейное преобразование, и А —матрица, представляющая Τ в базисе R (т. е. А = Атуя). Тогда А и Τ имеют одни и те же собственные значения и υ 6 Е\(Т) тогда и только тогда, когда [v]r 6 Е\(А) (1.33) для каждого собственного значения А. Геометрические кратности А для Τ и для А одни и те же: dim E\(T) = dim E\{A). Доказательство. Сначала предположим, что А — собственное значение преобразования Г. Тогда существует ненулевой υ, такой, что Г(г;) = Аг;, т. е. г; € Е\(Т). Тогда [v]r φ 0 и, так как А представляет Г в базисе Д, A[v]R = [T(v)]R = [Xv]R = АМд,
72 Глава 1. Комплексные числа и линейная алгебра как это следует из упр. 1.3.14(2). Следовательно, А есть собственное значение матрицы А и [v]R € Εχ(Α). Для доказательства обратного утверждения предположим, что А есть собственное значение А и у —ненулевой вектор, удовлетворяющий равенству Ау = \у (т. е. у Ε Εχ(Α)). Пусть компоненты у —это η Уи У2, · · ·, 2/п и пусть R = {uu u2, ..., un}. Положим ν = Σ Ю'Ч/· Тогда у = [v]r и снова, используя упр. 1.3.14(2), получим [T(v)]R = A[v]R = \[v]R = [\v]R. Это означает, что Т(у) = Аг; (так как Г(г;) и Аг; имеют одинаковые компоненты в базисе R). Следовательно, А есть собственное значение Г и г; € ЕХ{Т). Остается доказать только один случай в утверждении (1.33), когда υ = О (эквивалентно [v]R = 0), который тривиален, потому что υ 6 Εχ(Τ) и Мд € Εχ(Τ). Докажем теперь утверждение о геометрических кратностях. Заметим, что А не является собственным значением преобразования Τ тогда и только тогда, когда А не есть собственное значение матрицы А (что мы доказали); в этом случае обе геометрические кратности равны нулю. Для этого случая результат доказан. Теперь предположим, что Εχ(Τ) имеет базис {£ι,£2>· · · >^т} и Εχ(Α) имеет базис {зь$2, · · · >5fc}> который, как мы только что заметили, может быть записан в виде {[vi]a, [иг]я, ...,[и*]я}. Из соотношения (1.33) следует, что векторы [ti]R, [*2]я, · · ·, [^т]я принадлежат Εχ(Α) и, в соответствии с упр. 1.3.15, линейно независимы. Из этого следует, что га ^ к (напомним упр. 1.3.12). Из только что доказанного следует, что векторы νι,ν2,...,ν& принадлежат Εχ(Τ) и линейно независимы (также в соответствии с упр. 1.3.15), поэтому к ^ га. Из этого следует равенство к = га. ■ Лемма 1.67 приводит к следующему результату о подобных матрицах. Следствие 1.68. Предположим, что А и В — подобные матрицы. Тогда А и В имеют одинаковые собственные значения с одинаковыми геометрическими кратностями. Доказательство. Пусть Г —линейное преобразование (в Rn или Сп, в зависимости от того, является ли скалярным полем Ж или С), определенное равенством Т(х) = Ах. Тогда А представляет Г в стандартном базисе. Так как А и В —подобные матрицы, то существует базис 5, такой, что В представляет Г в базисе S по следствию 1.64. Как вытекает
1.5. Диагонализация линейных преобразований и матриц 73 из леммы 1.67, обе матрицы А и В имеют те же собственные значения с теми же геометрическими кратностями, что и линейное преобразование Г. Следовательно, с теми же кратностями, что у друг друга. ■ Последнее доказательство может показаться несколько запутанным, и можно доказать следствие 1.68 прямым рассуждением, включающим в себя определение подобных матриц (упр. 1.5.1). Однако такое вычислительное доказательство не способствует интуитивному пониманию и не наводит на мысль о том, почему предполагался такой результат. Вышеприведенное доказательство придает особое значение тому, что собственные значения и их геометрические кратности отражают свойства самих преобразований, независимо от того, как оно реализуется матрицей при некотором выборе базиса. Подобные матрицы — это различные реализации одного и того же преобразования, и поэтому различные величины, которые зависят только от рассматриваемого преобразования, должны быть одинаковыми для подобных матриц. Это дает нам абстрактный путь понимания, какие свойства подобных матриц должны быть общими. Любая величина, определяемая матрицей, которая должна быть одинаковой для любых двух подобных матриц, называется инвариантом подобия. Следствие 1.68 утверждает, что собственные значения и их геометрические кратности — это инварианты подобия. Важным фактом о собственных векторах линейного преобразования является то, что собственные векторы, соответствующие различным собственным значениям, линейно независимы. Справедливо следующее более общее утверждение. Лемма 1.69. Пусть V есть n-мерное векторное пространство над R или С и Τ: V —► V — линейное преобразование с различными собственными значениями Αι, Аг,..., А*. Для г = 1,2,..., к предположим, что E\i имеет размерность т\ и базис {ν»,ι, υ^,..., Viy7ni}. Пусть Μ = {νΐ,ΐ, Vi,2,. . . , Vi>mi, г>2,1, г>2,2, · · · , ^2,m2 » · · · » *>M> V*f2, · · · » vk9mk}· Это значит, что Μ есть объединение базисов собственных пространств E\if г = 1,2,... , п. Тогда Μ есть линейно независимое множество. Сумма геометрических кратностей собственных значений не превосходит п, т. е. к Y^rrii^n. (1.34) В частности, Τ не может иметь больше, чем η различных собственных значений.
74 Глава 1. Комплексные числа и линейная алгебра Доказательство. Предположим, что существует линейная комбинация векторов множества М, которая равна нулю: k TTli ГПг Для г = 1,2, ...,fc положим щ = Σ oyv»j. Тогда уравнение (1.35) 3=1 принимает вид к ]Г\; = 0. (1.36) i=l Заметим, что щ 6 Е\^ так как щ есть линейная комбинация векторов Vij, j = 1,2,...,mi, которые все принадлежат Εχ{. Поэтому Т(щ) = \гЩ. Покажем, что каждое щ равно нулю. Изменим индексы (в частности, поменяв местами индексы г и к), тогда достаточно доказать, что ик есть нуль. Применим линейное преобразование \\1 -Гк обеим частям соотношения (1.36). Заметим, что (ΑχJ — Т)щ = (Αχ — Хг)щ и равняется нулю только для г = 1. Так как член с г = 1 выпадает, мы получаем к Χ)(Αΐ - \)Щ = 0. г=2 Теперь применим преобразование Аг/ -Гк обеим частям последнего равенства, что приводит к удалению члена с г = 2. Продолжим эту процедуру, пока не останется только один член, что дает (Αι - λ*)(λ2 - \к)... (\к-г - Хк)ик = 0. Так как сомножители с Aj, г = 1,2,..., fc, не равны нулю, получаем, что ик = 0. TTli Мы показали, что щ = Σ ο,^ν^ = 0 для каждого г. Однако, по j=i предположению, каждое {уц } есть линейно независимое множество. Поэтому каждый а^ должен быть нулем. Это означает, что Μ есть линейно независимое множество. к Число векторов Vij есть Σ πΐ{. Так как эти векторы линейно неза- г=1 висимы и V — n-мерное пространство, то самое большее число векторов равняется η (упр. 1.3.12). Итак, утверждение (1.34) доказано. В частности, так как каждое собственное пространство по крайней мере одномерно, то число собственных значений равно, самое большее, п. ■
1.5. Диагонализация линейных преобразований и матриц 75 к Число Σ rrii в (1.34) есть максимально возможное число линейно независимых собственных векторов Т, так как ни одно собственное пространство Εχ{ не может внести больше, чем rrii = dim E\. собственных векторов в любую линейно независимую совокупность векторов. Утверждения, аналогичные утверждениям леммы 1.69, справедливы также и для матриц. Следствие 1.70. Пусть А — матрица размера пхп над полем R или С. Пусть Αι, Α2,... ,λ& —различные собственные значения матрицы А. Для г = 1,2, ...,fc предположим, что Ε\{ — собственное пространство, соответствующее значению А*, имеет размерность rrii и базис }. Тогда {v*j}i<»<*,i^j<mi есть ли>н>ейно независимое к множество, Σττίί ^ η и к — число собственных значений А, самое г=1 большее, равняется п. Доказательство. Соответствующее А линейное преобразование Τ определим равенством Т{х) = Ах. Тогда собственные значения и собственные векторы преобразования Г те же самые, что и для матрицы А, поэтому все утверждения следуют из леммы 1.69. ■ Наиболее простые линейные преобразования, с которыми приходится иметь дело, — это такие, для которых максимальное линейно независимое множество собственных векторов в лемме 1.69 есть базис, т. е. собственных векторов достаточно, чтобы их линейная оболочка совпала со всем пространством. Определение 1.71. Пусть V есть конечномерное векторное пространство и Г: V —► V — линейное преобразование. Если V имеет базис, состоящий из собственных векторов преобразования Г, мы называем Г диагонализуемым преобразованием. Диагонализуемое линейное преобразование проще произвольного линейного преобразования, потому что действие Г может быть разбито на совокупность направлений собственных векторов, в каждом из которых Г действует как скалярное умножение. Соответствующее понятие можно ввести и для матриц. Определение 1.72. Матрица D = [dy] размера η χ η —диагональная, если dij = 0 всюду, где г φ j, т. е. если все элементы D вне главной диагонали равны нулю. Матрица А размера пхп есть диагонализуемая матрица, если А подобна некоторой диагональной матрице.
76 Глава 1. Комплексные числа и линейная алгебра Другими словами, А есть диагонализуемая матрица, если существуют диагональная матрица D и обратимая матрица Ρ такие, что Р~1АР = D. Естественно соотношение между двумя понятиями диагонализуемости. Определение 1.73. Предположим, что V есть конечномерное векторное пространство и Г: V —► V — линейное преобразование. 1) Τ — диагонализуемое преобразование тогда и только тогда, когда существует базис R пространства V такой, что матрица Аг,я, представляющая Г в Я, диагональная. 2) Пусть S — произвольный базис V. Пусть Ατβ есть матрица, представляющая преобразование Г в S. Преобразование Г диагона- лизуемо тогда и только тогда, когда Ατβ есть диагонализуемая матрица. Доказательство . 1) Сначала предположим, что Г — диагонализуемое преобразование. По определению V имеет базис R = {υχ, г>2,... ,^п} из собственных векторов Г, т.е. Т(г^) = А^,г = 1,2, ...,п. Пусть D = [dij]i^ij^n — диагональная матрица с диагональными элементами da = Af. Пусть υ € V — произвольный вектор. Так как R есть базис V, то существуют скаляры αϊ, α2,..., αη такие, что υ = Σ otiVi или Ия = αϊ a* Ввиду линейности (П \ П П ΣaiVi)= Σ α*Γ(^)=Σ а*л^ ΐ=1 / i=l ί=1 или, что эквивалентно, [T(v)]r = αιΑι αηΑη Αι 0 · 0 λ2 О О λη αϊ <*2 otn = ОДя- Следовательно, Ар,я = D — диагональная матрица. Обратно, предположим, что R = {vi,V2,... ,vn} есть базис V такой, что Дг,я есть диагональная матрица D = [dy]i^»j<n·
1.5. Диагонализация линейных преобразований и матриц 77 Тогда [Т(г;)]я = D[i;]# для всех υ 6 V. Заметим, что [г^]# = е* — г'-й вектор стандартного базиса (определение 1.39), так как разложение Vi в базисе R имеет коэффициент, равный единице для Vi, и нули в остальных случаях. По предположению [T(vi)]R = D[vi)R = Dei = duei = du[vi\R = [ацщ]ц, что следует из диагональности D и упр. 1.3.14(2). Это означает, что T(vi) = duVi для каждого г. Поэтому каждый v\ есть собственный вектор Г, и V имеет базис (а именно базис R) из собственных векторов преобразования Г. 2) Сначала предположим, что Г — диатонализуемое преобразование. Как следует из п. 1, существует базис R такой, что At,r есть диагональная матрица. По лемме 1.61, At,s подобна Ар,я, поэтому At,s — диагонализуемая матрица. Обратно, предположим, что At,s ~ диагонализуемая матрица, т. е. подобна диагональной матрице D. По следствию 1.64, существует базис R такой, что D представляет Гв й;в соответствии с п. 1) преобразование Г диатонализуемое. ■ С диагональными матрицами гораздо легче выполнять вычисления, чем с матрицами общего вида. Например, умножение матрицы размера пхпна вектор в общем случае требует п2 умножений. Однако, если матрица диагональная, это требует только η умножений. Еще больше это заметно при вычислении высокой степени диагональной матрицы, в то время как для матрицы общего вида прямое выполнение этой процедуры требует огромного количества умножений (сравните с примером 1.82). Поэтому для диагонализуемого линейного преобразования Г ответ на наш основной вопрос, как выбрать базис, упрощающий вычисления, связанные с преобразованием Г, дает п. 1 леммы 1.73: мы должны выделить базис, который диагонализует Г. Нелегко определить, когда данное линейное преобразование Г: V —► V диатонализуемое. По определению, Г диатонализуемое тогда и только тогда, когда V имеет базис из собственных векторов Г. Если V есть n-мерное пространство, — это означает, что Г диатонализуемое тогда и только тогда, когда Г имеет η линейно независимых собственных векторов. По лемме 1.69 максимальное число линейно независимых к собственных векторов Г есть Σ πΐι, сумма геометрических кратностей собственных значений. Поэтому Г диатонализуемое тогда и только к тогда, когда Σπΐι = η.
78 Глава 1. Комплексные числа и линейная алгебра Тот же критерий имеет место и для матрицы А. Если мы рассматриваем линейное преобразование Т, определяемое равенством Т(х) = Ах (т. е. А представляет Τ в евклидовом базисе), то по лемме 1.67 Л и Г имеют одинаковые собственные значения с одинаковыми соответствующими геометрическими кратностями. По лемме 1.73 преобразование Τ диагонализуемо тогда и только тогда, когда А есть диагонализуе- мая матрица. Поэтому матрица размера η χ η диагонализуемая тогда и только тогда, когда сумма геометрических кратностей собственных векторов А равняется п, т. е. тогда и только тогда, когда А имеет η линейно независимых собственных векторов. В частном случае, когда А или Г имеют η различных собственных значений, каждое собственное пространство должно иметь размерность единица (по крайней мере, единица, по определению, и самое большее единица, по формуле (1.34)). Поэтому сумма геометрических кратностей равна п. Следовательно, А или Г автоматически диагонализуемые. Чтобы убедиться, что А или Г диагонализуемы в случае, когда имеется меньше чем η различных собственных значений, мы должны рассмотреть собственные пространства и определить, равняется ли сумма их размерностей п. Обратимся теперь к вопросам практического вычисления. Лемма 1.74 говорит нам, как провести диагонализацию диагонализуе- мой матрицы, предполагая, что мы знаем собственные значения и собственные векторы. Небольшое размышление показывает, что диагональная матрица D имеет собственные значения, равные ее диагональным элементам (с собственными векторами, равными векторам стандартного базиса). Но мы уже заметили, что подобные матрицы имеют одинаковые собственные значения (следствие 1.68,). Следовательно, если А подобна D, то единственно возможными элементами диагональной матрицы D являются собственные значения матрицы А. Это объясняет часть следующего результата и показывает, почему собственные значения играют центральную роль в диагонализации матриц. Лемма 1.74. Пусть А — диагонализуемая матрица размера η χ п. 1) Пусть у\,щ,... ,г;п — это η линейно независимых собственных векторов матрицы А {которые, как отмечено выше, существуют). Пусть Αι, Аг,..., λη — соответствующие собственные значения. Пусть Ρ есть матрица, j-й столбец которой есть вектор Vj. Пусть D = [dij] есть диагональная матрица с диагональным элементом djj, равным А,. Тогда Р~1 АР = D. 2) Обратно, если P~lAP = D, где D —диагональная матрица, то столбцы матрицы Ρ — это линейно независимые собственные
1.5. Диагонализаиия линейных преобразований и матриц 79 векторы матрицы А с соответствующими собственными значениями, равными диагональным элементам D. Доказательство. 1) Заметим, что желаемое уравнение P~lAP = D эквивалентно АР = PD. Вычислим АР = A[viV2 ... υη] = [ΑυιΑυ2 ... Αυη] = [Aii>iA2i;2 ... Апг;п]. С другой стороны, PD = [υιυ2 ...υη] Αι 0 · 0 Α2 0 0 0 λη = [Αιΐ>ιΑ2ι;2...ληι;η]. Это доказывает п. 1). Пункт 2) доказывается выполнением этих шагов в обратном порядке; мы рассмотрим это как упр. 1.5.3. ■ Внимательный читатель заметит, что мы еще не доказали того, что матрица обязательно имеет собственные значения. На самом деле, матрица над полем R может не иметь ни одного вещественного собственного значения (упр. 1.5.4(1)), хотя матрица над полем С должна, как мы это увидим, иметь комплексные собственные значения. Также мы еще не поняли, как найти собственные векторы и собственные значения матрицы, если они существуют. Для этого мы приведем некоторые основные факты, связанные с детерминантами. Определение 1.75. Детерминант матрицы А размера пхп, обозначаемый det А или det(A), определяется следующим образом. Если А есть матрица размера 1 χ 1, т. е. А = [о], то det А = а. Для матрицы размера 2x2 \а Ъ\ det с d = ad — be. Продолжая по индукции, предположим, что детерминант матрицы размера (п — 1) χ (η — 1) определен. Пусть теперь А = [ау] есть матрица размера η χ п. Для 1 ^ г, j ^ n (i,j)-ft минор Мц матрицы А есть матрица размера (п — 1)х(п — 1), полученная из А, вычеркиванием г'-й строки и j-ro столбца матрицы А. Положим по определению det A = 5^(-l)1+iay det Μυ (1.37) ά=ι
80 Глава 1. Комплексные числа и линейная алгебра В качестве примера рассмотрим матрицу размера 3x3: det «11 «12 «13 «21 «22 «23 «31 «32 «33. -«12 = ац det det «22 «23 .«32 «33. «21 «23 .«31 «33. - + αΐ3 det «21 «31 «22 «32 = «ll(«22«33 - «23«32) - «12(«21«33 - «23«3l) + «1з(«21«32 — «22«3l)· Мы можем, конечно, распространить определение det Л вдоль любой строки или столбца с помощью выражения, аналогичного соотношению (1.37), но доказательство этого потребует некоторого труда, а приведенное выше определение будет достаточным для наших целей. На практике применение определения 1.75 —это очень медленный путь вычисления детерминанта больших матриц. Вместо этого мы будем проделывать над строками матрицы элементарные операции и следить за влиянием этих операций на детерминант (что просто) до тех пор, пока не получим верхней треугольной матрицы, детерминант которой есть произведение ее диагональных элементов. Подробно рассматривать этот алгоритм мы не будем, так как далее на нескольких простых примерах проиллюстрируем обсуждавшиеся выше идеи. Мы предполагаем знание следующих двух утверждений о детерминантах, доказательство которых можно найти в большинстве книг по линейной алгебре. Теорема 1.76. Пусть А есть матрица размера η χ п. 1) А — обратимая матрица тогда и только тогда, когда det А ф 0. 2) Если В есть другая матрица размера η χ η, то det(AB)=detAdetB. С помощью теоремы 1.76 мы сможем вычислять собственные значения и собственные векторы матрицы. Сначала нам потребуется следующее определение. Определение 1.77. Пусть А есть матрица размера η χ п. Характеристическим многочленом А называется выражение det(AJ-A), рассматриваемое как многочлен от переменной А. Просчитав несколько примеров, можно убедиться в том, что характеристический многочлен матрицы размера пхп есть многочлен степени η с членом наивысшего порядка Ап. Характеристический многочлен
1.5. Диагонализация линейных преобразований и матриц 81 играет ключевую роль в линейной алгебре, но для нас его использование будет связано со следующим наблюдением. Лемма 1.78. Пусть А есть матрица размера η χ п. Тогда собственные значенья матрицы А — это корни ее характеристического многочлена. Доказательство. По определению А есть собственное значение матрицы А тогда и только тогда, когда существует ненулевой вектор υ такой, что (XI — Α)υ = 0. Это эквивалентно тому, что линейное преобразование Г, определенное равенством Т(х) = (XI — А)х, не является «1-1 ^преобразованием (упр. 1.4.7). Из упр. 1.4.8(5) следует, что это имеет место тогда и только тогда, когда Г является необратимым; следовательно (по лемме 1.55), тогда и только тогда, когда матрица (XI — А) — необратимая. По теореме 1.76, п. 1), это эквивалентно равенству det(XI-A) = 0, которое означает, что А есть корень характеристического многочлена А. Ш Характеристический многочлен матрицы А может не иметь ни одного вещественного корня (упр. 1.5.4(1)). Однако, согласно основной теореме алгебры (теорема 1.28), любой непостоянный многочлен имеет комплексный корень. Это одно из соображений, по которому мы предпочитаем работать с полем С. Поэтому если мы рассматриваем матрицы как комплексные (что мы можем делать, даже если все элементы вещественные), то каждая матрица имеет собственное значение. Действительно, по следствию 1.29, каждый многочлен полностью расщепляется на произведение линейных множителей над С. Следовательно, если А есть матрица размера η χ η над полем С, мы можем записать det(AJ - А) = (А - λι)(λ - А2)... (А - Ап), (1.38) где Х{ могут повторяться. (Здесь нет константы перед произведением, потому что коэффициент при Ап равен единице.) Эти Ai, A2,..., λη являются всеми корнями характеристического многочлена, т. е. собственными значениями матрицы А. Чтобы уметь обращаться с ситуацией, когда некоторые А* в соотношении (1.38) повторяются, дадим следующее определение. Определение 1.79. Пусть А есть матрица размера пхп над полем С. Пусть Αι, Аг,..., А^ — различные собственные значения А. Тогда характеристический многочлен А может быть записан в виде det(AJ - А) = (А - Аг)Ш1(А - А2)Ш2... (А - А*)ш*, (1.39) где каждое щ есть положительное целое число, называемое алгебраической кратностью собственного значения Xj.
82 Глава 1. Комплексные числа и линейная алгебра Если А — матрица размера η χ η, то характеристический многочлен А имеет степень п, поэтому сумма алгебраических кратностей собственных значений А равняется п. По следствию 1.70 сумма геометрических кратностей самое большее равняется п. На самом деле справедливо даже больше: для каждого собственного значения его геометрическая кратность меньше или равна его алгебраической кратности. Этот факт нам далее не понадобится, поэтому не будем его доказывать. Однако заметим, что он дает другой критерий диагонализуемости: матрица диагонализуема тогда и только тогда, когда геометрическая кратность каждого собственного значения равняется его алгебраической кратности (так как это единственная возможность, чтобы сумма геометрических кратностей равнялась п). Упражнение 1.5.8 показывает, что этого может и не быть. Заметим: тот факт, что матрица должна иметь (комплексное) собственное значение, говорит о том, что линейное преобразование Г: V —► V на конечномерном векторном пространстве V над полем С должно иметь собственное значение, так как его представление матрицей в любом базисе имеет собственное значение. Ниже мы увидим, что характеристический многочлен и алгебраические кратности собственных значений матрицы инвариантны относительно преобразования подобия. Лемма 1.80. Пусть А и В — подобные матрицы. Тогда det{XI -A)= det(AJ - В). В частности, алгебраические кратности собственных значений мат- риц А и В одинаковы. Доказательство. Пусть Ρ такая матрица, что В = Р~1АР. Тогда XI - В = XI - Р~1АР = Р~1Х1Р - Р~1АР = Р~1(Х1 - А)Р, так как Ρ коммутирует с/ис умножением на скаляр А, а также PP~l = J. По теореме 1.76, п. 2, имеем: det Ρ"1 det Ρ = det{P~lP) = det / = 1. Поэтому det(AJ - В) = detfP-^AJ - Α)Ρ) = = det(P_1) det(AJ - A) det Ρ = det(AJ - A). Утверждение об алгебраических кратностях теперь очевидно, потому что они определяются характеристическим многочленом. ■
1.5. Диагонализацйя линейных преобразований и матриц 83 Теперь мы готовы рассмотреть пример и некоторые применения. Пример 1.81. Пусть А = -2 -1 -2 0 6 1 2 О 5 Определим, диагонализуемая ли матрица А, и если да, то найдем обратимую матрицу Ρ и диагональную матрицу D такие, что D — Р~1АР. Решение. Начнем с вычисления характеристического многочлена матрицы А: det(A/ - А) = det λ+ 2 1 2 О -6 ' λ-1 -2 О λ-5 = (λ + 2)(λ - 1)(λ - 5) + (-6)[0 - 2(λ - 1)] = = (λ - 1)(λ2 - 3λ + 2) = (λ - 1)2(λ - 2). Откуда 1 есть собственное значение алгебраической кратности 2, и 2 есть собственное значение алгебраической кратности 1. Сначала вычислим собственное пространство Е\ значения 1, которое состоит из всех векторов υ таких, что (1Ι — Α)υ = 0, это все решения системы уравнений '3 0 1 0 2 0 -6" -2 -4 α Ь с_ = , Ό1 0 oj Все эти уравнения приводят к равенству a = 2 с. Поэтому мы можем произвольно задать Ъ и с и затем положить a = 2 с. Поэтому подпространство Е\ состоит из всех векторов вида 2с Ъ с = Ь 0 1 0 + с 2 0 1 для некоторых скаляров Ъ и с. Это показывает, что Е\ — двумерное пространство, которое является линейной оболочкой двух линейно независимых векторов го" 1 L° и "21 0 _lj Теперь мы видим, что А — диагонализуемая матрица. Аналогичный анализ показывает, что собственное пространство, соответствующее соб-
84 Глава 1. Комплексные числа и линейная алгебра ственному значению 2, есть линейная оболочка вектора Гз1 Поэтому по лемме 1.74 мы имеем Р = Вычисления дают нам р-* = ГО 2 1 0 L° ι 3] 1 2\ D = Γι 0 L° 0 0] 1 0 0 2\ 1 1 2 0 -1 0 -2" -3 2 Мы можем это проверить: прямое вычисление показывает, что Р~1АР = D. Ш С диагонализуемой матрицей А вычисления проводить легче. Для примера рассмотрим вычисление больших степеней матрицы А. Если P~lAP = D, то А = PDP~l. Для любого положительного целого к Ак = PDP-lPDP-lPDP~l... PDP~l = PDkP~\ так как средние произведения Р~1Р пропадают. Но Dk есть диагональная матрица с диагональными элементами, которыми являются к-е степени соответствующих диагональных элементов D. В некоторых случаях мы можем также найти корни матриц. Пример 1.82. Пусть А есть матрица из примера 1.81. 1) Вычислить А20. 2) Найти матрицу В такую, что В2 = А. Решение. 1) Как показано выше, А20 = PD2QP~l = 0 2 3 1 0 1 0 1 2 "О 2 3" 1 0 1 0 1 2 10 0 0 1 0 0 0 220_ " 1 1-2 2 0-3 -220 0 221 1 1 2 0 -1 0 Τ = -2 -3 2 •4-3-220 0 -6 + 3-221 1 - 220 1 -2 + 221 2 - 221 0 -3 + 222
1.5. Диагонализация линейных преобразований и матриц 85 2) Так как диагональные элементы матрицы D неотрицательны, то легко найти матрицу С такую, что С2 = D, а именно С = 10 0" 0 1 0 0 0 у/2 Тогда В = РСР 1 удовлетворяет равенствам В2 = PCP-lPCP~l = PC2P~l = PDP-1 = А. Вычисление дает Г4-3\/2 0 -6 + 6λ/2Ί В= \-у/2 1 -2 + 2У2 . ■ [2-2\/2 0 -3 + 4\/2j Следующие два примера позволяют нам более глубоко осмыслить возможности диагонализации. Второй пример используется для решения разностного уравнения. Пример 1.83. Определим по индукции последовательность {хп}™=^ положив xq = 1, χι = 1 и для η ^ 0 Хп+2 = 2жп+1 + Зжп. Найти явную форму выражения для хп. Решение. Для любого η ^ 0 определим вектор (1.40) ^n = L Ж" . • Из соотношения (1.40) получаем Un+l = где Sn+2 = 2xn+\ + Зжп Л = "2 1 = 3] "2 1 3' 0 = Аип, Следовательно, un = ^п_1 = А2пп_2 = ... = Апио. Так как условия хо = ж χ = 1 дают нам по, то нам нужно вычислить только Ап. Вычисления показывают, что собственные значения матрицы А — это А = 3 с собственным вектором [3 1] и А = —1 с собственным вектором [—1 1]. Поэтому А = PDP'1 = Гз -ι" L1 ι "3 0" 0 -1 1 4 " 1 1] -ι з]
86 Глава 1. Комплексные числа и линейная алгебра Из этого следует, что Ап = PDnp-i = '3 -1] [Зп 1 10 0 (-1)«J 1 1 -1 3 3"+i - (-l)^1 3n+1 + 3(-l)n+1 3" - (-l)n 3n + (-l)n Откуда Xn+l = it„ = Auuq = Γ3η+ι _ (_i)n+i 3n+i + 3(_!)n+i [ 3n-(-l)n 3n + (-l)n 2·3η+1 + 2(-1)' 2-3' H + 2(_i)n+i-| }n + 2(-l)n J В частности, Xn — _ 3n + (-l)n (Заметим, что нет необходимости выписывать первый элемент вектора Апщ.) Можно непосредственно проверить, что хп удовлетворяет начальным условиям хо = х\ = 1 и что выполняется рекуррентное соотношение (1.40). ■ Этот метод можно использовать, чтобы получить формулу для п-го числа Фибоначчи (упр. 1.5.6). Следующий пример показывает, как может быть использована диа- гонализация при решении систем дифференциальных уравнений. Пример 1.84. Найти общее решение системы дифференциальных уравнений . Ух = -2yi + 6у3, 2/2 = -01 + У2 + 2уз, (1.41) Уз = -2yi + 5у3. Решение. Обозначим через у вектор с компонентами уьУ2,Уз· Здесь Л —та же самая матрица, что в примерах 1.81 и 1.82. Для полученных там PhD мы можем записать данные уравнения в виде у' = Ау = PDP~ly. Это эквивалентно уравнению Р-У = DP~ly.
1.5. Диагонализация линейных преобразований и матриц 87 Пусть ζ = P~ly и пусть компоненты ζ — это ζι, 32,23· Тогда (используя линейность производной) наше уравнение приобретает вид z1 = Dz, откуда: Ζι = Z\, Z2Z=Z Z2 И ^з = 2^з· Из теории дифференциальных уравнений мы знаем, что общие решения последних уравнений имеют вид z\{t) = С\е*^2{1) = С^ и z^(t) = Сзе2*, соответственно (общее решение уравнения /' = kf есть f(t) = Сеы, где С — произвольная константа). Но у = Pz, поэтому решение есть '2С2е< + ЗС3е2*Ч Cie* + С3е2< С2е< + 2С3е2< Можно убедиться, что y\{t), У2 (t) и ys(t) удовлетворяют системе (1.41). ■ [Ы<)1 И2(«) Lws(*)J = "0 2 з" 1 0 1 0 1 2 "Cie*" С2е* Lc3e2iJ = В этом примере диагонализуемость матрицы А приводит нас к изменению базиса (переход к z-координатам), в результате чего система разбивается на одномерные уравнения. В этом состоит основная идея диагонализации: большая проблема разбивается на более простые, независимые проблемы. Не каждая матрица или линейное преобразование диагонализуемы (упр. 1.5.8). Возникает вопрос, насколько близко в общем случае можно подойти к диагонализуемости. Это значит, что если мы рассматриваем все подобные матрицы для произвольной матрицы А, насколько близка к диагональной «наилучшая» из них? На это имеется один ответ, что всегда существует матрица, в которой на главной диагонали стоят собственные значения матрицы А (которые повторяются в блоках, соответствующих алгебраической кратности), а также нули или единицы на супердиагонали (более короткая диагональ как раз над главной диагональю) в зависимости от геометрической кратности собственных значений, и нули всюду на остальных местах матрицы. Эта матрица называется жордановой канонической формой матрицы А; она полностью подобно инвариантна А в том смысле, что каждая матрица подобна только одной матрице в жордановой канонической форме (с точностью до перестановки собственных значений), и две матрицы подобны, если они имеют одну и ту же жорданову форму. Это является теоретической кульминацией линейной алгебры, но мы здесь не нуждаемся в таком общем и мощном результате. Мы будем иметь дело с более простым случаем диагонализуемых матриц.
88 Глава 1. Комплексные числа и линейная алгебра Упражнения 1.5.1. Пусть А и В —матрицы размера η χ η над полем F, где либо F = R, либо F = С. Предположим, что А ~ Б, т. е. В = Р~1АР. Пусть А —скаляр и г; —вектор (в Rn, если F = R, и в Сп, если F = C). 1) Доказать, что равенство Αν = Аг; справедливо тогда и только тогда, когда Β(Ρ~ιν) = ΧΡ~ιν. 2) Дать прямое доказательство следствия 1.68, т. е. доказательство без использования леммы 1.67 или следствия 1.64. Подсказка: аналогично упр. 1.4.8(1), доказать, что умножение векторов на обратимую матрицу сохраняет их линейную независимость. 1.5.2. Пусть А — матрица размера пхп над полем R или С. Доказать, что А обратима тогда и только тогда, когда столбцы матрицы А, рассматриваемые как векторы, линейно независимы. Подсказка: пусть Г есть линейное преобразование, определенное равенством Т(х) = Ах. Пусть Vj есть j-й столбец матрицы А, рассматриваемый как вектор. Доказать, что span{i;i,i;2,... ,vn} = range Г (применяя упр. 1.4.8(2) с щ = е$), а также вспомнить лемму 1.57 и теорему 1.42. 1.5.3. Доказать лемму 1.74, п. 2): если Ρ есть обратимая матрица со столбцами vi, V2,... ,vn,D = [dy] есть диагональная матрица и P~lAP = D, то столбцы матрицы Ρ линейно независимы (это как раз следует из обратимости Ρ и упр. 1.5.2) и Av\ = daVi для каждого г = 1,2,..., η (т. е. v% есть собственный вектор А с собственным значением, равным г-му диагональному элементу D). 1.5.4. Пусть L1 О J · 1) Рассматривая А как матрицу над полем R, показать, что она не имеет вещественных собственных значений. 2) Рассматривая А как матрицу над полем С, найти комплексные собственные значения А и соответствующие собственные векторы для каждого собственного значения. 3) Найти обратимую матрицу Ρ над полем С и диагональную матрицу D над С такие, что P~lAP = D. 4) Используя п. 3), вычислить А". 5) Убедиться, что А2 = —I. Использовать это для вычисления А" и сравнить с ответом из предыдущего пункта.
Упражнения 89 1.5.5. Пусть xq = 1 и χι = —1. Для η ^ О определим по индукции #п+2 = Xn+i + 6жп- Найти формулу для хп. 1.5.6. Последовательность Фибоначчи определяется по индукции значениями xq = 0, х\ = 1 и для η ^ О равенством жп+2 = #η+ι + #η· Найти формулу для η-го числа Фибоначчи хп. (Ответ: яп = 5"1/2 2"п((1 + \/5)п - (1 - \/5)п).) 1.5.7. Пусть Л есть матрица размера ηχ η над полем С. 1) Доказать, что det(—А) = (—l)ndet А Подсказка: использовать индукцию. 2) Предположим, что Αι, Α2,..., А& — собственные значения матрицы А и алгебраическая кратность А$ равна га* для каждого г. Доказать, что детерминант А есть произведение собственных значений, взятых в степенях, равных кратности, т. е. ά<Α(Α)=\γι >$*... \%к. Во многих книгах это используется как наиболее элегантный способ определения детерминанта, но такой подход требует, в первую очередь, существования собственных значений. Подсказка: выберете нужным образом А в соотношении (1.39). Замечание: это означает, что детерминант матрицы инвариантен относительно преобразования подобия (так 2ке, как собственные значения и их алгебраические кратности). Это можно непосредственно увидеть, используя теорему 1.76, п. 2). 1.5.8. Пусть А = 3 1 О 3 Показать, что число 3 есть собственное значение А, которое имеет алгебраическую кратность 2, но геометрическую кратность 1. Сделаем вывод, что А не имеет базиса из собственных векторов и, следовательно, не диагонализуема. 1.5.9. Пусть А = 1) Найти диагональную матрицу D и обратимую матрицу Ρ такие, что P~lAP = D. 2) Найти матрицу В такую, что 1.5.10. Пусть Л —матрица размера пхп над полем С. Если Л— диагонализуема и к — положительное целое число, то доказать, что Ак также диагонализуема. Как собственные значения и собственные Г2 0 3 2 [з о 0] 1 3J
90 Глава 1. Комплексные числа и линейная алгебра векторы Ак связаны с собственными значениями и собственными векторами А? 1.5.11. Найти общее решение системы дифференциальных уравнений у[ = 8yi - 15у2, У2 = 2yi - Зу2. 1.5.12. Мы говорим, что матрицы АиВ одновременно диагонализуемые, если они диагонализуемы одной и той же матрицей; это значит, что существует обратимая матрица Ρ такая, что P~lAP = D\ и P~lBP = D2 для некоторых диагональных матриц D\ и D2. Доказать, что если Аи В одновременно диагонализуемы, то они перестановочны (коммутируют): АВ = В А. Подсказка: заметьте, что любые две диагональные матрицы перестановочны. 1.5.13. В предположении, что матрица А размера η χ η имеет η различных собственных значений, доказать утверждение, обратное утверждению упр. 1.5.12: если В есть матрица размера η χ η, перестановочная с А, то А и В одновременно диагонализуемы (определение дано в упр. 1.5.12). Подсказка: если Vj есть собственный вектор А с собственным значением λ^, используйте коммутативность АиВ, чтобы показать, что Bvj есть собственный вектор А с собственным значением Aj, следовательно, кратный Vj. Замечание: этот результат справедлив без предположения о том, что А имеет η различных собственных значений: если АиВ диагонализуемы и коммутируют, то А и В одновременно диагонализуемы. Этот результат широко применяется в квантовой механике. 1.6. Скалярные произведения, ортонормированные базисы и унитарные матрицы Такие рассмотренные нами понятия как линейная независимость и базисы, имеют смысл для любого векторного пространства. Однако наши основные примеры Rn и Сп так же, как некоторые бесконечномерные векторные пространства, обладают дополнительной структурой, связанной со «скалярным произведением». В общем случае скалярное произведение есть обобщение скалярного произведения векторов в Rn. Оно дает обобщенное понятие перпендикулярности, называемое ортогональностью. Это приводит к ортонормированным базисам и унитарным матрицам, которые особенно удобны в использовании.
1.6. Ортонормированные базисы и унитарные матрицы 91 Для векторов χ и у в Rn с компонентами а^, Ж2,..., жп и уы/г* · · · > Уп> соответственно, скалярное произведение χ иу есть вещественное число η В комплексном случае имеет место следующий аналог. Определение 1.85. Пусть векторы z,w € Сп, т. е. ζ = Ζη u w = ttfl ί!72 % Скалярным произведением (комплексным) векторов ζ и w называется выражение п где wj есть число, комплексно-сопряженное Wj. Вскоре мы увидим причины, по которым в определении 1.85 вводится комплексное сопряжение. Определение 1.86. Пусть V — векторное пространство над полем С. Скалярное (комплексное) произведение есть отображение (·,·): V х V —► С со следующими свойствами: Ш (аддитивность), (и + v, w) = {и, w) + {υ, w) для всех и, ν, w € V. Π2 (однородность относительно умножения на скаляры), (αη, υ) = α(η, ν) для всех a Ε С и всех ц, г; 6 V. ПЗ (сопряженная симметрия), (и, г;) = (υ, и) для всех u,v £ V. П4 (положительная определенность), {и, и) ^ 0 для всех и € V, и (η, и) = О тогда и только тогда, когда и = 0. Векторное пространство V с комплексным скалярным произведением так и называется пространством с (комплексным) скалярным произведением. Аддитивность (П1) по первой переменной вместе со свойством ПЗ означает (упр. 1.6.1) аддитивность по второй переменной: (и, υ + w) = {и, υ) + (u, w) для всех и, ν, w € V. (1-42) Однако однородность (П2) по первой переменной и свойство ПЗ дают (упр. 1.6.1) сопряженную линейность по второй переменной: (и, αν) = а (и, υ) для всех α € С и всех и, υ € V. (1-43)
92 Глава 1. Комплексные числа и линейная алгебра Пример 1.87. Для z,w € Сп определим (z,w) = ζ - w. Тогда (·, ·) есть комплексное скалярное произведение в Сп (упр. 1.6.2(1)). При проверке этого факта можно видеть, что сопряжение в определении скалярного произведения для векторов из Сп необходимо для выполнения свойства положительной определенности П4. Это объясняет необходимость в свойстве ПЗ. Для векторного пространства V над R мы определяем вещественное скалярное произведение аналогичным образом за исключением того, что (и, υ) есть всегда вещественное число, и мы рассматриваем только a € R в П2. В этом случае ПЗ принимает вид (и, г;) = (г;, и). В качестве примера определим (ж, у) = χ у для всех ж, у € Rn. Тогда (упр. 1.6.2(2)) (·, ·) есть вещественное скалярное произведение в Rn. Далее мы будем в основном рассматривать пространства с комплексным скалярным произведением. Почти все результаты, которые мы будем обсуждать, выполняются также и для пространств с вещественным скалярным произведением в тех случаях, когда они будут определены надлежащим образом. Чтобы избежать неточностей в обозначениях, мы рассматриваем только комплексный случай, потому что это нам будет нужно позже. Пример 1.88. Пусть ^2(N) — множество всех суммируемых с квадратом последовательностей: ί ^2(Ν) = < {zj}f=l: Zj Ε С для всех j и ]Г \zj\2 < оо С обычным покомпонентным сложением и скалярным умножением ^2(N) есть векторное пространство над полем С (упр. 1.6.3(2)). Для ζ = {Zj}f=l e £2(N) nw = {Wj}f=l e e2(N) пусть oo {z,w) = ^m- (Как следует из упр. 1.6.3(3), этот ряд абсолютно сходится.) Тогда (·, ·) есть комплексное скалярное произведение в ^2(N) (упр. 1.6.3(4)). Пример 1.89. Пусть С([0,1]) —множество непрерывных комплексно- значных функций, определенных на отрезке [0,1]: С([0,1]) = {/: [0,1] -> С, / непрерывна на [0,1]}. (Комплекснозначная функция / на [0,1] непрерывна, если ее вещественная и мнимая части и(х) = Re f(x) и υ(χ) = 1т/(ж), соответственно, непрерывны.)
1.6. Ортонормированные базисы и унитарные матрицы 93 С поточечным сложением и умножением на скаляры (как в примере 1.33), С([0,1]) есть комплексное векторное пространство. Для f>9 € С([°> Ч) определим ι о (Интеграл по [0, 1] комплекснозначной функции f(x) = u(x) + iv(x), где ι ι и и υ — вещественные функции, определяется как J u(x)dx + г J v(x)dx.) о о Тогда (·,·) есть комплексное скалярное произведение в С([0,1]) (упр. 1.6.4). Скалярное произведение всегда определяет норму (упр. 1.6.5) следующим образом. Определение 1.90. Пусть V — векторное пространство над полем С с комплексным скалярным произведением (·,·). Для υ Ε V определим и = у/м- (Квадратный корень вычисляется из неотрицательного вещественного числа в силу свойства П4 в определении 1.86.) Мы называем ||ν|| нормой вектора υ. Заметим, что для пространства Rn эта норма совпадает с обычным понятием длины вектора. С этого момента, когда мы говорим, что V есть пространство с комплексным скалярным произведением, мы предполагаем (если не делается специальное замечание), что (·,·) определяет скалярное произведение в V, а || · || обозначает норму в V, полученную с помощью произведения, как в определении 1.90. Лемма 1.91 (неравенство Коши—Шварца). Пусть V есть про- странство с комплексным скалярным произведением. Тогда для любых и, υ 6 V справедливо неравенство |(п,г;)|^|Н||Н|. Доказательство. Пусть %υ е V. Если υ = 0, то (и,υ) = (%0υ) = = 0(и, υ) = 0, поэтому результат получается автоматически. Теперь предположим, что υ φ 0. Для любого А € С из положительной определенности скалярного произведения (свойство П4 в определении 1.86) следует соотношение 0 ^ (и + \v,u + \v).
94 Глава 1. Комплексные числа и линейная алгебра Раскроем правую часть неравенства (используя свойства линейности Ш и П2, а также формулы (1.42) и (1.43)); получим О ^ {щ и) + {и, λυ) + {λυ, и) + (Αν, λυ) = = \\u\\2+\(u,v) + \(u,v) + \\\2\\vf; в нижней строке мы применили свойство ПЗ. Возьмем (u,v) А~~йГ Подстановка этого значения в предыдущее выражение дает о < и»»2 - 2 |(ц,")|2 +|(ц,г,)|2 imp - iidi2 - K",t,)|2 откуда следует Л Л Kn,v>|2^N|2iHi2. Взяв квадратный корень из обеих частей неравенства, получим утверждение леммы. ■ Следствием этой леммы является обобщение неравенства треугольника. Следствие 1.92 (неравенство треугольника в пространстве со скалярным произведением). Пусть V есть пространство с комплексным скалярным произведением. Тогда для и, υ Ε V ||« + νΚΝ + Ν|. Доказательство. Применяя определения и неравенство Коши— Шварца, получим \\и + υ\\2 = (и + υ, и + υ) = (и, и) + (и, υ) + (υ, и) + (υ, υ) <Ν|2 + 2|Η||Η| + |Η|2 = (ΗΙ + ΙΗ|)2. Возьмем теперь квадратный корень от обеих частей неравенства. ■ Напомним, что для векторов χ и у в пространстве R2 или R3 спра- ведливо равенство x-y=\\x\\\\y\\cose, где θ есть угол между χ и у. В частности, ненулевые векторы χ и у перпендикулярны тогда и только тогда, когда χ · у = 0. В случае пространства со скалярным произведением большей размерности, которое не допускает визуального описания, скалярное произведение можно использовать для определения обобщенного понятия перпендикулярности. Определение 1.93. Пусть V — пространство с комплексным скалярным произведением. Мы говорим, что векторы η, υ 6 V ортогональны (и пишем u -L г;), если (и, г;) = 0.
1.6. Ортонормированные базисы и унитарные матрицы 95 Заметим, что если u J_ v, то разложение скалярного произведения дает ||« + vf = ||u||2 + <«, ν) + (ν, и) + \\vf = \\uf + \\vf. (1.44) Это — обобщенный вариант теоремы Пифагора. Определение 1.94. Пусть V — пространство с комплексным скалярным произведением и В — некоторая совокупность векторов в V. Множество В называется ортогональным, если любые два различных элемента в В ортогональны. Множество В является ортонормированным, если В есть ортогональное множество и ||v|| = 1 для всех υ Ε В. Ортогональные множества ненулевых векторов линейно независимы. Лемма 1.95. Пусть V — пространство с комплексным скалярным произведением, а В —ортогональное множество векторов в V и О ^ В. Тогда В есть линейно независимое множество. Доказательство. Предположим, что ηι, U2,..., щ € В и существуют скаляры αϊ, α2,..., α^ такие, что ot\U\ + QL2U2 + ... + afcUfc = 0. Вычислим скалярное произведение от обеих частей равенства с элементом щ, где j 6 {1,2,..., к} — произвольное целое число. В предположении ортогональности {щ, щ) = 0 для / φ j. Мы получаем Так как щ φ 0 (0 ^ В по предположению), то {uj,Uj) = ||u||2 φ 0 (по свойству П4), следовательно, ctj = 0. Так как j произвольное, то это доказывает, что В — линейно независимое множество. ■ Лемма 1.96. Пусть V — пространство с комплексным скалярным произведением, и В = {iti, 1*2, · · ·, t*n} — ортогональное множество в V с Uj φ 0 при всех j. Если υ 6 span В, то ιι = έτ^· (1.45) Доказательство. Так как υ Ε span В, то существуют скаляры αχ, СК2,..., otn такие, что ν = a\U\ + (X2U2 + ... + апип. Для каждого j вычисление скалярного произведения обеих частей этого уравнения с щ и использование ортогональности элементов В дают Выразив из этого равенства а^, получим формулу (1.45). ■
96 Глава 1. Комплексные числа и линейная алгебра Для произвольного элемента и, принадлежащего линейной оболочке конечного множества, можно решить систему линейных уравнений и найти коэффициенты в разложении и. Лемма 1.96 демонстрирует основное преимущество ортогональности: для ортогонального множества В и υ Ε span В легко определить коэффициенты разложения элемента υ. Заметим, что если мы предположим ортонормированность элементов В, то формула (1.45) еще более упрощается: η v = ^2(v^uj)uj- (1-46) Выражение (1.45) приводит нас к понятию ортогональной проекции. Определение 1.97. Пусть V — пространство с комплексным скалярным произведением, и В = {щ, щ,..., г^} —ортогональное множество в V с Uj\ф О при всех j. Пусть S = span В. (Вследствие упр. 1.3.3 S есть подпространство V.) Для υ 6 V определим ортогональную проекцию Ps{v) элемента υ на S равенством Оператор ортогональной проекции Ps обладает следующими свойствами. Лемма 1.98. Пусть V,B,S и Ps —me же, что и в определении 1.97. Тогда 1) Ps есть линейное преобразование. 2) Ps{v) € S ля каждого ν € V. 3) Если s e S, то Ps(s) = s. 4) (Свойство ортогональности). Для любых υ eV и s € S (ν - Ps(v)) ± s. 5) (Свойство наилучшей аппроксимации). Для любых υ EV us Ε S \\V-P8(V)\\*\\V-81 и равенство справедливо тогда и только тогда, когда s = Ps(v). Доказательство. Свойство 1 следует из аддитивности скалярного произведения (П1 в определении 1.86) и из соотношения (1.47). Выражение (1.47) показывает также, что Ps(v) Ε spanB = 5, поэтому выполняется 2. Из леммы 1.96 следует утверждение 3.
1.6. Ортонормированные базисы и унитарные матрицы 97 Для доказательства свойства 4 возьмем υ € V и заметим, что для каждого га ортогональность множества В означает, что п ( ■) Эквивалентно, (v-Ps(u),um) = 0, поэтому (г; — Р$(г>)) J_ um для га = 1,2,..., п. Так как любой элемент s e S есть линейная комбинация щ, П2,..., пп, то (г; — Ps(^)) -L *· Для доказательства свойства 5 рассмотрим υ EV и s € S. Тогда \\v-s\\2 = \\v-Ps(v) + Ps(v)-s\\2 = = ||V - Ps(v)f + \\Ps(v) - s\\2 > \\v - Ps(v)\\2, где предпоследний шаг следует из формулы (1.44): так как s и Ps{v) принадлежат подпространству 5, то Ps(v) — s € 5, и, ввиду 4, υ — Ps(^) ортогонально любому элементу 5. Взяв квадратный корень, получим утверждение 5. ■ Свойство 5 в лемме 1.98 говорит о том, что ближайшим элементом к υ в подпространстве S является его ортогональная проекция Ps(v). Это соответствует нашей геометрической интуиции в случае пространств R2 и R3. Следует отметить, что, несмотря на определение, Ps не зависит от выбора ортонормированного базиса В для S: для любых двух орто- нормированных базисов в S результирующая проекция одна и та же. Упражнение 1.6.8 дает более прямое доказательство этого факта. Имея линейно независимое множество векторов, мы можем получить ортонормированное множество с той же самой линейной оболочкой, выполняя процедуру Грама—Шмидта, как это показывает следующая лемма. Лемма 1.99 (процедура Грама—Шмидта). Пусть V —пространство с комплексным скалярным произведением, и {u\,U2, ..., ип} есть линейно независимое множество в V. Тогда существует ортонормированное множество {vi, г>2,..., νη} с той же самой линейной оболочкой. Доказательство. Для каждого к = 1,2,...,п положим Sk = = span{ui, ί/2,..., Uk}. Определим по индукции векторы w\, W2,..., wn так, что на каждом шаге множество Вь = {ttfi, W2,..., Wk} ортогонально (в конце оно будет нормировано) и spanBfc = Sk- Для начала пусть w\ = и\. Тогда В\ удовлетворяет требованиям. По индукции предположим, что Bfc-i = {w\, W2,..«, Wk-ι} — ортогональное множество и spanBfc_i = Sk-v
98 Глава 1. Комплексные числа и линейная алгебра Пусть Psfc_i —оператор ортогональной проекции на Sfc_i; положим wk = uk- Ps^Uk = u* - £ ~^p- wj9 (1.48) так как по предположению Bk-i есть ортогональное множество с линейной оболочкой Sk-i- Заметим, что wk φ О, так как если wk = 0, то из формулы (1.48) следует, что wk принадлежит Sfc_i, что противоречит (упр. 1.3.9(1)) линейной независимости {ί/ι,ί/2,... ,un}. По свойству 4) леммы 1.98 вектор wk ортогонален любому элементу в 5*_ι, в частности, wi, ιι>2,..., Wk-i- Поэтому множество Вк ортогональное. Теперь все w\,W2,... 9Wk-i принадлежат Bk-i С Sk-i Q Sfc. Также Psk-iU>k € Sfc_i С Sk и Uk € Sk', в соответствии с формулой (1.48) имеем Wk € Sfc. Из этого следует, что spanBfc С Sk- Чтобы доказать обратное включение, сначала заметим, что ui,t/2,... ,Uk-i Ε Sk-i = spanBk-i Q spanSfc. Также Psfc_i^Ar € Sk-i = = spanBfc_i С span Вk и Wk € spanBfc. Поэтому из формулы (1.48) следует, что щ € spanB^ и^С spanB^. Из двух включений получаем Sk = span В*., что завершает индукцию. После η шагов этот процесс дает нам ортогональное множество {wi,ti72,... ,И7П} с той же линейной оболочкой, что и у множества {щ, U2,..., un}. Ортонормированное множество {υχ, г>2,..., νη} в утверждении теоремы получается в результате нормирования: Vj = Wj/||wj|| для каждого j. Это не изменяет ортогональности или линейной оболочки. ■ Определение 1.100. Пусть V — пространство с комплексным скалярным произведением. Ортонормированный базис V — это ортонормированное множество в V, которое также является и базисом. Любое конечномерное пространство с комплексным скалярным произведением имеет ортонормированный базис. Действительно, оно имеет некоторый базис по определению; по лемме 1.99 существует ортонормированное множество, линейная оболочка которого совпадает с V и которое имеет такое же число элементов и, следовательно, также является базисом. Стандартный базис в Сп (определение 1.39) есть пример ортонормированного базиса. Мы легко можем вычислять скалярные произведения и нормы, используя компоненты векторов в ортонормированных базисах. Лемма 1.101. Пусть V есть пространство с комплексным скалярным произведением и с (конечным) ортонормированным базисом R = {ui,u2,...,un}.
1.6. Ортонормированные базисы и унитарные матрицы 99 1) Для любого υ € V ν = ^{v,u0)u0. (1.49) 3=1 2) (Равенство Парсеваля). Для любых v, w € V η (v,w) =J2{v,Uj){w,Uj). (1.50) i=i 3) (Формула Планшереля). Для любого υ € V ΙΗΙ2 = ΣΙ(^^)Ι2. (ΐ.5ΐ) Доказательство. Пункт 1 —это формула (1.46), которая применима к любому υ € V, так как R есть базис V. Чтобы доказать равенство Парсеваля, применим формулу (1.49) к векторам ν и w и запишем, используя линейность скалярного произведения: \j=l / j=l η = 5^<V,Uj>(tl7,lij>. Пункт 3 следует из п. 2, если положить w = υ. Ш Свойства 1, 2 и 3 делают ортонормированные базисы простыми в использовании. Далее мы рассмотрим унитарные матрицы, которые тесно связаны с ортонормированными базисами. Определение 1.102. Пусть А = [a,ij] — матрица размера тхп над полем С. Матрица А*, транспонированная к матрице А, есть матрица В = = [b{j] размера η χ га, определенная для всех г, j равенствами Ъц = αβ. Матрица А*, сопряженная матрице А> есть матрица С = [qj] размера η χ га, определенная равенствами Qj = α]ϊ для всех г, j. Другими словами, транспонированная матрица А* получается из матрицы А, если в ней поменять местами строки и столбцы. Сопряженная матрица А* получается взятием комплексно-сопряженных значений от всех элементов матрицы А*. Элементы комплексной матрицы А = [а^] размера тхп можно выразить через скалярное произведение по формуле Oij-iAe^ei), (1.52)
100 Глава 1. Комплексные числа и линейная алгебра где ej € Сп и е$ € Ст — это векторы евклидова базиса в определении 1.39. Чтобы убедиться в этом, заметим, что fc-я компонента вектора Aej есть J η (Aej)k = Y^aki(ej)i = akj, ι=ι так как (ej)/, 1-я компонента вектора ej равна 1, если / = j, и О для других значений / и j. Следовательно, га {Ае0, ei) = ^2 akj{ei)k = a>ij- Более общая формула дается в упр. 1.6.18. Лемма 1.103. Пусть А есть матрица размера πι χ η над полем С. Тогда {Az, w) = (ζ, A*w) для всех ζ Ε Cn и w 6 Cm. if тому же, А* есть единственная матрица, обеспечивающая выполнение этого свойства. Доказательство. Пусть ζ € Сп и w € Cm имеют компоненты ζχ,Ζ2, ..., ζη и U7i,ti72, ..., wm, соответственно. Пусть Л = [ajj] — матрица размера πι χ η, и пусть В = [ify] — матрица размера η χ т. Заметим, га что j-я компонента (Bw)j вектора Bw есть ^ Ь^ед. Поэтому г=1 η η ~га η га (ζ, Bw) = ς zj(Bw)j = Σ ^Σ ь^ = Σ Σ b#ziwi· j=l j=l г=1 j=l г=1 С другой стороны, га τη η (Az, w) = Y^{Az)iWl = Σ Σ ачг№' г=1 г=1 j=l Поэтому если В = А*, т. е. fyj = Щ% или, эквивалентно, Ь^^ = ^ij для всех г и j, то (Аг, w) = (ζ,Βΐΐ;). Чтобы показать единственность матрицы, обеспечивающей выполнение указанного соотношения, предположим, что В = [bij] удовлетворяет равенству (Az,w) = (г, Яш) для всех ζ € Сп и w € Cm. По формуле (1.52) % = (^Ц,·^) = (eJ9Bei) = {Веиеа) = 6^, что и требовалось доказать. ■ Определение 1.104. Пусть Л есть матрица размера η χ п. Матрица А называется унитарной матрицей, если А обратима и А~1 = А*.
1.6. Ортонормированные базисы и унитарные матрицы 101 Для матрицы над полем вещественных чисел сопряженная матрица—это то же самое, что и транспонированная матрица. Поэтому вещественная унитарная матрица А удовлетворяет равенству А~1 = Аг; такая матрица называется ортогональной. Унитарные матрицы обладают несколькими интересными свойствами. Лемма 1.105. Пусть А есть матрица размера пхп над полем С. Тогда следующие утверждения эквивалентны: 1) А есть унитарная матрица. 2) Столбцы матрицы А образуют ортонормированный базис пространства Сп. 3) Строки матрицы А образуют ортонормированный базис пространства Сп. 4) Матрица А сохраняет скалярные произведения, т. е. (Az, Aw) = {z,w) для всех z,w € Cn. 5) ||Аг|| = ||г|| для всех ζ € Сп. Доказательство. Сначала докажем, что свойства 1 и 2 эквивалентны. Пусть Vj есть j-й столбец матрицы А. По определению, г-я строка матрицы А* есть вектор щ с компонентами (u[)k, 1 ^ fc ^ η; это комплексно-сопряженные компоненты (vi)k вектора νι. По определению произведения матриц (i,j)-ft элемент матрицы А*А есть η (A*A)ij = ^2(vl)k(vj)k = (vj,Vi). Из упр. 1.4.12(2) следует, что А есть обратимая матрица с А~1 = А* тогда и только тогда, когда А* А = J. Следовательно, А есть унитарная матрица тогда и только тогда, когда (vj,Vi) = 1 при г = j и 0 в других случаях. Это справедливо тогда и только тогда, когда множество {vi, V2,..., νη} ортонормированно. Если так, то это множество автоматически есть базис Сп, так как это линейно независимое множество (лемма 1.95) из η элементов в n-мерном пространстве (теорема 1.42). Это доказывает, что свойства 1 и 2 эквивалентны. Применение аналогичных рассуждений к матрицы АА* доказывает, что свойства 1 и 3 эквивалентны (упр. 1.6.9). Далее мы докажем эквивалентность свойств 1 и 4 . По лемме 1.103, (Αζ,Αιυ) = (ζ, A* Aw). Если выполняется п. 1, то это означает, что А*А = J, и тогда выполняется п. 4. Обратно, если выполняется п. 4, то для любых ζ и w (ζ, w - A*Aw) = 0.
102 Глава 1. Комплексные числа и линейная алгебра Выбор ζ = w — A* Aw показывает, что A* Aw = w. Так как это выполняется для всех w, мы получаем (вследствие упр. 1.4.6(1)), что А*А = I. Мы оставляем читателю доказательство эквивалентности свойств 1 и 5 в качестве упражнения 1.6.7(4). ■ Если О есть ортонормированный базис, то матрицы преобразования координат вектора при переходе от базиса О к евклидову базису и обратно — унитарные. Лемма 1.106. Пусть Ε = {βι,β2,... ,en} — стандартный базис пространства Сп (определение 1.39) и О = {ui,U2j ··· ,v>n} —некоторый ортонормированный базис Сп. Пусть U есть матрица размера пхп, j-м столбцом которой является вектор Uj. 1) Тогда матрица U унитарна и является матрицей перехода от базиса О к базису Е, a U* есть матрица перехода от базиса Ε к базису О. 2) Предположим, что Г: Сп —► Сп есть линейное преобразование, представленное матрицей А в стандартном базисе (т. е. Τ (ζ) = Αζ). Тогда Τ представляется в базисе О матрицей ATi0 = U*AU. Доказательство . 1) Тот факт, что U есть унитарная матрица, следует из ортонор- мированности базиса О и леммы 1.105, так как любые η ορ- тонормированных векторов являются базисом пространства Сп (лемма 1.95 и теорема 1.42). Упражнение 1.4.15 показывает, что U есть матрица перехода от базиса О к базису Е. Из упр. 1.4.14 следует, что U~l — матрица перехода от базиса Ε к базису О, которая равна 17*, так как U — унитарная матрица. 2) Это следует из п. 1 и леммы 1.61. ■ Напомним главную тему разд. 1.5: мы имеем линейное преобразование Г, представленное в некотором базисе R матрицей А. Мы хотим выделить другой базис S так, чтобы матрица В, представляющая Г в 5, была по возможности более простой. Мы выбираем В среди всех матриц, подобных А, т. е. всех матриц таких, что существует обратимая матрица Р, обеспечивающая выполнение равенства В = Р~1АР. Если R — стандартный базис и S ортонормированный базис, то Ρ есть унитарная матрица. Этот случай особенно легок в использовании, так как, например, унитарная матрица легко обратима. Это приводит к специальным определениям в случае, когда Ρ есть унитарная матрица. Определение 1.107. Пусть А и Б —матрицы размера пхп над полем С. Мы говорим, что А и В унитарно подобные, если существует
1.6. Ортонормированные базисы и унитарные матрицы 103 унитарная матрица U такая, что В = U*AU. Если А унитарно подобна диагональной матрице, мы говорим, что А есть унитарно диагонализу- емая матрица. Замечательно, что существует простая характеристика унитарно диагонализуемых матриц. Доказательство - этого несколько запутано, поэтому мы оставляем его в ряде упражнений (упр. 1.6.11 и 1.6.16) для особо увлеченных студентов. Определение 1.108. Матрица А размера η χ η называется нормальной, если А* А = АА*. Заметим, что унитарные матрицы — нормальные матрицы. Термин «нормальная» вводит в заблуждение, так как большинство матриц не являются нормальными. Следующая теорема показывает, что нормальные матрицы унитарно диагонализуемы. Они должны были бы быть названы «исключительными» или «замечательными», а не «нормальными» матрицами. Теорема 1.109 (спектральная теорема для матриц). Пусть А есть матрица размера пхп над полем С. Тогда следующие утверждения эквивалентны: 1) А есть унитарно диагонализуемая матрица. 2) А есть нормальная матрица. 3) Существует ортонормированный базис Сп, состоящий из собственных векторов матрицы А. Доказательство. Тот факт, что из утверждения 1 вытекает утверждение 2, доказывается в упр. 1.6.11. То, что из п. 2 вытекает п. 3, доказать трудно. Набросок доказательства дается в упр. 1.6.12 с помощью упр. 1.6.16. Тот факт, что из п. 3 вытекает п. 1, следует из леммы 1.74: диагонализуемую матрицу можно построить, взяв столбцы, равные элементам ортонормированного базиса из собственных векторов А, следовательно, эта матрица унитарная по лемме 1.105. ■ Спектральная теорема — это главная теорема линейной алгебры. Ее обобщение на бесконечномерные векторные пространства является одной из ключевых теорем в функциональном анализе. Это обобщение гораздо более сложно, потому что в бесконечномерном случае спектр преобразования Г (некоторое обобщение множества собственных значений) не обязательно дискретный, поэтому нужно ввести на этом спектре нужную меру. Первый шаг в понимании этого глубокого результата — это понять случай матриц.
104 Глава 1. Комплексные числа и линейная алгебра Существует еще один более специальный тип матриц, которые мы будем рассматривать. Определение 1.110. Матрица А размера пхп называется эрмитовой, если А* = А. Другими словами, А = [ау] есть эрмитова матрица, если элементы, полученные при отражении матрицы относительно ее диагонали, являются комплексно-сопряженными элементам исходной матрицы: т. е. α,ρ = Щ для всех i,j. Заметим, что диагональные элементы эрмитовой матрицы должны быть вещественными. Если А имеет только вещественные элементы, то А эрмитова тогда и только тогда, когда А = А1. Такая вещественная матрица называется симметричной. Эрмитовы матрицы имеют следующие характеристики. Лемма 1.111. Пусть А —матрица размера η χ п. Тогда следующие утверждения эквивалентны: 1) А есть эрмитова матрица. 2) А есть нормальная матрица, и собственные значения А — вещественные числа. 3) Существуют унитарная матрица U и диагональная матрица D с вещественными элементами такие, что А = U*DU. Доказательство. (1 => 2): предположим, что А есть эрмитова матрица. Тогда А есть нормальная матрица: А* А = А2 = АА*. Предположим, что А есть собственное значение матрицы А с ненулевым собственным вектором υ. Тогда, используя лемму 1.103, имеем: Χ(υ, υ) = (Χυ,υ) = {Αν, υ) = (υ, Α*υ) = (υ, Αν) = (ν,Χυ) = \(υ,υ). Так как (υ, υ) φ 0, получаем Α = А; это означает, что А — вещественное число. (2 => 3): так как А есть нормальная матрица, то, по теореме 1.109, существуют унитарная матрица U и диагональная матрица D такие, что А = U*DU. Диагональные элементы матрицы D — это ее собственные значения —те же самые, что и собственные значения матрицы А (следствие 1.68), и поэтому вещественны по определению. (3 => 1): предположим, что А = U*DU, где U — унитарная матрица, a D — диагональная матрица с вещественными элементами. Тогда из упр. 1.6.10(1) следует, что А* = (U*DU)* = U*D*{U*)* = U*D*U по определению сопряженного транспонирования. Но так как D есть диагональная матрица с вещественными элементами, то D* = D. По-
Упражнения 105 этому Л* = U*DU = А. Следовательно, А есть эрмитова матрица. ■ Унитарные матрицы имеют характерные свойства аналогичной природы, см. упр. 1.6.19. Упражнения 1.6.1. Пусть V — векторное пространство над полем С и (·,·) есть (комплексное) скалярное произведение в V. Доказать формулы (1.42) и (1.43). 1.6.2. Проверить, что операция (·, ·), определенная в примере 1.87, есть комплексное скалярное произведение в Сп. 1.6.3. 1) Для z, w € С доказать, что 2\zw\ ^ |z|2 + |w|2, и сделать вывод, hto\z + w\2^2(\z\2 + \w\2). 2) Для последовательностей ζ = {zj}^, w = {wj}^ E ^2(N) (определенных в примере 1.88) и А € С определим ζ + w = {zj + Wj}f=i и \z = {\z0}f=l. Доказать, что ^2(N) с этими операциями есть векторное пространство над полем С. (Единственное требование в определении 1.30, которое не очевидно, есть (71, которое следует из п. 1.) 3) Для ζ = {za}f=l e e2(N) nw = {wa}f=l e £2(N) доказать, что oo ряд Σ ZjWj абсолютно сходится. i=i 4) Доказать, что операция (·,·), определенная в примере 1.88, есть комплексное скалярное произведение в ^2(N). 1.6.4. Доказать, что операция (·,·), определенная в примере 1.89, есть комплексное скалярное произведение в С([0,1]). 1.6.5. Нормированное векторное пространство есть векторное пространство V с отображением || · || (называемым нормой), определенным в V со следующими свойствами: HI (положительная определенность). Для любого υ € V норма || г; || есть неотрицательное вещественное число. Н2 (невырожденность). ||г;|| = 0 тогда и только тогда, когда г; = 0. НЗ (скалярная совместимость). ||Аг;|| = |А|||г;|| для любого скаляра А и любого υ € V. Н4 (неравенство треугольника). ||ι* + ν||^||ι*|| + ||ν|| для любых и, υ € V.
106 Глава 1. Комплексные числа и линейная алгебра 1) Пусть V — пространство с комплексным скалярным произведением. Определим || · || как в определении 1.90. Показать, что V с || · || есть нормированное векторное пространство. Замечание: упр. 1.6.6 показывает, что в этом случае существуют нормы, которые не порождены скалярным произведением. 2) Предположим, что V с || · || есть нормированное векторное пространство. Для η, υ € V определим d(u, υ) = \\u—υ\\. Доказать, что V с d есть метрическое пространство. (См. упр. 1.1.2 для определения метрического пространства.) Это пример различных уровней структуры в математике. Метрическое пространство есть более общий объект (т. е. менее структурированный), чем нормированное векторное пространство, которое, в свою очередь, является более общим, чем пространство со скалярным произведением. В общем случае полное пространство со скалярным произведением (называемое гильбертовым пространством) имеет ту же самую структуру, что и Сп, но, конечно, не обязательно является конечномерным. 1.6.6. 1) Пусть V — пространство с комплексным скалярным произведением и || · || — норма, полученная из скалярного произведения согласно определению 1.90. Доказать тождество параллелограмма: 2\\zf + 2\\wf = \\z + wf + \\z-wf для любых z,w € V. Разобраться, почему это называется тождеством параллелограмма: нарисовать два ненулевых вектора z,w € R2 с общей исходной точкой и рассмотреть параллелограмм со сторонами ζ и w. Показать, что сумма квадратов длин двух диагоналей равняется сумме квадратов длин четырех сторон. 2) Для ζ € С2 определим где ζ\ и Ζ2 — компоненты ζ. Доказать, что || · ||ι есть норма в пространстве С2 (она называется £1 -нормой). 3) Найти векторы z,w € с2 такие, что 2|ΜΙ? + 2|ΗΙ??ί||* + 4Ι? + ΙΙ*-«ΊΙ?. Доказать, что || · ||ι есть норма, которая не получается из скалярного произведения.
Упражнения 107 1.6.7. Пусть V есть пространство с комплексным скалярным произведением и Г: V —► V — линейное преобразование. 1) (Поляризационное тождество.) Доказать, что для любых u, vEV 4(T(u), υ) = (T(u + ν), u + υ) - (T(u - ν), u - г;)+ + г(Г(п + iv),u + iv) — i(T(u — iv), u — iv). 2) Доказать, что комплексное скалярное произведение определяется индуцированной им нормой; это значит, что если два скалярных произведения в V приводят к одной и той же норме, то эти два скалярных произведения должны быть одинаковыми. Подсказка: положить Г в п. 1 единичным оператором. 3) Пусть для всех и 6 V справедливо равенство {Т(и),и) = 0. Доказать, что Г есть нулевой оператор, т. е. T(v) = 0 для всех υ € V. Подсказка: применить п. 1 для доказательства того, что {T(u),v) = 0 для всех и, υ € V и затем положить υ = Т{и). 4) Доказать, что матрица А размера η χ η унитарна тогда и только тогда, когда для всех ζ € Сп справедливо равенство ||Аг|| = ||ζ||. Подсказка: применить п. 3 к А*А — I. 1.6.8. Пусть S есть подпространство конечномерного векторного пространства V. Пусть υ € V. Предположим, что w 6 S h(v — w) ± s для каждого s € 5. Доказать, что w = Ps(v), где оператор Ps задан в определении 1.97. Это дает характеристику Р$, которая не зависит от выбора базиса S и, следовательно, показывает, что Ps не зависит от выбора ортонормированного базиса, используемого в его определении. Подсказка: записать w — Ps{v) = (w — υ) + (υ — Ps{v)) и показать, что w — Ps{v) принадлежит 5, но также ортогонально любому элементу из 5. 1.6.9. Доказать эквивалентность п. 1 и п. 3 в лемме 1.105. 1.6.10. Пусть А и Б —матрицы размера η χ η над полем С. 1) Доказать, что {АВ)* = В*А*. (Подсказка: существует прямое доказательство этого утверждения, но легче использовать результат леммы 1.103, связанный с единственностью матрицы А*.) 2) Определим А « В, если существует унитарная матрица U такая, что В = U*AU. Доказать, что « есть отношение эквивалентности; т. е. а) А « А для любой матрицы А, б) если А « В, то В » А, и в) если А та В и В w С, то A w С.
108 Глава 1. Комплексные числа и линейная алгебра 1.6.11. В теореме 1.109 доказать, что из п. 1 следует п. 2. 1.6.12. Пусть Г: Сп —► Сп — линейное преобразование, и А есть матрица размера η χ η над полем С, которая представляет Г в стандартном базисе, т. е. Τ (ζ) = Αζ. Определим преобразование Г*, сопряженное преобразованию Г, как оператор Г*: Сп —► Сп, заданный равенством Г* (ζ) = Α*ζ. Мы говорим, что Т —нормальное преобразование, если Т*Т = 7Т*, т. е. Τ*Τ(ζ) = ΤΓ*(ζ) для всех ζ 6 С. 1) Доказать, что Г есть нормальное преобразование тогда и только тогда, когда А есть нормальная матрица. Подсказка: использовать упр. 1.4.6(2). 2) Показать, что для доказательства того, что из утверждения 2 в теореме 1.109 вытекает утверждение 3, в условиях этой же теоремы достаточно доказать, что если Г есть нормальное преобразование, то Сп имеет ортонормированный базис, состоящий из собственных векторов Г. 1.6.13. Пусть Г: Сп —► Сп —линейное преобразование. Доказать, что Τ есть нормальное преобразование (см. упр. 1.6.12) тогда и только тогда, когда ||Г*(^)|| = ||Г(г)|| для всех ζ Ε Сп. Подсказка: показать, что условие (Τ*(ζ),Τ*(ζ)) = (Τ(ζ),Τ(ζ)) эквивалентно равенству {ζ, (Т*Т — ΊΤ*)(ζ)) = 0 (использовать лемму 1.103) и применить упр. 1.6.7(3). 1.6.14. Пусть Г: Сп —► Сп — нормальное линейное преобразование (см. упр. 1.6.12) и А € С. 1) Доказать, что (А/ — Г)* = А/ — Г*. (Этот пункт не требует нормальности Г.) Подсказка: легко доказать соответствующее утверждение для матриц. 2) Доказать, что XI — Г есть нормальное преобразование. 3) Для υ € Сп доказать, что Г(г;) = Аг; тогда и только тогда, когда Τ*(υ) = \υ. Подсказка: применить упр. 1.6.13 к А/ — Г. 1.6.15. Пусть Г: Сп —► Сп — нормальное линейное преобразование (см. упр. 1.6.12), λ, μ 6 С и λ φ μ. Предположим, что η, υ € Сп — это собственные векторы Г с собственными значениями А и μ, т. е. T{u) = Xu и Г(г;) = μυ. Доказать, что и _Ι_ υ. Подсказка: заметьте, что из упр. 1.6.14(3) следует λ(η,ν) = (Τ(η),ν) = (u,T*(t;)> = (η,μυ)=μ(η,υ). 1.6.16. Пусть Γ: Cn —► Cn — нормальное линейное преобразование (см. упр. 1.6.12). Обозначим собственные значения Τ через
Упражнения 109 λι, λ2,..., Afc, а соответствующие собственные пространства через Е\1, Е\2,..., Е\к. Пусть mi есть размерность E\i. Пусть {^ij}^i ^ть ортонормированный базис E\v Из упр. 1.6.15 следует, что множество S = {^j}l<i<fc,l<j<mi ортонормированное. Пусть W = span 5. Определим W1- = {z eCn: z ±w для всех w € W}. 1) Доказать, что И^1- есть подпространство Сп. 2) Доказать, что если w € W, то T*(w) € W. Подсказка: использовать упр. 1.6.14(3). 3) Доказать, что если у 6 W-1, то Τ (у) € W-1. Подсказка: для υ € W1- nweW У (T(y),w) = (y,T*(w)). Применить п. 2. 4) Пусть Tw± есть сужение преобразования Τ на подпространство W^. Из п. 3 следует, что Tw± есть линейное преобразование из W1- в W-1. Однако любой ненулевой собственный вектор Tw± должен быть ненулевым собственным вектором Τ в W-1. Такого собственного вектора не может быть, потому что все собственные векторы Τ принадлежат W по определению. (Элемент, принадлежащий обоим пространствам W и W-1, должен быть нулевым, потому что он ортогонален самому себе.) Поэтому Tw± не имеет ненулевых собственных векторов, следовательно, не имеет и собственных значений. Но это невозможно, если W1- не равно {0} (по лемме 1.78, примененной к матрице, представляющей Тцг± в некотором базисе, и по основной теореме алгебры). Вывести, что W = Сп. Подсказка: для произвольного ζ € Сп записать ζ = ζ — Pw{z) + Pw{z)\ по лемме 1.98 имеем ζ — Pw(z) £ W^~. 5) Вывести, что Сп имеет ортонормированный базис, состоящий из собственных векторов Г. Вместе с упр. 1.6.12 это доказывает, что в теореме 1.109 из утверждения 2 следует утверждение 3. 1.6.17. Предположим, что А есть матрица размера η χ η такая, что А* есть многочлен от А; т. е. существует га 6 N и скаляры αο, α\,..., ат такие, что Л* = amAm + am-iAm-1 + ... + αλΑ + α0/. Доказать, что А есть унитарно диагонализуемая матрица.
110 Глава 1. Комплексные числа и линейная алгебра 1.6.18. Предположим, что R = {г>1,г>2>·· · ,vn} есть ортонормиро- ванный базис пространства с комплексным скалярным произведением, и Г: V —► V — линейное преобразование. Пусть At,r = [aij]i<i,j<n есть матрица, которая представляет Τ в базисе R. Доказать, что 1.6.19. Пусть А есть матрица размера η χ η над полем С. Доказать, что А унитарна тогда и только тогда, когда А есть нормальная матрица и все собственные значения А по модулю равны 1. 1.6.20. Пусть А = [a,ij] есть матрица размера πι χ η над полем С с векторами-строками iti,it2>··-, um € Сп и векторами- столбцами vi,V2,..., vn 6 Cm (т.е. щ есть вектор с компонентами α^ι,α^*··· jOi,n и vj есть вектор с компонентами ei,j, a2,j? · · · ? ^m,j)· Пространство строк матрицы Л есть U = span {«ι, n2,...,nm}, а пространство столбцов матрицы Л есть V = span{i>i,i;2,...,vm}. 1) Доказать, что V = {Αζ: ζ 6 Сп}. Подсказка: показать, что Az = ziV\+Z2V2 + - · -+ZnVn, где ^1,^2,..., ζη — это компоненты вектора г. Пусть для 2GCnc компонентами ζ\, Ζ2,..., ζη вектор ~ζ G Cn имеет компоненты ζι, 22 >..., ~ζη· 2) Пусть г € Сп. Доказать, что Az = 0 тогда и только тогда, когда ζ 1. U. (Утверждение, что ζ _L U означает, что ζ ортогонален любому элементу 17.) Определите Г: U —► V равенством Τ(ζ) = ΑΊ. Заметьте, что Τ {ζ) € V вследствие п. 1. 3) Доказать, что Г есть «1-1»-отображение. Подсказка: используйте упр. 1.4.7 и п. 2). 4) Доказать, что Г есть оператор «на»! Подсказка: пусть у Ε V. Из п. 1 следует равенство Az = у для некоторого ζ € Сп. Пусть w есть ортогональная проекция ζ на U. По определению (г — гу) _L U. Примените п. 2. 5) Доказать, что пространство строк и пространство столбцов матрицы А имеют одинаковую размерность, равную рангу А. Подсказка: используйте упр. 1.4.8(4). 6) Доказать, что ранг матрицы А* равен рангу матрицы А (rank Л* = rank Л). (Здесь А* есть матрица, транспонированная к матрице А; см. определение 1.102.)
Глава 2 Дискретное преобразование Фурье 2.1. Определение и основные свойства дискретного преобразования Фурье В гл. 1 мы рассматривали векторы в пространстве С^, т. е. последовательности N комплексных чисел. Сейчас мы изменим несколько обозначений. Во-первых, из соображений, которые будут более ясны позже, мы пронумеруем эти N чисел индексами j 6 {0,1,..., N — 1} вместо {1,2,... ,ΛΓ}. Во-вторых, вместо записи компонент вектора ζ в виде Zj мы будем записывать их как z(j). Это определяет новую точку зрения: мы рассматриваем ζ как функцию, определенную на конечном множестве п . н жу _ Ζαγ = {0,1,...,ΛΓ-1} (и это соответствует формальному определению последовательности как функции на множестве индексов). Для экономии места мы будем записывать такие ζ горизонтально, а не вертикально: ζ = (ζ(0),ζ(1),...,ζ(Ν-1)). Однако, когда это будет нужно, мы будем отождествлять ζ с вектором- столбцом ζ = *(0) *(2) (2.1) [ζ{Ν - 1)J Это позволяет нам записать произведение матрицы размера Ν χ Ν на, вектор ζ в виде Αζ. Наконец, для согласования с обозначением функций, используемым позже для бесконечномерного случая, мы будем писать £2(Ζν) вместо С^. Итак, формально, £2{ZN) = {z = (z(0), s(l),..., ζ(Ν - 1)): z(j) € С, 0 ^ j ^ N - 1}. С обычным покомпонентным сложением и скалярным умножением £2(Zn) есть JV-мерное векторное пространство над полем С. Одним из базисов £2(Zn) является стандартный, или евклидов, базис Ε = {ео, ei,..., ejv_i}, где ej(n) = 1, если η = j, и ej(n) = 0, если η φ j. В этом обозначении комплексное скалярное произведение в £2(Zn) есть JV-1 (z,w) = Y^z(k)w(k) к=0
112 Глава 2. Дискретное преобразование Фурье с определяемой им нормой 1/2 /N-1 \ ' \fc=0 / (называемой i2-нормой). Мы сохраняем понятие ортогональности: z±w тогда и только тогда, когда (z, w) = 0. Примем еще одно соглашение. Мы определили компоненты z(j) вектора ζ 6 £2(Ιιν) для j = 0,1,..., JV—1. Теперь мы продолжим определение г на все целые числа, требуя, чтобы вектор ζ был периодическим с периодом Ν: Аз + Ю = ζϋ) для всех э £ ζ· Следовательно, чтобы найти z(j) для j φ {0,1,..., JV—1}, добавим некоторое положительное или отрицательное целое число raiV, кратное JV, так, что j + mN € {0,1,..., Ν — 1}, затем положим z(j) = z(j + miV). Например, если N = 12, то ζ{-21) = ζ(-9) = ζ(15) = *(27) = ζ(3). Заметим, что значение z(j) зависит только от вычета j по модулю N. Можно рассматривать дискретную функцию ζ как определенную на классах эквивалентности Ζ mod N. В частности, мы можем рассматривать ζ как определенную на любом другом множестве N последовательных чисел вместо {0,1,..., N — 1}. Читатель, наверное, знаком с теорией рядов Фурье, согласно которой функция на интервале вещественных чисел представляется суммой синусов и косинусов (это обсуждается в гл. 4). Аналогичные явления имеют место и для функций на Ζ#. Определение 2.1. Определим Ео, £а,..., Ε^-ι € ^2(Ζ#) равенствами Ео(п) = -= для n = 0,l,...,JV-l; JE?i(n) = -±= e2™'N для n = 0,l,...,JV-l; E2(n) = J= e^2n/N дая n = 0,l,...,JV-l; EN-!(n) = JL e2^"1^ для η = 0,1,...,ΛΓ-1. Или более коротко £m(n) = -j= e2nimn/N для 0<m,n^W-l. (2.2)
2.1. Определение и свойства дискретного преобразования Фурье 113 Мы используем в качестве обозначения заглавное Е, говоря об экспоненциальной функции вместо использования маленького е, которое мы сохраняем для введенных ранее стандартных базисных векторов. Лемма 2.2. Множество {Eq, Εχ,..., Εν-ι} есть ортонормированный базис пространства £2(Zn). Доказательство. Пусть j, к е {О,1,..., N - 1}. Тогда ΛΓ-1 ΛΓ-1 п=0 п=0 ΛΓ-1 ΛΓ-1 _ J_ V^ -2nijn/N-2nikn/N _ J_ V^ .2m(j-k)n/N _ n=0 n=0 iV-1 n=0 где мы использовали равенства (1.14), (1.16) и (1.17). Если j = fc, то все члены внутри последней суммы равны 1, поэтому ΛΓ-1 {Ej,Ej) = Ν~ι Σ 1 = 1. Следовательно, ||#j||2 = 1 для каждого j=0 j, т. е. все Ej имеют норму 1. Если j φ fc, то e2™U~k)/N φ \ ддЯ 0 ^ j,k ^ Ν — 1, так как — iV < j — к < N. Поэтому сумма есть частичная сумма геометрической прогрессии и ψ {e^-k),NY = 1-(е"И-»>/")* Z^ VC / I _ e2ni(j-k)/N n=0 из формулы (1.5). Но из соотношения (1.17) следует, что /e2ni(j-k)/N\N = e2m{j-k) _ 1} так как j — fc есть целое число. Поэтому для j ^ fc получаем (£^, Е^) = О, т. е. Ej _L Ek- Таким образом, {Eq, Εχ,..., 2?λγ-ι} есть ортонормирован- ное множество и, следовательно, по лемме 1.95 линейно независимое множество. Поэтому {Ео, £а,..., Εν-ι} есть базис пространства £2(Ζν) (по теореме 1.42). ■ Пример 2.3. Пусть N = 2. Тогда Ео = (Ео(0),Е0(1)) = -^(1,1) JE?i = (JE?i(0),JS1(l)) = -^(l,-l),
114 Глава 2. Дискретное преобразование Фурье так как е2?гг0/2 = 1 и β2π*ι/2 = βνκ = _j по формуле Эйлера (теорема 1.22). Ясно, что {Εο,Εχ} есть ортонормированный базис £2(Ζ2). Значения векторов {Ej} в случае N = 3 не получаются так просто, поэтому мы переходим к N = 4. Пример 2.4. Пусть JV = 4. Тогда (упр. 2.1.1) J% = ±(1,1,1,1), £i = -(l,i,-l,-i), Е2 = \ (1,-1,1,-1), JEfe = i(l,-t,-l,t). Можно прямо проверить (упр. 2.1.2), что {Eq,E\,E2,Es} есть ортонормированный базис Р{Ъ±). Так как {Εο,ϋα,... ,Εν-ι} есть ортонормированный базис ^2(Ζ#), формулы (1.49), (1.50) и (1.51) приводят при всех z,w 6 ^2(Ζ#) к равенствам ЛГ-1 z=Y^(z,Em)Em, (2.3) ЛГ-1 (z,w) = J2(z,Em)(w,Em) (2.4) m=0 И N-l \\zf = J2\(z,Em)\2. (2.5) m=0 По определению ЛГ-1 — ЛГ-1 (ζ, Em) = Σ ^TTf β2πί7ηη/Ν = 77= Σ *Η*~2π™η/" (2.6) η=0 η=0 Хотя формулы (2.3) и (2.6) наиболее естественны с точки зрения ор- тонормированных базисов, на практике часто используются их перенормированные версии, в которых в формуле (2.6) множитель 1/V~N отсутствует. Определение 2.5. Пусть ζ = (ζ(0),ζ(1),... ,ζ(Ν - 1)) € i2(ZN). Для πι = 0,1,..., N — 1 определим ЛГ-1 ζ(πι) = Σ z{n)e-2*imn>N. (2.7) n=0
2.1. Определение и свойства дискретного преобразования Фурье 115 Пусть i = (i(OM(i),...,i(JV-i)). (2.8) Тогда ζ G £2(Zjv). Отображениел: I (Z#) —► ^2(Ζ#), которое связывает 2 и £, называется дискретным преобразованием Фурье; для него обычно используется аббревиатура DFT. Заметим, что если мы используем формулу (2.7) как определение ζ(га) для всех га € Ζ, то в результате получаем периодическую функцию с периодом Ν: Ν-1 ζ(πι + Ν)=Σ z{n)e-2^m+N^n'N = n=0 JV-1 = Σ z{n)e-2nimn/Ne-27riNn/N = i(ra), n=0 так как e-2™Nn/N = β-2πιη = j дЛЯ каЖдого η 6 Ζ. Поэтому использование формулы (2.7) для всех га согласуется с рассмотрением ζ как элемента £2(Ζν), определенного на множестве Ζ и имеющего период N. Имеется ряд преимуществ формулы (2.7) по сравнению с формулой (2.6). Во-первых, лучше избегать вычисления y/N. Во-вторых, как мы увидим позже, некоторые формулы (например, формула DFT для свертки в лемме 2.30) проще с нормализацией в формуле (2.7). Сравнение формул (2.7) и (2.6) дает z(m) = y/N(z,Em). (2.9) Это приводит к следующей переформулировке соотношений (2.3), (2.4) и (2.5). Теорема 2.6. Пусть ζ = (ζ(0),ζ(1),..., ζ(Ν - l)),w = (w(0),w(l),..., w(N-l))ee2(ZN). Тогда 1) (формула обращения преобразования Фурье) z{n) = ±Y^z{m)e2™mn'N для η = 0,1,... ,JV - 1. (2.10) га=0 2) {равенство Парсеваля) (*>w) = χ Σ 5μ*μ = ^ & ώ>· (2·η) m=0 3) (формула Планшереля) и2 = ^ Σ lf(m)l2 = jf РИ2· С2·12) m=0
116 Глава 2. Дискретное преобразование Фурье Доказательство. Из равенств (2.3), (2.9) и (2.2) имеем ΛΓ-1 ΛΓ-1 z(n) = ^2(z,Em)Em(n) = Σ N-l'2z{m)N-ll2e2*imnlN, ra=0 ra=0 откуда следует формула (2.10). Аналогично, из равенства (2.4) ΛΓ-1 ΛΓ-1 (z,w) = ^fe£m)M^= Y^N-ll2z{m)N-l'2Mri) га=0 га=0 следует формула (2.11). Тогда соотношение (2.12) получается либо в результате аналогичных рассуждений, либо если положить w = ζ в формуле (2.11). ■ Для дальнейшей интерпретации формулы обращения преобразования Фурье (2.10) дадим следующее определение. Определение 2.7. Для га = 0,1,..., JV — 1 определим Fm 6 ^2(Ζ#) формулой Fm(n) = ie2dmn/W для η = 0,1,..., ΛΓ-1. (2.13) Пусть F = {F0,FU...,FN-1}. (2.14) Мы называем F базисом Фурье пространства £2(Zn). Из формулы (2.2) следует равенство Fm = N~l/2Em. Следовательно, лемма 2.2 показывает, что F, в соответствии со своим названием, есть базис (на самом деле ортогональный базис) пространства £2(Zn). При таком обозначении формула (2.10) приобретает вид ΛΓ-1 ζ = ]Γ z{m)Fm. (2.15) 771=0 Другими словами, если мы раскладываем ζ по базису Фурье F, то коэффициент при базисном векторе Fm есть z(m). Поэтому вектор, представляющий ζ в базисе Фурье, есть £, т. е. ζ = [z]F (2.16) в обозначении определения 1.43. Поэтому формула обращения преобразования Фурье (2.10) есть формула перехода к базису Фурье. DFT компоненты z(m) — это компоненты вектора ζ в базисе Фурье. DFT может быть представлено матрицей (этого следовало ожидать, потому что формула (2.7) показывает, что отображение ζ на ζ есть линейное преобразование). Чтобы упростить обозначение, положим
2.1. Определение и свойства дискретного преобразования Фурье 117 Тогда ~—2πίπιη/Ν , .ran е — ωΝ В этом обозначении J2nimn/N , f—ran е — ωΝ . JV-l i(m) = J] *(η)ωΓ. η=0 (2.17) Чтобы согласовать с нашим обозначением для векторов, мы изменим обозначение для матриц, проводя индексацию строк и столбцов от О до N — 1 вместо от 1 до N. Определение 2.8. Пусть Wn есть матрица [u>mn]o<ra,n<w-i такая, что ^гап = иЩп- Записанная таким образом, она есть WN = 1 UN 1 ω ω ω ω Ν ω' Ν ω ω 1 Ν-1 Ν 2(Ν-1) Ν 3(Ν-1) 'Ν JV-1 ω 2(Ν-1) 3(Ν-1) Ν ω Ν ω (ΑΓ-1)(ΑΓ-1) Ν (2.18) Если рассматривать ζ, ζ € £ (Ζλγ) как векторы-столбцы (см. формулу (2.1), то m-я компонента (0 ^ m < N — 1) произведения W^z N-l N-l есть Σ ωτηηζ(η) = Σ -zfaVlv") что равняется £(m) из формулы (2.17). 71=0 71=0 Другими словами, ζ = WNz. (2.19) В п. 2.3 мы увидим, что существует быстрый алгоритм вычисления ζ. Сейчас мы рассмотрим простой пример, чтобы продемонстрировать определения. Для этого нужно было бы использовать формулу (2.9), но легче применить соотношение (2.19). Для удобства выпишем матрицы И^2 И WV· Fl 1 W2 = Пример 2.9. Пусть ζ = (1,0, -3,4) € £2(Ζ4). Найти ζ. 1 1 1 -i 1 -1 1 i 1 -1 1 1 -1 i 1 -1 -1 -i (2.20) (2.21)
118 Глава 2. Дискретное преобразование Фурье Решение. ζ = W4z = Γΐ 1 1 1 1 —г -1 г 1 -1 1 -1 1 " г -1 —г_ "1 " 0 -3 _4_ 4 ' 2 1 4 + 4г -6 4 — 4zJ Заметим, что ζ имеет комплексные компоненты, далее если все компоненты ζ — вещественные числа. ■ Формула обращения преобразования Фурье (2.10) показывает, что линейное преобразование Л: £2(Ζν) —> £2(Ζν) есть «1-1»-отображение: если ζ = г&, то ζ = w. Поэтому "—обратимое преобразование (упр. 1.4.8(5)). Более точно, соотношение (2.10) дает нам формулу для преобразования, обратного к преобразованиюЛ, которое мы обозначаем4'. Определение 2.10. Для w = (w(0),w(l),... ,w(N - 1)) € £2(Zn) определим N-l w(n) = j-Y^w(m)e2™mn/N для η = 0,1,... ,JV - 1. (2.22) m=0 Положим Отображение4': £2(Zn) —* £2(Zn) есть обратное дискретное преобразование Фурье или IDFT. В этих обозначениях из соотношения (2.10) следует, что для ζ е £2(ΖΝ) (z)(n) = z(n) для n = 0,l,...,JV-l (2.23) или, что то же самое, (ζ) = ζ. (2.24) Для произвольного w € £2{Ζχ) существует ζ 6 £2(Ζν) такое, что ζ = w (так какЛ: £2(Zn) —► ^2(Ζ#) есть преобразование «на»). Взятие DFT от обеих частей равенства (2.24) и замена £ на ω дают (i&)~=w. (2.25) Так как DFT есть обратимое линейное преобразование, то Wn есть обратимая матрица (лемма 1.55), откуда ζ = W^lz. Подстановка z = w и (эквивалентно) ζ = w в соотношение (2.19) дает w = W^w. (2.26) Хотя можно прямо определить матрицу W^1 (упр. 2.1.9), легче понять, чем должна быть матрица Wj^1, исходя из формулы (2.22). В обозначениях формулы (2.17) соотношение (2.22) принимает вид ЛГ-1 ЛГ-1 w(n) = Σ w(m)-uj^ = Σ Έ^™(™)· 771=0 771=0
2.1. Определение и свойства дискретного преобразования Фурье 119 Это показывает, что (п,т)-й элемент матрицы W^ равен величине u^/JV, которая выражается через комплексно-сопряженный (п, т)-й элемент матрицы Wn- Обозначим через Wn матрицу, элементы которой комплексно сопряжены элементам матрицы Wn- Тогда Для дальнейшего рассмотрения заметим, что Щ1 = ± И "Τ'-ΐ 1 1 1 1 1 г -1 —г 1 -1 1 -1 ■1 (2.27) (2.28) (2.29) Пример 2.11. Пусть w = (2,4 + 4г, -б, 4 - 4г) € Решение. По формулам (2.26) и (2.29) 4). Найти w. . 1 w=- 1 1 1 1 1 г -1 —г 1 -1 1 -1 Г —г -1 г " 2 " 4 + 4г -6 4-4г " 1 ] 0 -3 4 J Заметим, что мы получили тот же вектор ζ, что фигурировал в примере 2.9, для которого ζ = w, т. е. мы только что проверили, что (ζΥ=ζ. Ш Вспомним рассуждения, примененные к DFT, и рассмотрим вектор w как определенный на множестве Ζ формулой (2.22). Тогда w имеет период N: w(n + Ν) = w(n) для всех п. Исходя из этого, сравнивая формулы (2.7) и (2.22), мы видим, что win) = — w(—η). Так как гй имеет период JV, последнее соотношение можно записать в виде w(n) = ±w(N-n), (2.30) который нам больше подходит, так как η 6 {1,2,... ,JV — 1} тогда и только тогда, когда Ν—η € {1,2,..., JV—1}; исключительный случай — это η = 0, для которого Ν — η = N. Резюмируем основные факты, связанные с DFT. Отображение £2(Ζν) —► ^2(Zjv), определенное формулами (2.7) и (2.8), есть обратимое
120 Глава 2. Дискретное преобразование Фурье линейное преобразование. Обратным к нему является отображение ~, определенное формулой (2.22). Мы записываем формулу обращения преобразования Фурье (2.10) в виде (2.15): JV-1 га=0 где Fm есть m-й элемент базиса Фурье F: Fm(n) = ±e2™mn'N. Поэтому ζ (πι) есть коэффициент при векторе Fm, используемый для получения ζ. Рассмотрим простой пример. Пусть N = 128 и z(n) = cos (2π · ^) + 4cos (2π · i|) . Вектор ζ изображен на рис. 4, а. Его DFT ζ представлено на рис. 4, б, и в данном случае его легко посчитать. По формуле Эйлера (1.13) имеем: ζ(η\ = 1 /β2πί7η/128 , 6-2πί7η/128\ ι 4 1 (β2πί12η/128 ι β-2πί12η/128\ _ = J- (64e27ri7n/128 + 64β2πα21/128+ 128 + 256е27ГЙ2п/128 + 256е27гШ6п/128). Сравнивая это с формулами (2.13) и (2.15), мы видим, что £(7) = 5(121) = 64, 5(12) = 5(116) = 256 и i(m) = 0 для других значений га в {0,1,2,..., 127}. Это подтверждаг ется рис. 4, 5, который был получен с использованием программы DFT (называемой fft) в MATLAB'e. Чтобы получить интуитивное представление об используемых функциях, рассмотрим вектор e2mmn/N при фиксированных га как функцию η = 0,1,... ,ЛГ — 1. (Множитель 1/N — это масштабный множитель, который мы для удобства на время опустим.) По формуле Эйлера e2mmn/N = 0Ο8(2πτηη/ΛΓ) + ism(2nmn/N). Для простоты рассмотрим только вещественную часть ΰθ8(2π77ΐη/ΛΓ). При га = 0 —это постоянная функция, равная 1. При га = 1 —это функция cos(2nn/N). Если мы рассматриваем N — большое целое число и изображаем значения этой функции при n = 0,l,...,JV — 1, то мы проставляем N равномерно расположенных точек отсчета на графике одного периода функции косинуса. В частности, cos(2nn/N) проходит
2.1. Определение и свойства дискретного преобразования Фурье 121 j ι ι ι ι ι I "О 20 40 60 80 100 120 J"o 20 40 60 80 100 120 а) б) Рис. 4. а) Вектор ζ, 6) его дискретное преобразование Фурье ζ полный период, когда η изменяется от 0 до N — 1 (если мы продолжим до точки JV, то получим то же значение, что и при 0). Это проиллюстрировано рис. 5, α с N = 16. Теперь возьмем га = 2 и рассмотрим функцию cos(2n2n/N). Все будет аналогичным образом, только мы приходим к двум полным периодам косинуса, когда η изменяется от 0 до N — 1. Все это аналогично продолжается при возрастании га; функция cos(2nmn/N) пробегает га полных периодов косинусной волны, когда η изменяется от 0 до N — 1 (см. рис. 5, б). Итак, если га возрастает (как мы увидим, до некоторого значения), функция cos(2nmn/N) имеет все больше и больше колебаний на интервале 0 ^ η ^ N — 1; см. рис. 5, β (га = 3,JV = 16), г (га = 7,JV = 16) и д (га = 8,JV = 16). Мнимая часть функции e2mrnn/N — это синус-волна, которая ведет себя аналогичным образом. Члены, которые сильно осциллируют, называются высокочастотными компонентами или соответствующими более высоким частотам. Предположим, что z(n) есть звуковой сигнал, представленный в виде функции от времени (отсчитанный через равные интервалы времени). На слух высокочастотные звуковые сигналы звучат как высокие звуки. Так как векторы β2πιπιη/Ν содержат только один параметр осцилляции, мы рассматриваем их и, следовательно, их пронормированные версии Fm как частотные векторы. Здесь имеется одна техническая особенность, которая вносит небольшую путаницу. Функции e2mmn/N ? определенные только для целых п, имеют период N по переменной га так же, как и по переменной п. Поэтому большие значения га не могут увеличивать частоту сигналов для всех га, потому что, например, функция при га = N есть то же самое, что и функция при га = 0. Сигнал при N = 16 не может осциллировать быстрее, чем на рис. 5,^ (га = 8, N = 16). Заметьте, что вектор на 250 200 150 100 50 0
122 Глава 2. Дискретное преобразование Фурье а) б) Рис. 5. a) z(n) = cos(2nn/16), 6) 2(η) = (Χ)8(2π2η/16), β) 2(η) = (Χ)8(2π3η/16), г) ζ(η) =cos(2n7n/16), д) z(n) = cos(2nSn/16), е) z{n) = cos(2n9n/16) рис. 5, e (m = 9, N = 16) тот же самый, что и на рис. 5, г (πι = 7, N = 16). (Однако неверно, что Fj = Fg при N = 16: только их вещественные части одинаковы, а мнимые части имеют противоположные знаки.) Это является следствием рассмотрения этих функций только при значениях
2.1. Определение и свойства дискретного преобразования Фурье 123 η 6 Ζ. Если мы рассмотрим e2mmt/N как функцию вещественной переменной t, это даст нам все более высокие частоты при возрастании га (для га ^ 0). Но если мы рассматриваем только целые значения п, то мы не можем видеть осцилляционное поведение между целыми значениями, что объясняет, почему e2mn0/N может быть той же самой функцией по п, что и β2πτηΝ/Ν (а именно обе функции — это постоянная функция, равная 1 в целых точках, так как е2шп = 1 по формуле Эйлера). Это иллюстрируется рис. 6, который дает график cos(27rl5n/16) (рис. 6, а), график функции непрерывной переменной cos(27rl5t/16) (рис. 6, б) и их суперпозицию (рис. 6, в). Глядя на графики вещественной и мнимой частей, мы видим, что, когда га изменяется от 0 до N /2 (или до целого, ближайшего к ΛΓ/2), функция е2штп/м осциллирует все более и более быстро и поэтому представляет компоненту с более высокой частотой. Однако для N /2 ^ га ^ N—1 мы можем положить к = N — га и использовать периодичность, чтобы записать e2nimn/N = e2mn(N-k)/N = е~2шпк/м = cos(27rnfc/JV) - isin{2nnk/N). Этот вектор колеблется к раз на интервале 0 ^ η ^ JV—1. Поэтому число осцилляции (колебаний) функции e2mmn/N при η = 0,1,...,JV — 1 равно га при 0 ^ га ^ ΛΓ/2, но Ν—πι при JV/2 ^ га ^ JV — 1. Заметим, что когда га близко к ΛΓ/2, то к этому числу близко и JV — га, но если га возрастает по направлению к JV, то JV — га убывает по этому направлению к нулю. Поэтому мы видим, что β2πιπιη/Ν есть высокочастотный вектор для га около ΛΓ/2, т.е. посередине ряда чисел 0,1,...,JV — 1, и низкочастотный вектор для га около 0 и N — 1. Между прочим, вот почему иногда предпочитают рассматривать основной интервал для Ζ# как — Μ+1, —М+2,..., —1,0,1,..., М, когда iV = 2М есть четное число, и как — М, — М+1,... ,—1,0,1,... ,М —1,М, когда JV = 2М + 1 есть нечетное число, вместо 0,1,...,N — 1, как мы имели ранее. В случае нуль-центрированного варианта функции e2mmn/N низкочастотны при значениях га, близких к нулю, и высокочастотны, когда га около ±М. Возвращаясь к основной формуле JV-1 ζ = Σ z{m)Fm, m=0 заметим, что мы интерпретировали каждый Fm как частотный вектор. Поэтому |£(га)| можно рассматривать как интенсивность компоненты ζ при этой частоте. Аргумент комплексного числа 2 (га) гораздо труднее интерпретировать (что будет обсуждаться позже в этой главе), но его
124 Глава 2. Дискретное преобразование Фурье Рис. 6. a) 2(n) = cos(27rl5n/16), б) 2(n) = cos(27rl5f/16), β) суперпозиция рисунков 6, а и 6, б амплитуда измеряет, какую часть вектора ζ составляет частота Fm. Если ζ обладает тем свойством, что |£(га)| велик для значений га около JV/2, το ζ имеет большие высокочастотные компоненты. Если |£(га)| велик для га около 0 и N — 1, то ζ имеет большие низкочастотные компоненты. Например, если ζ есть надлежащим образом отсчитанный звуковой сигнал, создаваемый человеком, играющим на барабанах, то мы будем иметь относительно большие значения |£(га)|, когда га мало,
2.1. Определение и свойства дискретного преобразования Фурье 125 т. е. барабанщик слишком любит бить по бас-барабану. Если барабанщик любит ударять по цимбалам, то |£(га)| будет большим для значений га около середины области определения DFT. Поэтому ζ дает нам частотный анализ сигнала ζ. Это явление иллюстрируется на рис. 7, где N = 128. График вектора ζ(η) = βίη(πη2/256) на рис. 7, α осциллирует все более и более быстро при п, возрастающем от 0 до 127. (Такой сигнал называется «чирп».) На рис. 7,6 изображен аргумент (фаза) £, на рис. 7, β — вещественная часть ζ и на рис. 7, г — мнимая часть £. Кажется, что все эти три графика ведут себя беспорядочным образом и их трудно интерпретировать. Однако график \ζ\ амплитуды ζ на рис. 7, д явно показывает большие значения (между 5 и 9) \ζ(η)\ для всех значений п. Истолковать это можно следующим образом: большой диапазон частот требуется для восстановления ζ ввиду больших изменений скорости осцилляции в различных частях графика ζ. Сравнение рис. 7, 8 и 9 делает это поведение более ясным. Рисунок 8, α есть график ζ(η) = βίη(πη2/512). Это также чирп, но скорость осцилляции этого ζ меньше в соответствующих точках, чем для вектора на рис. 7, а. Это наводит на мысль, что в отношении высоких частот их требуется значительно меньше для синтеза ζ. Это демонстрируется графиком \ζ\ на рис. 8, б. Заметим, что только около половины значений \ζ(η)\ (соответствующих низким частотам) велики. Наша интерпретация далее продемонстрирована на рис. 9. На рис. 9, α нарисована функция ζ(η) = 8ΐη(πη2/1024). Это более низкочастотный чирп, чем на рис. 8, а. Амплитуды его DFT, изображенные на рис. 9, 5, показывают, что только четверть низких частот вносят существенный вклад в ζ. В упражнении 2.1.7 дается разложение ζ в терминах синусов и косинусов, которое эквивалентно формуле (2.10). С помощью такого разложения немного легче дать низкочастотные и высокочастотные интерпретации, которые обсуждались выше. Однако это разложение не обладает рядом ключевых свойств формулы (2.10), которые мы изучаем в следующих двух разделах. Далее мы рассмотрим, как ведет себя DFT при выполнении нескольких важных операций. Первая из них — это сдвиг. Определение 2.12. Пусть ζ € £2{%n) и fc € Ζ. Определим (Rkz)(n) = z(n — к) для η 6 Ζ. Мы называем последовательность RkZ сдвигом последовательности ζ на к, a Rk — оператором сдвига на к. Наверное, нам нужно было писать Rk(z), но это ведет к увеличению числа скобок, и поэтому мы пишем RkZ. Определение 2.12 требует
126 Глава 2. Дискретное преобразование Фурье и 1 1 г 20 40 60 80 100 120 в) г) Рис. 7. α) ζ(η) = 8ΐη(2πη2/256), б) фаза (угол) of ζ, β) вещественная часть ζ, г) мнимая часть (угол) ζ, д) амплитуда ζ некоторого пояснения. Для n,k 6 Z# может оказаться, что η — к £ Ζ#, т. е. ζ(η — к) не определено. Однако напомним, что мы рассматриваем ζ как продолженное на все Ζ таким образом, что ζ имеет период N. В таком толковании определение 2.12 имеет смысл. В качестве примера
2.1. Определение и свойства дискретного преобразования Фурье 127 Рис. 8. α) ζ(η) = 8ΐη(2πη2/512), б) амплитудам Рис. 60 80 100 120 б) 9. α) ζ(η) = 8ΐη(2πη2/1024), б) амплитудам предположим, что N = 6, к = 2 и ζ = (2,3 — г,2г,4 + г,0,1). Тогда, например, (R2z)(0) = *(0 - 2) = z(-2) = *(4) = 0. Аналогично, (Jk*)(l) = z(-l) = z(5) = 1, (ifc*)(2) = z(0) = 2 и т. д. Мы получаем Дг* = (0,1,2,3-i, 2i, 4 + 0· Таким образом, действие оператора R2 на г состоит в сдвиге компонент на две позиции вправо, за исключением двух последних, которые, как бы совершая поворот, занимают в прежнем порядке первые две позиции. Это может быть визуализировано как поворот на две позиции, если положения 0, 1, 2, 3, 4, 5 расположены на окружности. Из этих соображений эта операция иногда называется циклическим сдвигом или вращением, которые объясняют обозначение Д&.
128 Глава 2. Дискретное преобразование Фурье Как влияет сдвиг на DFT? Из интуитивных соображений ясно, что сдвиг не должен влиять на амплитуду различных частот, входящих в сигнал, но он может изменить их фазы (т. е. угол в полярном представлении гегв числа z(n)). Это подтверждается следующим результатом. Лемма 2.13. Пусть ζ € £2(Zn) u k Ε Ζ. Тогда для любого т € Ζ (Rkz)\m) = e-2"imk>N z{m). Доказательство. По определению JV-l JV-l {Rkz)\m) = ^2{Rkz)(n)e-27rimn/N = ]£ *(n - k)e-27rimn/N. n=0 n=0 В последней сумме изменим индекс суммирования, положив I = η — к (напомним, что к — фиксированное число и η есть переменная суммирования). Если η = 0, то I = —fc, в то время как для η = N — 1 мы имеем / = N — к — 1. Так как η = / + fc, получаем JV-fc-1 JV-fc-1 (Я**)*М = J] z^e-2nim(l+k)/N = e-2nimk/N J- ^^πίπύ/Ν l=-k l=-k Утверждается, что N-k-l N-l Σ z{l)e-2ni^N = J] z{n)e-2ni7nn/N = *(ro). (2.31) /=-fc n=0 Если это действительно так, то подстановка этой формулы дает нам конечный результат. Чтобы доказать формулу (2.31), заметим, что z(l) и e-2™ml/N — периодические функции переменной / с периодом N. Если к = 0, то доказывать нечего; предположим, что 0 < к ^ TV — 1. Тогда N-k-1 -1 N-k-l Σ z{l)e-2*imllN= Y^z{l + N)e-2«im«+NVN + £ z{l)e-2«iml>N. l=-k l=-k 1=0 В первой из этих двух сумм положим η = I + JV, а во второй —η = I. Это дает нам соотношение N-k-l N-l N-k-l Σ z(l)e-2niml/N = ^ z(n)e-2nimn/N + £ г(п)е-2^шп^ = Z=-fc n=N-k n=0 JV-l что и требовалось. Пусть теперь к 6 Ζ — произвольное число. Тогда найдется целое число г такое, что к' = к + rN 6 {0,1,2,..., N — 1}. Взяв
2.1. Определение и свойства дискретного преобразования Фурье 129 в качестве переменной суммирования V = / — vN, получим N—k—l N—k—rN—1 J2 z{l)e-2*iml'N = Σ ZV + rN)e-2*imV+rN>>'N = Z=—Ar V=-k-rN N-k'-l V=-k' ввиду периодичности с периодом N обеих функций: ζ и экспоненты. Поэтому так как мы пришли к случаю А/ 6 {0,1,2,..., N — 1}, рассмотренному выше, то последняя сумма равняется z(m). Ш Этот последний трюк с суммированием достаточно важен для того, чтобы стать общим принципом (см. упр. 2.1.8). Это показывает ограничение на DFT. Из леммы 2.13 и формулы (1.15) мы имеем, что \(Rkz) (га)| = \z(m)\ для каждого πι. Поэтому, рассматривая только амплитуду DFT, мы не можем отличить ζ от любого циклического сдвига RkZ. Расположение локальных особенностей ζ не определяется \ζ\. Эта информация содержится в фазе (или аргументе) £, но в этом виде ее очень трудно интерпретировать, как мы это отметили в случае рис. 7, б. Позже мы увидим, что с этой точки зрения вэйвлеты обладают преимуществом над DFT. Следующая операция, которую мы рассматриваем, есть комплексное сопряжение. Определение 2.14. Для ζ = (г(0), г(1),..., ζ(Ν - 1)) € £2{Ζν) пусть ζ есть вектор Z=(z(0),z(l),...,z(JV-l)), т. е. z(n) = z(n). Лемма 2.15. Для ζ € ί2(ΖΝ) (ζ) (m) = z(—m) = z(N — m) при всех га. Доказательство. Из свойства комплексного сопряжения (лемма 1.7) следует, что лг-1 ТГл (ζ)\πι) = Σ z{n)e-2*imn>N = Σ z(n)e2™™/N = f(-m). ■ n=0 n=0 Следствие 2.16. Вектор ζ € £2(Zn). ζ — вещественный (га. е. каждая компонента ζ есть вещественное число) тогда и только тогда, когда z(m) = z(N — т) для всех га.
130 Глава 2. Дискретное преобразование Фурье Доказательство. Заметим, что ζ есть вещественный вектор тогда и только тогда, когда ζ = Ί. Из обратимости DFT следует, что это имеет место только тогда, когда ζ = {ζ) . Ввиду леммы 2.15 это эквивалентно равенству z(m) = z(N — πι) для всех га. Ш DFT есть оператор перехода от евклидова базиса к базису Фурье. Мы интерпретировали элементы базиса Фурье как частотные векторы. Формула обращения преобразования Фурье (2.15) показывает, что в общем случае сигнал состоит из суперпозиции частотных векторов. DFT-компонента ζ(πι) измеряет интенсивность частотного вектора Fm в сигнале ζ. В следующих двух разделах мы рассмотрим два важных соображения в пользу использования базиса Фурье. Упражнения 2.1.1. Используйте определение 2.1 и формулу Эйлера для проверки значений, данных в примере 2.4. 2.1.2. Непосредственно проверить (не используя лемму 2.2), что множество {Eq,Ei,E2,Es} в примере 2.4 есть ортонормированный базис пространства ^2(Z4). 2.1.3. Пусть ζ = (1, ι, 2 -И, -3) € ^2(Ζ4). 1) Вычислить ζ. 2) Непосредственно вычислить (ζ) и проверить, что вы получили Ζ. 2.1.4. Непосредственным вычислением проверить формулу (2.10) (не используя лемму 1.101), т. е. подставить определение ζ(πι) и вычислить непосредственно, используя формулу (1.5). Предупреждение: измените один из индексов суммирования, поставив вместо η какой-нибудь другой индекс, чтобы избежать использования одной буквы для двух различных переменных. 2.1.5. Непосредственным вычислением (как в упр. 2.1.4) проверить соотношение (2.11). 2.1.6. Определим ζ 6 ^(Zsw) равенством ζ(η) = 38ίη(2π7η/512) - 4α)β(2π8η/512). Найти ζ. 2.1.7. (DFT в вещественном обозначении.) Предположим, что N — четное, обозначим N = 2М. Определим Co(n) = N-1/2 для n = 0,l,...,JV-l; (2.32) cM(n) = N~1'2 cos(2n(N/2)n/N) = iVr"1/2(-l)n (2.33)
Упражнения 131 для η = 0,1,..., N — 1 и Cmin) = {у/2/Ν) cos(2nmn/N) для η = 0,1,..., N - 1 (2.34) при га = 1,2,..., Μ—1. Так же при m = 1,2,..., Μ—1 определим 5m(n) = (y/2/N)sm(2nmn/N) для η = 0,1,... ,JV - 1. (2.35) 1) Доказать, что {со, ci,..., см-1, см, «ь · · ·, sm-i} есть ортонормированный базис £2(Ζν). Ввиду леммы 1.101, это означает, что М М-1 Ζ = Σ (*' °^)^ + Х^ <^, «m>5m. (2.36) m=0 m=l Это есть вариант DFT, записанный в вещественных обозначениях. Он имеет то преимущество, что если ζ вещественный вектор, то все вычисления включают только вещественные числа. Однако мы видим, что эта форма преобразования не обладает некоторыми ключевыми преимуществами, которые обсуждаются в следующих двух разделах. В любом случае, существуют простые преобразования, связывающие эти коэффициенты с коэффициентами DFT, и наоборот. 2) Доказать, что (z, Cm) = (2JV)"1/2(2(m) + z(N - m)) для m = 1,2,..., Μ — 1, {z,cM) = N-l'2z{M) (ζ, sm) = -i(2N)-^2(z(m) - z(N - m)) для m = 1,2,..., Μ — 1. 3) Обратно, доказать, что z(0) = VN{z,Co), z{m) = ^/Wj2{{z,Cm) -i{z,sm}) для m = 1,2,..., Μ — 1, z(M) = Vn(z,cm) z(m) = y/N/2{{z, cN-m) + i{z, sN-m)) для m = Μ + 1, Μ + 2,..., JV - 1.
132 Глава 2. Дискретное преобразование Фурье 4) Вывести соотношение (2.36) из формулы (2.10) и формулы Эйлера без использования п. 1. Подсказка: разбейте сумму в формуле (2.10) на четыре части: член с га = 0, член с га = М, сумма по га = 1,2,...,М — 1 и сумма по m = Af+1, М+2,..., JV — 1. Затем подставьте соотношения из п. 3. Измените индекс суммирования в последней сумме так, чтобы он пробегал значения 1,2,..., Μ — 1, объедините члены Cm и используйте формулу Эйлера. Замечание: если N — нечетное, обозначим его N = 2J + 1, тогда мы определяем со формулой (2.32); Сщ формулой (2.34) для га = 1,2,..., J и sm формулой (2.35) для га = 1,2,..., J. Это дает ортонормированный базис. Мы имеем ту же формулу, связывающую коэффициенты в этом ортонормиро- ванном разложении с коэффициентами DFT, приведенными выше, за исключением отсутствующего значения га = JV/2. 2.1.8. Предположим, что h есть функция на множестве Z, периодическая с периодом JV, т. е. h(n + Ν) = h(n) для всех п. Доказать, что для любого га Ε Ζ m+N-l N-l Σ цп) = ς ни). η=πι η—0 Другими словами, любая сумма по интервалу длины N дает один и тот же результат. 2.1.9. 1) Доказать, что N~1/2Wn есть унитарная матрица. Подсказка: используйте лемму 2.2 и лемму 1.105(2). 2) Используйте п. 1 для прямого доказательства того, что 2.1.10. Пусть ζ = (z(0),z(l),...,z(JV - 1)), w = (w(0),w(l),... .. .,w{N - 1)) € £2(Zn)· Доказать, что N2 = ~NI2. 2.1.11. Предположим, что ζ € £2(Ζν). Мы говорим, что ζ чисто мнимый вектор, если ζ = iw для некоторого вещественного ги; другими словами, если каждая компонента ζ есть чисто мнимое число. Доказать, что ζ чисто мнимый вектор тогда и только тогда, когда z(m) = — z(N — га) для всех га.
Упражнения 133 2.1.12. Предположим, что ζ 6 £2(Ζν). 1) Доказать, что ζ есть вещественный вектор тогда и только тогда, когда z(m) = z(N — т) для каждого m. 2) Доказать, что ζ есть чисто мнимый вектор (для определения см. упр. 2.1.11) тогда и только тогда, когда z(m) = — z(N — πι) для каждого m. 2.1.13. Предположим, что ζ € £2(Ζν). Определим ζ 6 ^2(Ζ#) равенством ζ(η) = z(JV — η) для η = 0,1,..., Ν — 1. Доказать, что (z)\n)=J(n) для всех п. 2Л.14. Пусть N и fc — положительные целые числа, при этом к < N и (fc,JV) = 1 (это значит, что к и N взаимно простые числа, т. е. они не имеют целых общих делителей, кроме ±1). Пусть u) = e2™k/Nt (Такое ω называется первообразным корнем степени N из единицы.) Доказать, что Ι,ω,ω ,ω ,...,ω — различные корни степени N из единицы. Подсказка: используйте тот факт, что если q\ab и (g, b) = 1, то q\a. Это легко увидеть, если рассмотреть простые делители. Замечание: это показывает, что мы можем определить DFT, исходя из любого первообразного корня степени N из единицы ω вместо е2пг/м, результатом будет перестановка элементов в DFT матрице. 2.1.15. Пусть JVi и Afe — положительные целые числа. Пусть £2(ΖΝι χ Ъщ) = {ζ: ΖΝι χ Ъщ - С}. Другими словами, если ζ € £2{Ζνχ χ Ζν2), то для каждых п\ и П2 таких, что 0 ^ п\ ^ Ν\ — 1, и 0 ^ η2 ^ ΛΓ2 — 1 компонента ζ(ηι,Π2) определена и является комплексным числом. С обычным сложением и скалярным умножением £2(Ζνι χ Ζ#2) есть векторное пространство над полем С (предположим это). Для z,w 6 ί2(^Νι х Zjv2) определим Ni-lJV2-l (z,w) = ]Г ]Г z(ni,n2)w(nbn2). щ=0 П2=0 Тогда (·,·) есть комплексное скалярное произведение в £2{Znx х Zjv2) (предположим это). Доказать, что £2(Ζνχ χ Zjv2) есть ЛГхЛГг-мерное пространство. Подсказка: что в этом случае играет роль стандартного базиса?
134 Глава 2. Дискретное преобразование Фурье 2.1.16. Пусть £ (TjNi x Ζ#2) — пространство, определенное в упр. 2.1.15. Предположим, что {Во, -Βι, ·.., Bjvi-i} есть ортонормированный базис £2{Ъ^Х) и {Со, С\,..., CW2-i} есть ортонормированный базис £2(Zn2). Для 0 ^ mi ^ ΛΓχ — 1 и 0 ^ Ш2 ^ Afc — 1 определим Dmum2 Ε £2{ΖΝι χ Ъщ) как Ani,m2(nbn2) = Bmi (ni)Cm2(n2). Доказать, что {^mi ,Ш2 jO^mi <iVi -l,0<ra2<iV2-l есть ортонормированный базис £2(Ζνι χ Ζ#2). Подсказка: доказать, что \Dmi )Ш2, Dkx ,fc2 ) == \Дп1 ? B/ci) \Cm2, Ck2 ) ? где скалярное произведение в левой части определено в ^2(Zjvi х Zjv2), в то время как в правой части оно определено в £2[Ъ^Х) и в ^2(Zjv2) соответственно. 2.1.17. 1) (Двумерный базис Фурье.) Для тп\ 6 Zjvx и Ш2 € Ζ#2 определим Emiim2 Ε £2(Zni x Zjv2) (для определения см. упр. 2.1.15) с помощью формулы Доказать, что {^mi,m2}o<mi<iVi-l,0<m2<iV2-l есть ортонормированный базис £2(Zni x Ζ#2). Как и в одномерном случае, обычно изменяют нормировку, положив F (пл ттгЛ — 2nimmi/Ni 2πίπΐ2Π2/Ν2 Γτηι,πΐ2\η1·>η2) — iV ΛΓ Мы называем F = {Fmbm2}0<mi<iVi-i,o<m2<iV2-i базисом Фурье пространства £2(Ънх χ Ζ#2). 2) (Двумерное DFT.) Для ζ € Ρ(Ζνι χ Zjv2) определим ζ € ^2(Zjvx x Zjv2) равенством iVi-lJV2-l z(mum2)= Σ Σ z(nun2)e-2nimini/Nle-2nim2n2/N2. щ=0 П2=0 Также для w € ^ (Z^ x Ζ#2) определим гй 6 £ (Ζ#χ x Ζ#2) равенством Νι-1Ν2-1 гй(ПьП2) = _±г ^ ^ ti;(m1,m2)e27rimini/iVle27rim2n2/iV2. 7711=0 7712=0
2.2. Линейные преобразования 135 Доказать, что ζ = (ζ)' для всех ζ € ^(Zj^ χ Ζ#2). Вывести, чтоЛ: £2(Ζνχ χ %ν2) ~~* —» ^2(Zjvx x Zjv2) есть «1-1»-преобразование, следовательно, обратимое, с обратным ~. Подсказка: используйте упр. 2.1.16 и проведите такие же рассуждения, как и для одномерного случая. 2.1.18. С определениями из упр. 2.1.16 и 2.1.17 докажите формулу Пар- севаля для z, w 6 ^2(Zjvi x Zjv2): /* ti;) = (£, w) и формулу Планшереля: Замечание: поскольку визуальные изображения — двумерные, то для обработки изображения необходимо использовать двумерные DFT, рассмотренные в упр. 2.1.15-2.1.18. 2.1.19. Сформулируйте аналоги упр. 2.1.15-2.1.18 для d-измерений и проведите доказательства. Может быть полезным использование векторных обозначений; например, для η = (ηι,η2,... ,η^) d и аналогично определенного т пусть η·πι= Σ nkmk- 2.2. Линейные преобразования, инвариантные относительно сдвига Большое количество электроинженерных факультетов имеют курс, озаглавленный «Сигналы и системы» или что-нибудь подобное. С нашей точки зрения «сигнал» есть именно функция. Он может быть функцией на интервале вещественных чисел (непрерывный или аналоговый сигнал), или функцией на конечном множестве точек, или функцией на бесконечном дискретном множестве, таком, как Ζ (дискретный или цифровой сигнал). Как показано в разд. 2.1, вектор в С^ можно считать функцией, заданной в N точках, следовательно, сигналом. Физически мы можем представить себе звуковой сигнал, например музыкальный фрагмент. Примеры «систем» включают в себя усилители, графические стабилизаторы, корректирующие устройства и другую аудиоаппаратуру. Система — это нечто, что преобразует входной сигнал в выходной
136 Глава 2. Дискретное преобразование Фурье сигнал. С математической точки зрения система —это преобразование. Какие предположения разумно наложить на систему, которую мы моделируем как преобразование Г? В идеальном случае усилители и большинство другой аудиоаппаратуры должны быть линейными. Во- первых, эффект действия усилителя на два сигнала вместе должен быть суммой эффектов действия на каждый сигнал в отдельности, т. е. T(u+v) = T(u)+T(v). Во-вторых, если мы умножаем входной сигнал на некоторую величину, то выходной сигнал должен быть умножен на эту же величину, т. е. T(au) = aT(u). Это идеальные характеристики усилителя. В реальных условиях это невозможно. Если сигнал умножается на достаточно большой множитель, то он отключает систему, и выходной сигнал становится равным нулю. Однако в пределах обычного диапазона осуществления операции хороший усилитель близок к линейному. Таким образом, линейность — это разумное предположение, наложенное на нашу математическую модель системы. Условия, которые мы здесь рассмотрели, таковы, что Г есть линейное преобразование в смысле определения 1.44. Другое естественное предположение состоит в том, что если мы задерживаем входной сигнал на некоторое время, то единственным эффектом на выходе будет задержка сигнала на то же время. Другими словами, система не ведет себя различно в различные моменты времени. Такая система называется инвариантной во времени или инвариантной относительно сдвига. Линейное преобразование, соответствующее такой системе, называется преобразованием, инвариантным относительно сдвига. Чтобы математически сформулировать свойство инвариантности относительно сдвига, напомним определение оператора сдвига Rk, заданного (определение 2.12) формулой (Rkz)(n) = z(n - fc), η e Ζ, для ζ € ^2(Zjv). Сдвиг сигнала вправо на к единиц дает сигнал Rk(z). (Напомним, что мы имеем дело с периодическими сигналами, определенными на всем множестве Z. Так что нельзя говорить, что сдвинутые сигналы начинаются раньше или позже; все значения лишь сдвигаются вправо на к.) Обозначим входной сигнал через ζ, а результирующий выходной сигнал —через w = Τ (ζ). Согласно нашей гипотезе о сдвиговой инвариантности, для нового входного сигнала Rk{z) сигнал на выходе должен быть сдвигом Rkw = Rk{T{z)). Но по определению Г сигнал на выходе есть T(Rkz). Поэтому наше формальное определение инвариантности преобразования относительно сдвига следующее.
2.2. Линейные преобразования 137 Определение 2.17. Линейное преобразование Τ: £2(Ζν) —► £2(Zn) инвариантно относительно сдвига, если T(Rkz) = ^Г(г) (2.37) для всех ζ € £2(Ζν) и всех fc 6 Ζ. Заметим, что формула (2.37) утверждает, что Г коммутирует с оператором сдвига i2fc· Возможно, единственным наиболее важным фактом, связанным с базисом Фурье F, является тот факт, что все линейные преобразования, инвариантные относительно сдвига (из £2(Ζν) β £2(Zn)), диагонализу- ются базисом F. Прежде чем доказать это, остановимся и дадим оценку этого факта. Мы отметили выше, что линейные преобразования, инвариантные относительно сдвига, наиболее естественны. В гл. 1 мы узнали, что диагонализуемые преобразования наиболее просты в использовании. Теперь мы поняли, что линейные преобразования, инвариантные относительно сдвига, все диагонализуемы фактически одним базисом! Более того, этот базис ортогональный (по лемме 2.2). Мы начнем с прямого доказательства этого главного результата. Напомним определение 1.71: линейное преобразование Г диагонализуемое, если его область определения имеет базис, состоящий из собственных векторов преобразования Т. Теорема 2.18. Пусть Τ: £2(Ζν) —► £2{Zn) —линейное преобразование, инвариантное относительно сдвига. Тогда каждый элемент базиса Фурье F является собственным вектором преобразования Т. В частности, Τ —диагонализуемое преобразование. ДОКАЗАТЕЛЬСТВО. Зафиксируем га € {0,1,..., N - 1}. Пусть Fm есть га-й элемент базиса Фурье (определенный формулой (2.13)). Тогда существуют комплексные скаляры ао, αϊ,..., α#_ι такие, что T(Fm)(n) = Σ akFk^ = Jf Σ *ke2*ikn/N (2.38) fc=0 fc=0 для всех η потому, что F есть базис в £2(Zn). Заметим, что (AiFm)(n) = Fm(n - 1) = 1 e2*M»-i>/" = _. _£_ p—2mm/N2mmn/N = p—2шт/Ν ρ fn\
138 Глава 2. Дискретное преобразование Фурье Так как е 2πιπι/Ν не зависит от п, то из линейности Г следует, что T(fliFm)(n) = e-2-™/*T(Fm)(n) = ЛГ-1 ЛГ-1 = е~2™ш'м У" afcFfc(n) = Σ ake-27rim/NFk(n) Ar=0 fc=0 в соответствии с равенством (2.38). С другой стороны, из равенства (2.38) вытекает также, что ЛГ-1 №T(Fm))(n) = (T(Fm))(n - l) = -L £ ^e2^(n-1)/iV = fc=0 = ^ Σ ake-2«iklNe2«ik»lN = £ α^-^/^ίη). fc=0 fc=0 Ho T(i2iFm)(n) = (RiT(Fm))(n) для всех п до предположению, что Г есть преобразование, инвариантное относительно сдвига. Сравнивая полученные выше выражения для этих двух величин и используя единственность коэффициентов разложения вектора по элементам базиса, получаем, что для каждого fc = О, l,...,JV — 1 справедливо равенство ake-2mm/N = ^^mk/N (2.39) Если к φ га, то e-2nim/N φ e-2nik/N^ так как 0 <ξ fc, га <ξ JV - 1. Поэтому равенство (2.39) может выполняться, если только а& = 0. Следовательно, мы доказали, что а& = 0 всякий раз, когда к φ т. Поэтому в равенстве (2.38) все слагаемые пропадают, за исключением члена с к = га, получается T(Fw)(n) = amFm(n), т. е. T(Fm) = amFm. Следовательно, Fm есть собственный вектор преобразования Г с собственным значением am. Так как m выбрано произвольно, это показывает, что каждый элемент базиса Фурье F есть собственный вектор преобразования Т. Поэтому Τ диагонализуемо. ■ Хотя доказано наше главное утверждение, этот результат так важен, что мы будем рассматривать его снова более подробно и подходить к нему с разных сторон. При этом нам встретятся различные ключевые понятия, такие как циркулянтпые матрицы, свертки и мультипликаторы Фурье. Наша цель — доказать следующую теорему, которую мы сформулируем пока без определения некоторых терминов. Теорема 2.19. Пусть Т: £2(Zn) —> ^2(Zjv) есть линейное преобразование. Тогда следующие утверждения эквивалентны:
2.2. Линейные преобразования 139 1) Г есть преобразование, инвариантное относительно сдвига. 2) Матрица Атуе> представляющая Τ в стандартном базисе Е, есть циркулянтная матрица. 3) Г есть оператор свертки. 4) Τ есть мультипликаторный оператор Фурье. 5) Матрица At,f, представляющая Τ в базисе Фурье F, есть диагональная матрица. Утверждение 5 — это другими словами сформулированное утверждение о том, что Г диагонализуется базисом Фурье. Стратегия доказательства теоремы 2.19 состоит в последовательном доказательстве 1 => 2 => 3 => 1, 34=^4 и, наконец, 4^5. Заметим, что теорема 2.19 дает не только теорему 2.18, но и обратную ей теорему, которая утверждает, что линейное преобразование, которое диагонализуется базисом Фурье, есть преобразование, инвариантное относительно сдвига. Как и в определении 2.8, индексы для матриц будут изменяться от О до N — 1 так же, как и в обозначении векторов, т. е. мы записываем матрицу А размера η χ η как [amn]o^m,n<;v-i· Когда мы умножаем матрицу А на вектор 2, как в выражении (2.1), результатом является вектор Az, га-я компонента которого (Az)(m)(0 ^ га ^ N — 1) есть N-1 (Αζ)(πι) = Σ °>mnz{n). (2.40) n=0 Мы также распространим на матрицы наше соглашение о периодичности, которое мы установили для векторов. Для заданной матрицы [»mn]o<m,n<iV-i мы определяем атп для всех га, η 6 Ζ, предполагая периодичность с периодом N по каждому индексу: Q"m+N,n = Q"mn и ^m^n+N = &гап для всех тип (здесь лишние запятые добавлены для ясности). Таким образом, a_i}jv+2 = α>Ν-ι,Ν+2 = ajv-i,2> где только в последнем выражении индексы принадлежат основному диапазону 0 ^ га, η ^ N — 1. Определение 2.20. Матрица А = [amn]o<m,n<iV-i, периодизирован- ная, как указано выше, называется циркулянтной, если (2.41) для всех га, п, к 6 Z. Заметим, что это эквивалентно требованию выполнения равенства Gm+ι,η+ι = am>n для всех га, η 6 Ζ, так как это равенство можно повторить fc раз и получить соотношение (2.41).
140 Глава 2. Дискретное преобразование Фурье Определение 2.20 утверждает, что мы получаем (га + 1)-й столбец циркулянтной матрицы сдвигом m-го столбца вниз (циклический сдвиг) на 1. Эквивалентно, мы получаем (га + 1)-ю строку сдвигом m-й строки вправо на 1. Поэтому циркулянтные матрицы легко определить на взгляд. Пример 2.21. Матрица 3 4г -1 2 + г 2 + г 3 4г -1 -1 2 + г 3 4г 4г -1 2 + 3 есть циркулянтная матрица. Матрица Г2 г 3" г 2 2 не циркулянтная, но если последней строкой была бы строка г 3 2, то она была бы циркулянтной. Напомним, что стандартный, или евклидов, базис Ε = = {ео?еъ-.. ,ejv_i} пространства £2(Zn) определен равенствами еп(га) = 1, если га = п, и еп(га) = 0, если га φ η, где 0 ^ га ^ N — 1. Полезно определить еп для всех η € Ζ, хотя это приведет к некоторой избыточности. Заметим, что так как мы рассматриваем еп как определенные на всем Ζ с периодом JV, то еп(га) = 1 тогда и только тогда, когда га = η + fciV при некотором к 6 Z. Имея это в виду, для каждого η 6 Ζ определим еп € £2(Ζν) по периодичности, т. е. положив для любого п. Из этого следует, что Rien = βη+ι (2.42) для всех п. Например, если η = JV — 1, то определение циклического сдвига показывает, что i2iejv_i = ео = е#, что согласуется с формулой (2.42). При умножении матрицы А на вектор еп получается n-й столбец матрицы А. Формальное доказательство этого факта таково: JV-1 (Aen)(m) = ]Г amken(k) = amn, (2.43) fc=0 где мы использовали соотношение (2.40) и то, что еп(к) = 0, если к φ η, и en(fc) = 1, если к = п. Однако, возможно, это легче увидеть,
2.2. Линейные преобразования 141 предварительно расписав еп(к). Это верно для всех п,га 6 Ζ в силу периодичности по определению. Напомним, что если матрица Ατ,ε представляет линейное преобразование Г в стандартном базисе, то Τ{ζ) = Ατ,ε* (так как ζ = [ζ]ε из выражения (1.24)). Мы теперь готовы доказать следование 1 => 2 в теореме 2.19. Лемма 2.22. Пусть Τ: £2(Ζν) —* £2C^n) —линейное преобразование и Атуе есть матрица, представляющая Τ в стандартном базисе Е. Если преобразование Τ инвариантно относительно сдвига, то Ат^е ~ циркулянтная матрица. Доказательство. Для всех га,п, последовательно применяя формулы (2.43) и (2.42), получим α,ϋ+ι,η+ι = (ATiEen+i)(m+l) = (T(en+1))(m+l) = (Г(Л1еп))(т+1) = = (RiT(en))(m+l) = T(en)(m+1-1) = T(en)(m) = = (ATiEen)(m) = am,n на основе предположения об инвариантности относительно сдвига преобразования Г. Как было раньше замечено, итерация этого равенства к раз дает соотношение am+k,n+k = <hn,n для любого к. Ш Для следующего этапа доказательства теоремы 2.19 мы определим свертку двух векторов. Определение 2.23. Для z,w € £2(!*ν) сверткой z*we £2(1*ν) называется вектор с компонентами * ΛΓ-1 ζ * w(m) = 2J ^(m ■" и)ги(п) n=0 для всех m. Пример 2.24. Пусть 2; = (1,1,0,2) и w = (г,0,1,г) —векторы в £2(Z4). Тогда, используя периодичность ζ, получим: з ζ * w(0) = Y^ г(—п)ги(п) = те=0 = *(0)ti;(0) + s(-l)ti;(l) + s(-2)ti;(2) + s(-3)ti;(3) = = z(0)w(0) + s(3)ti;(l) + z(2)ti;(2) + z(l)w(3) = = 1·» + 2·0 + 0·1 + 1·< = 2».
142 Глава 2. Дискретное преобразование Фурье Аналогично, з ζ * w(l) = ]Г z(l - n)w(n) = li + 10 + 21 + 0-i = 2 + i, n=0 3 2 * w(2) = ]P *(2 - n)ti;(n) = 0i + 10+ll + 2i = l + 2i n=0 И 3 ζ * w(3) = ]Γ ζ(* " η)™Η =2·» + 0·0 + 1·1 + 1·< = 1 + 3ι. η=0 Поэтому г * t£7 = (2г, 2 + г, 1 + 2г, 1 + Зг). Если зафиксировать один вектор в свертке, то свертку с этим фиксированным вектором можно рассматривать как линейное преобразование. Определение 2.25. Пусть Ь 6 £2(Zn). Определим отображение Тъ: 12{ZN) -» £2{ZN) равенством Tb(z) =b*z для всех ζ 6 £2(Ζν). Любое преобразование Г вида Г = Т& для некоторого Ъ 6 £2(Ζν) называется оператором свертки. Нетрудно видеть, что оператор свертки Ть есть линейное преобразование. Следование 2 =Ф· 3 в теореме 2.19 утверждает, что циркулянтная матрица приводит к оператору свертки. Это объясняет, почему свертка столь интересна для нас. Лемма 2.26. Пусть матрица А = [amn]o<m,n<N-i размерности NxN циркулянтна. Определим Ъ 6 £2(Zn) равенствами Ь(п) = αη,ο для всех п. (Другими словами, Ъ есть первый столбец матрицы А, представленный в виде вектора. Как следует из формулы (2.43), Ъ = Acq.) Тогда для всех ζ 6 £2(Ζν) Az = b*z = Tb(z). Доказательство. Так как А есть циркулянтная матрица, то Q>mn = Gm_n,0 = b(m ~ п) для любых га, n Ε Ζ. Следовательно, по определению умножения матрицы на вектор (формула (2.40)) Ν-1 ΛΓ-1 (Az)(m) = ^ amnz(n) = ^ Ь(т — n)z(n) = Ь * z(m). Ш η=ϋ τι=0
2.2. Линейные преобразования 143 Мы доказали импликации 1 =Ф- 2 =*► 3 в теореме 2.19, т. е. мы теперь знаем, что любое инвариантное относительно сдвига преобразование Г есть оператор свертки TJ>. Обратное утверждение, что оператор свертки инвариантен относительно сдвига, — относительно просто. Лемма 2.27. Пусть Ь 6 £2(Zn), u пусть Ть есть оператор свертки, связанный с Ъ по определению 2.25. Тогда Ть есть оператор, инвариантный относительно сдвига. Доказательство. Пусть ζ € £2(Ζν), и пусть k e Z. Тогда для любого т Ν-1 Tb{Rkz)(m) = Ъ * (Rkz)(m) = ^ Ъ{т - n)(Rkz)(n) = п=0 ΛΓ-1 = Y^ Ь(т — n)z(n — к). п=0 В последней сумме сделаем замену индекса I = η — к. Используя упр. 2.1.8, получаем N-1-k ΛΓ-1 Tb(Rkz)(m) = J^ b{m-k-l)z(l) = Y^b{m-k-l)z{l) = l=-k 1=0 = (b * z)(m - к) = Я*(Ь * z)(m) = Д*Ть(*)(го) для любого га. Другими словами, ТЦД^г) = RkTb(z)9 это значит, что оператор Ть инвариантен относительно сдвига. ■ Таким образом, мы доказали, что утверждения 1-3 в теореме 2.19 эквивалентны. Определение 2.28. Определим элемент δ 6 £2{^ν) равенствами с/ ч fl, если п = 0, д(п) = < 10, если n = 1,2,...,JV-1. Это дискретный аналог того, что иногда называется дельта-функцией Дирака. Она часто известна как единичный импульс. Заметим, что δ есть как раз ео, но, так как это обозначение стандартно, мы соглашаемся на такую избыточность. Лемма 2.29. Для любого w € ^2(Zjv) w * δ = w.
144 Глава 2. Дискретное преобразование Фурье Доказательство. Для каждого τπεΖν Ν-1 (w * δ)(πι) = 22 w(m ~~ ПЖП) = w(m), n=Q так как δ(η) = 0, если только η φ О, а в случае η = О имеем £(0) = 1. ■ Этому простому результату можно дать следующую интерпретацию. Предположим, что мы имеем систему, например усилитель или какую- нибудь другую аудиоаппаратуру. Как следует из приведенных выше рассуждений, мы моделируем эту систему как линейное преобразование Τ в ί2(Ζ), инвариантное относительно сдвига. Мы доказали, что Г есть оператор свертки Ть для некоторого 6 6 £2(Ζν). Если мы знаем 6, то мы знаем действие нашей системы на любой сигнал 2, так как Τ (ζ) = Ть(г) = 6 * ζ. Поэтому система полностью определяется вектором 6. Как можйо найти 6? Это легко сделать с помощью леммы 2.29: Г(й)=Гь(й) =6*5 = 6. Поэтому для восстановления 6 мы должны лишь измерить сигнал на выходе системы, когда входным сигналом является δ. Так как δ называется единичным импульсом, то 6 часто называют импульсным откликом системы. Теперь рассмотрим, как дискретное преобразование Фурье (DFT) взаимодействует со сверткой. Лемма 2.30. Пусть z,w 6 £2(Zn). Тогда для каждого т (ζ * w)\m) = z(m)w(m). Доказательство. По определению ΛΓ-1 Ν-1Ν-1 (ζ * w)\m) = Σ (ζ * w)(n)e-27rimn/N= £ £ z{n-k)w{k)e-27rimn/N= n=0 n=0 fc=0 JV-liV-1 = J]J]z(n- ^(Qe-2wim(n-k)/Ne-2Kimk/N = n=0 fc=0 JV-1 JV-1 = Σ w{k)e-2nimk/N Σ z(n - k)e-2nim{n-k)/N. k=0 n=0 В последней сумме мы изменим индекс суммирования, положив I = n—fc, и получим (вследствие упр. 2.1.8) N-l N-1-k N-l Σ Φ - fc)e-2*i"»(n-fc)/AT = ^2 z{l)e-2*inulN = £ z(l)e~2niml/N. n=0 l=-k 1=0
2.2. Линейные преобразования 145 Подстановка этой формулы дает ЛГ-1 ЛГ-1 (ζ * w)\m) = ^ w{k)e-2*imk'N J] г(1)е~27гМ/м = 5(m)t&(ro). ■ fc=o i=o Таким образом, DFT преобразует относительно сложную операцию свертки в простую операцию умножения. Пример 2.31. В примере 2.24 для ζ = (1,1,0,2) и w = (г, 0,1, г) мы вычислили свертку ζ * w = (2г, 2 + г, 1 + 2г, 1 + Зг). Поступая так же, как и в примере 2.9, можно получить, что £ = (4,1 + г,-2,1-г) и г& = (1 + 2г,-2 + г,1,г). Аналогично находим (ζ * wY= (4 + 8i, -3 - i, -2,1 + <). Теперь можно проверить, что (ζ * ги)Л (n) = z(n)w(n) для η = 0,1,2,3 (например, £(1) ώ(1) = (1 + г)(—2 + г) = — 3 — г = (г * г^)Л (1)). Теперь мы рассмотрим линейные преобразования, полученные вычислением DFT, умножением результирующих компонент на некоторые числа и вычислением обратного преобразования IDFT. Определение 2.32. Пусть т 6 £2(Ζν). Определим Т(шу. £2(Ζν) —► —► £2(Ζν) равенством T(m)(z) = (mzy, (2.44) где mz есть вектор, полученный покомпонентным умножением га на £, т. е. (mz)(n) = m(n)z(n) для каждого п. Любое преобразование такого вида называется мулыпипликаторным оператором Фурье. Заметим, что мы пишем Т(т), чтобы отличить мультипликаторные операторы Фурье от операторов свертки (обозначенных Т&) в определении 2.25. Нетрудно видеть, что любой мультипликаторный оператор Фурье задает линейное преобразование. Другой способ описать Г(т) в определении 2.32 состоит в учете того, что для каждого к справедливо соотношение (Tim)(z)№=m(k)z(k), (2-45) получаемое применением DFT к обеим частям равенства (2.44). Чтобы это понять, напомним, что с помощью обратного преобразования Фурье (2.15) ΛΓ-1 Σ к=0 ш Σ 2(№·
146 Глава 2. Дискретное преобразование Фурье Применяя формулу обращения (2.15) к T(m)(z) и используя равенство (2.45), получим ЛГ-1 ЛГ-1 r(m)(*) = ^(T(m)(z))\k)Fk = Σ m(k)z(k)Fk. k=0 k=0 Таким образом, эффект от действия Г(т) на ζ состоит в умножении fc-ro DFT-коэффициента z{k) на m(k). Это объясняет название мультишга- каторного оператора Фурье. Элемент аудиоаппаратуры, известный как графический стабилизатор, моделируется мультипликаторным оператором Фурье. Цель графического стабилизатора состоит в усилении или ослаблении отдельных частотных компонент аудиосигнала. Напомним, что интенсивность частоты е2шкп/м в сигнале пропорциональна модулю его fc-ro DFT- коэффициента. В соответствии с равенством (2.45) оператор Г(т) умножает к-й DFT-коэффициент на тп(к). Настройка графического стабилизатора соответствует различным частотным компонентам сигнала. Каждый может быть вручную усилен или ослаблен, соответственно, увеличением или уменьшением величины мультипликатора для этой частоты. Эквивалентность п. 3 и 4 в теореме 2.19 легко следует из леммы 2.30. Лемма 2.33. Пусть Τ: £2(Ζν) —* £2(Ζν) есть линейное преобразование. Тогда Τ есть оператор свертки тогда и только тогда, когда Τ есть мультипликаторный оператор Фурье. Более точно, пусть задан оператор свертки Ть, и пусть т = Ъ, тогда Ть = Т^ту Обратно, пусть задан мультипликаторный оператор Фурье T(m) ub = rh. Тогда Т(т) = Ά- Доказательство. В любом случае мы имеем т = Ъ (по формуле обратного преобразования Фурье во втором случае). Тогда по формуле обратного преобразования Фурье и лемме 2.30 Tb(z) = Ь * ζ = ((Ь * zfj = (ίζ}= (πιζ}= T{m){z) для любого ζ 6 £2(Ζν). Ш Последний этап доказательства теоремы 2.19 состоит в демонстрации эквивалентности п. 4 и 5. Так как мы знаем, что п. 1-4 эквивалентны, то мы должны применить теорему 2.18, которая показывает, что из п. 1 следует п. 5. Однако нам требуется и обратное утверждение, и поэтому мы установим прямое соотношение между п. 4 и 5 в следующей лемме. Напомним, что в соответствии с формулой (2.16) ζ — это вектор, представляющий ζ в базисе Фурье: ζ = [ζ]ρ- Тогда равенство (2.45)
2.2. Линейные преобразования 147 показывает, что Г(т) ведет себя как умножение на диагональную матрицу в базисе Фурье. Доказательство эквивалентности п. 4 и 5 как раз и требует подтверждения этого замечания. Лемма 2.34. Пусть Г: £2(Zn) —* £2(%ν) есть линейное преобразование. Тогда Τ есть мультипликаторный оператор Фурье Т(т) для некоторого т 6 £2(Ζν) тогда и только тогда, когда матрица, представляющая Τ в базисе Фурье F = {i*b,i*i,... ,Fjv_i}, есть диагональная матрица D. Более того, если Τ = Т(т) есть мультипликаторный оператор Фурье, то диагональная матрица D = [dmn]o<m,n<iV-i удовлетворяет равенствам dnn = т(п) для η = О,1,..., N — 1. Доказательство. Пусть Т(т) —мультипликаторный оператор Фурье. Определим диагональную матрицу D = [dmn]o<m,n<iV-b положив dnn = т(п) для 0 ^ η ^ N — 1. Из равенства (2.45) (Г(т)(г))л = mz и поэтому, используя формулу (2.16), получим dooz(0) 1 dnz(l) dN-iyN-iz(N - 1)J [4 о о _ 0 dn 0 ... О L 0 О ds-ι,Ν-ι, = Dz = D[z]F. Следовательно, мультипликаторный оператор Фурье Т(т) представляется в базисе Фурье диагональной матрицей D. Обратно, предположим теперь, что диагональная матрица D = = [dmn]o<m,n<;v-i представляет Г в базисе Фурье F. Пусть т(п) = dnn для 0 ^ η ^ JV — 1 и Т(т) есть соответствующий мультипликаторный оператор Фурье. Тогда из вышеприведенных вычислений следует [T(z))F=D[z)F = [T{m)(z)]F. Поэтому Г = Г(го). ■ Это завершает доказательство теоремы 2.19. Полученные результаты могут быть практически использованы при вычислениях. Предположим, что Τ есть линейное преобразование, инвариантное относительно сдвига. Из его определения мы можем выписать матрицу -А = [отп]о<т,п<лг-1) представляющую Г в евклидовых координатах [T(m)(z)]F = m(0)f(0) m(l)f(l) [m(N - l)z(N - 1) J(0) 1 «(1) l(JV - 1)1
148 Глава 2. Дискретное преобразование Фурье (т. е. такую матрицу Д что Τ(ζ) = Αζ). Эта матрица должна быть циркулянтной. Пусть Ь € £2(Ζν) — первый столбец матрицы А. Тогда по лемме 2.26 получаем, что Г есть оператор свертки Т&. Пусть га = Ъ. По лемме 2.33 Г есть мультипликаторный оператор Фурье Т(т). Образуем диагональную матрицу D с диагональными элементами с^п = га(п). Тогда D представляет Г в базисе Фурье F, т. е. [T(*)]F = D[z)F. Чтобы понять это на матричном уровне, напомним, что из формулы (2.19) мы имеем ζ = Wnz, где Wn есть матрица (2.18). Поэтому WNAz = (AzJ= [Az]F = [T(^)]F = D[s]F = D* = DWNz. Умножение слева на W^1 дает Αζ = W^DW^s и, следовательно, A^W^iWjv, или H^W^^i). (2.46) Это явная диагонализация матрицы А. Заметим, что диагонализую- щая матрица Wn одна и та же для любой циркулянтной матрицы. Напомним, что диагональные элементы D — это собственные значения матрицы А; мы видим здесь, что если А есть циркулянтная матрица, то эти значения являются как раз компонентами вектора га, определенного выше. Для циркулянтной матрицы это гораздо более легкий способ найти собственные значения, чем стараться разложить на множители характеристический многочлен. Пример 2.35. Определим Г: £2(Ζ*) —► £2{Ъ±) равенством T(z)(n) = ζ(η) + 2ζ(η + 1) + ζ(η + 3). Найти собственные значения и собственные векторы преобразования Г и диагонализовать матрицу Д представляющую Г в стандартном базисе, если это возможно. Решение. Можно проверить, что Г —преобразование, инвариантное относительно сдвига: T{Rkz) = (Rkz){n) + 2(Rkz){n + 1) + (Rkz){n + 3) = = z(n -k) + 2z(n + 1 - k) + z(n + 3 - k) = = Rk(z(n) + 2z(n + 1) + z(n + 3)) = RkT(z). Можно также записать матрицу Л, которая представляет Г в стандартном базисе (т. е. удовлетворяющую равенству Τ (ζ) = Αζ), рассматривая
2.2. Линейные преобразования 149 Τ(ζ)(0),Τ(ζ)(1),Τ(ζ)(2) и Т(*)(3), получим Л = 12 0 1' 112 0 0 112 2 0 11 4 0 0 0 0 1 + г 0 0 0 0 -2 0 0 ' 0 0 1-г которая есть циркулянтная матрица. Тогда Ъ = (1,1,0,2). В примере 2.31 мы вычислили Ь (Ь называлось в этом примере ζ) и получили га = Ь = (4,1 + г, —2,1 — г). Эти компоненты являются собственными значениями А, и собственные векторы — это векторы базиса Фурье F. В частности, матрица D = удовлетворяет равенству W\AW± 1 = D. Ш Преобразование, рассматриваемое в следующем примере, — это разностный оператор второго порядка, который используется для аппроксимации второй производной / при численном решении дифференциальных уравнений, удовлетворяющих периодическим краевым условиям. Пример 2.36. Определим оператор Δ: £2(Zn) —► ^2(Zjv) равенством (Δ(ζ))(η) = ζ(η + 1) - 2ζ(η) + ζ(η - 1). Найти собственные значения Δ. Решение. Как и в примере 2.35, мы можем проверить, что Δ есть оператор, инвариантный относительно сдвига. По определению (Δ(*))(0) = *(1) - 2ζ(0) + ζ(-1) = ζ{ΐ) - 2ζ(0) + ζ(Ν - 1). Поэтому первая строка матрицы А оператора Δ в стандартном базисе есть (—2,1,0,..., 0,1). Так как А должна быть циркулянтной матрицей, то -2 1 0 0 1 1 -2 1 0 0 0 1-2 1 0 ... 0 А = (2.47) 1 0 0 1 -2| Поэтому Ь есть первый столбец матрицы А, т. е. Ъ = (—2,1,0,..., 0,1).
150 Глава 2. Дискретное преобразование Фурье Собственные значения Δ — это компоненты вектора га = 6. Мы получаем ЛГ-1 b{k) = Σ b{n)e-2*ikn'N = (-2) · 1 + 1 · e-2*ik'N + 1 · е-2^(лг-1)/лг = n=0 = _2 + e-2^/JV + e2.ifc/iv = _2 + 2 cos (^) = ~<(Н~(¥))~«-,(2) Это собственные значения оператора Δ. Матрица D с диагональными элементами dkk = —4βίη2(πΑ:/ΛΓ) удовлетворяет равенству H^v-AWj^1 = = Ζλ ■ Упражнения 2.2.1. Для ζ 6 £2(Ζν) определим Τ(ζ) 6 £2(^ν) равенством (Τ(ζ))(η) = ζ(η-1) для всех п. 1) Доказать, что Г — преобразование, инвариантное относительно сдвига. 2) Пусть w(n) = cos(2nn/N) для η Ε Ζ#. Для каждого N ^ 3 показать, что w не является собственным вектором Г. Замечание: это показывает, что ортонормированный базис из синусов и косинусов в упр. 2.1.7 не диагонализует Г. 2.2.2. Определим Г: £2(ZN) -> ^2(Zjv) равенством (Γ(ζ))(η) = Зг(п - 2) + iz(n) - (2 + i)z(n + 1) для всех п. 1) Доказать, что Г — преобразование, инвариантное относительно сдвига. 2) Записать матрицу, которая представляет Г в стандартном (евклидовом) базисе для случая N = 4. 3) Для случая N = 4 показать прямым вычислением, что векторы Ео,Е\,Е2И Ез из примера 2.4 — собственные векторы Г. 2.2.3. Определим Г: ^2(Ζ4) -> ^2(Ζ4) равенством T(s) = (2г(0) - s(l), te(l) + 2*(2), 2(1), 0). 1) Пусть ζ = (1,0, —2, г). Вычислить T{R\z) и /?ιΤ(ζ). Заметьте, что эти значения не одинаковы. Следовательно, Τ не есть преобразование, инвариантное относительно сдвига.
Упражнения 151 2) Найти матрицу, представляющую Г в стандартном базисе. Заметьте, что она не циркулянтная, как мы и ожидали в соответствии с п. 1. 3) Показать, что (1, г, —1, —г) не есть собственный вектор преобразования Т. (Напомним: в соответствии с примером 2.4 вектор (1,г, —1, —г) —кратный элементу базиса Фурье F\.) 2.2.4. Пусть ζ = (2, г, 1,0) и w = (1,0,2г, 3). 1) Вычислить ζ и гЬ. 2) Вычислить непосредственно ζ * w. 3) Вычислить непосредственно (z * wj и убедиться, что оно совпадает с zw. 2.2.5. Пусть z,w e £2{ZN). 1) Доказать, что Ζ * W = 117 * г непосредственно, исходя из определения свертки. 2) Используя лемму 2.30 и формулу обратного преобразования Фурье, доказать, что ζ * w = w * г. 2.2.6. Доказать, что свертка ассоциативна, т. е. (х * у) * 2 = χ * (у * ζ) для ж, у, г 6 ^2(Zjv). Подсказка: использовать наиболее легкий из двух методов в упр. 2.2.5. 2.2.7. Определим Т: £2{Ъ±) -► ^2(Z4) равенством (T(s))(n)=3s(n-l) + s(n). 1) Записать матрицу Ат^Еч которая представляет Г в стандартном базисе. Обратите внимание на то, что она циркулянтная. 2) Найти Ъ е ί2(Ζ4) такой, что T(z) = b*z. 3) Найти га € £2(Z4) такой, что Г = Г(т), т. е. что (T(z)J{n) = = m(n)z(n) для каждого п. 4) Найти матрицу At,f, которая представляет Г в базисе Фурье F. 5) Непосредственным вычислением убедиться, что Ατ,ε = = W±l x At,fW4, где W4 —матрица в (2.21). 2.2.8. Пусть А = [amn]o<m,n<JV-i есть циркулянтная матрица размера Ν χ N. Определим λ™ = Σ αο,ηβ2™/" η=0 для га = 0, 1,...,JV — 1. Непосредственно доказать, не используя теоремы 2.19, что собственные значения А — это Ао, λι,..., Ajv_i,
152 Глава 2. Дискретное преобразование Фурье которые могут повторяться в соответствии с кратностью (алгебраической или геометрической, здесь это одно и то же потому, что А — диагонализуемая матрица). Подсказка: для ra = 0,l,...,iV—1 определите векторы ВШ Ε £2(Ζν) равенствами Bm(n) = e2™mn>N для η = 0,1,... ,JV — 1. Они кратны элементам базиса Фурье, следовательно, по теореме 2.18 каждый Вш есть собственный вектор А. Заметьте, что Вт(0) = 1 для всех га, и величины Ат, определенные выше, это нулевые компоненты векторов А Вт. Замечание: обратим внимание, что, если мы изменим индекс суммирования в вышеприведенном выражении для Ат, положив к = —п, и будем использовать циркулянтность матрицы А, мы получим Аго - ^оо,-^-2*-*/" = |>,ое-2™*/" = b(m) fc=0 к=0 для Ь таких, как в лемме 2.26. Это выражение соответствует ранее полученным результатам. Проведенное выше доказательство несколько более прямое, чем доказательство теоремы 2.19, но мы предпочли в этой теореме показать связь с циркулянтными матрицами, операторами свертки и мультипликаторными операторами Фурье. 2.2.9. Определим оператор Г: £2(Zn) -+ £2(%n) равенством {T{z)){n) = z{n + l)-z{n). Найти все собственные значения Г. 2.2.10. Пусть Т(т): ^2(Ζ4) —► £2(%4>) — мультипликаторный оператор Фурье, определенный равенством Т(т) = (mz]Г, где га = (1,0, г, —2). 1) Найти Ь € ί2(Ζ4) такой, что Т(т) есть оператор свертки Ть (определенный равенством Ть{г) = 6*2;). 2) Найти матрицу, которая представляет Т(т) в стандартном базисе. 2.2.11. 1) Предположим, что Т\,Т2Л. £2(&ν) -+ £2{Ι*ν) — преобразования, инвариантные относительно сдвига. Доказать, что композиция Гг о Γι есть преобразование, инвариантное относительно сдвига. 2) Пусть А и В — циркулянтные матрицы размера Ν χ N. Непосредственно доказать (например, используя только определение циркулянтной матрицы и не используя теоремы 2.19),
Упражнения 153 что АВ есть циркулянтная матрица. Показать, что из этого результата и теоремы 2.19 следует п. 1. Подсказка: выписать (га+1, п+1)-й элемент АВ, используя определение умножения матриц, сравнить с подсказкой к упр. + 2.2.12(1). 3) Предположим, что 6i,&2 € £2(Zn)· Доказать, что композиция 2&2 о Тьх операторов свертки Г^ и Тьх есть оператор свертки Ть с Ь = &2 * Ъ\. Подсказка: использовать упр. 2.2.6. 4) Предположим, что τηι,πΐ2 € £2(Ζν). Доказать, что композиция T(m2) oT(mi) мультипликаторных операторов Фурье Г(Ш2) и Г(Ш1) есть мультипликаторный оператор Фурье Г(т), где m(n) = πΐ2(η)πΐι(ή) для всех п. 5) Предположим, что ГьГг: ^2(Ζ#) -* £2(Zn)— это линейные преобразования. Доказать, что если Γι представлено матрицей Αχ в базисе Фурье F (т.е. [7i(2)]f = ^iMf) и Г2 представлено матрицей Аг в базисе F, то композиция Г2 о Γι представлена матрицей А2А1 в базисе F. Снова доказать п. 1. Замечание: по теореме 2.19 мы доказали одно и то же пять раз. Это может казаться не очень разумным, но, по крайней мере, мы видели, как интерпретируется заданная информация в каждой из этих пяти формулировок. На практике полезно иметь эти пять подходов потому, что для каждой данной проблемы можно выбрать формулировку, которая кажется самой простой. Упражнение 2.2.12 —еще один пример этого явления. 2.2.12. Предположим, что ГьГг: (?{Ζν) —► ί2(Ζ;ν) — линейные преобразования, инвариантные относительно сдвига. В этой задаче мы доказываем четырьмя различными способами, что Т\ и Г2 коммутируют. Это значит, по определению, что для любого ζ е e2(zN) Τ2(Τ1(ζ))^Τι(Τ2(ζ)). 1) Предположим, что А и В —это циркулянтные матрицы размера Ν χ N. Непосредственно доказать, исходя из определения умножения матриц и их циркулянтности, что АВ = ВА. Вывести (из теоремы 2.19), ^то Γι и Гг коммутируют. Подсказка: ДЛЯ А = [awn](Km,n^JV-l И В = [bmn]o<m,n<N-l (га, п)-й элемент матрицы АВ есть ΛΓ-1 /] Qmkbkn fc=0
154 Глава 2. Дискретное преобразование Фурье по определению умножения матриц. Но amk = am+n-fc,n и bfcn = bm,m+n-b так как Аи В циркулянтные матрицы. Теперь измените индекс суммирования и примените упр. 2.1.8. Замечание: это упражнение и упр. 1.5.13 объясняют, почему все циркулянтные матрицы диагонализуются одним базисом. 2) Доказать, что Т\ и Гг коммутируют, используя упр. 2.2.5 и 2.2.11(3). 3) Доказать, что Т\ и Гг коммутируют, используя упр. 2.2.11(4). 4) Доказать, что Т\ и Τ<ι коммутируют, используя упр. 2.2.11(5). 2.2.13. Предположим, что Г: (?(Zn) —► £2(Ζν) есть линейное преобразование, инвариантное относительно сдвига, и z,w 6 ^2(Ζ#). 1) Доказать, что Τ(ζ * w) = Т(г) * w = w * T(z). 2) Доказать, что Τ(ζ) = Г(ео) * 2;, где ео есть первый элемент стандартного базиса. Подсказка: заметьте, что ео = £, затем примените лемму 2.29 и п. 1. Заметьте, что вследствие равенства (2.43) Т(ео) = Ъ для Ъ такого, как в лемме 2.26. Это дает другое доказательство леммы 2.26. 2.2.14. Пусть Г: £2(Ζν) —* £2(Ζν) есть линейное преобразование. Доказать, что Г инвариантно относительно сдвига тогда ΛΓ-1 и только тогда, когда Τ(z) = ^ o,kRk{z) для некоторых k=o αο,αχ,... jQN-i € С. Так как Rk равняется Д*, fc-й итерации ϋι, то это утверждение означает, что Г есть многочлен от R\. Подсказка: рассмотрите оператор свертки Т&, где b(k) = α&. 2.2.15. Пусть А есть циркулянтная матрица размера Ν χ N. Доказать, что Л —нормальная матрица (определение 1.108). Это может быть доказано непосредственно или следовать из теоремы 1.109, леммы 2.2 и теоремы 2.18. 2.2.16. Пусть Г: £2(Ζν) —► £2(Ζν) — линейное преобразование, инвариантное относительно сдвига. 1) Предположим, что и есть собственный вектор Г с собственным значением А. Доказать, что RkU для каждого к 6 Ι*ν есть также собственный вектор Г с собственным значением λ. 2) По теореме 2.18 каждый элемент базиса Фурье Fm есть собственный вектор Г. Из п. 1 следует, что это верно для каждого RkFm, где O^fc, ra^JV — 1. Объяснить, каким образом Г может иметь так много собственных векторов.
Упражнения 155 2.2.17. Показать, что существуют z, w 6 £2{Ъ±) такие, что ζ φ О и w Φ О, но г * it; = 0, где 0 есть нулевой вектор (0,0,0,0). 2.2.18. Вспомним определения в упр 2.1.15 и 2.1.17. Для ζ 6 ί2{Ί*Νι х Ζ#2) определим z(ni,ri2) так, что при всех (ni,ri2) € Ζ χ Ζ вектор г периодичен по первой переменной с периодом Νχ и по второй переменной с периодом Л^, т. е. z(ni + jiiVi, n2 + J2N2) = z(nu η2) для всех ni,n2,ji,J2 € Ζ. Для произвольных чисел к\,к2 € Ζ определим инвариантное относительно сдвига преобразование Rkxto: ^C^Ni х Zjv2) —► ^2(ZjVi x Zjv2) равенством (Л*1,*2*)(ПЬП2) = z(nl - fcbn2 - к2). Мы говорим, что Г: £2(Zni x Zjv2) —► ^2(Zjvi x Zjv2) есть преобразование, инвариантное относительно сдвига, если для всех fei, к.2 ΕΖπ всех ζ € (^(Ζνχ x Zjv2) T(RklMz) = Λ*ιΛΓ(ζ). Если Γ: ^2(Zjvx χ Ζ#2) —► ^2(Zjvi x Ζ#2) есть преобразование, инвариантное относительно сдвига, то доказать, что каждый FmiiTn2 (определенный в упр. 2.1.17) есть собственный вектор Г. Подсказка: следовать доказательству теоремы 2.18. 2.2.19. Для элементов z,w 6 £2{Zni x Ζ#2) (см. упр. 2.2.18) определим их свертку z*w € £2(Zni x Zjv2) равенством ΛΓι-1ΛΓ2-1 ζ *w(mi9m,2) = 2^ 2J ^(wii — ^1,1712 — fi2)ti;(ni,n2) m=o n2=o для всех mi,rri2. 1) Доказать, что (z*tt;J(roi,m2) = 5(mi,ra2)t&(mi,m2) для всех mi,rri2. 2) Определим преобразование Τ&: ^2(Zjvx x Ζ#2) —> ^2(Zjvx χ Ζ#2) для b 6 ^2(Zjvx χ Ζλγ2) равенством Tb(z)=b*z. Любое линейное преобразование такого вида называется оператором свертки. Доказать, что Т& есть оператор, инвариантный относительно сдвига. 3) Для т е £2(%Νι χ Zjv2) определим Т(ту. £2(Zni x Zjv2) —► —► £2(Ζνι χ Ζλγ2) равенством T{m){z) = (™>zj,
156 Глава 2. Дискретное преобразование Фурье где (m£)(ni,n2) = га(пьП2)£(п1,П2) для всех (ηι,η2). Любое линейное преобразование такого вида называется мулъггш- пликашорным оператором Фурье. Доказать, что любой оператор свертки Ть есть мультипликаторный оператор Фурье Т[т) с га = Ь. 2.2.20. Предположим, что Г: £2(Ζνι χ Zjv2) —► ^2(Zjvi x Zjv2) есть линейное преобразование. Доказать, что следующие утверждения эквивалентны: 1) Г есть преобразование, инвариантное относительно сдвига. 2) Г есть мультипликаторный оператор Фурье. 3) Г есть оператор свертки. Подсказка: импликация 1 =Ф- 2 следует из упр. 2.2.18, 2 => 3 —из упр. 2.2.19(3) и обратного преобразования Фурье, а следование 3 =Ф- 1 было доказано в упр. 2.2.19(2). Замечание: такой метод позволяет избежать операций с матрицами, которые более сложны, хотя их можно записать следующим образом: ΛΓι-l JV2-1 (Αζ)(ηι,η2)= Σ Σ M^un2;rnum2)z(mi,m2). mi =0 7712=0 В данном упражнении нужно повторить все этапы доказательства, имеющиеся в тексте для одномерного случая, но в этом случае предпочтительнее выполнить матричные операции в явном виде. 2.3. Быстрое преобразование Фурье В разд. 2.2 мы увидели главное достоинство базиса Фурье F (определение 2.7): все линейные преобразования, инвариантные относительно сдвига, диагонализуются базисом F. В этом разделе мы обсуждаем второе характерное свойство базиса F: DFT может быть вычислено с помощью быстрого алгоритма, известного как быстрое преобразование Фурье или FFT. Без FFT использование DFT при анализе речевых или видеосигналов было бы весьма ограниченным. Рассмотрим количество вычислений, требуемых в общем случае при переходе от одного базиса к другому. Предположим, что ζ G £2(Zn)· Если В есть базис £2(Ζν), то можно получить компоненты [ζ]в вектора ζ в базисе В из евклидовых компонент ζ = [ζ] ε умножением ζ на матрицу перехода от базиса Ε к базису В, которую мы обозначим буквой А, т. е. [ζ]β = Α[ζ]ε = Αζ.
2.3. Быстрое преобразование Фурье 157 N-1 Так как га-я компонента вектора Az есть ]Г) amnz(n), то требуется N 71=0 комплексных умножений для вычисления каждой компоненты Az. Так как Az имеет N компонент, то требуется iV2 умножений для вычисления всего вектора Az = [ζ]в- Для базиса Фурье ситуация не кажется чем-то отличающейся от общего случая: мы имеем ζ = [z]f = Wnz, где Wn есть матрица в формуле (2.18). Поэтому прямое вычисление ζ требует Ν2 комплексных умножений. Чтобы быть более точными, мы должны также сосчитать и число сложений. Однако, так как умножение — это значительно более медленная операция на компьютере, чем сложение, мы будем иметь хорошее представление о скорости вычисления, рассматривая именно число требуемых комплексных умножений. Когда мы говорим комплексное умножение, мы имеем в виду умножение двух комплексных чисел. Это должно потребовать четырех вещественных умножений, но если использовать «трюк» из упр. 2.3.1, это требует только трех вещественных умножений. При обработке сигналов и изображений рассматриваемые векторы могут быть очень большими. Например, для сохранения всей нужной информации телевизионного сигнала требуется хранение около 10000000 значений (пикселей) в секунду (Проакис и Манолакис, 1996, стр. 29-30). Поэтому сигнал, выбранный в течение одной секунды, есть вектор длины 10000000. Изображение отпечатков пальцев (см. пролог) в цифровом виде представляется разбиением каждого квадратного дюйма изображения на решетку из 500 х 500 пикселей, каждый из которых задает значение шкалы яркости (почернения). Такие значения являются компонентами большого вектора. Для видеоизображения нужно иметь 20-30 векторов примерно такого же размера каждую секунду. Вычисление DFT от таких векторов в режиме реального времени выходит за рамки возможностей аппаратных средств. Поэтому необходимы быстрые алгоритмы. Мы начнем с простейшего варианта FFT, в котором длина вектора N предполагается четной. Этот случай демонстрирует главную идею, лежащую в основе FFT. Лемма 2.37. Предположим, что Μ € N и N = 2М. Пусть ζ € £2(Ζν). Определим %v Ε £2(Ъм) равенствами u(k) = z(2k) для k = 0,1,..., Μ - 1 и v(k) = z{2k +1) для k = 0,1,..., Μ - 1.
158 Глава 2. Дискретное преобразование Фурье Другими словами, и = (z(0), *(2),*(4),..., z(JV - 4), z(N - 2)) t; = (z(l), z(3), z(5),..., z(JV - 3), z(JV - 1)). Пусть ζ означает DFT вектора ζ, определенное в N точках, т. е. ζ = Wnz. Пусть и и ν означают DFT, соответственно, и и υ, определенные в Μ = Ν/2 точках, т. е. й = Wm^ ti v = Wmv. Тогда для га = 0,1,..., М- 1 £(га) = U(ra) + e-27riw/Ni(m). (2.48) Так же для πι = Μ, Μ + 1,Μ + 2,..., TV — 1 пусть I = га —М. Заметим, что соответствующие значения I — это / = О,1,..., Μ — 1. Тогда S(m) = £(J + Μ) = u(i) - e~27ril/Nv{l). (2.49) Доказательство. Для любого га = 0, l,...,JV-l JV-1 z(m) = Σ z(n)e-27rimn/N n=0 по определению. Сумма по η = 0,1,..., N — 1 может быть разбита на сумму по четным значениям η = 2k, k = 0,1,..., Μ — 1 и сумму по нечетным значениям η = 2к + 1 для fc = 0,1,..., Μ — 1: М-1 М-1 5(то) = Σ z{2k)e-2^i2km'N + ^ z(2k + l)e-2^2k+^m'N = fc=0 fc=0 M-l M-l = V" u(k)e~2nikm^N/2) + e-27rim/N V v(k)e~27rihn^N/2) = fc=0 fc=0 M-l M-l = Σ u(k)e-27rihn/M +e~27rirn/N Σ v(k)e-2nikm/M. В случае га = 0,1,..., Μ — 1 последнее выражение есть u(ra)+e"27rim/N xt)(ro), т.е. мы получили формулу (2.48). Предположим, что га = Μ, Μ + 1,..., Ν — 1. Записывая теперь га = / + М, как в утверждении теоремы, и подставляя это значение m в последнее выражение для £(га), мы получим М-1 М-1 z(m) = ]Г n(fc)e-27ri^+M)/M + е-2^+м)/лг £ у{к)е-2шк«+м)/м = fc=0 fc=0 М-1 М-1 = J] и(А0е"27гШ/М - e~2*il/N ]Г г,(А0е"27гШ/м, fc=0 fc=0
2.3. Быстрое преобразование Фурье 159 так как экспоненты е 2шк1/м периодичны с периодом Μ и е 2шМ/м = = е~ш = — 1 для JV = 2М. Это приводит к равенству (2.49). ■ Пример 2.38. Пусть ζ = (1,1,1, г, 1, —1,1, —г). Найти 5. Решение. Следуя лемме 2.37, мы получаем и = (1,1,1,1) и ν = (1, г, -1, -г). Заметим, что u = 4i<b и г; = 4i*\ (следует из примера 2.4 и из того факта, что Fm = N~l/2Em). Следовательно, из упр. 2.3.3 (или с помощью прямого вычисления, используя выражения (2.19) и (2.21)) ϋ = (4,0,0,0) и ν = (0,4,0,0). Итак, из равенства (2.48) имеем: 5(0) = й(0) + 10(0) =4 + 0 = 4, 5(1) = й(1) + e-2nil/sv(l) = 0 + 4е"™/4 = 2\/2 - 2\/2 г, 5(2) = й{2) + e~27ri2/sv(2) =0 + 0 = 0 и f(3) = fi(3) + e"27ri3/8i(3) =0 + 0 = 0. А из равенства (2.49) мы получаем 5(4) = й(0) - 1г)(0) =4-0 = 4, 5(5) = й{1) - е"27ГЙ/8г)(1) = 0 - 4е"^/4 = -2\/2 + 2л/2 г, 5(6) = й(2) - e-2ni2/sv(2) =0-0 = 0 5(7) = й(3) - е"27Г*3/8г)(3) = 0-0 = 0. Следовательно, 5 = (4,2л/2 - 2\/2 г, 0,0,4, -2л/2 + л/2 г, 0,0). ■ Главный шаг в этой процедуре начинается со значений й(т) и v(m) и дает 5(га) и 5(т + М) в соответствии с диаграммой на рис. 10, называемой бабочкой. Это вычисление играет настолько значительную роль, что компьютерные аппаратные средства часто оцениваются тем, сколько бабочек может быть вычислено за одну секунду. Заметим, что одни и те же значения используются в равенствах (2.48) и (2.49), а именно й(1) и v(l) для 0 ^ Ι ^ Μ — 1. Чтобы применить формулы (2.48) и (2.49), мы сначала вычисляем й и v. Так как каждая из этих величин есть вектор длины Μ = Ν/2, то он может быть непосредственно вычислен за М2 комплексных умножений. Мы
160 Глава 2. Дискретное преобразование Фурье z(m) = * =u(m)+e-2wim/NS(m) z(ra+M) = * =u(m)-e~27rim/7Vt)(m) также вычисляем произведения e~2™m/Nv{m) для m = 0,1,..., Μ — 1. Это требует дополнительно Μ умножений. Остальное выполняется с использованием только сложения и вычитания полученных величин, это мы не принимаем в расчет. Итак, общее число комплексных умножений, требуемых для вычисления ζ с помощью формул (2.48) и (2.49), равняется самое большее 2M2 + M = 2(f)2 + f = \(N* + N). Для больших N главный член этого выражения есть ЛГ2/2, в то время как число комплексных умножений, требуемых для прямого вычисления ζ, есть N2. Итак, лемма 2.37 уже сокращает почти в два раза затраченное время вычислений. Мы можем пойти дальше, если N делится на 4 вместо 2. Так как и и υ также имеют четное число компонент, мы можем применить тот же метод для сокращения времени, требуемого для вычисления й и v. Если N делится на 8, мы можем продолжить эту процедуру еще на один шаг, и так далее. Наиболее общий способ описания этой процедуры состоит в определении для любого положительного целого N значения #N — наименьшего числа комплексных умножений, требуемых для вычисления DFT вектора длины N. Если N = 2М, то равенства (2.48) и (2.49) сводят вычисление ζ к вычислению двух DFT размера Μ плюс Μ дополнительных комплексных умножений. Следовательно, #iV<2#M + M. (2.50) Наиболее предпочтительный случай — это когда N есть степень числа 2. Лемма 2.39. Пусть N = 2П для некоторого η G N. Тогда #;v^iVlog2JV. Доказательство. Доказательство проводится индукцией по п. Когда η = 1, вектор длины 21 имеет вид ζ = (a,b). Тогда по определению й(т) v(m) + χ ρ—2πίπι/Ν χ(-1) + Рис. 10
2.3. Быстрое преобразование Фурье 161 (см. равенства (2.19) и (2.20)) ζ = (α + Ь, a — Ь). Заметим, что это вычисление не требует комплексных умножений, поэтому #2 = 0 < 1 = (21og2 2)/2. Итак, в этом случае утверждение справедливо. По индукции предположим, что оно справедливо для η = к — 1. Тогда для η = к мы имеем из формулы (2.50) и индукционной гипотезы, что #2* < 2#2fc-i + 2*"1 ^ 212к~\к - 1) + 2*"1 = = fc2fc-1 = ±fc2* = ±JVlog2JV. Это завершает шаг индукции и, следовательно, устанавливает справедливость утверждения. ■ В качестве примера заметим, что для вектора длины 262144 = 218, FFT сокращает число комплексных умножений, необходимых для вычисления DFT с 6.87 χ 1010 до 2359296, делая вычисление более чем в 29000 раз быстрее! Поэтому если для прямого вычисления DFT требуется 8 часов, то с помощью FFT на это будет истрачено около 1 секунды. Это отношение все более возрастает с ростом N до такой степени, что некоторые вычисления, которые могут быть выполнены FFT за разумные интервалы времени, не могут быть непосредственно выполнены за всю человеческую жизнь. Эта коренная разница в скорости является главным в современной цифровой обработке сигналов. Что, если N не есть четное число? Если N есть простое число, метод FFT не применим. Однако если N — составное число, например N = pq, то можно использовать обобщение леммы 2.37. Лемма 2.40. Предположим, nmop,q € N и N =pq. Пусть ζ 6 £2(Ζν). Определим wq, wi, ..., wp-\ E £2(Zq) равенствами wt(k) = z(kp + £) для к = 0,1,... ,</ — 1. Для 6 = 0,1,...,</ — 1 определим Уь € ί2(Ζρ) равенствами vb{l) = e-2"ibl'Nwi{b) для ί = 0,1,...,ρ-1. Тогда для α = 0,1,... ,р— 1 и 6 = 0,1,... ,д — 1 z(aq + b) = vb(a). (2.51) Заметим, что, согласно алгоритму делимости, каждое т = 0,1,..., JV — 1 имеет вид aq + Ь для некоторых а € {0,1,... ,р — 1} и Ъ G {0,1,..., q — 1}, m. е. формула (2.51) дает полное DFT вектора ζ.
162 Глава 2. Дискретное преобразование Фурье Доказательство. Мы можем записать каждое η = О,Ι,.,.,ΛΓ — 1 единственным образом в виде кр + £ для некоторого к 6 {0,1,..., q — 1} и 2 € {0,1,... ,р — 1}. Следовательно, z(aq + Ь)= Σ z(n)e-2™^+bWN= £ £ z(kp + 1)е-2™^+ъ)^)/Ы). n=0 1=0 к=0 Заметим, что —2ni(aq+b)(kp+l)/(pq) ___ —2mak—2nial/pp—2nibk/q—2mbl/(pq) Так как е-27гга* = 1 и pg = JV, то, используя определение ti^(fc), получаем Z(aq + b) = ^6-2πίαί/Ρβ-2πί6^^^(Α.)6-2πί6^ = 1=0 k=0 ρ—Ι ρ—I = Σ е-2™1/ре-27гШ/Мщ(Ь) = Σ e"27riaZ/*4(/) = ί6(α). ■ ί=0 /=0 Это доказательство демонстрирует главное свойство FFT. При вычислении z(aq+b) одни и те же значения vt(l), 0 ^ I ^ р—1 используются для всех а. Алгоритм FFT учитывает это свойство и вычисляет эти значения только один раз. Прямое вычисление ζ неявно осуществляет повторное вычисление этих промежуточных значений каждый раз, как они появляются. Рассмотрим число умножений, требуемое для алгоритма в лемме 2.40. Сначала мы вычисляем векторы щ для ί = 0,1,... ,р — Ι. Каждый из них есть вектор длины q, поэтому вычисление каждого щ требует #q комплексных умножений, т. е. этот шаг требует всего рфч комплексных умножений. Следующий шаг состоит в умножении каждого щ(Ь) на е~2шЫ/м, чтобы получить векторы ι;&(ί). Это требует всего ρ q комплексных умножений: одно умножение на q значений Ъ и ρ значений I. В конце мы вычисляем векторы щ для Ь = 0,1,... ,д — 1. Каждый Уь есть вектор длины р, поэтому каждый из q векторов щ требует #р комплексных умножений; всего это составит q#p комплексных умножений. Складывая все вместе, мы получаем оценку числа умножений, требуемых для вычисления DFT размера N = pq, а именно, #pq^P#q + q#P+pq- (2.52) Эта оценка может быть индуктивно использована с тем, чтобы получить различные оценки времени, требуемого для вычисления FFT (см. упр. 2.3.7 и 2.3.8). Преимущество от использования FFT тем
2.3. Быстрое преобразование Фурье 163 больше, чем более составной характер (разбивается на большее число простых сомножителей) числа N. Во многих приложениях мы можем разбить поток данных на сегменты произвольной длины. В этом случае мы обычно берем N равным степени числа 2, и поэтому можем применить лемму 2.39. Если мы не можем выбрать вектора нужной длины, иногда его можно наполнить некоторым количеством нулей в конце с тем, чтобы вектор был достаточно составным. Хотя неравенства (2.50) и (2.52) могут быть использованы для оценки полного числа комплексных умножений, необходимых для вычисления ζ, они не показывают, как организовать все вычисление. Леммы 2.37 и 2.40 показывают, как выполнить каждый шаг, но не дают представления о том, как организовать итерационный процесс. Мы еще раз обсудим алгоритм FFT, чтобы показать, как могут быть выполнены все вычисления. Для простоты сузим процесс до случая, когда N есть степень числа 2, т. е. N = 2П. Тогда мы можем разложить любое га € {0,1,..., N — 1} по степеням 2 в виде га = гао + 2rai + 22га2 + ... + 2n_1ran_i, где гао, rai,..., ran_i 6 {0; 1}. Пусть ζ 6 ^2(Ζ#), обозначим z(m) = 2(ran_i, ran-2,..., mb ra0). Тогда для любого к = ко + 2к\ + 22&2 + · · · + 2n_1fcn_i, где fco, &ъ · · ·» fcn-i £ {0; 1}, получим ΛΓ-1 z(k) = Σ z(m)e-2nikm/N = га=0 1 1 1 = ]Γ ]P ... ]Г z(ran_i,ran_2,...,rai,ra0)x mo=Omi=0 mn_i=0 '-2тгг(А;о + 2fci + ... + 2η_1Α;η_ι)(7Πο + 2mi + ... + 2n_1m, x exp I 2n где exp(i) означает е*. Имеем '-27ri(fco+2fci+... +2n-1fcn-i)(mo+2mi+... +2n-1mn_i) =«*), exp 2n / -27rc(fco + 2fci + . ·. + 2Λ~1Α;Λ-ι)2"-1?ηΛ-ι \ - exp ^ ψ J x / -2^(fcp + 2fci + ■ ■ · + 2n-1kn.1)2m1 \ w χ βχρ ι ™ j x )= χ exp 2n '-27rt(fco + 2fci +... + 2n-xfcn-i)iTio 2" )
164 Глава 2. Дискретное преобразование Фурье В каждой экспоненте можно удалить все произведения в числителе, которые равны произведению целого числа на 2πί2η, так как после деления на 2П аргумент есть целое число, умноженное на 2π. Поэтому ( -2ni(ko+2ki+... +2n-1fcn-i)(m0+2mi+... +2n"1mn-i) ^ _ βΧρ V 2» ) ~ _ (-2mkQ2n-lmn-i\ ( -2m(kp + 2ki)2n~2mn-2 \ "exp V ¥ )exp V ¥ )x f-2m(ko + 2fci + 22к2)2п-3тп-з\ v x exp ^ — j χ ... f-2m(kp + 2fci + 22fc2 + ■ ■ ■ + y^-Qmo^ X exp V 2s / ' Подстановка этого выражения в предыдущее равенство дает 1 1 1 *(fc)= Σ Σ'" Σ ^n-b...,mi,m0)x mo=Omi=0 mn_i=0 xexp(-2"fco22n;lw-1) xexp(-2^ + 22y2"-2mn-2^ χ xexp(-2"(fco + 2fcl+2n- + 2n"lfc"-l)m°). (2.53) Заметим, что внутренняя сумма зависит от внешних переменных суммирования mo, mi,..., тп_2 и fco, но не от fci,..., fcn_i. Поэтому определим 2/1 (&(Ь mn_2, mn_3,..., m0) = ι = ]Ρ ζ(πιη-ι,mn_2,...,mi, m0) βχρ(-2πίΑ:ο2η"^η-ι/2η) = ran-i=0 = z(0,mn_2,..., mi,m0) · 1 + г(1, mn_2,...,mbm0) exp (—^ J . Вычисление у ι (ко, mn_2, mns,..., mo) требует только одного комплексного умножения для каждого из 2П значений fco,ran_2jWin-3>·· ·> ^о € {0,1}, т. е. всего 2П комплексных умножений для вычисления всех 2П возможных значений у\. На следующем шаге определим 2/2(^0, fci,mn_3,..., mo) = Σ/, ч f-2ni(k0 + 2λ!)2η-2?ηη_2\ yi(fc0,mn_2,mn_3,... ,m0)exp (^ * ^T ) · mn_2=0 Требуется также одно комплексное умножение для вычисления каждого из этих значений и, следовательно, всего 2П умножений для вычисления всех возможных значений $/2- Мы продолжим далее таким же образом, каждый раз заменяя оставшееся m с наибольшим индексом переменной к со следующим индексом. Поэтому вычислительная схема состоит
2.3. Быстрое преобразование Фурье 165 в выполнении последовательности преобразований ^К-1,%-2, · · · , ΤΠι,πίο) -> 2/l(fc(), mn-2, ™>n-3, . . . , ™θ), yi(fc0, mn_2, mn_3,..., m0) -* 2/2(^0, &ъ ™n-3> · · ·, ^0), 2/n-l(&(b fel, fe, · · · , K-2, ™θ) -* 2/η(&0, fcl, *&, · · · , &n-2, fcn-l)· Как следует из формулы (2.53), конечный вектор уп(&(Ь &ъ &2> · · ·> &п-2> fcn_i) есть z(k). На каждом шаге мы вычисляем следующий вектор yj для всех 2П возможных значений его переменных. Поэтому каждый шаг требует, самое большее, 2П комплексных умножений, и так как всего имеется η шагов, то полное число комплексных умножений п2п = N log2 N. (По лемме 2.39 это число в 2 раза превосходит минимальное число умножений. Упражнение 2.3.9 объясняет это различие в оценках.) Заметим, что как только вектор yj вычислен, yj-\ больше не нужен и может быть забыт. Поэтому вычисление может быть выполнено «на том же месте», т. е. на каждом этапе предыдущие данные могут быть заменены новыми данными. Это приводит к уменьшению объема памяти, необходимой для выполнения вычислений. Существует много вариантов алгоритма FFT, иногда приводящих к незначительному улучшению основного алгоритма, приведенного выше. Но основной момент состоит в том, что DFT вектора длины N = 2П может быть вычислен не более чем за n2n_1 = (N/2)log2N комплексных умножений в противоположность N2 = 22п умножений прямого алгоритма. Что можно сказать об обращении DFT, преобразовании IDFT? Как следует из равенства (2.30), w(n) = —w(N-n), поэтому алгоритм FFT может быть также использован для быстрого вычисления IDFT самое большее за (ЛГ/2) log2 N комплексных умножений, если N есть степень числа 2. (Мы не считаем деление на JV, потому что деление на целое число — относительно быстрая операция.) Так как DFT и IDFT могут быть вычислены быстро, то из этого следует, что мы также можем быстро вычислить свертку. А именно, мы можем записать z*w = (zwY (применяя обратное преобразование к результату леммы 2.30). Если z,w € £2(Zn), то для числа JV, равного степени двойки, потребуется самое большее N log2 N умножений для вычисления zVlw,N умножений для вычисления zw (покомпонентного произведения этих векторов)
166 Глава 2. Дискретное преобразование Фурье и самое большее (N/2) log2 N умножений для вычисления IDFT от zw. Поэтому всего потребуется не больше чем N + (3JV/2) log2 N умножений для вычисления свертки ζ * w. В разд. 2.2 мы видели, что любое линейное преобразование в пространстве £2(Zn), инвариантное относительно сдвига, может быть записано как оператор свертки. По теореме 2.19 это преобразование включает в себя операцию умножения циркулянтной матрицы на вектор. Таким образом, умножение циркулянтной матрицы размера Ν χ Ν на вектор длины N может быть вычислено с использованием FFT, самое большее за N + (3JV/2) log2 N умножений вместо обычных ΛΓ2 умножений. Другими словами, когда Г есть линейное преобразование, инвариантное относительно сдвига, DFT не только диагонализует Г, оно также дает (через FFT) быстрый практический способ вычисления Г. Упражнения 2.3.1. Заметим, что (а + ib)(c + id) = (a-b)d+(c-d)a + [(a-b)d+(c + d) b] i. Это значит, что для вычисления произведения двух комплексных чисел нам требуется вычислить только 3 вещественных произведения, а именно (а — b) d, (с — d) a и (с + d) b. 2.3.2. Пусть η = (1,3),г; = (0,4) и ζ = (1,0,3,4). 1) Вычислить йи v. 2) С использованием п. 1 и равенств (2.48) и (2.49) вычислить ζ. 3) Непосредственно вычислить ζ и сравнить ответ с вашим ответом для п. 2. 4) Пусть w = (0,1,4,3). Использовать равенства (2.48) и (2.49) для вычисления г&. 2.3.3. Пусть {βο,βι,... ,ε^ν-ι}—евклидов базис в £2(Ζν), и пусть {Fo,Fi,..., Fn-i} есть базис Фурье. 1) Показать, что em(k) = e~2mmk/N для всех к. Заметьте, что ёт (с точностью до отражения и нормировки) — элемент базиса Фурье. 2) Показать, что Fm = em. 2.3.4. Пусть w = (1,0,1,0,1,0,1,0). Вычислить w. Подсказка: рассмотрите ζ = (1,1,1,1). 2.3.5. Пусть u = (l,i, —1,—i),v = (1,-1,1,-1) и ζ = (1,1,г,-1,-1,1, -Ч -1). 1) Вычислить й и v. Подсказка: использовать упр. 2.3.3.
Упражнения 167 2) Вычислить ζ. 2.3.6. Предположим, что u = (a,b,c,d), υ = (α,β,%δ) и ζ = (α, α, 6, /?, с, 7> d,£). Если й = (2, i, -1,0) и δ = (3, -2,0,4t), найти 5. 2.3.7. Предположим, что ρ есть простое число и N = рп для некоторого положительного целого п. Доказать, что #pn^npn+2=p2N\ogpN. Подсказка: использовать индукцию и применить неравенство (2.52) с q = рп при переходе от η κ η + 1. 2.3.8. Предположим, что N = р™гр™2р™3.. .р™п для некоторых положительных целых чисел ρι,Ρ2> · · · >Рп и тъm2> · · · ? mn. Доказать, что существуют константы C(pi,p2> · · · >Рт)> зависящие от РъР2> · · · >Рп> но не зависящие от mi, тг,..., mn такие, что #лг ^ C(pi,p2, · · · ,Pm)Nlog2 Ν. Подсказка: напомним, что logb(x) = loga(x)/loga(6); используйте упр. 2.3.7, неравенство (2.52) и индукцию по п. 2.3.9. Показать, что число комплексных умножений, требуемое для вычисления выражения (2.53), не превосходит (ЛГ/2) log2 N. Подсказка: в общем случае при выполнении шага от yj к j/j+i мы должны вычислить I/j+i(*u» · · ·»kj,mn-j-2,..., m0) = ι = z2 2/j(^oJ-.-,fcj_i,mn_J_i,...,mo)x mn-j-i=0 X exp ^ ^ J · Очевидно, что это требует одного умножения (только одного потому, что нет умножений при mn_j_i = 0) для каждого возможного значения &о, · · ·, kj и mn_j_2,..., mo- Выделите член e-2m2Jkj2n-i-1mn-j-i/2n и покажите, что он всегда +1 или —1. Поэтому на два значения kj требуется одно умножение. 2.3.10. (Вычисление числа операций для двумерного DFT.) Пусть ζ € £2(Ζνι χ %ν2) (определено в упр. 2.1.15). Прямое вычисление двумерного DFT i(mi,m2) (определенного в упр. 2.1.17),
168 Глава 2. Дискретное преобразование Фурье кажется сначала требующим N\N2 комплексных умножений для каждого из N1N2 значений (mi,m2), что дает всего N2N2 комплексных умножений. Однако определим ЛГ2-1 »(П1,Ш2)= £ ζ(ηΐ,η2)β-2*™™/Ν\ П2=0 Тогда по определению JVi-l z(mum2) = Σ у{път2)е-2™т^1м\ ηι=0 1) Показать, что прямое вычисление всех значений у{п\,т2) требует ΝχΝ^ комплексных умножений, после чего прямое вычисление всех значений ζ{πΐι,πι2) требует Ν2Ν2 умножений. Итак, всё вычисление может быть выполнено за ΝχΝ2(Ν\ + Ν2) умножений. Замечание: причина этого преимущества состоит в том, что вычисление двумерного DFT состоит, по его определению, в вычислении одного преобразования размера Ν2 (внутренняя сумма) с последующей второй суммой размера Νχ. Любое вычисление, которое может быть разбито на суммирования меньшего размера, называется параллелизуемым. Как показывает формула (2.53), FFT в принципе возможно потому, что DFT параллелизуемо. 2) Предположим, что Νχ и Ν2 — степени числа 2. Используя FFT вместо прямого вычисления на каждом из двух этапов, отмеченных выше, показать, что ζ может быть вычислено самое большее за - iViJV2log2(iViiV2) комплексных умножений.
Глава 3 Вэйвлеты на множестве Ъ^ 3.1. Построение вэйвлетов на ZN: первый этап В этой главе мы продолжаем рассматривать дискретные сигналы ζ 6 £2(Ζν). В гл. 2 мы отметили два основных преимущества базиса Фурье F: 1) линейные преобразования, инвариантные относительно сдвига, диагонализуются базисом F и 2) координаты в базисе Фурье можно быстро вычислить с помощью FFT. Однако для многих целей при анализе сигналов и в других областях базис Фурье имеет серьезные недостатки. Многие из них проистекают из того факта, что элементы базиса Фурье не локализованы в пространстве. Это понимается в следующем смысле. Мы говорим, что вектор ζ € £2(Ζν) локализован в пространстве около по, если большинство компонент ζ(η) вектора ζ равны нулю или по крайней мере относительно малы всюду, за исключением нескольких значений п, близких к по. Элемент Fm базиса Фурье не локализован в пространстве, потому что его компоненты Fm(n) = — е2штп/м имеют одинаковую амплитуду (а именно 1/N) при всех η € Ζ#. Эта ситуация противоположна локализации: векторы базиса Фурье распределены настолько «равномерно», насколько это вообще возможно. Предположим, В = {νο,υχ,... ,vn-i} есть базис £2(Zn), такой что все его элементы локализованы в пространстве. Для вектора ζ мы можем записать жг , Ν—1 *= Y^anvn, (3.1) п=0 при некоторых αο,αχ,... ,адг-1· Предположим, мы хотим сосредоточиться на значении ζ около какой-нибудь точки по- Члены, включающие базисные векторы, которые равны 0 или пренебрежимо малы около по, могут быть удалены из формулы (3.1) без значительного изменения ζ в окрестности uq. Поэтому мы можем заменить всю сумму из N членов гораздо меньшей суммой, рассматривая только значения ζ около по. В более общем случае пространственно локализованный базис полезен, потому что он гарантирует локальный анализ сигнала: если какой- либо коэффициент в разложении ζ велик, то мы можем идентифицировать ту локальную область, с которой связан этот большой коэффи-
170 Глава 3. Вэйвлеты на множестве Ζ ν циент. Мы можем тогда, например, сосредоточиться на этой области и проанализировать ее более подробно. Одним из примеров, для которого это полезно, является обработка медицинского изображения, для того чтобы, например, внимательно рассмотреть возможную опухоль. Другой случай — это радарное или сонарное изображение при исследовании нефтеносных слоев для определения границы их нахождения или в археологии для локализации артефактов. Другой пример характерен для анализа видеоизображений. В настоящее время использование видеотелефонов не является широко распространенным, потому что высококачественные видеоизображения не могут быть переданы по телефонной линии за реальное время из-за того, что такая последовательность изображений превосходит возможность телефонной линии. Если видеоизображения можно представить меньшим количеством данных без серьезного ухудшения изображения, видеотелефоны могут стать широко распространенными. Соответствующее поле исследований, посвященных этой и аналогичным проблемам, называется сжатием данных. Наличие локализованных базисов может помочь сжатию изображений по следующим причинам. В случае телевизионных видеоизображений обычно каждый кадр лишь незначительно отличается от предыдущего: например, общий фон остается тем же самым, но, возможно, движется рука какого-то персонажа. Вместо того чтобы передавать весь новый кадр, может быть передана только разница между одним кадром и следующим. В локализованном базисе коэффициенты базисных векторов, которые сконцентрированы вне окрестности движущейся руки, не будут затронуты этим движением. Эти коэффициенты не будут значительно изменяться от одного кадра к другому и поэтому не требуют пересчета. Пересчет потребуется только для небольшого числа коэффициентов векторных базисов, локализованных около руки, и его можно выполнить с помощью относительно малого числа бит информации, что приводит к большому уровню сжатия. Это нельзя достичь, если для представления наших данных мы используем базис Фурье. Так как ЛГ-1 ζ(πι) = Σ z(n)e-2nimn/N, η=0 и e-2™mn/N имеет амплитуду, равную 1 при каждом п, изменение в z(n) для одного значения η может значительно изменить все значения z(m). Аналогично, локализованное в пространстве движение руки может существенно изменить все DFT-значения. Изменение изображения
3.1. Построение вэйвлетов на Zn'- первый этап 171 в базисе Фурье может требовать большого числа бит информации даже тогда, когда изображение меняется только локально. (Для примера видеоизображения можно рассмотреть двумерное DFT из упр. 2.1.17, принципы те же самые.) У нас есть один пример локализованного базиса, а именно стандартный, или евклидов, базис. Он локализован наилучшим возможным образом: каждый базисный вектор имеет только одну ненулевую компоненту. Однако нам хотелось бы также добиться преимуществ базиса Фурье, которые обсуждались в гл. 2, в частности, быстрого вычисления линейных преобразований, инвариантных относительно сдвига. Для этого нам хотелось бы, чтобы этот базис был частотно-локализованным. Под этим мы понимаем, что DFT наших базисных векторов были пренебрежимо малы всюду, за исключением некоторой области. Это значит, что базисные векторы должны состоять из очень малых групп частот. Заметим, что вектор стандартного базиса ет не локализован по частоте: из упр. 2.3.3(1) следует, что |em(fc)| = 1 для всех к. Векторы базиса Фурье отлично локализованы по частоте: в соответствии с упр. 2.3.3(2) Fm(ri) отлично от нуля только при одном п, а именно η = т. Так как базис Фурье, который отлично локализован по частоте, точно диагонализует линейные преобразования, инвариантные относительно сдвига, мы ожидаем, что базис, который локализован по частоте, будет в некотором смысле почти диагонализовать эти преобразования. Использование частотно-локализованных базисов позволяет нам также имитировать общую технику фильтрования. Например, может быть, что высокочастотные компоненты сигнала имеют очень маленькие коэффициенты, так что эти значения можно удалить без значительного изменения сигнала. Или может быть, что эти высокочастотные компоненты не воспринимаются человеческими органами чувств, и их удаление не влияет на восприятие изображения. (Это соответствует, например, случаю видеосигналов.) Это может быть даже тогда, когда эти высокочастотные составляющие определяются шумом, накладываемым на сигнал, так что сигнал становится более чистым, когда эти члены удаляются. При использовании частотно-локализованных разложений мы знаем, какие члены в нашем разложении нужно удалить, чтобы исключить высокочастотные компоненты сигнала. Если в результате сигнал удовлетворительно представляется уменьшенным числом бит информации, то мы достигли сжатия. Таким образом, наша конечная цель — это получить базис, элементы которого пространственно и частотно локализованы. Тогда коэффициенты разложения векторов в этом базисе будут давать пространственную и частотную информацию. Поэтому мы сможем осуществить
172 Глава 3. Вэйвлеты на множестве Ζ ν одновременно частотный и пространственный анализ такого вектора. Вэйвлеты дадут нам такой базис. Когда мы говорим об аудиосигнале, то в качестве переменной рассматриваем время (т. е. ζ(η) есть амплитуда сигнала в момент времени п). В то же время, когда мы говорим о двумерном видеоизображении, мы рассматриваем в качестве переменной координату двумерной точки (т.е. z(ni,ri2) есть потемнение изображения в точке (ni,ri2); см. упр. 2.1.15-2.1.18). В любом случае DFT-переменная — это частота (т. е. в одномерном случае z(m) есть коэффициент при частотной компоненте Fm в сумме для представления ζ). Поэтому мы можем говорить о частотно-временном анализе или о частотно-пространственном анализе, в зависимости от физического контекста; математический смысл остается одним и тем же. Мы также хотели бы, чтобы переход от стандартного базиса Ε к новому базису В вычислялся с помощью быстрого алгоритма, потому что в противном случае В будет бесполезен для аудио- и видеосигналов реального размера. Остановимся на вопросе о быстром вычислении. Мы можем вычислить быстро DFT с помощью FFT, но базис Фурье не является пространственно-локализованным. Однако мы отметили в разд. 2.3, что мы можем использовать FFT также для быстрого вычисления свертки с помощью формулы ζ * w = (zidy. Можем ли мы использовать эту формулу для быстрого изменения базиса? Чтобы ответить на этот вопрос, установим сначала соответствие между сверткой и скалярными произведениями. Определение 3.1. Для любого w € £2(%n) определим w € £2(I*n) равенством w(n) = w{—ri) = w(N — η) для всех п. (3.2) Мы называем w сопряженным отражением w. (Это будет для нас стандартным обозначением: с этого момента w, z и т. д. без комментариев предполагаются определенными формулой (3.2).) Из упр. 2.1.13 следует, что (wY(n) = Щп) (3.3) для всех п. Напомним определение циклического сдвига вектора ζ: (Rkz)(n) = z(n — к) (определение 2.12). Лемма 3.2. Пусть z,w 6 £2(Zn). Для любого к € Ζ справедливы равенства ζ * w(k) = {z, Rkw) (3.4)
3.1. Построение вэйвлетов на Zn- первый этап 173 и ζ * w(k) = (z, Rkw). (3.5) Доказательство. По определению JV-1 JV-l (ζ, Rkw) = 22 z(n)Rkw(n) = yj z(n)w(n — к) = n=0 n=0 JV-1 = Y^ z(n)fi;(fc — n) = г? * ^(fc) = 2 * w(fc) n=0 из коммутативности свертки (упр. 2.2.5). Это доказывает формулу (3.4). Тогда соотношение (3.5) следует заменой w на w в формуле (3.4) с учетом того, что w = w. Ш Можно ли использовать лемму 3.2 для получения базиса, который можно быстро вычислить? Предположим, что w € £2(Zn) таков, что В = {Rkw}k=o есть ортонормированный базис £2(Zn). Тогда коэффициенты разложения вектора ζ по базису В — это скалярные произведения (z,Rkw) (лемма 1.101(1)). Как следует из формулы (3.4), эти коэффициенты как раз являются компонентами вектора ζ * w, т. е. [ζ]β = z*w. При использовании FFT эта свертка может быть быстро вычислена. Итак, для ортонормированного базиса В, порожденного сдвигами единственного вектора w, переход от базиса Ε к базису В может быть быстро вычислен (Е — евклидов базис). Стандартный базис Е — это только очевидный пример ортонормированного базиса вида {Rk^}^=o- Замечательно, что в терминах DFT существует простое условие на w, которое характеризует все такие базисы. Лемма 3.3. Пусть w Ε £2(Ζν). Множество {Rk^}^=o есть ортонормированный базис в £2(Zn) тогда и только тогда, когда \w(n)\ = 1 для всех η 6 Zjv. Доказательство. Напомним функцию Дирака δ Ε £2(Ζν), определенную равенствами δ(η) = Г, если η = 0, δ(η) = 0, если п = 1,2,... ,Ν — 1. Из упр. 2.3.3 и того факта, что δ = ео (или простого вычисления), следует что δ(η) = 1 для всех п. Как следует из упр. 3.1.1(2), {RkW^Zo есть ортонормированный базис 12(Zn) тогда и только тогда, когда «ί1. Ιο, (w,Rkw) = !in и л о at л ι3'6) если к = 1,2,..., Ν — 1.
174 Глава 3. Вэйвлеты на множестве Zn Из формулы (3.4) получаем (w,Rkw) = w*w(k), поэтому соотношение (3.6) эквивалентно равенству w*w = δ. Применив преобразование Фурье, лемму 2.30 и формулу (3.3), получим, что это равенство эквивалентно тому, что 1 = 8(п) = (w * wY(n) = w(n)(wY(n) = w(n)w(n) = |w(n)|2 для всех п. ■ Иметь такое простое условие того, что базис В является ортонор- мированным, довольно неплохо. Однако утверждение леммы 3.3 носит с нашей точки зрения весьма разочаровывающий характер. Оно говорит, что мы не можем получить частотно-локализованный ортонормиро- ванный базис вида {RkW^Zoi так как w(n) будет иметь амплитуду, равную 1 для всех п. В соответствии с леммой 2.13 \(RkwY(n)\ = |w(n)|, и поэтому каждый элемент RkW обладает тем же свойством. Мы видим, что ситуация для любого ортонормированного базиса такого вида аналогична случаю базиса Евклида. Это наблюдение не настолько обескураживающее, как кажется, потому что из него следует, что незначительная модификация исходной идеи приводит к основополагающим результатам. Вместо того чтобы рассматривать один вектор w, полное множество сдвигов которого образует ортонормированный базис, мы рассмотрим два вектора unv такие, что множество их сдвигов на четные числа образует ортонормированный базис. Для этого результата мы должны сузить наше рассмотрение до четных значений N. Определение 3.4. Предположим, что N есть четное целое число, N = 2М для некоторого Μ 6 N. Ортонормированный базис £2(Ζν) для некоторых η, υ € £2(Ζν) называется вэйвлегп-базисом первого этапа £2(Ζν). Мы называем и и υ порождающими векторами вэйвлет-базиса первого этапа. Мы иногда также называем и отцовским вэйвлетом, а υ — материнским вэйвлетом. Наша цель состоит в определении того, когда пара и, υ порождает вэйвлет-базис первого этапа. В теореме 3.8 мы характеризуем такую пару векторов в терминах условий на й и v. Сначала мы построим некоторую основу для наших рассуждений. Лемма 3.5. Предположим, что Μ 6 Ν, Ν = 2М и ζ 6 £2(Ζν)· Определим ζ* € £2(Ζν) равенством ζ* (η) = (-1)ηζ(η) для всех п. (3.7)
3.1. Построение вэйвлетов на Ъ^: первый этап 175 (ζ*Υ(η) = ζ(η + Μ) для всех п. (3.8) Доказательство. По определению Ν-1 ΛΓ-1 (ζ*Υ(η) = Σ z*(k)e-2nihn/N = Y^{-l)kz{k)e-2*ikn'N = A;=Q fc=0 JV-1 JV-1 = J] г{к)е-™ке-2™ы'м= Σ z{k)e-2«ik(n+MVN k=0 Ar=0 =z(n + M). Ш Заметим, что для любого ζ 6 £2(%ν) с четным N / *\, \ , ч/„ / ^«\ {2ζ(η), если η четное, /л лЧ (г + **)(п) = *(*)(! + (-1Г) Η η (3.9) tO, если п нечетное. По формуле (3.9) мы можем судить о полезности вектора ζ*: он дает возможность сузить данные до четных значений п. Это проявляется в доказательстве леммы 3.6. Лемма 3.6. Предположим, что Μ 6 Ν, Ν = 2М и w € ^2(Ζ#). Тогда {^fcw}^!"^1 есгаъ ортонормированное множество из Μ элементов тогда и только тогда, когда \w(n)\2 + \w(n + M)\2 = 2 при п = 0,1,...,М-1. (3.10) Доказательство. Из формулы (3.4) и упр. 3.1.1(3) следует, что {R2kw}k=<^ есть ортонормированное множество из Μ элементов тогда и только тогда, когда если к = 0, если к = 1,2,..., Μ — 1. В соответствии с равенством (3.9) / ~ / ~^*^, ч (2w*w(n), если η четное, /л „лЧ (w*w + (w*w)*){n) = < v " ' (3.12) (Д если η нечетное. Следовательно, для четных п, т. е. η = 2fc, равенство (3.11) справедливо тогда и только тогда, когда {w*w + {w*w)*)(2k) = 2w * w(2fc) = \ ' еСЛИ " ' (0, если fc = 1,2,... , Μ — 1. Для нечетных значений η в соответствии с формулой (3.12) компонента (w*w+(w*w)*)(n) автоматически равна нулю. Поэтому равенство (3.11) справедливо тогда и только тогда, когда w*w + (w* w)* = 2δ. „.«Μ-^ι^-β - :-?„ ., . ,,π,
176 Глава 3. Вэйвлеты на множестве Ζ ν Так как δ(η) = 1 для всех п, то формула преобразования Фурье показывает, что соотношение (3.11) выполняется тогда и только тогда, когда (w*wy{n) + ((w*w)*Y(n) = 2 для n = 0,l,...,JV- 1. (3.13) С учетом леммы 2.30 и равенства (3.3) (w * wY(n) = w(n)(wY(n) = w(n)w(n) = |й;(п)|2. Используя это равенство и равенство (3.8), получаем ((w * w)*Y(n) = (w * гй)Л(п + Μ) = |w(n + M)|2. Подставляя два последних тождества в формулу (3.13), мы видим, что ее левая часть равняется \w(n)\2+\w(n+M)\2. Заметим, что это выражение периодично с периодом М: \w(n + М)\2 + \w(n + M + М)\2 = \w(n + М)\2 + \w(n)\2, потому что w имеет период N = 2М. Следовательно, |г5(гг)|2 + + \w(n + М)\2 равняется 2 для η = 0,1,...,М — 1 тогда и только тогда, когда оно всегда 2. Поэтому равенство (3.10) эквивалентно соотношению (3.13), которое, как мы заметили, эквивалентно (3.11) и, следовательно, ортонормированности {/fcfcw}^1. ■ Слова «множество из Μ элементов» в формулировке леммы 3.6 приведены для гарантии того, что элементы /?2fcW различны для к = 0,1,..., Μ — 1. Например, если w = JV-1/2(1,1,..., 1), то формально множество {R2kw}k^ol ортонормировано, так как оно состоит из одного элемента. Заметим, что лемма 3.6 имеет другое доказательство, основанное на равенстве Парсеваля и обратном преобразовании Фурье (упр. 3.1.1(5)). Определение 3.7. Предположим, что Μ 6 Ν, JV = 2М, %υ € £2(Ζν). Для η € Ζ определим А(п) — систему матриц из и и υ, равенством Г й(п) ν(η) [й(п + Μ) ν(η + Μ)\ Теперь мы можем характеризовать ортонормированные базисы, порожденные четными целочисленными сдвигами двух векторов. Теорема 3.8. Предположим, Μ 6 Ν,Ν = 2М. Пусть u,v E £2(Zn)· Т°гда В = {R2kv}^ U {R2ku}^ = = {*>> #2^> R4V, . . . , Rn-2V, U, R,2U, R4U, . . . , R]y-2U} есть ортонормированный базис £2(Zn) тогда и только тогда, когда система матриц А(п) из и и υ унитарная для каоюдого η = 0,1,..., Μ—1. Μη) = -L (3.14)
3.1. Построение вэйвлетов на Ъ^: первый этап 177 Эквивалентно, В есть вэйвлет-базис первого этапа пространства £2(Zn) тогда и только тогда, когда \й(п)\2 + \й(п + М)\2 = 2, (3.15) \v(n)\2 + \v(n + M)\2 = 2 (3.16) и u(n)v(n) + й(п + M)v(n + Μ) = О (3.17) для всех η = 0,1,..., Μ — 1. Доказательство. Напомним (лемма 1.105), что матрица размером 2x2 унитарна тогда и только тогда, когда ее столбцы образуют ор- тонормированный базис в С2. Из леммы 3.6 следует, что множество {R2ku}kJ^1 ортонормировано тогда и только тогда, когда выполняется равенство (3.15). Это значит, что первый столбец матрицы А(п) имеет длину, равную 1, для каждого η = 0,1,.,.,Μ— 1. Аналогично, множество {R2kv}kJ^ ортонормировано тогда и только тогда, когда выполняется равенство (3.16); это значит, что второй столбец матрицы А(п) имеет длину, равную 1, для η = 0,1,...,М — 1. Далее, утверждается, что (И2кЩ R2jv) = 0 для всех j, к = 0,1,..., Μ — 1 (3.18) тогда и только тогда, когда выполняется равенство (3.17). Заметим, что соотношение (3.17) означает, что столбцы матрицы А(п) ортогональны. Из предположения справедливости этого утверждения моментально следует, что В есть ортонормированное множество, следовательно, ортонормированный базис £2(Ζν) (потому что оно имеет N элементов), тогда и только тогда, когда матрица А(п) унитарна для каждого η = 0,1,..., Μ — 1. Чтобы доказать эквивалентность равенств (3.17) и (3.18), сначала заметим, что соотношение (3.18) эквивалентно равенствам и * v(2k) = (и, R,2kv) = 0 для всех к = 0,1,..., Μ — 1, что следует из формулы (3.4) и упр. 3.1.1(4). Соотношение (3.9) для ζ = и * ν эквивалентно равенству и * ν + (и * ϋ)* = 0, потому что значения при нечетных индексах автоматически равны 0. С учетом DFT и IDFT это эквивалентно равенству (и * ϋ)Λ+ ((и * #)*)л= 0. Из леммы 2.30 и соотношения (3.3) мы имеем (и * vY(n) = u{n)v{ri).
178 Глава 3. Вэйвлеты на множестве Zn Поэтому из формулы (3.8) следует ((и * ϋ)*Υ(η) = й(п + Μ)ν(η + Μ). Заметим, что левая часть равенства (3.17) периодична с периодом М, следовательно, она равна нулю для η = О,1,..., Μ — 1 тогда и только тогда, когда она ноль при всех п. Поэтому равенства (3.18) и (3.17) эквивалентны. ■ Существует обобщение теоремы 3.8 на случай / функций (упр. 3.1.11), которое включает лемму 3.3 как частный случай при I = 1. В общем случае показать непосредственно, что {i^u}^1 U U {R2k^}k=(^ есть ортонормированный базис £2(Zn), не очень легко (хотя один случай, для которого это возможно, — это дискретный базис Хаара, определенный в упр. 3.1.2). Однако нетрудно построить и и ϋ такие, что матрицы А(п) унитарны для всех η = 0,1,..., Μ — 1. По теореме 3.8, как только это сделано, мы можем вычислить IDFT (обратное дискретное преобразование Фурье) от й и ν и получить пример вэйвлет- базиса первого этапа. Перед тем как построить пример, сравним условия леммы 3.3 и теоремы 3.8. В лемме 3.3 на |w(n)|2 наложено условие равенства единице при каждом п. В теореме 3.8 единственное ограничение на |й(п)|2 и \й(п + М)\2 состоит в том, что их среднее равно 1. Например, это позволяет взять |й(п)|2 = 2 и \й(п + М)\2 = О для некоторого п. Тогда равенство (3.17) приводит к соотношению ν(η) = 0, которое вследствие равенства (3.16) дает \ν(η+Μ)\2 = 2. В этом случае компонента ν(η) при JV-1 Fn в разложении υ = Σ #(η)^η есть нуль; таким образом, υ не имеет п=0 компоненты в направлении Fn. Это позволяет нам, например, выделить и, содержащий низкочастотные компоненты, и вектор υ, содержащий только высокочастотные компоненты (см. ниже пример 3.10). Мы замечаем, что когда высокие и низкие частоты разбиты на некоторые диапазоны, порождающиеся векторами вэйвлет-базиса первого этапа, стандартное обозначение состоит в том, что и — это вектор, содержащий низкие частоты (низкочастотный фильтр), а г; —вектор, содержащий высокие частоты (высокочастотный фильтр). По соглашению базис В в теореме 3.8 упорядочен, начиная со сдвигов вектора г;,—для выполнения итерационных шагов в разд. 3.2. Это демонстрирует обоснованность терминов «материнский вэй- влет» и «отцовский вэйвлет». Преимущество вэйвлет-базисов первого этапа, порожденных двумя родителями, по сравнению с базисами, порожденными одним родителем, как в лемме 3.3, состоит (как и в биологии) в том, что приводит к большему разнообразию в результатах.
3.1. Построение вэйвлетов на Zn : первый этап 179 Пример 3.9. Пусть и = (>/2,1,0,1) и ν = (0,1, л/2, -1). Тогда А(0) = л/2 А(1) = [л/2 о" О л/2 = / V2 1 1 1 -1 Ясно, что матрицы А(0) и А(1) унитарны. По теореме 3.8 система {v,R2V,u,jR,2u} есть ортонормированный базис ^2(Z4). Проделывая вычисления, аналогичные проведенным в примере 2.11, получим и = (йу= W^u = i (2 + л/2, л/2, -2 + \/2, л/2), Отсюда v = 1 (л/2, -л/2 + 2г, л/2, -л/2 - 2г). R2u = i (-2 + л/2, л/2,2 + л/2, л/2), Д2г, = I (л/2, -л/2 - 2г, л/2, -л/2 + 2г). Можно прямо проверить ортонормированность множества {u,R2%v,R2v}. Далее мы рассмотрим пример, общий для всех N и предназначенный для разбиения на высокие и низкие частоты. Напомним, что высокие частоты —это векторы Fm в базисе Фурье с номерами га в середине множества 0,1,... ,ЛГ — 1, в то время как низкие частоты —это Fm с номерами га около 0 или N — 1. Пример 3.10 (базис Шеннона первого этапа). Предположим, N делится на 4. Определим й, ν € £2(Ζν): й(п) = < и г)(п) = < ГА о, о, если если если если η = 0,1,..., j 3N 3N Λ 1 или η = —— , —- + 1,. 4 4 _ Ν Ν 3Ν 3Ν η- *4"'*4" + 1'···'Τ" 'Τ" ' η = 0,1,..., — - 1 или η = —-, — + 1,. 4 4 4 ,tf-i, ,iV-l, 3ΛΓ ЗЛГ 'Χ~2'ΊΓ L Заметим, что при каждом η либо й(п) = 0, либо ν{η) = 0, так что выполняется равенство (3.17); таким образом, столбцы матриц А(п) ортогональны. Также для каждого η либо й(п) = у/2 и u(n+JV/2) = 0, либо наоборот, так что выполняется (3.15); таким образом, первый столбец матрицы А(п) имеет длину 1 для каждого п. Такое же рассуждение
180 Глава 3. Вэйвлеты на множестве Ъ^ выполняется для г), поэтому второй столбец матрицы А(п) также имеет длину 1. Таким образом, матрица А(п) унитарна при всех п, поэтому по теореме 3.8 {R2kv}k=o~ U R2k^}k=o~ есть вэйвлет-базис первого этапа. Вэйвлет-базис Шеннона аналогичен базису, проистекающему из теоремы выборки Шеннона1) (см. упр. 5.3.2 и 5.4.17). Заметим, что мы определили и и υ через их DFT; чтобы получить значения η и г;, мы должны вычислить IDFT от и и г). Результирующие суммы можно вычислить в явном виде (упр. 3.1.8). Мы получаем «(0)=«(0) = -^, (3.19) . /πη\ tt(n) = 2^ e-W* —\JLL, (3.20) Ν sin 1ПЫ тЫ «(η) = ^ (-1)»β-«*»/Ν VjW j (3.21) sin Ι для η = 1,2,..., JV — 1. Заметим, что для вектора υ имеем |г)(га)| = л/2 для JV/2 высоких частот N/4 ^ га ^ 3JV/4 — 1 и |г)(га)| = 0 для оставшихся JV/2 низких N-1 частот. Так как υ = Ν~ι Σ v(m)Fm, то это значит, что υ не содержит 771=0 частот из нижней половины диапазона частот. Сдвиги R^kV обладают тем же свойством в силу леммы 2.13. Таким же образом и и его сдвиги не имеют частот в верхней части диапазона. Поэтому в представлении (JV/2)-l (N/2)-l Ζ= Σ {z,R2kV)R2kV+ Σ (z,R2kV>)R2kU k=0 k=0 для вектора ζ € £ (Ζν) более высокая половина частот в ζ содержится в первой сумме, в то время как более низкая половина содержится во второй сумме. Иногда бывает предпочтительным иметь ортонормированный базис, состоящий полностью из вещественных векторов. Например, предположим, что сигналы ζ, которые мы хотим разложить, все веществен- ^ Рассматриваемая теорема была открыта несколькими авторами. Наиболее широкое распространение получило доказательство этой теоремы, сделанное К. Шенноном в 1949 г. (для приложений по теории связи). Первоначально она была доказана Дж. Уиттекером в 1915 г. в книге по теории интерполяции. В отчетливой и современной форме доказательство этой теоремы было дано в 1933 г. В. А. Котельниковым.— Прим. перев.
3.1. Построение вэйвлетов на Ъ^: первый этап 181 ные; это часто имеет место в приложениях (например, видеосигналы или изображения). Если элементы базиса также вещественные, то коэффициенты в разложении ζ будут вещественными, потому что они являются скалярными произведениями ζ с элементами базиса. Поэтому в этом случае мы должны хранить компоненты ζ в этом базисе как вещественный вектор. Это упрощает вычисления и экономит место в компьютерной памяти, потому что комплексные векторы хранятся как пары вещественных векторов. Заметим, что базис Шеннона в примере 3.10 не является вещественным. Из следствия 2.16 вытекает, что вектор ζ имеет вещественные значения тогда и только тогда, когда его DFT удовлетворяет условию симметрии z(m) = z(N — га) для каждого га. Рассматривая й, мы видим, что это условие удовлетворяется для m = 0,1,..., (ЛГ/4) — 1 и для га = (3JV/4) + 1,..., ЛГ — 1, где все значения равны л/2, и для га = (ЛГ/4) + 1,..., (3JV/4) — 1, где все значения равны 0. Однако это условие не выполняется при га = ЛГ/4 (эквивалентно, га = ЗЛГ/4) потому, что й(ЛГ/4) = 0 и й(ЗЛГ/4) = \/2. Аналогичные факты имеют место и для v. Однако мы можем изменить ϋ и ν для этих значений таким образом, чтобы выполнялось условие симметрии (следовательно, и и ν будут вещественными), в то время как также удовлетворяются условия теоремы 3.8. Пример 3.11 (вещественный базис Шеннона первого этапа). Предположим, ЛГ делится на 4. Определим й, ν Ε £2(Zn) равенствами ,Ν-1, (η) = < (n) = j Замети \V2, Г' -г, 0, ч 1, V2, если если если если если если если П 1 Ν Λ 3Ν , 1 η = 0,1,..., -— 1 или η = -— + 1, 4 4 Ν η=τ. 4 3iV η = ~4~' η = 7 + 1'···'"Τ-1' η = 0,1,..., —— 1 или η = — + 1, Ν 3iV η = — или η = —— , 4 4 η=τ + 1,...,-Γ-1. [м, что для ЛГ/4 или ЗЛГ/4 справедливс ,ΛΓ-1, равенство ν(Ν/Α) = г)(ЗЛГ/4), потому что оба этих значения равны 1, в то время как й(ЛГ/4) = г = — г = й(ЗЛГ/4). Другие значения η и г; соответствуют условиям на базис Шеннона и, следовательно, удовлетворяют условию
182 Глава 3. Вэйвлеты на множестве Ън а) б) Рис. 11. Графики векторов а) ЯюЩ б) R32V для случая ЛГ = 64 симметрии. Поэтому и и υ — вещественные векторы. При η = Ν/Α системная матрица имеет вид МИ/*) = £ г 1 -г 1 и является унитарной. (Заметим, что, выбрав г), мы были вынуждены взять и чисто мнимыми при N /А и 3JV/4, чтобы добиться одновременно условия симметрии и условия унитарности матрицы.) Для других значений системные матрицы те же самые, что и для базиса Шеннона, и потому унитарны. Поэтому, согласно теореме 3.8, {R2kv}klQ~ V{R2ku}k=o~ есть вэйвлет-базис первого этапа, такой что и иу — вещественные векторы. Из этого следует, что все элементы базиса вещественные, потому что они являются сдвигами и и υ. Заметим, что низкие и высокие частоты распределены между и и υ, как в примере 3.10, за исключением наличия перекрытия частот при η = Ν/Α и η = 3JV/4. В этом случае записать в явном виде выражения для unv несколько более сложно. На практике для конкретного N следует использовать программу IDFT для вычисления η и г; и хранить их для последующего использования. Графики R^u и /2з2^ в случае N = 64 показаны на рис. 11 (мы использовали сдвиги на 32, чтобы отцентрировать графики на отрезке 0 ^ η ^ 63). Аналогично на рис. 12 приведены графики векторов i?256^ и #256^ в случае N = 512. Заметим, что эти функции локализованы в окрестности центральных точек (32 в случае N = 64 и 256 в случае N = 512). Это может показаться удивительным, потому что мы специально к этому не стремились. Однако мы могли ожидать, что υ должен иметь максимум при η = 0 (и, следовательно, -Й25б^> в случае N = 512, должен иметь
3.1. Построение вэйвлетов на Zjy: первый этап 183 максимум при η = 256), потому что из обращения Фурье ЛГ-1 υ(η) = ^ Σ v(m)e2irimn/N га=0 ЛГ-1 υ(°) = jr Σ *(т) т=0 Так как в этом случае v(m) ^ 0 для всех т, то в сумме для г;(0) нет сокращений. Для η φ 0 имеются сокращения, поэтому мы получим меньшие значения, чем г;(0). Функции e2mmn/N близки к линейной при п, близких к нулю. Когда η удаляется от 0, экспоненты становятся менее линеаризованы до тех пор, пока в конце концов они становятся более или менее независимыми. Это значит, что величины в сумме стремятся к сокращению, что дает в результате малые значения υ(η) при п, далеких от центральной точки. 50 100 150 200 250 300 350 400 450 500 б) Рис. 12. Графики векторов a) i?256^> б) i?256^ Для случая ЛГ = 512
184 Глава 3. Вэйвлеты на множестве Ζ ν N-l Заметим также, что Σ υ(η) = ϋ(0) = О по своей конструкции, что п=0 объясняет, почему кажется, что υ имеет равное количество положитель- ΛΓ-1 ных и отрицательных значений. Однако Σ u(n) = й(0) = л/2, и по- п=0 этому и имеет больше положительных, чем отрицательных значений. Заметим, что график R32V на рис. 11, б кажется симметричным относительно η = 32. Это можно вывести из упр. 2.1.12(1): г; —вектор, симметричный относительно нуля, потому что ν — вещественный. Аналогично, и не симметричный относительно нуля, потому что и не вещественный, следовательно (как мы можем видеть на рис. 11,6), Лз2^ несимметричный относительно η = 32. Такие же рассуждения справедливы и для рис. 12. Так как унитарные матрицы размера 2x2 легко охарактеризовать, то теорема 3.8 может быть использована для явного описания всех вэйвлет- базисов первого этапа (см. упр. 3.1.6). Позже мы увидим, что следующий результат очень полезен. Он говорит о том, что каждый потенциальный отцовский вэйвлет и имеет соответствующий материнский вэйвлет ν такой, что ии υ порождают вэйвлет-базис первого этапа. Лемма 3.12. Предположим, Μ 6 Ν, Ν = 2М, и пусть и 6 £2(Ζν), такой, что {i?2fc^}fc=o есть ортонормированное множество из Μ элементов. Определим υ € £2(Ζν) равенством v(k) = {-1)к~1и{1 -fc) (3.22) для всех к. Тогда {R2kv}$?J^1 U {R2ku}^=^ есть вэйвлет-базис первого этапа пространства ί2(Ζ#). Доказательство. Используя соотношение (3.22) и подстановку к = 1 — п, получим N-l N-l v(m) = ^ v(n)e-2nimn/N = ^(-l)n-yi - n)e-2*imn/N = n=0 n=0 JV-1 = Σ ^)(-l)~ke-2nim{l-k)/N = N-l = e-2ni7n/N Σ uffc)(e"i7r)"fce27rim^N = fc=0 N-l = e-^rn/NJ2 u(k)e-2m{m+M)k/N = ^mm/N^ + щ k=0
3.1. Построение вэйвлетов на Zn : первый этап 185 Поэтому v(m + M) = e-2^m+M^Nu(m + 2М) = Так как 2М = JV, то, очевидно, справедливы равенства u(m + 2M) = u(m + N) = й(га) и e~2niM/N = e~in = -1. Следовательно, \υ(πι)\2 + \v{m + Μ)\2 = \u(m + М)\2 + \u(m)\2 = 2 для m = 0,1,..., Μ—1 по лемме 3.6 и ортонормированности {ife***}]^1. Поэтому выполняются равенства (3.15) и (3.16). Окончательно u(m)v(m) + u(m + M)v(m + Μ) = = u{m)e27rim/Nu{m + Μ) - u{m + M)e27rim/Nu(m) = О, т. е. справедливо соотношение (3.17). По теореме 3.8 пара и, ν порождает вэйвлет-базис первого этапа пространства £2(Ζν). Ш Предположим, что В = {-йг*^}^1 U {Дг***}]^1 есть вэйвлет-базис первого этапа. По лемме 1.106(1) матрица перехода от базиса В к Ε есть матрица U со столбцами из векторов v, R2V, ..., Rn-2V, n, R,2U, ..., Rn-2U, в указанном порядке. Так как В есть ортонормирован- ный базис, U есть унитарная матрица (лемма 1.105), поэтому матрица перехода от Ε к В есть С/-1 = 17*. Однако вычисление [ζ] в путем прямого умножения U*z медленное, требующее N2 умножений. Чтобы вычислить быстро переход от одного базиса к другому, мы должны использовать тот факт, что коэффициент при Ft2kV в разложении ζ есть {z, R2kV) = ζ * v{2k), и аналогично для и. Поэтому ζ * ν(0) ζ * ϋ(2) [ζ}β = ζ * ν(Ν - 2) ζ * й(0) ζ * й(2) (3.23) [ζ * u(JV - 2)J Мы можем представить вычисление этого вектора как результат двух сверток ζ с последующей в каждом случае операцией отбрасывания компонент с нечетными индексами. Определение 3.13· Пусть отображение Μ 6 N и N = 2М. Определим D : ί2(ΖΝ) -> 12{Ъм), положив для г Ε ^2(Z#) £>(z)(n) = z(2n) при η s= 0) 1,..., Μ — 1.
186 Глава 3. Вэйвлеты на множестве Ζ ν ζ*ϋ(0) 1 ζ*ν(2) ζ*ϋ(Ν-2) Γ Ί **u(0) "Wb z*u(2) z*u(N-2) J Рис. 13 Оператор D называется оператором сгущающей выборки или децимации. Другими словами, если ζ = (г(0), ζ(1), ζ(2), ζ(3),..., z(iV — 1)), то D(z) = (z(0),z(2),z(4),...,z(N-2)). В диаграммах оператор децимации часто имеет обозначение [2. Вычисление вектора [ζ] в представлено на рис. 13. Это простой пример набора фильтров. В общем случае набор фильтров есть любая последовательность сверток и других операций. Изучение наборов фильтров есть целая область в инженерии, называемая многоскоростным анализом сигнала или поддиапазонным кодированием. Термин «фильтр» используется для обозначения оператора свертки, потому что такой оператор может обрезать различные частоты, если соответствующий мультипликатор Фурье равен нулю (или достаточно мал) для этих частот. Мы видели, что можно осуществить быстрый переход от базиса Ε к базису В. Как обстоит дело с выполнением обратной операции — вычислением перехода от матрицы В к матрице ΕΊ Конечно, это может быть достигнуто умножением на матрицу £7, но умножение матриц размером Ν χΝ медленное. Речь идет о быстрой процедуре, основанной на применении набора фильтров. Определение 3.14. Пусть Μ 6 N и N = 2М. Определим отображение U : 12(%м) —► i2(Zjv), положив для ζ € 12{%м) U(z)(n) = /*(п/2)' еСЛИ П ЧеТН°' tO, если η нечетно. Оператор U называется оператором разрежающей выборки. Он обозначается ]2. *ν ζ*υ 12 -*- D(z*v) = *и z*u 12 »D(z*u) = ζ*ϋ(0) ζ*ϋ(2) ζ*ϋ(Ν-2) z*u(0) z*u(2) I z*u(N-2) J
3.1. Построение вэйвлетов на Ъ^: первый этап 187 1 τ *г) *й ζ*ϋ z*u 12 12 D(z*v) D(z*u) Τ2 |2 U(D(z*v)) U(D{z*u)) *t *s t*U(D{z*v)) A 4 τ S*i/(.D(z*u))I фаза анализа фаза синтеза Рис. 14 Оператор разрежающей выборки удваивает размер вектора вставкой нуля между двумя смежными значениями. Например, если ζ = (2,5,-1,0, то [/(г) = (2,0,5,0,-1,0, г, 0). Заметим, что если мы разрежаем выборку, а затем ее сжимаем, то мы снова получаем то, с чего начали, т. е. D(U(z)) = ζ для любого ζ. Однако если мы сначала сжимаем выборку, а затем ее разрежаем, то мы сначала удаляем значения с нечетными индексами, а затем ставим на их место 0. Поэтому композиция U о D означает обнуление всех значений с нечетными индексами и, следовательно, не является тождественным преобразованием. Сравнивая U о D с формулой (3.9), мы видим, что UoD{z) = \{z + z*). (3.24) Этот пример показывает, что, в отличие от случая квадратных матриц в упр. 1.4.12(2), одностороннее обратное не всегда является двусторонним обратным. Чтобы получить ζ из результатов левого набора фильтров на рис. 13, мы применяем правый набор фильтров, как в правой части рис. 14. Здесь s,t 6 ^2(Zjv) неизвестны. Результат на выходе верхней ветви рис. 14 есть i * U(D(z * #)), и результат на выходе нижней ветви есть s*U(D(z*u)). Лемма 3.15 дает условия, при которых сумма этих двух результатов на выходе всегда равняется значению на входе ζ. Когда это происходит, мы говорим, что имеем точное восстановление с помощью набора фильтров. Заметим, что мы не обязательно предполагаем выполнение условий теоремы 3.8. Поэтому мы имеем более общий результат, касающийся набора фильтров, которые не обязательно соответствуют ортонормированным базисам. Хотя мы не будем останавливаться на этом далее, этот более
188 Глава 3. Вэйвлеты на множестве Ζχ общий случай приводит к обобщению ортонормированных вэйвлетов, называемых биоргпогоналъными вэйвлетами. Лемма 3.15. Пусть Μ € Ν, Ν = 2М, u,v,s,t 6 £2(Zn). Обозначим через А(п), η = 0,1,..., Ν — 1, системные матрицы (определение 3.7) для и, v. На рис. Ц мы имеем точное восстановление, т. е. t * U{D{z * ν)) + s * U(D(z *u))=z для всех ζ 6 £2(Zn), тогда и только тогда, когда «-> [f] - [f] <з-25) для всех n = 0,l,...,JV — 1. В случае когда А(п) унитарная матрица, это соотношение упрощается до t(n) = v(n) и s(n) = й(п). Если при всех η матрицы А(п) унитарны (эквивалентно, по теореме 3.8, если {^к^У^о1 ^ {Яг*^}^1 есть ортонормированный базис £2(Zn)), то t = ϋ и s = й. Доказательство. Из формулы (3.24) следует, что U(D(z * ν)) = \ (ζ * ν + (ζ * δ)*), и аналогично при ν, замененном на и. Поэтому, как при доказательстве эквивалентности соотношений (3.17) и (3.18), имеем 1 /«/ (U(D(z * v))Y(n) = ^ (ζ(η)ν(η) + ζ(η + Μ)ν(η + Μ)) для любого η, и аналогично для ν, замененного на и. Из этого следует [ί * U{D(z *v)) + s* U(D(z * ΰ))]"(η) = 1 = t(n) - (ζ(η)ϋ{η) + z(n + M)v(n + M))+ + s(n) - (z(n)u(n) + z(n + M)u(n + M)) = 1 = - (t(n)v(n) + s(n)u(n))z(n)+ Δ + τ; (t(n)v(n + M) + s(n)u{n + M))z{n + M). (3.26) С помощью обратного преобразования Фурье мы имеем такое восстановление тогда и только тогда, когда для всех η и ζ € £2(Ζν) каждое выражение в равенстве (3.26) совпадает с ζ(η). Мы утверждаем, что это справедливо тогда и только тогда, когда 8(п)й(п) + i(n)v(n) = 2 (3.27)
3.1. Построение вэйвлетов на Ъ^: первый этап 189 и s{n)u{n + Μ) + i(n)v(n + Μ) = 0. (3.28) Докажем это. Подстановка соотношений (3.27) и (3.28) в равенство (3.26) показывает, что они дают достаточные условия для точного восстановления. Обратно, если мы предполагаем точное восстановление, то зафиксируем η и возьмем ζ такой, что ζ(η) = 1 и ζ(η + Μ) = 0. Используя условие точного восстановления для этого ζ, получим, что выполняется равенство (3.27), тогда как другое ζ с ζ(η) = 0 и ζ(η + Μ) = 1 приводит к равенству (3.28). Разделив на д/2 и переписав равенства (3.27) и (3.28) в матричном обозначении, получим формулу (3.25). В случае когда А{п) унитарная матрица, А{п) обратима и А{п)~1 = А(п)*, поэтому решение уравнения (3.25) дает: s(n) = й(п) и t(n) = v(n). Если А{п) унитарная для всех п, то обращение Фурье и соотношение (3.3) дают: s = u nt = v. Ш В случае когда {-йг*^}^1 U {-йг*^}^1 есть ортонормированный базис £2(Zn), существует более простое доказательство (упр. 3.1.13) того, что s = u и t = δ, но мы представили здесь более общий результат, так как он имеет самостоятельное значение. Это говорит нам о том, как мы можем восстановить г, используя рис. 14 в случае, когда и и υ порождают вэйвлет-базис первого этапа. Мы берем s = и и t = ϋ (или эквивалентно, s = u и t = υ). В частности, шаг восстановления требует только в два раза больше сверток и, следовательно, может быть вычислен быстро. Чтобы реализовать этот способ вычисления перехода от базиса В к базису Е, возьмем на входе первую половину [ζ]в вверху правой части рис. 14 и вторую половину внизу, ct = vns = u. На выходе мы получим [z]e = ζ. Пока мы нашли условия, которые позволяют нам построить орто- нормированные базисы, при которых изменения базисов и их обращения могут быть быстро вычислены через свертки, используя диаграммы наборов фильтров. На примерах базиса Шеннона и вещественного базиса Шеннона мы видим, что можно получить некоторую степень частотной локализации таких базисов, потому что υ и его сдвиги содержат высокие частоты, в то время как и и его сдвиги содержат низкие частоты. При эксперименте мы также видели, что можно получить достаточно высокую степень пространственной локализации. Далее мы будем итерировать такой тип расщепления. Это даст нам базис, который естественным образом отражает различные масштабы.
190 Глава 3. Вэйвлеты на множестве Ζτν Простейший путь понимания такой итерации с точки зрения диаграмм набора фильтров будет дан в разд. 3.2. Упражнения 3.1.1. Пусть z,w,u,v € £2(ΖΝ). 1) Доказать, что (Rkz,Rjw) = {z.Rj-kw) = {Rk4z,w) для любых к, j 6 Ζ. 2) Доказать, что {Rk^}^=o есть ортонормированный базис £2(Zn) тогда и только тогда, когда выполняется соотношение (3.6). 3) Пусть Μ е N и N = 2М. Доказать, что {^и}^1 есть ор- тонормированное множество из Μ элементов тогда и только тогда, когда выполняется равенство (3.11). 4) Пусть Μ 6 N и N = 2М. Доказать, что равенство (3.18) справедливо тогда и только тогда, когда (u, R2kv) = 0 для всех к = 0,1,..., Μ — 1. 5) Провести следующее альтернативное доказательство леммы 3.6. Из равенства Парсеваля (2.11) и леммы 2.13 следует, что (w, R2kw) = 1 £ Hm)|V«™*/("/2). 771=0 JV-1 M-l 2M-1 Запишите Σ как Σ + Σ и замените m во второй сумме 771=0 771=0 771=М на m — М, в результате М-1 <u/, R2kw) = JL Σ (Wm)l2 + Wm + M)|2)е2-™*/м. m=0 Рассмотрите |г&(га)|2 + |г&(га + М)|2 как вектор пространства £2(Zjv) и примените обратное преобразование Фурье. 3.1.2. (Базис Хаара первого этапа.) Пусть N = 2М для Μ 6 N. Определим векторы и, υ Ε £2(Ζν) равенствами "=(^·-^·ο·ο····'°)
Упражнения 191 1) Доказать, что {R>2kv}^i1 U {/fefcu}^1 есть ортонормиро- ванный базис £2(Zn), прямо из определений и и υ, т. е. не используя DFT или теорему 3.8. 2) Вычислить и и v. Проверить, что системные матрицы А(п) (определение 3.7) унитарны при всех п. 3) Для ζ € £2{Ζν) определим М-1 P(Z) = Y^(z>R2kU>)R2kU И Μ 1 Μ—1 Q(Z) = Σ ^' R2kV)R2kV. Из п. 1 и леммы 1.101(1) следует, что ζ = P(z) + Q(^). Доказать, что для m = 0,1,...,М — 1 справедливо равенство P(z)(2m) = P(z)(2m + 1) = (z(2m) + z(2m + l))/2. Другими словами, P(z) получается из ζ заменой значений ζ при 2m и 2m + 1 их средним. Это можно рассматривать как вектор ζ, взятый с разрешением 2. Тогда Q{z) определяет «деталь», необходимую для перехода от разрешения 2 к разрешению 1. 4) Для N = 8 предположим ζ = (4,2,3,7,10,8,10,14). Найти Ρ(ζ) и Q(z), затем графически воспроизвести ζ,Ρ(ζ) и Q(z). 3.1.3. Пусть и € ^2(Z4) таков, что й = (1,л/2,*,0). Найти некоторый элемент ν такой, что {v,R,2V, и, R2U} есть ортонормированный базис пространства ^2(Z4). 3.1.4. Предположим, что и, υ € £2(Ζν). 1) Доказать, что {u,R2kv) = {v,R2ku). 2) Пусть Μ € N и N = 2М. Вывести из п. 1 и упр. 3.1.1, что η и г; порождают вэйвлет-базис первого этапа пространства £2(Ζν) тогда и только тогда, когда это справедливо для и и v. 3) Получить результат п. 2 исходя из теоремы 3.8. 3.1.5. Предположим, и = (\/2, \/2,0,0) и Ό = (0,0, \/2, \/2). 1) Проверить, что матрицы А{п) (определение 3.7)—тождественные, и поэтому унитарны, для η = 0,1. Вывести, что {v,R2Vyu,R2u} есть ортонормированный базис £2(%4).
192 Глава 3. Вэйвлеты на множестве Zn 2) Используйте IDFT для вычисления η, υ. 3) Прямо проверить (т. е. без использования теоремы 3.8), что {v,R2V,u,R2u} есть ортонормированное множество в i2(^L±). 3.1.6. Предположим, что Μ 6 N и N = 2М. 1) Пусть {^(п)}^^1 —вещественные числа такие, что О ^ г(п) ^ л/2 для всех η = 0,1,..., Μ — 1. Пусть {θ(η)}%Γ0\ Mn)}f=-0\ {(7(n)}£i-0\ Mn)}^1 -веще- ственные числа такие, что если η € {0,1, ..., Μ — 1} и 0 < г(п) < 1, то 0(п) + р(п) - ¥>(п) - σ(η) = (2fe + 1)π для некоторых к = fc(n) 6 Ζ. (Если r(n) = 0 или г(п) = \/2, то θ(η),φ(η),σ(η),ρ(η) — любые вещественные числа.) Определим u,v € l2(Z;y), положив U(n) = г(п)е^(п),й(п + ЛГ/2) = д/2-(г(п))2е^<п>, δ(η) = д/2 - (r(n))2eia(n) и г)(п + JV/2) = г(п)е**п> для η = 0,1, ..., Μ — 1. Определим u,v 6 ^2(Ζ#) как η = (й)~ и υ = (г))~. Доказать, что {ifov}^1 и {^fc^}^1 есть орто- нормированный базис £2(Ζν). 2) Доказать, что для любого вэйвлет-базиса первого этапа {R2kv}%rJji1 U {ДгАг^}^1? векторы и и ν имеют вид, определенный в п. 1, при некоторых вещественных τ(η),θ{η)^φ{η)^ σ(η),ρ(η), η = 0,Ι,.,.,Μ — 1, удовлетворяющих условиям 0 ^ г(п) ^ у/2 и θ + ρ — φ — σ = (2fc + 1)π для некоторого к = fc(n) 6 Ζ, для каждого η = 0.1,...,Ν — 1. Подсказка: по теореме 3.8 это как раз получается при параметризации унитарных матриц размера 2x2. 3.1.7. Предположим, Μ € Ν, Ν = 2М, ζ € £2(ΖΝ) и w € ^2(ZM). Доказать, что {D{z),w) = {z,U{w)). Заметьте, что скалярное произведение в левой части определено в ^2(Zm), в то время как скалярное произведение в правой части —в ^2(Zjv). 3.1.8. Проверьте формулы (3.19), (3.20) и (3.21). Подсказка: измените индексы суммирования так, чтобы каждая сумма начиналась с нуля, и примените соотношение (1.5). 3.1.9. В случае N = 2М и Μ 6 N показать, что из теоремы 3.8 вытекает лемма 3.3. Примените теорему 3.8 с ν = R\u.
Упражнения 193 *u z*u 12 D(z*u) >— T2 tf(I}(s*u)) —> *S s*U(D(z*u)) Рис. 15 3.1.10. Пусть Μ e Ν, JV = 2M и η, 5 6 ^ (Zjv). Рассмотреть набор фильтров только с одной ветвью, показанной на рис. 15. Показать, что не важно, как выбраны и и s, такой набор фильтров не может дать точного восстановления. 3.1.11. (Обобщение теоремы 3.8 на I функций.) Пусть I 6 N и l\N (напомним, это означает, что существует q 6 Ζ такое, что N = gi). 1) Предположим, г, v, it; € ^2(Ζ#). Доказать, что есть ортонормированное множество из N/I элементов тогда и только тогда, когда 1-1 У^ \z(n + kN/l)\2 = / для всех п. fc=0 Доказать также, что (Л^г;, Лугу) = 0 для всех j, fc тогда и только тогда, когда 1-1 У2 Hn + kN/l)w(n + kN/l) = 0 для всех п. к=0 Подсказка (метод 1): докажите, что V^ e-2mnm/l = П> «УШ / | П, ^о Ь, если 1\п. Следовательно, Г1, если к = 0 и υ = w, {υ, Rikw) = г; * w(ifc) = < 0, если fc = l,2,...,(JV//)-l ИЛИ V φ W тогда и только тогда, когда 1-1 - у^ e~27rinm/l^ * «7ϊι υ * щп) = < ) для всех п, если υ = w, m_Q Kyj для всех п, если υ φ w. Возьмите DFT от обеих частей. Докажите, что (e-2nimn/lv # ~)-до = ^fc + mN/l)w(k + mN/l).
194 Глава 3. Вэйвлеты на множестве Ън Подсказка (метод 2) (сравните с упр. 3.1.1(5)): из равенства Парсеваля (2.11) и леммы 2.13 следует, что Λ Ν~ι (v,Rtow) = 1 Σ Hrn)e2"ilk™/Nw(m) = m=0 1-1 (ΛΓ/Ι)-1 = Jf Σ Σ e2*ilk(n+iNMNv(n + jN/l)w(n + jN/l) = j=Q n=0 J^ e2mkn/(N/i) iJ2v(n + jN/l)w(n + jN/I). n=0 j=0 (N/l) Примените обратное преобразование Фурье в ί2(Ζ^/ι). 2) Предположим, щ, Ui,..., Щ-\ € ^2(Ζ#). Доказать, что {iwSM и №mSm и... и {лап^а^-1 есть ортонормированный базис когда матрица ύι(η) Чп+т) щ йо(п) (п+-) uo{n + —) ν) тогда и только тогда, ύι-ι(η) «ι(η + —) . / _,_(/ —1)JV\ . / , (l-l)N\ Ui-i{n+ у) Щ-Лп+—) Ui-4n+ ι") унитарная для η = 0,1,..., (iV/ί) — 1. 3.1.12. (Двумерный аналог теоремы 3.8.) Предположим, что Μι, М2 € N, JVi = 2Μι и JV2 = 2М2. Вспомните упр. 2.1.15, 2.1.17, 2.2.18 и 2.2.19 как основу для следующей задачи. 1) Пусть ζ 6 ί2{Ί*Νι х Zjv2). Определим последовательности ζ*, ζ** и г*** 6 ^2(Zjvx x Zjv2) равенствами z*(ni,n2) = (-l)niz(nbn2), г**(п1,п2) = (-1)П2г(п1,п2) и г***(пьп2) = (-1Г+"^(п1,п2). Доказать, что s(*bfc) + z*(kuk2) + z**(kuk2) + z***(h,k2) = f4z(fci,fc2), если к\ и k2 четные, ,0, если к\ или fc2 нечетные. -{;
Упражнения 195 2) Пусть uo,ui,U2,us € ί {Ί*Νχ χ Ζ#2). Пусть Α{η\,η2) — матрица, m-й (га = 0,1,2,3) столбец которой равен Um(^b^2) Um ( П1 + —,П2 I - ( ι ΝΑ Um ( П1,П2 + у I Um ( П1 + —,П2 + — 1 Доказать, что {#2*ι,2*2^θ}θ<*ι<Μι--1,(Κ*2<Μ2-ΐυ U{#2*i,2*2^l}o<*i<Mi-l,0<*2<M2-lU U{#2*i,2*2^2}o<*i<Mi-l,0<*2<M2-lU U{-R2Ari,2Ar2W3}o<Ari<Mi-l,0<Ar2<M2-l есть ортонормированный базис ί (%Ni x Ζ#2) тогда и только тогда, когда матрицы Α(ηι,η2) унитарны для всех щ=0,1,..., (ЛГ1/2)-1ип2 = 0,1,...,(ЛГ2/2)-1. 3) (Произведение вэйвлетов первого этапа для двумерного случая.) Простейший способ порождения базиса типа рассмотренного в п. 2 состоит в образовании произведения вэйвлетов. Пусть {R2kVi}Jk=ol U {#2*^1 }j£oг есть вэйвлет-базис первого этапа пространства ^2(Zjvi) и {#2*^2}j£o* u {#2*^2}j£o г есть вэйвлет-базис первого этапа пространства £2(Zjv2). Определим wo{ni,n2) = υι(ηι)υ2{η2), m(ni,n2) = ui(ni)i;2(n2), W2(ni,n2) = vi(ni)u2(n2), и ^з(пьп2) = ui(ni)u2(n2). Доказать, что {#2*ι,2*2™θ}*ι,*2 U {^Ατχ,2Ar2wl}Α?ι,Ar2U U {#2*ι,2*2^2}*ι,*2 U {#2*ι,2*2^3Ηι,*2 есть ортонормированный базис ^2(Zjvx χ Ζ#2), где в каждом случае к\ пробегает от 0 до М\ — 1 и к2 пробегает от 0 до М2 — 1. Подсказка: простейший способ сделать это — заметить, что #2*1,2*2^0(^1,^2) = #2fci ^1(^1)^2*2^2(^2),
196 Глава 3. Вэйвлеты на множестве Zn и аналогично для w\, w2 и W3. Тогда результат следует из общего результата о произведении базисов в упр. 2.1.16. Другой способ, который более труден, но поучителен, состоит в использовании теоремы 3.8 и п. 2. Пусть Αι{η{) есть системная матрица с и = щ, υ = νχ, η = п\ и Μ = М\ и пусть А2(п2) есть системная матрица для u2,v2,n2 и -ОДг· По предположению и теореме 3.8 матрицы А(п{) и ^(пг) унитарны для всех п\ и П2- Используйте это для демонстрации того, что матрицы А{п\,п2), определенные, как в п. 2, но с Wj на месте ty для j = 1,1,2,3, — унитарные при всех ni, П2. Заметим, что не все ортонормированные базисы, такие как в п. 2, — это произведения базисов. 3.1.13. Предположим, Μ 6 Ν, Ν = 2М и η, ν, 5, ί, г € £2(ΖΝ). 1) Доказать, что M-l ί * £/(£>(* * δ)) = J^ {z,R2kv)R2ki M-l S * J7(D(^ * u)) = ^ (2:, R2ku)R2ks. 2) Предположим, что {Λ^ν}*!^1 U {-Яг***}*^)1 есть ортонорми- рованный базис £2(Zn). Используйте п. 1, чтобы дать простое доказательство того, что мы имеем точное восстановление на рис. 14 тогда и только тогда, когда s = и и t = ϋ. Подсказка: рассмотрите ζ = и или υ. 3.1.14. (Точное восстановление для двумерных наборов фильтров.) Предположим, М\,М2 G Ν,ΛΓχ = 2М\ и Ν2 = 2Мг. Определим двумерный оператор сжимающей выборки D : £2{Ϊνι χ %ν2) ~"* —► ^2(Ζμι χ ^м2) равенством D(z)(kuk2) = z(2ku2k2) для fci = 0,1,..., Μι — 1, к2 = 0,1,..., Μ2 — 1 и для любых г 6 ^2(Zjvx xZjv2). Определим двумерный оператор разрежающей выборки U: £2{Ζμι χ %м2) —* ^2(ZjVi x %n2) равенством = {z(ki/2,i lo, rrt \tu 1 \ ) ~vi/-,*fc/2), если кг и fc2 четные, U(z)(kuk2) = {^ . . если fci или «2 нечетные. Заметим, что U ставит три нуля для каждой ненулевой компоненты, которая содержится в области значений этого оператора.
Упражнения 197 1) Предположим, ζ € £2(Ζνι χ %ν2)- Доказать, что U(D(z)) = ±(z + f + 3r + z"*), где используются определения из упр. 3.1.12(1). 2) Основной набор фильтров в двумерном случае имеет четыре ветви, точно так же, как наш вэйвлет-базис первого этапа в упр. 3.1.12(2) имеет четыре порождающие ветви. Предположим, uo,ui,U2,U3,so,si,S2,S3 € £2(Zni x Zjv2). В j-й ветви набора фильтров с входным вектором ζ € £2(Ζνι χ %ν2) мы вычисляем ζ * uj. Затем мы применяем оператор D. Это — на этапе разложения. На этапе восстановления мы берем вектор, полученный ранее на выходе j-й ветви, применяем оператор U и выполняем свертку с §j, дающую в результате 8j*U(D(z*uj)). Мы имеем точное восстановление, если сумма всех ветвей равняется ζ, τ. е. если з j=o для всех ζ Ε ί2(Ί*Νλ х %Ν2)- Пусть A{n\,ri2) есть матрица, определенная в упр. 3.1.12(2). Доказать, что мы имеем точное восстановление тогда и только тогда, когда ро' г1 «2 1*3. = "2] 0 0 0J для всех П1,П2. 3) На выходе этапа разложения в п. 2 получен вектор, компоненты которого имеют вид {ζ * uj)(2ku 2к2) = (ζ, #2fci,2fc24/) для к\ = 0,1,..., М\ — 1 и &2 = 0,1,..., Мг — 1. Предположим, что А(п1,П2) есть унитарная матрица при всех ηι,Π2, так что множество в упр. 3.1.12(2) есть ортонормированный базис i2(bNx х Zjv2). Тогда на выходе этапа разложения получается вектор, компоненты которого — коэффициенты в разложении ζ по этому ортонормированному базису. Доказать, что в этом случае мы имеем точное восстановление тогда и только тогда, когда Sj = uj для j = 0,1,2,3.
198 Глава 3. Вэйвлеты на множестве Zn 3.2. Построение вэйвлетов на ZN: итерационный этап До сих пор мы строили ортонормированные базисы £2(Zn) вида {^.^-^{^η}^-1, (3.29) которые назвали вэйвлет-базисами первого этапа. Теорема 3.8 накладывает необходимые и достаточные условия на й и г), чтобы такая совокупность образовывала ортонормированный базис. Как мы видели в примерах 3.10 и 3.11, высокие частоты можно сконцентрировать в членах, содержащих ν в формуле (3.29), а низкие частоты в членах, содержащих и. Таким образом достигнута некоторая степень частотной локализации. Как показано на рис. 11 и рис. 12, мы добились также некоторой степени пространственной локализации. Мы видели, что для вэйвлет-базиса первого этапа переход от одного базиса к другому может быть вычислен с помощью схемы набора фильтров на рис. 13. Обратный переход может быть также вычислен с помощью определенных наборов фильтров, а именно фильтров в правой части рис. 14. Вычисления при переходе от одного базиса к другому можно произвести быстро, потому что они выполняются с помощью пары сверток, которые могут быть реализованы через FFT. Организация набора фильтров на рис. 14 наводит на мысль о возможности итераций. А именно к каждому или обоим векторам на выходе в левой части мы можем снова применить ту же процедуру. Можно пропустить вектор на выходе каждой ветви через другую пару фильтров и снова осуществить децимацию выборки в каждой новой ветви. Аналогично в правой части рисунка мы можем пропустить сигнал каждой из двух новых ветвей через оператор разрежения выборки и новый фильтр. Если фильтры на этом втором этапе совместимы, как на первом этапе, мы получим точное восстановление. Таким образом можно осуществить итерацию. В принципе, мы можем итерировать каждую ветвь, но в стандартном вэйвлет-анализе мы итерируем только одну из двух ветвей предыдущего этапа, обычно ветвь, идущую от свертки с низкочастотным фильтром и. (Более сложные, адаптивные процедуры итераций выполняются в так называемой теории вэйвлет- пакетов.) В данном разделе мы изучим эту итерационную процедуру и, в частности, увидим, что она приводит к некоторому типу ортонормиро- ванного базиса, который назовем вэйвлет-базисом пространства £2(Ζν). Сначала прокомментируем, почему мы хотим итерировать. Рассмотрим сначала вэйвлет-базис Шеннона первого этапа в примере 3.10. Напомним, что unv выбираются в этом случае для расщепле-
3.2. Построение вэйвлетов на Ъ^: итерационный этап 199 ния пополам частотного диапазона. Но из теории музыки мы знаем, что более естественно рассматривать частоты в логарифмическом масштабе, по октавам. Это наводит на мысль, что мы должны сохранить члены, содержащие верхнюю половину частотного диапазона, но при этом должны разбить на две равные части частоты из нижней половины диапазона — четверть наиболее низких частот и следующую четверть. Затем мы должны снова расщепить четверть диапазона из самых низких частот, и т. д. Таким образом наш базис разложения даст нам более детальный частотный анализ сигнала. Другая мотивация возникает при рассмотрении первого поколения дискретного базиса Хаара в упр. 3.1.2. В п. 3 этого упражнения мы расщепили ζ на Ρ(ζ) и Q(z), где P(z) соответствует членам, определяемым сдвигами и, и Q(z) соответствует членам, определяемым сдвигами υ. В этом же пункте мы видели, что P(z) получается из ζ заменой значений ζ при 2га и 2га + 1 их средним. Это можно рассматривать как выравнивание ζ в масштаб 2 вместо масштаба 1. Этого достаточно, чтобы определить общее широкомасштабное поведение ζ, если подробности масштаба 1, которые содержатся в Q(z), не играют большой роли в наших рассмотрениях. Если мы хотим рассматривать только P(z), то мы можем сжать исходные данные в два раза, потому что P(z) определяется N/2 коэффициентами. Однако мы можем пойти и дальше. Возможно, тип поведения сигнала, с которым мы имеем дело, становится понятным при масштабе 4 или 8, или каком-нибудь большем масштабе. Тогда мы могли бы взять наше приближение P(z) при масштабе 2 и расщепить его на две части: одна представляет собой приближение с масштабом 4, другая — подробности, необходимые для перехода от масштаба 4 к масштабу 2. Мы можем продолжить таким образом и дальше, так чтобы данные с масштабом 21 определялись Ν/21 числами. Это может, например, позволить нам передать грубую аппроксимацию сигнала очень быстро и затем добавить нужные подробности. Если мы можем определить заранее то, что нам не нужно рассматривать во всех деталях, то тем самым можем сохранить время, энергию, или то и другое. Это подходит для случая радарного или сонарного поиска, когда наша первая забота состоит в определении того, имеется ли что-нибудь в нашем сигнале; если имеется, то мы более подробно смотрим детали, чтобы их идентифицировать. Такой подход дает нам также естественное понятие различных масштабов поведения сигнала. Это важно во многих применениях, например в изучении потоков жидкости, таких как океанские волны. Создается полная картина, когда при изучении мелкомасштабные члены
200 Глава 3. Вэйвлеты на множестве Zn \*4*Vi[ +~fUi 12 12И *Vd +*-*и$-*· фаза анализа 12 D(z*vi) » D(D(z*ui)*V2) Т2 12 D(D(z*ui)*U2) Τ2 Рис. 16 T2l· ΦκΐΜ-*, +~тщ +-ή*11<*·^ ФНТ2 *-рот ©-►=2: фаза синтеза в разложении указывают на мелкомасштабное поведение, такое как малые пульсации в волне; крупномасштабные члены описывают основную волну. Чтобы описать шаг итерации, рассмотрим диаграмму набора фильтров рис. 14, обозначив теперь фильтры в левой части через й\ и ϋ\ вместо и и v. Предположим, что щ и v\ порождают вэйвлет-базис первого этапа, т.е. что системные матрицы А(п) для и\ и v\ (определение 3.7) унитарны при всех п. Лемма 3.15 устанавливает, что для точного восстановления фильтры в правой половине рис. 14 должны быть и\ и νχ. Пусть на входе диаграммы имеется некоторый вектор ζ Ε ^2(Ζ#), где N — четное. Для второго этапа, который мы будем описывать, N должно делиться на 4. На выходе левой половины рис. 14, в фазе анализа, получается пара векторов D(z * v\),D{z * ui) 6 ^2(Zjv/2)· Мы считаем, что v\ соответствует высокочастотной части, хотя, строго говоря, дело не в этом (фактически в этой точке unv перестановочны). Как следует из вышеприведенных примеров, мы оставляем вектор D(z * ϋχ) без изменения. При этом мы оперируем с другим вектором D(z * ui) таким же образом, как мы это делали с вектором ζ. А именно, мы выберем два вектора ii2,V2 € ^2(Zjv/2)> системные матрицы которых (определение 3.7 с JV, замененным на N/2) унитарная для всех п. Мы проводим D{z*u\) через фильтры, соответствующие #2 и &2, с последующим применением в каждом случае оператора децимации выборки. Эти векторы плюс вектор на выходе верхней ветви становятся выходом второго этапа процедуры анализа. Другими словами, на выходе получается множество векторов D(z * v\),D{D{z * й\) * #2) и D(D(z * ui) * U2). Это показано в левой части рис. 16. Для фазы синтеза или восстановления необходимо только ввести новую пару ветвей в правой части, соответствующих двум ветвям слева, введенным на втором этапе. Каждая ветвь состоит из оператора раз-
3.2. Построение вэйвлетов на Ъ^: итерационный этап 201 г>1 Й1 V2 U2 w vs us * ^3 us V2 U2 ^ Vi Ul фаза анализа фаза синтеза Рис. 17 режения выборки с последующей сверткой, соответственно с V2 для верхней ветви и с U2 для нижней ветви, как на рис. 16. Затем мы складываем результаты этих двух сверток. По теореме 3.15 точным эффектом от всех ветвей, введенных на втором этапе, будет тождество. Поэтому из результатов первого этапа следует, что полный эффект всей диаграммы также есть тождество, и мы имеем точное восстановление. Если N делится на 2Р, мы можем повторить этот процесс до ρ раз. Каждый раз мы подразбиваем только нижнюю ветвь, используя при этом фильтры щ,Уи удовлетворяющие условиям теоремы 3.8, которые характеризуют точное восстановление. Рисунок 17 показывает этот процесс для трех этапов. На фазе анализа этого рисунка (левая половина) каждый квадрат представляет свертку входного сигнала с двумя фильтрами с последующей децимацией выборки каждого результата. Например, на выходе первого квадрата получается пара D(z * ϋχ), D(z * ui), аналогично рис. 13. В фазе синтеза каждый квадрат представляет разреженную выборку двух входных сигналов и последующие свертки с двумя фильтрами, как в правой части рис. 14. Мы формализуем этот процесс в виде следующего определения. Определение 3.16. Предположим, что N делится на 2Р. Последовательность вэйвлет-фильтров р-го этапа есть последовательность векторов ui, vi, ί/2, г>2,..., Up, vp таких, что для каждого I = 1,2,... ,р uuvi ee2(ZN/2i-i) и матрицы Чп) = -L унитарны для всех η = 0,1,..., (Ν/21) — 1. Для входного вектора ζ € ^2(Zjv) определим χι = D(z * ϋι) € e2(ZN/2) (3.31) щ{п) ϋι(η) (3.30)
202 Глава 3. Вэйвлеты на множестве Ζ ν Χι ι - *- i У1-Г+- \ ι *ϋι > [2 xi=D(yi-.i*vi) r *щ > ϋ yi=D{yi-1*ui) k у 1 Рис. 18 *U+1 *W|+i w μ 12 > xl 1 ъ» Xl ъ. Τ/1 ι ъ. ?// ι ι И y1=i)(2;*u1)€^2(Ziv/2). Определим по индукции #2> У2> · · · > #р> 2/р равенствами ^ = z%i_!*i;i)€^(zN/2o и (3.32) (3.33) (3.34) y^z^-i^ertz^) для / = 2,...,р. На выходе фазы анализа набора вэйвлет-фильтров р-го этапа получается вектор {х\,Х2,...,Хр, Ур}· Рекуррентные формулы (3.33) и (3.34) можно лучше понять при рассмотрении ί-го этапа последовательности фильтров, как в левой части рис. 18. Заметим, что УьУ2> · · · >Ур-1 отсутствуют на выходе фазы анализа. Для I < ρ вектор yi используется только для определения χι+χ и yi+\. Если явно выписать х\ и у и мы получим χι = D(D(... D(D(z * й\) * U2)... * Щ-\) * ад) (3.35) и у/ = D(D(... D(D(z *ui)*U2)...* Щ-ι) * uj). (3.36) Заметим, что сумма числа компонент всех векторов на выходе этапа анализа есть * * Τ ... Τ Λρ_! * ορ * <yp Iy J 2 4 гР"1 2Ρ 2Ρ как и ожидалось. Фаза восстановления может быть описана следующей последовательностью шагов. На первом этапе восстановления мы вычисляем (и(ур)) * ир и (и(хр)) * υρ. Из-за свойства точного восстановления нижнего блока набора фильтров (фаза анализа и синтеза, соответствующая
3.2. Построение вэйвлетов на Ъ^: итерационный этап 203 Хр-2 Хр-2 -Ь.Хр-2 Τ 1 Λρ— 1 T.L ^-. Л Ур -*- |2 ж p-l *^р (p(xp))*vp ( *мр {U(yp))*upl f 2/ρ-ι \ |2 -►- T2 —►- *Vp-i *Up-i > a, d \ w 7 ► tl Рис. 19 фильтрам υρ и Up) мы имеем (и(Ур)) * up + (^ (*р)) * vp = 2/ρ-ι· Продолжим аналогично эту операцию с yp_i и жр_ь чтобы получить ур_2. Затем используем ур_2 и жр_2, чтобы получить ур_з, и т. д., как подтверждается рис. 19. Формально Ур-2 = (t/(yp_i)) * up_i + (t/(a;p_i)) * г;р_ь ур_3 = (U(yp-2)) * Up_2 + {U(xp-2)) * Vp-2, и так далее до У1 = (ЩУ2)) * ^2 + (ί^(«2)) * *>2· Затем еще один шаг дает вектор ζ, τ. е. г = (U(yi)) * ui + (C7(a?i)) * г>ь Оценим теперь число умножений, необходимое для вычисления на выходе фазы анализа последовательности набора вэйвлет-фильтров. Вычисления на фазе восстановления выполняются за то же число умножений (упр. 3.2.4). Лемма 3.17. Предположим, что N = 2п, 1 ^ ρ ^ η и щ, ν\, и2, ν2, ..., иру υρ образуют р-этапную последовательность вэйвлет-фильтров. Пусть ζ 6 £2(Ζν). Тогда вектор {#ι, х2,..., хр, ур} на выходе фазы анализа, соответствующего р-этапному набору фильтров, может быть вычислен не более чем за AN + N\og2N комплексных умножений. (Мы предполагаем, что векторы й\, ϋ\, ..., йр, ϋρ вычислены заранее и хранятся в машинной памяти. Мы определяем только последовательное вычисление, требуемое для любого ζ.)
204 Глава 3. Вэйвлеты на множестве Zjv Доказательство. Используем тот факт (лемма 2.39), что DFT вектора длины 2к может быть вычислено не более чем за к2к~1 комплексных умножений с помощью FFT. Сначала вычислим ζ, что требует п2п-г = ijVlog2JV умножений. Начиная с этого момента и до конечного шага мы находимся в частотной области, т. е. мы на каждом этапе работаем с DFT. На первом этапе мы вычисляем (ζ * ϋ\Υ = ζν\ (из леммы 2.30 и равенства (3.3)) за N умножений и аналогично для {ζ * й\У. Теперь, вместо того чтобы применить IDFT для вычисления ζ * ϋ\ и осуществить децимацию выборки, мы применяем упр. 3.2.1(1) для получения х\ = (D(z*vi)Yh3 (ζ*ϋιΥ6β3 умножений. Также определим j/i = D{z*u\) и вычислим таким же образом у\. В результате мы получили х\ и у\ за 2N дополнительных умножений. Переходя ко второму этапу, напомним, что Х2 = D{y\ * #2) и у2 = D(yi * U2). Так как мы уже вычислили yi, мы можем вычислить {у\ * #2)А= У\Щ за N/2 умножений, так как эти векторы имеют длину JV/2. Затем мы используем упр. 3.2.1(1), чтобы осуществить децимацию выборки полученного преобразования, что дает #2· Аналогично мы вычисляем у2 за N/2 умножений. Мы продолжаем таким же образом. Каждый шаг кончается децимацией выборки, которая уменьшает размер векторов в 2 раза. Шаг j дает пару векторов Xj и у у, Xj сохраняется до конца, a yj используется на следующем этапе для получения Xj+i и 2/j+i· Каждый j-ft этап требует всего 2(iV/2i~l) умножений. После ρ этапов мы имеем #ι, #2, · · · > %р и ур, и всего мы использовали »(*+?+?+...+£)<« умножений для этих этапов. Чтобы вычислить {#ι,#2) · · · >#р?2/р}> нам необходимо вычислить IDFT от #ι,#2, ..., &р и ур. Так как х\ 6 £2(ΖΝ/2);Χ2 € £2{Ζν/α)\ ..., хр € ^2(Zjv/2p) и Ур € ^2(^λγ/2ρ)? το это требует самое большее \ ((п - ΐ)2η~ι + (η - 2)2П"2 + ... + (п - р)2п"Р + (п - р)2п"р) ^ <n2n"1 = iiVlog2JV умножений (см. упр. 3.2.3 для доказательства неравенства). Поэтому полное число умножений не превосходит числа 2-ijVlog2JV + 4JV = 4JV + JVlog2JV. ■
3.2. Построение вэйвлетов на Ъ^: итерационный этап 205 Итак, рекурсивную процедуру набора фильтров можно провести довольно быстро, при этом требуется от двух до трех раз больше умножений, чем для алгоритма FFT при больших N. Если фильтры щ, ад,..., %» vi, г>2,..., vp в совокупности имеют не больше К ненулевых компонент, мы можем вычислить векторы на выходе фазы анализа, используя не больше чем AKN умножений (упр. 3.2.12). Хотя рекурсивное описание в определении 3.16 полезно для вычислительных целей, не ясно, как оно связано с нашим главным намерением построить ортонормированные базисы £2(Zn). Существует эквивалентная нерекурсивная новая формулировка нашей структуры наборов фильтров, которая дает нам большее понимание и приводит к ортонормированным базисам. Мы начнем с леммы. Для определенности в обозначениях укажем, что, когда мы пишем D(z) * w, мы имеем в виду {D(z)) * ад, а не D(z * w). Лемма 3.18. Предположим, что N —четное, N = 2М, ζ € £2{Ζν) и х,у, w € £2(ΖΝ/2)· Тогда D(z) *w = D(z* U(w)) (3.37) и U(x)*U(y) = U(x*y). (3.38) Доказательство. Для доказательства равенства (3.37) заметим, что w(m) = U(w)(2m) для каждого га. Следовательно, (N/2)-l D(z) * w(n) = ^2 D(z)(n — m)w(m) = ra=0 (N/2)-l = Σ z(2n - 2m)U(w)(2m) = ra=0 N-l = Σ z(2n - k)u(w)(k) =z* U(w)(2n) = = D(z*U(w))(n), так как U(w)(k) = 0 при нечетных значениях fc, и можно добавить их к сумме по га без ее изменения. При доказательстве равенства (3.38) тот факт, что U(y)(m) = 0, если га — нечетное, и U(y)(m) = у (га/2), если га —четное, показывает, что ΛΓ-1 (ΛΓ/2)-1 U(x) * U(y)(n) = 53 ^ (*)(" - rn)U(y)(m) = J] tf (*)(n - 2%(fc). m=0 fc=0
206 Глава 3. Вэйвлеты на множестве Ζ ν Если η нечетное, то таким же является η — 2fc, следовательно, U(χ) (η — 2k) = 0 для всех к. Тогда в этом случае U(x) * U(y)(n) = 0 = Щх * у)(п) по определению. Если η четное, например η = 2ί, то £/(ж)(п — 2к) = = {/(#)(2ί — 2k) = χ (I — fc), и с учетом вышесказанного получаем (AT/2J-1 tf(a:)*E%)(n) = 5Z »(ί-fe)y(fc) = ж *»(/) = (t7(»*y))(n). ■ к=0 Когда мы пишем Dl(z), мы имеем в виду ί-кратное произведение D на себя, примененное к ζ. Более формально, D1 = D, и по индукции мы определяем Dl(z) = (Do Dl~1)(z) для Ζ > 1. Таким же образом мы определяем Ul(z) = (U о С/'"1)^). Заметим, что Dl : ^2(Zjv) -> t2{%N/$) дается формулой Dl(z)(n)=z(2ln), в то время как U£ : ί2(ΖΝ/2ι) —► #2(%ν) пин = ί"(η/2Ζ)' если 2!|η> ν Α ' \θ, если 2*|η. Следствие 3.19. Предположим, Ν делится на 2l,x,y,w € £2(%ν/21) и ze £2(ZN). Тогда D\z) *w = Ό\ζ * £/z(w)) (3.39) и £/*(* * у) = i/^r) * U\y). (3.40) Доказательство. Упражнение 3.2.5. ■ Теперь мы введем нерекурсивное определение, которое будет эквивалентным рекурсивному определению 3.16. Определение 3.20. Пусть N делится на 2Р. Предположим, что векторы Щ, νι, ί/2, V2,..., Up, vp задаются так, что для каждого I = 1,2,...,ρ uhviE 12(ΖΝ/2ι-ι). Положим /ι = ν\ и #1 = u\. Далее определим по индукции fi,gi 6 £2(Zn) для I = 2,3,... ,р равенствами Λ = Λ-ι*^,"1(ι;«) (3.41) Я=Я-1*^|"1(ЭД)· (3.42)
3.2. Построение вэйвлетов на Ъ^: итерационный этап 207 Выпишем первые из этих формул: /2 = щ * U(v2), 92 = Щ * £/(и2), /3 = щ * J7(n2) * С72(^з), 9s = ^l * £^2) * U2(us), и далее, в общих обозначениях /z = Ul * U(u2) * f/2(n3) * ... * Ul~2(ui-i) * t/z(i;z) (3.43) и gi = Ul * j7(n2) * £/2Ы * ... * ί7ζ-2(ηζ_!) * £/z(uz). (3.44) Заметим, что все операции свертки в определениях // и д\ включают в себя Uj-фильтры, за исключением последней свертки в случае //, которая содержит νχ. Для дальнейших ссылок выпишем формулы из упр. 3.2.2: h = (9i-i * Е/^ЫГ = 91-1 * (υ'-ΗνΟΓ = Λ-ι * и1~\щ), (3.45) 5ζ=5/-ι*^_1№). (3.46) Следующая лемма позволяет нам описать сигнал на выходе фазы анализа р-этапного рекурсивного набора фильтров как множество одиночных (нерекурсивных) сверток. Это также позволяет описать тем же способом фазу восстановления. Лемма 3.21. Предположим, N делится на 2Р, ζ 6 £2(Ζν) и t*i, νχ,..., Up,vp таковы, что uuvi e£2(ZN/2i-i) для каждого I = 1,2,..., р. Зададим #ι,#2> · · · >#р>Уъ2/2> · · · >Ур равенствами (3.31)-(3.34), a fi, f2,-·· ,fpi91,92,---,9р—определением 3.20. Тогда для I = 1,2,..., ρ Χι = ΙΪ(ζ*ϊι), (3.47) yi = &(z*gl). (3.48) Доказательство. Мы докажем равенства (3.47) и (3.48) вместе индукцией по I. Когда I = 1, равенства (3.47) и (3.48) следуют из формул (3.31) и (3.32) и определений векторов /ι и #ι. Теперь предположим, что равенства (3.47) и (3.48) выполняются для I — 1. Из равенства (3.33), с применением индукции, а также из равенства (3.39) следует, что χι = D(yi-i * щ) = D(Dl~l(z * gi-i) * vt) = = DoDl-l(z^gi-i^Ul-l(vi)) = = D\z * Й-1 * и1~\щ)) = D'(s * /,),
208 Глава 3. Вэйвлеты на множестве Ζχ ι i i *· ι У —►— i { f > > Г */l *Л */з I *Л */р *0р —►- —►- —*- 12 |4 18 xi=D(z*/i) Ж2=^2(^*/2) Ж3 = 1»3(2*/з) T2 T4 Τ8 -*—- -*— -►— ; ; —►- —>- —►- 12' J2" |2" xi = Dl(z*fi) xp=DP(z*fp) yp = DP(z*gp) Т2г |2ρ |2ρ -*-— -►— ->■— */ι */2 */з fl*U(Xl) f2*U2{X2) h*U3(x*) \ 1 f г Φ ► *Λ */ρ *0ρ fi*Ul(xt)' ι fp*UP(Xp) 9p*Up(yP)' ь i { фаза анализа фаза синтеза Рис. 20 с учетом равенства (3.45). Аналогично, используя формулу (3.34) вместо соотношения (3.33), получаем ух = D(yi-i * щ) = D(Dl~l(z * й_г) * щ) = = i)oZ)/-1(^*5/_i*t7/-1(u/)) = = Ι?'(ζ * gi-ι * l/1"1^!» = Dl(z * a), с учетом равенства (3.46). Это завершает шаг индукции и, следоваг тельно, доказательство. ■ Поэтому на выходе 1-й ветви фазы анализа последовательности наборов фильтров получается Dl(z * //) для I = 1,2,... ,р. На выходе же последней ветви Dp(z * др). Это показано в левой половине рис. 20. Существует аналогичное описание фазы восстановления с помощью последовательности наборов фильтров. Лемма 3.22. Предположим, N делится на 2Р. Рассмотрим р-этапную последовательность наборов фильтров ui,vi,... ,up,vp, как в опреде-
3.2. Построение вэйвлетов на Zn : итерационный этап 209 лении 3.16 {за исключением того, что β данном случая, мы не требуем унитарности системных матриц β формуле (3.30)). Возьмем /ъ· ··?/?>#? из определения 3.20. Если сигнал на выходе 1-й ветви (1 ^ I ^ р) фазы восстановления (га. е. ветви, для которой следующая операция есть свертка cvi) есть х\, и все остальные входные сигналы равны нулю, то на выходе фазы восстановления получается fi*Ul(Xl). Если входной сигнал последней ветви (для которой следующая операция есть свертка сир) есть ур, и все другие выходные сигналы равны нулю, то на выходе фазы восстановления получается 9Р * Up(yp). Доказательство. Упражнение 3.2.6. ■ Поэтому полная рекурсивная р-этапная последовательность вэйвлет- фильтров может быть представлена нерекурсивной структурой, показанной на рис. 20. Напомним нашу исходную цель построения ортонормированных базисов пространства £2(Zn). Наломним также из определения 3.16, что на выходе фазы анализа нашего набора фильтров получается множество векторов Ж1, д?2? · · · > xp-i,xp, ур. По лемме 3.21 для каждого I = 1,2,... ,р xl(k) = Dl(z*fl)(k)=z*fl(2lk) = (z,R#kfi) (3.49) для к = 0,1,..., (Ν/21) — 1 по формуле 3.4. Аналогично ур(к) = Dp(z * gp){k) = ζ * gp(2pk) = (z, R2Pkgp) (3.50) для к = 0,1,..., (Ν/2Р) — 1. Как мы отметили выше, полное число компонент жъЖ2> · · · >#р,ур жтъ N. Можно надеяться, что это (по теореме 3.27) — компоненты разложения ζ по ортонормированному базису. Определение 3.23. Предположим, что N делится на 2Р, где р — положительное целое число. Пусть В есть множество вида для некоторых /ι,/г,... ,fp,9p € £2(Zn). Если В образует ортонорми- рованный базис £2(Zn), мы называем В р-этапным вэйвлет-базисом пространства £2(Zn). Мы говорим, что Д, /г,..., fp,gp порождает В. Наша цель — показать, что /ъ/г,·· · ,/р)<?Р, полученные согласно определениям 3.16 и 3.20, порождают р-этапный вэйвлет-базис. Ключевой шаг содержится в следующей лемме. Лемма 3.24. Пусть N делится на 2l, <#_χ 6 £2(Zn) и {^-^СГ1*-1 (3-51)
210 Глава 3. Вэйвлеты на множестве Zn -С 1-1> , С353) — оршонормированное множество, состоящее из Ν/21 * элементов. Предположим, что Щ,У1 6 ^(^n/21-1) u системные матрицы Αι(ή) в формуле (3.30) унитарны для всех η = 1,2— , (Ν/21) — 1. Положим h=9i-i*Ul-l{vi) и gi = gi-i*Ul-l{ui). ™ία {ЯлЛСГ'-'и^СГ-' (352) есгаъ ортонормированное множество из Ν/2ι~ι элементов. Доказательство. Из формулы (3.4) и предполагаемой ортонормиро- ванности множества (3.51) следует, что 5г-1 *№-i(2i_1fc) = (si-ь fltf-ijbfll-i) = Ί, если fc = О, 10, если Λ = 1,2,..., (ΛΓ/21"1) — 1 Вследствие теоремы 3.8, примененной к ^(Ζ^'-1)* наше предположение, что матрицы Αι(η) унитарны, гарантирует, что множество Mff'-'UMB'1-1 (3-54) есть ортонормированный базис ί2(ΖΝ/2ι-ι)' В частности, используя равенство (3.4), имеем vl*vl(2k) = (vl,R2kvl) = \1> еСЛИ к = °> (3.55) t0, если к = 1,2,...,(ЛГ/2') - 1, vi * u/(2fc) = (υι, В,2кЩ) = 0 для всех fc (3.56) и если к = 0, если fc = l,2,...,(JV/2')-l. Для доказательства ортонормированности множества (3.52) используем равенство (3.4), записанное для к = 0,1,..., (JV/2Z+1) — 1, (fi,R2'kfi) = fi*№lk) = = <й_! * Ul-\vi) * ΰ-ι * ^'"Ч^ХЗ1*) = = (91-1 * 9l-i) * (и1-г(щ * vt))(2lk), где мы использовали равенство (3.45), коммутативность и ассоциативность свертки, а также формулу (3.40). Выписывая последнюю свертку векторов, заключенных в скобки, получим ΛΓ-1 ifi,R*kfi) = Σ(9ΐ-ι *gi-i)(2lk-n)Ul-1(vl *щ)(п). n=0 ui*ul(2k) = {ui,R2kui) = l^ °"" " "'n /АГ/л1ч , (3.57)
3.2. Построение вэйвлетов на Ъ^: итерационный этап 211 Заметим, что Ul~l{vi * щ){п) = (vj * vi)(j), когда η = 2i_1j, и 0 в других случаях. Следовательно, сумма по всем η сводится к сумме по η вида 2i_1j, т. е. к сумме по j (после подстановки): Из формулы (3.53) следует, что fli-i*a-i(2,fc-2,"1j) = i-i/OI .^ /1, если j = 2fc, -^.*.l(2«(«-i))-{J; _ -W/2' i-l. Поэтому если fc = О, если fc = l,2,...,(JV/2*)-l (fi,R*kfi) = (vi*WU) = {10 в силу соотношения (3.55). Как и в упр. 3.1.1, из этого следует, что множество {R2lkfifk=o ортонормированное. Применение той же процедуры, но с д\ вместо /j, приводит к равенству (flb &Xk9i) = Ы * δ|)(2*) = < ' если к = О, если fc = l,2,...,(JV/2*)-l в силу соотношения (3.57). Это доказывает, что множество {R&kulJkJo является ортонормированным. Аналогично, из равенства (3.56) мы получаем </|,Л**Л> = (ч*й|)(2*) = 0 для всех к. Это доказывает, что {R^kfh^kSl) = 0 для всех j,fc, как и в упр. 3.1.1. Следовательно, множество в соотношении (3.52) — ортонормированное. ■ Этот результат может быть доказан с помощью DFT (упр. 3.2.7). Лемма 3.24 показывает, что мы можем разбить подпространство, порожденное сдвигами на 21~1 единиц одного вектора, на два ортогональных подпространства, каждое порожденное сдвигами другого вектора на 21 единиц. Здесь имеем обобщение теоремы 3.8, которое показывает, как это сделать в случае, когда исходное подпространство есть все пространство £2(Zjv), рассматриваемое как порождение всех сдвигов δ. Наиболее
212 Глава 3. Вэйвлеты на множестве Ζτν общий результат в лемме 3.24 дает нам возможность итерировать такое расщепление. Для описания этого удобна следующая терминология. Определение 3.25. Пусть X — пространство со скалярным произведением, U и V — подпространства X. Предположим, что U J_ V (т. е. для всех и € U и всех ν 6 V справедливо равенство (и, г;) =0). Определим С/Θ V = {и + υ : и € U,v € V}. (3.58) Мы называем U®V прямой ортогональной суммой U и V. В частности, если 17 Θ V = X, то £7 и V — подпространства Х,£/ J_ V, и каждый элемент χ е X может быть представлен в виде χ = и + υ для некоторых и е U и υ е V. Лемма 3.26. Пусть N делится на 2l,gi-i 6 £2(Zn) и {R2i-ik9l-l}k=0 — ортонормированное множество, состоящее из Ν /2ι~ι элементов. Предположим, что ui^vi € ^{^n/21-1) u матрицы Αι(η) в равенстве (3.30) унитарны для всех η = 0,1,..., (Ν/21) — 1. Пусть fi=9i-\*Ul-l(vi) и 9i =gi-i* Ul~l(щ). Определим пространства V.l+1 = spani^,-!^-!}^/2'"1)-1, (3.59) W-t = spm{R2,kfl}iNJ02l)-1 (3.60) V_, = spanii^jS2')-1. (3.61) и Тогда V_i0W-i = V-i+i. (3.62) Доказательство. По лемме 3.24 каждый базисный элемент i^^pz пространства V-i ортогонален каждому базисному элементу -R^j/i пространства W-i. Из линейности следует, что каждый элемент пространства V-i ортогонален каждому элементу пространства W-i. Это доказывает, что V-i J_ W-i. Покажем далее, что V-i и W-i являются подпространствами Vlf+i. Для этого заметим, что при к = 0,1,..., (Ν/21) — 1 Д**я(п) = т(п - 2*fc) = я_х * t/'-^zXn - 2*fc) = JV-1 = 53 Λ_ι(η - 2lk - m^MM. m=0
3.2. Построение вэйвлетов на Ъ^: итерационный этап 213 Так как U1 1(щ)(тп) = щ(т/21 1),если2г 1\т и О в других случаях, то сумма по т сводится к сумме по т вида 2l~lj и &fik9l(n) = Σ 9l-i(n - 2zfc - 21-1з)щ{э) = (Ν/21-1)-! = Σ UlU)R>2i-i(j+2k)9l-l{n)· j=0 Так как это справедливо для любого п, мы имеем (л^/г1-1)-! #2<fc№ = Σ UlU)R2^(j+2k)9l-l- j=o Таким же образом получаем, что (ΛΓ/ί-1)-! #2'*/* = Σ vlU)R2*-4j+2k)9l-l- (3.64) i=o Поэтому R2ik9l и fhlkfi принадлежат Vlj+χ, так как правые части равенств (3.63) и (3.64) —это линейные комбинации сдвигов <#_ι на целые числа, кратные 2'"1. Это означает, что они —линейные комбинации базисных элементов пространства VLj+i. Таким образом, базисные элементы R2ik9l пространства V-i и A^/i пространства W-i принадлежат пространству Vlj+i и, следовательно, это справедливо для всех элементов их линейных оболочек. Итак, V-i и W-χ — это подпространства VLf+i. Однако мы видели, что каждое из пространств V-i и W-i имеет размерность N/21, поэтому V-i Θ W_j имеет размерность N/2l~l — ту же, что и размерность VLj+i. Из этого следует, что V-i®W-i = Vlj+i. ■ Может показаться странным, что мы определяем пространства V-\ с отрицательными индексами. Это делается частично для того, чтобы пространства возрастали с увеличением индекса (т. е. VI j С Vlj+i), и частично для соответствия обозначению, которое мы будем использовать позже при рассмотрении вэйвлетов на множестве R. Лемма 3.26 содержит главный результат, требуемый для доказательства того, что на выходе фазы анализа р-этапной системы наборов вэйвлет-фильтров с вектором ζ на входе получаются коэффициенты ζ в р-этапном вэйвлет-базисе. Теорема 3.27. Пусть N делится на 2Р и щ, νι, U2, г>2>..., ир, υρ есть р-этапная последовательность вэйвлет-фильтров (определение 3.16). (3.63)
214 Глава 3. Вэйвлеты на множестве Ζτν V-p— W-/ fcl7 y-P+i w.p^ У ^ \т . / wY Рис. 21 —^У_2— γ0 W-/ 7V— ~^2(Z„) Введем /ι, /г,·· ·,/ρ,<7ъ #2> · · · > <7ρ как β определении 3.20. Тогда последовательность /ι, /г,..., /ρ, 5ρ порождает р-этапный вэйвлет-базис (определение 3.23) пространства £2(Ζν). Доказательство. Наша цель —доказать ортонормированность множества в определении 3.23. При ее наличии тот факт, что это множество содержит N элементов, означает, что оно является ортонормированным базисом пространства £2(Ζν). Так как /ι = ν\ и g\ = щ, теорема 3.8 гарантирует, что множество {i?2Ar/i}^=o U{^2fc<7i}L=o ^~ ортонорми- рованное. Тогда рассуждения по индукции и лемма 3.24 показывают, что множество {R24cfiJk=o ортогонально для каждого I = 1,2,...,р, а множество {i22Pfc#p}jk=o ортонормировано. Поэтому, чтобы доказать ортонормированность полного множества, единственное что остается, — это доказать ортогональность элементов из различных подпространств. Рассмотрим сначала некоторые элементы A^/j и i?2mj/m? где мы можем предположить, что т < I. Из леммы 3.26 следует (в терминах пространств V-i и W-i, определенных выше), что JWl 6 W-i С VLZ+1 С ... С V_m и R2rnjfm € W^_m. Также в соответствии с леммой 3.26 имеем VLm J- И^_т, откуда ii^/i ортогонален /22mj/m· Аналогично, для любого ί ^ ρ любой элемент R2Pk9p принадлежит пространству VLP С V-i и, следовательно, ортогонален любому R^kfl € W^-l· И Лучший способ понять то, что мы сделали, — это рассмотреть рис. 21, на котором изображены подпространства, определенные в лемме 3.26. Стрелки обозначают включение. Начиная справа, мы разбиваем £2(Zn) на два ортогональных подпространства: V-ι и W-χ. Мы сохраняем W_i, но разбиваем VI ι на ортогональные подпространства V_2 и 1У_2. Далее сохраняем W-2 и продолжаем процесс с V-2- Таким образом мы двигаемся до р-го этапа, где мы сохраняем оба подпространства: W-p и V-p. В гл. 4 и гл. 5 мы увидим, что такой подход может быть применен для построения вэйвлетов на множествах Ζ и R. Из равенств (3.49) и (3.50) следует, что на выходе фазы анализа р-этапного набора фильтров на рис. 20 с вектором на входе ζ получается
3.2. Построение вэйвлетов на Ъ^: итерационный этап 215 множество векторов, компоненты которого —это компоненты разложения ζ в р-этапном вэйвлет-базисе теоремы 3.27. В частности, согласно лемме 3.17, вэйвлет-коэффициенты вычисляются с помощью быстрого алгоритма. Для сравнения с последующими результатами введем такое определение: Определение 3.28. Пусть N делится на 2Р и ιΐι,νι, ...,up,vp есть р-этапная последовательность вэйвлет-фильтров (определение 3.16). Пусть последовательность /i,#i,..., /р, др такая же, как в определении 3.20. Для j = 1,2,... ,р и к = 0,1,..., (N/V) - 1 определим il>-j,k = R#kfj> (3·65) и <P-j,k = R&k9j- (3-66) Тогда в этих обозначениях р-этапный вэйвлет-базис, порожденный /ι, /2, · · ·, /ρ, 9ρ (теорема 3.27) имеет вид -νΙΨ-,*}^-1^*-,,^-1- (3-67) Элементы этого ортонормированного базиса называются вэйвлетпами на множестве Ζ#. Заметим, что в этой терминологии V-j = epan^-^Cfbi (3.68) W4 = span{^· „}W*)"1. (3.69) Мы предупреждаем читателя, что термин «вэйвлеты» в общем употреблении предназначен для вэйвлетов на множестве R. Вариант, рассмотренный в этой главе, который мы назвали вэйвлетами на множестве Zjv, есть его аналог для конечномерного случая. Этот случай может представлять независимый интерес и служит более простым введением к рассуждениям гл. 5. Упражнение 3.2.10(2) показывает, что определение термина «вэй- влет» в определении 3.28 не носит ограничивающего характера, но мы оставили его из эвристических соображений. Суммируя наши результаты, приведем следующий способ для создания вэйвлет-базиса пространства £2(Zn). Следствие 3.29. Предположим, что 2P\N. Пусть щ, v\,..., ир, υρ — р-этапная последовательность вэйвлет-фильтров {определение 3.16).
216 Глава 3. Вэйвлеты на множестве Zn Введем /ь /2, · ·., /р, <7ь#2? · · · >Яру как ранее в определении 3.20, и φ-j^y Ψ-p.k —как в равенствах (3.65) и (3.66). Тогда множество (3.67) есть р-этапный вэйвлет-базис пространства £2(Ζν). Оказывается, что все вэйвлет-базисы пространства £2(Ζν) получаются таким способом с помощью некоторой последовательности вэй- влет-фильтров (упр. 3.2.9.) Мы видели что для любого такого вэйвлет-базиса компоненты вектора ζ 6 £2(Ζν) в этом базисе могут быть вычислены быстро (грубо говоря, за iVlog2 N умножений, если N есть степень 2), исходя из фазы анализа диаграммы набора фильтров. Обратное преобразование также может быть вычислено с такой же скоростью через фазу восстановления диаграммы набора фильтров (упр. 3.2.4). Иногда полезно взглянуть на вэйвлеты с точки зрения DFT. Взяв DFT от обеих частей равенств (3.43) и (3.44) и применяя упр. 3.2.1(2), мы получаем ψ-ί,ο(η) = fj(n) = ui(n)u2(n)... uj-i(n)vj(n) (3.70) и <i>-jfl{n) = gj(n) = ύι(η)ύ2(η)... uj-i(n)uj(n). (3.71) Заметим также, что </>_,·,* = Rvkfi = R^k^-jfi (3.72) и Ψ-p.k = R>2Pk9p = #2Pfc¥>-p,0· (3.73) По лемме 2.13 DFT этих сдвигов даются равенствами фч>к(т) = e-a**n2i*/^_i,o(m) (3.74) φ-jjfyn) = e-«ma**/^_Jf o(m) (3.75) для всех j, к. Для уточнения обозначений заметим, что φ-j^ обозначает (Ψ-j^Yk, аналогично, ψ-^к обозначает (ip-j^Y· До сих пор мы не требовали взаимосвязи между фильтрами u^vi на различных этапах. Может далее показаться, что между ними нет никакой связи, потому что они —векторы различной длины. Однако следующая лемма дает способ получения фильтров щ,У1, удовлетворяющих критерию унитарности матриц Αι(η) в определении 3.16 для всех п, прямо из фильтров ui, vi, удовлетворяющих этому свойству для Αχ. Лемма 3.30 (лемма наложения). Предположим, что N делится на 2 ищ е £2(ΖΝ). 1) Определим и2 € £2(Ζ^/2) равенством и2(п) = щ(п) + щ (п + у) . (3.76)
3.2. Построение вэйвлетов на Ъ^: итерационный этап 217 {Заметим, что правая часть соотношения (3.76) периодическая с периодом N/2.) Тогда для всех т й2{т) = ui(2m). (3.77) 2) Предположим, N делится на 21. Определим щ € t2{%N/21-1) равенством щ(п)= Σ uJn+™). (3.78) fc=o ^ ' Тогда щ(т) = ui(2l-lm). (3.79) Доказательство. Чтобы доказать п. 1, запишем (N/2)-l й2(т)= J2 u2(n)e-2irinmKNM = п=0 (ЛГ/2)-1 (ЛГ/2)-1 n=0 n=0 по определению и2- В первой сумме последней строки пусть к = п, а во второй сумме пусть fc = η + JV/2. Мы получаем (АГ/2)-1 JV-1 Й2(т)= £ щ(А:)е-27Г^2т^ + £ m(fc)e-27ri^2m)/N=Ui(2m), fc=0 fc=JV/2 как требовалось. Пункт 2 следует из п. 1 по индукции (упр. 3.2.11). ■ Мы называем это леммой наложения, потому что U2 получается из и\ усечением щ как раз перед JV/2, наложением второй части на первую и суммированием. Она имеет следующее следствие. Следствие 3.31. Предположим, что N делится на2р и и, υ 6 £ (Ζ#) таковы, что матрицы А(п) в определении 3.7 унитарны для всех п. Пусть и\ = и и ν\ = υ. Для всех I = 2,3,...,ρ определим щ равенством (3.78), и νι аналогичным образом с ν\ на месте и\. Тогда til, vi, ί/2, г>2> · · · > ^р? ^р есгаъ р-этапная последовательность вэйвлет- фильтров.
218 Глава 3. Вэйвлеты на множестве Ζ ν Доказательство. Из равенства (3.79) следует, что 1-я матрица системы имеет вид ύι(η) ΰι(η) Μη) = Т2 ' ηχ{2ι-λη) νχ{2ι-ιη) Τϊ [ul(2^n+f) щ(2^п + ^) = A1(2i-1n), следовательно, она автоматически унитарна для всех п. ■ Поэтому если нам даны и и υ, удовлетворяющие условию теоремы 3.8, то мы можем получить ui, vi,..., up, vp автоматически, в соответствии со следствием 3.31, и тогда получим вэйвлет-базис с помощью способа 3.29. В этом случае мы говорим, что мы имеем вэйвлет- базис с повторяющимися фильтрами. Заметим, что для повторяющихся фильтров равенства (3.70) и (3.71) принимают, соответственно, вид, $-jfi{n) = u(n)fi(2n)u(4n)... u(2j-2n)v(2j-ln) (3.80) (p-j^n) = u(n)u(2n)u(4n)... u(V 2n)u[QP ln). (3.81) Вэйвлет-базисы такого типа особенно легко построить потому, что они требуют построения только одной пары η, ν таких, что системные матрицы унитарны. Упражнения 3.2.1. Предположим, ζ 6 £2(Ζν). 1) Если N — четное, доказать, что (D(z)y(n) = 1-(z(n) + z(n + ^)) для всех п. Подсказка: показать, что DFT по N/2 точкам вектора D(z) совпадает с DFT по N точкам (ζ + ζ*)/2 при ζ*(η) = (-1)ηζ(η). 2) Доказать, что (U(z)y(n) = z(n) для всех п. Заметим, что DFT в левой части принадлежит £2(1*2ν), в то время как в правой части — £2(Ζν). Несмотря на это, справедливо, что эти векторы (или их периодические продолжения) совпадают при каждом п. Подсказка: использовать равенства (2.48) и (2.49).
Упражнения 219 3.2.2. Предположим, z,w 6 £2(Zn). 1) Доказать, что (ζ * w)~= z*w. 2) Предположим, что N четное. Доказать, что (D(z))~= D(z). 3) Доказать, что (U(z))~= U(z). 3.2.3. Предположим, 1 ^ ρ ^ п. Доказать, что (п - 1)2η_1 + (η - 2)2п"2 + ... + (η - ρ + 1)2п_р+1+ + (η - р)2п"р + (η - ρ)2η~ρ ^ ηΤ. Подсказка: использовать индукцию по п. 3.2.4. Предположим, Ν = 2η, 1 ^ ρ ^ η. Доказать, что фаза восстановления р-этапного рекурсивного набора вэйвлет-фильтров может быть вычислена за не более AN + N log2 N комплексных умножений. Подсказка: так же, как и в фазе анализа, выполнить все в области Фурье. Вначале необходимо вычислить (£/(χι))Λ, (U(x2)Y, ..., (U(xp)Y и (U(yp)y. Но так как х\ 6 ^2(Zjv/2)> мы можем использовать упр. 3.2.1(2) для вычисления {U{x\)Y за не более чем ((п — 1)2п_1)/2 умножений; аналогично и для других векторов. Поэтому требуется такое же число умножений, как при вычислении IDFT от х\, Х2,..., хр и ур в лемме 3.17. Умножения, требуемые для вычисления DFT при операциях фильтрации, те же самые, что и для фазы анализа. DFT каждого U(yj) получается из yj без умножений, с помощью упр. 3.2.1(2). После этого мы имеем 5; чтобы найти ζ, мы выполняем IDFT. Итак, полное число вычислений то же самое, что и в лемме 3.17. 3.2.5. Доказать равенства (3.39) и (3.40). Подсказка: использовать индукцию. 3.2.6. Предположим, N делится на 2Р, и ui, vi,..., up, vp такие, что для каждого I = 1,2,..., ρ uhvi Εί2(ΖΝ/2ι-ι). Зададим /ь /2,..., /р, д\, дъ,..., др так же, как в определении 3.20. Для / = 1,2,...,ри wE t2(ZN/2i) определим Ai(w) = (U(... (U(U(w) * v{) * Щ-ι)...) * U2) * щ и Sj(w) = (£/(... (U(U(w) * uj) * n/_i)...) * U2) * tti. 1) Доказать, что для I = 1,2,... ,ρ
220 Глава 3. Вэйвлеты на множестве Ζτν Bt(w) = Ul(w) * 91- Подсказка: заметьте, что Ai(w) = Bi-\{U{w) * vfi и Bi(w) = = Bi-i(U(w) * щ), и примените индукцию. 2) Доказать лемму 3.22. Подсказка: проверьте, что если х\ — вектор на входе 1-й ветви фазы восстановления набора фильтров, и все остальные векторы на входе равны нулю, то на выходе получится Αι(χι). Аналогично: проверьте, что если ур — вектор на входе последней ветви и остальные векторы на входе равны нулю, то на выходе получится Вр(ур). 3.2.7. Доказать лемму 3.24, вычислив DFT и используя критерий в упр. 3.1.11(1). Подсказка: запишите 2*-l 2Z-1 £ |/Kn + fciV/2<)|2 = £ \Ы-1{п + кМ/21)\2\щ{п + кМ/21)\\ используя упр. 3.2.1(2). Разбейте сумму на сумму по к четным и сумму по к нечетным. Заметьте, что так как щ имеет период ЛГ/2^1, члены, содержащие г), постоянны в каждой из этих двух сумм. Вынесете постоянную за знак суммы и примените предположения леммы 3.24. Это даст ортонормированность множества {R2ikfi}kJQ . Аналогичные рассуждения используйте и в остальных случаях. 3.2.8. Предположим, X есть пространство со скалярным произведением, с подпространствами £7, V и W. Предположим, U ±V,U ±W hU®V = U®W. Доказать, что V = W. 3.2.9. Пусть N делится на 2Р и есть вэйвлет-базис пространства £2(Zn). Положим для I = 1,2,...,ρ л V-p = span{R2Pk9P}(kL^P)~1 ■ Также определим для I = 1,2,... ,р — 1 V-i = W-i-! Θ W-i-2 Θ. ·. Θ W-p θ V-p.
Упражнения 221 Доказать по индукции, что существуют д\ для ί = 1,2,... ,р — 1 и щ, vi для I = 1,2,... ,р — 1 такие, что 1) щ,У1 е ^C^n/21'1) Λ™ каждого ί; 2) матрицы Αι(η) в равенстве (3.30) унитарны при всех η и I; 3) fi=vugi =щ; 4) /z = да_х * Ul~l{vi),gi = й_х * £/г_1(иг) для 2 ^ / < р; 5) V-i =span{ii2i%z}i=o2 )_1 для / = 1,2,... ,р - 1. Замечание. Это доказывает приведенное в основном тексте утверждение о том, что каждый вэйвлет-базис получается из последовательности вэйвлет-фильтров с помощью способа 3.29. Подсказка: для / = 1 положим υ\ = /ι и получим щ, как в лемме 3.12, но с чередующимися и и υ. Тогда п. 1 справедлив для I = 1, отсюда справедлив п. 2, по теореме 3.8. Тогда положим д\ = и\. Если взять (Ν/2)-ι Χ-ι = span{iJ2^i}Lo то по теореме 3.8 получим W-\ J_ X-\ и 1У_! Θ Χ_ι = /2(Ziv) = W-i Θ VLi. Тогда из упр. 3.2.8 следует, что Χ-ι = V-i и п. 5 справедлив для / = 1. Теперь предположим, что результат справедлив для I — 1. Чтобы доказать это для ί, заметим, что fi 6 W_j С Vlj+i- Тогда, согласно предположению индукции (п. 5 для I — 1), существуют такие коэффициенты vi(k), к = 0,1,..., (JV/2l~l) — 1, что (JV/2'-1)-! fl = 5^ vi{k)R2i-.ikgi-i. k=0 Это определяет vj € ^(Zjy^-1) так> что /ί = fll-i * ^i-1(vj)· Из этого и из упражнений 3.2.1(2) и 3.1.11(1) мы получаем Разобьем эту сумму на две: с членами к = 2j и членами fc = 2j+l. Так как г); имеет период N/21"1, то множитель, содержащий щ, постоянен в каждой сумме, со значением |г)г(п)|2 в первой сумме и со значением \щ(п + N/2l)\2 во второй. Вынося общие множители и применяя к <#_χ упр. 3.1.11(1), мы приходим к равенству к>г(«)12ф(«+|) 2 = 2.
222 Глава 3. Вэйвлеты на множестве Ζτν Это позволяет нам выбрать щ так, что матрицы Αι(ή) унитарны для всех η по лемме 3.12 с переставленными и и υ. Для I < ρ определим дх = дХ-Х * и1~1(щ) и Х_г = span{%^j^2 )_1. (Когда I = р, элемент др всегда задан. Тогда ир может быть получено из др тем же способом, каким υι было получено из ft.) Тогда по лемме 3.26 получаем Vlj+i = Χ-ι Θ W-ι. Однако по определению VLj+i = V-i Θ W-ι. Из упр. 3.2.8 следует, что Х-1 = V-i. Это завершает индукцию. 3.2.10. 1) Пусть N кратно 2Р и U U Р· Предположим, / G £2{ZN). Доказать, что существует р-этапный вэйвлет-базис такой, что fi = f (обозначение как и в определении 3.23) тогда и только тогда, когда множество {R2tkf}kl0 ~ ортонормированное. Подсказка: утверждение «только тогда» следует непосредственно. Чтобы доказать это утверждение, пусть Σο = / и для j = 1,..., I определим 1/2 Σ, (-)-(έΣ|/(-^) \ к=0 ' Ч 7 Заметим, что T,j имеет период Ν/2β. Если {R2ikf}kll~1 ортонормированное множество, то из упр. 3.1.11(1) следует, что Σι(η) = 1 для всех п. Определим ui,... ,Щ-\ и v\ так, что uj = Ej_i/Ej,j = 1,2,..., ί — 1, и β| = Σ|_ι/Σ|, когда знаменатель не равен нулю. (Заметим, что, когда знаменатель равен нулю, числитель также должен быть равным нулю. В этом случае положим отношение равным единице.) Заметим, что uj — периодический вектор с периодом JV/2·7-1 и щ имеет период Ν/2ι~ι. Проверьте, что для всех п, и аналогично для v\. Это позволяет нам выбрать vi, V2i ..., vi-i, щ так, что матрицы Aj(n) унитарны для всех j = 1,2,...,/ по лемме 3.12. Мы можем выбрать некоторые допустимые фильтры tij+i, vj+i,..., up) vp и получить вэйвлет- базис, как в теореме 3.27. Заметим, что наши определения дают нам, используя равенство (3.70) и упр. 3.2.1(2), что ρ л л /ч Σο fl=UiU2...Ut-iVl = — после сокращения. Но Σο = / по определению, и Σ; = 1, как отмечено выше. (Заметим, что если T,j(n) = 0 для некоторых
Упражнения 223 j и η, то f(n) = 0 и по крайней мере одно Σ^_ι(η)/Σ^(η) равно нулю, поэтому мы имеем равенство и в этом случае.) 2) Предположим, N = 2П. Доказать, что если / 6 £2(Ζν) удовлетворяет равенству ||/|| = 1, то существует п-этапный вэйвлет-базис такой, что /п = /. Это означает, что по нашему скорее слабому определению каждый вектор длины единица есть вэйвлет. 3.2.11. Доказать лемму 3.30, п. 2. 3.2.12. Предположим, N делится на 2Р и ι*ι,νι,ιΐ2,^2? · · · ,up,vp есть р-этапная последовательность вэйвлет-фильтров, таких что для каждого I = 1,2,... ,р оба вектора щ и νι имеют самое большее К ненулевых компонент. Доказать, что компоненты ζ € £2(Ζν) в соответствующем вэйвлет-базисе могут быть вычислены за не более чем ΑΚΝ комплексных умножений. Подсказка: вычислите все прямо, без использования DFT. Каждая компонента каждой свертки требует для вычисления не больше К умножений потому, что фильтр имеет самое большее К ненулевых элементов. В рекурсивной структуре набора фильтров необходимо вычислить две свертки длины JV, две —длины ΛΓ/2, две —длины N/4 и далее до двух длины N/2Р. Замечание: Это показывает, что вэйвлет-преобразование в случае ограниченной длины фильтра может быть вычислено за число умножений JV, умноженное на фиксированную константу, что быстрее, чем FFT! Однако по сравнению с леммой 3.17 это дает преимущество, только если AKN < AN + N log2 JV, т. е. если К < 1 + (1/4) log2 N. Например, если все фильтры имеют самое большее 4 ненулевых элемента, это требует N > 212, для того чтобы это было предпочтительным. Однако если все фильтры имеют вещественные значения, и ζ также вещественный, то все эти вычисления — это вещественные умножения, что соответствует 1/3 комплексного умножения (упр. 2.3.1). 3.2.13. (Итерация в двумерном случае.) Предположим, 2*|iVi и 2*|]V2. Предположим, что для каждого I = 1,2,...,р мы задали Чо, ЧьЧ2, Чз € ^2(ΖΝ!/2'-ι х ZjNfc/tf-1)· Для 1 = 1.2,...,ρ определим -Αι(ηι,Π2), как в упр. 3.1.12(2), только с щу7П вместо nm, m = 0,1,2,3, iVi/2* вместо JVi и N2/2l вместо JV2. Предположим, что для каждых ίι, η\ и η<ι матрица А(пъп2) унитарна. (Такая последовательность фильтров называется двумерной последовательностью фильтров.) Определим /ι,ο = t*i>0, /ι,ι = tii,!, /1,2 = tii,2 и 0χ = tti>3. По индукции опреде-
224 Глава 3. Вэйвлеты на множестве Ζτν лим fij = gi-i * Ul 1(uiij), для j = 0,1,2 и дг = ^_ι * С/г Ч^м)· Положим для ί = 1,2,... ,р 2 В* = U^l*b2lfe/wbi=0^>...>(Ari/20-l>fe^,l,..M(JV2/2l)-l· j=0 Также определим Ср = {R2Pkii2Pk29p}k1=0ili...i(N1/2P)-lik2=0ili...i(N2/2P)-l· Доказать, что Si U В2 U ... U Вр U Ср есть ортонормированный базис Р(Ънх χ Ζ#2). Такой базис называется двумерным (дискретным) вэйвлет-базисом. 3.2.14. (Лемма наложения в двумерном случае.) 1) Предположим, Ν\ и JV2 — четные и щ 6 (?(Zni x Zjv2). Определим u2 € £2№ni/2 x ^N2/2) равенством ^2(ni,n2) =^i(nbn2) + ni (ni + -y 1^2) + + ni (ni,n2 + -yj + + tii ^ni + —,n2 + —J. В более общем случае предположим 2p|]Vi и 2Р| JV2. Определим uj 6 £2{%Ni/21-1 x Zjvj/2'-1) Для 1 ^ ' ^ Ρ равенством 2<-1_12<-1_1 ^ ^ Ari=0 Ar2=0 V ' Доказать, что u;(mi,m2) = ui(2i"1mi,2i"1m2) для всех 2 = 1,2,... ,р. 2) Предположим, 2V\N\ и 2p|iV2. Пусть ui,o,ui,i,ui,2 и ui,3 таг ковы, что матрица А\{п\, п2) (определенная, как в упр. 3.2.13) унитарна для всех (ηι,η2) 6 Zjvx χ Ζ#2. Для ί = 2,...,ρ определим 14,0,14,1,1*1,2 и г^,з, как в п. 1, но с щ^ вместо щ, для каждого j = 0,1,2,3. Доказать, что Αι{η\,η2) унитарная для всех ί,ηι и п2; это значит, что результирующие щ^ для j = 0,1,2,3 и I = 1,2,... ,р образуют двумерную последовательность вэйвлет-фильтров.
3.3. Примеры и применения 225 3.3. Примеры и применения Обобщим наш алгоритм построения вэйвлет-базисов пространства £2(Zn). Предположим, N делится на 2Р. Мы начнем с последовательности вэйвлет-фильтров щ, νι, U2, V2,..., Up, vp, т. е. с такой последовательности (определение 3.16), что для каждого / = 1,2,... ,р uuvi €ί2(ΖΝ/2ι-ι) и матрицы Г щ{п) ϋι(η) у/2 |М*+2Г) Vl[n+2[) унитарны для η = 0,1,..., (Ν/21) — 1 (или, что эквивалентно, для всех п). Если мы имеем ιΐι,νι € £2(Zn) такие, что А\(п) унитарная для всех п, мы можем получить последовательность вэйвлет-фильтров с повторяющимися фильтрами, определив 2/1-1 / kN \ 21'1-! , ч Щ(п) = Σ Ul ( п + ψΛ ) и ^(п) = Σ Vl ( п + 2^ ) " (3·82) Затем мы возьмем (определение 3.20) /ι = νι,</ι = tii, и по индукции для 2 ^ / ^ ρ Λ=α-ι*^|-1(*ι) и №=№-1*^"1Ы. (3.83) Это дает равенства (3.43) и (3.44). Мы определяем Φ-j^^R^kfj и ¥>-,·,* = Яа**ф (3.84) для j = 1,2,...,р. Тогда есть ортонормированный базис £2(Ζν), называемый р-этапным вэйвлет- базисом. Заметим: если мы имеем р-этапный вэйвлет-базис и 1 < j ^ р, то ( [j№-l,k}o<fc<(N/2l)-l J U {V>-i,*}o<*<(JV/2J)-l (3·85) образует j-этапный вэйвлет-базис. Фактически этот вэйвлет-базис в точности то же самое, что мы получили из j-этапной последовательности вэйвлет-фильтров щ, υχ,..., Uj, Vj с помощью приведенного выше алгоритма. Предположим, j 6 {1,2,... ,р}. Заметим, что г β г(АГ/2^)-1 _ rn . X(N/V)-1
226 Глава 3. Вэйвлеты на множестве Zn есть ортонормированный базис подпространства V-j (ортонормиро- ванность следует из того, что множество (3.85) ортонормированное и V-j = span{/22jfc0j}fc=o по определению). Следовательно, ортогональная проекция P-j{z) вектора ζ 6 £2(Ζν) на V-j (см. определение 1.97) есть (Ν/2ή-1 Ρ-,(ζ)= Σ {*>Ψ4*)ψ-ά* (3·86) k=o Мы называем P-j(z) частичным восстановлением на уровне —j вектора ζ. Оно представляет аппроксимацию ζ, использующую только N /2J членов в полном разложении ζ по значениям j-этапного вэйвлет-базиса. Как можно было ожидать, это приближение все более и более грубое для больших значений j. Мы рассматриваем P-j(z) как приближение ζ «на уровне — j>. Ортогональная проекция Q-j(z) вектора ζ на W-j = spaniV'-j,*}^2^"1 = spani^^}^/2^"1 определяется как (ΛΓ/2')-1 q-j(z)= ς μ-μ)ι>-μ· (3·87) Напомним (лемма 3.26), что есть ортонормированный базис пространства V-j+i (так же, как и {^-j+i^j^2^""1); следовательно, (N/2i)-l (Ν/2ή-1 для г € £2(Zn). Отсюда P4+1(z) = P-j(z) + Q4(z) (3.88) для j = 2,3,...,p. Для удобства положим Vo = ^ (Ζ#), и пусть Pq есть тождественный оператор (т. е. Po(z) = г для всех ζ). Тогда (3.88) справедливо даже для j = 1, так как {¥>-i,fc}*=o~ U {Φ-ι^}^ο~ = = {-R2fc^i}fc=o~ ^{^2Ar^i}fc=o~ есть ортонормированный базис ^2(Zjv) по
3.3. Примеры и применения 227 теореме 3.8. Мы рассматриваем Q-j(z) как содержащую «подробности на уровне —j + 1», необходимые для перехода от P-j(z), приближения к ζ на уровне —j, к P-j+i(z), приближению уровня — j + 1. Пусть 1=1 Тогда, применяя равенство (3.88) по индукции, мы получаем ζ = Ρο(ζ) = = Ρ-ι(ζ) + Q-i(z) = P-2(z) + Q-2(z) +Q-\(z) и так далее, до тех пор, пока з ζ = P4{z) + Y^Q-i{z) = P4{z) + R4{z) 1=1 для каждого j = 1,2,... ,p (это также видно из того факта, что множество (3.85) есть ортонормированный базис £2(Ζν)). Поэтому R-j(z) есть погрешность аппроксимации ζ ортогональной проекцией P-j(z). В этом разделе мы сначала рассмотрим некоторые примеры вэйвлет- базисов. Позже мы дадим описание некоторых основных примеров сжатия информации. Пример 3.32 (система Хаара). В упр. 3.1.2 мы рассмотрели систему Хаара первого этапа. Здесь мы рассматриваем общую р-этапную систему Хаара, полученную из первого этапа с помощью описанной процедуры, использующей повторяющиеся фильтры. Предположим, N делится на 2Р. Определим "'ЧтгТг0'0··-0) И "1 = (^·-75·°·° °) Мы видели в упр. 3.1.2, что щ, υ\ образуют вэйвлет-базис первого этапа. Определим ηι,νι формулами (3.82) для 2 ^ I ^ р. Можно показать (упр. 3.3.1(1)), что u/(0) = -^=, ut(l) = -5= и щ(п) = 0 при г^п^^П-!, 1 /ί\ ! (3.89) -д , υι(1) = - -д и νι(η) = О при 2 ^ η ^ ( ^гт J - *· (3.90)
228 Глава 3. Вэйвлеты на множестве Ъщ Тогда равенства (3.83), (3.89), (3.90) и метод индукции (упр. 3.3.1(3)) приводят к сотношениям ί2-'/2, η = 0,1,...,2|-1-1, fi(n) = | -2-*/2, η = 21"1,21-1 + 1,..., 2х - 1, (3.91) [θ, η = 2ι,2ι + 1,...,Ν-1 и 9/ (пч = /2_1/2' « = 0,1,...,2г-1, W \θ, п = 2г,2' + 1,...,ЛГ-1 (3.92) для I = 1,2,...,р. Следовательно (упр. 3.3.1(4)), для к = 0,1, ..., (Ν/21) - 1 f 2-'/2, η = 2^,2'*: + 1,... ,21к + 21~1 - 1, ф-1>к(п) = < -2~г/2, п = 21к + 2'"1,2гА; + 2'"1 + 1,..., 21к + 21 - 1, [θ, n = 0,l,...,2lk-l;2lk + 2l,...,N -1 (3.93) Г2"г/2, n = 2lk,2lk+l,...,2lk + 2l-l, Ψ-ιΜη) ~ jQ n = 0,l,...,2/A;-l;2iA; + 2i,2i + l,...,iV-l. (3.94) Для системы Хаара восстановление на уровне I имеет простую интерпретацию. Можно показать (упр. 3.3.1(5)), что для 21к^п^21к + 21-1 P-i(z)(n) = i \z{2lk) + г(2гА; + 1) + ... + z{2lk + 21 - 1)]. (3.95) Другими словами, Ρ-ι(ζ) получается из ζ заменой 21 последовательных значений ζ в точках η = 21к, 21к+1,..., 21к+21 — 1 их средним значением. Мы рассматриваем P-i(z) как ζ, взятое с разрешением 21. Из равенства (3.88) Q-i содержит информацию, необходимую для уточнения приближения с разрешением от 21 до 2'-1. Пример 3.33 (вэйвлеты Шеннона). В примере 3.10 мы рассмотрели базис Шеннона первого этапа. Обозначив здесь и и υ через щ и νχ соответственно, определим щ,щ 6 ^2(Ζ#/2»-ι) формулами (3.82). Тогда равенство (3.79) и его аналог для щ дают нам равенства Мп) - { ( /о N . . ΖΝ Λ 0, 2<+1 -* ^ 2|+1 Л^ . N , W . . Ν Λ 2/+ι 2ΐ+ι
3.3. Примеры и применения 229 щ(п) = < ( /о п^ ^ N л 3N ^ ^ N 1 О, 2ι+ι х' 2г+1 лг злг ^ η ^ -ггг — 1. 2*+ 2ι+ι Так как щ и г); имеют период Ν/21 *, то эти формулы определяют их при всех п. Определим ft и <# формулами (3.83), и ^-j,fc и Ψ-j.k формулами (3.84) для j = 1,2,... ,р (где JV делится на 2Р+1). Тогда ^-ι,ο = #1 и £_i,o = tii. Для / ^ 2 упр. 3.2.1(2) приводит (упр. 3.3.2) к следующим соотношениям: 2</2 JL < п < К _ ι $-l,o(n) = < 2И1 Ν Ν ЛГ-гГ<п<ЛГ--ит-1, о, 2' _/v_ 21+Γ 2«+ι > 2ι 21 - 1 (3.96) £-|,о(п) = ·{ (2г/2, O^n^^-l.JV-^^n^JV-l, (3.97) 2i+i 2ί+ι Поэтому -0—1,0 отлично от нуля только для JV/2 наивысших частот, ^>_2,о отлично от нуля только для следующих N /А наивысших частот и т. д.; φ-pja равняется нулю всюду, кроме самых низких N/2Р частот. По лемме 2.13 аналогичные замечания справедливы для сдвигов ф-j^k и ¥>-p,fc. Поэтому частичное восстановление P-P(z) состоит точно из N/2Р наименьших частот ζ,Ρ-ρ+ι(ζ) из наименьших JV/2P_1 частот и т. д. В этом случае частичные восстановления даются отфильтрова- нием высоких частот различной степени. Пример 3.34 (вещественные вэйвлеты Шеннона). В примере 3.11 мы построили вещественный вэйвлет-базис Шеннона первого этапа. Это была незначительная модификация базиса Шеннона первого этапа, которая имела то преимущество, что все базисные векторы были вещественными. Применяя к этому базису ранее описанную итерационную процедуру, мы можем получить р-этапный вещественный вэйвлет-базис, структура которого очень близка к структуре базиса Шеннона. Пусть щ и υι — это unv в примере 3.11. Определим щ и υι формулами (3.82), fi и gi — формулами (3.83), а φ-j^ и ψ-j.k — формулами (3.84). Тогда V>-i,o = ν и ^-ι,ο = й такие, как приводятся в примере 3.11. Для I > 1 вычисление (упр. 3.3.3), аналогичное вычислению для вэйвлетов
230 Глава 3. Вэйвлеты на множестве Ζχ Шеннона в примере 3.33, показывает, что '2(*-ΐ)/27 2'/2, Ψ-ι,ο(η) = { О, Ν Ν п - 2«+1 '" 2ι+1 ' Ν Ν . N 21 ' AT N 2' ' Ν 2ТЙ (3.98) и φ-ΐ,ο(η) = { 2ι'\ _2('-ΐ)/2<, О, Ν 0 < η < 2Ί+Ϊ ~ 1> °<η< ЗГИ"1' JV JV- η = 2i+i JV_ 2г+1 ' + 1 <ηί$ JV-1, (3.99) η = Ν- N 2'+ ι ' Ν , Λ ^ ^ AT N -1. На рис. 22 приводятся графики нескольких 4-уровневых функций из вещественного базиса Шеннона ij)-j,k, 3 = 1,2,3,4 и (р~4,к для N = 512. На каждом уровне параметр сдвига к был выбран так, что базисная функция отцентрирована в середину графика. Заметим, как хорошо пространственно локализована высокочастотная базисная функция ^-1,128 (рис. 22, о). Соответственно ^-2,64 относительно хорошо локализована (рис. 22, б), ψ-з,32 менее локализована (рис. 22, в), a ·0_4,ΐ6 (рис. 22, г) и <£>-4,ΐ6 (рис. 22, д) и того меньше. Заметим, что вэйвлет- базис 4-го уровня состоит из 256 сдвигов на 2 функции V'-i.Oi 128 сдвигов на 4 функции ф-2,о, 64 сдвига на 8 функций ^-з,о> 32 сдвига на 16 функций ^_4,о- На рис. 22, е мы нарисовали амплитуду DFT вэйвлетов "ф-\,к первого поколения (так как они связаны один с другим сдвигом, по лемме 2.13 их DFT имеют одинаковую амплитуду в каждой точке). Мы уже узнали, что график должен выглядеть именно таким образом, по определению вектора ν = ψ-\$ в примере 3.11, но мы включили этот график для сравнения с примером 3.35.
3.3. Примеры и применения 231 На рис. 23 изображен пример сигнала ζ и его амплитуды DFT. Сигнал ζ (рис. 23, а) есть fO, (Кп^127, 1.7 sin z(n) = < 0, 256 ^ η ^ 383, (3.100) вт(Ц|^), 384 ^n ^447, t0, 448 ^n^ 511. На первом из интервалов, где ζ не равно тождественно нулю (128 ^ η ^ 255), частота колебаний ζ возрастает, если мы движемся слева направо. Также колебания ζ более быстрые на втором нетривиальном интервале (384 ^ η ^ 447). Поэтому мы ожидаем, что в ζ имеется существенный набор частот. Это отражается на амплитуде DFT сигнала ζ (рис. 23, б): две крайние возвышенности показывают существование низкочастотной компоненты (из первого интервала, хотя амплитуда DFT не говорит, какой вклад в сигнал вносит эта низкочастотная составляющая), а две внутренние возвышенности показывают, что существует высокочастотная компонента (из второго интервала). Рисунок 23 нужно сравнить с графиками на рис. 24, которые показывают 4-уровневые коэффициенты вещественного вэйвлета Шеннона сигнала ζ в равенстве (3.100) (ζ снова изображен на рис. 24, а). На рис. 24, е изображено значение (z, <£-4,fc) в точке 24fc, так как ψ-^k = В>2*к94 центрировано вокруг точки 24fc. Этот график показывает коэффициенты вэйвлетов с наименьшей частотой; заметим, что мы получаем довольно большие значения около левой части первого интервала 128 ^ η ^ 255, где встречаются значения ζ с наименьшей частотой. Рисунки 24, б-д показывают другие уровни вэйвлет-коэффициентов, каждый раз со значением вэйвлет-коэффициента {ζ,ψ-j^) над точкой 2Jfc, где соответствующий вектор вэйвлет-базиса отцентрирован. На рис. 24, д мы видим (изображение (ζ, ψ-^)), что следующие, более высокочастотные коэффициенты главным образом еще сконцентрированы в левой части первого интервала. Рисунок 24, г показывает в некоторой степени более высокочастотные коэффициенты {ζ, ^>_з,*), которые главным образом сконцентрированы в правой половине интервала, содержащего низкочастотную компоненту. Это следствие возрастания частоты в ζ в направлении слева направо в первом интервале. Два наиболее высокочастотных множества коэффициентов (ζ, ψ-ι^) и {z^-2,k) на Рис· 24,5 и 24, в принимают наибольшие значения на или около второго интервала 384 ^ η ^ 511. Исключение составляют несколько больших высокоча-
232 Глава 3. Вэйвлеты на множестве Ζ# 50 100 150 200 250 300 350 400 450 500 0.5 0.4 0.3 0.2 0.1 0 -0.1 -0.2 -0.3 -0.4 -0.5 1 - - - I I I 1 1 "ЮТИИИтЯЩЩЩуП I 1 I 1 1 1 1 1 L RF"* 1 1 1 1 1 1 - - - - - - - - 1 1 0 50 100 150 200 250 300 350 400 450 500 a) 6) 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 r) 0.25 0.2 0.15 0.1 0.5 0 -0.05 -0.1 -0.15 -0.2 -0.25 ( 1 - ι ) 50 1 1 1 1 1 1 1 1 II Λ 1 Π -j 1 1 1 All Ί V Η Η 4 ^ 1 1 1 1 1 1 1 1 ll 100 150 200 250 300 350 400 450 500 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 - - - - - - I I I I I I I I I I Ό 50 100 150 200 250 300 350 400 450 500 л) β) Рис. 22. α) V-1,128, 6) V-2,64, β) V-3,32, г) V-4,i6, д) y>-4,i6, е) |^-ι,*|
3.3. Примеры и применения 233 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 ■0.6 -0.8 -1 "■' 1 1 "1 Г"" Л Л Л \ / ' 1 ' ■ у 1 1 1 1 1 Ι llllJIIIIIII IWHINIIIIIII llli 111 ill ι Rlllllllll 11 № III U1 Pi' -J 1 J -1 -J ^ I J ] Η ] V V V ι ' ι» «Ι ιί ι 1 1 1 1 ...J I 1 L I 1 50 100 150 200 250 300 350 400 450 500 β) 6) Рис. 23. a) ζ, б) амплитуда ζ стотных вэйвлет-коэффициентов около конечной точки η = 255 первого интервала; это следствие более быстрого скачка ζ в результате усечения графика при η = 255. Главным является то, что вэйвлет-коэффициенты означают не только, какие частотные уровни составляют сигнал, но какова локализация в сигнале различных частот. Поэтому вэйвлет- коэффициенты дают одновременно пространственную и частотную информацию о сигнале. Роль вэйвлет-коэффициентов на различных уровнях получает дальнейшее освещение на рис. 25, который показывает частичные восстановления в вещественном базисе Шеннона вектора ζ на рис. 24, а. Рисунок 25, а—это график вектора 31 ρ-*(ζ) = "%2(г,<Р-*,к)<Р-А,к, fc=0
234 Глава 3. Вэйвлеты на множестве Ζτν 50 100 150 200 250 300 350 400 450 500 -ι 1 1 г- _1 I I 1_ _ι ι ι ί- 0 50 100 150 200 250 300 350 400 450 500 а) б) 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 -0.6 -0.8 -1 Ч — Ί Г Ι Τ 1 Г "Τ 1 - - .... -_ .. . · ч^ Г~~ '" "■"·"-' ·;.,·< - - - ι ι ι ι ι ι ι ι ι ι 0 50 100 150 200 250 300 350 400 450 500 50 100 150 200 250 300 350 400 450 500 ») г) 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 ■0.6 ■0.8 -1 ;~~ _,,, I I I 1 о~^х. *' I I I 1 - - - • - '''"* - - _ 1 О 50 100 150 200 250 300 350 400 450 500 50 100 150 200 250 300 350 400 450 500 Д) е) Рис. 24. о) ζ, б) (z,t/>-i,fc), β) (г,ф-2,к), г) (г,ф-3,к), d) (z,tp-i<k), e) (ζ,ψ-^k)
3.3. Примеры и применения 235 J I I L О 50 100 150 200 250 300 350 400 450 500 |АД/\Л^*-^\ЛЛ/\^>АЛ] _1 I !__1 I I I ΙΟ 50 100 150 200 250 300 350 400 450 500 а) б) 1 0.8 0.6 0.4 0.2 π -0.2 -0.4 -0.6 -0.8 —1 I I I I I 1 " Г ;... / Lw Г 111! V III I I I I I 1 I 1 I 1 -| -| Η ν- 1 ™ΊΓ J -\ Η Ί 1 1 1 L 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 Β) Γ) 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 A) e) Рис. 25. a) P-a(z), 6) P-3(z), в) P-2(z), г) P-i(z), d) P0(z), e) E=z-P0(z)
236 Глава 3. Вэйвлеты на множестве Ζ ν определенного формулой (3.86). Поэтому рис. 25, α показывает долю вэйвлет-разложения ζ, соответствующую коэффициентам, изображенным на рис. 24, е. Грубо говоря, это члены в вэйвлет-разложении с наименьшей частотой. Вот почему доля вектора ζ, которая наилучшим образом восстановлена этой частью разложения, есть часть графика от η = 128 до η = 170, где ζ колеблется относительно медленно. Частичное разложение, соответствующее коэффициентам на рис. 24, <?, есть 31 как определено формулой (3.87). Из равенства (3.88) следует, что следующий уровень проекции есть P_3(z) = Q-4(z) + P-4(z). Вектор Р-з(г) изображен на рис. 25, 5; он состоит из членов вэйвлет- разложения ζ, соответствующих коэффициентам на рис. 24, д и 24, е. Поэтому он содержит информацию о двух низкочастотных уровнях вэйвлет-разложения. Это проявляется на рисунке как появление следующего низкочастотного уровня колебаний вектора ζ. На рис. 25, β мы изображаем вектор Р_2(г), соответствующий коэффициентам на рис. 24, г-е, который содержит следующий низкочастотный уровень. На рис. 25, г показан вектор Ρ_ι(ζ), содержащий все вэйвлет-коэффици- енты наивысшей частоты из рис. 24, б. Заметим, что наиболее медленно колеблющийся сегмент ζ (128 ^ η ^ 255) воспроизводится относительно верно, за исключением правого перепада (точки около η = 255), где разрыв требует для синтеза членов более высокой частоты. Несколько неожиданно Ρ-ι(ζ) лучше осуществляет аппроксимацию ζ около правой крайней точки области 384 ^ η ^ 447, чем около левой крайней точки. Это аналогично ситуации на рис. 6: хотя формула (3.100) говорит о более быстром колебании около крайней правой точки, это не может быть видно в дискретном масштабе η = 0,1,2,... ,511. В дискретном масштабе ζ фактически состоит из более низкочастотных значений около η = 447, чем около η = 384. Рисунок 25, <? изображает Pq(z), который мы определяем, как в формуле (3.88), равенством Pb{z) = Q-1{z) + P-1(z). Конечно, Ρο(ζ) дает полное восстановление ζ по всем его вэйвлет-коэф- фициентам, поэтому он должен быть равен ζ. Мы выполнили вычисления вэйвлет-коэффициентов и частичные восстановления в MATLAB'e, и рис. 25, д тестирует наш алгоритм. На первый взгляд создается впечатление, что он совпадает с оригиналом на рис. 24, а. Чтобы быть
3.3. Примеры и применения 237 более точными, мы используем MATLAB для изображения разности Ε = ζ — Pq{z) на рис. 25, е. Что наиболее важно отметить, на этом рисунке есть символ х10~14 над левым верхним углом квадрата, ограничивающего график. Он показывает, что шкала на оси у должна быть умножена на 10~14. Поэтому погрешность восстановления в каждой точке меньше, чем 10~14; эта погрешность есть следствие погрешности округления в результате невозможности компьютером производить вычисления с бесконечной точностью. Рисунок 25 дает нам почувствовать информацию о ζ, которая приносится каждым уровнем вэйвлет-коэф- фициентов. Пример 3.35 (вэйвлеты Добеши на Ζ#). Система вещественных вэйвлетов Шеннона была спроектирована для очень резкого разбиения частотного масштаба. Поэтому вещественные вэйвлеты Шеннона имеют хорошо локализованные DFT. Ингрид Добеши построила семейство вэйвлетов, которые очень хорошо локализованы в пространстве — лучше, чем по частоте. Ее построение первоначально было выполнено для множеств Ζ (см. разд. 4.7) и R (см. разд. 5.5), но здесь мы адаптируем это построение к Ζ#. Мы предполагаем, что N делится на 2Р при некотором целом положительном ρ и что Ν/2Ρ > 6. Пусть Μ = Ν/2. Наша цель — построить вектор и 6 ^2(Zjv) такой, что и имеет только б ненулевых компонент и удовлетворяет равенству (3.15). Тогда мы применяем лемму 3.12 для нахождения такого ν, что {R2kv}k^o U {^2k^}k^o есть вэйвлет-базис первого этапа пространства i2(Zjv). Начнем с тривиального тождества к cosz ^—J + sinz {-χ)) = 1 для всех п. скрывая его, имеем 308 Ы+5cos Ыsin Ы+10cos Ы8ш Ы+ +i0cos4 Ыsm Ы+5cos Ыsm Ы+sin (тг> Раскрывая его, имеем cos1 V7V/ WV / WV / V7V/ V/ (3.101) Определим Κ») = cos10 (_) + 5COS8 (_) sm2 (-) + lOcos* (-) sm4 (-) Заметим, что (7г(п + М)\ /πη , π\ . /πη\ ___j=cos(_-b-j=-sm(-)
238 Глава 3. Вэйвлеты на множестве Ζ ν и аналогично , % _ч . /7г(п + М)\ /πη\ sin I — 1 = cos I — ι . В результате 6(n + M) = 10cos4(^)sin*(^) + . *> 2 (πη\ . с /πη\ , . in /πη\ Поэтому из равенства (3.101) следует, что Ь(п) + Ь(п + М) = 1 для всех п. Выберем и 6 £2(Zn) так, что |й(п)|2 = 2Ь(п). (3.102) Тогда мы имеем |й(п)|2 + \й(п + М)\2 = 2 для всех η = 0,1,..., Μ - 1, что является условием (3.15). Мы могли бы получить равенство (3.102), положив и = (\/2Ь)~ (где у/ТЬ — это вектор, значение которого в точке η равно у/2Ь(п)), но это не даст нам вектор и, который не равен нулю только в шести точках. Вместо этого, следуя работе Стрихортца (1993), запишем: Мп) - cos« (=) [cos* (=) + W (=) sin2 (=) + W (=)] - -α* (=)[(«>(=)-,/**>· (=))' + + (5 + 2,/U>)cos2(=)sm2(=)]. Определим й 6 ^2(Ζ#) равенством «(η) = Var5"'»/"cos3 (=) [cos2 (22) - v/iOsin2 (22) + + 1У
3.3. Примеры и применения 239 В результате оказывается справедливым равенство (3.102). Применяя формулу Эйлера и тождества для двойного угла, мы можем записать . \/5 + 2νΊθ . /2πη\ + г 2 ""(-ДГ) Чтобы упростить обозначения, положим α = 1->/Ϊ0, 6=1 + >/Ϊ0 и с=у5 + 2</Н). Далее, используя формулу Эйлера, получаем й(п) = ^ 6-2πί4η/ΛΓ(62πίη/ΛΓ + χ)3χ χ Г^ + t ί62πιη/Ν + e-2nin/N\ + £ fgmn/N _ e-2nin/N\\ ^ Можно видеть, что о й(п) = J] ^(^)е"2^Ы/ЛГ (3. ЮЗ) для некоторых чисел u(0),u(l),... ,u(5). Перемножение и выполнение алгебраических операций дают u = (u(0), n(l), u(2), u(3), u(4), u(5), 0,0,..., 0) = Ц(6 + с, 2а + 36 + Зс, 6а + 46 + 2с, 6а + 46 - 2с, 2а + 36 - Зс, 6 - с, 0,0,..., 0). Следовательно, мы получаем u € £2(Zn) такой, что справедливо равенство (3.15). Определим υ € £2(Ζν) равенством v(k) = (—1)*_1η(1 — fc) для всех fc, что совпадает с (3.22), так как и — вещественный вектор. По лемме 3.12 векторы и и υ порождают вэйвлет-базис первого этапа для £2(Zn). В явном виде υ(0) = _u(l), υ(ί) = u(0), i;(JV - 4) = -u(5), ν(ΛΓ - 3) = u(4), г;(ЛГ - 2) = -u(3), г;(ЛГ - 1) = u(2) и г;(п) = 0 для 2 ^ η ^ Ν — 4, т. е. ν = (-u(l), u(0), 0,0,..., 0,0, -u(5), u(4),-u(3), u(2)). (3.104) Следовательно, г; также имеет шесть ненулевых компонент.
240 Глава 3. Вэйвлеты на множестве Zn Заметим, что эти рассуждения справедливы для любых N > 6, при этом η и г; на различных уровнях имеют ту же самую форму, единственное различие —это число нулей в векторах и и υ. Таким образом мы можем определить u\,v\ € £2(Zjv) такого вида, затем аналогично U2,V2 6 ^2(Ζ^/2) и далее до up,vp € £2(ZN/2p-i) (напомним, мы предположили, что N/2P есть целое число, большее 6). Это как раз то, что мы должны были получить по лемме наложения (лемма 3.30). Теперь мы следуем способу 3.29 для получения р-этапного вэйвлет- базиса: положим /χ =v\,gi = щ, затем определим fi и д\ для 2 ^ Ι ^ ρ с помощью формул (3.83) и ф^^,<Р-р,к с помощью формул (3.84). Мы называем результирующую ортонормированную систему вэйвлет- базисом Добеши D6 для £2(Ζν), где «6» означает количество ненулевых компонент векторов и и υ. Добеши построила аналогичный базис с 2L ненулевыми компонентами для каждого положительного целого L (см. упр. 3.3.4 для случая Д2, который есть вэйвлет Хаара, и упр. 3.3.5 для D4). Для различных значений L эти вэйвлеты обладают немного разными свойствами, как мы увидим, когда вернемся к этой теме с точки зрения множества R в гл. 5. Случай N = 512 и ρ = 4 иллюстрируется на рис. 26. Эти графики следует сравнить с соответствующими графиками для вещественного вэйвлет-базиса Шеннона на рис. 22. На рис. 26, а изображен вэйвлет первого поколения ψ-\^2%, который такой же, как /2256^1- Однако, так как вектор имеет только шесть ненулевых компонент, мы сузили графики до малого интервала 245 ^ η ^ 265, содержащего эти ненулевые компоненты. Графики имеют непрерывный вид, потому что мы использовали на рис. 26, а-д соединение точек прямыми линиями для логичного воспроизведения, потому что такие графики лучше смотрятся на шкале из 512 узлов. Однако на рис. 26, а мы обозначили на графике значения «ж», чтобы показать, что ф-\^2ъ имеет только шесть ненулевых компонент. Второе поколение вэйвлета, изображенное на рис. 26, б, имеет 16 ненулевых значений, третье поколение вэйвлета на рис. 26, β имеет 36 ненулевых компонент. Для этих случаев мы продолжили сужение до малой части всей области 0 ^ η ^ 511. Для рис. 26, г и 26, д, которые изображают ^-4,16 и ^-4,16 соответственно, мы нарисовали всю область так, чтобы ясно была видна степень локализации. Эти векторы имеют 76 ненулевых компонент. Проводя сравнение с рис. 22, мы видим, что вэйвлеты D6 гораздо более резко локализованы в пространстве, чем вещественные вэйвлеты Шеннона. С другой стороны, вэйвлеты D6 не так точно локализованы по частоте, как мы можем видеть, сравнивая рис. 26, е (показывающий амплитуду DFT первого поколения вэйвлета
3.3. Примеры и применения 241 270 0.5 0.4 0.3 0.2 0.1 0 -0.1 -0.2 -0.3 -0.4 -0.5 1 1 1 1 г till! Г |- ι г 1 - 1\ / \ / \ "i Ι Ί 1 -J 1 ί Ί Ι/ Ί ι ι. , ι ι ι 0.5 0.4 0.3 0.2 0.1 0 -0.1 -0.2 -0.3 -0.4 —Ι— 230 235 240 245 250 255 260 265 270 275 280 285 ο 50 100 150 200 250 300 350 400 450 500 Β) Γ) Ο 50 100 150 200 250 300 350 400 450 500 Ο 50 100 150 200 250 300 350 400 450 500 Д) β) Рис. 26. α) V-1,128, 6) V-2,64, β) V-3,32, г) V-4,i6, d) φ-4,ιβ, e) |t/>-i,fc|
242 Глава 3. Вэйвлеты на множестве Zn D6) с рис. 22, е (соответствующий график для вещественного вэйвлета Шеннона первого поколения). На рис. 27 изображены вэйвлет-коэффициенты D6 вектора я, предварительно определенного и изученного на рис. 24. Коэффициенты изображены в том же порядке, как и на рис. 24. Мы видим, что главные особенности двух наборов рисунков аналогичны; вэйвлет-коэффициенты наивысшей частоты (значения (г, ψ-ιιΤΙ)) наибольшие около наиболее быстро колеблющихся значений ζ, и когда мы движемся вниз по уровням (и, следовательно, по частоте), вэйвлет-коэффициенты чувствительны к более медленно колеблющимся областям ζ. Поэтому две различные вэйвлет-системы (вещественная система Шеннона и D6), хотя и построенные исходя из различных принципов, дают, грубо говоря, одну и ту же информацию. Основная разница в двух совокупностях состоит в том, что большинство вэйвлет-коэффициентов D6 равны нулю, вместо того чтобы быть малыми, как в случае вещественного базиса Шеннона. Это происходит потому, что вектор ζ имеет большие интервалы, на которых он равен нулю. Если мы имеем вэйвлет φ такой, что все его ненулевые значения встречаются на интервале, где ζ тождественно равен нулю, то вэйвлет-коэффициент <^^jfJb>=^^(n)^j,Jb(n) η должен быть равен нулю, потому что при каждом η либо ζ(η) = 0, либо Ψόι* = О· В этом состоит преимущество такого сильно локализованного базиса. На рис. 28, α изображен вектор (1-^, О^п^бЗ, , ч 0, 64^ п^ 255, ζ(η) = < 5 - ^ , 256 ^ η ^ 319, I 64 ΙΟ, 320 < η < 511. На рис. 28, б-е представлены вэйвлет-коэффициенты D6 вектора ζ на различных уровнях. Заметим, что вэйвлет-коэффициенты наивысшей частоты (соответствующие ф-\^ 0 ^ к ^ 255) имеют всего несколько существенно больших значений, соответствующих пикам двух клиньев ζ. По мере того как мы движемся вниз к низким частотам (которые имеют большее количество ненулевых компонент), мы видим более значительные величины в несколько более обширной области, чем область, где ζ отличен от нуля. Рассматривая этот пример, можно сделать два важных вывода. Первый состоит в том, что на рис. 28, е-е мы видим
3.3. Примеры и применения 243 и—ι—ι—ι—ι—ι—ι—ι—ι—г 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 в) г) 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 Д) е) Рис. 27. α) ζ, б) (г,ф-1,к), в) (г,ф-2,к), г) {г,ф-3,к), d) (z,V>-4,k>, e) (z,<p-4,k)
244 Глава 3. Вэйвлеты на множестве Ζτν 50 100 150 200 250 300 350 400 450 500 а) ~1 i i i i i i i i Г _j ι ι l_ _j ι ι l 50 100 150 200 250 300 350 400 450 500 6) 0.5 0.4 0.3 0.2 0.1 0 0.1 ■0.2 ■0.3 -0.4 0.5 1 ι 1 ι r ι .j i.j i ... r ,— , ,— , ,, - - - * - - - - 1 1, I. 1 J- 50 100 150 200 250 300 350 400 450 500 50 100 150 200 250 300 350 400 450 500 r) 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 Д) e) Рис. 28. α) ζ, б) (г,ф-1,к), β) {г,ф-2,к), г) (z,i/>-3,k), д) (z,V>-4,k>> e) {ζ,ψ-^к)
3.3. Примеры и применения 245 ненулевые коэффициенты около правого пика картины (около η = 511), вопреки тому факту, что последняя ненулевая компонента ζ приходится на η = 319. Это потому, что мы работаем со множеством Ζ#, где каждый вектор следует рассматривать как периодический с периодом N. Поэтому мы должны предполагать, что ζ имеет другой клин точно справа от рисунка; это является обоснованием того, что вэйвлеты, локализованные около правого края, дают ненулевые коэффициенты. Этого случая больше не будет, когда мы рассмотрим вэйвлеты на Ζ в гл. 4. Второе главное заключение, которое мы делаем, рассматривая рис. 28, состоит в том, что очень мало вэйвлет-коэффициентов D6 существенно большие. Поэтому не нужно брать очень много членов в Бб-разложении для очень точной аппроксимации ζ. Основная информация о ζ может содержаться в небольшом числе значений вэйвлет-коэффициентов D6. Это приводит к одному из главных применений вэйвлетов, называемому сжатием. На рис. 29-34 приводятся результаты некоторых основных экспериментов по сжатию. На каждом рисунке левый верхний график —это сигцал 2, который принадлежит ^2(Zsi2) и, следовательно, полностью представляется 512 числами. Для любого ортонормированного базиса В = {vj}51J) мы имеем 511 Мы выбираем некоторое число К, количество членов разложения, которое мы будем использовать для нашего сжатого приближения z\ например, на рис. 29 положено К = 20. Мы сортируем коэффициенты {z>Vj) в порядке убывания амплитуды и используем только члены в разложении, соответствующие К наибольшим амплитудам. Другими словами, если S есть множество, состоящее из К значений j, для которых |(z, Vj)\ наибольшее, мы аппроксимируем ζ вектором ™ = !>>*>>;. (З.Ю6) (В случае «совпадений», когда более чем один коэффициент имеет одно и то же значение, мы выбираем для использования член с наивысшим индексом до тех пор, пока не получим точное число членов К. Различный выбор среди таких совпадений даст различную картину, но одинаковую относительную погрешность, как описано ниже.) Это наилучшая возможная аппроксимация, использующая только К членов в равенстве (3.105). Результаты такой процедуры сжатия для четырех различных базисов изображены на рис. 29-34. Четыре используемых базиса — это базис
246 Глава 3. Вэйвлеты на множестве Ъ^ и 1 1 1 г J I I I I I L 50 100 150 200 250 300 350 400 450 500 а) 0 50 100 150 200 250 300 350 400 450 500 б) —ι 1 1 1 1 1 1 1 1 г 50 100 150 200 250 300 350 400 450 500 j ι ι ι ϋ -0.2 I 1 1 ιι Λ J Ι Ι Ι L Ο 50 100 150 200 250 300 350 400 450 500 β) г) 1\. 0.8 0.6 0.4 0.2 Ο -0.2, 50 100 150 200 250 300 350 400 450 500 д) τ 1 1 1 τ- ι \ · Ι tl 100 150 200 250 300 Рис. 29. fc = 20, г) α) Исходный вектор, б) базис Фурье, А; = 20, в) вэйвлет Шеннона, вэйвлет D6, А; = 20, д) евклидов базис, А; = 20, е) относительная погрешность
3.3. Примеры и применения 247 1 0.8 0.6 0.4 0.2 0 П9 1 1 1 1 1 L \ ■\ А 1 ■\ ι 1 1 1 1 \ \ - \ \ ι ι ι ι ι ι ι ι ι ι 1 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) ι ι 1 1 1 1 1 1 1 г J I I L 1 0.8 0.6 0.4 0.2 0 л о ι ι г—ι—г \ 1 \ ■\ ■\ ■\ ι ι τ—τ—г \ \ \ - I I I I I I I I I 1 в) г) η 0.81 0.6 L 0.4 L 0.2 ί oL -0.2 L I 1 0.8 0.6 0.4 0.2 0 0? 1 1 1 1 1 [ \ -\ -\ ■ v , 1 | | | l ι ι 1 1 1 \ \ \ \ ; ι | | | l 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 д) «0 Рис. 30. а) Исходный вектор, б) базис Фурье, А; = 75, в) вэйвлет Шеннона, к = 75, г) вэйвлет D6, А; = 75, д) евклидов базис, А; = 75, е) базис Фурье, А; = 200
248 Глава 3. Вэйвлеты на множестве Zn О 50 100 150 200 250 300 350 400 450 500 О 50 100 150 200 250 300 350 400 450 500 б) 50 100 150 200 250 300 350 400 450 500 О 50 100 150 200 250 300 350 400 450 500 г) 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 ■0.6 ■0.8 -1 А 1 " - - - - - - Ι Ι Ι Ι ίΐ'"'1 III I III I 111 1 II В III I 1 Ifll lUlU III III У 1 1 1 - - - - m 1 I 1 - - - - ¥ 1 I 1 ' Г 14 Π ι ι ι ι 50 100 150 200 250 300 350 400 450 500 A) 50 100 150 200 250 300 350 400 450 500 Рис. 31. α) Исходный вектор, б) базис Фурье, А; = 75, в) вэйвлет Шеннона, А; = 75, г) вэйвлет D6, А; = 75, д) евклидов базис, А; = 75, е) относительная погрешность
3.3. Примеры и применения 249 О 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) т 1 1 1 1 1 1 г О 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 ») г) 1.5 1 0.5 О -0.5 -1 -0.5 I I Г^ 1 I I I 1П ΙΎΓΙΙΙ Γ Ί Yl "=~Г I I I I I I I Г О 50 100 150 200 250 300 350 400 450 500 0 20 Д) Рис. 32. а) Исходный вектор, б) базис Фурье, А; = 50, в) вэйвлет Шеннона, к = 50, г) вэйвлет D6, А; = 50, д) евклидов базис, А; = 50, е) относительная погрешность
250 Глава 3. Вэйвлеты на множестве Zn 10 5 0 -5 -10 1 1 ■ г- ■ ι ι I I I I 1 1 1 1 1 г Л Л ■ IV 1 I I I I 1 -5l· -10 к 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) 1 1 1 1 г | 1 . 1 1 1 L 1 1 1 1 г ι ι ι ι ι -10 5 О -5| -10 О 50 100 150 200 250 300 350 400 450 500 л) Рис. 33. а) Исходный вектор, б) базис Фурье, А; = 8, в) вэйвлет Шеннона, А; = 8, г) вэйвлет D6, А; = 8, д) евклидов базис, А; = 8, е) относительная погрешность
3.3. Примеры и применения 251 О 50 100 150 200 250 300 350 400 450 500 О 50 100 150 200 250 300 350 400 450 500 б) 50 100 150 200 250 300 350 400 450 500 в) 50 100 150 200 250 300 350 400 450 500 г) τ^ι 1 1 1 1 1 1 1 г 50 100 150 200 250 300 350 400 450 500 w0 10 20 30 40 50 60 70 80 90 100 д) Рис. 34. а) Исходный вектор, б) базис Фурье, А; = 16, в) вэйвлет Шеннона, А; =16, г) вэйвлет D6, А; =16, 3) евклидов базис, А; = 16, е) относительная погрешность
252 Глава 3. Вэйвлеты на множестве Zn Фурье, вещественный базис Шеннона, базис Добеши D6 и евклидов базис. Для евклидова базиса это сжатие обнуляет все значения, меньшие К наибольших значений (по абсолютной величине). Для базиса Фурье возможно для аппроксимации w иметь ненулевую мнимую часть, но так как мы выбрали исходный вектор ζ вещественным, то мнимая часть есть часть погрешности в w. Поэтому мы рисовали только вещественную часть в аппроксимации w для базиса Фурье. Мы определяем погрешность аппроксимации ζ вектором w как || ζ — w ||, и относительную погрешность как \\ζ — HI/INI· В последнем случае погрешность нормируется модулем вектора ζ, задавая тем самым абсолютную шкалу, которая может использоваться для сравнения сжатия различных сигналов. На рис. 29, е, 31, е, 32, е, 33, е и 34, е мы дали относительную погрешность для каждого типа базисов как функцию К числа членов в аппроксимации. Четыре графика соответствуют четырем базисам следующим образом: • сплошная линия: базис D6, • пунктирная линия: вещественный базис Шеннона, • штриховая линия: базис Фурье, • штрих-пунктирная линия: евклидов базис. На рис. 29, α исходный вектор ζ — это тот же «двойной клин», что на рис. 28, а. Для рис. 29, б-д мы берем К = 20. Относительные погрешности для этих случаев таковы: • рис. 29, 5, базис Фурье: относительная погрешность 0.2431, • рис. 29, в, вещественный базис Шеннона: относительная погрешность 0.1694, • рис. 29, г, базис D6: относительная погрешность 0.1238, • рис. 29, <?, евклидов базис: относительная погрешность 0.7767. Рисунок 29, е изображает графики относительных погрешностей. В этом случае мы представляем только графики для 1 ^ К ^ 300, потому что для К > 300 графики совсем маленькие и их не видно. На рис. 30, б-е мы рассматриваем тот же исходный вектор ζ, но увеличиваем К до 75. Относительные погрешности равняются: • рис. 30, 5, базис Фурье: относительная погрешность 0.1223, • рис. 30, в, вещественный базис Шеннона: относительная погрешность 0.0650, • рис. 30, г, базис D6: относительная погрешность 5.55 χ 10~15, • рис. 30, <?, евклидов базис: относительная погрешность 0.2709. Эти результаты подтверждают наши интуитивные выводы из вида графиков, что базис Добеши D6 очень хорош при сжатии ζ. Это имеет место из-за сильной локализации вэйвлетов D6 и потому что ζ равен
3.3. Примеры и применения 253 нулю в большом числе точек. В результате многие из вэйвлет-коэффици- ентов D6 равны нулю или очень малы. Когда мы осуществляем сжатие, мы опускаем соответствующие члены из разложения (3.105), но так как эти коэффициенты очень малы, это производит малый эффект. С другой стороны, сжатие D6 не портит членов в частях графика, где ζ равен нулю. Интересно, что разложение D6 фактически точно при К = 75 членах, хотя вектор ζ имеет 128 ненулевых компонент. Это происходит потому, что многоуровневая структура вэйвлет-базиса позволяет одному низкочастотному вэйвлету сохранять информацию о значении вектора во многих точках. Вещественные вэйвлеты Шеннона, будучи до некоторой степени локализованы, достаточно хороши, но не так, как базис D6. Базис Фурье встречает трудности при наличии больших скачков, потому что базисные экспоненты е2штп/м — это очень гладкие функции. Требуется много больших высокочастотных членов для синтеза большого скачка, что приводит к слабому сжатию. Далее это продемонстрировано на рис. 30, е, где мы рассматриваем сжатие Фурье с К = 200 членами. Даже при наличии такого большого числа членов аппроксимация недостаточно хороша около больших скачков ζ, и относительная погрешность в этом случае есть 0.0512. Сжатие с помощью евклидова базиса дает очевидный результат: оно сохраняет К наибольших значений. Это дает точное восстановление этого конкретного ζ при К > 128, но при малых значениях К аппроксимация не очень хороша. На рис. 31 мы рассматриваем сигнал ζ рис. 23, 24 и 27. Этот сигнал более сложен для сжатия, поэтому мы взяли К = 75, и относительная погрешность на рис. 31, е показана на всем интервале 1 ^ К ^ 512. Для К = 75 относительные погрешности равняются: • рис. 31, б, базис Фурье: относительная погрешность 0.5889, • рис. 31, в, вещественный базис Шеннона: относительная погрешность 0.2062, • рис. 31, г, базис D6: относительная погрешность 0.0763, • рис. 31, <?, евклидов базис: относительная погрешность 0.5393. Вектор ζ характеризуется обеими локализациями — пространственной (будучи нулем на большей части своего графика) и частотной (будучи составлен в основном из двух главных частотных рядов), как показано на рис. 23, б. Поэтому оба вэйвлет-базиса хороши при его сжатии. Базис D6 имеет преимущество, будучи способным более эффективно игнорировать области, где ζ равен нулю. На рис. 32, а изображен сигнал z(n)=sin(nL5/64).
254 Глава 3. Вэйвлеты на множестве Zn Это —чирп с равномерно возрастающей частотой. Относительная погрешность для К = 50 равняется: • рис. 32, б, базис Фурье: относительная погрешность 0.4396, • рис. 32, в, вещественный базис Шеннона: относительная погрешность 0.1781, • рис. 32, г, базис D6: относительная погрешность 0.3473, • рис. 32, <?, евклидов базис: относительная погрешность 0.8972. Этот сигнал пространственно не локализован, поэтому базис D6 не дает очень хорошего сжатия. Вещественный базис Шеннона дает хорошее сжатие по причине его частотной локализации. Базис Фурье не очень плох по той же причине, и евклидов базис дает ужасный результат, как и следовало ожидать. Преимущества вэйвлет-базисов при сжатии некоторых сигналов с очень высокой нормой сжатия (т. е. при использовании очень малого числа членов разложения) показаны на рис. 33, где г(п) = (п-256)е-(п-256)2/512. Этот вектор (с точностью до постоянного множителя — производная функции Гаусса) хорошо локализован как по пространству, так и по частоте. Поэтому даже с К = 8 вэйвлет-базисы дают очень хорошее сжатие ζ. Относительные погрешности равняются: • рис. 33, б, базис Фурье: относительная погрешность 0.6399, • рис. 33, в, вещественный базис Шеннона: относительная погрешность 0.0168, • рис. 33, г, базис D6: относительная погрешность 0.0636, • рис. 33, <?, евклидов базис: относительная погрешность 0.8915. На рис. 34, α вектор ζ есть (1, 32^п^95, , ч 12, 132 ^п^ 259, zln) = < |4, 416 ^п^ 511, 1Д другие η между 0 и 511. В этом случае ζ пространственно не так хорошо локализован, и ввиду резких скачков в шагах, содержащих перепады он так же плохо локализован и по частоте. В результате вэйвлет-сжатия и сжатие Фурье обладают одинаковым качеством. Относительные погрешности для К = 16 равняются: • рис. 34, 5, базис Фурье: относительная погрешность 0.2389, • рис. 34, в, вещественный базис Шеннона: относительная погрешность 0.2406,
3.3. Примеры и применения 255 • рис. 34, г, базис D6: относительная погрешность 0.2566, • рис. 34, <?, евклидов базис: относительная погрешность 0.9374. Ни один базис не является наилучшим для всех типов рассмотренных сигналов. Однако если мы ожидаем, что сигнал, с которым мы имеем дело, обладает в некоторой степени обеими — пространственной и частотной — локализациями, то вэйвлет-базис будет весьма подходящим для сжатия такого сигнала. В частности, он лучше выявляет локальные особенности, чем базис Фурье, и также он лучше при распознавании частотных характеристик, чем евклидов базис. С приходом цифрового телевидения и с передачей цифровых рисунков через Интернет возник огромный интерес к сжатию изображений (т. е. двумерных сигналов). Как описано в Прологе при описании цифровых изображений отпечатков пальцев, изображение представляется маленькими квадратами, называемыми пикселями, каждый из которых задает значения шкалы яркости, описывающие потемнение этого пикселя (это справедливо для черно-белого рисунка; в случае цветного рисунка то же самое делается для каждого из первичных цветов, на которые раскладывается рисунок). Например, если изображение разбивается на решетку из 200 пикселей на 250 пикселей, то имеется 50000 пикселей значений шкалы яркости, так что изображение представляется в компьютере в виде вектора длины 50 000. Это большое количество данных, поэтому его необходимо сжать. Мы можем сделать это с помощью двумерных версий методов, которые мы рассмотрели. (Для описания двумерного DFT см. упр. 2.1.15-2.1.18. Для двумерного вэйвлет-базиса в случае Ζ^ χ Ζ#2 см. упр. 3.1.12 и 3.2.13.) Такой пример показан на рис. 35. В левом верхнем углу дается исходное изображение, портрет Саймона Занг. В верхнем правом углу мы видим результат сжатия с помощью вэйвлетов Добеши, сохраняющего в этом случае 10 процентов наибольших членов в вэйвлет-разложении. Портрет в левом нижнем углу дает результат, когда сохраняется 5 процентов наибольших вэйвлет-членов. Результат, сохраняющий 10 процентов наибольших членов в разложении Фурье, показан в нижнем правом углу. Странно выглядящие колебания — это, очевидно, отражения волн от резкого края рубашки Саймона. Этот портрет более размыт, чем остальные. Чтобы лучше почувствовать разницу, сконцентрируемся на некоторых локальных особенностях. Хороший пример дает пуговица на одежде Саймона (одна пуговица, около правой руки, другая пуговица не так ясно видна на исходном изображении). Пуговица гораздо более резко и ярко видна далее на портрете с 5-процентным вэйвлет-сжатием, чем на портрете с 10-процентным сжатием Фурье. Основное соображе-
256 Глава 3. Вэйвлеты на множестве Ζτν ние — это то, что элементы базиса Фурье не локализованы; они имеют постоянную амплитуду во всех точках. Поэтому для любого га скалярное произведение {z, Fm) (в качестве примера записанное для одномерного случая, но в принципе то же самое, что и для двух измерений) подвержено воздействию части ζ около локальной особенности (пуговицы). Поэтому, когда мы сжимаем изображение, удаляя члены в разложении Фурье, большая часть информации, касающаяся пуговицы, теряется; в результате пуговица получается размытой. В вэйвлет-базисе ввиду его пространственной локализации относительно малое число членов затронуто пуговицей, поэтому для ясного восстановления пуговицы достаточно лишь нескольких членов в разложении. Примеры на сжатие, которые мы здесь дали, имеют очень общую природу. Они достаточно просты для того, чтобы их воспроизвести (за исключением рис. 35) студенту, хорошо знакомому с вычислительными пакетами, такими как MATLAB или Mathematica (приведенные примеры были выполнены с помощью MATLAB'a). He предполагается, что это реальные примеры сжатия сигналов. Например, JPEG — обычно используемый технический стандарт для сжатия изображений — сначала разбивает картинку на более мелкие блоки. Затем разложение Фурье (фактически вариант, известный как разложение с помощью косинусного преобразования) сжимается в каждом блоке. Это дает возможность приобретения некоторой степени локализации в разложении Фурье. Наг пример, если весь блок в основном постоянный (как фон за Саймоном), он может быть представлен очень малым числом членов. Однако выбор размера блока в значительной степени произволен, в то время как при использовании вэйвлетов различные масштабы приобретают различные степени локализации естественным образом. Одна проблема, связанная с JPEG, состоит в том, что так как сжатия осуществляются независимо на прилежащих блоках, то они не обязательно гладко продолжаются при переходе через границы между блоками. Это соображение лежит в основе блочных артефактов стандарта JPEG при сжатии изображения отпечатков пальцев на рис. 2 в Прологе. Так как вэйвлет-разложение передает естественную многоуровневую структуру, изображение вэйвлет-сжатия отпечатка пальцев на рис. 3 не имеет блочных линий. Это было одним из соображений, чтобы контракт ФБР по сжатию отпечатков пальцев был присужден группе, использующей вэйвлеты. Более реалистичный пример сжатия изображения показан на рис. 36. Рисунок 36, α дает исходное несжатое изображение «Лена». Этот файл содержит 262159 байт данных. Рисунок 36, б дает то же самое изобраг жение, сжатое примерно в 10 раз с использованием JPEG (см. Пролог,
3.3. Примеры и применения 257 Рис. 35. (Любезно предоставлен Шанхьяном Зангом.) а) Несжатая фотография, б) вэйвлет-сжатие, с/= 0.10, в) вэйвлет-сжатие, с/=0.05, г) сжатие Фурье, с/= 0.10 где проводится дискуссия о JPEG). Файл для изображения на рис. 36, б содержит 26264 байт данных. При таком сжатии изображение представлено с хорошей визуальной точностью. Однако при более высоком коэффициенте сжатия возникают проблемы. Рисунок 36, в дает JPEG- сжатие примерно в 40 раз (используя 6646 байт данных), а рис. 36, г дает JPEG-сжатие примерно в 103 раза (2533 байт). Некоторая потеря качества изображения может быть видна на рис. 36, в, например, около женского плеча. На рис. 36, г потеря качества изображения очень серьезная. Программа JPEG не предназначена для качественной работы при таком экстремальном коэффициенте сжатия. Рисунок 36, д дает изображение Лены с сжатием примерно в 40 раз (6506 байт, по сравнимо с рис. 36, в), используя программу сжатия на основе вэйвлетов. Рисунок 36, е дает вэйвлет-сжатие примерно в 103 раза (2562 байт, сравнимо с рис. 36, г). Особенно при более высоких коэффициентах сжат тия методы вэйвлет-сжатия дают лучшие изображения. Рисунки 36, б-г были созданы с помощью коммерчески доступной программы WinJPG v.2.84. Рисунки 36, д и е были выполнены с использованием про-
258 Глава 3. Вэйвлеты на множестве Zn Д) е) Рис. 36. а) Исходное изображение, б) JPEG10-1, в) JPEG40-1, г) JPEG103-1, д) вэйвлет-сжатие 40-1 (любезно предоставлено Summus Technologies, Inc.), е) вэйвлет-сжатие 103-1 (любезно предоставлено Summus Technologies, Inc.)
Упражнения 259 граммы Summus 4U2C 3.0, предоставленной автору Бьорном Яавертом и Summus Technologies, Inc. Была проведена работа по включению методов вэйвлет-сжатия в коммерческий продукт цифровой обработки сигналов. Кстати, дама на рис. 36 — это Лена Сьёблом. Ее портрет был оцифрован и использован в одной из первых статей о сжатии изображения. Так как это изображение стало стандартным, то в более поздних статьях оно использовалось для сравнений. Многие специалисты в области сжатия изображений не знали о происхождении этой фотографии. На самом деле она — часть большой фотографии на развороте журнала Playboy за ноябрь 1972 г. Так как область анализа сигналов более ориентирована на людей разного пола, то были предложения по использованию и других изображений. (Отметьте, каким образом авторы настоящей книги избежали разногласий, поместив рис. 35.) Однако сделать это оказалось сложно, потому что часто хотелось бы сравнивать новые методы со старыми, которые использовали изображение Лены. Как сказал один студент, «является это политически некорректным или нет, изображение Лены должно оставаться на благо науки». Недавно Лена лично встретилась со специалистами по анализу сигналов и была почетным гостем на большом симпозиуме по цифровой обработке сигналов. Упражнения 3.3.1. 1) Доказать равенства (3.89) и (3.90). 2) Вывести, что Ul-1(vl)(n) = { 75' П = 0' - — η - 2ί_1 0, n = l,...,2/-1-l, 2*-1 + 1,..., Ν - 1 J7i"1(u/)(n) = { '^, »«0,2»-ι, 0, n = l,...,2i-1-l, 2,-1 + l,...,JV-l. 3) Доказать равенства (3.91) и (3.92). 4) Доказать равенства (3.93) и (3.94). 5) Доказать равенства (3.95).
260 Глава 3. Вэйвлеты на множестве Ζτν 3.3.2. Доказать равенства (3.96) и (3.97). Подсказка: применить индукцию по I. Из упр. 3.2.1(2) и равенств (3.83) мы имеем ψ-ι,ο(η) = fi(n) = gi-i(n)vi(n). По индукции 9i-i{n) отлично от нуля только для О ^ η ^ (Ν/21) - 1 и Ν - Ν/21 ζ η ^ Ν - 1, так что нам необходимо рассмотреть только эти области. Для 0 ^ η ^ (Ν/21) — 1 мы рассматриваем области 0 ^ η ^ (Ν/2ι+ι) - 1 и Ν/2ι+ι ζ ^ η ^ (Ν/21) — 1 отдельно и применяем формулы для щ иг)/, приведенные выше, вместе с индукционным предположением. Аналогично, мы разбиваем область N — Ν/21 ^ η ^ Ν — 1 на две: JV-JV/2* ^ η ^ JV-JV/2'+1-l и Ν-Ν/2ι+ι ^ η ^ ЛГ—1. В первой из этих областей г); есть \/2 и uj есть 0, и наоборот — во второй из этих двух областей. Простейший способ убедиться в этом — заметить, что щ и щ имеют период 2г_1 и, например, первая область эквивалентна по модулю 21~1 области Ν/21 ^ η ^ (ЗЛГ/2г+1) - 1, которая по формуле, приведенной в тексте, есть подмножество области, где щ есть у/2, и щ есть 0. 3.3.3. Доказать равенства (3.98) и (3.99). 3.3.4. Предположим, N — четное. Показать, что вэйвлеты Хаара (с точностью до умножения вектора на —1) могут быть получены, используя сначала тождество cos Ы+81п Ы = и продолжая дальше, как в примере 3.35. 3.3.5. Предположим, что N/2P есть целое, большее чем 4, где р — некоторое положительное целое число. Продолжая как в примере 3.35, но начав с тождества О»* (5)+** (*))'-'■ получить базис £2(Zn) р-го уровня, для которого щ и v\ имеют только четыре ненулевые компоненты. Единственный ответ: ui = ^(l + V3,3 + V3,3-V3,l-V3,0,0,0,...,0), о η = ^ (-з - \/з, ι + Vz,o,o,... ,ο,ο, -ι + \/з,з - л/з). о Это вэйвлеты Добеши D4 пространства £2(Ζν)·
Глава 4 Вэйвлеты на множестве Ζ 4.1. Пространство £2(Ζ) До сих пор мы рассматривали сигналы (векторы) конечной длины, которые мы периодически продолжали на все множество целых чисел. В этой главе мы будем оперировать бесконечными сигналами, которые в общем случае непериодические. Более точно, рассмотрим последовательности комплексных чисел, заданные на множестве целых чисел, вводя обозначение ζ = (... ζ(-2), ζ(-1), ζ(0), ζ(1), ζ(2),...), или, более кратко, ζ = (z(n))nez. Чтобы над последовательностями можно было выполнять осмысленные операции (такие, что рассматриваемые ряды будут сходиться), значения ζ не должны быть очень большими. Сосредоточим наше внимание на последовательностях, которые суммируемы с квадратом, это означает, что __ ^2\ζ(η)\2 < +оо. Сделаем следующие замечания, чтобы пояснить это свойство, так как ранее мы не рассматривали рядов, суммируемых на множестве Z. Определение 4.1. Ряд комплексных чисел ^ w(n) сходится, если nez последовательность симметричных частичных сумм +N SN= Σ W(n) n=-N сходится как последовательность комплексных чисел (см. определение 1.10). Мы говорим, что ряд Σιν(η) сходится абсолютно, если сходится ряд Σ |w(n)l· nGZ По многим соображениям более естественно требовать сходимость N О обеих сумм Σ w(n) и ^ w(n) при N —► +оо. Однако для нашей η=0 η=-ΛΓ последующей работы с рядами Фурье определение 4.1 более подходящее. Если члены ряда — неотрицательные вещественные числа, то два понятия сходимости совпадают (упр. 4.1.2(2)).
262 Глава 4. Вэйвлеты на множестве Ζ Если ряд Σ w(n) сходится абсолютно, то он сходится (упр. 4.1.1(3)). n€Z Если ряд состоит из положительных членов, как в случае ^ |^(η)|2, n€Z то его частичные суммы возрастают, и поэтому их последовательность либо стремится к +оо, либо сходится. Обозначим пространство всех суммируемых с квадратом последовательностей на множестве Ζ через ί2(Ζ). Формально ί2(Ζ) = < ζ = (*(η))η€ζ: ζ(η) Ε С для всех η € Ζ и ^ \ζ(η)\2 < +οώ. ^ η€Ζ J Можно проверить (упр. 4.1.3), что ί2(Ζ) образует векторное пространство над множеством С с естественными операциями покомпонентного сложения и умножения на скаляры. Для z, w € ί2(Ζ) определим (zyw) = \^z{n)w{n). (4.1) n€Z Из упр. 4.1.4 следует, что (·, ·) есть комплексное скалярное произведение в пространстве £2(Z). Мы говорим, что векторы ζ и w ортогональны, если (z,w) = 0. Таким образом, мы имеем понятие перпендикулярности в бесконечномерном смысле, которое трудно представить геометрически. В частности, приобретает смысл понятие ортонормированного множества векторов (элементов) пространства ί2(Ζ). Зададим норму в £2{Ζ) так же, как в определении 1.90. Это значит, что для ζ е £2(Ζ) 1/2 Ν = (Σι^η)ΐ2) · (4·2) ^ η€Ζ ' Как следует из упр. 1.6.5, это делает ί2(Ζ) нормированным пространством и, следовательно, метрическим пространством с расстоянием d(z,w) = \\z — w\\. Неравенство Коши—Шварца |(2,w)| ^ IMIIIHI (д°~ казанное для любого пространства с комплексным скалярным произведением в лемме 1.91) принимает здесь следующий вид: для z,w € ί2(Ζ) Ι Ι / \l/2/ \l/2 \j2z(n)w(n)\ < (Σ \z(n)\2) EMn)f . ' n€Z ' ^ n€Z ' ^ n€Z ' Мы можем применить это неравенство к последовательностям \z\ и |w|, значения которых в точке п — это \z(n)\ и |ги(п)| соответственно. Заметив, что || \z\ || = ||z|| и аналогично для w, и вспомнив, что \w(n)\ = |w(n)|, получаем / \ 1>2 / \ 1>2 J2\z(n)w(n)\ < ^Ип)|2 Г£ \w(n)\2) . (4.3) n€Z ^n€Z ' ^n€Z '
4.1. Пространство £2(Z) 263 Также, из следствия 1.92, мы имеем неравенство треугольника ||« + ι0||<||ζ|| + ΙΗ|βΙ(Ζ): / \!/2 / \1/2 / \1/2 ("£\ζ(η)+η,(η)\η <(5]И")12) + EW")i2 · (4·4) ^n€Z ' ^n€Z ' ^n€Z ' В следующем определении 4.2 не путайте Zk с z(fc): для каждого к запись Zk = (2fc(ft))nez обозначает последовательность из Определение 4.2. Пусть Μ 6 Ζ, ζ& 6 Г2(Ζ) для каждого fc 6 Ζ при fc ^ Μ и ζ е £2{Ζ). Последовательность {zk}^=M сходится κ ζ β £2(Ζ), если для любого ε > О существует положительное целое N такое, что 11**-*11<е для всех к > N. Также {zk}^=M есть последовательность Коти в если для любого ε > 0 существует положительное целое N такое, что для всех к,т> N. Теорема 4.3 (полнота пространства £2(Ζ)). Предположим, что &к}™=м есть последовательность Коши в £2(Ζ). Тогда существует элемент ζ 6 £2(Ζ) такой, что последовательность {zk}^M сходится к ζ в £2(Ζ). Доказательство. Упражнение 4.1.7. ■ Основная разница при обращении с векторным пространством £2(Z) вместо £2(Zn) состоит в том, что £2(Z) — бесконечномерное пространство. Естественные аналоги для £2(Z) стандартных базисных векторов в £2(Zn) — это векторы е* € £2(Z), определенные для j 6 Ζ равенством /1, если n = j, еЛп) = \п , . (4·5) |Д если ηψ3. Однако множество {ej}j^z не образует базиса £2(Z) в смысле определения 1.37, потому что мы не можем записать каждый элемент £2(Z) как конечную линейную комбинацию векторов {ej}j^z· Тем не менее ясно, что каждый элемент ζ = (ζ(η))η^ζ может быть записан как бесконечная сумма ζ = Σ z(j)ej. Так как далее мы рассмотрим несколько j€Z пространств такого типа, то в разд. 4.2 мы включили общее рассуждение о сходимости последовательностей и рядов в бесконечномерных пространствах со скалярным произведением.
264 Глава 4. Вэйвлеты на множестве Ζ Упражнения 4.1.1. Пусть Σ w(n) — ряд из комплексных чисел. 1) (Критерий Коши.) Доказать, что ряд ^ w(n) сходится тогда n€Z и только тогда, когда для любого ε > О существует целое N такое, что -к n=—m n=fc <ε для всех тп^ к > N. Подсказка: применить либо теорему 1.12 оо к частичным суммам, либо лемму 1.14 к рядам Σ ζη, где п=0 zo = w(0) и zn = ги(п) + w(—п) для всех η ^ 1. 2) (Признак сравнения.) Пусть {α(η)}η€ζ~ последовательность неотрицательных вещественных чисел таких, что \w(n)\ ^ а(п) для всех \п\ ^ N при некотором N 6 Z. Если 5^ α(η) сходится, то доказать, что ^ гу(п) также сходится. η€Ζ η€Ζ 3) Если 5Ζ ^(п) сходится абсолютно, то доказать, что Σ w(n) n€Z n€Z СХОДИТСЯ. 4.1.2. 1) Показать, что ряд ^ η сходится, но не сходится абсолютно. η€Ζ В частности, неверно, что сходимость ^ w(n) означает, что n€Z lim w(n) = 0. Это одно из соображений, по которому во мно- п—»оо гих работах требуется более сильное определение сходимости, чем в определении 4.1. 2) Доказать, что ряд Σ w(n) сходится абсолютно тогда и только n€Z оо оо тогда, когда сходятся абсолютно ряды Σ w(n) и Σ w(~~n)- п=0 п=1 3) Показать, что если ^ w(n) сходится абсолютно, то n€Z lim w(n)=0 и lim w(—n) = 0. η—>oo η—юо 4.1.3. Для г, гс; € £2(Z) и α 6 С определим г + w и αζ равенствами (г + w)(n) = г(п) + w(n) и (αζ)(η) = αζ(η) для всех η € Ζ. Доказать, что с такими операциями £2(Ζ) есть векторное пространство над С. Замечание: единственное свойство в определении 1.30, которое не очевидно, есть С1; см. подсказку к упр. 1.6.3(2).
Упражнения 265 4.1.4. Доказать, что (·, ·), определенное формулой (4.1), есть комплексное скалярное произведение в ί2(Ζ). (См. подсказку к упр. 1.6.3. Основной момент состоит в доказательстве абсолютной сходимости ряда в формуле (4.1).) 4.1.5. (Теорема о монотонной сходимости последовательности.) Предположим, что Μ € Ζ и для каждого к 6 Ζ такого, что к ^ М, Xk = {xk(n)}n€Z есть последовательность неотрицательных вещественных чисел (т.е. ж&(п) ^ 0 для всех fc,n). Предположим, что Xk(n) ^ Xk+i(n) для каждого пик; это значит, что {хк{п)}™=м есть неубывающая последовательность для каждого п. По лемме о монотонной последовательности lim Xk{n) cy- ществует для каждого η (хотя он и может быть равен +оо). Положим х(п) = lim Xk(n)· Доказать, что к-+оо У2х{п) = lim У2хк(п). (4.6) n€Z n€Z (Заметим, что ]Г ж^(^) возрастает по fc, поэтому предел в пра- вой части существует.) Здесь равенство интерпретируется в том смысле, что если одна часть равенства конечна, то другая часть также должна быть конечной, и их значения одинаковы, но мы также допускаем, что обе части равны +оо. Подсказка: так как хк(п) ^ ж(п)) то легко доказать, что левая часть соотношения (4.6) больше или равна правой части. Для доказательства обратного неравенства заметим, что для любого фиксированного целого J > О J J У2 х(п) = lim У2 хк(п) < ,lim У2хк{п). ^—' к-+оо *—' *-кх>*—*£ n=-J n=-J n€Z Теперь пусть J —► +оо. 4.1.6. (Лемма Фату для последовательностей.) Пусть Μ 6 Ζ и #fc = {#fc(n)}n€Z есть последовательность неотрицательных вещественных чисел для каждого fcGZcfc^ M. Предположим, что х(п) = lim Xk(n) существует для каждого η € Ζ. Доказать, что *-°° 7 ж(п) ^ liminf 7 xk(n)· (4.7) η€Ζ η€Ζ (По определению для любой последовательности {gaJ^m ве~ щественных чисел lim inf а& = lim (inf cu). Этот предел суще- fc—юо га—юо j^m ствует (он может быть бесконечным), потому что inf a,j возрас- j^ra
266 Глава 4. Вэйвлеты на множестве Ζ тают по га.) Подсказка: пусть ym(n) = inf Xj(n). Докажите, что Ут(п) возрастают до х(п) для каждого п. Поэтому из упр. 4.1.5 следует, что ΣΦ) = Ит У]ут(п). т—юо *-^ га—юо ' nGZ n€Z Теперь докажите, что 4.1.7. Предположим, что {^}^м есть последовательность Коши в пространстве ί2(Ζ) (определение 4.2). 1) Доказать, что {^(п)}^=м есть последовательность Коши в С для каждого η 6 Ζ. 2) Из п. 1 и полноты пространства С (теорема 1.12) предел z(n) = lim Zfc(n) существует для каждого η 6 Ζ. Пусть 2 = {z(n)}ngz. Доказать, что {^(п)}^м сходится к ζ в (определение 4.2). Подсказка: для достаточно больших, но фиксированных к примените упр. 4.1.6, чтобы получить нераг венства E\zk(n) - z(n)\2 ^ liminf У] \zk{n) - zm(n)\2. га—»оо *·—^ n€Z n€Z Замечание: используя соотношение (4.4), запишите неравенство ||ζ|| ^ ||2 — 2*|| + ||2fc||, вы получите, что ζ € £2(Ζ). Это доказывает полноту £2{Ζ). 4.1.8. 1) Предположим, что {z^^Lq есть последовательность элементов £2(Z), и ζ есть элемент £2(Ζ) такой, что {zk)kei сходится к ζ в £2(Ζ) (см. определение 4.2, это называется сходимостью по норме). Доказать, что lim Zk(n) = z(n) fc—»oo для каждого nGZ (это называется поточечной сходимостью). 2) Приведите пример последовательности {^}^0 элементов и элемента ζ € £2{Ζ) таких, что lim Zk(n) = ζ (η) к—юо для каждого η 6 Ζ, но {^}^ζ не сходится к г в ^2(Ζ). Это означает, что сходимость по норме в £2(Ζ) более сильная, чем поточечная сходимость.
4.2. Полные ортонормированные множества 267 4.1.9. Заметим, что {еп}™=о есть ограниченная последовательность в £2(Z) (это тривиально: ||еп|| = 1 для каждого п). Доказать, что не существует подпоследовательности {βη*.}]^, которая сходится в ί2(Ζ) (определение 4.2). Это ключевая разница между бесконечномерным и конечномерным случаями: по теореме Больцано—Вейерштрасса каждая ограниченная последовательность в Шп или Сп имеет сходящуюся подпоследовательность. 4.2. Полные ортонормированные множества в гильбертовых пространствах Пусть X — бесконечномерное пространство с комплексным скалярным произведением (·,·). (Все дальнейшее будет справедливо и в конечномерном случае по тривиальным соображениям, но нам будет проще рассматривать только бесконечномерный случай.) Определим норму в пространстве X так же, как в определении 1.90. Определение 4.4. Пусть Μ 6 Ζ. Последовательность {хп}™=м эле~ ментов пространства X сходится β X к некоторому χ 6 X, если для любого ε > 0 существует N 6 N такое, что \\хп — х\\ < ε для всех п> N. Последовательность {хп}™=м есть последовательность Коти в X, если для любого ε > 0 существует N € N такое, что ||жп — жт|| < ε для всех п,т> N. Если {%п}™=м сходится в X, то {#n}JJLM есть последовательность Коши (упр. 4.2.2). Определение 4.5. Пространство X с комплексным скалярным произведением называется полным, если каждая последовательность Коши в X сходится. Полное пространство с комплексным скалярным произведением называется гильбертовым пространством. Заметим, что для Η = ί2(Ζ) (которое есть гильбертово пространство, согласно упр. 4.1.3 и 4.1.4 и теореме 4.3) определение 4.4 совпадает с определением 4.2. Далее мы сосредоточимся именно на гильбертовых пространствах, потому что полнота будет необходима для последующей теории. При этом все интересующие нас пространства будут полными. Дадим следующее определение сходимости ряда в гильбертовом пространстве. Его не следует путать с определением 4.1, в котором рассматривались только ряды комплексных чисел. Здесь члены ряда — это элементы гильбертова пространства.
268 Глава 4. Вэйвлеты на множестве Ζ Определение 4.6. Пусть Η — гильбертово пространство и {wn}ngi — последовательность элементов Н. Пусть sn для N = 1,2,3,... есть симметричная частичная сумма +N SN = Σ ™{η). n=-N Мы говорим, что ряд Σ wn сходится β Η к некоторому s 6 ff, если по- следовательность {sn}^=1 сходится к s в Η (в смысле определения 4.4). Напомним (определения 1.93 и 1.94), что понятия ортогональности и ортонормированных множеств определены в любом пространстве с комплексным скалярным произведением. Следующий результат показывает, что суммируемые с квадратом последовательности играют естественную роль в изучении любого бесконечномерного пространства со скалярным произведением. Лемма 4.7. Пусть Η — гильбертово пространство, {aj}j^z—opmo~ нормированное множество в Η и ζ = (z(j))j^z 6 ί2(Ζ). Тогда ряд jez сходится в Η и Ijez " jez Доказательство. Пусть +N SN= Σ Z(j)*j j=-N есть частичная сумма для N = 1,2,3, Тогда при N > Μ (4.8) \\8N-SM\\ = Σ z(fiaj = Σ ι*ωι2' M<\j\^N потому что это конечная сумма и aj ортонормированы (см. упр. 4.2.3). Так как ряд Σ I^U)!2 сходится, то последовательность его симметрич- ных частичных сумм должна быть последовательностью Коши (теорема 1.12). Следовательно для любого ε > 0 существует К такое, что Σ \z(j)\2 ^ ε для всех Ν > Μ > К. Это доказывает, что M<\j\^N последовательность {sjvjiVeN есть последовательность Коши. Так как
4.2. Полные ортонормированные множества 269 Η есть полное пространство, то {sn}ngN сходится; это означает, что Σ z(j)a,j сходится в Н. jez Для доказательства равенства (4.8) см. упр. 4.2.4. ■ Лемма 4.7 устанавливает связь между обобщенным бесконечномерным гильбертовым пространством и пространством ί2(Ζ): если задано ортонормированное множество {aj}j^z и ζ € £2{Ζ), то ряд Σ z(j)a>j сходится к некоторому элементу из Я. Однако следующая лемма демонстрирует другой путь: если задан элемент / из Н, то, рассмотрев множество {(/,ttj)}j€Z? получим последовательность в £2(Z)n. Лемма 4.8. Пусть Η —гильбертово пространство, {aj}j^z —ортонормированное множество в Η и f € Η. Тогда последовательность {(/?aj)}j€Z принадлежит пространству £2(Z) и ΣΚ/,«;>Ι2^ΙΙ/ΙΙ2· (4·9) j€Z N Доказательство. Пусть sn = Σ (/, a,j)aj для iV = 1,2,3, Тогда j=-N II/ - SJVH2 = </, /) - </, SN) - (8N, f) + (8N, SN). Заметим (используя равенство (1.43)), что /Ν \ Ν Ν </,**> = (/, Σ </'α>;)= Σ tw</,^> = Σ κ/'*ί>ι2· \ j=-N I j=-N j=-N Из ПЗ в определении 1.86 j=-N j=-N так как последняя величина вещественная. Также из равенства (4.8) \ы\2 = Σ κ/,^)ΐ2. j=-N Подстановка этих трех выражений дает +N +N ii/-rf = imi2-2 Σ kjwi2+ Σ i</.«i>i2 = j=-N j=-N +N = ιι/ιι2- Σ Κ-Wi2· j=-N
270 Глава 4. Вэйвлеты на множестве Ъ Так как ||/ — sjv||2 ^ 0, то это означает, что +N Σ κ/.«ί>ι2<ιι/ιι2- j=-N Переходя к пределу при N —► оо, получим наше утверждение. ■ Если {a,j}j£z есть ортонормированное множество в Η и / 6 Н, то по лемме 4.8 последовательность {(/,uj)}j€Z принадлежит £2(Z). Тогда по лемме 4.7 ряд £) (/, aj)aj = / для любого / € Я, как и в случае ор- j€Z тонормированного базиса в конечномерном пространстве со скалярным произведением (лемма 1.101(1)). Определение 4.9. Пусть Η — гильбертово пространство и {dj}j£Z~ множество элементов в Н. Мы говорим, что {aj}j^z есть полное ортонормированное множество, или полная ортонормированная система, если {dj}jez — ортонормированное множество, обладающее следующим свойством: единственным элементом w € Я, для которого (w,aj) = О при всех j 6 Ζ, является w = 0. Заметим, что слово «полное» используется здесь в смысле, отличном от связанного со сходимостью последовательностей Коши. Теорема 4.10. Пусть Η — гильбертово пространство и {a>j}jez —ортонормированное множество в Н. Множество {dj}jez ~ полное ортонормированное тогда и только тогда, когда f = 5^(/, aj)a,j для всех / € Я. Доказательство. Сначала предположим, что {^jljez есть полное ортонормированное множество. Зададим / Ε Н, пусть g = Σ (/, aj)aj (как j€Z замечено ранее, этот ряд сходится в if по леммам 4.7-4.8). Тогда для всех га G Ζ (ff^m) = (/,Om), см. упр. 4.2.5. Поэтому (/ — #,am) = 0 для всех га 6 Z. Так как {aj}jez есть полное ортонормированное множество, то это значит, что / — <7 = 0, т. е. / = #, что и требовалось доказать. Обратно, предположим, что каждый элемент / 6 Η может быть записан в виде ^ (f,aj)aj. Если (f,aj) = 0 для всех j, то все коэффи- зеъ циенты равны 0, поэтому / = 0. Это доказывает полноту {aj}j€Z· И Возвращаясь к примеру пространства ^2(Z), легко видеть, что множество {ejljez? определенное равенством (4.5), есть полное ортонормированное множество в £2(Z). Поэтому по теореме 4.10 каждый элемент
4.2. Полные ортонормированные множества 271 ζ = (ζ(η))η€ζ € ί2(Ζ) может быть представлен рядом Σ z(j)ej, частич- ные суммы которого сходятся (к ζ) в ί2(Ζ). (Конечно, это видно и непосредственно, но наша цель — проиллюстрировать теорему 4.10.) Итак, хотя {ej}jzz не образует базиса в смысле векторного пространства, каждый элемент £2(Z) можно представить как «бесконечную линейную комбинацию» векторов из множества {ej}j£%. Поэтому во многих учебниках полное ортонормированное множес