Автор: Бабаян П.В. Алпатов Б.А. Степашкин А.И. Балашов О.Е.
Теги: электротехника физика радиотехника автоматика телекоммуникации телемеханика
ISBN: 978-5-88070-201-5
Год: 2008
Текст
Авторы: слева-направо - Бабаян П.В., Алпатов Б.А., Степашкин А.И., Балашов О.Е.
Алпатов Борис Алексеевич
доктор техн, наук, профессор, заслуженный работник высшей школы,
заведующий кафедрой Автоматики и информационных технологий в управ-
лении Рязенского государственного радиотехнического университета,
руководитель ведущей научной школы Российской Федерации. Сфера
научных интересов - обработка изображений в информеционно-управляю-
щих системах реельного времени. Автор 180 научных трудов и изобретений.
Бабаян Павел Вартанович
канд. техн, наук, начальник Научно-исследовательской леборатории авто-
номных информационно-управляющих систем кафедры Автоматики и
информационных технологий в управлении Рязанского государственного
радиотехнического университета. Сфере научных интересов - обреботка
изображений, системы технического зрения. Автор 40 научных трудов и
изобретений.
Балашов Олег Евгеньевич
канд. техн, наук, научный сотрудник Научно-исследовательской лаборатории
автономных информационно-управляющих систем кафедры Автоматики и
информационных технологий в управлении Рязанского государственного
радиотехнического университете. Сфере научных интересов - методы и
алгоритмы управления в системах автометического сопровождения объек-
тов. Автор 30 неучных трудов и изобретений.
Степашкин Алексей Иванович
канд. техн, наук, доцент кафедры Автометики и информационных технологий
в упревлении Рязанского государственного радиотехнического университе-
та. Сфера научных интересов - цифровые методы обработки информации и
упревления в видеокомпьютерных системах сопровождения объектов. Автор
120 научных трудов и изобретений.
Издательство “Радиотехника”
тел./факс: (495] 625-9241
e-mail: info@radiotec.ru
АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ
СИСТЕМЫ
АВТОМАТИЧЕСКОЙ
ОБНАРУЖЕНИЯ
И СОПРОВОЖДЕНИЕ
ОБЪЕКТОВ
ОБРАБОТКА ИЗОБРАЖЕНИЙ
И УПРАВЛЕНИЕ
СИСТЕМЫ
АВТОМАТИЧЕСКОГО
ОБНАРУЖЕНИЯ
И СОПРОВОЖДЕНИЯ
ОБЪЕКТОВ
ОБРАБОТКА ИЗОБРАЖЕНИЙ
И УПРАВЛЕНИЕ
Москва, «Радиотехника», 2008
УДК 621.383.8
М54
ББК 22.34
М54 Методы автоматического обнаружения и сопровождения
объектов. Обработка изображений и управление / Б.А. Алпатов,
П.В. Бабаян, О.Е. Балашов, А.И. Степашкин. - М.: Радиотехника, 2008.
- 176 с.: ил.
ISBN 978-5-88070-201-5
Освещены вопросы пространственно-временной обработки и ана-
лиза последовательностей изображений применительно к задачам обна-
ружения и сопровождения объектов. Значительное внимание уделено
алгоритмам управления приводами поворотных устройств систем со-
провождения объектов.
Предназначена для научных и инженерных работников, аспиран-
тов, студентов старших курсов, интересующихся-задачами, связанны-
ми с разработкой систем обнаружения и сопровождения объектов по
данным видеонаблюдений.
ISBN 978-5-88070-201-5
УДК 621.383.8
ББК 22.34
© Авторы, 2008
© Издательство «Радиотехника», 2008
ОГЛАВЛЕНИЕ
ПРЕДИСЛОВИЕ ....................................................5
ВВЕДЕНИЕ........................................................6
1. СИСТЕМЫ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ
И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ ПО ДАННЫМ
ВИДЕОНАБЛЮДЕНИЙ.................................................8
1.1. Основные задачи, решаемые системами обнаружения
и сопровождения объектов............................. 10
1.2. Структура системы автоматического сопровождения . 11
1.3. Иерархические уровни обработки информации
в системах обнаружения и сопровождения объектов .... 15
2. МАТЕМАТИЧЕСКИЕ ОСНОВЫ ПРЕДСТАВЛЕНИЯ
ИЗОБРАЖЕНИЙ И ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ ....................... 18
2.1. Формирование изображений и видеопоследовательностей.
Дискретизация и квантование ........................ 18
2.2. Описание изображений ...............................26
2.3. Признаки изображений................................29
3. МЕТОДЫ ФИЛЬТРАЦИИ ИЗОБРАЖЕНИЙ....................................34
3.1. Линейные методы фильтрации..........................37
3.2. Нелинейные методы фильтрации .......................42
4. МЕТОДЫ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ...................................49
4.1. Методы пороговой сегментации........................52
4.2. Методы сегментации на основе выделения границ.......54
4.3. Методы байесовской сегментации .....................57
4.4. Алгоритм разметки и параметризация бинарного
изображения..........................................62
5. ГЕОМЕТРИЧЕСКИЕ ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЙ
И МЕТОДЫ ОЦЕНКИ ИХ ПАРАМЕТРОВ..................................66
5.1. Геометрические преобразования изображений...........67
5.2. Корреляционные методы оценки параметров
геометрических преобразований........................73
5.3. Метод последовательного определения сходства изображений.76
5.4. Спектральные методы оценки параметров
геометрических преобразований........................80
5.5. Методы оценки параметров геометрических
преобразований на основе выбора опорных элементов....86
6. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ
ИЗОБРАЖЕНИЙ....................................................93
6.1. Модель наблюдения в присутствии неоднородного фона .93
6.2. Модели состояния яркости изображений фона
и объектов слежения .................................95
3
Методы автоматического обнаружения и сопровождения объектов
6.3. Модели движения и изменения конфигурации объекта
слежения..........................................99
6.4. Модель этапа начального обнаружения и выделения
движущегося объекта............................... 101
7. СИНТЕЗ АЛГОРИТМОВ ИЗМЕРЕНИЯ КООРДИНАТ
ОБЪЕКТОВ ............................................. 104
7.1. Алгоритм оценки координат при известных
изображениях фона и объекта....................... 104
7.2. Алгоритм измерения координат с оценкой параметров
изображений фона и объекта........................ 109
7.3. Алгоритм измерения координат с межкадровым
усреднением текущего изображения объекта.......... 114
8. АЛГОРИТМЫ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ
И ВЫДЕЛЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ
НА НЕОДНОРОДНОМ ФОНЕ.................................. 119
8.1. Алгоритм обнаружения и выделения движущихся
объектов ......................................... 119
8.2. Модернизированный алгоритм обнаружения
и выделения движущихся объектов.................. 124
8.3. Алгоритм выделения объектов при движущемся датчике
изображений ...................................... 128
9. МОДЕЛИ И АЛГОРИТМЫ УПРАВЛЕНИЯ ПРИВОДАМИ
ОПТИКО-МЕХАНИЧЕСКОЙ СИСТЕМЫ АВТОМАТИЧЕСКОГО
СОПРОВОЖДЕНИЯ ОБЪЕКТОВ ПО Д АННЫМ
ВИДЕОНАБЛЮДЕНИЙ....................................... 136
9.1. Общий принцип построения системы
видеосопровождения объектов ...................... 136
9.2. Математическая модель двухосного карданного
подвеса с видеодатчиком........................... 138
9.3. Структурные схемы систем автосопровождения
объектов ......................................... 146
9.4. Моделирование замкнутой системы управления
ориентацией оптической оси системы сопровождения . 150
9.5. Модели и алгоритмы управления приводами системы
видеосопровождения с трехосным карданным подвесом. 162
ЗАКЛЮЧЕНИЕ ........................................... 172
ЛИТЕРАТУРА ........................................... 173
4
Предисловие
Несмотря на наличие большого количества доступной литературы
по обработке изображений, вопросы пространственно-временного ана-
лиза видеопоследовательностей освещены в ней явно недостаточно. В
настоящей работе предпринята попытка частично восполнить этот про-
бел. Наряду с рассмотрением традиционных вопросов, связанных с об-
работкой статических изображений, авторы широко используют про-
странственно-временной подход к обработке сигналов при решении за-
дач обработки последовательностей изображений.
Материал книги базируется на результатах научных исследований,
которые более 25 лет ведутся кафедрой Автоматики и информационных
технологий в управлении Рязанского государственного радиотехническо-
го университета. Основное направление научных исследований кафедры
- методы обработки изображений и управление в бортовых системах об-
наружения и сопровождения объектов. Разработанные на кафедре мето-
дики и алгоритмы нашли применение при создании и модернизации це-
лого ряда бортовых систем обработки и анализа изображений.
Значительная часть материала книги используется при чтении лек-
ций и проведении лабораторных работ по курсам «Обработка изобра-
жений в системах управления», «Цифровая обработка сигналов и изо-
бражений», «Основы робототехники».
С замечаниями и предложениями просим обращаться по адресу:
390005, г. Рязань, ул. Гагарина, д. 59/1, Рязанский государственный ра-
диотехнический университет, зав. каф. АИТУ, д.т.н., проф. Б.А. Алпа-
тову, тел. (4912) 92-07-73, e-mail: aitu@rgrta.ryazan.ru.
5
Введение
Цифровая обработка изображений является одной из наиболее ак-
туальных и быстро развивающихся областей науки и техники. Это вы-
звано как многообразием практических задач, требующих анализа визу-
альной информации, так и все возрастающими возможностями оптики и
вычислительной техники. Достаточно назвать такие области примене-
ния, как интеллектуальные робототехнические системы, исследование
природных ресурсов из космоса, биомедицинские исследования, кри-
миналистика, сжатие и передача изображений по узкополосным кана-
лам связи, автономная навигация, оптическая локация, управление дви-
жением воздушных и наземных транспортных средств, обнаружение за-
данных объектов и символов в информационно-поисковых системах,
автоматическое обнаружение объектов в охранных системах, системах
самонаведения и т.д.
Всё многообразие задач цифровой обработки изображений можно
разделить на две основные категории.
К первой категории относятся задачи, связанные с обработкой от-
дельных статических изображений, например ретуширование фотогра-
фий, анализ рентгеновских снимков, распознавание текста. Для решения
задач, относящихся к первой категории, служат известные и широко
распространенные методы пространственной обработки изображений,
включающие, в частности, двумерную линейную и нелинейную фильт-
рацию, гистограммные преобразования, методы статистической сегмен-
тации, методы распознавания двумерных образов. Этим методам по-
священо множество работ отечественных и зарубежных авторов [1—4].
Ко второй категории относятся задачи, в которых исходным ма-
териалом для обработки служат последовательности изображений (ви-
деопоследовательности). Изображения, входящие в видеопоследова-
тельность, обычно бывают сформированы одним и тем же датчиком, но
в различные моменты времени. В отличие от отдельных изображений
видеопоследовательности содержат информацию об изменениях, про-
исходящих с течением времени в наблюдаемой сцене. Среди задач, от-
носящихся ко второй категории, можно выделить сжатие и передачу ви-
деоинформации, обнаружение движущихся объектов, автоматическое
управление роботами.
В настоящей монографии основное внимание уделяется одному из
наиболее сложных и актуальных направлений цифровой обработки после-
6
Введение
довательностей изображений - разработке методов и алгоритмов, с помо-
щью которых можно в реальном масштабе времени решать задачи, связан-
ные с обнаружением и высокоточным сопровождением объектов [5].
Прогресс в области создания систем обнаружения и сопровожде-
ния объектов до недавнего времени сдерживался, в частности, недоста-
точной производительностью средств вычислительной техники. В по-
следние годы методам и алгоритмам обработки изображений для систем
автоматического и автоматизированного управления уделяется все
большее внимание. При этом необходимо учитывать, что достижимая
точность в замкнутой системе слежения определяется не только приме-
няемыми алгоритмами обработки изображений, но и используемыми
методами управления.
Последовательности изображений можно рассматривать как трёх-
мерные сигналы. Они являются гораздо более ёмким носителем инфор-
мации, чем обычные изображения. Соответственно, для извлечения мак-
симума информации из видеопоследовательностей желательно исполь-
зовать методы пространственно-временной обработки сигналов. Видео-
последовательности объединяют в себе пространственные свойства ста-
тических изображений и свойства сигналов, меняющихся во времени,
поэтому многие методы обработки сигналов могут быть использованы и
при работе с видеопоследовательностями, однако, в отличие от обра-
ботки статических изображений, исследователь получает возможность
комбинировать различные пространственные и временные алгоритмы
обработки сигналов, получая тем самым более качественные результа-
ты. Таким образом, видеопоследовательности являются достаточно
сложными и интересными объектом, являющимися предметом исследо-
ваний в настоящей монографии.
7
1. Системы автоматического
обнаружения и сопровождения
объектов по данным
видеонаблюдений
Интеллектуальные системы обработки и анализа видеоинформа-
ции всё более интенсивно применяются в различных областях человече-
ской деятельности. Наиболее широкое распространение они получили
при решении таких задач как навигация, космический мониторинг Зем-
ли, контроль качества и количества производимой продукции, обеспе-
чение безопасности различных объектов, передача и хранение видеоин-
формации, в медицинских и специальных приложениях.
Одним из направлений при создании систем обработки и анализа
видеоинформации является разработка бортовых систем обнаружения и
сопровождения объектов, предназначенных для установки на автоном-
ных носителях, таких как самолёты, вертолёты, автомобили. Примерами
объектов, которые требуется обнаруживать и сопровождать, могут слу-
жить летящие самолёты, вертолёты, движущиеся по шоссе автомашины,
суда, люди. В качестве фонового изображения могут выступать изобра-
жения леса, домов, дорог, облаков и т.п. При этом информация о харак-
теристиках объектов, которые требуется обнаруживать и сопровождать,
обычно очень скудна и, в лучшем случае, включает в себя лишь прибли-
зительные размеры объектов.
Наблюдаемые изображения формируются при этом как при помо-
щи обычных телекамер видимого диапазона, так и при помощи линеек
или матриц фотоприемников, рассчитанных на работу в инфракрасной
части спектра излучений.
В зависимости от области применения и конкретных ситуаций
изображения интересующих объектов могут иметь различные размеры.
Так, в задачах, связанных с обнаружением и сопровождением воздуш-
ных объектов на больших расстояниях, их изображения могут быть
представлены одним или несколькими элементами разложения. В этом
случае говорят о точечном или соответственно малоразмерном объекте.
Если изображение объекта составлено из большого числа точек (начи-
нает проявляться пространственная структура объекта), можно говорить
о протяженном объекте. Очевидно, что провести границу между поня-
тиями «малоразмерный» и «протяженный» можно только чисто услов-
но. Кроме того, во многих задачах в процессе наблюдения за объектом
он из точечного может превратиться в протяженный и наоборот.
8
Системы автоматического обнаружения и сопровождения объектов ...
Приведём примеры изображений, встречающихся при решении задач об-
наружения и сопровождения объектов На рис. 1.1 представлены примеры
изображений, содержащих одиночный объект. На рис. 1 2 - изображения,
содержащие множество объектов. На рис. 1.3 представлены изображения
наблюдаемой сцены, снятые одновременно с помощью двух датчиков, ра-
ботающих в видимом и инфракрасном спектральных диапазонах.
Рис. 1.1. Примеры наблюдаемых изображений при обнаружении
и сопровождении одиночного объекта (интеовал съёмки - около 1 с).
Рис. 1.3. Изображения сцены, полученные датчиками видимого (а)
и инфракрасного (б) диапазонов
9
Методы автоматического обнаружения и сопровождения объектов
1.1. Основные задачи, решаемые системами
обнаружения и сопровождения объектов
Одной из задач, которые обычно интересует потребителей систем
обнаружения и сопровождения объектов, является задача обнаружения
движущихся или появляющихся на изображении объектов. Другой си-
туации соответствует задача обнаружения неподвижного объекта,
присутствующего на изображении с момента начала наблюдения. Как
правило, наряду с фактом обнаружения объекта, ставится задача оцен-
ки параметров, характеризующих объект.
После решения задачи первичного обнаружения объекта (автома-
тического или с помощью оператора), как правило, должна решаться
задача отслеживания траектории движения объекта.-
Отслеживание траектории может производиться двумя основными
методами. В первом случае происходит оценивание координат объекта
в каждом кадре наблюдаемой видеопоследовательности, и не ставится
задача управления перемещением датчика изображений. Последова-
тельность координат при этом формирует траекторию движения объек-
та. Во втором случае, наряду с определением координат объекта в каж-
дом кадре, предполагается решение задачи управления перемещением
датчика изображений. Цель такого управления, чаще всего, состоит в
удержании объекта в центре поля зрения видеокамеры или в исключе-
нии потери визуального контакта с объектом вследствие движения дат-
чика изображений и объекта в пространстве. В дальнейшем метод от-
слеживания траектории движения объектов, не предполагающий реше-
ния задачи управления перемещением датчика изображений, будем на-
зывать слежением, а метод отслеживания траектории, предусматри-
вающий организацию управления перемещением датчика изображений
- сопровождением.
Необходимо отметить, что задачи должны решаться в телевизион-
ном масштабе времени, что неизбежно накладывает ограничения на
сложность используемых алгоритмов. В то же время наличие на естест-
венных изображениях сложного, неоднородного фона, часто полное от-
сутствие априорных сведений об объекте (из-за огромного разнообразия
всевозможных объектов), слабые контрасты и малые отношения сигнал-
шум не позволяют ограничиваться простыми решениями.
Необходимость разработки методов обнаружения и сопровожде-
ния объектов, ориентированных на системы реального времени, объяс-
няется двумя причинами. Во-первых, исторически наибольшее развитие
получили методы обработки отдельно взятых изображений, в то время
как решение задач обнаружения, опенки параметров и сопровождения
движущихся объектов, очевидно, требует анализа последовательности
кадров. Во-вторых, задачи обнаружения и выделения объектов, измере-
10
Системы автоматического обнаружения и сопровождения объектов ...
ния координат и скоростей их движения являются традиционными для
активной радио- и оптической локации, где объекты чаще всего являют-
ся точечными или малоразмерными и наблюдаются на относительно
ровном фоне. Используемые в современных системах телевизионные
датчики с высокой разрешающей способностью формируют изображе-
ния, на которых контролируемые объекты часто выглядят протяженны-
ми, перемещающимися на сложном неоднородном фоне. Большинство
известных методов обработки изображений (корреляционно-экстре-
мальные методы, разностные методы, методы сегментации) либо полу-
чены для простейших моделей, либо имеют эвристическое происхожде-
ние и не обеспечивают надежного решения задач при наличии неодно-
родного фона и изменяющихся с течением времени параметров, харак-
теризующих наблюдаемые объекты.
Сложившаяся ситуация в значительной степени объясняется отсут-
ствием математических моделей последовательностей изображений,
способных адекватно описать процесс наблюдения за движущимися
объектами на неоднородном фоне, оставаясь при этом достаточно про-
стыми, чтобы алгоритмы, синтезируемые на их основе, допускали воз-
можность реализации в реальном масштабе времени. Поэтому разработ-
ка эффективных алгоритмов обработки изображений, ориентированных
на использование в системах управления, до сих пор является актуаль-
ной научно-исследовательской задачей.
1.2. Структура системы автоматического
сопровождения
В дальнейшем предполагается, что система автоматического обна-
ружения и сопровождения включает в себя датчик изображений, распо-
ложенный, как правило, на стабилизированной платформе, устройство
анализа изображений, устройство управления платформой по двум или
трем координатам и модуль взаимодействия с потребителем информа-
ции (рис. 1.4).
Одной из важнейших компонент системы автоматического обна-
ружения и сопровождения является датчик изображений, поскольку
именно он служит главным, а зачастую и единственным поставщиком
информации, необходимой для решения задачи автоматического обна-
ружения и сопровождения объектов. Объём информации, генерируемой
датчиком, определяется количеством элементов светочувствительной
матрицы датчика, количеством спектральных каналов наблюдения и
частотой формирования кадров. Качество формируемых изображений
зависит, прежде всего, от интенсивности шумов электрических цепей и
светочувствительной матрицы датчика, от времени формирования кад-
ров и от качества используемой оптики.
11
Методы автоматического обнаружения и сопровождения объектов
Рис. 1.4. Система автоматического обнаружения и сопровождения объектов:
7 - последовательность изображений; 2 - координаты и другие параметры отслежи-
ваемых объектов; 3 — координаты и параметры объектов, представленные в форме,
необходимой потребителю, 4 - изменение параметров представления информации, выбор
объекта для сопровождения; 5 рассогласование между желаемыми и текущими
координатами объекта; 6 - сигналы управления поворотом платформы
Наибольшее распространение в системах автоматического сопро-
вождения объектов получили одноканальиые датчики видимого и ин-
фракрасного диапазонов с размерами светочувствительных матриц от
320x240 до 768x576 элементов и частотой формирования кадров 25 Гц.
Как правило, эти датчики формируют на выходе цифровой видеопоток
или аналоговый телевизионный сигнал в формате стандартного чёрно-
белого телевидения. Можно выделить следующие причины более ши-
рокого распространения одноканальных датчиков-
высокая надёжность, позволяющая использовать эти датчики в же-
стких условиях эксплуатации, в частности на летательных аппаратах и
морских судах;
высокая чувствительность одноканальных датчиков, позволяющая
получать изображения приемлемого качества даже при недостаточной
видимости (сумерки, дождь, туман).
Учитывая широкое распространение одноканальных датчиков,
дальнейшее изложение в основном будет ориентировано на обработку и
анализ чёрио-белых изображений.
Изображение оптического поля, получаемое с помощью датчика
изображений, подвергается дискретизации по пространственным коор-
динатам х и у - с шагом Дх и Дг. по времени - с частотой поступле-
ния кадров, и квантуется по уровню яркости. Таким образом, на уст-
ройство анализа изображений поступает последовательность матриц
чисел, каждый элемент которых представляет измерение яркости в со-
ответствующей точке в каждом кадре. Если ввести в рассмотрение пря-
моугольную систему координат х,у, связанную с изображением, то ка-
ждому элементу наблюдаемого дискретного изображения будет по-
12
ставлена в соответствие яркость l(i.J,n), где i,j - индексы элементов
изображения по осям х и у, и - номер кадра.
Наблюдаемая сцена включает в себя как изображения искомых
объектов, так и фоновые образования. В качестве фона могут выступать
изображения леса, травы, домов, дорог, облаков и т.д. То есть предпола-
гается наличие сложного и неоднородного по пространству фонового
изображения, на котором могут располагаться объекты слежения. Кроме
этого, на наблюдаемом изображении обычно присутствует шум. порож-
даемый датчиком изображения, а также шум квантования изображения
по уровню, вызываемый ограниченной разрядностью представления
значений яркости. Искажения, возникающие из-за пространственной
дискретизации изображения, могут оказывать заметное влияние на ра-
боту алгоритмов обработки и также должны быть приняты во внимание.
Устройство анализа изображений осуществляет обработку и ана-
лиз каждого кадра видеопоследовательности в реальном масштабе вре-
мени. Целью обработки на начальном этапе может являться автоматиче-
ское или автоматизированное выделение принадлежащих объектам то-
чек текущего кадра. На последующих этапах, с учетом уже имеющейся
информации, решаются задачи обнаружения, измерения координат и
оценки параметров объектов в случае их наличия на изображении, либо
установление факта пропадания объектов из поля зрения системы. На
основе информации о текущих координатах объектов может быть при-
нято решение о взятии одного из объектов на сопровождение. Такое
решение может быть принято на основе критерия, заданного потребите-
лем. В случае взятия объекта на сопровождение в устройстве управле-
ния формируются соответствующие сигналы управления приводами
подвижной платформы, обеспечивающей изменение направления опти-
ческой оси датчика изображений.
При решении задачи измерения координат объекта, изображение
которого состоит из множества точек, необходимо определить, что по-
нимается под координатами объекта. Очевидно, что здесь возможны
различные толкования. Например, под координатами центра объекта
может пониматься среднеарифметическое координат составляющих его
точек:
(1.1)
= -77 Е *' ’ = 77 Е J ’
где Н - множество точек, принадлежащих объекту: М - число точек,
составляющих объект.
Может использоваться и более сложное определение, учитываю-
щее яркость составляющих объект точек.
13
Методы автоматического обнаружения и сопровождения объектов
где - значение яркости объекта в точке (i,j).
В качестве координат объекта или точки, за которой ведется сле-
жение, может быть также принята краевая по одной из координат точка
или же точка, имеющая максимальную яркость. Под координатами объ-
екта может пониматься также, например, центр прямоугольного окна, в
которое вписывается изображение объекта. Таким образом, во многих
случаях, для вычисления координат объекта необходимо предваритель-
но решить задачу выделения из наблюдаемого изображения точек, при-
надлежащих объекту. После этого может быть использовано любое из
определений координат, в зависимости от конкретного применения. Не-
обходимо также иметь в виду, что в большинстве задач с течением вре-
мени размеры объекта, его конфигурация, яркость составляющих его
точек могут изменяться, что влечет за собой необходимость коррекции
точки, принимаемой за координаты объекта слежения.
Устройство управления решает задачу разворота платформы в
различных ситуациях таким образом, чтобы в каждый момент времени
сопровождаемый объект находился в центре поля зрения, н направление
оптической оси датчика совпадало бы с направлением на обьект. В ито-
ге качество работы замкнутой системы сопровождения зависит не толь-
ко от точности и надежности алгоритмов оценки параметров объектов
на изображении, но и от алгоритмов управления платформой, на кото-
рой установлены датчики изображений.
Модуль взаимодействия с потребителем предназначен для органи-
зации интерфейса, с помощью которого потребитель может выполнить
такие действия как ручной выбор обьскта для сопровождения, задание
критерия для автоматического захвата объекта на сопровождение, пре-
кращение сопровождения. При необходимости потребитель может задать
априорные параметры объекта, такие как примерные размеры, яркость,
ориентировочные координаты объекта в момент начала сопровождения.
Следует отметить, что в качестве потребителя информации может высту-
пать как человек-оператор, так и какая-либо автоматическая система, ис-
пользующая результаты обнаружения и сопровождения объектов.
14
Системы автоматического обнаружения и сопровождения объектов ...
1.3. Иерархические уровни обработки информации
в системах обнаружения и сопровождения объектов
Основными видами сигналов, являющихся носителями информа-
ции в системах обнаружения и сопровождения объектов, являются:
изображения и последовательности изображений;
числовые последовательности, отражающие изменение координат
и других параметров наблюдаемых объектов;
сигналы управления приводами поворотных устройств.
Работу системы автоматического обнаружения и сопровождения
объектов можно охарактеризовать последовательным переходом от
операций обработки и анализа последовательностей изображений к об-
работке параметров объектов, а затем и к формированию сигналов
управления
Опыт показывает, что в системах обнаружения и сопровождения
объектов целесообразно разбивать процесс обработки информации на
ряд иерархических уровней.
В общем случае можно выделить следующие уровни обработки
информации: восстановление изображений, выделение сегментов, оцен-
ка параметров сегментов, слежение за объектами, оценка параметров
объектов, обнаружение объектов, распознавание объектов, сопровожде-
ние объектов.
Поясним такие понятия, как сегмент и объект. Под сегментом
здесь понимается связная совокупность точек бинарного изображения,
полученного в результате той или иной обработки. Под объектами
здесь подразумеваются изображения реальных наблюдаемых объектов.
Сегменты бинарного изображения обычно являются исходными данны-
ми для дальнейшего обнаружения объектов.
Поясним сущность каждого из уровней обработки информации.
Восстановление изображений состоит в реконструкции изображе-
ния. которое было до этого искажено вследствие дефектов и шумов дат-
чика изображения, неравномерности частотных характеристик канала
передачи и т. д.
Выделение сегментов состоит в принятии решения о наличии объ-
екта для каждой точки изображения.
Оценка параметров сегментов состоит в определении таких ха-
рактеристик сегментов, как координаты центра, размеры, средняя яр-
кость и т.д.
Слежение состоит в оценке траекторий движения объектов во вре-
мени, основываясь на анализе повеления сегментов во времени.
Оценка параметров объектов состоит в определении таких харак-
теристик объектов, как координаты центра, размеры, яркость, форма,
скорость, ускорение.
15
Методы автоматического обнаружения и сопровождения объектов
Оцененные характеристики могут быть использованы для приня-
тия решения об обнаружении объектов заданного типа.
Результаты оценки параметров можно использовать для решения
задачи сопровождения объектов, не имеющей непосредственного от-
ношения к анализу изображений. В результате сопровождения осущест-
вляется корректировка направления оптической оси датчика изображе-
ний с целью поддержания направления на заданный объект.
Распознавание объектов состоит в отнесении наблюдаемых изо-
бражений объектов к одному из заданных классов.
Иерархия уровней обработки информации в системах обнаружения
и сопровождения объектов представлена в виде пирамиды на рис. 1.5.
В непосредственной близости от параллелепипедов, представляющих
уровни иерархии, приведены краткие описания результатов, получае-
мых на каждом уровне.
Отнесение объеъпа к
одному из заданных
классов
₽аиж«ш»ввиие' Сопровождений
Поддержание направлении
оптической осн на заданный nfti.eici
ж.
список обнаруженных объектов и
их параметрон
Синеок параметров объектов
Траектории движения объектов
Список параметров енментов
Выяезйейе'Сегмеятвя
Бинарные и шбражения
£ •сстхнов.М1Л ймбраже «ей
Восстановленные
изображении
Рис. 1.5. Иерархия уровней обработки информации в системах обнаружения
и сопровождения объектов
Видео Восстановление
* изображений
Устройство анализа изображений
Восстановленные Бинарные
изображения изображения
Параметры
cei метон
Выделение , Оценка параметров
сегментов сегментов
Параметры
объектов
Траектории
движения
Классы
объектов
Рис. 1.6. Структура системы автоматического сопровождения объектов,
реализующей обработку информации в соответствии с иерархическими
уровнями, представленными на рис. 1.5
16
Системы автоматического обнаружения и сопровождения объектов ...
С учётом описанной иерархии базовая структура системы обнару-
жения и сопровождения объектов может иметь вид, представленный
на рис. 1.6.
Обычно в системе обнаружения и сопровождения объектов осуще-
ствляется переход от одного уровня иерархии к другому и, в конце кон-
цов, достигаются один или оба верхних уровня иерархии - сопровожде-
ние и распознавание объектов. В зависимости от задач, решаемых сис-
темой обнаружения и сопровождения, а также в зависимости оз исполь-
зуемых для решения подходов, некоторые уровни иерархии в конкрет-
ной системе могут отсутствовать.
В последующих главах книги будут подробно рассмотрены мето-
ды, используемые на большинстве иерархических уровней обработки
информации, представленных на рис. 1.5 и 1.6. В частности, для восста-
новления изображений чаще всего используются подходы на основе ли-
нейной и нелинейной фильтрации (глава 3), для выделения сегментов -
методы сегментации (глава 4) и методы пространственно-временной
обработки (глава 8), для оценки параметров сегментов достаточно эф-
фективным является применение алгоритма разметки и параметризации
(раздел 4.4) совместно с процедурами морфологической обработки (раз-
дел 3.2). Следует отметить, что корреляционные алгоритмы, рассматри-
ваемые в главах 5 и 7, осуществляют непосредственную оценку коорди-
нат объектов, минуя этапы выделения, оценки параметров и слежения.
Методы организации управления приводами, позволяющие осуществ-
лять сопровождение объектов, изложены в главе 9.
17
2. Математические основы
представления изображений
и видеопоследовательностей
Все сигналы можно разделить на аналоговые и дискретные.
Аналоговый сигнал представляется функцией, область определения
которой является непрерывным множеством.
Дискретный сигнал, напротив, задаётся функцией, определённой
лишь на дискретном множестве значений. Аналоговые сигналы описы-
вают реально протекающие физические процессы. Для обработки и ана-
лиза аналоговых сигналов их обычно предварительно преобразуют в
дискретные сигналы. После обработки дискретные сигналы могут быть
преобразованы в аналоговые. Таким образом, на входе и выходе устрой-
ства анализа сигналов обычно присутствуют аналоговые сигналы, в то
время как внутри устройства чаше всего используются дискретные сиг-
налы. Вопросы преобразования аналоговых сигналов в дискретные и
наоборот являются одними из важнейших в дисциплинах, связанных с
обработкой сигналов. Не является исключением и обработка последова-
тельностей изображений.
2.1. Формирование изображений
и видеопоследовательностей.
Дискретизация и квантование
Рассмотрим различие между аналоговыми и дискретными сигнала-
ми применительно к таким сигналам как изображения и последователь-
ности изображении. Для этого вначале кратко коснёмся процесса форми-
рования изображений при наблюдении некоторой сцены с помощью ви-
деокамеры. В видеокамере изображение наблюдаемой сцены проецирует-
ся на светочувствительную матрицу. Способ этого проецирования опре-
деляется оптическим характеристиками видеокамеры, и, прежде всего,
параметрами объектива, а также расстоянием от объектива до светочувст-
вительной матрицы. Несмотря на большое разнообразно и сложность уст-
ройства современных объективов, процесс формирования изображения на
светочувствительной матрице датчика в первом приближении может
быть описан простыми математическими моделями.
Рассмотрим поверхность в трёхмерном пространстве, задающую
пространственную конфигурацию наблюдаемой сцены (рис. 2.1). Све-
точувствительная матрица расположена в фокальной плоскости видео-
камеры на расстоянии f от оптического центра. Введём прямоуголь-
18
Математические основы представления изображений и видеопоследовательностей
ную систему координат OXYZ с центром О, совпадающим с оптиче-
ским центром объектива. Оси ОХ и OY направим параллельно краям
светочувствительной матрицы, а направление оси OZ пусть совпадает с
направлением оптической оси. Расстояние f от оптического центра до
фокальной плоскости называется фокусным расстоянием камеры.
Рис. 2.1. Формирование изображения с помощью видеокамеры
Рассмотрим произвольную видимую точку наблюдаемой сцены Р
с координатами (x',y',zj. Изображение этой точки проектируется на
светочувствительную матрицу через оптический центр видеокамеры О.
Проекцию точки Р на плоскость светочувствительной матрицы обозна-
чим через р . Точка р имеет координаты (х,у,-/). Найти связь между
координатами (x',y',z') и (х,у) можно из элементарных геометрических
соображений [4]:
Z, (2-1)
y-f~-
Z
Уравнения (2.1) называются уравнениями перспективной проекции
н задают связь между точками трёхмерного пространства и точками
изображения. Энергия светового излучения, отражаемая точками на-
блюдаемой сцены или излучаемая ими, попадает на соответствующие
им точки светочувствительной матрицы. При этом речь идёт только о
той световой энергии, которая отражается или излучается в направле-
нии видеодатчика.
Разумеется, приведённая модель отражает лишь наиболее простые
условия формирования изображений. В общем случае, в процессе рас-
пространения через некоторую среду (вакуум, воздух, стекло и т.д.),
световые лучи могут рассеиваться, поглощаться, преломляться, однако
рассмотрение этих явлений выходит за рамки настоящей работы.
19
Методы автоматического обнаружения и сопровождения объектов
Распределение энергии источника светового излучения по коорди-
натам точек светочувствительной пластины, времени i и длинам волн Л
может быть описано функцией С(х,у,1,Л), причём 0<С(х,у,1,Л)< А.
Размеры изображения ограничены размерами пластины:
-Lx <x<Lx, -L < у <Ly.
Чувствительность видеокамеры к волнам различной длины неоди-
накова, и описывается функцией спектральной чувствительности к(л).
Плотность распределения световой энергии по координатам точек све-
точувствительной пластины и по времени, с учётом спектральной чув-
ствительности датчика, может быть найдена из выражения [2]
УА(х,у,О- |с(х,у,г,Л)И(Л)йЛ. (2.2)
о
Эту функцию, которая описывает распределение яркости по пло-
щади чувствительной матрицы и по времени, можно рассматривать как
видеопоследовательность, представленную в аналоговой форме. Разу-
меется, слово «последовательность» может быть использовано здесь
лишь условно, поскольку понятие последовательности само по себе
подразумевает дискретность представления. При фиксированном t =
функция двух переменных F(x,y) = УА(х,у,Т0) является аналоговым
изображением наблюдаемой сцены.
С целью дальнейшей обработки или передачи аналоговый сигнал
УА(х,у,г) обычно преобразуют в дискретную форму, получая при этом
массивы чисел. Преобразование сигнала из аналоговой формы в дискрет-
ную называется дискретизацией. Дискретизация сигнала Уд(х,у,г) по
пространственным координатам производится благодаря дискретной
структуре матрицы видеокамеры, состоящей из набора светочувствитель-
ных элементов. Расстояние между соседними элементами матрицы по го-
ризонтали и по вертикали называется шагом матрицы. Дискретизация
сигнала по времени достигается синхронным накоплением энергии излу-
чения в течение небольших периодов времени в каждой точке матрицы.
Время накопления световой энергии называется временем экспозиции.
Частота следования периодов экспозиции называется частотой кадров.
Важными вопросами, связанными с осуществлением дискретиза-
ции, являются вопросы выбора размеров и формы светочувствительных
элементов матрипы датчика, вопросы выбора времени экспозиции, шага
матрицы, частоты кадров.
Критерий успешного решения этих вопросов - возможность по-
следующего восстановления аналогового сигнала по дискретному мас-
сиву отсчётов с заданной погрешностью.
20
Математические основы представления изображений и видеопоследователъностеи
Дискретизация аналогового сигнала УА(х,у,/) с математиче-
ской точки зрения. В идеальной системе дискретизации отсчёты дис-
кретной видеопоследовательности получаются путём перемножения
функции YK(x,y,t) с пространственно-временной дискретизирующей
функцией
S(x,y,f)= ]Г jr ^^(x-7,A¥,y-J,Ay,/-ИЛО, (2.3)
«= соЛ=-<ю j2=-^>
состоящей из бесконечного числа дельта-функций, заданных в узлах
решётки с шагом (Дх,Лу,Л/). Тогда дискретная видеопоследователь-
ность описывается соотношением
уо (*, Т >0 = уд (*> У, f)S(x, у, Г) =
= S X ^га(ЛЛ¥.ЛдЛиД')^(х~7|Дх-3'-ЛАуД-«АО. (2.4)
И=-со д= -эо /2=-да
Найдём спектр Фо(а,,а>у,а>1'), получаемый в результате непре-
рывного трёхмерного преобразования дискретизированной видеопосле-
довательности
Фв(а>х,а>у,а>,) = JJJ yD(x,y,Z)exp{-/(<a,x + ®vy +/o,t)]dxdydt. (2.5)
Согласно теореме о свёртке
Ф1)(а1/<|,1,й,) = Фд(<>11,и)/р,)*Г(и,,и|,и,), (2.6)
где Г(0Х,0 - преобразование Фурье от дискретизирующей функции.
Считая спектр исходной видеопоследовательности ограниченным
ФА (гух,ю^,й>,) = 0 при |й)х|>сфр, |<В(|>Й4Ф’
(где верхние граничные частоты спектра видеопоследова-
тельности), можно показать, что спектр дискретной видеопоследова-
тельности получается путём бесконечного повторения спектра исходной
функции УА(х,у,/) со сдвигом на величины, кратные 2л-/Дх, 2л/Ду,
2л-/А/:
Ф п (®х,юу ,<а,)=
1 V V V д. (" . 2л . 2л 2л„
=-------- 7/7 41, 0) -/,—-----------------,<»,-«— . (2.7)
ЛтЛуЛТ А 1 ЛДх’ •' ЛДу’ ' Ar) ' ’
21
Методы автоматического обнаружения и сопровождения объектов
Если величины Дх, Ду, А/ выбраны неправильно, то соседние
спектры будут накладываться друг на друга. Явление наложения спек-
тров в литературе часто называют элайзингом (от англ, aliasing) Оче-
видно, что если соседние спектры перекрываются, то никакими средст-
вами невозможно получить спектр аналогового сигнала из спектра дис-
кретного сигнала, а значит, при дискретизации часть информации, со-
держащейся в аналоговом сигнале, была утеряна.
Для предотвращения наложения спектров необходимо выбирать
период следования кадров и период дискретизирующей решётки таки-
ми, чтобы выполнялись неравенства
Дг < л/aij’’, Ду< л’/<у)гр , Д/< л/го,171 . (2.8)
Условия, задаваемые неравенствами (2.8), эквивалентны теореме о
дискретизации одномерных сигналов, в которой сформулировано тре-
бование, что частота дискретизации должна хотя бы вдвое превышать
наивысшую частоту спектра сигнала. Это положение известно в отече-
ственной литературе как теорема Котельникова.
Восстановление аналогового сигнала из дискретной видеопоследо-
вательности можно произвести, выделяя из спектра (2.7) лишь одну низ-
кочастотную составляющую, центр которой находится в начале коорди-
нат. Если использовать фильтр с частотной характеристикой
!R(<ux,при|й>х|<о^р,|<у,.|и |<у,| <а,ср,
'Я(<ул,<ул,<у,) = 0 в остальных случаях.
где К - масштабная постоянная; <у'р, гу'р, afp - частоты среза фильт-
ра; <у'р < (ozxp <у'р < <Uj.p < 71/t\y, <ирр < л|‘р < л/Д/,
то при выполнении условий теоремы Котельникова теоретически можно
полностью восстановить спектр аналогового сигнала, а значит и сам
сигнал:
ФА(<у,,й>,.,<«,) = Э1(й»Л,ги,,й>,)ц0(<ух,й>1.,га,). (2.10)
Импульсный отклик такого фильтра имеет вид
Я( х, у, г) = ( К ) i sin(<y‘px) /(ft>'px)J [sin( <yjpy) /(a>'py)] x
x£sin(<ap’z)/(afpo]- (2.11)
К сожалению, трёхмерный характер этого сигнала, как видеопос-
ледовательность, нс даёт возможности наглядно продемонстрировать
эффекты дискретизации и наложения спектров, поэтому в иллюстратив-
ных целях рассмотрим дискретизацию обычных изображений, т.е. функ-
22
Математические основы представления изображений и видеопоследоватезьностей
ций, зависящих только от пространственных координат х и у. Для по-
вышения наглядности вместо амплитудного спектра на рис. 2.2^-е и
2.3,в.г изображены логарифмы амплитудного спектра. Рис. 2.2 иллюстри-
рует процесс дискретизации и восстановления изображения при выборе
шага дискретизации в соответствии с теоремой Котельникова. Спектр ис-
ходного изображения ограничен и представлен на рис 2.2z. Дискретное
изображение приведено на рис. 2.2.6. Дельта-функции представлены
здесь в виде импульсов, амплитуда которых равна энергии дельта-функ-
ции. Амплитудный спектр дискретного изображения (рис. 2.2.д) получа-
ется путём бесконечного периодического повторения спектра исходного
изображения. Поскольку частота дискретизации выбрана верно, то сосед-
ние элементы спектра не перекрываются. Это даёт возможность полно-
стью восстановить исходное изображение (рис. 2.2,в), выделив централь-
ную часть спектра дискретного изображения.
.’) <» е)
Рис. 2.2. Дискретизация и восстановление изображения при выборе частоты
дискретизации в соответствии с теоремой Котельникова:
а — исходное изображение; 6 - дискретизированное изображение; в - восстановленное
изображение; г - спектр исходного изображения; д - спектр дискретизированного
изображения; е спектр восстановленного изображения
При выборе недостаточной частоты дискретизации возникают ис-
кажения, вызванные наложением спектров. На рис. 2.3,« приведено изо-
бражение, дискретизованное с частотой в два раза меньшей, чем на
23
Методы автоматического обнаружения и сопровождения объектов
рис. 2.2. б Соответственно, его спектр (рис. 2.3,в) содержит перекры-
вающиеся экземпляры спектра исходного изображения, при этом уже не
удаётся восстановить исходное изображение. Результат восстановления пу-
тём выделения центральной компоненты дискретного спектра (рис. 2.3,6)
содержит чрезмерно много искажений. Как видно из рис. 2.3,с, спектр
восстановленного изображения имеет составляющие, отсутствующие в
исходном изображении.
«)
Рис. 2.3. Дискретизация и восстановление изображений при недостаточной
частоте дискретизации:
а - дискретизованное изображение: б восстановленное изображение: в - спектр
зискрстизованного изображения. спектр восстановленного изображения
При дискретизации по времени имеют место аналогичные явления,
но уже во временной области. Частоту дискретизации видеопоследова-
тельности по времени (частоту кадров) следует выбирать исходя из ipa-
ничной частоты колебаний яркости, происходящих в наблюдаемой
сцене во времени. Если наблюдается медленно протекающий процесс,
например, распускание цветка, то частоту кадров можно выбрать, на-
пример. равной одному кадру в минуту. Если же объектом наблюдения
является летящая пуля то частота кадров должна достигать нескольких
тысяч в секунду. Только в этом случае дискретная видеопоследователь-
ность будет содержать всю информацию, содержащуюся в аналоговом
24
Математические основы представления изображений и видеопоследовательностей
сигнале. При недостаточной частоте дискретизации возникнут искаже-
ния, аналогичные представленным на рис. 2.3,6, но уже во временной
области. Один из характерных типов искажений, вызванных наложени-
ем спектров во временной области, проявляется при съёмке быстро
вращающихся колёс автомобиля. Из-за недостаточной частоты кадров
быстро вращающееся колесо может выглядеть неподвижным или мед-
ленно поворачивающимся (причём в любую сторону).
Обычно в системах обработки видеопоследовательностей нет не-
обходимости анализировать весь частотный диапазон сигнала, при этом
дискретизацию обычно проводят на пониженной частоте, определяемой
характером решаемой задачи. В таком случае исходный аналоговый
сигнал необходимо отфильтровать, чтобы устранить или подавить не-
желательные высокочастотные гармоники. Используемый при этом
фильтр часто называют антиэлайзинговым фильтром, поскольку он уст-
раняет искажения, вызванные наложением спектров. Роль антиэлайзин-
гового фильтра в пространственной области обычно выполняют эле-
менты светочувствительной матрицы, которые имеют не точечную, а
прямоугольную илн дисковую форму Другой разновидностью про-
странственного фильтра, устраняющего наложения спектров, яаляются
специальные дифракционные пластины. Чтобы отфильтровать высоко-
частотные составляющие во временной области, часто увеличивают
время экспозиции датчика.
Необходимо заметить, что рассмотренные теоретические положе-
ния, касающиеся дискретизации и восстановления последовательностей
изображений, на практике могут быть использованы лишь приближен-
но. В реальной системе дискретизации дискретизирующая решетка име-
ет конечные размеры, а ширина дискретизирующих импульсов заметно
отличается от нуля. Кроме этого, идеальный фильтр восстановления с
частотной характеристикой (2.9) реализовать невозможно. Более под-
робный анализ процессов дискретизации и восстановления изображе-
ний в реальных устройствах приведён, например, в [2]
Квантование видеопоследовательностей. Процесс преобразова-
ния отсчётов, имеющих непрерывное множество значений, в отсчёты с
дискретными значениями называется квантованием. В процессе кванто-
вания значения отсчётов аналогового сигнала сравниваются с набором
пороговых уровней. Если отсчёт попадает в интервал между двумя со-
седними уровнями, то ему приписывается значение фиксированного
уровня квантования (обычно двоичная кодовая комбинация), соответст-
вующего данному интервалу. Таким образом, если b - число двоичных
разрядов, то при равномерном коде число уровней L = 2*.
25
Методы автоматического обнаружения и сопровождения объектов
Человеческий глаз способен различать от 10 до 15 градаций значе-
ния светлоты, однако он имеет гораздо большую чувствительность к
различию светлоты соседних элементов изображения. При уменьшении
количества уровней квантования бросается в глаза эффект появления
контуров в тех областях, где светлота исходного изображения изменяет-
ся плавно. Появление контуров объясняется скачкообразным изменени-
ем светлоты квантованного изображения при переходе от одного уровня
квантования к другому. Проведённые эксперименты по определению
количества уровней квантования показали, что для получения хорошего
качества необходимо квантовать яркостное изображение не мгнее чем
на 64 уровня (6 двоичных разрядов).
В заключение отмстим, что в отличие от многих других видов сиг-
налов, при дискретизации и восстановлении дискретных видеопоследо-
вательностей необходимо иметь в виду как пространственные, так и
временные свойства аналогового сигнала. Этот аспект проявляется и
при рассмотрении различных методов обработки видеопослсдователь-
ностей, описанных в последующих главах.
2.2. Описание изображений
Имеются два основных способа описания изображений: детермини-
рованный и статистический [2]. При детерминированном описании вво-
дится математическая функция, представляющая изображение, и рас-
сматриваются свойства изображения в каждой точке. При статистическом
описании изображение определяется усреднёнными характеристиками.
Детерминированный способ описания непрерывных и дис-
кретных изображений. Этот способ описания изображений в виде
функций двух переменных F(x,y) использовался в предыдущем разде-
ле в ходе рассмотрения процессов дискретизации н восстановления изо-
бражений. При этом для дискретных изображений использовался такой
же способ описания, что и для непрерывных, за исключением того, что
дискретное изображение, в отличие от непрерывного, представляет со-
бой взвешенную сумму дельта-функций, размещённых в узлах решетки
дискретизации. Однако на практике дискретные изображения обычно
представляются не в виде суммы дельта-функций, а в виде матриц чисел
F(i,j) размерностью NtxN2. Каждое число в массиве равно энергии
соответствующей дельта-функции.
Помимо матричного, часто удобно использовать векторное пред-
ставление изображения [2]. Введём для этого вспомогательный вектор
V„ размером Л'2х| и матрицу N„ размером NtN2 х N,, определяемые
следующим образом:
26
Математические основы представления изображений и видеопоследовательностей
(2-12)
В этом случае матрица F будет представлена в векторной форме с
помощью операции упорядочения
f = ^N„FV„ (2.13)
Вектор V„ выделяет и-й столбец матрицы F, а матрица N„ по-
мещает этот столбец на место, отведённое для и -го участка вектора f.
Таким образом, век гор f содержит все элементы матрицы F , последо-
вательно считанные по столбцам. Обратная операция преобразования
вектора f в матрицу F описывается соотношением
F(2.14)
Л=1
Достоинством такого представления является возможность непо-
средственного использования методов, разработанных для обработки
одномерных сигналов.
Статистическое описание дискретных изображений. Математи-
ческое ожидание изображения определяется следующим образом:
£{F} = [£{ (I,/)}], (2.15)
т.е. математическое ожидание матрицы есть матрица, содержащая ма-
тематические ожидания элементов.
Если матрица преобразована в вектор, то математическое ожида-
ние этого вектора
1r=£{f}=^N„£{FK. (2.16)
И=1
Корреляция двух элементов изображения с координатами (i,, jj) и
(i2 ,j2) определяется как
£(1, .Ji J ‘г = E{F(h. Л )£(>2. Л Я (217)
27
Методы автоматического обнаружения и сопровождения объектов
Ковариация двух элементов изображения есть
^01’71^2» 7 г)=
= £{[/?(<рЛ)-£ИА.Л)}]х[^2.Л)-£Н2.Л)Ж- (218)
Дисперсия элемента изображения
= (2.19)
Если матрица изображения преобразована в вектор f , то корреля-
ционную матрицу этого вектора можно выразить через корреляции эле-
ментов матрицы F
Rf - е{1Т’
> ТА
У N-FV У V’FTNI
✓ . т т у /j л п
(2.20)
нли
(2-21)
ГП=1 П=1
Выражение £’^FV,mV’FT}= Rm_„ представляет собой корреляцион-
ную матрицу т и и-го столбцов матрицы F н имеет размер хЛ^.
Таким образом, R, можно представить в виде блочной матрицы
Rl.l Rl,2 R1.iV2
R21 R) 7 Ro л,-
Rf = ' : 2 . (2.22)
RA’,.I RA'2,2
Ковариационную матрицу вектора f можно получить на основе
его корреляционной матрицы и вектора средних значений с помощью
соотношения
Kf =Rr 4fii; (2.23)
Матрица дисперсий V массива чисел F(i,j) по определению яв-
ляется матрицей, элементы которой равны дисперсиям соответствую-
щих элементов массива. Элементы матрицы V' можно непосредственно
выделить нз блоков матрицы Кг
Г0,П = КаУ(1,2). (2.24)
Дискретное изображение, представленное вектором, можно пол-
ностью описать с помощью совместной плотности вероятности его эле-
ментов
28
Математические основы представления изображений и видеопоследователъностей
P(f)-P(f„f2,...,f0), (2.25)
где Q = NxN2 определяет порядок совместной плотности. В случае ста-
тистической независимости элементов изображения совместная плот-
ность равна произведению одномерных безусловных плотностей
P(f) = P(f,)P(f2)...P(fe). (2.26)
Наиболее распространенным видом совместной плотности вероят-
ности является гауссова плотность
P(f) = (2^)’^|Kf|^exp{-0,5(f-nr) Kf-'(f-nf)}, (2.27)
где |К(| - определитель матрицы К,.
Заметим, что гауссова плотность не вполне подходит для описания
яркости элементов изображения, поскольку яркость может быть только
положительной.
2.3. Признаки изображений
Признак изображения численная характеристика, описывающая
те или иные свойства изображения ] 2]. Признаки играют важную роль
при сегментации изображений, а также при решении задач выделения,
обнаружения и распознавания объектов. Общеизвестным является тот
факт, что решение задачи классификации зависит от удачно выбранной
системы признаков. Все признаки можно разделить на естественные и
искусственные.
Естественные признаки. Признаки, принадлежащие к данной ка-
тегории, могут быть установлены непосредственным анализом изобра-
жения. Набор естественных признаков, которыми обладает изображе-
ние, определяется типом используемого датчика изображений. Если в
качестве датчика используется чёрно-белая видеокамера или теплови-
зор, то единственным естественным признаком является яркость. Если
датчик изображения представляет собой цветную видеокамеру, то набор
естественных признаков включает себя интенсивности светового излу-
чения в красном, синем и зелёном оптических диапазонах. При исполь-
зовании мультиспсктральных датчиков набор естественных признаков
состоит из некоторого количества элементов, каждый из которых пред-
ставляет собой интенсивность электромагнитного излучения в некото-
ром узком диапазоне электромагнитных волн. Количество естественных
признаков в таком случае может достигать десятков или даже сотен.
Искусственные признаки. Признаки, принадлежащие к этой
категории, получаются путем специальной обработки естественных
признаков.
29
Методы автоматического обнаружения и сопровождения объектов
По характеру пространственного описания изображения искусст-
венные признаки можно разделить на локальные и глобальные. Локаль-
ные признаки изображения обычно рассчитываются для каждой точки
изображения с участием значений из некоторой окрестности этой точки.
Глобальные признаки характеризуют изображение в целом и вычисля-
ются с участием всех точек изображения.
По характеру описания временных процессов, происходящих в по-
следовательности изображений, признаки можно разделить на статиче-
ские и динамические. Статические признаки описывают лишь про-
странственные свойства изображения. Для их вычисления используется
лишь одно изображение. Динамические признаки характеризуют про-
цессы, протекающие с изображением во времени. Динамические при-
знаки рассчитываются на основе последовательности изображений.
Приведём примеры наиболее широко используемых признаков
изображений.
Средняя яркость окрестности точки (/,/) размером
(2И'| 1)х(2И'+1) элементов определяется как
, » К'
(2.28)
Степень изменения яркости в окрестности рассматриваемой точки
может служить хорошим признаком при обнаружении и выделении
объектов на изображении. Один из простейших способов оценки ло-
кального изменения яркости изображения состоит в вычислении дис-
кретных разностей вдоль строки илн вдоль столбца матрицы, соответст-
вующей изображению:
= + , d2(i,j) = l(i,J)-l(i, j + 1). (2.29)
Направление перепадов яркости изображения может быть рассчи-
тано по формуле
zp = arctg(J2 (i, j) / dt (i, j)). (2.30)
Широко используется и двумерное дискретное дифференцирова-
ние, которое выполняется с помощью операции свертки массива исход-
ного изображения с различными курсовыми градиентными масками:
1 1 1
-1 1 1
-1 -1 -1
Север Н= 1 -2 1
Восток Н= -1-2 1. Юг
-1 -1 1
-1 1 1
Н- 1 -2 1
1 1 1
Название курса указывает на направление склона перепада ярко-
сти, при котором маска даёт максимальный отклик. Градиентные маски
обладают нулевым суммарным весом, поэтому в областях изображения
30
Математические основы представления изображении и вибеопослеоователъностеи
с постоянной яркостью они дают пулевой отклик. Могут использоваться
также результаты свертки массива изображения с оператором Лапласа,
представленным в виде масок:
0-10
-1 -1 -1
Ц = -1 4 -1
0-10
Н2 = 1 8 -1 ; Н3 =
-1 1 -1
-2
1
2
4
-2
(2-31)
1
1
2
1
Один из весьма информативных источников информации об изо-
бражении гистограмма. Гистограмма изображения определяется соот-
ношением:
P(b)^N(b)/M, (2.32)
где М - полное число элементов изображения, 0<b<L-1 - уровни
квантования, N{b) - число элементов, имеющих уровень яркости b .
Гистограмма изображения является оценкой распределения веро-
ятностей значений яркостей первого порядка, которое, в свою очередь,
определяется как
P(b) = P{F(i,j) = b}, (2.33)
где F(<, /) - изображение, рассматриваемое как реализация случайного
процесса.
Форма гистограммы даёт много сведений о свойствах изображе-
ния. Например, узкая гистограмма указывает на низкий контраст, а би-
модальная гистограмма предполагает наличие областей разной яркости.
Основные признаки, которые можно вычислить по гистограмме
первого порядка, это:
t-i
среднее значение яркости b = 2>Р(6), (2.34)
&=0
L-l
дисперсия a2 = У, (6 -Ь)2Р(Ь), (2.35)
6=0
Ь-1
энтропия ЬЕ = P(b) log?[P(/))j. (2.36)
ь о
Гистограммные признаки второго порядка основаны на определе-
нии совместного распределения пар элементов изображения. Пусть за-
дан некоторый вектор смещения Л = (л,,Д>). Совместное распределе-
ние вероятностей того, что яркости пар точек изображения, смещённых
на вектор Д, окажутся равными соответственно а и h, определяется
выражением:
31
Методы автоматического обнаружения и сопровождения объектов
Р(а. Ь / Л) = p\f(1, f) = a, F(i + Дх, j + Д у ) - b]. (2.37)
Гистограмма второго порядка, оценивающая распределение второ-
го порядка, определяется формулой
Р(«,й/Д) = У(а,Д/Д)/М(Д), (2.38)
где N(a,b/A) - число случаев, когда F(i,f) = a и F(i + Дх, /' + Л,.) = Ь,
М(Д) - количество всевозможных пар точек изображения, смещённых
на вектор Д.
На основе гистограммы второго порядка можно вычислить такие
признаки изображения, как
автокорреляция ВЛ(Л) = ^^аЬР(а,Ь/л), (2.39)
а-0 Ь=0
L 1 L 1
момент инерции BY(Д) = -й)2Р(а,/>/д), (2.40)
а=0 ь=а
энтропия ВЕ(Д) = ,fe/A)log2[p(a,iM)]. (2.41)
д=0 />=о
Вычисление пространственно-спектральных признаков связано с
выполнением двумерных спектральных разложений изображений. Ко-
эффициенты спектральных разложений показывают степень корреляции
выбранных базисных функций с изображением. Если базисное изобра-
жение имеет ту же пространственную форму, что и признак, который
необходимо обнаружить на изображении, то обнаружение признака
можно выполнить путём вычисления значений соответствующего спек-
трального коэффициента и сравнения с пороговым значением. Наиболее
широкое распространение получило двумерное преобразование Фурье,
которое определяется как
Ф(й\,ту ) = J Jf(x,j)ехр{-«(шлх + a>yy)}dxdy. (2.42)
Квадрат модуля спектра М(сох,й>у) = |ф(ох,оу)| может быть ис-
пользован для вычисления ряда признаков. Интегрирование функции
М{сох,соу) по узлу на плоскости пространственных частот дае> про-
странственно-частотный признак, инвариантный относительно сдвига и
вращения изображения. Представив функцию М{<дх,аэу) в полярных
координатах, запишем этот признак в виде
32
Математические основы представления изображений и видеопоследовательностей
2л
П,(р) = ^М(р,в)3в, (2.43)
о
где 0 = aKtg(tay рг = а>х + а>у.
Инвариантностью относительно масштаба обладает признак
П2(0 = “$М(р,0)Зр . (2.44)
о
Существуют и другие признаки, получаемые на основе амплитуд-
ного и фазового спектров.
Часто естественные сцены лишены существенных деталей на
больших пространствах. В этих областях изображение можно охаракте-
ризовать как проявление повторяющейся структуры, аналогичной
структуре ткани или стены из кирпича. Во многих случаях желательно
определять границы текстурной области и размер зерна текстуры внут-
ри каждой области. Очевидно, что размер зерна связан с периодом про-
странственной повторяемости локальной структуры. Большому периоду
соответствует крупная текстура, малому — малая структура. Поскольку
текстура это пространственное свойство, измерение её признаков
должно ограничиваться областями, обладающими относительной одно-
родностью. Установить границы областей однородности можно с ис-
пользованием методов сегментации изображений.
В качестве одной из характеристик текстуры используется про-
странственная автокорреляционная функция
uW f+W
У У F(m, k)F(m -t-.k-rj)
--------------> <2-45)
У У[Г(тЛ)]2
т 1-И’к
которая вычисляется в окне (2ИЛ+1)х(21У+1) для каждой точки изобра-
жения (i,j) и при смещениях z.;>7=0, ±1, ±2,...
Оказывается, что размер зерна текстуры пропорционален ширине
автокорреляционной функции. Для анализа текстуры применяются так-
же методы, основанные на использовании спектра Фурье.
2-3447
33
3. Методы фильтрации
изображений
Фильтрация изображений составляет основу большого количества
методов обработки и анализа изображений. Она не только является ча-
стью алгоритмов обнаружения и выделения объектов, но применяется и
для подавления шумов, и для реставрации, восстановления, подчёрки-
вания деталей изображений.
Перед тем как рассмотреть основные методы фильтрации изобра-
жений, остановимся на описании самого понятия фильтрации дискрет-
ных изображений. Для математического описания последовательности
изображений будем использовать функцию /„(/', j), где i,j - простран-
ственные координаты точек изображения, п - номер кадра видеопосле-
довательности. Рассмотрим матрицу, состоящую из яркостей точек, на-
ходящихся в окрестности точки (/, j) кадра с номером п . Пусть размер
окрестности W х W элементов. Здесь и далее предполагается, что зна-
чение IV является нечётным. Обозначим эту матрицу
чМм)=Ь>Хж-
«p,, = F„(»-(fr-l)/2-l + p,7-(FF-l)/2-l + 9), A9 = uF. (3.1)
Сформируем из матриц новую блочную матрицу
состоящую из матриц ч»т(г,у) при т = (п-У + 1),и :
*„(»,/) = [ч'п-к+1('.ЛЧ'»-к-20.Л •Ч'„(',У)]- (3.2)
Таким образом, матрица Ч'„(1,7) содержит значения яркостей то-
чек, находящихся в окрестности размером IV х W точки (i,j), причём в
матрице Ч'„(|,7) хранятся все значения яркостей указанных точек, ко-
торые они принимали на протяжении V последних кадров.
Фильтрация видеопоследовательности Fn(i,j) — процесс получе-
ния новой видеопоследовательности G„(i,j), при котором значение
определяется в соответствии с выражением:
G„(z>7) = W(4>„(i,j),i,7>), (3.3)
где Я('₽„(;,7),/.7,л) - функция, описывающая дискретный фильтр.
Таким образом, общим для всех методов фильтрации является то,
что значение отфильтрованного сигнала на кадре п в точке (i,j) вы-
34
Методы фильтрации изображений
числяется на базе отсчётов исходного сигнала, находящихся в окрестно-
сти точки (i,7), взятых из текущего изображения, а также из ряда пред-
шествующих ему изображений. При этом алгоритм вычисления может
зависеть от координат точки i, j и от номера изображения п .
Если рассматривать видеопоследовательность как функцию трёх
переменных i, j и п, то, описывая процесс фильтрации, можно ска-
зать, что прн вычислении значения G (io>7o) в соответствии с (3.3)
участвуют значения функции F„(z,7), лежащие в трёхмерной окрестно-
сти точки i0,7o,n0. Эта окрестность задаётся системой неравенств
<о - -1)/ 2 < ! < 1о + (IV -1)/ 2 , 7о - («•' -1)/ 2 <./ < 7о + (IV -1)/ 2,
ис - (г -1) < и < и0 и имеет размеры W х (V х Г .
Особенности конкретного метода фильтрации обуславливаются
видом используемой функция //(Ч',1,7,и).
Рассмотрим несколько основных разновидностей фильтрации.
Линейная фильтрация - фильтрация, при которой для любых чи-
сел Я и р и для любых двух видеопослсдовательностей Л„(;,7),
В„(<>7) выполняется условие
^Л('-/)+Л(',У)>г>7»-ЯЯ(41(/,7),1,7»+ 4)
+p/f(B„(<,7j,i,7,«).
Настоящее определение соответствует понятию линейности, из-
вестному из теории операторов или из теории линейных пространств.
Если равенство (3.4) не выполняется, говорят о нелинейной фильт-
рации.
Фильтрация называется инвариантной во времени, если функция Н,
описывающая фильтр, не зависит от номера текущего изображения п, т.е.
= Я(Ч'„(/,7),<,7). (3.5)
Фильтрация называется пространственно-инвариантной, если
функция Н не зависит от пространственных координат
77(Ч'„(1,7),1,7» - . (3.6)
Соответственно, при фильтрации, инвариантной в пространстве
и во времени, функция Н не зависит ни от координат, ни от номера те-
кущего кадра:
Н(Ч>„(г-,7),Л7» - . (3.7)
В некоторых случаях размер окрестности, определяемой параметрами
В’ и , имеет единичный размер во времени или в пространстве. Напри-
мер, при И7 = 1 функция Н может быть описана следующим образом:
35
Методы автоматического обнаружения и сопровождения объектов
В данном случае при вычислении результата фильтрации в точке
Go, Jo) на кадре и0 не принимают участия значения яркостей соседних
точек. Очевидно, речь идёт о независимой фильтрации яркости в каж-
дой точке. Такую фильтрацию следует называть временной фильтраци-
ей видеопоследовательности.
Аналогично, при V = 1 функция Н имеет вид
ff(4’„(',j),Лу,«) = Я(ч>„(», Д/./.и), (3.9)
где - матрица, определяемая из (3.1). Здесь, очевидно, мы име-
ем дело с независимой фильтрацией отдельных изображений, и подоб-
ную обработку называют пространственной фильтрацией видеопосле-
довательности.
Если же и И7 = 1, и Г- 1. то приходим к так называемому поэле-
ментному преобразованию, которое является вырожденным частным
случаем фильтрации видеопоследовательностей, при этом
Н (*„(', A', J,«) = п). (3.10)
Если И7 > 1 и V > 1, то такую фильтрацию называют пространст-
венно-временной.
Определяя процесс фильтрации как результат вычисления выра-
жения (3.3), мы предполагали, что размеры фильтра в пространстве W
и размер фильтра во времени V — конечные величины, однако понятие
фильтрации можно обобщить и на бесконечные значения параметров
И7 н V. Если W = =с , то при вычислении яркости будут участ-
вовать не только ближайшие соседи точки (z,j), но и точки, бесконечно
удалённые от неё в пространстве. Аналогично, если V = со, то вычисле-
ние яркости должно производиться с участием изображений
видеопоследовательности, находящихся в бесконечном прошлом отно-
сительно текущего кадра п.
Размер фильтра во времени (параметр V ) фактически представляет
собой размер памяти фильтра. Если I7 имеет конечное значение, то
фильтр принято называть фильтром с конечной памятью. Напротив, если
V = ос, то такой фильтр называют фильтром с бесконечной памятью.
Проблема использования фильтров с бесконечной памятью, оче-
видно, связана с ограниченностью памяти вычислительных устройств,
однако некоторые из рассматриваемых методов фильтрации могут быть
достаточно эффективно реализованы, и оказываются весьма полезными
для обработки изображений (см. п. 3.1).
36
Методы фильтрации изображений
Наибольшее внимание в дальнейшем будет уделено инвариантным во
времени и в пространстве линейным и нелинейным методам фильтрации,
поскольку именно они наиболее широко используются на практике.
3.1. Линейные методы фильтрации
Если прн линейной фильтрации выполняются свойства простран-
ственной и временной инвариантности, то функция Н, описывающая
фильтр, имеет вид (3.7) и обладает свойством линейности (3.4). При
этом функция Н полностью описывается с помощью функции трёх
дискретных переменных /;(/,/, н), и алгоритм вычисления результата
фильтрации имеет вид трёхмерной дискретной свёртки
Г-l Г-1
(З-Ч)
„,=П Г-1 Г-1
Здесь и) - импульсный отклик фильтра.
Для анализа линейных инвариантных дискретных фильтров может
быть широко использован аппарат дискретного преобразования Фурье
(ДПФ). Результат ДПФ от выражения (3.11) имеет вид
, е>7, ) = н(е>;, а>;, а>п )ф(е>,, (3.12)
где г(си,,шу.,®„), н(т,.,е>у,й)„), ф(е>,,ту,е>„) -ДПФот G„(/,j), h[i,j,n),
соответственно, га;,га7,га„ - дискретные частоты.
Функцию н(п>,.,<а ,й>„) называют частотной характеристикой
фильтра. Используя различные виды линейных фильтров можно уси-
ливать или, наоборот подавлять некоторые частоты в спектре видеопос-
ледовательности.
Частотные свойства линейных фильтров лежат в основе многих
методов обработки изображений.
Подавление шумов на изображении. Поскольку шум простран-
ственно декоррелирован, в его спектре, как правило, содержатся более
высокие пространственные частоты, чем в спектре последовательности
изображений. Следовательно, простая низкочастотная фильтрация мо-
жет служить эффективным средством сглаживания шумов. Выходной
массив двумерного линейного дискретного фильтра может быть полу-
чен в соответствии с выражением:
г г
= ^*(p,9)F(<-p,y-9). (3.13)
37
Методы автоматического обнаружения и сопровождения объектов
Сглаживание шума обеспечивается низкочастотной фильтрацией с
помощью массива с положительными элементами. Приведём сглажи-
Эти массивы нормированы для получения единичного коэффици-
ента передачи, чтобы процедура подавления шума не вызвала смещения
средней яркости обработанного изображения.
Побочным эффектом описанных выше линейных фильтров являет-
ся то, что в результате усреднения на профильтрованном изображении
G(i, у) часто пропадают мелкие детали, а контуры объектов становятся
размытыми и нечеткими. Для преодоления этого недостатка были раз-
работаны более совершенные методы подавления шумов, среди кото-
рых можно выделить винеровский и медианный фильтры.
Адаптивный фильтра Винера. Если наблюдаемое изображение
повреждено аддитивным гауссовским шумом с нулевым средним н дис-
персией сГщ , то метод подавления шума на основе адаптивного фильтра
Вииера обеспечивает меньшую размытость контуров и мелких деталей
по сравнению с описанными ранее методами. В соответствии с этим ме-
тодом яркости точек профильтрованного изображения G(i, j) вычисля-
ются на основе локальных оценок среднего значения и диспер-
сии яркости наблюдаемого изображения
<?(<', У) = m(i,/)),
ИМ И-I W~1 rr-i
где
И-1 И7-! " , №-1, И7-!
n=---<7=. — K=— Z=—
2 2 2 2
Подчёркивание границ. Изображение с подчеркнутыми граница-
ми часто воспринимается лучше, чем исходное. Такое подчеркивание
может быть выполнено дискретной фильтрацией с использованием вы-
сокочастотных импульсных откликов вида
(3-15)
О 1
-1 5
О -1
О
-1
О
-1
9
-1
-1
-1
-1
-2
1
-2
5
-2
(3.16)
— 2
1
-1
38
Методы фильтрации изображений
Следует иметь в виду, что подчёркивание границ таким способом
сопровождается возрастанием шумовых составляющих. Поэтому часто
улучшение изображения достигается совместным использованием как
низкочастотных, так и высокочастотных фильтров.
Одной из задач, при решении которой используются линейные ме-
тоды фильтрации, является задача реставрации изображений. Рестав-
рацию изображений можно рассматривать как процесс оценивания:
изображение, полученное в результате наблюдения, подвергают преоб-
разованию, чтобы найти оценку идеального изображения, которое на-
блюдалось бы на выходе гипотетической изображающей системы, не
вносящей никаких искажений. Ясно, что адекватное моделирование
процесса, порождающего искажения, может служить ключом к эффек-
тивной реставрации. Искажения могут вноситься фотоматериалами,
турбулентностью атмосферы, может возникать иерезкость из-за движе-
ния, шумовые эффекты могут возникать из-за флюктуаций в электриче-
ских датчиках изображающих систем и т.п. В литературе разработаны
математические модели многих искажающих явлений и на их основе
синтезированы многочисленные алгоритмы обработки изображений [2].
Инверсная фильтрация. Рассмотрим метод реставрации изобра-
жений с использованием инверсной фильтрации. Предположим, что
идеальное изображение Ft(i, j) проходит через линейную искажающую
систему с импульсным откликом hD(i,j) и повреждается аддитивным
шумом 77(1, j), некоррелированным с изображением. Наблюдаемое изо-
бражение можно представить при этом в виде
Fo(‘j) = X + (3.17)
^=-оо_рмо
или
Fo(‘j)=Fi(‘j)*hD(i,j)+r1(i,j). (3.18)
Система реставрации имеет вид фильтра с импульсным откликом
/iR(i,j). На выходе этого фильтра получается исправленное изображе-
ние, описываемое функцией
Л(')7’)= (Л('- J)* hD(i, >))* hR^ J) (319)
На рис. 3.1 представлен процесс преобразования входного сигнала.
Рис. 3.1. Процесс преобразования входного сигнала
39
Методы автоматического обнаружения и сопровождения объектов
Согласно теореме о свертке имеем
Ф1(а>1,а>у)-[Ф1((Ц,ау)Нв(1Ц,а>1)+N(a)l;O>J)]HR(cai,a)^), (3.20)
где вновь введенные обозначения представляют собой двумерные пре-
образования Фурье соответствующих функций из выражения (3.19).
Если выбрать то спектр исправленного
изображения будет иметь вид
OI(<aI,fi)7) = ®i(<a,,<a/) + W(<a1,<a/)/7/D(<aI,<a;). (3.21)
Обратное преобразование Фурье от Ф^а^аг,) позволяет получить
исправленное изображение, описываемое функцией Fj(i,/).
При отсутствии шума достигается идеальная реставрация изобра-
жения. В противном случае возникает аддитивная ошибка реставрации,
которая может стать очень большой на пространственных частотах с
малым значением Как правило, А7Г)(б),,б);) и Ф,(<ц,й> )
имеют малые значения в области высоких пространственных частот,
поэтому понижение качества изображения выражается в сильном иска-
жении мелких деталей. При этом малые изменения в 17(1,1) могут стать
причиной больших изменений опенки Ft(i,j).
Предложены некоторые частные способы ослабления шумов, воз-
никающих при инверсной фильтрации. Один из них заключается в при-
менении реставрирующего фильтра с частотной характеристикой
Як(<ц,.,й>у) = Нк(щ,а}у)/, (3.22)
где Нк — функция, принимающая почти единичное значение на тех
пространственных частотах, на которых ожидаемая амплитуда спектра
идеального изображения превышает амплитуду шумового спектра, и
почти нулевое значение на всех остальных пространственных частотах.
Такой подход является компромиссом между уменьшением уровня шу-
ма н снижением контраста мелких деталей изображения.
Вянеровская фильтрация. Инверсный фильтр нс учитывает шу-
мовых эффектов. Методы винеровской фильтрации, принимающие в
расчёт априорное знание статистических свойств шумового поля, по-
зволяют повысить качество исправленных изображений. Предполагает-
ся, что шум имеет нулевое среднее, не зависит от изображения и его
энергетический спектр фДщ,®,) известен. В случае винеровской
фильтрации импульсный отклик реставрирующего фильтра выбирают
таким образом, чтобы минимизировать среднеквадратическую ошибку
40
Методы фильтрации изображении
реставрации. Показано, что частотная характеристика фильтра с соот-
ветствующим импульсным откликом имеет вид
Нк = ------------з--------------
|HD(rol,ro/)| +Фк(<а,,й)7)
(3.23)
где индекс * означает операцию комплексного сопряжения.
В пределе, когда шум отсутствует, реставрирующий винеровский
фильтр становится инверсным фильтром. Существуют также винеров-
ские фильтры, учитывающие полезное изображение в виде случайного
процесса с известной спектральной плотностью.
Среди других областей применения линейной фильтрации следует
выделить оценивание параметров геометрических преобразований изо-
бражения, а также измерение координат объектов.
Экспоненциальный фильтр. Рассмотрим пример линейного
фильтра с бесконечной памятью. При решении задач обработки и ана-
лиза изображений часто возникает необходимость реализации так назы-
ваемого экспоненциального фильтра, который можно описать следую-
щим выражением:
G„(/,7) = G„ 0<а<1, (3.24)
где а параметр фильтра.
Как видно из выражения (3.24), текущее изображение отфильтро-
ванной видеопоследовательности Gn(i,j) вычисляется на основе теку-
щего изображения исходной видеопоследовательности Fn(i,j), а также
изображения отфильтрованной видеопоследовательности, полученного
на предыдущем шаге G„_{(i,j) . Перейдём от выражения (3.24) к ис-
пользуемой нами ранее форме описания фильтра в виде функции, зави-
сящей от значений яркости точек видеопоследовательности (3.3). Путём
несложных преобразований, можно привести (3.24) к виду
G„ (', Л = °{f„ (', Л + (1 - a)F„_t (i, j) + (1 - a? F„_, (z, j) + ...)=
q=0
(3.25)
В соответствии с (3.25), текушее изображение зависит от беско-
нечного количества наблюдаемых изображений, полученных к текуще-
му моменту времени, поэтому фильтр, заданный выражением (3.24),
фактически является фильтром с бесконечной памятью. Следует отме-
тить существенную особенность рассматриваемого фильтра. Несмотря
41
Методы автоматического обнаружения и сопровождения объектов
на то, что формально мы отнесли его к фильтрам с бесконечной памя-
тью, для его реализации вовсе не обязательно располагать бесконечным
объемом памяти вычислительного устройства. Достаточно хранить в
памяти лишь предыдущее значение отфильтрованного изображения
G„(i,j). Подобные фильтры, использующие для вычисления нового от-
фильтрованного значения предыдущее отфильтрованное значение, на-
зывают рекуррентными фильтрами.
Из выражения (3.25) становится понятным, почему данный вид
фильтров называют экспоненциальными. Дело в том, что коэффициен-
ты, с которыми прошлые изображения видеопоследовательности участ-
вуют в вычислениях, убывают с течением времени по экспоненциаль-
ному закону.
Экспоненциальный фильтр вида (3.24) является частным случаем
алгоритма фильтрации, известного под названием фильтра Калмана и бу-
дет использоваться в настоящей работе при изложении алгоритмов обна-
ружения н выделения движущихся объектов в гл. 8. С теоретической ба-
зой Калмановской фильтрации можно познакомиться, например, в [6,7].
Преимуществами методов линейной фильтрации являются простота
реализации и широкие возможности аналитического исследования этих
методов. Однако, модели процессов, используемые при синтезе линейных
фильтров, не всегда являются адекватными, поэтому широкое распро-
странение получили также методы нелинейной фильтрации изображений.
3.2. Нелинейные методы фильтрации
Процесс нелинейной фильтрации последовательности изображе-
ний при выполнении свойств пространственной и временной инвари-
антности описывается выражением (3.6). В случае нелинейной фильт-
рации не выполняется условие линейности (3.4). В отличие от линейных
методов обработки, при которых над отсчётами изображения выполня-
ются операции умножения на число и сложения, в процессе нелинейной
фильтрации используется более широкий набор операций. Часто при-
меняется взятие модуля, максимум, минимум, медиана. Реже использу-
ется умножение, деление, возведение в степень.
Медианная фильтрация. Она часто используется при подавлении
шума на изображении. Одномерный медианный фильтр представляет
собой скользящее окно, охватывающее нечётное число элементов изо-
бражения. Центральный элемент заменяется медианой всех элементов
изображения в окне. При этом медианой дискретной последовательно-
сти Я|, а2,..., aN для нечётного N является тот элемент, для которого
существует (2V-1 )/2 элементов, меньше или равных ему по величине, и
(N--1 )/2 элементов, больше или равных ему по величине.
42
Методы фильтрации изображений
Пусть в окно попали элементы изображения с уровнями 80, 90, 200, 110,
120. В этом случае центральный элемент заменяется значением ПО, кото-
рое является медианой упорядоченной последовательности 80, 90, ПО,
120, 200. Если в этом примере значение 200 является шумовым выбросом,
то медианный фильтр обеспечивает существенное улучшение изображе-
ния. Если элемент с яркостью 200 - это полезный нмпульс, то необходимо
признать, что качество обработки ухудшается. Таким образом, медианный
фильтр в одних случаях обеспечивает подавление импульсного шума, в
других - вызывает нежелательное подавление сигнала.
Чаще всего медианный фильтр не влияет на ступенчатые или пилооб-
разные сигналы, что обычно является желаемым свойством. Фильтр подав-
ляет импульсные сигналы, длительность которых составляет менее поло-
вины ширины окна и вызывает уплощение вершины треугольных сигналов.
Возможности аналитического анализа действия медианного фильтра вслед-
ствие его нелинейности ограничены, но можно показать, что
med{* • /(/)} = к med{/(j)}, med{fc + /(/)} = к + rned{/(/)},
rned{/(/) + g(/)} * med{/(j)} + med{g(J)}, (3.26)
где med{ } - операция вычисления медианы. На рис. 3.2 приведены ка-
чественные результаты воздействия на различные входные сигналы ус-
редняющего и медианного фильтров с пятизлементными окнами.
Выход медианного
фильтра
Выход усредняющего
фильтра
Входной сигнал
43
Методы автоматического обнаружения и сопровождения объектов
Возможны различные стратегии применения медианного фильтра
для подавления шумов. Одна из них рекомендует начинать с медианно-
го фильтра, окно которого охватывает три элемента изображения. Если
ослабление сигнала незначительно, окно фильтра расширяют до пяти
элементов. Так поступают до тех пор, пока, медианный фильтр не начи-
нает приносить больше вреда, чем пользы. В общем случае те области,
которые остаются без изменения после однократной обработки, не ме-
няются н после повторной обработки. Области, в которых длительность
импульсных сигналов составляет менее половины ширины окна, будут
подвергаться изменениям после каждого цикла, обработки.
Концепцию медианного фильтра легко обобщить для двух измере
ний. применяя двумерное окно желаемой формы, например прямо-
угольное илн близкое к круговому. Очевидно, что двумерный медиан-
ный фильтр с окном £.«£ элементов обеспечит более эффективное по-
давление шума, чем последовательно примененные горизонтальный и
вертикальный одномерные медианные фильтры размерности £*1. Од-
нако, двумерная обработка приводит к более существенному ослабле-
нию сигнала. Можно утверждать, что двумерный медианный фильтр
эффективно подавляет пространственно разрозненный импульсный
шум, который может быть вызван, например, дефектами видеодатчика.
Функция, описывающая двумерный медианный фильтр с прямо
угольным окном, имеющим размеры (И' + 1)х(И' + 1), может быть запн
сана в виде
= med{v„(i,j)}. (3.27)
Следует помнить, что медианная фильтрация - эвристический ме-
тод и его не рекомендуется применять вслепую. Необходимо проверять
и анализировать результаты, чтобы убедиться в эффективности исполь-
зуемого медианного фильтра в каждом конкретном случае.
На рис. 3.3 приведены примеры медианной фильтрации изображе-
ний. искаженных гауссовым и импульсным шумами.
Видно, что медианный фильтр гораздо лучше подавляет импульс-
ный шум, чем гауссов шум.
Морфологическая фильтрация Базовыми операциями морфоло
гической фильтрации являются сжатие и расширение. Фильтр морфоло-
гического сжатия при квадратной форме окна фильтрации описывается
выражением
(328)
а фильтр расширения при квадратной форме окна фильтрации описыва-
ется выражением
• (3.29)
44
Методы фильтрации июбражений
Рис. 3.3. Медианная фильтрация изображений,
искаженных различными типами шумов:
а - исходное изображение; б - изображение, зашумленное гауссовым шумом; в —
изображение, зашумленное импульсным шумом; г - результат медианной фильтрации
изображения, зашумлённого гауссовым шумом; д - результат медианной фильтрации
изображения, зашумлённого импульсным шумом
Очевидно сходство (3.28) и (3.29) с выражением, относящимся к
медианной фильтрации (3.27). Различие состоит лишь в виде операции:
максимум, минимум или медиана.
В общем случае морфологическая фильтрация может происходить
при произвольной форме окна фильтрации. В этом случае для описания
морфологических операций удобно использовать несколько иной матема-
тический аппарат [8,9]. Пусть /(х) - изображение, рассматриваемое как
функция векторного аргумента х . заданная на двумерном множестве D.
Определим структурирующий элемент как некоторое подмножест-
во точек векторного пространства D: В е D . Пусть -В - это отраже-
ние множества В относительно начала координат:
-В = (Ь : -Ь е В} (3.30)
Определим морфологические операции над множеством функций
/(х)
Сжатием функции /(х) структурирующим элементом В называ-
ется такая функция (f ® В)(х), что
(/® В)(х) = min{/(x + b)}. (3.31)
ЬеВ
45
Методы автоматического обнаружения и сопровождения объектов
Расширением функции /(х) структурирующим элементом В на-
зывается такая функция (/ Ф В)(х), что
(/Ф В)(х) = max{/(x + b)}. (3.32)
befi
Открытие функции /(х) структурирующим элементом В явля-
ется результатом последовательного применения операций сжатия и
расширения, причём расширение производится с отраженным структу-
рирующим элементом
(/ о В)(Х) = ((/ ® В)(х) ф (-В))(х). (3.33)
Закрытие функции f(x) структурирующим элементом В являет-
ся результатом последовательного применения операций расширения и
сжатия, причём расширение производится с отраженным структури-
рующим элементом
(/• В)(х) = ((/ Ф В)(х) ® (-В))(х). (3.34)
Исходное полутоновое изображение
размерами 300x200
Структурирующий элемент 1 -
прямоугольник 13x13
й
Структурирующий элемент 2 - диск
радиусом 7
□
Рис. 3.4. Исходное изображение, структурирующие элементы и примеры
использования операции сжатия:
а - исходное изображение размером 300x200; б - структурирующие элементы; в -
сжатие первым структурирующим элементом; г — сжатие вторым структурирую-
щим элементом
46
Методы фильтрации изображений
Ряс. 3.5. Примеры применения операций расширения, открытия,
закрытия к изображению (см. рис- 3.4,а):
а расширение первым сгруктурируюшим элементом; б - расширение вторым
сгруктурируюшим элементом; в - открытие первым структурирующим элементом;
г - открытие вторым сгруктурируюшим j-Icmcittom; д - закрытие первым структу-
рирующим элементом; е - закрытие вторым структурирующим элементом
Примеры морфологической обработки полутоновых изображений приве-
дены на рис. 3.4 и 3.5. Основываясь на рисунках, охарактеризуем кратко
каждую из операций.
Воздействие оператора сжатия на изображение проявляется в уменьшении
плошади светлых частей и увеличении площади тёмных. Если светлые
участки имеют достаточно малую площадь, то они могут исчезнуть. Это
47
Методы автоматического обнаружения и сопровождения объектов
происходит, когда структурирующий элемент не может полностью по-
пасть в светлую область. Характер изменений изображения определяется
формой и размерами структурирующего элемента.
Воздействие оператора расширения иа изображение обратно действию
оператора сжатия и проявляется в увеличении площади светлых частей и
уменьшении площади тёмных. Если тёмные участки имеют достаточно
малую площадь, то они могут исчезнуть. Характер изменений формы и
размеров бинарного изображения определяется формой и размерами
структурирующего элемента.
Операции открытия и закрытия - это комбинации сжатий и расширений.
При морфологическом открытии с изображения исчезают участки, кото-
рые не вписываются в структурирующий элемент, удаляются тонкие пе-
решейки между светлыми участками, форма остальных объектов искажа-
ется. При закрытии устраняются тёмные промежутки между близко ле-
жащими светлыми участками изображения, удаляются тёмные пятна.
Морфологические операции, как и медианную фильтрацию, можно
использовать для шумоподавления при наличии импульсного шума, од-
нако чаще её используют при обработке бинарных изображений, то есть
изображений, яркости точек которого могут принимать всего два значе-
ния: 0 и 1.
Помимо задачи подавления шумов, большую важность представ-
ляют такие области применения нелинейной фильтрации как оценива-
ние параметров геометрических преобразований изображения и измере-
ние координат объектов (см. п. 5.2).
48
4. Методы сегментации
изображений
Сегментация изображений - разделение изображения на сегмен-
ты, то есть на ряд составляющих его смысловых областей. При этом
предполагается, что точки каждой из смысловых областей обладают не-
которой степенью общности, которая позволяет рассматривать их как
одну область. Характер этой общности определяется особенностями
решаемой задачи. Приведём несколько примеров задач сегментации.
Пусть ведётся аэрофотосъёмка поверхности Земли. Требуется на наблю-
даемом изображении выделить точки, соответствующие лесам, рекам, до-
рогам и полям.
При решении этой задачи сегментации нужно рассортировать точки изо-
бражения иа четыре категории (класса).
Имеются изображения страниц книги, полученные, например, при помо-
щи сканера. Необходимо на этих изображениях иайти точки, соответст-
вующие буквам текста. В данной задаче сегментации точки изображения
нужно разделить на два класса: 1) точки фона, 2) точки, принадлежащие
буквам.
Пусть ведётся наблюдение за автомобилями, движущимися по пересечён-
ной местности (рнс. 4.1,ст). Требуется разделить точки изображения иа
точки, принадлежащие фону и на точки, принадлежащие объектам.
На рис. 4.1,6 показан результат такой сегментации. Точки, принадлежа-
щие фону, здесь имеют белый цвет, а точки, принадлежащие объектам -
чёрный цвет.
а)
Рис. 4.1. Исходное изображение и желаемый результат сегментации:
а исходное изображение; б - желаемый результат cei мензаиии изображения
49
Методы автоматического обнаружения и сопровождения объектов
Сделаем несколько замечаний относительно понятия сегментации.
Поскольку сегментация, как правило, подразумевает разделение точек изо-
бражения на несколько непересекающихся множеств, которые все вместе
составляют целое изображение, то эти множества точек иногда называют
классами, а процесс сегментации часто называют классификацией.
Результат сегментации принято представлять в виде изображения,
имеющего столько же элементов, сколько их содержит исходное изобра-
жение. В ходе сегментации всем точкам результирующего изображения,
принадлежащим одному классу, присваивается одно н то же значение.
Несмотря на то, что при сегментации изображения обычно ставит-
ся задача классифицировать точки лишь одного текущего изображения,
при решении рассматриваемой задачи могут быть использованы изо-
бражения, полученные в предшествующие моменты времени. Таким
образом, в общем случае исходными данными для сегментации является
видеопоследовательность а алгоритм сегментации может вклю-
чат!, как пространственную, так и временную обработку изображений.
При решении задач обнаружения и сопровождения объектов сег-
ментация часто используется для предварительной классификации то-
чек наблюдаемого изображения. Этот этап первоначального обнаруже-
ния точек, принадлежащих объектам, называется выделением объектов.
Таким образом, алгоритмы сегментации реализуют первый этап анализа
видеоинформации в системах обнаружения и сопровождения объектов.
Необходимо отметить, что сегментация изображения сложная
задача, обычно не имеющая однозначного решения, а иногда вообще
неразрешимая. Существует немало подходов к решению задачи сегмен-
тации, обладающих своими достоинствами и недостатками. Большинст-
во из них основано на анализе признаков точек изображения. Признаки
точек - это скалярные или векторные величины, вычисляемые с помо-
щью яркостного поля изображения, выбор которых решающим образом
влияет на правильность сегментации (см. п. 2.3).
Общеизвестным является тот факт, что успех задачи сегментации
объектов зависит от удачно выбранной для описания объектов системы
признаков. Поэтому главным путём усовершенствования методов сег-
ментации изображений является введение новых признаков, позволяю-
щих производить более успешную сегментацию.
Математическая постановка задачи сегментации [10]. Пусть
F(i, j) - функция яркости анализируемого изображения; X - конечное
подмножество плоскости, на котором определена функция F(i,f)',
S = {S,1,S2.}- разбиение X на К непустых связных подмножеств
Sp, р - 1,2,..., Л.'; LP - предикат, определенный иа множестве и при-
нимающий истинные значения тогда и только тогда, когда любая пара
50
Методы сегментации изображений
точек из каждого подмножества Sp удовлетворяет некоторому крите-
рию однородности.
Сегментацией изображения F(i,j) по предикату LP называется
разбиение S = {.S,, S2.SK }, удовлетворяющее условиям
1К=*> <4')
Р=1
Sg^Sp=0 \/p*q, (4.2)
Lp(s/,)=true Vp, (4.3)
Lp(sp иSq)-false Vp*q. (4.4)
Условие (4.1) означает, что каждая точка изображения должна
быть отнесена к некоторой области, (4.2) означает, что области 5*
должны быть связными, (4.3) определяет вид (тип) однородности полу-
чаемых област ей и, наконец, (4.4) выражает свойство «максимальности»
областей разбиения. Подразумевается, что разбиение .S существует и
оно единственно. Предикат LP в (4.3), (4.4) называется предикатом од-
нородности и его истинное или ложное значение зависит от свойств
функции F(i, j).
Таким образом, сегментацию можно рассматривать как оператор
вида
Seq:F(i,j)
при(т, j)e Sp,p = 1,2, ..,К, (4.5)
где F(i,j), - функции, определяющие исходное и сегментирован-
ное изображения соответственно; Лр метка (имя) р й области.
Существует два общих подхода к решению задач сегментации [10],
которые базируются на альтернативных методологических концепциях.
Первый подход основан па «разрывности» свойств точек изображения
прн переходе от одной области к другой [10, 11]. Этот подход в литера-
туре обычно называют методом выделения границ областей. Второй
подход основан на выделении точек изображения, однородных по ло-
кальным свойствам и объединении их в область, которой потом будет
присвоено имя илн смысловая метка [10, 12]. Этот метод называют сег-
ментацией посредством разметки точек области.
Ко второй группе относится байесовский метод сегментации. При
сравнительно небольшом объеме априорных сведений и невысоких вы-
51
Методы автоматического обнаружения и сопровождения объектов
числительных затратах на его реализацию этот метод позволяет во мно-
гих случаях эффективно решать задачу сегментации.
В дальнейшем будут подробнее рассмотрены некоторые основные
подходы к сегментации изображений.
4.1. Методы пороговой сегментации
Наиболее простым представителем методов сегментации является
пороговая обработка. Результат пороговой обработки изображения
может быть описан соотношением:
.. [I,если Г(т,у)> ИЛУ);
= { (4.6)
[О, в противном случае,
где результат сегментации, T(i, j) - значение порога, которое в
общем случае может быть различным в каждой точке изображения.
Разработаны различные подходы к определению порогов: по гис-
тограммам яркости, с использованием моментов изображения и т.п. По-
пулярное предположение состоит в том. что изображение содержит из-
вестное число однородных по яркости классов точек, то есть таких
классов, распределения вероятностей яркостей которых унимодальны
Кроме того, считается, что граничные участки между замкнутыми об-
ластями занимают сравнительно небольшую площадь изображения. По-
этому на гистограмме им должны соответствовать меж модовые впади-
ны, в которых устанавливаются пороги сегментации.
В качестве примера рассмотрим задачу сегментации изображения пятико-
нечной звезды, приведённого на рис. 4.2.п. Обрабатываемое изображение
искажено гауссовым шумом. Гистограмма изображения (рис. 4.2,6) имеет
две моды. Левая мода соответствует фону, правая - объекту. Для сегмен-
тации этого изображения разумно выбрать порог, лежащий между модами
гистограммы, например T(i,j) = Т = 110 . На рис. 4.2,е показан результат
пороговой сегментации. Ввиду небольшой интенсивности шума сегмента-
ция проведена достаточно точно.
Для автоматического определения порога сегментации может быть ис-
пользован итерационный алгоритм, в соответствии с которым вначале вы-
бирается начальная оценка порога Т . затем производится пороговая обра-
ботка изображения с порогом Т , в результате чего образуется две группы
пикселей: Gx и 62 . После этого вычисляются средние значения яркостей
д и по областям G, и G2. На основе щ и определяется новое
значение порога
r = (4.7)
52
Методы сегментации июбражений
в)
Рис. 4.2. Пороговая сегментация:
а - исходное изображение; б - гистограмма исходного изображения;
в — сегментированное изображение при 7*= 110
Далее процесс повторяется с самого начала, но уже с новым значением
порога. После нескольких итерации, когда разница значений Т при со-
седних итерациях окажется меньше наперёд заданного порога Го, процесс
уточнения порога обрывается
Другие методы выбора порога рассмотрены в [12].
В случае пространственно неоднородного изображения использу-
ются переменные пороги, которые могут назначаться в зависимости от
характеристик локального участка изображения. Если известна априор-
ная информация о размерах объекта, при которых на объект приходится
Р элементов изображения, то порог может быть выбран таким образом,
чтобы Р точек в гистограмме яркости были выше порога. Такой подход
получил название метода Р элементов. Очевидно, что такую процеду-
ру есть смысл применять в локализованной области, где предполагается
наличие объекта. Ряд методов использует идею наращивания областей.
Для этого в изображении выбирается некоторое количество стартовых
точек, которые размечаются определенным образом, и производится
анализ соседних с ними элементов. Если для какой-то стартовой и со-
седней с ней точек выполняется некоторое условие однородности, то
S3
Методы автоматического обнаружения и сопровождения объектов
соседняя точка получает ту же метку, что и стартовая. Далее рассматри-
ваются соседи соседей, и процесс разметки производится аналогично.
Общим недостатком этих методов сегментации является необходимость
повторных просмотров изображения и зависимость результатов сегмен-
тации от выбора стартовых точек и количества просмотров изображения.
Если каждая точка изображения описывается вектором признаков,
то метод пороговой обработки, определяемый соотношением (4.6), те-
ряет смысл. В этом случае используются методы кластер-анализа [10],
которые являются обобщением метода пороговой обработки на случай
многомерных данных. Методы кластер-анализа позволяют отыскать
унимодальные подмножества среди множества точек обрабатываемого
изображения.
Использование методов пороговой обработки обычно ограничено си-
туациями, при которых выполняется предположение об унимодальности
распределения яркостей объектов и фона, при этом гистограммы объекта и
фона должны слабо перекрываться. Для успешной пороговой сегментации
эти требования должны быть выполнены, если не для всего изображения,
то хотя бы для областей небольшого размера, используемых при вычисле-
нии локальных порогов. Указанные ограничения позволяют использовать
методы пороговой обработки лишь в простейших случаях.
4.2. Методы сегментации на основе
выделения границ
Широкое распространение получили методы сегментации на ос-
нове выделении границ (контуров). При использовании методов этого
типа исходят из предположения о существовании резкого перепада яр-
кости между областями изображения, соответствующими различным
смысловым участкам. Для выделения границ могут быть использованы
различные подходы, основными из которых являются пространственное
дифференцирование, функциональная аппроксимация, высокочастотная
фильтрация, преобразование Хо [1,3, 10].
Остановимся подробнее на методе нространс твенно^о диффе-
ренцирования. Данный метод основан на предположении о том, что гра-
ничные точки имеют большую величину градиента функции
Для того чтобы выделить границы изображения, вначале вычисляют
модуль градиента изображения, а полученное градиентное изображение
подвергают пороговой обработке. После этого строятся области (сег-
менты) и оцениваются их размеры по осям, рассчитываются коэффици-
енты, характеризующие форму и другие признаки, которые могут быть
использованы для принятия решения о присутствии искомого объекта
на изображении и оценки его координат.
54
Методы сегментации изображении
Как известно, градиентом непрерывного изображения F(x,y) на-
зывается вектор частных производных по переменным х и у:
(4.8)
СА су )
Модуль градиента в этом случае вычисляется по формуле
|VF(.r,y)| = 4^4 • (4.9)
Л J V <?У )
При обработке дискретных изображений для вычисления градиен-
та часто используют дискретные оценки производных яркости изобра-
жения, вычисленные по двум взаимно перпендикулярным направлени-
ям. Обозначим эти оценки dt(i,j) и d2(i,j). В этом случае аналогом со-
отношения (4.9) является соотношение
£?(Л j) = (4.10)
или его упрощённый вычислительный вариант
g(‘- J) = Pl ('• >)| + р2 ('J)| • <4'1 1)
где gli./) - оценка модуля градиента изображения.
Для вычисления оценок производных dt(i,j), d-,(i,/} используется
ряд методов линейной и нелинейной фильтрации. Простейшим из них
является метод дискретных разностей, описываемый соотношениями
(2.29). Часто используются следующие подходы к вычислению d^i.j),
dil'd)-
Оператор Робертса
d,(/.у) = Fd’J)-F(z +1,7 +1), d2(i,j) = F(i + 1,7)-F(i,j +1). (4.12)
Оператор Превитта
d} (i.j) = F(i -1, J +1) + F(i,j +1) + F(z +1,7 +1) -
- F(i - \.j -1) - F(i.j -1) - F(i +1.7 -1),
d2(i.f) = F(i +1,/ - I)* F(i +1,» + F(i +1,7 +1) -
- F(i -1,7 -1) - F(i -1,7) - F( i -1, j +1). (4.13)
Оператор Собела
rf, (/,7) = F(i -1,7 +1) + 2F(i,7 +1) + F(z +1,7 +1)-
- F(i -1,7’ -1) - 2F(i,j -1) - F(i + \.j -1),
d2(i,j) = FU +1.7 -1) + 2F(i +1,7) + f (< +1.7 + D -
-F(z -1, j -1) - 2F(i -1, j) - F(i -1, j +1). (4.14)
SS
Методы автоматического обнаружения и сопровождения объектов
На рис. 4.3 приведён пример сегментации изображения (рис. 4.2,а) по-
средством выделения границ. Результат вычисления градиента с исполь-
зованием соотношений (4.10) и (4.14) показан на рис. 4.3.а. Гистограмма
градиентного изображения (рис. 4.3.6) имеет две моды: первая, хорошо
выраженная мода соответствует тёмным участкам, составляющим фои и
объект; вторая, слабая мода, соответствует границе между фоном и объек-
том. Очевидно, что для выделения границ иа градиентном изображении
можно использовать методы пороговой сегментации. Пороговая обработ-
ка при пороге, равном 180, даёт результат, представленный на рис. 4.3.в.
Рис. 4.3. Сегментация изображения методом выделения границ:
а - градиент Собела; б - гистограмма градиентного изображения;
в - результат пороговой обработки при Т = 180
Применение методов выделения границ далеко не всегда сразу да-
ёт хороший результат, подобный изображенному на рис. 4.3,е, вследст-
вие чего требуется дополнительная обработка контурного изображения,
которая включает прослеживание и утончение контуров, восстановле-
ние разрывов в контурах, удаление одиночных точек и т.д [1].
К сожалению, при работе с реальными изображениями предполо-
жение о наличии резких границ между смысловыми областями изобра-
жения часто не выполняется. Кроме того, смысловые области нередко
содержат внутри себя резкие перепады яркости. Эти обстоятельства ве-
дут к низкой эффективности применения методов выделения границ
56
Методы сегментации изображений
при обработке таких изображений. Следует отметить, что методы выде-
ления границ не очень хорошо зарекомендовали себя при работе на
сильно зашумленном изображении, что является следствием использо-
вания операций дискретного дифференцирования
4.3. Методы байесовской сегментации
Пусть на изображении выделен некоторый прямоугольный участок
(строб), который разбит на две об-
ласти: область окна и область рам-
ки (рис. 4.4) [13].
Предполагается, что сегмен-
тируемый объект полностью по-
падает внутрь окна, т. е. в рамке
находится только фон, а в окне -
как фон, так и объект (цель). Каж-
дой точке строба (i,j) поставлен в
соответствие вектор признаков
(«, j) ZT = (z), z2.z„), элемен-
рамка
объект
Рис. 4.4. ( троб иа текущем
изображении
окно
тами которого могут быть, например, яркость, норма градиента яркости
(локальная оценка скорости изменения яркости в горизонтальном и вер-
тикальном направлениях одновременно) и др. От правильного выбора
признаков напрямую зависит результат классификации.
Из условия минимума средних потерь при классификации элемен-
тов изображения в окне на элементы, принадлежащие объекту или фо-
ну, можно записать следующее правило: элемент изображения класси-
фицируется как элемент объекта тогда, когда
P(<U)P(Z / Ф)С(Ф/Ф) + P(Ll)P(Z / Ц)С(Ф/Ц) >
> Р(Ф)Р(Х/Ф)С(Ц/Ф) + P(H)P(Z/ Ц)С(ЦЩ), (4.15)
где Р(Ф), Р(Ц) - априорные вероятности принадлежности рассмотри
ваемой точки фону или объекту (цели); P(Z/<t>) - плотность распределе-
ния признака Z в точках, принадлежащих фону; P(Z/L[) - плотность
распределения признака Z в точках, принадлежащих объекту С(Ф'Ф),
С(Ф ’Ц), С(Ц/Ф) С( Ц, Ц) - стоимости соответствующих решений.
Если принятие правильного решения не наказывается, т.е.
С(Ц/Ц) = С(Ф/Ф) = 0,то
/>(Ц)/>(г/Ц)С(Ф/Ц) > />(Ф)/>(г 'ф>сщ/Ф), (416)
Если сегментируемый объект находится полностью в окне и не со-
держится в рамке, тогда
57
Методы автоматического обнаружения и сопровождения объектов
7>(Z/O)>
p(<W(z/p),
(4.18)
P(Z/O)>
р(ф)Аг/р),
(4.19)
P(Z/®) = P(Z/P),
P(Z / О) = Pi U)P(Z IЦ) + />(Ф)/>(г / Ф), (4.17)
где P(Z/P) и P(Z/O) - плотности вероятности вектора признаков Z в
рамке Р и окне О.
Подстановка (4.17) в (4.16) дает
С(Ц/Ф) + С(Ф/Ц)
С(Ф/Ц)
или, переходя к гистограммным оценкам Az/O) и Az/P), получаем
С(Ц/Ф) + С(Ф/Ц)
С(Ф/Ц)
что является правилом сегментации, основанным на измерении в общем
случае многомерных гистограмм Р(ИО) и Az/P) отдельно в рамке и
окне. Иначе это правило записывается так:
Az/O)>«aAz/P), (4.20)
где а = Р(Ф) - априорная вероятность наличия элемента фона в окне:
А С(Ц/Ф) + С(Ф/Ц)
А =-----С(Ф/Ц)------параметр стоимости неправильной классифика-
ции (сегментации). Очевидно, что Т’(Ц) = 1 -а - априорная вероятность
наличия элемента объекта в окне.
Стоимость ошибочной классификации А трудно определить ап-
риори. Поэтому могут быть использованы другие критерии принятия
решения, не зависящие от этого параметра.
Правило, по которому элемент изображения с признаком Z будет
классифицирован как принадлежащий объекту, если P(L(/Z) > Р[Ф/2}
называется правилом максимальной апостериорной вероятности. Ис-
пользуя формулу Байеса, получаем:
Р(Ц)Р(г/Ц) Р(Ф)Р(г/Ф)
P(Z) * P(Z)
(4.21)
или
Р(Ц)Р(г/Ц)>р(Ф)Р(г/Ф). (4.22)
Сравнивая (4.16) и (4.22), видим что критерий максимума апосте-
риорной вероятности является частным случаем критерия минимума
среднего риска при равных стоимостях ошибочной классификации
С(Ф/Ц) = С(Ц/Ф). При этом условии коэффициент А в (4.20) равен 2.
58
Методы сегментации изображений
При увеличении А порог сдвигается вправо. Число точек фона,
ошибочно классифицированных как объект, уменьшается, что ведёт к
уменьшению шума в выделенном бинарном изображении. Одновремен-
но с этим увеличивается число элементов объекта, принятых за элемен-
ты фона. Однако при этом может сильно исказиться форма изображения
объекта, так как многие элементы будут отнесены к фону и может про-
изойти значительная потеря информации.
С другой стороны, если сделать параметр А слишком малым, то
после классификации много лишних точек будет добавлено к объекту,
так как большее число элементов фона будет классифицировано как
объект. Таким образом, выбор значений параметра А играет чрезвы-
чайно важную роль в рассмотренном алгоритме сегментации.
Результат сегментации представляется в виде бинарного изображе-
ния B(i, у), в котором единичные точки соответствуют точкам объекта на
исходном изображении, а нулевые - точкам фона (рис. 4.5). На рисунке
хорошо видны ложные образования, порожденные шумовыми выбросами
и ошибочно классифицированные как точки объекта. Другой часто встре-
чающейся ошибкой классификации является «развал» одного сегмента на
несколько более мелких. Для исправления указанных ошибок использу-
ются различные методы нелинейной фильтрации бинарных изображений,
в частности, алгоритмы зачистки и восстановления, морфологические ал-
горитмы (см. п. 3.2). В результате обработки бинарного изображения уда-
ляются слишком мелкие сегменты, не соответствующие по площади ис-
комому объекту, и, одновременно, объединяются группы сегментов, рас-
положенных достаточно близко друг от друга.
а) б) в)
Рис. 4.5. Примеры байесовской сегментации:
а - участок исходного изображения, содержащий сегментируемый объект: б - бинар-
ное изображение, полученное в результате сегментации: в - результат зачистки и вос-
становления бинарного изображения
Самым важным фактором, оказывающим наибольшее влияние на
получаемый результат, является удачный выбор анализируемых при-
знаков. Из повседневной практики каждый видящий человек может ин-
59
Методы автоматического обнаружения и сопровождения объектов
туитивно определить перечень признаков, по которым мы визуально от-
личаем один предмет от другого: яркость, цвет, текстура, геометрия
предметов. В технических устройствах признаки получают различными
методами обработки наблюдаемого изображения. Понятно стремление
разработчиков найти такие признаки, значения которых в точках объек-
та и фона имели наименьшие корреляционные связи, т.е. в наибольшей
степени подчеркивали особенности тех или иных элементов сцены. На
сегодняшний день не вызывает сомнения целесообразность использова-
ния двух признаков - яркости и градиентной яркости.
Яркость - самый очевидный признак и целесообразность его ис-
пользования экспериментально подтверждена.
Градиентная яркость - признак, несущий информацию о характере
изменения яркости в данной точке. Многочисленные исследования ре-
альных видеосюжетов показали, что он во многих случаях существенно
улучшает результат сегментации. Значение градиентного признака в не-
которой точке (/, j) можно вычислить, например, по правилу (2.29).
Вопрос о выборе третьего (четвертого, пятого и т. д.) признака,
вычисление которого не займет слишком много времени и позволит за-
метно улучшить качество сегментации в большинстве реальных ситуа-
ций. до сих пор не имеет однозначного ответа. Среди признаков, ис-
пользование которых может оказаться целесообразным, стоит выделить
так называемую фрактальную размерность, относящуюся к категории
текстурных признаков, и признаки, вычисляемые на основе вейвлет-
преобразования [15].
Один из способов повышения качества байесовской сегментации
состоит в расширении набора естественных признаков. Эго может быть
сделано за счёт применения мультиспектральных датчиков (например, с
использованием цветной видеокамеры), или за счёт объединения ин-
формации, полученной от нескольких датчиков изображений, имеющих
различные спектральные диапазоны чувствительности. Например, мож-
но использовать пару датчиков: телевизионную камеру и тепловизор.
На рис. 4.6,о.б приведены изображения одного и того же объекта при
наблюдении с помощью телекамеры и тепловизора соответственно.
Прямоугольниками на рисунках выделены области, соответствующие
окнам сегментации. Области, внешние по отношению к прямоугольни-
кам, соответствуют рамкам. На рис. 4.6.в.г приведены результаты сег-
ментации объекта. Заметим, что использование одного лишь ТВ-диа-
пазона не позволило выделить ни одной точки объекта. Из рисунков
видно, что при совместном использовании ТВ и ИК-диапазонов можно
добиться более качественного выделения объекта, чем при использова-
нии лишь одного диапазона наблюдения.
60
Методы сегментации изображений
a) ff)
в) г)
Рис. 4.6. Байесовская сегментация изображений прн использовании
изображений, полученных в различных спектральных диапазонах
(прямоугольниками ограничены зоны окна):
а - изображение, наблюдаемое телевизионной камерой; 6 - изображение, наблюдае-
мое тепловизором; в - результат сегментации с использованием одного признака -
яркости в ИК-диапазоие; - результат сегментации с использованием двух признаков
яркостей в ТВ и ИК-диацазонах
Остановимся кратко на влиянии разрядности гистограмм на ре-
зультат сегментации. Результат сегментации сильно зависит от количе-
ства разрядов, отводимых для хранения гистограмм. Эксперименталь-
ные исследования показали, что недостаточное количество разрядов от-
рицательно сказывается на результатах сегментации, так как округление
получаемых оценок вероятностей до ближайшего уровня квантования
значительно искажает получаемые оценки вероятностей. Увеличение
разрядности гистограмм позволяет выделять точки объекта, которые
слабо отличаются по своим параметрам от точек фона Это особенно
заметно при сегментации малоконтрастных объектов. С другой сторо-
ны, при наличии на изображении неоднородного фона большая разряд-
ность гистограмм приводит к тому, что вместо объекта (или вместе с
объектом) в окне начинают выделяться некоторые участки фона кото-
рые по своим параметрам отличаются от точек фона в рамке. Поэтому
увеличение количества разрядов, отводимых для хранения гистограмм,
сначала улучшает, а потом искажает результат сегментации.
61
Методы автоматического обнаружения и сопровождения объектов
4.4. Алгоритм разметки и параметризация бинарного
изображения
Выше были рассмотрены алгоритмы сегментации изображений,
результатом работы которых являлись бинарные изображения. Светлые
точки этих изображений соответствуют областям, в которых предполо-
жительно находятся объекты, а тёмные точки областям, предположи-
тельно содержащим фон. Если сегментация изображения выполнена
безошибочно, то бинарное изображение содержит исчерпывающую ин-
формацию. позволяющую вычислить практически любые пространст-
венные параметры изображений наблюдаемых объектов. Представле-
ние результатов сегментации в виде бинарных изображений является
достаточно громоздким и часто обладает значительной избыточностью
для решения поставленных задач. Часто потребителя интересуют не все,
а лишь некоторые характеристики присутствующих на изображении
сегментов. К наиболее важным характеристикам сегментов можно отне-
сти координаты центра, размеры, среднюю яркость, дисперсию яркости.
Реже используются такие характеристики как радиус описанной окруж-
ности. параметры ограничивающего сегмент эллипса, энтропия яркости.
Переход от представления результатов сегментации в виде бинар-
ного изображения к представлению в виде таблицы характеристик связ-
ных сегментов изображения производится с помощью процедуры раз-
метки и параметризации связных областей бинарного изображения.
На рис. 4.7 приведён пример преобразования бинарного изображе-
ния в список характеристик его сегментов.
1
2
3
4
5
6
7
8
9
10
1 23456789 10
а)
Рис. 4.7. Пример разметки и параметризации бинарного изображения'
N - иомер сегмента; А яркость; S площадь;
a.b.c.d левая, правая, верхняя и нижняя границы соответственно:
а - исходное бинарное изображение, б - таблица характеристик сегментов изображения
62
б)
Методы сегментации изображений
Важным преимуществом, получаемым при выполнении операции
разметки и параметризации изображения, является снижение вычисли-
тельных затрат, необходимых для проведения дальнейшего анализа
сегментов изображения
Рассмотрим один из алгоритмов разметки и параметризации би-
нарного изображения.
Назовём любые два соседних элемента в строке или столбце мат-
рицы, соответствующей изображению, связными, если они имеют оди-
наковый уровень яркости. Полная совокупность всех связных элементов
образует связную область матрицы или сегмент.
Предположим, что бинарное изображение Н (рис. 4.7,а) поступает
поэлементно, последовательно по строкам в устройство, реализующее
алгоритм разметки.
Каждая строка i матрицы изображения представляет собой сово-
купность последовательно связанных групп элементов m;,/ = l,L, .
Введём в рассмотрение матрицу разметки Н' той же размерности,
что и Н , вектор замены меток G размерностью Л/,, совокупность ме-
ток pk = 1, Л/, и матрицу вычисляемых параметров V размерностью
М2 х Л/,. где Л/, - количество рассматриваемых параметров сегмен-
тов. В качестве параметров сегментов примем следующие: Ак - значе-
ние яркости (0 или 1) области изображения, помеченной меткой рк;
Sk — количество элементов; ,ЛЛ,<у ,т/( - левые, правые, верхние и
нижние границы связной области, помеченной меткой рк .
Процедура разметки реализуется в два этапа. На первом этапе в темпе
поступления изображения Н формируется матрица Н’, в которой каждой
группе т'/ последовательно связанных элементов изображения Н ставит-
ся в соответствие метка рк (т\), записываемая, например, по адресу по-
следнего элемента группы. Каждая метка является числом из натурального
ряда целых чисел, т.е. pk = к, к = 1,2.... Запись новых меток в матрицу Н'
производится с р> - \ в порядке возрастания. Группа т] строки i, не
имеющая связанных с нею групп строки (/ -1), получает новую метку. При
этом в столбец р(т]) матрицы V записываются вычисляемые параметры
А. S , а, b , с, d группы связанных элементов т, и по адресу вектора
G . определяемому новой меткой, записывается значение данной метки.
Если группа т', связана с несколькими группами (»-|)-й строки, поме-
ченными метками pp,pq,...,pr (рис. 4.8), то при условии Gp?=pp,
63
Методы автоматического обнаружения и сопровождения объектов
G;, = pq,..., Gp = рг значение метки принимается равным значе-
нию /лр , т.е. метки первой из рассматриваемых групп (i -1) -й строки. При
этом элементы G^ , G^,..., Gft принимают значение метки ргр, кото-
рая с данного момента является меткой-приемником содержимого, опреде-
ляя его метками цр,!Лч.Д,- Соответственно, столбец /лр матрицы V
корректируется согласно выражениям
Строка (М)—{.|
Строка i ---t-
Sp=Sp+Sq + +Sr+S*;
ap =min|a|,,a4,...,ar,a(};
bp =тах{б,,,*?,...,*г,^!;
cp =min{cp,c,,...,cr,c*};
dp=i, (4.23)
где 5Л, ak, bk - парамет-
ры группы m\ .
т/
А
Рис. 4.8. Группы связных элементов изображения
Первичная метка 1 2 3 4 5 6 7 8 9
Метка-приёмиик 1 2 2 2 1 6 7 8 8
Рис. 4.9. Вектор замены меток G
Рис. 4.10. Алгоритм определения
метки приёмника
Если же среди меток рр,nq,...,pir
фрагмента (рис. 4.8) некоторые метки пе-
редали содержимое и управление меткам-
приемникам, т.е. для них не выполняется
условие Gp-pi, то такие метки сначала
заменяются на их мегки-приемники, груп-
пе mj присваивается первая по ходу стро-
ки (i -1) метка-приемник и она же прини-
мает содержимое остальных меток по пра-
вилу (4.23), что фиксируется по соответст-
вующим адресам вектора G (рис. 4.9).
Процедура определения метки-
приемника при связывании групп
элементов в смежных строках должна определяться в соответствии с алго-
ритмом, приведённым на рис 4 10. В результате прямого просмотра мат-
рицы изображения Н для некоторых элементов вектора G будет выпол-
няться условие Ся =д Количество таких элементов равно числу сег-
ментов на изображении, а номера этих элементов определяют номера
столбцов матрицы V, в которых записаны вычисленные параметры сег-
ментов. Матрица разметки Н', полученная после окончания просмотра
бинарного изображения, приведена на рис. 4.11 ,о. Соответствующая мат-
рица вычисляемых параметров приведена на рис. 4.12. После удаления из
64
Методы сегментации изображений
матрицы вычисляемых параметров тех сегментов, для которых не выпол-
няется условие Сд = ц , получим матрицу, приведённую на рис. 4.7,6.
Рис. 4.11. Матрица разметки Н’ (для наглядности изображена на фоне
бинарного изображения Н ):
а - матрица paiMeiKH посте окончания ракметки и иараметригации;
6 матрица ра щетки после дополните.|ьною просмотра
.. 1 2 3 4 S 0 7 к 9
А 0 1 1 1 0 1 1 1 1
S 71 21 5 2 2 1 5 1
а 1 2 4 8 5 9 "У 4 6
ь 10 9 6 9 5 9 > 6 6
с 1 2 -> 3 4 7 8 8 8
d 10 5 3 3 5 8 8 9 8
Рис. 4.12. Матрица вычисляемых параметров V
(обозначения параметров соответствуют рис. 4.7)
При реализации описанного алгоритма для обработки любой i -й
строки изображения необходимо иметь информацию о предыдущей
строке (/-1) , записанную в виде последовательностей проставленных в
строке I/ 1) матрицы Н' меток с их адресами j, и формировать такую
же информацию по строке / для последующей обработки строки (/ +1)
Для этой цели при реализации алгоритма в виде специализированного
устройства потребуется два регистра памяти
При необходимости решения задачи выделения сегментов изобра-
жения для дальнейшей обработки требуется дополнительный просмотр
матрицы Н‘. в результате которого всем выделенным элементам каж-
дого сегмента будет присвоена единая метка, отличная от меток всех
остальных сегментов изображения. Матрица разметки после дополни-
тельного просмотра приведена на рис. 4.11,6.
3-3447
65
5. Геометрические преобразования
изображений и методы оценки
их параметров
В предыдущих главах в основном рассматривались такие преобра-
зования изображений, при которых не изменяются координаты точек
изображений, и наблюдаемые геометрические фигуры не меняют своей
формы и размеров. В настоящей главе будут рассмотрены геометриче-
ские преобразования изображений, которые заключаются в изменении
расположения точек изображения в пространстве.
Рассмотрим основные причины возникновения геометрических пре-
образований в процессе наблюдения. Для этого обратимся к модели пер-
спективной проекции (2.1), описывающей формирование изображения на
светочувствительной матрице датчика. Очевидно, что при изменении ко-
ординат точки наблюдаемой сцены (x',y',z') меняются и координаты её
образа на матрице датчика (х,у) (за исключением ряда частных случаев).
Изменение координат (x',y',z') может быть вызвано следующими об-
стоятельствами: во-первых, перемещением точки (x',y',z') в пространст-
ве, во-вторых, перемещением центра системы координат в пространстве,
и, в-третьих, изменением ориентации осей координат OX, OY, О'/. Таким
образом, основные причины возникновения геометрических преобразо-
ваний связаны с перемещениями объекта наблюдения, перемещениями
видеодатчика и изменением ориентации видеодатчика.
Ещё одной причиной возникновения геометрических преобразова-
ний является непрямолинейность распространения света, которая воз-
никает из-за присутствия в атмосфере различных видов неоднородно-
стей, например перепадов температуры.
Задача оценивания параметров геометрических преобразований тес-
но связана с проблемой измерения координат и сопровождения объектов.
Например, измерение координат объекта по сути дела является задачей
оценки параметров преобразования смещения. Ниже, в п. 8.3, будет пока-
зано, что для решения задачи выделения подвижных объектов при дви-
жущемся датчике очень важно как можно точнее оценить параметры гео-
метрических преобразований, вызванных движением датчика.
Перед тем как перейти к изложению некоторых подходов к оценке
параметров геометрических преобразований, целесообразно познако-
миться с основными классами геометрических преобразований, имею-
66
Геометрические преобразования изображений и методы оценки их параметров
щих место в системах автоматического обнаружения и сопровождения
объектов. Этому посвящен следующий раздел.
5.1. Геометрические преобразования изображений
Вначале дадим математическую интерпретацию понятия геомет-
рического преобразования. Рассмотрим аналоговые изображения
A(xi>Pi)> ^(Х2Э’2)> заданные на непрерывном множестве
D = {(х,у): 0 <х < 1Р,0 < у < Н}, W, Н - размеры области определения.
В присутствии геометрических преобразовании соответствие между
изображениями 12(х2,у2) можно задать в виде:
(x2,y2)=Sl2(x,,y,), (5.1)
где S12 - обратимая функция соответствия, отображающая точки изобра-
жения /|(Х|,У!) в точки изображения /2(х2,у2). Вынодняютсяусдовия:
(xi,>'i)eO|2 SD, (5.2)
(х2,у2)еСг1сО, (5.3)
где Di2 - множество точек изображения /|(х|,у|), для которых опреде-
лено отображение .$|2 ; £>21 - множество точек изображения /2(х2,у2),
для которых существуют прообразы на изображении /, (х,, у,).
Для отображения .S'l2 справедливо
•5|2 ~ ! (5.4)
где S2| _| - отображение, обратное к 5',,.
Отношение (5.2) означает, что в изображении могут от-
сутствовать некоторые точки, присутствующие на изображении
А(Х1>У1) • Отношение (5.3) означает, что /2(х2,Уг) может включать в се-
бя точки, отсутствующие в /|(Х|,у,). В частности, два различных кадра
могут вообще не содержать ни одной общей точки (Di2 = 0,D21 = 0),
при полном изменении области обзора. Если датчик не перемещается, а
в наблюдаемой сцене отсутствует движение, то отображение Sp тож-
дественно и D12 = D, D2i = D.
Различные виды движения объекта или видеодатчика вызывают и
различные виды преобразований изображений, которые определяются
заданием функции S12 и множеств L>,2, О2|. Хороший обзор этих пре-
образований приведён в [16]. Рассмотрим некоторые из них. В даль-
67
Методы автоматического обнаружения и сопровождения ооъектов
нейшем для упрощения записи векторную функцию векторного аргу-
мента 5,2 будем обозначать без индексов (S):
Смещения изображения являются простейшим видом преобразо-
ваний и описываются выражениями
S(x.y) = (x-a,y-/7). (5.5)
где а, р параметры смещения по горизонтали и вертикали.
Смещения обычно возникают при изменении направления оптиче-
ской оси датчика. При этом необходимо, чтобы угловая ширина области
обзора датчика была небольшой, иначе будут возникать более сложные
преобразования. Другой источник сдвигов - движение датчика в плос-
кости, параллельной плоскости наблюдаемой сцены, при неизменном
направлении оптической оси. Если наблюдаемая сцена не плоская, то
для адекватности модели (5.5) требуется, чтобы глубина сцены была
намного меньше расстояния до неё
Изменения масштаба в простейшем случае описываются преобра-
зованием
S(x,y)=(Ar.Zy), (5.6)
где Л - коэффициент изменения масштаба.
Если коэффициенты изменения масштаба различны, возникает
преобразование
5(х,у)=(Лх,дг), (5.7)
где Л , р - параметры изменения масштаба.
В ряде случаев один из параметров Л , или р равен I. Если Л = I,
то преобразования является тождественным на оси Ох, а точка (х, у)
при у * 0 смещается параллельно оси Ov на величину, пропорциональ-
ную координате у. Такие преобразования называют преобразованиями
масштаба относительно оси Ох. Аналогично, если р = I, получаем
преобразования масштаба относительно оси Оу . Если изменение мас-
штаба происходит относительно прямой у = far, то преобразование
принимает вид
, . _ ( (ял2 ^1}х-Кг(1-Л)у Лх(1-Л)+Ил + *2)) „ о.
л2+1 ’ *2+i J’ <58)
Преобразование (5.6) называют однородным изменением масштаба,
а (5.7), (5.8) неоднородным изменением масштаба. Однородное измене-
ние масштаба возникает обычно при смещении датчика вдоль оптической
оси. Если глубина наблюдаемой сцены значительно меньше расстояния
до неё, то неоднородное изменение масштаба возникает при изменении
68
Геометрические преобразования изображений и методы оценки их параметров
угла наклона оптической оси датчика относительно плоскости сцены
Пример однородного изменения масштаба приведён на рис. 5.1 и 5.2.
Рис. 5.1. Однородное изменение
масштаба
Рис. 5.2. Исходное изображение
Повороту наблюдаемого изображения на угол (р соответствует
преобразование
S(x,y ) = (х cos (р + у sin <р,-х sin (р + у cos р). (5.9)
Поворот относительно произвольной точки (х0,у0) описывается
выражением:
S(x,y) = ((* - *0 +(у - >’о )sin^. (x - х0 )sin <р+(у - у0 )cos<z>) (5.10)
Пример поворота изображения вокруг центра показан на рис. 5.3.
Повороты происходят при вращении датчика вокруг оптической оси.
Рис. 5.3. Поворот вокруг центра
изображения
Рис. 5.4. Проективное
преобразование
69
Методы автоматического обнаружения и сопровождения объектов
Евклидовы преобразования изображения являются комбинациями
поворотов и сдвигов и могут быть заданы выражением:
S(x, у) = (xcos^> + у sin зр — а,—х sin зр + у cos зр - р).
(5.11)
где зр - угол поворота; (а,р) - величина смещения. Заметим, что вы-
ражения (5.10) и (5.11) равноценны при а = x0cos^ + yo sin$>,
Р = -х0 sin зр + у0 cos зр. Таким образом, любое евклидово преобразова-
ние можно заменить преобразованием поворота вокруг некоторой точки
плоскости. Евклидово преобразование оставляет без изменения евкли-
дово расстояние между точками плоскости.
Преобразования (5.6). (5.8) - (5.11) являются линейными парамет-
рическими. Среди линейных параметрических преобразований можно
выделить, кроме указанных, косой сдвиг вдоль осей координат. Он опи-
сывается выражениями
5(х,у)=(.г-йху,у),
(5.12)
ИЛИ
S(x,y) = (x,y-A,x).
(5.13)
Все рассмотренные выше геометрические преобразования входят в
множество аффинных преобразований. Аффинное преобразование ха-
рактеризуется шестью параметрами ,i = 1,2; j = 1,2,3 :
$(x,v) = [«I Iх + O|2.V + J’a2ix + а22У + °n] •
(5.14)
Любое преобразование (5.14) может быть получено в виде комби-
нации смещений, изменений масштаба, поворота, косого сдвига и отра-
жения. При аффинном преобразовании прямая линия переходит в пря-
мую линию. 11араллельность прямых также не нарушается.
Аффинные преобразования не являются адекватной моделью, если
плоскости входных изображений и поля зрения датчика не параллель-
ны. При наблюдении плоской поверхности из различных точек про-
странства возникают проективные преобразования [16], которые опи-
сываются соотношениями
S(x,y) =
°| Iх + °12-v + °|3 Д2|Х + О22-У'+ °23
а3|Х + а32у + а33 а31х + а32у + а33
(5.15)
где а„ , i, j = 1,2,3 параметры преобразования.
Пример проективного преобразования приведён на рис. 5.1, 5.4.
При проективном преобразовании прямые линии сохраняются, но
их параллельность нарушается. Аффинные преобразования являются ча-
стным случаем проективных и возникают тогда, когда плоскость, наблю-
даемая датчиком, параллельна чувствительной матрице видеодатчика.
70
Геометрические преобразования изображений «методы оценки их параметров
Проективные преобразования являются девятипараметрическими.
Они включают в себя, кроме аффинных, разнообразные нелинейные
преобразования. Важнейшими являются ортогональные проективные
преобразования, характеризующиеся тем, что коэффициенты atJ в опе-
раторе (5.15) образуют ортогональную матрицу.
Проективные преобразования связаны с отображением трёхмерно-
го пространства на двумерную плоскость и, в общем случае, не сохра-
няют параллельность линий. Свойством, сохраняющимся при проектив-
ном преобразовании, является так называемая коллинеарность точек:
три точки, лежащие на одной прямой (то есть коллинеарные) после
преобразования остаются лежать на одной прямой.
Для всех приведённых выше преобразований их формульные вы-
ражения (5.5) - (5.15) однозначно определяют множества Ом и Du.
Пусть $И(Л') это образ множества точек X . Тогда Dtt и Du найдутся
из выражений
=Su(D)r>D-. Du =Su'(Da). (5.16)
Рассмотренные преобразования имеют место при весьма ограни-
ченном диапазоне условий наблюдения, когда наблюдается плоская по-
верхность. Если расстояние до наблюдаемой сцены намного больше,
чем глубина сцены, то можно говорить об аффинном или проективном
преобразовании. К некоторым ситуациям это требование неприменимо.
II Рассмотрим пример, когда производится наблюдение слегка сложенной
шахматной доски из двух различных точек (рис. 5.5 и 5.6).
Изображение шахматной доски можно разделить на левую и правую по-
ловину. Левые половины на рис. 5.5 и 5.6 связаны проективным преобра-
I зованием (5.15). Правые половины связаны таким же преобразованием, но
Рис. 5.5. Вид на шахматную доску Рис. 5.6. Вид на шахматную доску
из первой точки из второй точки
71
Методы автоматического обнаружения и сопровождения объектов
с другими параметрами о,, 1 = 1,8 . Таким образом, чтобы полностью
описать преобразование, которое происходит на рисунках, нужно задать
не только параметры преобразований, но и области изображений, к кото-
рым применимы эти преобразования. При наблюдении более сложных
сцен, когда в поле зрения находятся сложные поверхности, для определе-
ния межкадрового преобразования необходимо знать трёхмерную модель
| сцены, которая обычно неизвестна.
Рассмотрим далее геометрические преобразования изображений,
вызванные атмосферными явлениями. Причиной этих искажений явля-
ется непрямолинейность распространения световых лучей в атмосфере
между наблюдаемой сценой и датчиком изображений. Искажение пря-
молинейных траекторий движения световых лучей связано с наличием
неоднородностей диэлектрической проницаемости в атмосфере. Стати-
стический характер этих неоднородностей сложен и определяется сово-
купностью различных условий в месте наблюдения, в том числе и кли-
матических. Строго говоря, искажения, вызванные атмосферными явле-
ниями, могут включать в себя не только геометрические преобразова-
ния, но и флуктуации яркости и расфокусировку изображения. Однако
здесь рассматриваются только геометрические атмосферные искажения,
приводящие к деформациям изображения и не влияющие на величину
яркости отдельных наблюдаемых точек сцены. Одной из основных при-
чин возникновения атмосферных неоднородностей является присутст-
вие потоков горячего воздуха вблизи нагретых тел. Визуально эти ис-
кажения проявляют себя как «колебания» контуров объектов.
На рис 5.7 приведены примеры искаженных изображений при на-
личии атмосферных геометрических искажений, вызванных восходя-
щими потоками горячего воздуха. Изображения дома размером 128*128
пикселей получены с промежутком в 1/25 с. Можно заметить, что на
правом изображении изображение дома слегка увеличено в размерах.
Это подтверждается и результатами непосредственных измерений.
Рис. 5.7. Изображения. полученные в присутствии атмосферных
геометрических искажений
(длина отрезка на рисунке слева - 74,2 пикселя, справа 76.2 пикселя)
72
Геометрические преобразования изображений и методы оценки их параметров
В качестве модели подобного рода искажений можно рассматри-
вать взаимно однозначную случайную функцию, задающую саязь меж-
ду координатами точек исходного и искаженного изображений:
S(x,y)=(x.y)-Z(x,y), (5.17)
где Z(x,у) = (z, (х,у) г, (х, у)) - векторное поле деформаций изображе-
ния, задающее вектор смещения каждой точки (х,у).
Конкретные значения величины Z(x,y) обычно различаются в каж-
дой точке изображения и зависят от множества случайных факторов. По-
этому Z(x,y) здесь рассматривается как стационарная двумерная случай-
ная функция с нормальными законами распределения компонент:
z¥(x,y)~ (v(o,cr:), z,.(x,y)~ д(о,сг2). Как показывают результаты наблю-
дений, в каждой точке (г, у) изображения гДх.у), z,.(x,y) некоррелирова-
ны: v(x,y): С^Дх.у^Дх.у)^ 0. Однако, очевидно, что между значения-
ми вектора деформаций в соседних точках изображения присутствует кор-
реляционная зависимость, убывающая по мере удаления точек изображе-
ния друг от друга. Таким образом, автокорреляционные функции смещений
по горизонтали и по вертикали К¥(Дт,Ду)= £(г¥(х,у),г¥(х + Дх,у + Д))) и
К,(Дх,Ду)= £(zl(x,y),z>(x +Дг,у + Ду)) убывают по мере увеличения
Дт и Ду. Если автокорреляционные функции убывают медленно в пре-
делах наблюдаемой области изображения, то случайное преобразование
(5.17) превращается в обыкновенное параметрическое преобразование
смещения вида (5.5). Парамегры (тт,/?) являются при этом случайными.
Чаше всего автокорреляционные функции быстро убывают в пределах
наблюдаемой области изображения. Тогда можно считать, что все точки
изображения смещаются независимо друг от друга. Такое преобразова-
ние уже нельзя описать параметрической моделью в масштабах всего
изображения.
5.2. Корреляционные методы оценки параметров
геометрических преобразований
Корреляционные методы чаще всего используются при оценива-
нии параметров преобразования смещения. Пусть известно эталонное
изображение (i.j)eH. которое является частью наблюдаемого
изображения l(i,j). (i.jfeL . Предположим, что центр эталонного изо-
бражения смещён относительно центра изображения /(>../) на неизвест-
ный вектор (a. fl). Кроме того, допустим, что наблюдаемое изображе-
73
Методы автоматического обнаружения и сопровождения объектов
ние искажено нормальным белым шумом Тогда связь между
h(i,j) н l(i,j) можно описать выражением:
h(i-a,j-fl)+g(i,j),
при — (5.18)
Классический корреляционный алгоритм. В соответствии с
классическим корреляционным алгоритмом для поиска параметров
(a,fl) необходимо вычислить взаимную корреляционную функцию на-
блюдаемого изображения и эталонного изображения:
F(a,fl) = l(i + a,j + fl), (a,fl)eL. (5.19)
Значения (a*, fl*), при которых достигается глобальный максимум
выражения (5.19), принимаются в качестве величин, характеризующих
смещение эталона вдоль осей координат:
(a*,fl*)= argmax{F(a,/?)}. (5.20)
Если, в дополнение к названным выше условиям, фоновое изобра-
жение имеет нулевую яркость
/(« >) = 5('> j) при (t-a,j-fl)ftH, (5.21)
то классический корреляционный алгоритм оценки параметров смеше-
ния является оптимальным по критерию максимального правдоподобия.
В этом случае задача оценки параметров (a, fl) совпадает с классиче-
ской задачей оценивания параметров сигнала. Доказательство опти-
мальности алгоритма (5.19), (5.20) может быть проведено методами
теории оптимальной обработки сигналов [17].
При наличии неоднородного фонового изображения алгоритм, ис-
пользующий вычисление максимума взаимной корреляционной функ-
ции, может давать грубые ошибки, если, например, яркость некоторых
участков фона окажется выше, чем яркость эталона. Чтобы избежать
этого, могут быть использованы нормированные функции, например
У Л(1, j) l(i + a,j + fl)
F(a, fl) = —- . (5.22)
Yl2(i + aj + fl)
Достоинством нормировнных функций является уменьшение
влияния колебаний яркости изображения на точность определения ко-
ординат. К недостатку функции вида (5.22) следует отнести увеличение
объёма требуемых вычислений.
74
Геометрические преобразования изображений и методы оценки их параметров
Разностные корреляционные алгоритмы. Для уменьшения объ-
ёма требуемых вычислений при необходимости работы в телевизион-
ном масштабе времени, используются также критериальные разностные
функции вида:
F(a,F)= У|/(1 + а,7 + /?)-й(т,7)|, (5.23)
№
F(c.^)= У(/(< + а,7 + Д)-й(г,7))2, (5.24)
(М>и
для которых необходимо отыскивать глобальный минимум. Преимуще-
ством разностных функций является отсутствие операции умножения. В
то же время известно, что точностные характеристики разностных
функций при малых отношениях ситнал/шум несколько уступают вза-
имно корреляционным.
Корреляционные алгоритмы используются как при решении задач
оценивания параметров смещений, вызванных движением датчика, так и
при слежении за движущимися объектами. Отдельного рассмотрения за-
служивает проблема корреляционного слежения за движущимся объектом.
Первоначальное обнаружение объекта, за которым в дальнейшем
будет осуществляться слежение, может осуществляться как вручную
оператором, так и автоматически (с помощью какого-либо алгоритма
выделения движущихся участков изображения). В первом случае пред-
полагается наличие оператора, который выбирает объект (цель) для со-
провождения и наводит на него рамку. Всё, что попало внутрь рамки,
впоследствии будет считаться эталонным изображением и использо-
ваться для поиска объекта в следующих кадрах.
Способы адаптации эталонного изображения. Важным обстоя-
тельством, которое может сильно повлиять на эффективность корреля-
ционного алгоритма измерения координат объек та, является возможное
изменение яркости, размеров или конфигурации объекта со временем.
Даже если ограничиться рассмотрением таких параметров, как смеще-
ние, масштаб и угол поворота (не учитывать изменение яркости и кон-
фигурации), то многие известные на сегодняшний день методы оценки
таких параметров требуют достаточно больших вычислительных затрат.
В условиях ограниченности вычислительных ресурсов приходится ис-
кать различные способы адаптации эталона к изменениям, происходя-
щим с объектом. Самый простой из них - покадровая смена эталона.
Однако такой способ обновления эталонного изображения приводит к
частым потерям объекта из-за быстрого накопления ошибки в оценке
координат, вызванной ошибками дискретизации и шумами видеотракта,
вносимыми в новый эталон [18].
75
кпетоиьгавтоматического обнаружения и сопровождения объектов
Методам, основанным на анализе характера изменения функции
отличия вблизи точки экстремума или на смене эталона при превыше-
нии функцией отличия некоторого порога [ 18], эти недостатки присущи
в меньшей степени, однако и они не способны эффективно решать зада-
чу отслеживания изменений в объекте с одновременной компенсацией
влияния шумов видеотракта и эффектов дискретизации на точность оп-
ределения координат.
Результаты экспериментов, приведенные в [19], показывают, что
эффективным методом обновления эталона и компенсации влияния ад-
дитивного шума и эффектов дискретизации на точность определения
координат является экспоненциальное сглаживание, определяемое вы-
ражением
*»('>/)= M»-i('»7’)+(l ('.jjeH, (5.25)
еде (i.j)eH - сглаженное эталонное изображение объекта, ис-
пользуемое для поиска объекта в и -м кадре; kh — подбираемый эмпи-
рически коэффициент (0 <kh < 1); hn_x(i,j), (i,j)- сглаженное эта-
лонное изображение объекта, используемое для поиска объекта в
(и -1)-м кадре; A^_|(l,j), выделенное из (n -1)-го кадра изо-
бражение объекта.
Для сокращения вычислительных затрат при реализации корреля-
ционных алгоритмов используются методы, основанные на связи вза-
имной корреляционной функции и взаимного спектра через преобразо-
вание Фурье. Сокращение объёма вычислений может достигаться за
счёт использования алгоритма быстрого преобразования Фурье, однако
заметный выигрыш в объёме вычислений проявляется при размерах
изображений от 64x64 и выше.
5.3. Метод последовательного определения сходства
изображений
Оценивание геометрических параметров с использованием разно-
стных критериальных функций требует зачастую полного перебора
возможных позиций расположения объекта, что при больших зонах по-
иска может приводить к неприемлемо большим вычислительным затра-
там. В этой ситуации оказываются оправданными разработка и исполь-
зование вычислительных методов, позволяющих снизить количество
операций при решении задачи совмещения эталонного и текущего изо-
бражений без заметного ухудшения качества решения задачи. Одним из
таких методов является метод последовательного определения сходства
изображений, на котором базируется алгоритм Сильвермана [20, 21].
76
Геометрические преобразования изображений и методы оценки их параметров
Идея алгоритма заключается в уменьшении количества вычислений в
областях изображения, где искомый объект отсутствует, т.е. там, где
критерий, характеризующий отличие, растет быстро с увеличением чис-
ла анализируемых точек. Рассмотрим методики расчета пороговых
функций, которые могут использоваться при этом.
Пусть имеется критериальная функция типа (5.24), в которой сум-
мирование квадратов разностей ведется в предполагаемой области рас-
положения объекта.
Предположим, что эталонное изображение получено из предыду-
щих кадров видеопоследовательности и также искажено шумом. Если
считать, что на изображении отсутствуют посторонние объекты, и пре-
небречь эффектами дискретизации, значение критерия (5.24) в точке
наилучшего совмещения примет вид
а. = У«/(л;)-^(А/))2, (5.26)
~ аддитивные, нормальные, некоррелированные по про-
странству и между собой шумы с нулевыми математическими ожида-
ниями и дисперсией D, присутствующие соответственно на текущем
изображении и на эталонном изображении.
Величина = распределена по нормальному
закону с нулевым математическим ожиданием и дисперсией D,=2D. Вве-
дём в рассмотрение величину Л1А- сумму первых К слагаемых в пра-
вой части выражения (5.26). Величина А1Л- распределена по закону/2:
/(д1*г)=-----!— е 20 , (5-27)
2Г(К/2)Ог'Ч 2 J
где К - число точек, по которым вычислена функция отличия (5.26);
г(Х'/2) полная Г-функцня от аргумента К/2.
Таким образом, зная распределение /(Д)Л-) можно задаваться ве-
роятностью ошибки Рош (вероятность исключения позиции, соответ-
ствующей наилучшему совмещению), рассчитывать пороговые значе-
ния RIK и проводить вычисления в каждой точке до тех пор, пока
функция отличия не превысит порог. Очевидно, что в точках, не соот-
ветствующих наилучшему совмещению, функция отличия будез возрас-
тать значительно быстрее. После исследования всех точек за искомые
координаты принимается та из них, для которой К достигло наиболь-
шей величины до превышения порога. Интегрируя (5.27) по Д1к в пре-
делах от RIK до со, определяем вероятность превышения случайной ве-
личиной Д1д- порога RtK:
77
wnuj/j/jtceHUM и сопровождения ооъектов
Р<МК < Д1К < “) = lf(blK№IK = 1 - —’ (5-28)
«и * J
где r(K/2,R
1Л /2D) - неполная Гамма-функция.
Теперь, задаваясь вероятностью Рош и пользуясь специальными
таблицами, можно рассчитать пороговые функции RlK в зависимости
от D н К. На рис. 5.8 штриховыми линиями обозначены пороговые
функции для Ри1и =0,05 и дисперсий шума-0,1; 0,5; 1.
Рис. 5.8. Пороговые функции при различных дисперсиях шума
В связи с тем, что вычисления в позициях, не соответствующих
истинному положению объекта, не будут проводиться во всех точках,
можно ожидать общего существенного снижения числа операций при
поиске глобального минимума (5.24).
Рассмотрим методику расчета пороговых функций применительно
к критериальной функции вида (5.23), которая с вычислительной точки
зрения является более предпочтительной. При тех же допущениях, ка-
кие были сделаны применительно к предыдущему случаю, функция от-
личия в точке наилучшего совмещения примет вид
(5-29)
Очевидно, что величина |Z(!,j)| = |^(i,j)-^*(',y)| распределена по
одностороннему нормальному закону вида
78
Геометрические преобразования изображений и методы оценки их параметров
/(М=,Д^ c-z2“.
(5.30)
где Dz = 2D. причем m[|Z(i,/)|] я 1,13-Уо ; £i[|Z(<,/)|] я 0,720.
Введём в рассмотрение величину Д2д- _ сумму первых К слагаемых
в правой части выражения (5.29). Так как прн вычислении (5.29) суммиру-
ется значительное число однородных независимых случайных величин,
можно предположить, что Д2К распределено по закону, близкому к нор-
мальному, с параметрами /л[Л2д-] - К’ ЦЗ-Уо ; О| А?а ] - К 0,720.
Пороговые величины Т?2А для заданного значения Рош найдутся из
соотношения
<*2К <°°)-1-Ф[^~Г[Д21Л]1 <5’31)
I л/°[Д2л] J
где Ф — интеграл вероятностей, или иначе
Я2А = ф-1 (1 - рош X/А-0.720 + А 1,1 Зх/о .
(5-32)
Пороговые функции R2K для Рош= 0,05 н дисперсии шума 0,1; 0,5;
1 представлены на рис. 5.8 штихпунктирными линиями.
Применим изложенную выше методику расчета пороговых функ-
ции к критериальной функции (5.33), сочетающей в известной степени
достоинства разностных и корреляционных критериальных функций:
F(а,Р) =
У + iji +
(5.33)
Предполагая, что шумом на эталонном изображении можно пре-
небречь в сравнении с шумом текущего изображения /(/,/), и используя
описанную выше методику, приходим к выражению для пороговой
функции:
X h(i,j)D,
(.г)гИ
Л,х=Ф ‘(I Лш) 0,36 £ Л2(;,7)О + 0,8
V (-.;)<=« 1
(5.34)
к
где У означает суммирование по К точкам.
В отличие от пороговых функций Л*1А и Л2А , при расчете Лзд
требуется учитывать значения яркостей точек эталонного (незашумлен-
79
Методы автоматического обнаружения и сопровождения объектов
ного) изображения. Пороговые функции R3K изображены на рис. 5.8
сплошными линиями для h(i,j) - 1, Рош = 0,05 и тех же значений D.
В процессе экспериментальных исследований значения, критери-
альной функции сравнивались с пороговыми значениями при Л->15
через каждые пять точек, функция отличия вычислялась путем первона-
чального включения точек, относящихся к середине эталона. Для оцен-
ки точности алгоритма вычислялись среднеквадратические отклонения
ошибок в определении координат (Лх,Лу), соответствующих положе-
нию центра объекта. Быстродействие алгоритмов оценивалось в каждом
эксперименте, путем подсчета общего числа требуемых вычислений.
Результаты моделирования свидетельствуют, что алгоритмы последова-
тельных испытаний, использующие описанную выше методику выбора
порога, требуют приблизительно в десять раз меньше вычислительных
операций по сравнению с методом полного перебора. При этом точ-
ность определения координат сравнима с ошибками дискретизации.
Уменьшение на порядок необходимого числа операций позволяет прн
определенных условиях решать задачу нахождения координат объекта в
телевизионном масштабе времени с использованием специализирован-
ных вычислительных устройств.
5.4. Спектральные методы оценки параметров
геометрических преобразований
Одним из путей снижения вычислительных затрат при реализации
корреляционных алгоритмов оценивания параметров геометрических
преобразований является использование аппарата быстрых спектраль-
ных преобразований. К такому выводу можно придти, если проанализи-
ровать выражение для вычисления взаимной корреляционной функции
(5.19). Очевидно, что эта формула представляет собой дискретную
свёртку. Известно, что при больших размерах обрабатываемых масси-
вов дискретная свёртка наиболее эффективно вычисляется с использо-
ванием быстрого преобразования Фурье.
Помимо этого, использование спектральных преобразований по-
зволяет создавать алгоритмы качественно иного типа, чем обычные
корреляционные. Рассмотрим алгоритм, позволяющий эффективно ре-
шать задачу оценивания параметров евклидова преобразования изобра-
жений (5.11). Алгоритм базируется на свойствах преобразования Фурье,
отражающих поведение двумерного спектра Фурье при смещении и по-
вороте изображений.
Пусть /;(х,у) и /2(х,у)~ непрерывные функции, определённые на
плоскости ft2, которые можно рассматривать как изображения с без-
80
Геометрические преобразования изображений и методы оценки их параметров
граничной областью определения, a F|(wx,®>T) н F2(®,,®v) - преобра-
зования Фурье от этих функций. Если ./j(x,y) и /2 (’•>>') связаны преоб-
разованием сдвига
f2(x,y)^fi(x-a,y-p), (5.35)
где (a, р) - вектор сдвига, то их спектры связаны соотношением
F2 (®,, ) = ехр{- 2nj(a>xa + (<у,, а>у), (5.36)
где j = лРТ .
Таким образом, смешение функции на вектор («,//) соответствует
умножению её спектра на ехр{- 2nj(a>xa + 4- Это свойство часто на-
зывают теоремой смещения.
Из теоремы смещения легко получить алгоритм нахождения век-
тора Из (5.36) получим:
схр{2^(ш,а + ® 4 = (537)
Умножив числитель и знаменатель формулы (5.37) на F2 )
и выполнив в знаменателе следующие преобразования
= |Л • 1^2 *
получим выражение
। i м Л tax, Vs * tar >v)
ехр{2^(щЛа + т р$ = ~ ,-----у. (5.38)
F| , а>у ]F2 * (юЛ, п>у 1
Выполнив обратное преобразование Фурье от (5.38), получим дву-
мерный дельта-импульс
Л(х - аг,у - р) - Ф {ехр[2 + юу /01} • (5.39)
Положение максимума дельта-импульса соответствует вектору
сдвига (а,р). При обработке реальных изображений, искаженных шу-
мом. вместо дельта-импульса получается функция, которая близка к ну-
лю везде, кроме окрестности точки («,//). Метод оценки параметров
сдвига изображений, основанный на поиске точки максимума этой
функции, называется алгоритмом фазовой корреляции.
Рассмотрим поведение спектра Фурье при повороте изображения
[1]. Если функции f}(x,y) и /2(х,у) связаны преобразованием поворота
на угол (р, т. е.
81
Методы автоматического обнаружения и сопровождения объектов
f2(x,y) = /i(xcos^ +xsin^+ycos^>), (5.40)
то спектры этих функций связаны соотношением
F2 (й?л , ту ) = F] cos (р + «у sin (р, а)х sin (р + соcos tp). (5-41)
Таким образом, поворот функции на угол <р соответствует точно
такому же повороту ее спектра.
Из (5.35) - (5.41) следует, что если функция f2(x9y) получена пу-
тём евклидова преобразования функции f}(х,у), т.е.
/2 (*> у) ~ ft (* cos + У sin ср - а-х sin ср+у cos ср- fl), (5.42)
то
F2(®Jt,®J)=
= ехр{- (л\ cos <р+а>у sin <p-rox sin <р + foy cos p). (5.43)
Пусть Л((тц,г?{ ) и Л4(й^,й},) - амплитудные спектры функций /(х,у)
и f2(x,y), то есть A/1(®x,<yJ.)=|F1(<yx,<yJ]|, Л/2(мх,м; )-|^(<лх,л)Д. Из
(5.43) следует
Мг (<ах, ту) = Л/, (юх cos tp + а>у sin <p-cox sin <p + <oy cos rpj. (5.44)
Таким образом, при сдвиге и повороте функции происходит такой
же поворот её амплитудного спектра, а сдвиг не оказывает влияния на
амплитудный спектр функции. Переходя к амплитудным спектрам,
можно освободиться от влияния сдвигов и отслеживать поворот отдель-
но от других видов преобразований.
Для этого удобно в выражении (5.44) перейти в полярную систему
координат: <ух -pcosG, л>,. =psin0. В полярных координатах ампли-
тудные спектры связаны преобразованием сдвига вдоль оси 0:
Мг{р,е}=М\р,е-<р}- (5.45)
Угол <р легко находится методом фазовой корреляции, изложенным
выше. Зная <р, можно развернуть функцию /](х,у) на угол <р. Тогда по-
лучатся две функции, связанные преобразованием сдвига. Применяя вновь
метод фазовой корреляции, получим оценки параметров сдвига (<т,Д).
Отметим, что существует аналогичный подход, позволяющий на-
ходить наряду со сдвигом н поворотом, ещё н параметр изменения мас-
штаба [22, 23]. Для этого выполняется переход не в полярную, а в по-
лярно-логарнфмнческую систему координат. При этом значительно
увеличиваются вычислительные затраты.
82
Приведённые выше соотношения справедливы для изображений,
рассматриваемых на непрерывной плоскости R2, в отсутствие шумов и
движущихся объектов. В действительности обычно приходится иметь
дело с дискретными изображениями, заданными на конечной сетке от-
счётов, в присутствии шумов и движущихся объектов. Но, тем не менее,
сделанные выводы в первом приближении имеют место.
Перейдём от непрерывных изображений к дискретным изображе-
ниям, получаемым на выходе видеодатчика. Для этого будем рассмат-
ривать квадратные дискретные изображения размером
Л'хЛ' точек.
Вместо непрерывного преобразования Фурье теперь необходимо
использовать дискретное преобразование Фурье (ДПФ), коэффициенты
которого определяются в виде ряда:
i(“’v)= У, ^j)exp^-^-J(wi + vjjj, (5.46)
где l(i,j) - дискретное изображение, L(u,v) — его дискретный спектр,
и, v - пространственные частоты.
В результате ДПФ получается массив комплексных чисел, пред-
ставляюший собой частотное описание изображения. Поскольку этот
массив конечен, он фактически описывает изображение, получающееся
путём бесконечного повторения исходного изображения.
При этом возникает ряд проблем.
Во-первых, амплитудный спектр дискретного изображения оказыва-
ется сильно искаженным вследствие хорошо известного явления Гиббса,
которое связано с конечностью массива, используемого для хранения
изображения. В результате явления Гиббса в спектр вносятся дополни-
тельные частотные составляющие, отсутствовавшие в исходном изобра-
жении. Иллюстрация явления Гиббса дана на рис. 5.9. На рис. 5.9 д,е при-
ведены амплитудные спектры изображений (рис. 5.9,а.б). Явление Гиб-
бса проявляется здесь в виде светлого креста, ориентация которого не
изменяется при поворотах изображения.
Стандартный приём компенсации явления Гиббса заключается в
умножении изображения на весовую функцию, уменьшающуюся до ну-
ля от центра к краям изображения. Широко используются функции
Хэмминга, Хайна, Чебышева, Кайзера [24]. На рис. 5.9,в,г приведены
изображения (рис. 5.9,а,б), умноженные на функцию Кайзера. Их ам-
плитудные спектры представлены на рис. 5.9,ж,з.
Вторая проблема, возникающая при анализе реальных изображе-
ний, связана с недостаточным уровнем высокочастотных составляющих
изображения. Из-за этого точность определения угла поворота <р ока-
83
гетооы автоматического оОнаружения и сопровождения объектов
зывается низкой. Чтобы решить эту проблему целесообразно использо-
вать логарифмирование амплитудного спектра. Поскольку амплитуда
высокочастотных составляющих обычно ниже, чем у низкочастотных,
путём логарифмирования фактически производится высокочастотная
фильтрация изображения
Рис. 5.9. Изображения и их амплитудные спектры
ж)
Третья проблема связана с использованием метода фазовой корре-
ляции для определения параметров (а,Др). Метод фазовой корреля-
ции (5.38) хорошо работает лишь при малом уровне искажений и шумов
[25]. В присутствии шума и движущихся объектов лучше ведут себя
корреляционный и разностный алгоритмы. Исследования показывают
целесообразность использования корреляционного алгоритма, который
отличается от фазового корреляционного отсутствием деления на мо-
дуль произведения спектров функций в выражении (5.38). В результате
обратного преобразования Фурье получается взаимная корреляционная
функция, максимум которой укажет значение параметров смещения.
Таким образом, алгоритм поиска параметров сдвига и поворота
фона на основе изображений /,((,/). l2\i,j) может состоять из следую-
щих этапов:
1. Умножение изображений /,(/./). l2(i,j) на функции Кайзера.
Получим изображения /"(i, /), /“(i.j).
2. Вычисление ДПФ от функций /”(»./). 12 которые обозна-
чим /.Ди,v), Л,(и.г). Для оптимизации вычислительных затрат здесь
естественно использовать алгоритм быстрого преобразования Фурье.
84
Геометрические преобразования изображений и "методы оценки их параметров
3 Вычисление логарифмов амплитудных спектров. Обозначим их
В, (и. v) = 1п|£, (и. v|, В2 (и, v) = ln|L2 (и. vj
4. Преобразование B,(w.v), B,(u,v) в полярную систему координат.
Шаги дискретизации по углу и расстоянию должны быть согласованы с
требуемой точностью определения угла поворота (р. Удовлетворитель-
ные результаты могут быть достигнуты при следующих шагах дискрети-
зации: по расстоянию Др = I пиксель, по углу Дй = 1/3 градуса. Так как
амплитудный спектр прямоугольного массива действительных чисел об-
ладает центральной симметрией, диапазон изменения 0 должен иметь
ширину л- радиан. Получим функции В,(/>„В2(р,.В„), (и.т)еУ;
Y = j(n,m):n = 0,(Л’ -1)/(2Др)-1 ;т = 0,7r/<Ve-1} р„=иДр; В„=тДй.
Для перехода в полярную систему координат целесообразно использовать
билинейную интерполяцию отсчётов изображения.
5. Вычисление ДПФ от В,(р„,В„), В2(р„,Вт). Обозначим эти пре-
образования G,(u,v), G,(«,v).
6. Вычисление взаимного энергетического спектра функций
G,(u,v), G,(u,v):
Be(«,v) = G2(u.v)Oi *(1,-v)- (5.47)
7. Вычисление взаимной корреляционной функции
Ря(л,0„) = Ф '{ЛвМ (548)
8. Поиск максимума взаимной корреляционной функции
Рв(0,Вт):
т = arg max(рв(0,/?„,)}, (5.49)
т
где т - номер отсчёта, на котором достигается максимум взаимной
корреляционной функции.
Оценка значения угла вычисляется по формуле р = тДй .
9. Разворот изображения на угол <р. Получим изображение
№ ('.>):
/|,м (i, j) = /|И"’ (i cos <р + у sin g>,-i sin <р + j cos <p), (i, ji) e X , (5.50)
где /r(.r..v) результат интерполяции изображения /,(/.у). На данном
этапе алгоритма оказывается целесообразным использовать билиней-
ную интерполяцию яркости
85
— ---memw автоматического оонаружения и сопровождения объектов
10. Заполнение средним значением яркости краевых участков изо-
бражения не входящих в круглую область радиусом
где б/тах - максимальный сдвиг, обрабатываемый ал-
горитмом. Получим изображение
zi(wM г , .г 2 (5.51)
( £ у, (г, j)£ в противном случае
11. Вычисление ДПФ от которое обозначим /.](«, v).
12. Вычисление взаимного энергетического спектра функций
1г (м):
/?,(«,v)= . (5.52)
13. Вычисление взаимной корреляционной функции
р,(г,У)=Фи{л/(«,г)}. (5.53)
14. Поиск точки максимума функции p,(i,j) по области допусти-
мых значений сдвига:
(«,д)= arg max Pi(i,j), (5.54)
где D = i = ~dmXi,d^,j = область возможных зна-
чений вектора сдвига.
Полученные числа являются искомыми параметрами
сдвига и поворота.
Необходимо отметить, что разностный метод поиска вектора сме-
щения может обеспечить более высокую точность, чем корреляционный
[26]. Однако его использование увеличивает вычислительную слож-
ность алгоритма.
5.5. Методы оценки параметров геометрических
преобразований на основе выбора опорных элементов
Корреляционные и спектральные методы оценки параметров гео-
метрических преобразований опираются на использование яркостной ин-
формации, заложенной в изображении. Альтернативный подход состоит в
поиске опорных объектов на каждом из обрабатываемых изображений,
определении их координат, а затем нахождении параметров геометриче-
ских преобразований. Поскольку алгоритмы, основанные на поиске опор-
ных элементов, требуют проведения предварительного анализа структуры
изображения, эти алгоритмы также называют структурными.
86
Геометрические преобразования изображений и методы оценки их параметров
Преимуществами структурного подхода являются возможность
оценивания параметров сложных многопараметрических преобразова-
ний, таких как аффинное или проективное, а также возможность рабо-
тать с изображениями, снятыми в разных спектральных диапазонах.
Недостатком подхода, основанного на поиске опорных элементов,
является сложность отыскания этих опорных элементов на изображени-
ях, а также трудность автоматического установления соответствий меж-
ду элементами. В системах обработки изображений, от которых не тре-
буется получение результата в реальном времени, часто используется
ручной способ задания опорных элементов. В автоматических системах
для поиска опорных элементов можно применять методы сегментации
[27], корреляционные методы [28].
Ниже рассмотрен алгоритм оценивания параметров проективного
преобразования изображений, основанный на анализе пар опорных эле-
ментов. Предполагается, что выбор опорных элементов производится
оператором.
Пусть одна и та же плоская сцена наблюдается двумя видеокаме-
рами имеющими различную спектральную чувствительность, различ-
ные углы обзора, расположенными в разных точках пространства и
произвольно ориентированьями. Обозначим множество точек плоскости,
которые видимы с обеих камер, символом V. При этом каждая точка
PgV отображается в точку с координатами (хР1,хР2) первого изобра-
жения и в точку (У/>1,Ур2) второго изображения. Из-за неодинакового
расположения датчиков в пространстве координаты хР1 и уР1, а также
хР2 и ур2 , вообще говоря, не равны. Это проявляется в различных гео-
метрических изменениях изображений: повороте, сдвиге, изменении
масштаба и проективных преобразованиях (см. раздел 5.1. ).
Требуется найти преобразование, которое устанавливает соответ-
ствие между точками изображений таким образом, чтобы соответст-
вующие точки являлись проекциями одной и той же точки Р.
Говоря формальным языком, надо найти такую взаимно однознач-
ную функцию Т, чтобы
Ур\
Ур2_
VPgV;
Р\
(5.55)
Р2_])
В [29] показано, что функцию преобразования нужно искать в
виде проективного преобразования:
_ + а2ХР2 + а3 _ а4ХР1 + а5Хр2 '
Ур1 - . > УР2 ---------------
а2ХР\ + °8 ХР2 + I а7ХР] + °8ХР2
причём должно выполняться условие:
(5.56)
87
Методы автоматического обнаружения и сопровождения объектов
(5-57)
Единица в третьем столбце и третьей строке определителя обеспе-
чивает взаимную однозначность преобразования. Таким образом, задача
сводится к определению параметров a,,i = 1,...,8. Один из подходов к
вычислению этих коэффициентов - поиск на изображениях опорных
элементов, соответствующих друг другу. Простейшими опорными эле-
ментами являются точки и прямые. Рассмотрим четыре вида соответст-
вий между опорными элементами.
Соответствие точка-точка. В [29] поиск параметров a,,i' = l,...,8
происходит на основе выбора опорных точек изображений. Опорными
считаются точки, которые являются проекциями одной и той же точки
наблюдаемой спены.
Пусть известны координаты пары опорных точек (xt,x2) и
(>j,y2) • Тогда, подставив эти значения в (5.56), получим следующую
систему линейных ограничений на а,:
х,а, +х2а2 + а:-у^,^ ~х2у,ав = у„
х,а4 + х,о5 +а6-у2х,а2 -х2у2ов = у2.
(5.58)
Соответствие точка-прямая. Допустим, на первом изображении
нам известны координаты точки (Х|,х2), а на втором изображении
прямая, имеющая уравнение /л{у1 + д2у2 = Аз • Причём известно, что
точка, соответствующая (Х],х2) на втором изображении, лежит на пря-
мой /Tip, + /12У1 - Аз • Подставляя координаты точки в (5.56), а найден-
ные координаты (у!,у2) в уравнение прямой, находим следующее ли-
нейное ограничение на коэффициенты проективного преобразования:
АЛЦ + АЛО, + А1"з + АЛ«4 +дуг2о5 +yi2ah - ц^а2 -//,х2я8 = //,. (5.59)
Соответствие прямая-точка. Допустим, известно уравнение пря-
мой 4,Xj+>12x2 = Zt на первом изображении. Так как преобразование
(5.56) сохраняет прямые линии, то на втором изображении существует
прямая с неизвестными коэффициентами уравнения, соответствующая
прямой zlpt, + ^хг = 2, (если поля зрения камер достаточно перекрыва-
ются). Пусть известны координаты точки второго изображения (у,,у2) ,
через которую проходит эта неизвестная прямая. Выведем ограничение
на коэффициенты проективного преобразования, опираясь на ограниче-
88
Геометрические преобразования изображений и методы оценки их параметров
ние для соответствия точка-прямая (5.59). Рассмотрим преобразование,
обратное к (5.56). Так как проективные преобразования образуют груп-
пу [16], то преобразование, обратное к (5.56), имеет такой же вид (5.56).
Обозначим его коэффициенты через 6,,;=1,..,8. Тогда для параметров
Ь, запишется линейное ограничение, подобное (5.59):
AjA + + ~ ~ А}- (5-60)
Расчёт обратного проективного преобразования ведётся следую-
щим образом. Вычисляется матрица С = А’1, где
А =
ai
°4 °5
«7 °8
°з
“б
1
(5.61)
Получим матрицу С :
с
q
С4
(5.62)
_с7 с8 с9_
В силу (5.57) матрица С существует.
Коэффициент с9 Ф 0 , иначе преобразование (5.56) не будет взаим-
но однозначным.
После этого коэффициенты обратного проективного преобразова-
ния вычисляются по формуле: Ь, = с;/e9;i =1,..,8.
Таким образом, соответствие вида прямая-точка даёт одно нели-
нейное ограничение на параметры проективного преобразования.
Соответствие прямая-прямая. Предположим, что известны
уравнения двух прямых, которые соответствуют друг другу: на первом
изображении Atxt г л2х2 = л3, а на втором *- /л2Уг = Аз
Пусть 2, зе 0 и Л2 7е 0. Рассмотрим две точки с координатами
(0, Л,//12) и (л,/л,,0). Они принадлежат первой прямой. Для каждой
из них выполняется соответствие типа точка-прямая. Записывая два ли-
нейных уравнения но образцу (5.59) и, выполняя элементарные преоб-
разования, получаем систему линейных ограничений:
IaA°2 + AA°j + А2^3°5 + А2^2°6 -Аз^З°8 ~ АзА>
I A1V1 +А1Лаз + АгА°4 + А2А°6 -АзА>°7 = АзЛ-
Рассмотрим случай: Л, = 0, Л2 Ф 0. Первое уравнение из системы
(5.63) можно использовать и в этом случае, так как точка (0,23 /Я2) ле-
жит на прямой. В качестве второй точки возьмём (1,Я3/Л2). Подставив
Методы автоматического обнаружения и сопровождения объектов
эти координаты в (5.59), умножив обе части уравнения на Л,, вычтя из
него первое уравнение системы (5.63) и, разделив на Л , получим:
Ai«i + -Рз°7 = 0 (564)
Аналогично доказывается, что если Л2 = 0 и 2, * 0. второе урав-
нение системы (5.63) сохранится, а вместо первого уравнения использу-
ем уравнение:
АЛ+А2О5-Аз°в =° (565)
Случай Л, = 0 и Л, - 0 невозможен, иначе Л,*, + ZjXj = Л; не явля-
лось бы уравнением прямой.
Зная несколько описанных выше соответствий, можно составить
систему уравнений относительно a,.i = I.....8, в которую входят уравне-
ния видов (5.58Н5.60), (5.63Н5.65). Решив эту, вообще говоря, нели-
нейную систему уравнений, мы и получим искомые a,.i = 1.....8.
В реальных условиях координаты опорных точек и уравнения
прямых известны с некоторой ошибкой, вызванной несовершенством
алгоритмов поиска опорных элементов или неточностью указания опе-
ратора. В этом случае возможно найти коэффициенты преобразования
лишь приближенно. Для этого решение системы линейных уравнений
следует производить методом линейной регрессии, а решение системы
нелинейных уравнений - методами конечномерной оптимизации (30].
Чтобы существовало единственное решение системы уравнений,
необходимо выполнение неравенства
2Л'+М + /. + 2Л'>8, (5.66)
где N — число соответствий точка-точка; М количество соответствий
точка-прямая; I. - количество соответствий прямая-точка; К - количе-
ство соответствий прямая-прямая. Девая часть неравенства (5.66) равна
количество уравнений в системе.
Чтобы решить задачу оценивания параметров проективного пре-
образования необходимо выявить на изображении достаточное количе-
ство опорных элементов: точек и прямых. Выявить такие элементы и
связи между ними автоматически при двухспектральном наблюдении
трудно, потому что изображения сцены, полученные в разных спек-
тральных диапазонах, могут очень сильно отличаться. Решить данную
проблему можно, разместив на плоскости наблюдения несколько меток,
которые имеют характерный внешний вид во всех спектральных диапа-
зонах. Например, это могут быть прожекторы, лучи которых направле-
ны в сторону датчиков.
Разработанный алгоритм использовался для решения задачи юсти-
ровки мультиспектральных изображений.
90
Геометрические преобразования изображений и методы оценки их параметров
На рис. 5.10 приведено изображение, полученное с телевизионного
датчика, а на рис. 5.11 - с инфракрасного. Эти изображения соответст-
вуют одной и той же сцене и относятся к одному моменту времени.
Крестами показаны пары опорных точек для соответствий типа точка-
точка. Соответствия типа линия-линия показаны отрезками с квадрата-
ми на концах. Соответствия типа точка-прямая и прямая-точка изобра-
жены отрезками с ромбами на концах и знаками «плюс». Соответст-
вующие пары опорных элементов имеют одинаковые номера. Наблю-
даемая сцена не является плоской, однако большое расстояние до неё и
малое расстояние между датчиками дают нам основание принять гипо-
тезу о плоском виде сцены.
На рис. 5.12 показано телевизионное изображение, подвергнутое
проективному преобразованию, а на рис. 5.13 - инфракрасное изобра-
жение, преобразованное аналогичным образом.
Сравнивая рис. 5.10 и 5.13, а также рис. 5.11 с рис. 5.12, можно за-
метить, что точки с одинаковыми координатами действительно являют-
ся образами одной и той же точки наблюдаемой плоскости.
Рис. 5.12. Преобразованный ТВ кадр
Рис. 5.13. Преобразованный ПК кадр
91
Методы автоматического обнаружения и сопровождения объектов
Матрицы, соответствующие рассмотренным преобразованиям,
приведены в табл. 5.1. Из таблицы видно, что коэффициенты а-, и af
близки к нулю. Это говорит о том, что преобразование близко к аффин-
ному. Однако влияние коэффициентов о, и Og существенно: именно
из-за них изображение на рнс. 5.12 имеет форму неправильного четы-
рёхугольника.
Таблипа 5.1. Матрицы преобразований для изображений
на рис. 5.10-5.13
Кадр Матрица проективного преобразования
ТВ 0,8720 0,0265 137,9143 0.0382 0,8022 - 5,0094 0 0,0001 1
ик 1.1651 -0,0381 -165,6126 -0,0556 1,2390 14.4552 0 -0,0002 1
При ручном выборе опорных элементов изображений, необходимо
выбирать наиболее контрастные, хорошо различимые опорные элементы.
Юстированные изображения или видеосюжеты .могут быть ис-
пользованы для обнаружения и выделения объектов и для решения дру-
гих задач анализа изображений.
92
6. Математические модели
последовательностей
изображений
Анализ известных подходов к решению задач обнаружения и со-
провождения объектов по данным видеонаблюдений показывает, что в
основном они имеют эвристическое происхождение или чрезмерно
сложны для использования их в системах управления. Вследствие этого
актуальной является разработка несложных математических моделей,
позволяющих, тем не менее, достаточно адекватно отразить реальные
процессы, связанные с наблюдаемыми последовательностями изобра-
жений и синтезировать на этой основе алгоритмы обработки информа-
ции. Учитывая, что решаемые задачи является динамическими, т.е. свя-
занными с процессами, развивающимися во времени, введем в даль-
нейшем, как это принято в теории фильтрации и управления, модели
наблюдения н модели состояния протекающих процессов. Формулиров-
ка решаемой задачи, как задачи оценки состояния динамической систе-
мы, позволит в дальнейшем применить арсенал средств теории опти-
мальной фильтрации [7, 25].
6.1. Модель наблюдения в присутствии
неоднородного фона
На рис. 6.1 множество £„ является множеством точек изображе-
ния, соответствующего всему полю зрения видеодатчика. Это изобра-
жение может подвергаться обработке на этапе первичного обнаружения
объектов. На этапе измерения координат объектов (с целью дальнейше-
го слежения) целесообразно сканировать некоторую область изображе-
ния, содержащую объект. Эта область может выступать в качестве мно-
жества точек наблюдаемого изображения £„. В наблюдаемой зоне при-
сутствуют множество точек фона G„ и множество точек объекта слеже-
ния Нп . Будем считать, что центр наблюдаемого изображения распола-
гается в точке, соответствующей прогнозируемым координатам объекта
слежения (2fa(n),2^,(n)). Таким образом, на различных этапах решения
задач в качестве наблюдаемого изображения может выступать как
большое изображение, так и его участки.
93
Методы автоматического обнаружения и сопровождения объектов
При наблюдении за объектом, перемещающимся на сложном фоне,
возможно возникновение нескольких ситуаций. Наиболее характерной
нз них является ситуация, когда фоновое изображение расположено в
пространстве дальше, чем объект. В этом случае на наблюдаемом изо-
бражении объект слежения закрывает участок фона, расположенный за
ним. Другая ситуация возникает, когда объект полностью или частично
оказывается закрытым фоном. Этому случаю соответствует закрытие
самолета облаком, автомашины строением и т.п.
В дальнейшем предполагается, что как объект, так и фон являются
полностью «непрозрачными» для диапазона частот, в котором принима-
ется оптический сигнал. Атмосфера считается полностью прозрачной. В
модели наблюдения необходимо также учесть шум, вносимый датчиком
изображения, который, как правило, имеет аддитивный характер. С уче-
том сделанных замечаний в дальнейшем будет использоваться модель
наблюдения
L( л) = R(n)H( л) + (1 - R(H))G(n) + S(h) , (6.1)
где L(n) - наблюдаемое изображение Ln, представленное в форме век-
тора; Н(и) - вектор, соответствующий изображению Н, ; G(n) - век-
тор. соответствующий изображению фона G„; Н(л) - вектор шума;
R(n) - квадратная диагональная матрица, диагональные элементы ко-
торой гя = {1, О}; I — единичная матрица.
Для каждой точки (/, у) е £Г1 (6.1) можно переписать как
/(г, у, л) = г(г, у, n)h(i, j,n)+(1 - r(z, у, n))g(i, у, и) + £(i, у, и) =
= з(<,у,и) + £(/,у,и), (6.2)
94
т(Л7,и) =
Математические модели последовательностей изображений
rps ((/,/,и)-элементы изображения, наблюдаемого в текущем кадре;
h(i,j,n') - элементы изображения объекта; g(i,j’n) ~ элементы изо-
бражения фона; - нормальный, некоррелированный между
кадрами и по пространству флюктуационный шум с нулевым средним и
дисперсией Z>; s(i,j,n) - элементы изображения, не искаженного адди-
тивным шумом;
1, если точка (i,j) принадлежит объекту;
О, если точка (/,/) принадлежит фону.
Более простая модель имеет место, если принять фон равно-
мерным и вычесть постоянную составляющую:
Ф,7» = r(i,j,n)h(.i,j,n) + W,J,n) . (6.3)
Если решаются задачи для нескольких объектов слежения, тогда в
предположении, что объекты не пересекаются на изображении и пред-
ставляют собой i-руппы связных точек, модель (6.2) также может быть
использована. В этом случае можно записать что
/(|,7. и) = ”) + О * X'iOJ- + £(i,J, и), (6.4)
где - яркость А-го объекта в точке (i,j), принадлежащей ему;
{1, если точка (i,j) принадлежит к - му объекту;
т - общее
О, если точка (i,j) принадлежит фону,
возможное число объектов.
При рассмотрении модели наблюдения возможность движения
датчика не принималась во внимание. В случае движения системы на-
блюдения, например, при поиске объектов или при слежении, когда оп-
тическая система перемещается в направлении движения объекта, необ-
ходимо для успешного решения задачи обнаружения и оценки парамет-
ров объектов иметь информацию об истинном смещении оптической
оси системы относительно заданной системы отсчета.
6.2. Модели состояния яркости изображений фона
и объектов слежения
Во многих задачах, связанных с обработкой изображений, исполь-
зуются модели в виде случайных полей. При этом, как правило, реша-
ются задачи, связанные с оценкой изображения, искаженного шумом
(восстановление изображений, улучшение качества и т.п.). Особенно-
стью этих задач является обработка одного или нескольких имеющихся
снимков. По существу, используются в основном пространственные мо-
95
Методы автоматического обнаружения и сопровождения объектов
цепи различной сложности. Учитывая бесконечное разнообразие встре-
чающихся изображений, затруднительно говорить о модели, которая в
хорошей степени соответствовала бы всему возможному набору сцен.
Именно это обстоятельство, а также необходимость решения задач в
темпе поступления изображений, объясняет эвристический характер ис-
пользуемых на практике алгоритмов.
В задачах, связанных с последовательностями изображений, необ-
ходимо при разработке моделей использовать пространственно-вре-
менной характер поступающей информации. При этом привлечение ко-
ординаты времени позволяет ограничиться весьма простыми простран-
ственными моделями, что имеет существенное значение при ориента-
ции па задачи реального времени.
Рассмотрим способы описания изображений обстановки, полагая,
что система, с помощью которой формируется изображение, не вносит
дополнительных искажений, т.с. нас интересуют модели состояния яр-
кости изображений фона и объекта.
Пусть множество точек изображения фона G„ содержит NxN эле-
ментов. Элементами вектора g(k) являются яркости g(i,j,n) в точках
(1,,') в и-м кадре. Если фон на изображении является неподвижным и
неизменным, пренебрегая эффектами дискретизации, можно записать
G(h) = G(h- 1) или g(i,y,n) = g(T,/,«-l).
(65)
т.е. фон в каждой точке постоянен во времени и определяется некото-
рым начальным состоянием.
Если считать начальное состояние G(o) случайным гауссовским
вектором, то необходимо будет задать математическое ожидание mG и
ковариационную матрицу KG этого вектора. Учитывая, что вектор
g(h) содержит № элементов, матрица KG будет содержать Д'4 элемен-
тов. Очевидно, что при значительных размерах изображений (а они мо-
гут превышать 100x100 элементов) возникают трудности уже на этапе
хранения таких матриц. Кроме того, далеко нс очевидным является вы-
бор коэффициентов корреляции между элементами изображения, так
как реальные изображения по этому параметру могут существенно раз-
личаться. Альтернативой является суждение о независимости яркости
фона в каждой точке. По существу, такое суждение означает отказ от
использования в алгоритме обработки реально существующей про-
странственной корреляции изображений (ориентация на наихудший
случай). Платой за это является, вероятно, некоторое снижение потен-
циально возможной точности решаемых задач. Однако выигрыш в
96
Математические модели последовательностей изображений
уменьшении сложности используемых алгоритмов (как это будет под-
тверждено позднее) оказывается куда более важным и по существу по-
зволяет получать алгоритмы, которые могут быть реализованы в реаль-
ном масштабе времени на современной элементной базе.
В дальнейшем считается, что матрица KG является диагональной
с дисперсиями Dg на главной диагонали. Модель фона с неизменной
яркостью точек во времени, является справедливой при ограниченном
интервале наблюдения, когда воздействие внешних факторов (измене-
ние освещенности, температуры и т.п.) может не приниматься во вни-
мание. В тех же случаях, когда это условие не выполняется, необходимо
использовать модели, учитывающие возможные изменения яркости во
времени. Учитывая многообразие возможных законов изменения яр-
кости (температуры) во времени, вызываемое различными факторами, и
небольшую скорость изменений в сравнении с темпом формирования
кадров изображения может быть использована модель вида
g(i, = g(i, j,« -1) + ®(», Л « -1), (6.6)
где ®(*,У,и)_М0,£><1,) - процесс, некоррелированный во времени и про-
текающий независимо в каждой точке изображения,
Начальное состояние g(f,j,O), как уже отмечалось - это гауссов-
ская случайная величина с известными положительным средним и дис-
персией. Таким образом, модель фона задается как марковский процесс,
независимо протекающий в каждой точке изображения, что формирует
неоднородное по пространству изображение. От дисперсии Dfl зависит
изменчивость яркости изображения фона во времени.
Необходимо иметь в виду, что реальные процессы, связанные с ярко-
стью изображения, не ммут быть отрицательными, т.е. реальные реализа-
ции процессов составляют подмножество реализаций, которые могут быть
получены с использованием (6.6). Очевидно, это обстоятельство должно
учитываться на этапе моделирования алгоритмов формирования изображе-
ний и исследования алгоритмов обработки информации. На этапе синтеза
алгоритмов можно допустить существование отрицательных значений яр-
кости. Кроме того, при относительно малых дисперсиях , за время на-
блюдения процессы (6.6) как правило, остаются положительными.
Перейдем к формированию яркостной модели для изображения
объекта. Отметим вначале, что изображение объекта Нп представляет
собой связное множество точек с соответствующими яркостями, имею-
щих вполне определенные координаты. При этом две точки объекта
считаются связными, если они отстоят друг от друга не более чем на
V2A, где Д - интервал пространственной дискретизации.
4-3447
97
Методы автоматического обнаружения и сопровождения объектов
Будем считать (с учетом большой частоты формирования кадров
изображения), что множество точек, составляющих объект, за время
между соседними кадрами почти не изменяется по форме и объект
может лишь смешаться вдоль осей координат. Пренебрегая, как и в
случае с изображением фона, эффектами дискретизации определим сле-
дующие яркостные модели для объекта:
1. Объект ие движется и яркости составляющих его точек посто-
янны во времени
Л(т, j, и) = /i(i, j, п -1), (1, ./) е Н„, (6.7)
где h(i,j,n) -яркость объекта в точке (i,j) в и-м кадре.
2. Объект не движется, но яркости составляющих его точек могут
изменяться во времени. Это изменение может вызываться изменением
условий освещенности или температуры тела при наблюдении в инфра-
красном диапазоне. Как и в случае с фоном, стремясь к максимальной
простоте моделей, будем использовать модель вида
/i(i, j, п) = h(i, j, и -1) + tj(i, j, п -1), (6.8)
где rj(i, j,и)- N(0,Drj') - процесс, некоррелированный во времени и про-
текающий независимо в каждой точке изображения. Начальное значе-
ние /i(i,./,б) - гауссовская случайная величина с известным средним и
дисперсией.
Таким образом, как и в случае с фоном, изображение объекта мо-
делируется совокупностью марковских процессов, независимо проте-
кающих в каждой точке объекта, что порождает неоднородное по ярко-
сти изображение объекта. Выбором дисперсии D, можно задавать сте-
пень изменчивости яркости изображения объекта во времени.
3. Объект движется, но яркости составляющих его точек неизмен-
ны. В этом случае справедливо
й(Лу-и) = й0_^).7_^,„-1), (6.9)
Л д
Гпе — _ смещение объекта вдоль осей координат за кадр.
Д Д
Здесь делается допущение, что объект за время кадра может сме-
щаться только иа целое число дискрет, т.е. эффект пространственной
дискретизации, вызываемый непрерывным перемещением объекта, в
модели не учитывается.
Для описания изображения протяженного объекта оказывается
удобным использовать, наряду с введенной дискретной решеткой (1,./),
вторую дискретную решетку (и,//), начало которой совпадает с точкой,
ближайшей к центру непрерывного изображения объекта (рис. 6.2).
98
Математические модели последовательностей изображений
На рис. 6.2 крестами помечены
точки, получаемые в результате дис-
кретизации изображения.
С использованием этой сис-
темы координат выражение (6.9)
перепишется в виде
й(н,д,п) = Л(н,р,и-1),
4. Объект движется и изме-
няет с течением времени свою яр-
кость. Для этого случая в системе
координат (v./i)
h(v, р, п) = h(y,jj,n-T) + t](v,
Рис. 6.2. Дискретная решетка (»',//)
(6.11)
Процессы о(1,7,и) и порождающие изменения яркостей
точек во времени, могут в некоторых случаях моделировать шумы про-
странственной дискретизации подвижного изображения.
6.3. Модели движения и изменения конфигурации
объекта слежения
Для решения задачи синтеза алгоритмов обнаружения, выделения
и оценки параметров объектов наряду с моделями состояния яркостей
необходимо задаться моделями движения. Считая фон неподвижным,
рассмотрим модель движения изображения объекта. Полагая, что объ-
ект на изображении представлен связной совокупностью точек, пере-
мещающейся вдоль осей координат от кадра к кадру, примем уравнение
состояния в виде
Лл(и) = СЛл(и-1) + 0(и-1), (6.12)
где Л4(и) = [яАт(и) ito(n) Л^(п) (и)] - вектор, состоящий из ко-
1 AZ 0 0
ординат центра объекта и их производных; С = 0 10 0 0 0 1 А/ - матри-
0 0 0 1
да динамики; 0 = [й, й2 &з й4]т -Л(0,Кв) -векторный белый шум.
При отсутствии второго слагаемого в (6.12) будет моделироваться
прямолинейное движение, определяемое начальным состоянием ЛЛ(0).
Если во время наблюдения объект слежения может поворачивать-
ся, изменять размеры и конфигурацию, требуется введение более слож-
99
Методы автоматического обнаружения и сопровождения объектов
ных моделей движения, чем сдвиг по координатам. Однако при отсутст-
вии пространственной трехмерной модели объекта и модели трехмерно-
го движения, строгое прогнозирование его двумерного изображения не-
возможно. Привлечение трехмерных пространственных описаний по-
требовало бы описания всех типов объектов и предварительной иден-
тификации конкретного типа. Задача усложняется еще и тем, что опре-
деление всех параметров (сдвига, вращения вокруг всех осей, определе-
ния масштаба, вычисления проекций) требует огромного объема вычис-
лений. В то же время наибольший интерес, как правило, представляют
координаты центра объекта и, возможно, его размеры и конфигурация.
С учетом вышесказанного рассмотрим модель, позволяющую про-
изводить учет изменений в объекте, основанную на следующих рассуж-
дениях. Введем некоторое множество точек
\f/„ _> Нп, понимая под ним расширенное мно-
жество точек объекта. Будем предполагать,
что геометрический центр множества сов-
падает с точкой (4, (и), Я,„(«)), принимаемой
за центр объекта. Конфигурация множества
у/п может быть различной и, в принципе, мо-
жет изменяться с изменением формы объекта.
Для определенности примем (/„ в виде квад-
рата, в который с запасом вписывается изображение объекта (рис. 6.3).
Величину «запаса» следует выбирать из максимально возможного
изменения размеров объекта за кадр. Множество Н„ , как уже отмеча-
лось, предполагается связным, т.е. у объекта не могут появиться новые
точки, отстоящие отдельно от других точек. Так как конфигурация объ-
екта с течением времени может изменяться, то и точка, принимаемая за
центр объекта (в соответствии с определением центра), может перена-
значаться.
Зададим на множестве (//„ параметры r(v, р, и), причем r(v, /д и) - 1,
если точка (v, р) в п -м кадре принадлежит объекту, и r(v, /j, п) = 0 - в
противном случае (принадлежит фону). Введем также в рассмотрение
для каждой точки распределение
13'(г(г, /г, л)) = {Р( и, р. ri), 1 - P(v, р, л)}, (6.13)
где P(v,p,n) - вероятность принадлежности точки (г,//) объекту в и-м
кадре, т. е. г(к, д,л) = 1; 1 - Р(у, р, п) вероятность того, что r(v, р, и) = 0 .
Так как время между соседними кадрами мало и, следовательно,
объект за это время меняется незначительно, в дальнейшем будет ис-
пользоваться модель вида
100
Математические модели последовательностей изображений
r{v,n,n) = r(v,p,n-\), (v,/y)e<(zB. (6.14)
Одновременно с этим для вычисления прогнозируемых вероятно-
стей и ограничения роста апостериорных вероятностей может быть ис-
пользована вероятностная модель
Р( v, ц, п) = Р(у, ц, „ - 1)/>(1 /1) + (1 - Р(у, д, п -1))/>(1 / 0), (6.15)
где Р(М 1) вероятность неперехода точки объекта с координатами
(и,/т) в точку фона за время кадра на множестве Р(1 /о) - вероят-
ность появления новой точки, принадлежащей объекту.
Вероятность Р( 1/1) целесообразно выбирать близкой к единице, а
вероятность Р(1/0) - к нулю. Вновь включаемым точкам в (при его
расширении) назначается небольшая априорная вероятность принад-
лежности к объекту.
В случае изменяющегося объекта, параметры r(v,/j,n) являются
случайными и, следовательно, наряду с координатами и яркостями,
подлежат оценке. Введение моделей (6.14), (6.15) дает возможность ре-
шать задачу учета изменений в объекте слежения путем классификации
точек на множестве на точки объекта и фона с учетом ранее введен-
ных моделей состояния. При этом целесообразно считать, что вновь по-
являющиеся точки объекта (за счет эволюций и изменения масштаба)
имеют априорную яркость, равную яркости ближайшей точки, принад-
лежащей объекту.
6.4. Модель этапа начального обнаружения
и выделения движущегося объекта
На этапе обнаружения, как правило, отсутствует достоверная ин-
формация об обнаруживаемом объекте, представленная, например, в
виде его изображения. Это объясняется возможным большим разнооб-
разием объектов, их ракурсов, размеров, условий освещенности и т.п.
Вследствие этого описание обнаруживаемых объектов через функцию
яркости составляющих их точек представляется непелесообразным. Ис-
пользование параметрических моделей оказывается оправданным в слу-
чаях, сводящихся к оценке каких-либо параметров изображения, зави-
сящих от наличия на изображении искомого объекта. Таким образом, в
условиях большой априорной неопределенности в отношении движу-
щегося обнаруживаемого объекта целесообразным является обнаруже-
ние и выделение изменяющихся областей наблюдаемого изображения.
Будем считать, что множество точек объекта Нп представляет со-
бой связную группу точек с неизвестной яркостью. За центр объекта
примем среднее арифметическое координат составляющих его точек.
101
Методы автоматического обнаружения и сопровождения объектов
Объект может с начального момента наблюдения присутствовать на
изображении, появляться в каком-то месте изображения, медленно пе-
ремещаясь, появляться на краю изображения, двигаясь со значительной
скоростью и занимая значительное число точек изображения.
Обозначим через P(i,j,n) вероятность присутствия объекта в точ-
ке с координатами (/,/) в п-м кадре, а через Pa(i,J,n) - некоторую
вспомогательную априорную вероятность появления нового объекта в
точке (i,j) в и -м кадре. Считаем, что в случае присутствия нескольких
объектов их изображения не пересекаются, т.е. каждая точка изображе-
ния может принадлежать изображению только одного объекта.
Зададим вероятность P(i, jIk,т) перемещения точки объекта с ко-
ординатами (к,т) в точку с координатами (/,/') за один кадр. Тогда
прогнозируемая вероятность присутствия объекта в точке (i,j) может
быть вычислена с помощью выражения
P(i,j,n) = y\p(k,m,n-l)P(i,jlk,m)+
kjm
( > (6.16)
+/J(i,_/,«)! 1~У P(A,m,n-l)P(i,jIk,m) ,
V )
где P(k.m,n-\) — вероятность присутствия объекта в точке (к,т) в
и-1 кадре; 1 - / Р(к,т,п- 1)р(», j ! к,т) вероятность неперехода объ-
к,т
екта в точку (/,/) за счет движения, если он уже присутствовал в и—1
кадре, причем 1, /A-,w)-1, что, без учета крае-
к,т i,j
вых ограничений, проиллюстрировано на рис. 6.4.
И i Н1
Вероятность
___перемещения объекта
из точки (/,/).
Вероятность
перемещения объекта
в точку (/,/).
Рис. 6.4. Иллюстрация свойств вероятностей переходов P(i,j/к,т)
для А = г-1, /, /+1 и т = у~1, у, у + 1 (без учета краевых ограничений)
1П2
Математические модели последовательностей изображений
Выражение (6.16) можно переписать и в другом виде:
\к,т
\)p(i,j/k,m) .(6.17)
Выражения (6.16), (6.17) будут использованы в дальнейшем для
вычисления прогнозируемой вероятности наличия объекта в точке (i,j)
в п -м кадре на основе апостериорных вероятностей.
Вероятности переходов P[i,j / к, т) целесообразно назначать в ка-
ждом кадре с учетом направления движения обнаруживаемого объекта
В этой модели предполагается, что в процессе обнаружения число то-
чек, составляющих объект, не изменяется. Разумеется, это условие не
всегда выполняется. Чтобы учитывать изменчивость объекта в процессе
обнаружения, необходимо вводить вероятности переходов точек объек-
та в фон и наоборот, что в этом случае ведет к неоправданному услож-
нению модели.
В зависимости от ожидаемых размеров объекта, скорости его дви-
жения, могут быть назначены максимальные значения |г - Д| и | j - т\.
Чтобы объем вычислений не оказался чрезмерным, можно ограничиться
значениями k = i-\, i, / + 1; m-j ], j, у + 1. В этом частном случае
P(i,j/к, т) могут выбираться, например, одинаковыми.
Если имеется априорная информация о направлении движения, то
P(i, j / к, т) могут быть назначены большими в направлении предпола-
гаемого движения. Учитывая априорную неопределенность яркости об-
наруживаемого объекта, будем считать, что объект отличается от за-
крываемого им фона в любой точке (i,y) на некоторую величину д,
причем д может быть как положительной, так и отрицательной вели-
чиной (в зависимости оттого, что ярче: объект или фон). Опираясь в
дальнейшем на введенные ранее модели состояния, модели наблюдения
и вероятности переходов можно будет сформулировать задачу обнару-
жения и выделения объекта как задачу оценки параметров наблюдаемо-
го изображения. Отметим, что вычисления в соответствии с (6.16) пред-
полагают, по-сушеству, независимый расчет вероятности для каждой
точки изображения.
103
7. Синтез алгоритмов измерения
координат объектов
При синтезе алгоритмов измерения координат объектов и решения
задачи сопровождения целесообразно использовать информацию о кон-
фигурации, яркости, скорости объекта, полученную на этапе первона-
чального обнаружения (в том числе и при захвате объекта с помощью
оператора). Поэтому датее будут рассмотрены алгоритмы оценки пара-
метров (координат, яркостей), основанные на использовании информации
о движении объекта, его текущем изображении и изображении фона.
7.1. Алгоритм оценки координат при известных
изображениях фона и объекта
Вначале рассмотрим случай, когда известное и неизменное изобра-
жение объекта перемешается по известному неподвижному изображению
фона. Уравнение наблюдения в точке (i,j) имеет вид (6.2), а траектория
движения центра объекта задается уравнением состояния (6.12).
Пусть известно начальное распределение вектора АЛ(л) (напри-
мер, гауссовский вектор с известным средним и ковариационной матри-
цей). Тогда, в соответствии с положениями теории оптимальной фильт-
рации [7], необходимо на основе нового наблюдения (нового кадра изо-
бражения) вычислить апостериорную плотность вектора:
(F(Aa(h)/L1>..„L„) =
= J(Aa(»)/L„-,L„_,)1F(L„/A),(W),L„...,L„ ,) > (7л)
JfK(A(j(n)/L|,...,L„_1)W' (L„ / Afc(n),L1,...,LB_|)JA/,
л*
где ^(Aj/^/Li.—X^-i) -прогнозируемая плотность; И^ЛДи)/^...^,,) -
апостериорная плотность; H'(L„/Aa(«),L),...,L^_i) - условная платность.
С учетом введенной модели шума, при независимых наблюдениях
W(L„ /АЛ(«).Ь..L„_,) = H'(L„/Л„(п» =
=---L-y-exp]—X WJ,n)-s(i,j,n))4. (7.2)
(2яО)л 12 [ I
104
Синтез алгоритмов измерения координат объектов
s(i,J, п) - нелинейная функция ЛА(л), что порождает негауссо-
вость апостериорной плотности. Байесовская оценка вектора ЛА(и)
при квадратичной функции потерь может быть получена как апостери-
орное среднее
Лл(л) = Jaa(h)1K(Aa(h)/Li,...,L„)JAa . (7.3)
л*
Чтобы вычислить априорную (прогнозируемую) плотность для
следующего кадра, необходимо задать переходную плотность
ГГ(АЛ (и)/Лh (п -1)), определяемую моделью движения.
Тогда, в соответствии с [31], прогнозируемая плотность может
быть получена как
1F(A,(h)/L1,...,L„„1) =
= pK(A(,(n-l)/L„...,L„_1)FK(A/,(n)/Aft(„-l))rfAA. (7.4)
лл
Таким образом, основные этапы общего подхода к решению за-
дачи состоят в следующем.
1. Вычисление прогнозируемой плотности lF(AA(n)/L1,...,L„_|) в
соответствии с (7.4).
2. Вычисление с использованием (7.1) апостериорной плотности
И'(ЛЛ(П)/Ь„...Л„).
3. Вычисление апостериорного среднего ЛА(я) в соответствии с (7.3).
Рассмотренный общий подход к решению задачи требует очень
большого числа вычислительных операций, имея ввиду многомерность
вектора ЛА, значительные размеры изображения £„ и необходимость
вычислений в реальном масштабе времени. Поэтому обратимся к дру-
гим возможностям.
В принципе можно организовать поиск по методу максимума апо-
стериорной плотности в пространстве четырех параметров (координаты
и скорости). При этом необходимо учитывать, что s(i,y,n) зависит
только от ЯЛ,(я) и Л;,,(и),аот Л/1х(и) и Ahy(n) зависит только состав-
ляющая прогнозируемой плотности. Кроме того, серьезные проблемы
возникают при вычислении прогнозируемой матрицы Кл„ (п), так как
апостериорную ковариационную матрицу вектора ЛА(и) вычислить в
этом случае практически невозможно. В тоже время, если алгоритм
синтезируется только как измеритель центра объекта (без измерения
105
Методы автоматического обнаружения и сопровождения объектов
скоростей), можно говорить о некоторых ошибках измерения, которые
могут быть оценены на основе изучения алгоритмов совмещения изо-
бражений, то есть в этом случае можно задаться некоторыми ошибками
измерения слабо зависящими от априорного распределения. Поэтому в
дальнейшем будем «отдельно» решать задачу определения координат
центра объекта на изображении и задачу прогнозирования местополо-
жения объекта (планирования наблюдения L„ ).
Спроектируем оптимальный измеритель координат центра объекта
Л/,, (и)]7 на основе прогноза положения. Пусть априорная
плотность ХДи) является гауссовской со средним Хт(и) и ковариаци-
онной матрицей КА(л). Тогда, используя метод максимума апостериор-
ной плотности и, выполняя логарифмирование, приходим к необходи-
мости отыскания глобального минимума выражения
Л =|(М«)-М«))’Кя (”) (М«) Ы")) +
^(/0,J.n)-j(i,;,n))2, (7.5)
где является нелинейной функцией ХЛ(и).
Таким образом, задача формирования измерения ХЛ(я) сводится к
поиску глобального минимума J„ в пространстве параметров 2fa(n),
ЛА1.(и), причем первая составляющая выступает, по существу, в роли
штрафной функции, задающей свойства зоны поиска. Процедура поиска
заключается в перемещении изображения объекта по изображению фона,
попадающему в £„ , и вычислении для каждого положения значения кри-
терия. При этом исследованию следует подвергать не все изображение
£„, а только зону с центром в точке Хл(и), соответствующей прогнози-
руемым координатам объекта. Размер исследуемой зоны определяется
дисперсиями Dfc(n) и О/г/(«). Необходимо также иметь в виду, что в
случае сложных изображений критерий (7.5) является миогоэксгремаль-
ным. В силу многоэкстремальности критерия (7.5), и при значительной
априорной неопределенности, целесообразно использовать метод полного
перебора. По-прежнему считаем возможными только сдвиги вдоль осей
координат, а эффектами дискретизации пренебрегаем.
Будем считать, что измерение £/(«) сопровождается белым шу-
мом 81й(и)=[<5^(«)<$)* (я)] с гауссовским распределением W(0,K6(n)),
некоррелированным с ЯА(я)
106
Синтез алгоритмов измерения координат объектов
i.h (и) = AAh (и) + б;л (и),
(7.6)
I О О
ОО1О
Л*(и)-[Л*,(и) Л«(") Л*к(и) 4v(n)]T .
Тогда с учетом принятой модели состояния (6.12) алгоритм оп-
тимальной оценки вектора Лй(и) представляет собой линейный фильтр
Калмана [7]
Л \ (п) = Л„ (и) + К(л)(Ь„ (и) - АЛ, („)),
(7.7)
где Лл(и)=СЛл(и-1); К(и) = Рл(н)АХ'(и); Р,(„М<К1(„)+АтК?(и)А) '
апостериорная ковариационная матрица вектора Л,(и); Q,(n)=CP,(n-l)Cr+
+Кв(я) - прогнозируемая ковариационная матрица вектора Л, (и).
Из матрицы Q, (и) легко получить матрицу К,(и), а из Л* (и)
вектор Х,(и), которые используются в (7.5) при определении нового
значения Х,(п). Наличие шума в модели состояния (6.12) приводит к
ограничению снизу коэффициентов матрицы К(и), что ограничивает
память фильтра и делает возможным отслеживание изменений траекто-
рии объекта.
Если воспользоваться критерием максимального правдоподобия,
то необходимо отыскивать значение Х,(и), доставляющее глобальный
минимум критерию
Г(ХЛ(и))= У(/(<,Л„)-^,7»)2 - (7.8)
Заметим, что критерий (7.8) можно преобразовать к виду
(«)) = 7’ “ g(i’j'и))2 +
+ У(/(',7»-Л(1,лп))2- У(Z(i.y»-g(i,y»)2. (7.9)
Значение первой суммы не зависит от координат объекта, поэтому
глобальный минимум критерия (7.9) совпадает с глобальным миниму-
мом критерия вида
Г* (!,(«))= У (/(/,;', и)-й(|, у»)2- У(/(|,У,и)-я(г,У,и))2 . (7.10)
(./М (Ж,
Использование (7.10) для вычисления оптимального измерения по-
зволяет существенно сократить требуемое число операций в сравнении
с (7.8), поскольку размеры значительно меньше размеров £„ .
107
Методы автоматического обнаружения и сопровождения объектов
С практической точки зрения (для телевизионных систем) стоит
рассмотреть случай, когда объект перемещается на малое расстояние за
время между двумя соседними кадрами изображения. В этом случае,
рассматривая раздельно по координатам, модель движения объекта
можно принять в виде
АЛ«) = АХ« -1), А/и) = A/» -1). (7-11)
Для случая, когда ошибки измерения по координатам некоррели-
рованы, имеем
4» = 4Д«)+А/л) = А/«)+ А4>.(п>- (712)
Измерения 2h..(n) определяются, например из (7.10), а
оценки находятся по более простым выражениям:
АХ«) = А,(л) + А(»ХА,(«)-4г(”)),
Av (") = Av (”)+k> («X Ал («) A, («)),
причем Az(«) = 2to(n-1); A>(") = Av(«-D-
Коэффициенты усиления kx(n), ky(n) рассчитываются заранее и
могут подвергаться ограничению снизу для обеспечения заданной эф-
фективной памяти с целью отслеживания движущегося объекта. В неко-
торых случаях (если точность измерений высока, а смещение за кадр
мало) можно вообще обойтись одними измерениями: находятся A.hx(n),
2.hy(n), они и принимаются в качестве оценок и прогнозируемых значе-
ний: центр наблюдаемого изображения помещается в точку
(Х,„(л),Лй>.(л)).
Рассмотрим случай нулевого фона. В этом случае ,т(т,у,л)=О для
(/,у)й Н„ . Используя критерий (7.8), получим
F(Ahx (и),4,. (л)) = £(/2 (', J, п) - 2l(i, j, n\s(i, j.n)+s2 (i, j, л)). (7.14)
Учитывая, что УА2(т,у,л) и //2(т,у,и) не зависят от Afa(n)
и 4.(”) > необходимо максимизировать
Я4х(и),4„(л))= \l(i,J,n)s(i,J,n). (7.15)
(мЙ,
Выражение (7.15) представляет собой классический корреляцион-
ный критерий, для максимизации которого необходимо вычислять про-
изведения эталонного и текущего изображений для различных возмож-
ных положений объекта. С учетом того, что многие элементы s(i,j,n)
108
Синтез алгоритмов измерения координат объектов
являются нулевыми, нет необходимости в перемножении всех элемен-
тов в (7.15). Нужно учитывать только точки, принадлежащие объекту. В
этом случае необходимо максимизировать
НЯ(1Г(и),Л*>.(„))= У l(i,j,n)h(i,j,n).
(№„
В выражении (7.16) имеется в виду, что центр Нп помещается в
различные точки, соответствующие ЛА,_(и), ЯЛз,(и). Иначе (7.16) можно
переписать в виде
У^+М^.+/','W',/r,n), (717)
где ЛД'О’ЛД") - координаты центра (номера точек) объекта в системе
координат изображения
(рис. 7.1); и./z координа-
ты точек объекта в системе
координат, связанной с цен-
тром объекта.
Таким образом, обыч-
ный корреляционный алго-
ритм является частным слу-
чаем более общего подхода,
рассмотренного выше и яв-
ляется оптимальным по
Рис. 7.1. Различные системы координат
критерию максимального правдоподобия при нулевом фоне и известном
изображении объекта.
7.2. Алгоритм измерения координат с оценкой
параметров изображений фона и объекта
Ранее предполагались известными и неизменными изображения
фона и объекта. На практике изображение объекта в ходе слежения мо-
жет изменяться и, кроме того, возникает необходимость в оценке ярко-
стей точек фона и объекта. Будем конструировать алгоритм измерения
координат центра объекта на изображении, опираясь на метод макси-
мума апостериорной плотности и используя модели, введенные ранее
[32, 33]. Предположим, что в результате предыдущей обработки извест-
на априорная плотность Лл(п), известно априорное распределение
1Г(г(т,у,и)) на множестве у/п (используется модель изменяющегося
объекта), известны априорные гауссовские плотности для Л(г,//,и) и
g(i. j.n). Эта информация формируется на этапе первоначального обна-
ружения. Таким образом, можно считать, что имеется наблюдаемое
109
Методы автоматического обнаружения и сопровождения объектов
изображение L„ с центром в точке Ah(n). Необходимо измерить коор-
динаты центра объекта и одновременно оценить значения параметров
Ыу, ц, и), g(i, j, п).
Используя модель наблюдения (6.2) и применяя метод максимума
апостериорной плотности, после логарифмирования получим:
Л =(^(«)-^ь(«))ГЩ1(п)(>.а(п)-Хл(п))-2 YlnfF(r(v,//,H))+
+ +D~l (7.18)
(уЙ, (ijH,
где Dh(v,p,n), Ds(i,j,n) - прогнозируемые дисперсии яркостей соот-
ветственно точек объекта и фона; h(y,fi,n),g(i,j,n) прогнозируемые
значения яркостей.
При записи выражения (7.18) учтено, что процессы в каждой точке
объекта и фона считаются независимыми, так как мы не используем моде-
ли пространственно-коррелированных изображений. Отыскание глобаль-
ного минимума J„ путем поиска в пространстве всех параметров - дело
чрезвычайно сложное из-за большой размерности задачи. Поэтому будем
использовать то обстоятельство, что к п -му кадру имеются хорошие оцен-
ки для г(г,/т,и), h(v,fi,n) и g(i,y,n), т.е. r(y,fj,n)«r(y,fj,n),
h(y,fj,n) » h(v,/j,n), g(i,j,n) ~ g(i,j,n), и, следовательно, эти параметры
вначале могут быть приняты равными прогнозируемым.
Таким образом, приближенная процедура оптимизации (7.18) про-
водится в три этапа.
Этап 1 . На этом этапе определяется Лй(п) путем оптимизации
критерия
МЦ,
где I](i,j,п) = F(z,j,I r(i,j,n))g(i,j,и).
Заметим, что r(i,j,n) и являются функциями от
Сумма Y In IF(г(и,//,«)) не влияет на оптимизацию значения кДи).
Поиск КЛ(п), при котором достигается абсолютный минимум , про-
водится так же, как и в предыдущем параграфе при известных изобра-
110
Синтез алгоритмов измерения координат объектов
жениях фона и объекта. Только теперь прогнозируемое изображение
объекта помещается на прогнозируемое изображение фона таким об-
разом, что центр объекта совпадает с 1А(и). В результате этой про-
цедуры отыскивается Ъ.ь(п) = [zfa(n) 2ftv (л)]1, обеспечивающее выход в
окрестность глобального минимума (7.18), и определяется множество
точек на изображении Ln, содержащее объект.
Этап 2 . На данном этапе, с учетом найденного значения Z(l (л),
оцениваются параметры г(у,р,п) (причем по-прежнему полагается, что
h(v,/j,n) ® Л(г,р,л), g(i,j,n) - ) путем оптимизации критерия:
J„2=~ ^ln»F(r(K,/z,n))+^ У(/(г,у,и)-?2(1,/,и)), (7.20)
где s2 (/,у, и) = r(i, j,n)h(i, j,и) + (1 - r(i, j,n))g(i, j, n).
Так как предполагается, что не ведется обнаружение новых объек-
тов, то можно считать что г(1,/,л)=0 для и оптимизацию
(7.20) в этом случае следует проводить на множестве :
!„г=- У1п1Г(г(г,//,и))+
4—— n)-r(v, n)h(y, -r(v,//,w))g(v, /z, и))2. (7.21)
2D(^„
Оптимизация (7.21) сводится к поточечной классификации множе-
ства точек на точки объекта, для которых оценка »'(v,/z. л) - I. и
точки фона, для которых г(у,р,п) - 0 . Значение критерия в точке (г,р)
— 1 2
ЛгМ^/Ал) = 1) = -1пР(и,д,и) +—(/(и,д,л)-Л(и,//,и)) ,
при г(г,//,л) = 1, (7.22)
Л 2 (r(F, /VO = 0) = - 1п(1 - Р(г, //. и)) + -^ (/(г. /ъ л) - g(v, р, л))2,
при r(v,p,n) — 0, (7.23)
где Р(г,//,л) - прогнозируемая вероятность принадлежности точки
(v,/z) множества уп к объекту, причем в соответствии с моделью (6.15)
Р(г,//,л) = Р(г,//,л-1)Р(1/1) + (1-Р(г,^,л-1))р(1/0),где P(v,/z,n-l) -
111
Методы автоматического обнаружения и сопровождения объектов
апостериорная вероятность принадлежности точки к объекту в (и -1) -м
кадре изображения. Очевидно, необходимо выбрать то значение
r(v,fi, и), для которого величина критерия Jn2 меньше и, следователь-
но, r(v,/z,n) = l и точка (у,р) принадлежит объекту, если
(/(г,/4и) g(y,fi.n))2 -(l(v,p,n)-7i(y,fi,n))2 >2/)ln^ (7.24)
P(v,p,n)
и z"(i ,/z,n) - О и точка (v,ft) является точкой фона, в противном случае.
В качестве прогнозируемых яркостей точек объекта, в точках, принад-
лежащих фону (r(v,/z, и) = 0) до решения задачи классификации, выби-
раются яркости h(y,fi,ri) близлежащих точек объекта.
Апостериорная вероятность принадлежности точки к объекту мо-
жет быть вычислена с помощью формулы Байеса:
/'(г,/',«) =
=________________P(v,fi,n)W(lfy,p,n)rHy,fi,n))_____________ 25)
Р(у, fi, rifWflty, fi, n) I 7i(y, р, «))+(! -P(v, fi, n)y?(l(v, fi, n)/g(y, fi, n))
где W(l[y,fi, n) !h(v, fi,n)) и W(l(y,fi,n)!g(y,fi,n)) - условные гауссов-
ские плотности.
Апостериорная вероятность принадлежности точки фону будет
равна 1 - Р(у, fi, и) .
Классификация точек по критерию максимума апостериорной ве-
роятности может выполняться несколько иначе: r(v,fi,n) - 1, если
J Р(У,р,п) ] = J Дк,/4»-1) 1 +
+ \n(W(l(v,fi,n)l h(v, fi,n)) \n{W(l(y,fi,n)lg(v,fi,n))>0. (7.26)
Если принять P(v,fi,n)=P(v,fi,n 1) и пренебречь £),(ц/4 л) ,£>(«,>,и),
в сравнении с дисперсией шума D (т.е. считая по-прежнему, что
h(v,fi,n) « h(y,fi,n), g(i,j,n) « g(i,j,ri)), получим условие
ln| At,/z,zz) 1 = J ( P{y,P,n) 1 +
^1-Р(и,д,и) J ^l-P(r,//,n)J
+ (/(v, A,») - g(y, Ц, п))г - (/(v, fl, и) - h(y, fi, и))2 > 0
112
Синтез алгоритмов измерения координат объектов
При необходимости, после классификации может быть проведена
логическая фильтрация для удаления одиночных точек и заполнения
«дыр» на объекте, являющихся результатом ошибочной классификации.
Этап 3 . Это этап оптимизации критерия (7.18) состоит в нахож-
дении оценок h(v,fi,n) и g(v,/z,n), при условии, что определены ХДп)
и r(v,/z,n), т.е. определено положение объекта на изображении и точки,
принадлежащие объекту. Очевидно, что задача оценки h(v,/j,n) и
g(v,/j,n) теперь может считаться линейной и дальнейшая оптимизация
критерия (7.18) сводится к раздельной оптимизации по точкам фона и
объекта. Так, по отношению к точкам объекта необходимо минимизиро-
вать критерий
Л,= S (7.28)
D )
а по отношению к точкам фона
Л,= J [^0.7,»)(g(w,»)-g(O,H))2 j. (7.29)
Из выражении (7.28), (7.29) могут быть получены обычные урав-
нения простейшего фильтра Калмана [7]:
Mv,/z,zz) = Му,ц,п) + - Щу,ц,п^, (7.30)
g(‘, J,«) = gO. У,«) + kg (z, j, J, n) - g(i, j, n)), (7.31)
где
bh(y,p,n) =
Dh(v,p,n)
^h{v, a, «) = —-y?-------;
Da Dh(v.pi,n)
Оа(и,д,и)=Д,(и,^л-1)+Р7(цал-1); A(r,/z,n) = ft(K,/z,n-l);
DDA(r,/z,n)
=-----=----------апостериорная дисперсия;
D + Dh(v,fi,n)
, .. . . 7) (),/»
k (i,j,n) =-?=---------- ;
g D + Dg(i.j,n)
Dg(i,J,n) = Dg(i,j, n -1)+Da(i,j,n-1); g(v,/z,K)=g(r,/z,»-l);
DDg(i,J,n)
------=----------апостериорная дисперсия.
D+Dg(iJ9ri)
Для точек фона, закрытых объектом, в соответствии с исполь-
зуемыми моделями g(i.J,n) = g(i,j,n) - g(i,j,n -1).
(7-32)
(7.33)
DK(i,j,n) =
113
Методы автоматического обнаружения и сопровождения объектов
Последовательность коэффициентов усиления и
frg(i,j,n) рассчитывается заранее и хранится в памяти.
В ходе этапа 2 алгоритма (классификация точек) формируется
маска объекта (множество Нп ). которая может быть использована для
коррекции точки, принимаемой за центр объекта. Такая коррекция ока-
зывается необходимой вследствие изменений формы объекта и ошибок
в определении центра, возникающих из-за эффектов дискретизации. Ко-
ординаты центра при этом могут быть уточнены в соответствии с ис-
пользуемым определением центра.
На основании измерения ?-,,(«), в соответствии с (7.7), могут быть
вычислены 7-/,(и) и Ц(и + 1) для использования в следующем кадре.
Проведенные исследования показывают, что при отсутствии дос-
товерной информации о траектории движения объекта целесообразно
использовать критерий, не учитывающий априорное распределение ко-
ординат. При изменении формы и размеров объекта в довольно широ-
ких пределах устойчивое выделение множества точек объекта возможно
вплоть до отношении сигнал/шум, равных 1,5.
В целом следует отметить, что точность измерителя сравнима с
ошибками пространственной дискретизации объекта и не сильно зави-
сит от точности оценки яркостей точек фона и объекта.
7.3. Алгоритм измерения координат с межкадровым
усреднением текущего изображения объекта
Ранее был получен алгоритм измерения координат центра объекта,
использующий информацию как об изображении объекта, так и об изо-
бражении фона. В тех случаях, когда не имеется возможности запомина-
ния окружающего фона больших размеров или имеются трудности, свя-
занные с оценкой смещения фонового изображения, использование ин-
формации об изображении фона становится проблематичным. Та же си-
туация возникает при больших смещениях объекта от кадра к кадру. В
этом случае алгоритм измерения координат может быть построен, в ос-
новном, только с учетом информации о текущем изображении объекта.
В п. 7.2. показано, что, при нулевом фоне, оптимальным по крите-
рию максимального правдоподобия (при известном эталонном изобра-
жении объекта) является классический корреляционный алгоритм. В тех
случаях, когда изображение объекта может изменяться с течением вре-
мени (изменение яркости, размеров, ракурса) требуется внесение изме-
нений в текущее эталонное изображение объекта. В противном случае
эталонное изображение (модель) перестает соответствовать текущему
изображению объекта.
114
Синтез алгоритмов измерения координат объектов
Известно [18], что частое обновление эталонного изображения,
проводимое после поиска объекта на очередном кадре, ведет к накопле-
нию ошибки измерения и как следствие к срыву слежения. При этом на
точность измерения координат оказывают существенное влияние эф-
фекты пространственной дискретизации изображений. Поэтому весьма
желательно уменьшить их влияние на точность измерения.
Рассмотрим вначале, каким образом можно уменьшить влияние
пространственной дискретизации, полагая фон нулевым, а эталонное
изображение объекта известным [19]. Пусть в п -м кадре имеется изоб-
ражение L, представляющее собой, например, квадратную матрицу с
элементами l(i, j) , i,j = 1,W. Индекс п для упрощения написания
пока опустим. Будем считать, что это изображение представляет собой
аддитивную смесь сигнала S и шума S. Информативная часть сигнала
S - сигнал Н , представляет собой квадратную матрицу с элементами
Л(г,/т), v,/j = \,М, M<N. Другие элементы сигнала S считаются
равными нулю. Сигнал Н представляет собой дискретное изображение
объекта. В дальнейшем предполагается, что может быть К вариантов
дискретизации объекта, получающихся смещением непрерывного изо-
бражения объекта относительно узлов дискретизации на величину не
более половины шага дискретизации вдоль
координатных осей. Под измеренными коор-
динатами центра сигнала Н будем понимать
точку дискретного изображения, в которой
достигается наилучшее совмещение текуще-
го и эталонного дискретных изображений
объекта. Центр сигнала Н может быть рас-
положен в любой точке сигнала S, но таким
образом, чтобы все элементы сигнала Н
принадлежали бы сигналу S, как это показа-
L
S
й
Рис. 7.2. Изображения
L,S, Н
но на рис. 7.2. Отметим, что вначале точка, принимаемая за центр объ-
екта, считается заданной.
Обозначим через й„(г,/т) элементы изображения Нт, /п = 1,Х;
v,/z,= l,M , полученные в результате m-го варианта дискретизации не-
прерывного изображения объекта, а через сигнал S, содержащий
в себе сигнал Н, таким образом, что координаты центра сигнала Нт
равны в системе дискретных координат, связанных с центром
изображения L. Тогда наблюдаемое изображение L может быть опи-
сано соотношением
Ь = 8У'+Е. (7.34)
115
Методы автоматического обнаружения и сопровождения объектов
Можно считать при этом, что сигналы L, S^’’, 2 представлены
в виде векторов, элементы которых упорядочены вполне определенным
образом.
Обозначим априорную вероятность наличия сигнала как
). Тогда апостериорная вероятность P(S^ /L) наличия сигна-
ла в наблюдаемой реализации L может быть вычислена с помощью
формулы Байеса
P(S^/L) =
P(S^)tF(L/sy-)
п А.
(7.35)
где ) - функция правдоподобия.
Апостериорная вероятность наличия сигнала с центром в точке
(Лх,Лу) может быть вычислена как
P(S^> /L) = ^P(S^' /L),
m=l
(7.36)
Пусть все варианты дискретизации объекта и расположения его
центра равновероятны. Полагая полезный сигнал и помеху статистиче-
ски независимыми, н считая, что все компоненты шума являются неза-
висимыми нормальными случайными величинами с нулевыми средни-
ми и дисперсиями ст2, можно искать оценки координат путем поиска
максимума выражения
тах(Р(8<Л/1.)) = тах У---' Лм)] I (7.37)
M4±f(2^)v'2 J
где - элементы сигнала
Реализация алгоритма оценки в соответствии с (7.37) в реальном
масштабе времени может оказаться затруднительной в связи с необхо-
димостью вычисления экспонент и использованием многих эталонов. В
этом случае предпочтительней оказывается минимизация сре-
днеквадратического критерия вида
F(AX,A,.) = у J Цм, j") - (7.38)
Л m-l i=l 7=1
Использование критерия (7.38) открывает возможности для суще-
ственного уменьшения требуемых вычислений.
116
Синтез алгоритмов измерения координат объектов
I
Преобразуем (7.38) к виду
Л т=1 г=1 /=1
ЕЕ(/(м)^(ЛЛ) + у J ££s2^(U) . (7.39)
Л ». I < I 7=1 Л w I <=1 / I
Учитывая, что первое и третье слагаемые не зависят от Л,, Z,,
приходим к необходимости поиска максимума выражения
Л (4.4) - у i Ц М’ r>s^y Л) (7-4°)
А m=i i=l /=1
Многие элементы сигнала S являются нулевыми. Поэтому выра-
жение (7.40) целесообразно вычислять только для информативной части
сигнала, т.е.
^i(4>4)= J?<4 + v>4 + дЖО'./Д
(7.41)
где hc(v,ti) = ^'Y_ihm(v,fi)
ffl=l
- элементы изображения объекта, усред-
ненного по всем вариантам дискретизации.
Путем моделирования на ЭВМ показано, что использование в ка-
честве эталона усредненного изображения позволяет повысить точ-
ность определения координат объекта по сравнению со случаем, когда в
качестве эталонного используется изображение объекта, полученное
при каком-то т -м варианте дискретизации. Однако, операция усредне-
ния приобретает особый смысл, когда изображение объекта Н со вре-
менем изменяется и возникает необходимость в обновлении этатонного
изображения.
Оценка усредненного изображения может быть получено с ис-
пользованием алгоритма экспоненциального сглаживания:
Лс(и,/4и) = (1-/?)/(Л*+v,A* +//,«) + ph,(\>, fi, п-1), (7-42)
где (Лх,Лу) - координаты центра объекта, найденные в п -м кадре, с ис-
пользованием того или иного алгоритма совмещения изображений, р -
параметр экспоненциального сглаживания, принимающий значения от
нуля до единицы и определяющий эффективную память рекурсивного
фильтра.
117
Методы автоматического обнаружения и сопровождения объектов
Блок-схема алгоритма измерения координат объекта с межкадро-
вым сглаживанием эталона приведена на рис. 7.3.
Рис. 7.3. Схема алгоритма с межкадровым сглаживанием
Заметим, что при /3 = 1 обновление эталона не производится. Дру-
гой крайний случай, когда /3 = 0, соответствует смене эталона на вновь
найденный фрагмент. Проведенные многочисленные экспериментальные
исследования показали, что при уменьшении памяти фильтра начинает
сказываться накопление ошибки в оценке координат и объект начинает
«уползать» из эталона, а при слишком большой памяти ( /3 близко к еди-
нице) ухудшается отслеживание изменений в объекте. Приемлемые зна-
чения для /3 составляют, чаще всего, величины порядка 0,9-0,95.
Достоинством приведенного алгоритма является малая чувстви-
тельность к ошибкам дискретизации в отличие от алгоритмов с покад-
ровой сменой эталона, для которых характерно быстрое накопление
ошибки измерения координат. Кроме этого, использование межкадро-
вой фильтрации позволяет повысить точность за счет подавления шу-
мов, присутствующих на изображении. Наличие памяти в фильтре дела-
ет описанный алгоритм более помехоустойчивым по отношению к слу-
чайным сбоям при формировании нового эталонного изображения. В
процессе моделирования выяснилось, что алгоритм способен отслежи-
вать в эталоне все основные изменения, возникающие в текущем изо-
бражении объекта: изменения размеров, яркости, конфигурации. Реали-
зация вариантов алгоритма в специализированных устройствах описана
в авторских свидетельствах [34, 35].
118
8. Алгоритмы автоматического
обнаружения и выделения
движущихся объектов
на неоднородном фоне
Во многих случаях в силу разнообразия объектов, их ракурсов, ос-
вещенности приходится считать, что об объекте ничего не известно, за
исключением того, что он движется. Не исключено также наличие на
изображении нескольких обнаруживаемых объектов.
Наибольший интерес представляет решение задачи обнаружения и
выделения слабоконтрастных по отношению к фону динамических объ-
ектов неизвестной яркости и формы, которая наиболее соответствует
реальным ситуациям.
Особого внимания заслуживает задача обнаружения и выделения
объектов при подвижном датчике изображений. Перемещения датчика
приводят к возникновению геометрических трансформаций изображе-
ний, параметры которых необходимо оценивать с применением подхо-
дов, представленных в главе 5.
8.1. Алгоритм обнаружения и выделения
движущихся объектов
Задачу обнаружения движущихся объектов, наблюдаемых на не-
однородном фоне, при неподвижном датчике изображений можно
сформулировать следующим образом [36. 37]. На известном изображе-
нии фона G(n), искаженном шумом, могут появляться движущиеся
объекты с неизвестной яркостью. Обозначим через g(i,j,n) яркость
фона в точке (/,/) в n-м кадре; £(/,/,«) - N(0,D) - шум, некоррелиро-
ванный по пространству и времени. Сформулируем задачу обнаружения
динамических объектов как задачу обнаружения и выделения изме-
няющихся участков изображения в последовательности кадров.
Пусть яркости точек выделяемых объектов отличаются от соответ-
ствующих точек закрываемого ими фона на величину не меньшую S . В
ориентации на реализацию алгоритма обнаружения в реальном времени
целесообразно отказаться от использования сложных гипотез и ограни-
читься рассмотрением трех простых гипотез, которые могут быть сфор-
мулированы как:
119
Методы автоматического обнаружения и сопровождения объектов
Гипотеза 1. Точка (i,j) принадлежит более яркому по сравнению с
фоном объекту (fi(i,j,n) = g(i,J,n)+d);
Гипотеза 2. Точка (i, j) принадлежит более темному по сравнению
с фоном объекту (h{i,j,n) = g(i,j,n)-S);
Гипотеза 3. Точка (i,j) принадлежит фону.
Так как в процессе наблюдения возможны изменения яркости то-
чек фона, например, за счет изменения условий освещенности, то будем
считать, в дальнейшем, изображение фона меняющимся во времени.
Воспользуемся моделью фона (6.6). В этом случае модель наблюдения
(6.2) удобно представить в виде
l(hj,n) = (ri(i,j,n)+r2(i^-,n))h(ij,n)+r3(ij,n)g{i,j,n)+^(i,j,n), (8.1)
где для параметров r2(i,j,n), должны выполняться
условия:
1 Л (i, j, и) v r2 (i, j, п] V г} (г, j, n)=1;
2. г1(/,у,и)лг,(1,у,и)=0;
3- г1(г,7,п)лг2(|,у,п) = 0;
4. г2(;,у>)лг3(1,у,и) = 0.
Значение параметра соответствует наличию в точке
(i, j) точки объекта более яркой, чем соответствующая точка фона; зна-
чение г2(»,/,и)=1 соответствует наличию в точке (i,j) точки объекта
более темной, чем соответствующая точка фона; r3(i,J,n)=l означает,
что в точке (/,_/) объект отсутствует.
Пусть прогнозируемое распределение 1F(r(i,j,«)) ={Pl{i,j,n\
P2(i,j,n), P3(i,J,nfy представляет собой совокупность прогнозируемых
вероятностей параметров r(i,j,n)={r1(i,j,n\ r2(i,j,n), /,(/, j,и)}. По-
лагаем, что динамические процессы g(i,j,n) протекают независимо в
каждой точке изображения. Данное предположение ведет к тому, что
имеет смысл вычислять апостериорные вероятности проверяемых гипо-
тез независимо для каждой точки изображения. Такая постановка во-
проса обоснована для случая обнаружения точечных объектов. В случае
обнаружения протяженных объектов указанное предположение являет-
ся грубым, однако, поточечное решение задачи о наличии динамиче-
ских изменений будет приводить в данной ситуации к появлению групп
связных точек, соответствующих локальным динамическим изменениям
120
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
на изображении, что на последующих этапах может быть использовано
для улучшения качества алгоритма обнаружения.
Апостериорные вероятности гипотез для каждой точки (i,j) изо-
бражения могут быть вычислены в соответствии с выражениями
р/. . г____________Ж'.7>Х1_____________
' Л(б7>Х + рз(б7>Х ’
р/. . г ___________
2 l'J'n P^iJ,^, +P2(iJ,n'yV2 + Р5(1,7,л)И3 ’
рл з /о 41
3 ’ ’ Р|(Л7,«Х1+/2('J>«X>+Рз('-7>Х ’
где И', = w(l(i, j. n)/(g(i, j, «)+<?)), W2 =
(f, =w(l(i,j,n)/ g(i,j,nty - условные гауссовские распределения:
g(i,j,n) прогнозируемые значения g(i,J,n).
Прогнозируемые вероятности P^i.y.n), Р2(/, j,n), P2(i,j,n) мо-
гут быть вычислены на основе модели переходов (6.16) с учетом появ-
ления объектов как более, так и менее ярких, чем фон. Будем считать,
что к моменту появления движущегося объекта имеются «хорошие»
оценки яркости точек фона, т.е. g(i,j,n) a g(i,J,n)-
Обозначим Р(| (г, 7, и) = Pj (/, у, л)+Р2 (', 7, и) вероятность присутст-
вия объекта в точке (г,7) в и-м кадре, а через rt(i,j,n) н Г2(i,j,n) -
условные вероятности того, что присутствующий в точке (1,7, и) объект
светлее или соответственно темнее фона. Тогда прогнозируемые веро-
ятности ; (i, 7, и), Р2 (г, 7, и) и Р3(i,7, и) могут быть выражены как:
т,п — \)p(ij/k ,m)+
:,Л1,Л-
i)p(i,j/k,m) >Г,(;,7,л),
(8.5)
,лг, л ~1)p(z,7'/* ,w) +
+ Ра2(/,7,л) \-^P0(k,m,n~l)p(i,j/k,m) P,(z,j,n
(8.6)
(8.7)
121
Методы автоматического обнаружения и сопровождения объектов
где Pal(z,J,zz) - априорная вероятность появления объекта, более свет-
лого, чем фон, P^(i,j,n) - априорная вероятность появления объекта,
более тёмного, чем фон.
Прогнозируемые значения условных вероятностей l\(i,j,n) и
r2(i,j\n) можно оценить при известных fj(i,j,n-l) и P2(i,j,n-1) как
(8.8)
(8.9)
После решения задачи классификации точек изображения на точки
фона и, предположительно, объекта, по максимуму апостериорной ве-
роятности, оценки яркостей точек, классифицированных как точки фо-
на, необходимо уточнить. Так как используемые модели состояния и
наблюдения (после классификации точек изображения) являются ли-
нейными, то оптимальные значения оценок яркости точек фона будут
получены, по аналогии с (7.31),(7.33), в результате применения алго-
ритма Калмановской фильтрации [7]
g(i,j,n)=g(i,j,n)+ g(i,j,n)), (8.10)
D +Ds(‘,J,n)
где D,. (z, j, n) = bfr (z, j, n - 1) ч Dr. (z, J, n -1) прогнозируемая дисперсия;
- , . £>D (z,y,«)
Dg (z, j, и) - ——Л. ( —j - aiюстериорная дисперсия.
Для точек фона, которым соответствует г3(/,у,и) = 0 (возможно,
закрытых еще не обнаруженным объектом), т.е. которые являются не-
наблюдаемыми в данном кадре, оценки яркостей не меняются:
g('.А«) - «('. А «) = g(z, А и -1). (8.11)
Прогнозируемые яркости и вероятности используются для реше-
ния задачи вычисления апостериорных вероятностей (8.2)48.4) и клас-
сификации точек в следующем кадре изображения.
В ходе работы алгоритма нарастает апостериорная вероят ность в
точках, принадлежащих движущемуся фрагменту изображения. Реше-
ние о принадлежности точки изображения объекту целесообразно при-
нимать при превышении апостериорной вероятностью некоторого поро-
гового значения Рпор. Результатом разделения точек анализируемого
122
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
изображения на точки, принадлежащие предположительно фону, и точ-
ки, принадлежащие предположительно объекту, является некоторая би-
нарная матрица В„ с элементами {0,1} . Причем значение б(г,у,и)=1
означает, что в точке (z,j) в п -м кадре оценка вероятности принадлеж-
ности ее к объекту превышает оценку вероятности принадлежности ее к
фону. Увеличение значения порога Рпор позволяет уменьшить количе-
ство точек на изображении, ложно причисленных к объекту.
Для принятия окончательных решений об обнаружении объектов
можно использовать в дальнейшем априорную информацию о размерах и
конфигурации обнаруживаемых объектов. При этом необходимо включе-
ние в алгоритм дополнительных процедур разметки и параметризации.
Напомним, что разметкой бинарного изображения называют присвоение
каждой точке определенного номера (метки) таким образом, чтобы точки,
относящиеся к одному сегменту - связной группе точек, имели одинако-
вый номер, и каждому сегменту соответствовала своя уникальная метка.
Процедура параметризации заключается в вычислении для каждого сег-
мента некоторого набора параметров (площади, средней яркости и др.),
анализ которых позволяет отделить ложные точки от искомых сегментов.
Сегменты, параметры которых не удовлетворяют заданным ограничени-
ям, удаляются из рассмотрения. Описание алгоритмов разметки, парамет-
ризации и анализа сегментов приведено в п. 4.4.
На начальном этапе работы алгоритма должны быть получены хо-
рошие оценки фона. На этом этапе не должны проводиться вычисления
прогнозируемых, апостериорных вероятностей и классификация точек
изображения. Эти процедуры включаются только после оценки фона,
которая осуществляется путем межкадровой фильтрации точек изобра-
жения. Значение эффективной памяти фильтра при этом определяется
величиной дисперсии Dro(i,j,n). Для большинства реальных видеосю-
жетов величина ОД/,у,и) достаточно мала (фон изменяется медленно),
поэтому 16 32 кадров обычно оказывается достаточным для получения
приемлемых для дальнейшей работы оценок фона.
Таким образом, основные этапы описанного алгоритма обнаруже-
ния и выделения динамических изменений, возникающих в последова-
тельности кадров, включают в себя следующие операции:
Этап 1 . Предварительное формирование оценок уровней ярко-
сти фона в каждой точке изображения путем межкадровой фильтрации
яркостей одноименных точек в последовательности изображений;
Этап 2 . Выбор для каждой точки анализируемого изображения
наиболее вероятной гипотезы;
Этап 3 . Рекурсивное уточнение оценок уровней яркости фона
в точках, где доминировала гипотеза об их принадлежности к фону.
123
Методы автоматического обнаружения и сопровождения объектов
Формирование бинарного изображения с элементами 0 и 1, в котором
значение 1 соответствует принятию гипотезы о принадлежности точки
объекту;
Этап 4 . Выделение и параметризация связных областей бинар-
ного изображения;
Этап 5 . Дополнительная обработка параметров полученного
списка сегментов, включающая в себя накопление и учет информации о
поведении сегмента во времени, это позволяет удалить сегменты бинар-
ного изображения, не удовлетворяющие заданным условиям (таким как
ограничения на площадь сегмента, отношение линейных размеров, по-
вторяемость параметров сегмента в последовательности кадров, смеще-
ние центра масс сегмента за кадр и т.п.);
Этап 6 . Принятие окончательного решения об обнаружении
объекта в текущем кадре;
Отметим, что после первичного обнаружения объекта возможно
формирование траектории движения обнаруженного объекта по не-
скольким начальным кадрам. Это, в свою очередь, увеличивает вероят-
ность выделения объекта в последующих кадрах за счет назначения ве-
роятностей p(i,J/k,m) большими в направлении предполагаемого дви-
жения, а также дает более точные результаты на этапе классификации
выделенных областей при использовании информации о прогнозируе-
мом смещении объекта.
Эксперименты показывают, что описанный алгоритм способен об-
наруживать малоразмерные малоконтрастные объекты при низких от-
ношениях сигнал/шум.
8.2. Модернизированный алгоритм обнаружения
и выделения движущихся объектов
Иногда быстродействие устройства обработки изображений ока-
зывается недостаточным для того, чтобы каждый кадр, формируемый
источником видеосигнала, мог быть обработан в реальном масштабе
времени в соответствии с описанным выше алгоритмом. В таких случа-
ях целесообразно использование алгоритмов обнаружения движущихся
объектов, которые требовали бы меньших вычислительных затрат, об-
ладая приемлемыми качествами.
Для обоснования предлагаемого ниже алгоритма введем модель
состояния фона вида
(8.12)
где тр(;,7,и) - математическое ожидание процесса х(/,/,«); *>(/,/, и) -
низкочастотный случайный процесс, граничная частота которого значи-
тельно меньше частоты поступления кадров видеоизображений.
124
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
Предполагается, что и) медленно меняется с течением вре-
мени. Это изменение обусловлено зависимостью освещенности от време-
ни суток и состояния атмосферы. На интервале наблюдения математиче-
ское ожидание mg(i,j,n) может считаться практически постоянным. На-
чальное состояние - это гауссовская случайная величина.
Предполагается также, что низкочастотный случайный процесс
<a(i,7,n) на ограниченном интервале времени может быть с достаточной
степенью точности представлен полиномом ограниченной степени.
Данный процесс может быть обусловлен, например, изменением
свойств отражающих поверхностей, вызванных их движением, действи-
ем ветра (колебание травы) и т.п. Для простоты будем считать, что как
тД/,7,0),таки <а(;,7,я) некоррелированы по пространству.
Следовательно, модель фона задается как случайный процесс, не-
стационарный по математическому ожиданию, независимо протекаю-
щий в каждой точке изображения, что формирует неоднородное по про-
странству изображение.
В основе рассматриваемого алгоритма также лежит идея оценки и
последующего анализа изменений, возникающих в одноименных точ-
ках обрабатываемой последовательности кадров во времени. Наблюдая
за изменениями, имеющими место на изображении во времени, можно
оценить как сам фон, так и искажающую его помеху. После этого, появ-
ляется возможность выделить изменения сигнала, порожденные движе-
нием объектов в последовательности кадров. В описываемом алгоритме
используется одновременное вычисление оценок яркости точек фона и
оценок дисперсии яркости точек фона. При решении поставленной за-
дачи будем пользоваться моделью наблюдения (6.2). Тогда обнаруже-
ние движущихся объектов, по-прежнему, сводится к оценке r(i, 7. и) по
наблюдаемому изображению /(/, /,»).
С использованием процедуры рекурсивного межкадрового усред-
нения яркостей одноименных точек, относимых к фону, формируются
оценки уровней яркости точек фона g(i,j,n), т.е. формируется сглажен-
ное («эталонное») изображение фона:
g(<,7,«) = «)+ (1 - Д V0,7,«), (8-13)
где = Д - параметр экспоненциального рекурсив-
ного фильтра, выбираемый в диапазоне [0;1].
При /?, —1 в качестве оценок яркости точек фона выбирается оцен-
ка яркости точек фона, взятая из первого кадра, при Д = О осуществляет-
125
Методы автоматического обнаружения и сопровождения объектов
ся покадровая смена оценок яркости точек фона, а при 0 < Д <1 оценки
яркости точек фона формируются путем межкадрового усреднения.
На выбор величины Д в алгоритме фильтрации влияет ряд факто-
ров: 1) с точки зрения уменьшения динамической ошибки воспроизве-
дения яркости точки фона, при изменении последней желательно брать
Д как можно меньше; 2) с точки зрения уменьшения случайной ошиб-
ки воспроизведения от действия аддитивного шума, необходимо выби-
рать Д как можно больше [39]; 3) увеличение Д влечет за собой уве-
личение длительности переходного процесса фильтра и, следовательно,
увеличивает время задержки начала работы алгоритма обнаружения.
Если априорно известно, что на интервале времени, соизмеримом с
эффективной длительностью памяти фильтра, яркость точки фона меня-
ется по линейному закону е максимальной скоростью V, то параметр
Д может выбираться, исходя из необходимости минимизации суммар-
ной ошибки £ - + £сл. Динамическая ошибка определяется ошиб-
кой по скорости ^дин =C\TV, где Т - период квантования, а С, - ко-
эффициент ошибки фильтра по скорости изменения яркости фона [39].
Шумовая ошибка £сл может быть приближенно вычислена как Згтрь|,,
где ст, =-——сг^ для случая помехи типа белого шума. Здесь ст„, и
1+Д
<твых ~ среднеквадратические отклонения шума на входе и выходе
фильтра соответственно, т.е. необходимо минимизировать выражение
|Д11Н1 + Зег =———TV + 3 I—— стл . (8.14)
рдкн Imax ИХ ]_ д V 1 + Д
Взяв производную от суммарной ошибки по Д и приравняв ее к
нулю, после преобразований, получим уравнение
М1±д? П+д
или
ГТ 1 1
3<7»х Р2 Jp ’
(8.16)
где р =------ - коэффициент сглаживания помехи фильтром.
1 + Д
Решение уравнения (8.16) относительно параметра р позволяет
найти оптимальный коэффициент сглаживания и, следовательно, опти-
126
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
мальное значение Д. На основании уравнении (8.15), (8.16) может вы-
бираться значение параметра Д в зависимости от скорости изменения
яркости наблюдаемого изображения V и среднеквадратического откло-
нения помехи сгвх.
В табл. 8.1, приведены оптимальные значения параметра Д, для различ-
ат
ных значении отношения----.
3сГвх
Для значения Д =0,9 имеем следующие характеристики фильтра:
С. = —= -9 — коэффициент ошибки по скорости изменения
1 1-Д 1-0,9
яркости фона;
р = J—& -1—^2 » о 05 - коэффициент сглаживания помехи.
! 1 + Д 1 + 0,9
Таблица 8.1. Зависимость оптимального значения параметра Д
от относительной скорости изменения яркости фона
УТ З^вх 0.05 0,04 0,02 0,01 0,005 0,0004
д 0,75 0,8 0,85 0,9 0,95 0,99
р 0,14 о,и 0,08 0,05 0,03 0,005
Для выяснения характера возможных изменений уровней яркости
точек фона во времени, аналогичным образом можно получать оценки
дисперсии уровней яркости точек фона А:
д(/,7,и) = Z?A(f.у,и ~ 1)+(1 — j, и)- /(<, j, п))2 , (8.17)
где /3 параметр рекурсивного фильтра, выбираемый в диапазоне [0;1].
Расчет оценок дисперсии уровней яркости наряду с оценками
уровней яркости фона, ведется независимо для каждой точки наблю-
даемого изображения. Таким образом, на основе полученных оценок
уровней яркости и оценок дисперсии уровней яркости, в каждой точке
принимается решение о принадлежности ее к фону или, предположи-
тельно, объекту, т.е. можно записать
г((,7,л)=I°’ еСЯИ 7’ ")~ (8J8)
[1, иначе,
где к - некоторый пороговый коэффициент.
127
Методы автоматического обнаружения и сопровождения объектов
Так как Д представляет собой, по существу, оценку дисперсии
уровней яркости, то значение к, по аналогии с правилом «3-х сигм»,
целесообразно принимать на уровне 3.
Таким образом, основные этапы рассматриваемого алгоритма об-
наружения и выделения движущихся объектов включают в себя сле-
дующие операции:
Этап 1 . Формируются оценки уровней яркости в каждой точке
фона путем предварительной межкадровой фильтрации яркостей одно-
именных точек в последовательности изображений.
Этап 2 . Аналогичным образом, параллельно с выполнением
первого этапа алгоритма, формируются оценки дисперсии уровней яр-
кости в каждой точке фона.
Этап 3 . Осуществляется поэлементное сравнение сглаженного
(«эталонного») изображения фона с текущим изображением в одно-
именных точках. В тех точках, где изменения уровня яркости превыси-
ли установленный порог, принимается гипотеза об их принадлежности к
объекту. В остальных точках оценки уровней яркости и оценки диспер-
сии уровней яркости рекурсивно уточняются. По результатам сравнения
формируется бинарное изображение с элементами 0 и 1, в котором зна-
чение 1 соответствует гипотезе о принадлежности точки объекту.
Этан 4 . Производится выделение н параметризация связных
областей бинарного изображения.
Этап 5 . Выполняется дополнительная обработка параметров по-
лученного списка сегментов, включающая в себя также и накопление ин-
формации о поведении сегмента во времени. Это позволяет удалить сег-
менты бинарного изображения, не удовлетворяющие заданным условиям.
Этап 6 . Принимается решение об обнаружении объекта в те-
кущем кадре.
Сравнение двух алгоритмов, рассмотренных в пп. 8.1 и 8.2, пока-
зало, что при отношении сигнал/шум 4 и выше их эффективность прак-
тически одинакова, а при меньших отношениях сигнал/шум второй ал-
горитм уступает первому. При этом среднее значение времени, затрачи-
ваемого на обработку одного кадра, для второго алгоритма почти на по-
рядок меньше по сравнению с первым.
8.3. Алгоритм выделения объектов при движущемся
датчике изображений
Следствием движения датчика изображений в системах обнаруже-
ния и сопровождения объектов является наличие геометрических пре-
образований изображения [5,38]. Ниже описан подход к решению зада-
чи выделения объектов при евклидовых преобразованиях изображения
128
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
(5.11). Евклидово преобразование это совокупность преобразований
смещения и поворота изображения.
Вначале сформулируем решаемую задачу аналитически. При этом
будем использовать модель формирования изображений, аналогичную
модели (6.2). Основными отличиями используемой модели будет учёт
движения датчика изображений и рассмотрение непрерывных коорди-
нат (х,у) вместо дискретных Кроме того, для упрощения изложе-
ния целесообразно зафиксировать номер кадра п и опустить этот номер
в соответствующих выражениях. Итак, пусть g(x, у) известное изо-
бражение фона, gM(x, у) - изображение фона в системе координат, свя-
занной с наблюдаемым изображением, неизвестный вектор
параметров евклидова преобразования наблюдаемого изображения от-
носительно изображения фона g(x, у) • Зафиксируем точку наблюдаемо-
го изображения с координатами (х0,ус). Определим для этой точки сле-
дующие величины: f - яркость фона, деформированного геометриче-
скими преобразованиями, г бинарный параметр, единичное значение
которого соответствует наличию объекта в рассматриваемой точке, h -
яркость объекта наблюдаемой сцены, / - наблюдаемое значение ярко-
сти, zx - A’(o,CTj), zy ~ w(o,ox) - некоррелированные гауссовы случай-
ные величины с известными дисперсиями, описывающие случайные
деформации изображения, связанные с преломлением света в атмосфере
(более детально этот вид деформаций описан в п. 5.1). 4 - нормальный
белый шум, вносимый датчиком: £ - Л(0,сг|). Тогда модель формиро-
вания яркости наблюдаемого изображения в точке (хп,у(.) примет сле-
дующий вид:
/ = Д1-г)+Лг + £, (8.19)
/ = (8.20)
g и (х, у) = g(x cos <р + у sin <р - а-х sin tp + у cos ip - fi). (8.21)
Предполагается, что яркость объекта в точке (хс,р0) имеет равно-
мерное распределение с граничными значениями
где cmjn.cmax - минимально и максимально возможные яркости точек
изображения, причём а({х,у)« cmax -cmin.
Пусть - совместная апостериорная плотность распреде-
ления параметров а,[5,<р. Обозначим а,Р,<р - оценки параметров евк-
лидова преобразования изображения, полученные по критерию макси-
5-3447 129
Методы автоматического обнаружения и сопровождения объектов
мума апостериорной вероятности. Предположим, что распределение
w(a,0,<p) является гауссовым, параметры евклидова преобразования неза-
висимы, и известны апостериорные дисперсии этих параметров, тогда
1Г(сгХД>(^),
w(<p) ~ Л'(р, сг^), (8.22)
где И'(а), W(fi), И-’(с>) - апостериорные плотности распределения па-
раметров преобразования; - дисперсия оценки смещения, crj -
дисперсия оценки угла поворота.
Дисперсии оценки смещения по х и у полагаем равными одной и
той же величине .
Таким образом, известны величины g(.»,y), Z, а27 , сг|р),
<7^5, Стр. Необходимо принять решение о наличии объекта в точке
(х0,у0), т.е. найти г, которая является оценкой для г. Требования к ал-
горитму задаются в форме Неймана-Пирсона:
Р(;_ [/, = ())< р_,
P(r = l/r = l) = p+-> max, (8.23)
где P(r = I / г - 0) вероятность ложного выделения объекта; р - за-
данное значение вероятности ложного выделения, Р(г = 1/г = 1) и р+ -
вероятность правильного выделения, которая должна быть максимизи-
рована путём оптимального выбора параметров алгоритма выделения
объектов.
Перейдём от формулировки задачи к её решению. В соответствии
с положениями теории статистических решений [17] оптимальное ре-
шающее правило для поставленной задачи определяется выражением:
u [ 1, если A(z) > Ло (8М)
[0, в противном случае,
где a(z) - отношение правдоподобия;
<8-25>
Ло - пороговое отношение правдоподобия; p(l/г = 1), p(l!r = о)- ус-
ловные плотности распределения яркости наблюдаемого изображения
при наличии и отсутствии объекта соответственно.
130
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
При использовании критерия Неймана-Пирсона Ло вычисляется
из условия:
Jp(//r = 0)rf/ = p_. (8.26)
a(0>Aq
Определим условную плотность р(//г = 1). При г = 1 из (8.19)
следует, что яркость наблюдаемого изображения I является композици-
ей независимых распределений p(/i) и p(g):
р(//г = 1) = р(л)*р(^), (8.27)
где * символ свёртки.
Поскольку cr^(x,y)«cmax ~-cmin, то, пренебрегая влиянием шума
с, на плотность p(ll г = 1), будем считать, что
р(//г = 1) = р(л) =
1
-------------, если cmax < h < cmin;
С — с
‘'шах пни
О, иначе.
(8.28)
Теперь оценим условное распределение p(l / г - 0). Для этого вна-
чале найдём распределение p(f) яркости деформированного фона. Из
(8.20), (8.21) следует
f = g<ixo - )cos <P + Uo - zy )sin <P-«,
- (x0 - zx )sin <p + (y(l - zJcos (p P). (8.29)
Обозначим аргументы функции g(x, у) через /лх и /л и преобра-
зуем их:
/=gUx>/'r);
рх = х0 cosp + yc sin^-(zx cosc> + z sin^)-ci;
py = -x0 sin <p + y0 cos <p - (- zx sin <p + z cos <p) p. (8.30)
Рассмотрим величины, заключенные в скобки в (8.30), обозначив
их £х, £у . Поскольку система случайных величин , Г получена в
результате поворота системы величин zx, zy, то fх, ( являются неза-
висимыми гауссовыми случайными величинами с плотностями распре-
деления, равными Л'(о,<т”;).
Далее, выполнив в (8.30) следующую замену: <р - <р + t\<p,
а = а + Д«, Р = р + АД, и применяя формулы косинуса и синуса сум-
мы, получим
131
Методы автоматического обнаружения и сопровождения объектов
/лх = x'cosAp + y'sinAp-^.-а-Да,
цу =-x'sinAp + y'cosAp-^-Д-ДД. (8.31)
где x'=xccosp + j>osinp, у'=-х0 sinp + yc cosp.
Величины Да, ДД, Др - отклонения между истинными значе-
ниями параметров преобразований и их оценками. Они являются нор-
мальными, центрированными и независимыми случайными величинами
с дисперсиями , av соответственно. Принимая гипотезу о ма-
лости Др, заменим синус и косинус разложениями Тейлора, отбрасывая
все слагаемые второго и высших порядков малости: cos Др ~ 1,
sin Др я Др, тогда (8.31) примет вид:
= х'-а + у' Др - - Да, цу - у'-fl - х' Др - - Л.fl. (8.32)
Для нахождения распределения р(/), введём в рассмотрение точ-
ку (х,у), заданную выражениями
х = х'—а = х0 cos р + у 0 sin ёр - а ,
у - у'-fl - -х0 sin р + у0 cos р - fl. (8.33)
Эта точка представляет собой результат отображения точки
(хо>То) посредством евклидова преобразования, заданного оценками
(а,/?,р). Применяя разложение Тейлора функции g(/zx,/zy) в окрестно-
сти точки (х,у), отбрасывая члены второго порядка малости и приводя
подобные слагаемые, получим:
f =» «(/', ,ИГ g{^ Й+ х’Ър +
дх ду )
Ла)+^(-(у-ЛА) (8.34)
дх су
Поскольку f в первом приближении - линейная комбинация не-
зависимых гауссовых случайных величин, то она и сама в первом при-
ближении является гауссовой случайной величиной. Найдём её матема-
тическое ожидание и дисперсию:
£(/)=«(^т)> <8-35)
дх ду J I дх су ) ’
132
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
С использованием понятия градиента изображения выражение
(8.36) принимает вид
£,(/)= ^+к£(*>Я2(<7од+сгг2)’
(8-37)
( 8g 3g
где Vg= —.
дх оу )
Поскольку р(и г -0)= X/)* р(^)’ то искомая плотность распреде-
ления p(l!r — О) близка к гауссовой со следующими математическим
ожиданием и дисперсией:
£(//r = O)=g(x,j)), (8.38)
Г ( । х“12
/y/r-OhlvgfcH У, ^+IVg(£,y)2(a^ + ^)+al. (8.39)
I \ х /
Подставляя найденную условную плотность вероятностей
р(//г = 0) в отношение правдоподобия (8.25), используя (8.24) и (8.26),
можно получить следующее правило принятия решения о наличии объ-
екта в точке (хс, у о):
, , [1, если п(/ / г = б) < Л';
„*(/)=’ 1 (8.40)
(0, в противном случае,
где порог Л’ определяется из соотношения
^(//г-О^-р. (8.41)
Таким образом, принимается решение о наличии объекта, если ве-
личина I не попадает в (1 - р_)-100% доверительный интервал для рас-
пределения p(l / г = О). В противном случае принимается решение о
присутствии фона в точке (.rtl,y(l). Формально это правило можно за-
дать следующим образом:
; = fl, ecjm|g(x,y)-Z| > d(p_)JD(l / г = О}; (8 42)
[ 0, иначе.
Здесь d(p_) - половина ширины (i p )100% доверительного интер-
вала для нормированной гауссовой случайной величины.
Таким образом, зная фоновое изображение g(x,y), оценки величин
(а, дисперсии а2 , а2^, а2, можно произвести оптимальное по
133
Методы автоматического обнаружения и сопровождения объектов
критерию Неймана- Пирсона выделение объекта путём проверки попадания
наблюдаемого значения яркости / в (1~р. ) 100% доверительный интер-
вал яркости, центр которого находится в точке
Поясним качественный смысл выражений (8.39), (8.42). При де-
формациях изображения наибольшие ошибки измерения яркости будут
присутствовать вблизи резких перепадов яркостей. Поэтому в этих об-
ластях ширину доверительного интервала надо увеличить. Напротив, в
тех местах, где изображение однородно, деформации не вызывают
больших ошибок, и даже небольшое изменение яркости свидетельствует
о наличии объекта.
Заметим, что при неизвестных фоновом изображении g(x,y) и
дисперсии аддитивного шума, для их оценки можно использовать под-
ходы, описанные в п. 8.1. В целом предлагаемый подход является обоб-
щением подхода, рассмотренного в [40], и сводится к нему при отсутст-
вии вращения изображения.
Рассмотрим пример работы описанного алгоритма. Для экспериментов был
использован сюжет, содержащий изображение движущегося автомобиля. При
съемке сюжета ось датчика поворачивалась оператором вслед за автомобилем
и, кроме того, происходил крен датчика. Кадры видеосюжета были искажены
вследствие турбулентности атмосферы. Изображения 50- и 200-го кадров ви-
деосюжета представлены соответственно на рис. 8.1 ,а.б.
Оценка параметров евклидова преобразования выполнялась по централь-
ной области кадра размером 256*256 точек. Выделение объектов произво-
дилось в центральной части кадра размером 400*400 точек
Желаемый результат работы процедуры выделения объекта приведён иа
рис. 8.2,о. Желаемый результат выделения объекта соответствует кадру №
200. повёрнутому на угол (-^2). Изображение этого кадра, подвергнутое
повороту, приведено на рис. 8.2,6. На рис. 8.2 приведены бинарные изо-
бражения. полученные в результате выделения объектов с различными
параметрами алгоритма. Заметно значительно меньшее количество невер-
но выделенных точек на рис. 8.3,6 по сравнению с 8.3,о.
а) б)
Рис. 8.1. Кадры видеопоследовательности, использованной при исследованиях:
а калр № 50; б кадр № 200
134
Алгоритмы автоматического обнаружения и выделения движущихся объектов ...
Рис. 8.2. Исходное изображение и желаемый результат выделения
на 200-м кадре видеосюжета:
а — исходное изображение, подвергнутое повороту;
б желаемый результат выделения объекта
Рис. 8.3. Результаты выделения объекта при различных параметрах алгоритма:
сг2 = +<т; ; a d = 3,25 : «г, = 0: <тр - 0;
б- d=3;<rs =0.05; сг, =0,0075
135
9. Модели и алгоритмы управления
приводами оптико-механической
системы автоматического
сопровождения объектов
по данным видеонаблюдений
Оптико-механические системы применяются при решении таких
задач как навигация, круглосуточное пилотирование летательных аппа-
ратов, поиск, обнаружение и сопровождение наземных, надводных, воз-
душных подвижных и неподвижных объектов, оценка состояния техно-
генных объектов, мониторинг дорожной обстановки и массовых меро-
приятий. В зависимости от области применения оптико-механические
системы автосопровождения объектов строятся по различным схемам,
при этом системы автосопровождения объектов по данным видеонаб-
людений могут быть одно-, двух- и трехканальными с независимыми
или взаимосвязанными каналами, самостоятельными системами автома-
тического управления или представлять часть более сложных систем.
9.1. Общий принцип построения системы
видеосопровождения объектов
Автоматическое сопровождение объекта оптико-механической
системой предполагает непрерывное совмещение оптической оси ви-
деодатчика системы с направлением на объект, осуществляемое приво-
дами системы с использованием информации о координатах сопровож-
даемого объекта в последовательности кадров изображений видеодат-
чика. В настоящее время к бортовым системам видеосопровождения
предъявляются достаточно жесткие требования к величине ошибки со-
провождения при высокой динамике изменения направления на объект
(угловая скорость и ускорение достигают значений десятков угловых
градусов в секунду и сотен угловых градусов в секунду в квадрате соот-
ветственно). Ошибка автоматического сопровождения объекта не долж-
на превышать значений нескольких десятков угловых секунд. Часто
система видеосопровождения располагается на подвижном носителе
(рис. 9 I).
136
Модели и алгоритмы управления приводами оптико-механической системе1
Рис. 9.1. Система видеосопровождения на подвижном носителе
На точностные характеристики системы видеосопровождения
влияют:
максимальная угловая скорость и ускорение изменения направле-
ния на объект относительно носителя опорно-поворотной платформы с
видеодатчиком (ВД);
частота формирования видеокадров;
частота дискретизации информации об углах поворота рамок кар-
данного подвеса;
ширина поля зрения видеодатчика и размер формируемого им изо-
бражения;
точность вычисления координат центра объекта применяемыми
методами обработки изображения;
величина времени запаздывания в контуре управления, обуслов-
ленная затрачиваемым временем на обработку изображения;
структура системы видеосопровождения;
алгоритм формирования управления приводами исполнительного
устройства;
передаточная функция исполнительного устройства (приводов
скорости карданного подвеса);
вероятность и длительность возможного пропадания информации
о положении объекта на изображении.
Система видеосопровождения (СВС). укрупненная функциональ-
ная схема которой показана на рис. 9.2, содержит электрические приво-
ды отработки заданных угловых положений рамок карданного подвеса,
.вязанные механически с ВД. датчики угловых положений рамок ис-
полнительного устройства относительно некоторого начального поло-
жения, вычислительное устройство (ВУ) для оценки координат сопро-
вож 1аемого объекта в прямоугольной системе координат изображения.
137
Методы автоматического обнаружения и сопровождения объектов
В ВУ также входит блок формирования управления, вырабатывающий
на основе принятого закона управления управляющие воздействия, ко-
торые в виде выходных напряжений с выходов цифроаналоговых пре-
образователей подаются на приводы рамок карданного подвеса.
Рис. 9.2. Функциональная схема СВС
Определение координат объекта на изображении производится ал-
горитмами, рассматриваемыми в предыдущих главах, которые могут
вносить заметное запаздывание в контур управления.
9.2. Математическая модель двухосного
карданного подвеса с видеодатчиком
Основной задачей СВС является непрерывное во времени совме-
щение оптической оси ВД с направлением на объект, наблюдаемый на
изображении. Для решения поставленной задачи в принципе достаточно
использовать двухосный карданный подвес в качестве исполнительного
устройства. Управление положением оптической оси ВД в пространстве
осуществляется с помощью двух приводов (рис. 9.3). Один из приводов
изменяет угол поворота О внешней рамки двухосной карданной систе-
Г*
Рис. 9.3. Двухосная карданная Рис. 9.4. Изображение,
система с ВД формируемое ВД
138
Yp 1 1 1
ot
Модели и алгоритмы управления приводами оптики-механической системы ...
мы относительно носителя, а другой - угол (р положения внутренней
рамки с закрепленным на ней ВД относительно внешней рамки. На-
правление оптической оси ВД перпендикулярно оси вращения внутрен-
ней рамки. На изображении объект (центр изображения объекта) пред-
ставлен точкой Р (рис. 9.4).
Система сопровождения определяет координаты центра изображе-
ния объекта ХР и Yp в плоскости изображения каждого кадра (измери-
тельная система координат ). Оптической оси ВД соответствует
точка О, на изображении. Считается известным угловое поле зрения
ВД, которому соответствует прямоугольное изображение, формируемое
ВД, размером 2А'„ x2F„ . Требуется по измеренным значениям ХР, Yp
и показаниям датчиков углов поворотов 6 и <р на момент получения
кадра изображения определить требуемые угловые положения рамок
кардана 0Р и <рГ, при которых оптическая ось ВД совпала бы с направ-
лением на объект. При этом приращения ,\0 = 0Р 0 и &<р = <рР - <р
будут представлять рассогласование, а 0Р и <рР в некоторой принятой
системе отсчета (системе координат привязанной к строительным осям
носителя СВС) можно рассматривать как заданные значения углов
поворота рамок карданного подвеса.
Примем в качестве модели изображения, формируемого ВД с по-
лем зрения ( 20д х 2(од ), изображение размером 2ХД х 2ГД, получающее-
ся на чувствительной прямоугольной пластине ABCD, перпендикуляр-
ной оптической оси ВД СО, и расположенной на расстоянии R от точ-
ки О (центра оптической системы ВД). Построение модели изображе-
ния осуществляется при условии, что любая произвольная точка пла-
стины воспринимает только световой поток луча, проходящего через
данную точку и центр О ВД (рис. 9.5).
Рис. 9.5. Модель изображения, формируемого ВД
139
Методы автоматического обнаружения и сопровождения объектов
Рис. 9.6. Геометрическая иллюстрация
определения рассогласования направления
на объект и оптической оси ВД
Указанная модель изображения в некотором масштабе, зависящем
от величины R и фокусного расстояния линзы, будет повторять изо-
бражение, формируемое ВД. В дальнейшем под создаваемым ВД изо-
бражением будем понимать изображение на плоском прямоугольнике
ABCD, размеры которого оп-
ределяются величинами R,
(>:1, <рД. Точка О, этого изо-
бражения всегда будет нахо-
диться на поверхности шара
(рис. 9.6) радиуса R с центром
в точке О, являющейся точ-
кой пересечения осей враще-
ния рамок карданного подвеса
(см. рис. 9.3). Положение точ-
ки О| на шаре однозначно оп-
ределяется значениями О и
<р. Угол <р определяется как
угол наклона оптической оси
ВД к плоскости, включающей
ось вращения внутренней рам-
ки и перпендикулярной плос-
кости внешней рамки, а угол
О как угол поворота внешней рамки относительно некоторого ее поло-
жения, принятого за «нулевое». Плоскость изображения У, О, К, всегда
является касательной к поверхности шара в точке О,, лежащей на опти-
ческой оси ВД.
Окружности на поверхности шара, образованные точками пересече-
ния поверхности шара с плоскостями, перпендикулярными оси вращения
внешней рамки, являются окружностями равного значения <р оптической
оси. Точки /7,, П7 пересечения оси вращения внешней рамки с поверх-
ностью шара являются полюсами вращения. Полуплоскость, ограничен-
ная осью вращения Q и образующая с аналогичной полуплоскостью,
принятой за нулевую, угол О, является полуплоскостью равного 0. При
угле поворота 0 внешней рамки точка (?, оптической оси будет с изме-
нением угла (5 перемещаться вдоль линии пересечения данной полу-
плоскости с поверхностью шара (линия одинакового значения 0).
Ось К] изображения (или ее часть) при углах в и <р, определяю-
щих направление оптической оси, всегда находится в полуплоскости за-
данного 0. Ось Л", изображения есть линия пересечения двух плоско-
140
Модели и алгоритмы управления приводами оптико-механической системы ...
стей, включающих соответственно окружность равного значения ф и
окружность главного круга с центром в т. О, включающей в себя т. О,
(на рис. 9.6 не показана). Луч ОР определяет направление на объект.
Точка Р - точка пересечения луча ОР с плоскостью изображения. Оп-
ределение угловых координат 0Р и <рР точки Р (или луча ОР) или
разностей i\0 = 0P-0 и &<р = <рР - <р поясняет рис. 9.7.
Рис. 9.7. Геометрическая иллюстрация определения угловых
координат объекта:
а общий вид; б - геометрическая иллюстрация в плоскости OOtS
На рис. 9.7,а,б ось Q соответствует оси вращения внешней рамки
карданного соединения. Отрезок ОО, длиной R лежит на оптической
оси ВД, Oft? - перпендикуляр на ось Q. Угол <р определяет наклон
оптической оси к плоскости, перпендикулярной оси Q . Плоскость изо-
бражения перпендикулярна направлению оптической оси. Точка
Р с координатами ХР, Yp есть точка пересечения линии, определяю-
щей направление на объект, с плоскостью изображения. Точка S явля-
ется точкой пересечения оси К, с осью Q . или, другими словами, точ-
кой пересечения осью Q плоскости изображения.
При изменении 0 и постоянном значении <р точка Ot будет дви-
гаться по окружности с центром в точке О2 • При этом ось Xt всегда
141
Методы автоматического обнаружения и сопровождения объектов
будет касательной к данной окружности в точке О,. Аналогично точка
7-J будет двигаться по окружности с центром в точке Р2, а прямая 77),
параллельная оси А',, по сути, касательная к указанной окружности.
Следовательно, РР2 и PtP2 - перпендикулярны к оси Q, что очевидно
из рассмотрения рис. 9.7,6, на котором плоскость треугольника O€\S
положена на плоскость листа. Ру А перпендикуляр на прямую линию,
включающую О,О2.
Перейдем к определению требуемого угла поворота АО, при отра-
ботке которого оптическая ось окажется в плоскости треугольника
OPS, то есть угла РуР2Р (рис. 9.7,а). При этом за положительное зна-
чение угла (р будем принимать угол OyOV (рис. 9.7,6), отсчитываемый
от оси OV против часовой стрелки, считая справедливым ограничение
|(р] < >т/2 . Очевидны следующие соотношения:
ZOOjO2 - <р = АОуРуА как углы, образованные взаимно перпенди-
кулярными прямыми;
= О}О2-Оу А, где ОуА = YP sin(5.
С учетом знаков YP и <р
Р,Р2 = OyO2-Ypsinp = Rcos<p-YPsin</>; (9.1)
OP2 - OO2 +YP costp - Rsintp + Yr costp; (9.2)
OP = ylR2 + XP + YP . (9.3)
Ось OyXy XOO, и 0,1'] ±0,1), следовательно, ось Ху и парал-
лельный ей отрезок РРу перпендикулярны плоскости треугольника
ОО{S. Это означает, что ZP/)P2 - прямой и из треугольника РРуР2
имеем
рр —У
tgA0 =---L =--------Е------. (9.4)
Ру Р2 R cos <р - YP sin <р
В (9.4) знак минус перед знакопеременным Хр поставлен с учетом
того, что принято считать положительным изменениям угла 0 его из-
менение при вращении плоскости OOyS вокруг оси Q против часовой
стрелки.
Из прямоугольного треугольника ОР2Р имеем
OP, Psine> + YP cose;
sin q>p = —- = - --
OP ^R2 +XP+YP
(9.5)
142
Модели и алгоритмы управления приводами оптико-механической системы ...
Следовательно,
Л0 = arctg------—-------; 0Р - + О; (9.6)
Rcosp-Yp sin#?
. tfsinp+fpcos#?
(Рр = arcsin —, .— . (9.7)
^R2+Xp+Yp
Используемые в (9.6) и (9.7) значения углов О к if определяют
текущее направление оптической оси и берутся из показаний датчиков
углов поворота рамок карданного подвеса с учетом начала отсчета каж-
дого из углов.
Обычно координаты сопровождаемого объекта представляют в
пикселях оцифрованного изображения, это требует преобразования вы-
ражений (9.6) и (9.7), что и делается ниже. Поле зрения ВД в угловых
единицах составляет величину (20д х2(од), а в линейных единицах - ве-
личину (2А'дх2Гд), где
Xx-Rt^eB,Ya=Rtg^ (9.8)
являются положительными величинами. Тогда выражение (9.6) приво-
дится к виду
Д0 = arctg
_____R
YP .
cosp—
= arctg-
Y Y
‘g^
X Д N A
=arctg--------J-----------= arctg-----------------------
cosp—f’tg^simu cos<»-:;-l£-tg(»;lsin(i>
¥Л Nrx
(9.9)
=arctg----; &0=0P-0.
cos #? - NypKy sin #?
„ л.. „ „ ‘ёРд
Здесь постоянные коэффициенты Кх -------, К¥ =----- опреде-
NXa nyr
ляют коэффициенты пересчета ошибки сопровождения Nrp в
пикселях изображения в углы рассогласования АО, &<р, выраженные в
радианах. Аналогичные преобразования (9.7) дают
143
Методы автоматического обнаружения и сопровождения объектов
(9.10)
sin т + NypKr cos w
, tr- г г , \<р = <рГ-<р.
Vl+(W^)2+(^r)2
В выражениях (9.9), (9.10) Nx!, и NYP количество пикселей рав-
номерно дискретизованного по осям О,А',, изображения, которы-
ми представлены величины ХР и Ур соответственно с учетом их знака;
Л'А-,, Л>„ - положительные величины в пикселях, соответствующие
значениям Ха, Уд.
Для Д0 и Д<р при выполнении определенных условий могут быть
получены достаточно простые приближенные выражения. Так, при
<ра<п!Л, 0д<л74 , размере изображения по осям в несколько сотен
пикселей в установившемся режиме сопровождения объекта (отклоне-
ние центра объекта от центра изображения не превышает одного - трех
пикселей) знаменатель в дроби (9.10) можно принять за единицу. Тогда
при малых Ду> можно записать
sin(»f -sin(y> + Ay?) - sin yicos Ap + cosy? sin Ag? = sinyi + Ayicosyi-
Ksiny? + Arrf,Atcosy?. (9.11)
Из последнего приближенного равенства в (9.11) имеем
^<p«N„KY. (9.12)
При тех же оговоренных условиях для малых Д0 и значений
|(р| < 84 угл. градусов ( cos(|yi|) > 0,1) вторым слагаемым знаменателя в
(9.9) можно пренебречь и, заменяя tan t\0 (в радианах) получаем
tgAi9 = -AA- Л^;
cos <р
(9.13)
Д 0 ~ arctg | - Кх 1я -Кх .
( cosy?) cosy?
Таким образом, при выполнении отмеченных выше условий вы-
числение рассогласований Ду? и Д0 можно производить по упрощен-
ным выражениям (9.12), (9.13).
144
Модели и алгоритмы управления приводами оптико-механической системы ...
Важное значение имеет решение обратной задачи, по значениям
углов <р, <рр, в, 0р определить координаты Хр, Yp точки Р на плос-
кости изображения. Это необходимо для моделирования системы со-
провождения объектов на компьютере и исследования влияния различ-
ных дестабилизирующих факторов на устойчивость и точность работы
системы в целом, а также для определения траектории движения объек-
та иа плоском изображении.
Обратимся снова к рис. 9.7,а. Для прямоугольного треугольника
РР\Р2 с учетом знаков ХР и &0 = 0р-0 имеем
Хр - ~(PxP2)tgЫ) =-(7? cos (О-Ур sin у;) tg Ай; (9.14)
„ .„ „. . OP, . „ R sin + YP cos <р . „
ХР = -(P2P)sm&0 =-----— sinA0 =--------— ------—sinAf? .(9.15)
tgPp
Приравняв правые части (9.14), (9.15) и решив полученное уравне-
ние относительно YP, получим
_ 7?(cos(Ptg(»p -sinpcosAfl)
ip —-------------------------. (9.1 о)
sin<fftg(Pp + cos^cosA0
У X
Таким образом, определение относительных величин — и ——
R R
сводится к последовательному вычислению выражений
ГР _ cos^sin^?p — sin^cos^>pcosA0
R sin tp sin фр + cos фсоьфр cos А^ ’
X (Y
—— = — sin^-cos^ tgA0. (9.18)
R R J
У X
Величины — и —— можно перевести в пиксели NYPi Nxp
R R
оцифрованного изображения как это осуществлено в выражении (9.9) с
возможным последующим округлением до целых значений. Для этого
достаточно в (9.17), (9.18) произвести замены:
(9.19)
Л .Увд К
Соответственно можно записать
_ 1 cosffsin^p-sin^cosyipCosAg
Ку sin^sinfip +cospcos^PcosA0
Nyp!— (Kl A'ypsm</>-cos<o)tgAf7 . (9.21)
6-3447
145
Методы автоматического обнаружения и сопровождения объектов
Если считать, что выполняются условия, оговоренные при получе-
нии приближенных соотношений (9.11), (9.12), (9.13), то в (9.20) и (9.21)
приближенно можно положить cos А0 —1 и KYNYr sin <р = 0, считая, что
KYNYP « costp . Это дает возможность использования приближенных
соотношений:
N 1 cos0>sm0>p -sin^cos(z>p 1 sin(^P - tpj
YP KY sin tp sin <pp + cos <p cos <pP KY cos((pp — tp)
= = (9-22)
zVjr Л. у А у
№-T-cos^tgA0^-^~-A0, (9.23)
Kx Kx
где углы Др и Д0 берутся в радианах.
Отметим некоторые обстоятельства:
для реализации системы автосопровождения объекта можно ис-
пользовать вычисления отклонений А0 и Др по выражениям (9.9),
(9.10) или (9.12), (9.13) для управления соответствующими приводами,
замкнутыми скоростной обратной связью. Можно также использовать
следящие приводы, замкнутые по положению выходного вала, причем
вычисляемые величины 0Г и ipP будут являться заданными значениями
углов поворота соответствующих следящих приводов;
использование в системе сопровождения приближенных оценок
(9.12), (9.13) не устраняет очевидную взаимную связь контуров управления
по 0 и <р. Эта связь проявляется в том, что изменение любой из указанных
координат приводит к одновременному изменению не только значений X р
и YP, ио и Д0, Др. Использование точных выражений (9.9), (9.10) для
вычисления Л0 и <рР фактически устраняет эту взаимную связь;
при выводе всех выражений предполагалось наличие ограничения
для угла р значениями ±л/2 .
9.3. Структурные схемы систем автосопровождения
объектов
Из выражений (9.9), (9.10) или (9.12), (9.13) вытекает, что для реа-
лизации управления приводами можно использовать значения Др, Д0,
которые играют роль рассогласований в СВС, или абсолютные значения
рР, 0Р, определяющие требуемые положения рамок кардана. Таким
образом, имеется возможность двух вариантов построения системы со-
провождения (рис. 9.8 и9.9) [41,44].
146
Модели и алгоритмы управления приводами оптико-механической системы ...
Рис. 9.9. Функциональная схема реализации СВС по второму варианту
147
Методы автоматического обнаружения и сопровождения объектов
Вариант 1 построения СВС с использованием рассогласований,
вычисленных по (9.9), (9.10), содержит:
вычислительное устройство (ВУ), которое включает блок опреде-
ления координат (БОК) центра объекта, выполняющий сложный вычис-
лительный алгоритм обработки изображения или последовательности
видеокадров (см. гл. 4...8). Результатами такой обработки являются из-
мерения Л'я,, NrP координат Уду, Nre центра объекта в прямоуголь-
ной системе координат О, У, У, оцифрованного изображения (см. рис.
9.4). Величины У и У исчисляются в пикселях матрицы изображения.
Удобно время запаздывания г, затрачиваемое БОК на вычисление
Уду , Nyp, учесть вводом элементов задержки на данное время, обозна-
ченных на схеме прямоугольниками с буквой г . Функциональный пре-
образователь координат У, по текущим значениям Уду, Ууу, <р, где
- измеренное значение угла поворота внутренней рамки в момент
фиксации текущего видеокадра с помощью датчика угла , вычисляет
оценки рассогласований направления на объект и оптической оси ВД в
сферической системе координат двухосного привода, то есть отклоне-
ния Д0 и . Время, затрачиваемое на преобразование координат,
обычно значительно меньше г и в дальнейшем ие учитывается;
цифровые регуляторы (ЦР) с цифроаналоговыми преобразовате-
лями (ЦАП), формирующие требуемые законы управления в каждом
канале отработки рассогласований ЛВ и Ар . ЦАП выдают управляю-
щие напряжения на соответствующие приводы;
электромеханические приводы скорости (ПС), предназначенные
для поворота рамок двухосной карданной системы, и имеющие, как
правило, отрицательную обратную связь по скорости , £1е измене-
ния углов поворота <р и 0 соответствующих рамок системы. Прямо-
угольники на схеме с обозначением интеграла определяют связь угла
поворота соответствующей рамки с угловой скоростью ее вращения;
ВД, представленный формально на функциональной схеме в виде
функционального преобразователя /-2, преобразует координаты тре-
буемого направления на объект <рР , и текущего направления опти-
ческой оси ВД ср, 0 ъ координаты Л'АГ, центра объекта на изо-
бражении. Преобразователь Г2 выполняет вычисления в соответствии с
выражениями (9.20), (9.21);
синхронно работающие ключи К1...К5 определяют моменты фор-
мирования изображений в ВД и моменты измерения угла <р. Частота замы-
148
Модели и алгоритмы управления приводами оптико-механической системы ...
кания ключей определяется частотой формирования видеокадров. Примем
частоту формирования видеокадров равной /, -1/7] =50 Гц.
Вариант 2 реализации СВС помимо перечисленных элементов и
узлов, содержащихся в схеме на рис. 9.8, содержит канал измерения уг-
ла поворота в внешней рамки, для чего в схему включен датчик угла
Др, блок прогнозирования БП для компенсации запаздывания в выдаче
требуемых углов поворота рамок кардана и вычисления межкадровых
координат объекта с частотой /2 = — > f. Прогнозирование в БП осу-
Тг
ществляется при поступлении в СВС очередного кадра изображения
(момент времени t0 ) на время znPj, которое вычисляется по формуле
*пр/ = <о + г + '~, (924)
К
где i = O.K-1 ,К = f2lfy, К- 2,3,4,...
Прогнозирование угловых координат объекта возможно различ-
ными методами, например, методом наименьших квадратов, макси-
мального правдоподобия, сплайн-функциями и т.п.
Задержанные на время г дискретные значения углов <р и в по-
даются на преобразователь F[ для вычисления требуемых углов пово-
рота срР и вг. Узлы, включающие ЦР, ЦАП, ПС, J, Д,,, Др, элементы
сравнения, ключи К7 и К8, работающие на повышенной частоте /2,
представляют два следящих привода СП^ и СПв, задачей которых яв-
ляется отработка выдаваемых на повышенной частоте блоками прогноза
требуемых углов азимута и места рамок карданного подвеса.
При реализации СВС по варианту 2 динамические свойства систе-
мы в целом определяются динамическими свойствами контуров следя-
щих приводов СПр и СПЙ, которые не включают элементов запазды-
вания и работают на повышенной частоте дискрегизации f2 > f. При
этом коэффициенты передачи внешних по отношению к СП₽ и СП,,
разомкнутых контуров управления близки к единице, что дает возмож-
ность с помощью блоков прогнозирования компенсировать запаздыва-
ние у в каждом контуре без потери ими устойчивости. Возможности
использования БП в данном случае ограничены наличием ошибок изме-
рительных устройств (БОК, Др , Дв), носящих случайный шумовой ха-
рактер, поскольку любой БП увеличивает дисперсию указанных ошибок
измерения. Учет данного обстоятельства, естественно, требует взве-
149
Методы автоматического обнаружения и сопровождения объектов
шейного подхода при выборе варианта реализации СВС. Отказ же от
использования БП в варианте 2 приведет к тому, что при высоких дина-
мических показателях следящие приводы СПр и СПЙ будут хорошо
воспроизводить задержанные на г координаты и 0р.
В системах сопровождения по различным причинам возможно крат-
ковременное пропадание информации о положении объекта иа изображе-
нии. В данном случае на время пропадания сигнала требуется организация
управления приводами кардана по прогнозируемой траектории движения
объекта, что возможно при использовании второго варианта СВС.
9.4. Моделирование замкнутой системы управления
ориентацией оптической оси системы сопровождения
Моделирование СВС производится для исследования зависимости
точности сопровождения объекта от различных параметров. Результаты
исследований позволяют настроить систему так, чтобы обеспечить со-
провождение объекта с заданными показателями качества.
Для примера, в качестве цифрового регулятора выберем пропор-
ционально-интегральный ПИ регулятор с передаточной функцией
(9-25)
который обеспечивает совместно с интегрирующим исполнительным
механизмом отработку линейно меняющегося во времени углового по-
ложения объекта с нулевой установившейся ошибкой в контуре слеже-
ния: Т - период дискретизации; z - переменная Z -преобразования;
Kfr - коэффициент передачи регулятора; коэффициент а учитывает
степень ввода численного интеграла.
В данном регуляторе используется более совершенная, по сравне-
нию с методом прямоугольников, аппроксимация интегрируемой функ-
ции трапециями [42]. Замкнутый контур с ЦР работает на частоте дис-
кретизации f = \JT.
Применяемые приводы рамок кардана являются устройствами,
управляемыми непрерывными сигналами, поэтому для перехода от дис-
кретных сигналов, формируемых цифровым регулятором, к непрерыв-
ным в СВС используют ЦАП, представленные фиксаторами нулевого
порядка с передаточными функциями
^ЦА11=^-^^ЦАП> (9-2«
зависящими от комплексной переменной л' преобразования Лапласа и
z = e7i [43].
150
Модели и алгоритмы управления приводами оптико-механической системы ...
В качестве исполнительного устройства в СВС будем рассматри-
вать двухосный карданный подвес с электромеханическими приводами
скорости. Такие приводы в общем случае можно описать передаточной
функцией интегрирующего звена
(9.27)
в случаях, когда постоянные времени привода, расположенные в полосе
пропускания системы, компенсируются цифровым корректирующим
устройством.
Использование преобразования оценок координат центра объекта
из системы координат изображения XlOlYI в угловые координаты сфе-
рической системы координат носителя производится в соответствии с
выражениями (9.9), (9.10) и позволяет рассматривать контуры управле-
ния углами 0 и <р как независимые, в связи с чем рассмотрим отдельно
контур управления утлом 0 при <рр = 0.
Структурную схему канала сопровождения по азимуту системы
автосопровождения по данным видеонаблюдений в простейшем случае
(первый вариант построения СВС), можно представить в виде, изобра-
женном на рис. 9.10, где 0Р - угол азимута объекта, в - угол азимута
оптической оси ВД, Д0 - рассогласование.
Рис. 9.10. Структурная схема одного канала СВС (вариант 1)
Для СВС, как для всех следящих систем, наиболее тяжелым режи-
мом является сопровождение объекта, когда угловая траектория изме-
няется по гармоническому закону [45, с. 100]. Поэтому оценка качества
сопровождения объектов СВС часто производится по максимальной ам-
плитуде ошибки отработки системой синусоидального сигнала, модели-
рующего изменение направления на объект. Предположим, что угловое
направление на объект изменяется по синусоидальному закону
(9.28)
где 0^, - амплитуда изменения угловой координаты 0Р объекта, <ук -
круговая частота, при этом максимальные скорость и ускорение изме-
нения направления на объект соответственно равны 0max<uk,
Кроме полезного задающего сигнала на входе следящего контура
СВС присутствует помеха. Будем считать, что помеха rj(t) - белый шум
151
Методы автоматического обнаружения и сопровождения объектов
с нормальным распределением и дисперсией сг^ум не коррелированный
с сигналом ОP(t) .
Присутствие помехи на входе следящего контура обусловлено
ошибками вычисления требуемых углов поворота рамок кардана, кото-
рые зависят от точности определения текущих углов поворота, характе-
ристик ВД (разрешение формируемого изображения, ширина поля зре-
ния) и точности вычисления координат центра объекта применяемыми
пространственно-временными алгоритмами. Таким образом, на вход
следящего контура СВС подается сигнал
0p(t) = ep(t) + t}(t), (9.29)
являющийся оценкой направления на объект. Следящий контур отрабо-
тывает сигнал, являющийся оценкой углового рассогласования между
направлениями на объект и оптической оси, описываемый выражением
M)(t) = eP(t) 0(0+ '2(0- (930)
Под ошибкой СВС понимается максимальная амплитуда ошибки
сопровождения объекта в режиме установившегося сопровождения
£ = Д0 = тахД0(/) = max(0p(f)-0(Z)). (9-31)
t t
Рассматриваемая система является линейной, следовательно, ошибку
сопровождения СВС можно рассматривать как сумму динамической
ошибки отработки системой задающего сигнала 0P(z) и амплитуды
ошибки £птах , обусловленной прохождением через систему шумовой со-
ставляющей tj(t). Ошибка сопровождения СВС представима в виде
^+£ПП^- (9.32)
СВС содержит дискретные блоки (блоки определения координат
объекта на изображении, цифровой регулятор) и непрерывный объект
управления (приводы карданного подвеса), поэтому для исследования
качества работы систему удобно описывать как импульсную (дискрети-
зация по уровню не учитывается) или как цифроаналоговую.
Амплитуда динамической ошибки может быть найдена с исполь-
зованием модуля передаточной функции замкнутой цифроаналоговой
системы по ошибке ф(г) [46]
0
где w(z) -Z-передаточная функция разомкнутой системы.
Так как в нормально работающих системах амплитуда ошибки долж-
на быть значительно меньше амплитуды входного сигнала, т.е. <£д « 0,„ах,
152
Модели и алгоритмы управления приводами оптико-механической системы ...
то можно считать справедливым выражение |k(z)|»1. Поэтому вместо
выражения (9.33) можно воспользоваться приближенным выражением
0
• (934)
Последнее выражение позволяет легко сформулировать требование к
ЛАЧХ системы автосопровождеиия. Для того чтобы входное воздействие
(9.28) воспроизводилось с ошибкой, не превышающей £д, ЛАЧХ системы
должна лежать не ниже контрольной точки с координатами
Q
® = lk)=201g|^(z)||z=eJ4r >201g—= (9.35)
Ьл
Часто при определении условий работы системы сопровождения
оговаривается максимальная скорость £2mas и максимальное ускорение
атах изменения задающего воздействия. В этом случае можно подоб-
рать эквивалентный режим гармонического входного воздействия:
(9-36)
при котором амплитуда скорости и ускорения равны максимальным за-
данным значениям. Эти значения можно получить из выражений:
Из (9.37) находим а\., и ft, ,„а>:
£Ллах=Ятахй4а; = ^-. (9.38)
шм эшах к. j 3 iikiA эпш к.э 7 кз г з fnax S'* '
^max э
Примем в качестве примера, что максимальная скорость и ускорение из-
менения направления на объект равны соответственно: Qiiax = 10 ^ГЛ~ Г^>аД'
с
, угл. град. w
и дгтих -100 --2— • В этом слУЧае эквивалентным синусоидальным сиг-
с
нал будет иметь параметры -10 с1 и втйК ~ 1 угл. град, и примет вид
^ад0) = 1 sinlOr (9.39)
Можно показать [47], что ЛАЧХ разомкнутой системы не должна захо-
дить в область, заштрихованную на рис. 9.11. Эта область однозначно оп-
ределяется положением точки А с координатами 7^=20^— и а/А = 10 с-1.
Здесь и далее для определенности изложения положим £доп =0,02 угл. граду-
сов, £а = 34 дБ.
153
Методы автоматического обнаружения и сопровождения объектов
Рис. 9.11. Запретная область ЛАЧХ
l-"i, шах — »
Шумовая составляющая
£ппшх ошибки сопровождения
объекта на выходе СВС имеет
нормальное распределение в
силу линейности системы со-
провождения и нормального
характера шумовой состав-
ляющей на входе системы.
Следовательно, амплитуду
случайной составляющей
ошибки сопровождения можно
приближенно оценить по пра-
вилу трех сигм а [48]
(9.40)
где <тп среднеквадратическое отклонение шумовой составляющей
ошибки иа выходе СВС.
При наличии на входе цифроаналогового следящего контура СВС
случайного сигнала среднеквадратическое отклонение ошибки ап
на выходе вычисляется следующим обратом [49. с 568]
. ЧЙ
= - J |ф(г)|2
о
,J"71
(9.41)
где /^,(г"1) - корреляционная функция шумовой составляющей ;
Ф(г) передаточная функция замкнутой дискретной СВС; 7] - период
дискретизации системы; спектральная плотность дискретного
шума на входе следящего контура.
Спектральная плотность дискретного сигнала вычисляется по сле-
дующему выражению [50]
S,(<a) = 7]^K[rT1]e-/fflIi , (9.42)
где X'[r7j] - корреляционная функция дискретной помехи.
Для дискретного белого шума спектральная плотность равна
<9-43)
154
Модели и алгоритмы управления приводами оптико-механической системы ...
В случае, когда на автоматическую систему действуют одновре-
менно полезный сигнал и помеха, возникает задача оптимального рас-
чета параметров системы с тем, чтобы получить наименьшую результи-
рующую ошибку. С точки зрения наилучшего воспроизведения полез-
ного сигнала система должна иметь как возможно большую полосу
пропускания. А с точки зрения наибольшего подавления помехи систе-
ма, наоборот, должна иметь как можно меньшую полосу пропускания
[51]. Ширина полосы пропускания системы сопровождения зависит от
параметров цифрового регулятора, периода дискретизации системы, ве-
личины запаздывания г и необходимого запаса устойчивости.
Рассмотрим СВС, изображенную иа рис. 9.10. Данная СВС является
цифроаналоговой системой. Исследование указанной системы будем
производить в дискретные моменты времени. Таким образом, СВС пре-
образуется в дискретную систему, для этого необходимо на выходе сис-
темы поставить дискретизирующий элемент (ключ). Передаточная функ-
ция разомкнутой дискретной системы сопровождения имеет вид [52]
H'(z) = k(1 + «5.1^4Y-5- + 7’;£'|-
V ( 2 1-Z-‘JU-1 Л
(9.44)
где К = Л’ррд А’цдцА',, - коэффициент усиления разомкнутого контура
СВС. Чтобы построить ЛАЧХ, ЛФЧХ системы можно использовать
преобразование [53]
1
1 + J‘g ~
z = e! ' = cos оЯ] + j sin оЯ] ------у-.
(9.45)
Подставив (9.45) в выражение для передаточной функции разомк-
нутой системы H'(z), получим частотную передаточную функцию ра-
зомкнутой системы
jafi
w(e,a‘ =КТ, 1-
________z. | J__ ______z,
[ 2tg^ T> jl + 7tg^p
(9.46)
Определив модуль и фазу можно построить логарифмические ха-
рактеристики СВС.
ЛАЧХ рассматриваемой системы вычисляется по выражению [54]
155
Методы автоматического обнаружения и сопровождения объектов
20lg|n'(e"“’i )| = 201g|X'7j + 201g
, J°ri
„ аТ.
2tg—1
+201g
toT,
~J~tg 2-,7i-r
+ 201g
, <oT.
2“
. °)T\
1 + J »g у
2tg"J- T>
ЛФЧХ может быть вычислена по выражению
(9.47)
+ arctg
-1
T, - 2r a>T.
- tg 1
7] 2
(9.48)
На рис. 9.12 представлены логарифмические амплитудно-частотные
тарактерисгики (ЛАЧХ) Ца) = 201g |и'(е"“Г| )| и фазочастотные характери-
стики (ЛФЧХ) (о(ги) для 7J =0,02с, г = 0,01 с. Х = 40с‘ и различных
значений параметра а (кривая 7 - а = 5 с 1, кривая 2 - а = 20 с 1, кривая
3 - а = 40 с-1). Заштрихованная область на этом же рисунке иллюстрирует
запретную область (см. рис. 9.11). в которую не должна заходить ЛАЧХ ра-
зомкнутой системы для обеспечения точностных показателей, предъявляе-
мых к системе сопровождения.
Рассмотрение ЛЧХ на рис. 9.12 позволяет сделать вывод о невоз-
можности достижения заданных точностных показателей при построе-
нии системы сопровождения по структуре, изображенной на рис. 9.10.
Чтобы ЛАЧХ системы не заходила в запретную область необходимо
увеличивать значения К и а . Значение К ограничено по соображения
устойчивости замкнутого контура величиной , определяемой из со-
отношения ) = -д. Должно также учитываться требование необхо-
димости запаса устойчивости системы, т.е. частота среза &>cp системы
(7.(д>ср) = 0) должна располагаться левее со*. Увеличение а ведёт к
уменьшению и, следовательно, к уменьшению требуемой частоты
156
Модем и алгоритмы управления приводами оптико-механической системы ...
среза й?ср, определяемой из условия 1_(<лср)=0. В рассматриваемом
случае определяющее влияние на качество и точность работы системы
оказывают параметры г и Т\.
Рис. 9.12. ЛЧХ разомкнутой СВС (вариант 1):
кривая 1 а 5 с 1; кривая 2 а = 20 с кривая 3 - а = 40 с’
Моделирован не системы сопровождения, построенной по структуре,
представленной на рис. 9.10 для значений /,=50 Гц, г = 0,01 с,
fr) = 1 sin I0/ лает следующие результаты:
а) для К 15 с 1 и а = 7,5 с 1 имеем <7 = 32%, Д/9 = 0.8 угл. град.;
б) для К = 20 с и а = 10 с имеем <7 = 40%, Д£? = 0.5 угл. град.;
в) для К=30 с1 н о = 15 с 1 имеем <7 = 60%, Д# = 0,24 угл. град.;
г)для Д6> = 0,24 с”1 и а = 20 с*1 имеем <7 = 82%, Д6> = 0,16 угл. град.;
д) для т = 0 с. К =50 с-1 и о = 25 с"1 имеем <7 = 107%, \# = 0,08 угл.
град. Здесь <7 величина перерегулирования в системе, Д6> - амплитуда
установившейся ошибки.
157
Методы автоматического обнаружения и сопровождения объектов
На рис. 9.13 показан график ошибки сопровождения объекта СВС
(вариант 1), угловая траектория направления на объект моделируется
эквивалентным гармоническим сигналом (9.39), параметры регулятора
соответствуют п. в).
Рис. 9.13. Ошибка сопровождения СВС (1 вариант)
О достижимой точности работы системы можно судить по полу-
ченным данным моделирования. Даже при не жестком ограничении на
перерегулирование (О' < 60% ) наилучшим значениям параметров на-
стройки регулятора (К = 30 с’1, с = 15 с-1 ) соответствует амплитуда
ошибки воспроизведения вышеуказанного синусоидального сигнала
Ав - 0,24 угл. град., что при современных требованиях к точности ра-
боты СВС не может быть признано удовлетворительным.
В случае если СВС была бы непрерывной системой (отсутствовали
бы ошибки дискретизации), при отсутствии запаздывания и ошибок оп-
ределения координат центра объекта на изображении, при той же струк-
туре построения СВС увеличением параметров регулятора до значений
К = 100 с-1 и а = 50 с'1 можно добиться, чтобы ошибка сопровожде-
ния объекта не превышала значения Ав = 0,02 угл. град., приемлемого
для практики.
В рассматриваемом случае определяющее влияние на качество и
точность работы системы оказывают параметры г и 7]. Путь, связан-
ный со снижением величины г , приводит к значительным аппаратным
усложнениям блока определения координат объекта и, с этой точки зре-
ния, не всегда приемлем. Частота поступления кадров видеоизображе-
ний 1/Г| определяет частоту дискретизации системы (частоту поступле-
158
Модели и алгоритмы управления приводами оптико-механической системы ...
ния кадров). Выход из сложившейся ситуации возможен лишь на пути
структурных изменений системы.
Рассмотрим второй вариант структуры СВС, показанный на рис. 9.9.
Функциональную схему одного канала сопровождения системы можно
представить в виде, изображенном на рис. 9.14.
Рис. 9.14. Функциональная схема одного канала СВС (2 вариант)
Основным отличием варианта 2 построения СВС (см. рис. 9.9) явля-
ется использование блока прогнозирования БП, компенсирующего запаз-
дывание в выдаче угловых координат сопровождаемого объекта и увели-
чивающего частоту дискретизации задающего воздействия следящего
привода СПе. Рассматриваемая система содержит внешний контур (на
рисунке не показан), который замыкается через пространство и ВД.
В случае построения СВС по указанной схеме, увеличивая полосу
пропускания системы СПе, удается уменьшить динамическую ошибку.
Проведем исследование точности сопровождения объектов СВС, по-
строенной по варианту 2, в предположении, что ошибка прогнозирова-
ния мала, и ею можно пренебречь. На вход следящего привода СВС по-
дается сигнал, описываемый выражением (9.39) и искаженный аддитив-
ной нормальной помехой.
Рассмотрим систему сопровождения, изображенную на рис. 9.14.
Предположим, что блок определения координат и блок прогнозирова-
ния имеют коэффициент усиления равный единице, при этом БП полно-
стью компенсирует запаздывание в выдаче координат объекта. Тогда
СВС можно описать передаточной функцией разомкнутого контура
СП„ вида [53]:
= (9.49)
где как и ранее К - коэффициент усиления разомкнутого контура СПЙ,
К
a IT (z)ITn(s) я —а, корректирующим устройством (на схеме не показа-
s
на) компенсируются постоянные времени привода исполнительного
устройства.
159
Методы автоматического обнаружения и сопровождения объектов
Следует учесть, что Т2 < 7]. Подставив выражение (9.45) с заменой
7] на Т, в (9.49) получим частичную передаточную функцию разомкну-
того следящего привода:
И'(е,‘“Тг) = КТ2 1-
э. й’7->
2tg 2J
-y-tg J
э. й’7»
2«g £
(9.50)
Логарифмические характеристики рассматриваемой системы вы-
числяются по выражениям [52]
20^(^)1 = 20^7)1 + 2018
JaT2
- <оТ2
2,е2
+ 20lg
юТ-,
-j-tg 2
2tg^
, (9.51)
arg (1Г (e""7*)) = arctg
~aT2
». <oT2
2tg —
+arctg
<уГ,
tg 2*
(9.52)
Рис. 9.15. ЛЧХ разомкнутой СВС (вариант 2)
160
Модели и алгоритмы управления приводами оптико-механической системы ...
На рис. 9.15 показаны логарифмическая амплитудно-частотная ха-
рактеристика (ЛАЧХ) 1(a)) = 20 lg|pK(e7аТг )| и фазочастотная характери-
стика (ЛФЧХ) р(со) следящего привода для Т2 =0,005 с, К = 150 с 1,
а = 75 с-1, при этом перерегулирование составляет су = 23 %. Из ри-
сунка видно, что ЛАЧХ не заходит в запретную область (см. рис. 9.11),
следовательно, следящий привод обеспечивает ранее заданную точность
отработки эквивалентного синусоидального сигнала.
Динамическая ошибка на выходе системы при воздействии на вход сле-
дящего привода СВС гармонического эквивалентного сигнала (9.39) вы-
числяется с использованием выражений (9.34) и (9.49). При параметрах
К = 150 с"1, а = 75 с 1 и наличии случайной составляющей на входе сис-
темы с Зсгшум =0.05 угл. град, динамическая ошибка системы имеет зна-
чение = 0.009 угл. град. Ошибка на выходе следящих приводов от слу-
чайной составляющей рассчитывается при помощи выражений (9.40),
(9.41), (9.49) и равна ^11тжх = 0,049 угл. град. В данных расчетах не учиты-
валась ошибка прогнозирования, однако она не сильно повлияет на слу-
чайную составляющую ошибки системы при условии, что траекторию уг-
лового направления на объект удается достаточно точно аппроксимиро-
вать полиномом невысокого порядка и время прогнозирования соизмери-
мо с периодом формирования видеокадров.
На рис. 9.16 показана ошибка сопровождения объекта СВС (вари-
ант 2) с учетом пространственной дискретизации кадров ВД. При этом
угловая траектория направления на объект моделируется эквивалент-
ным гармоническим сигналом (9.39), параметры системы имеют значе-
Рис. 9.16. Ошибка сопровождения СВС (вариант 2)
161
Методы автоматического обнаружения и сопровождения объектов
ния К = 150 с 1, а = 75 с 1, Тг = 0,005 с. Видеокадры при поле зрения
ВД 30x40 угл. град.2 представлены матрицей 576x768 пикселей2. В
качестве БП использован экстраполятор второго порядка. До момента
времени 1 с система находится в переходном процессе и БП работает как
экстраполятор нулевого порядка для уменьшения перерегулирования в
системе. В установившемся режиме работы прогноз осуществляется с
использованием метода МНК по семи отсчетам при аппроксимации тра-
ектории полиномом второго порядка.
Таким образом, ошибка сопровождения объекта СВС, построенной
по варианту 2, в несколько раз меньше ошибки СВС, построенной по
варианту 1 прн принятом характере изменения угловой траектории.
Проведенный анализ и результаты моделирования показывают на нали-
чие возможности расширения полосы пропускания СВС и, следова-
тельно, уменьшения ошибки сопровождения объектов при реализации
системы по второму варианту. Конкретный же выбор варианта реализа-
ции системы будет зависеть от требуемой точности сопровождения при
заданных максимальных значениях скорости и ускорения изменения уг-
лового направления на объект.
9.5. Модели и алгоритмы управления приводами
системы видеосопровождения с трехосным
карданным подвесом
Для решения задачи непрерывного во времени совмещения опти-
ческой оси ВД с направлением на объект в принципе достаточно ис-
пользовать двухосный карданный подвес, что и делается в ряде случаев
решения подобных задач. Однако система сопровождения может уста-
навливаться на подвижных носителях (летательные аппараты, надвод-
ный и наземный транспорт и т.п.), совершающих поступательное и
вращательное движения. Поступательное движение носителя СВС
практически не влияет на угловую траекторию объекта относительно
системы сопровождения при больших расстояниях между объектом и
носителем. Вращательное же движение носителя, вызванное качкой,
вибрацией или маневрами, изменяет угловые координаты объекта отно-
сительно оптической оси ВД с большими скоростями и ускорениями.
Так как в реальных условиях все механические транспортные средства
подвержены качке, обусловленной воздействиями окружающей среды,
на СВС могут накладываться жесткие требования к отработке быстро-
меняющихся угловых координат сопровождаемых объектов.
Кроме больших угловых скоростей и ускорений изменения на-
правления на объект качка носителя приводит при использовании двух-
осного кардана к вращению ВД вокруг оптической оси и вращению
162
Модели и алгоритмы управления приводами оптико-механической системы ...
изображения фоновой обстановки в последовательности обрабатывае-
мых видеокадров. Вращение изображения существенно затрудняет ре-
шение задачи обнаружения н вычисления координат объекта и требует
оценки и компенсации вращения путем обработки изображения мето-
дами [55, 56], требующими большого количества вычислений. Это при-
водит к увеличению времени запаздывания выдачи координат объекта в
контур управления, что в свою очередь отрицательно сказывается на
точности сопровождения.
Использование трехосного карданного подвеса в СВС, установ-
ленной на подвижном носителе, при наличии информации о текущих
углах качки носителя дает возможность практически исключить указан-
ные вращения изображения [57, 58, 59]. Это позволяет с большей точно-
стью и за меньшее время вычислять координаты сопровождаемого объ-
екта, чем по повернутому изображению.
На рнс. 9.17 показана система сопровождения с использованием
трехосного карданного подве-
са в качестве исполнительного
устройства [60, 57, 58]. Управ-
ление ориентацией оптической
оси ВД осуществляется путем
изменения углов поворота в,
у/, <р рамок карданного под-
веса (рис. 9.17).
На рис. 9.17 показаны
три системы координат (СК),
неподвижно ориенти-
рована относительно поверх-
ности Земли так, чтобы плос-
кость была параллельна
плоскости горизонта, а ось
Оф образовала правую1 СК с
плоскостью Оф//; осн СК
Рис. 9.17. СВС с трехосным карданным
подвесом
OATZ совпадают со строительными осями носителя, а ее положение
относительно О^т]( определяется углами качкн (а - угол рысканья, /3
- угол тангажа, у - угол крена); OOKIK жестко связана с ВД, закреп-
ленным на внутренней рамке кардана, при этом направление оптиче-
Система координат называется правой, если вращение вокруг оси ф поло-
жительного направления оси ф к положительному направлению оси г] пред-
ставляется наблюдателю, совмещенному с положительным направлением оси
ф, происходящим в направлении против часовой стрелки.
163
Методы автоматического обнаружения и сопровождения объектов
ской оси ВД совпадает с осью OV , ось OU параллельна плоскости го-
ризонта при отсутствии качки и углах поворота рамок кардана (ft -
угол азимута, <р - угол места, w - угол крена) равных нулю, ось OW
образует правую СК. Прн отсутствии качки носителя и равенстве нулю
углов поворота рамок карданного подвеса все указанные СК совпадают.
Введем в рассмотрение дополнительную СК OU,V^, определяю-
щую требуемое (заданное) положение в пространстве опорно-поворотной
платформы с ВД. Положение OVrV^Wr относительно неподвижно ориен-
тированной СК O^q( удобно задать углами азимута ft, и места <рТ оси
OVT, направление которой определяет требуемое положение оптической
оси ВД в неподвижно ориентированной СК, при условии, что ось О1/т
принадлежит плоскости горизонта O£q, а ось OWT образует правую СК
с плоскостью OU ТИ, . Обусловленное положение оси OUT соответству-
ет требованию отсутствия вращения фона на изображении. Требуемые
значения углов ft, и <рТ в режиме обзора пространства могут задаваться
оператором или программно, а в режиме автоматического сопровождения
объекта данные углы должны вычисляться по оцененным координатам
объекта на изображении при текущих значениях углов поворота рамок
карданного подвеса и качки носителя.
Положение требуемой СК относительно неподвижно ориенти-
рованной СК можно описать квадратной матрицей А направляющих
косинусов осей СК OUTVTfVT относительно системы O^q( . Нахожде-
ние данной матрицы поясняет
рнс. 9.18.
Согласно рис. переход от
СК 0%г]£ к OUAV.tWT можно
совершить путем организации
двух последовательных опера-
ций: вращения системы O£q£
вокруг оси О£ на угол ftT с
получением СК O^qx( и вра-
щения последней вокруг О£,
на угол , в результате чего
получим OUTrTff'T. Матрица
А перевода координат из сис-
темы O^q^ в СК OUTV^Wr
равна
164
Модели и алгоритмы управления приводами оптико-механической системы ...
A(ft, ,уу) = О
cosy?,
- sin
О cos ft, sin ft, О
sinyy sin ft, cos ft, О
cosyy 0 01
cos ft,
-sin ft, cosy?,
sin ft, sin y?,
sin ft, 0
cos ft, cosy?, siny?,
-cos ft, sin y>, cosy?,
(9.53)
Согласно рис. 9.18 переход от СК O£t]£ к ОС/,К,(К, можно со-
вершить путем организации двух последовательных операций: враще-
ния системы О£,г]( вокруг оси ОС иа угол ft, с получением СК
О^г]}^ и вращения последней вокруг О£} на угол у?,, в результате чего
получим ОС/,К,Ж,. Матрица А перевода координат из системы О&/С
в СК OUTVrWr равна
1 0 0 cos ft, sin ft, o'
A(ft„y?,) = 0 cos^T sin^T - sin ft, cos ft, 0 =
0 - sin фх cos^T 0 0 1
cos ft, sin ft, 0
-sin ft, cosy?, cos ft, cosy?, siny?,
sin ft, sin yy cos ft, siny?, cosy?,
(9.53)
Координаты вектора (точки) в системе O^t]( определяются через
координаты того же вектора (точки) в системе OXYZ посредством мат-
рицы В-1 направляющих косинусов, переводящей базисные вектора из
СК OXYZ в [47]:
где
-sin у
0
cosy
(9.54)
10 0 coscr
0 cos/? sin fl -sina
0 -sin/? cos/? 0
sin а
cosa
0
О'
о
1
1 О
О
cosacosy-sinasin/?siny sinacosy+cosorsin/Csiny -cos/?siny
—sinacos/? cosacos/? sin/?
cososiny+sinasin/teosy sinasiny-cosasin/?cosy cos/?cosy
(9.55)
165
Методы автоматического обнаружения и сопровождения объектов
С учетом (9.53), (9.54) преобразование координат из СК OXYZ в
Введем в рассмотрение матрицу направляющих косинусов
Y>(O,tp,v), переводящую координаты вектора из СК OXYZ в OUVW.
Для получения указанной матрицы следует осуществить переход от СК
OXYZ, считая ее неподвижной, к системе OUVW, начальное положе-
ние которой совпадает с OXYZ. Для координат вектора [a v w]T в СК
OUVW можно записать
(9.57)
Вид матрицы определяется построением карданного
sin^cosy/
sin#sin^?sin^/+cos#cos<i>
sin^cos^sin^/-cosSsin(₽
-sinyz
smyjcos^/
cosy?cos^
. (9.58)
costfcosiy
= cos0sin^sin^-sin#cos^>
cos0eos<ffsirn>'+sin£tany>
Задача управления приводами карданного подвеса заключается в
таких поворотах его рамок на углы 0 , р, хр, при которых СК OUVW
совпадет с требуемой ориентацией ВД. определяемой СК OU^Wr. С
учетом сказанного и выражений (9.56) н (9.57) требуемые углы поворо-
та рамок кардана определяются как решение матричного уравнения
166
Модели и алгоритмы управления приводами оптико-механической системы ...
D(0,(?,p) = C(0T,<pT,a,fi,r).
(9.59)
Данное решение может быть выражено в виде
у/ — arcsin(- С] j
- . Г С2,3 сз.з . п
у? = arcsin-----— , если —— > и;
^COSy/ J cosy/
j j | j з | сз 3
Ф = л sign —- arcsin —L если —~ < 0;
l^cosy/) ^cosy/ ) cosy/
~ I ^"1 2 | C] 1
0 = arcsin —L если —“ > 0;
cos ф J cos ф
j C| 2 | | ^"12 I Cj 1
0 = я-sign —— arcsin —L если —< 0.
I cosy/J cos у/ J cosy/
(9.60)
где Ci j - элементы матрицы С(0Т,<р^,а,р,у).
Так как функция арксинуса неоднозначна, то при вычислении тре-
буемого утла поворота if/ средней рамки кардана получаем два значения:
р, = arcsin(-c13); у/2 ~ ?r-arcsm(-c13), (9.6Г)
которые при решении системы (9.60) дают два набора углов пово-
рота рамок кардана.
На практике конструктивно обычно ограничивают возможные ут-
лы прокачки внутренней и средней рамки карданного подвеса в преде-
Г я я! _
лах I---;— . Если предположить, что выполняется условие
Г 1
а е[-----—1;
2 2
п г ft 1
(9-62)
2 ’2
где <рР - угол места направления на объект в СК OUVW , тогда область
возможных решений матричного уравнения (9.59) имеет вид
0 е[_я:,л:];
-ЯП
а> fc-]
v 2,2ъ
~ г л л \
(9.63;
167
Методы автоматического обнаружения и сопровождения объектов
В силу ограниченности угла крена и места, требуемые углы пово-
рота рамок кардана могут быть найдены в виде
= arcsin(-c|3);
• ( С2,3
C> = arcsinl —;
(cos^j/ )
( С } с <9 64>
0 - arcsin —— , если —— > 0;
^cosy/) cos{5
0 = a-sign С|,2_ I - arcsinl -1,2 , если--С|,1_ <0.
^cos,/) (cos,?) cosy/
Решение (9.64) матричного уравнения (9.59) при ограничениях (9.62)
и ограниченных углах прокачки внутренней и средней рамки кардана явля-
ется единственным. Данное утверждение является верным в силу того, что
положение трехмерной СК OXYZ, описывающей расположение рамок
карданного подвеса в пространстве, относительно другой СК (в данном
случае ) однозначно определяется тремя углами вращения О , tp, у/
с областью значений (9.63) вокруг координатных осей OXYZ.
При использовании двухосного карданного подвеса для отработки
рассогласования направления на объект и оптической оси требуемые
углы поворота вычисляются по тем же соотношениям, что и для трехос-
ного кардана, только необходимо угол крена принять равным нулю гра-
дусов ( у/ = 0 ), так как в кардане отсутствует рамка обкатки по крену.
При автоматическом сопровождении объекта величины 0Т, у>Т,
входящие в с( , можно определить путем перевода координат вектора
ОР, направленного на сопровождаемый объект, из СК OUVW в систе-
му . Координаты указанного вектора в системе OUVW могут
быть определены по координатам центра объекта на изображении. Мо-
дель изображения в системе сопровождения с трехосным карданным
подвесом совпадает с ранее описанной моделью (см. рис. 9.5).
Проекции вектора ОР, пространственно ориентированного на со-
провождаемый объект, на оси СК OUVW с учетом параллельности
плоскостей ABCD и OUW равны ХР, R, Т,. Таким образом, коорди-
наты вектора ОР, совпадающего с направлением на объект, в СК
OUVW равны
UP = XP; Vp — R; WP~YP. (9.65)
168
Модели и алгоритмы управления приводами оптико-механической системы ...
Изменение модуля вектора не меняет его направления, поэтому'
преобразуем проекции (9.65) с учетом, что R = 1, и получим вектор
ОР' с координатами
F Я
у У Д7
(9-66)
где Nxp, Nrr, Nj<4, Л\д - представление соответствующих величин в
пикселях реально обрабатываемого изображения.
С учетом сказанного проекции (9.66) вектора ОР' можно заменить
проекциями единичного вектора OPj
(9-67)
Для определения углов вТ, </>7 осуществим пересчет полученных
проекций вектора, описывающего направление на сопровождаемый
объект, в СК О^г]^ следующим образом [58, 61]:
'Л =ВТVP,
(9.68)
169
Методы автоматического обнаружения и сопровождения объектов
По координатам £» *7]» в декартовой СК легко определить уг-
ловые координаты 0Т, tp, вектора ОР] , направленного на сопровож-
даемый объект (рнс. 9.19).
Угол азимута 0, и места <рг определяются по следующим соот-
ношениям
Рис. 9.19. Определение угловых
координат направления на объект
(9.69)
Для определения углов 0Т,
, в , (5, у информация об
углах качки носителя а, /?, у
и углах поворота рамок кардан-
ного подвеса 0, <р, ip поступа-
ет с соответствующих датчиков
углов в моменты времени, син-
хронизированные с получением
кадров изображений.
Таким образом, алгоритм
управления приводами СВС с
трехосным карданом следующий:
Этап 1. Формирование видеокадров с периодом дискретизации Tt
в моменты времени г( =/7j, 1 = 0,1,2,...
Этап 2. Определение координат N х,.у Nrr> центра Р изображения
сопровождаемого объекта на текущем видеокадре. В случае необнару-
жения объекта вырабатывается сигнал о пропадании объекта.
Этап 3. Определение координат [4) ф,]’ единичного вектора
о^ = ор/|ор|, совпадающего с направлением иа объект, по выраже-
нию (9.68).
Этап 4. Вычисление угловых координат 0Л, <рг вектора ОР] в
неподвижно ориентированной СК по выражению (9.69).
Этап 5. Вычисление путем прогнозирования межкадровых коор-
динат вектора ОР] в СК для моментов времени 1, + г + iKT, где
К . В случае кратковременного пропадания информации о поло-
жении объекта на изображении требуемые углы поворота вычисляются
на основе прогноза с использованием текущего ограниченного массива
значений ранее вычисленных координат.
170
Модели и алгоритмы управления приводами оптико-механической системы ...
Этап 6. Вычисление требуемых углов поворота рамок кардана в
СК носителя OXYZ в соответствии с системой уравнений (9.64) при ог-
раничениях (9.63).
Этап 7. Формирование управляющих сигналов на приводы в соот-
ветствии с выбранным законом управления.
Повышение точности сопровождения по сравнению с рассмотрен-
ными СВС в п. 9.2. достигается за счет вычисления межкадровых коор-
динат в неподвижно ориентированной СК путем лучшей аппроксима-
ции траектории объекта, неискаженной качкой носителя. Использование
информации об углах качки носителя и трехосного кардана позволяет
стабилизировать фоноцелевую обстановку на изображении. Это ведет к
повышению точности сопровождения, кроме этого, по стабилизирован-
ному изображению удобнее работать оператору.
171
Заключение
Рассмотренные выше основные теоретические положения, методы
и алгоритмы обработки сигналов затрагивают достаточно широкий
класс проблем, связанных с разработкой систем автоматического обна-
ружения и сопровождения объектов. Математический аппарат, на кото-
ром базировались логические выводы, включал в себя методы теории
вероятностей, математического анализа, теории статистических реше-
ний, теории управления.
Необходимо отметить, что интерес к проблематике интеллекту-
альной обработки и анализа видеопоследовательностей поддерживается
не только благодаря высокой актуальности, но и в связи с неисчерпае-
мым разнообразием возникающих задач. В частности, интенсивно раз-
виваются такие направления исследований как распознавание человече-
ских лиц, сжатие и передача видеопоследовательностей, обработка и
распознавание космических изображений. Сложность и неоднознач-
ность решения многих задач анализа изображений привела к широкому
использованию алгоритмов обработки информации, прототипы которых
заимствованы у объектов живой природы. В частности, широко исполь-
зуются нейронные, генетические, фрактальные подходы, методы нечёт-
кой логики. Этн направления выходят за рамки настоящей книги, но в
значительной степени освещены в [1, 3].
Длительный опыт практического использования показал актуаль-
ность и значительную востребованность подходов, предложенных на-
стоящей в работе. Читатель может получить первоначальные представ-
ления относительно областей применения изложенного материала, если
обратится к публикациям обзорного характера [5, 62]. Представляется,
что знакомство с основами обработки видеопоследовательностей повы-
сит общую техническую эрудицию читателя и подготовит его к успеш-
ному решению практических задач в этой области.
172
Литература
1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005.
2. Прэтпт У. Цифровая обработка изображений. -М.: Мир, 1982.
3. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. - М.: Издатель-
ский дом «Вильямс», 2004.
4. Грузман ИС. Киричук В.С. н др. Цифровая обработка изображений в информацион-
ных системах: Учебн. Пособие. - Новосибирск, Изд-во НГТУ, 2002.
5. Алпатов Б.А., Бабаян П.В. Методы обработки н анализа изображений в бортовых сис-
темах обнаружения и сопровождения объектов. Цифровая обработка сигналов. 2006,
№2, с. 45-51.
6. Коршунов Ю.М. Математические основы кибернетики. - М.: Энсргоатомнздат, 1987.
7. Брайсон А., Хо Ю-Ши Прикладная теория оптимального управления. - М.: Мир, 1969.
8. Pham Q.H., Brosnan Т.М., Smith MJ.T., Mersereau R.M. Morphological technique for clut-
ter suppression in ATR. - Proc, of SPIE, vol. 3371, pp. 367-374.
9. Sengupta S., Yang H.S. Morphological shape representation and recognition of binary images. -
Proc, of SPIE Vol. 0848, Intelligent Robots and Computer Vision VI, Jan 1987, pp. 51 56.
10. Денисов ДА., Низовкин BA. Сегментация изображения на ЭВМ. - Зарубежная радио-
электроника, 1985, № 10, с. 5-30.
11. Бакут П.А., Колмогоров ГС., Ворновицкий И.Э. Сегментация изображений: Методы
выделения границ областей. Зарубежная радиоэлектроника, 1987, №10, с. 25-47.
12. Бакут П.А, Колмогоров Г.С., Ворновицкий И.Э. Сегментация изображений: Методы
пороговой обработки. Зарубежная радиоэлектроника, 1987, №10, с. 6-24.
13. Бакут П.А., Лабунец В.Г Телевизионная следящая система с байесовским дискрими-
натором цели. - Зарубежная радиоэлектроника, 1987, №10, с. 81-93.
14. Применение методов сегментации изображений в автономных системах обнаружения,
распознавания и сопровождения движущихся целей /Под ред. П.А. Бакута. -
Зарубежная радиоэлектроника, 1987. № 10. с. 48-80.
15. Дьяконов В.П. Вейвлеты. От теории к практике. - М.: СОЛОН-Р, 2002.
16. Путятин Е.П., Аверин СИ Обработка изображений в робототехнике. М.: Машино-
строение, 1990.
17. Акимов П.С. и др. Сигналы и их обработка в информационных системах. - М.: 1994.
18. Алпатов Б. А., Селяев А. А.. Степашкин А.И. Цифровая обработка изображений в за-
даче отслеживания движущегося объекта. - Изв. вузов. Сер. Приборостроение, 1985,
№ 2, с. 39-43.
19. Алпатов Б.А., Селяев А.А. Алгоритм оценки местоположения объекта на двумерном
изображении. - Изв. вузов. Сер. Приборостроение, 1988, №5, с. 3-5.
20. Barnea 0.1., Silverman H.F. A class of algorithms for fast image registration. - IEEE Trans.
Computers, 1972, c. 21, № 6, pp. 179-186.
21. Алпатов Б.А., Хлудов С.Ю. Алгоритм последовательных испытаний в задаче совмещения
двумерных изображений. - Изв. вузов. Сер. Электромеханика, 1988, № 7, с. 87-91
22. Rao М. Target recognition using cepstrum and inverse filtering. - Proc, of SPIE, 1995,
vol 2484, Signal Processing, Sensor Fusion and Target Recognition IV, pp. 224 235.
23. Reddy B.S., Chatterji B.N. An FFT-based Technique for Translation, Rotation and Scale-
Invariant Image Registration. - IEEE Transactions on Image Processing, August 1996,
vol. 5, no. 8, pp. 1266-1271.
24. Wilmer A. Fourier-Mellin based image Registration (with GUI) //
http://www.mathworks.com/matlabcaitral/filcexchange (20.10.2004). Программное обеспече-
ние для Matlab.
173
Методы автоматического обнаружения и сопровождения объектов
25. Баклицкий В.К., Бочкарёв А.М. Методы фильтрации сигналов в корреляционно-
экстремальных системах навигации. - М.: Радио и связь, 1986.
26. Алпатов Б.А., Бабаян П.В. Разработка алгоритма слежения за фоновым изображением
для видеокомпьютерной системы обнаружения и определения координат движущихся
объектов И Проблемы математического моделирования н обработки информации в
научных исследованиях: Сб. иауч. тр. - Рязань: РГРТА, 2063, с. 3-15.
27. Алпатов Б. А., Катаев А. А. Метод автоматического выделения опорных участков фона
в замкнутой видеокомпьютерной системе Н Космонавтика. Радиоэлектроника. Геоин-
форматика. Тез. докл. 4-й междунар. науч.-техн. конф. - Рязань, 2003, с. 315-317.
28. Алпатов Б.А., Стротов В.В. Алгоритм электронной стабилизации фона по опорным
участкам в последовательности видеоизображений // Проблемы передачи и обработки
информации в сетях н системах телекоммуникаций. Тез. докл. 12-й междунар. науч.-
техн. конф. - Рязань, 2004, с. 64-65.
29. Алпатов Б.А., Бабаян П.В. Электронная юстировка изображений при мультиспек-
тральном наблюдении. - Цифровая обработка сигналов, 2003, №1, с. 24-26.
30. Банди Б. Методы оптимизации: вводный курс. - М.: Радио н связь, 1988.
31. Бакут П.А., Жулина Ю.В., Иванчук Н.А. Обнаружение движущихся объектов / Под
ред. Бакута П.А. -М.: Сов. Радио, 1980.
32. Алпатов Б.А, Оценивание параметров движущегося объекта в последовательности
изменяющихся двумерных изображений. - Автометрия, 1991, №3, с. 21-24.
33. Алпатов Б. А. Оценивание параметров движущегося фрагмента двумерного изображе-
ния. - Техника средств связи. Сер. Техника телевидения, 1991, № 2, с. 77-81.
34. АС № 1104692 СССР. Устройство для определения рассогласования в телевизионной сле-
дящей системе/ Алпатов Б.А., Селяев А.А., Степашкин А.И., Клочко К.К. (1984)1985.
35. А.С. 1443794 СССР. Устройство для определения рассогласования координат поло-
жения объекта в телевизионной следящей системе / Б.А. Алпатов, А.А. Селяев, А.И
Степашкин, С.Ю. Хлудов. Опублик. 07.06.90. Бюл. № 21.
36. Алпатов Б. А. Оптимальное оценивание параметров движущегося объекта в последо-
вательности изображений. - Автометрия, 1994, №2, с. 32-37.
37. Алпатов Б. А., Блохин А. Н Модели н алгоритмы обнаружения и выделения движу-
щихся фрагментов изображений. - Автометрия, 1995, №4, с. 100-104.
38. Патент на изобретение №2311684 (Российская федерация). Способ обработки сигна-
лов для выделения движущихся объектов в последовательности телевизионных изо-
бражений / Федеральное государственное унитарное предприятие «Государственный
Рязанский приборный завод» (RU); авт. изобретения Б.А.Алпатов, П.В.Бабаян,
А.Н.Блохин, А.А.Катаев, Л.НКостягикин, Ю.Н.Романов. - Заявлен 15.03.2006; опубл.
27.11.2007 бюл.№33.
39. Коршунов Ю.М., Бобиков А.И. Цифровые сглаживающие и преобразующие системы. -
М.:Энергия, 1969..
40. Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометриче-
ских искажений изображении. - Цифровая обработка сигналов, 2004, №4, с. 9-14.
41. Балашов О.Е., Степашкин А.И. Управление приводами видеокомпьютерной системы
сопровождения объектов // Проблемы передачи и обработки информации в сетях н
системах телекоммуникаций. Тез. докл. 12-й международной научно-технической
конференции- - Рязань, 2004, с. 66-67.
42. Форсайт Дж., Малькольм М, Маулер К Машинные методы математических вычис-
лений.-М.: Мир, 1980-
43. Алпатов Б.А., Степашкин А.И. Локальные системы автоматики. Уч. пос. - Рязань,
РРТИ, 1990.
44. Алпатов Б.А., Балашов О.Е., Степашкин AJ4. Некоторые вопросы построения видео-
компьютерных следящих систем // Проблемы математического моделирования и об-
работки информации в научных исследованиях: Сб. науч. тр. - Рязань: РГРТА, 2003,
С. 16-25.
174
Литература
45. Рабинович Л.В и др. Проектирование следящих систем.-М..- Машиностроение, 1969.
46. Николаев Ю.А., Петухов В.П.. Феклистов Г. И., Чемоданов Б.К. Динамика цифровых
следящих систем. — М.: Энергия, 1970.
47. Бесекерский В.А.. Фабрикант Е.А. Динамический синтез систем гироскопической ста-
билизации. Л.: Судостроение, 1968.
48. ВентцельЕ.С. Теория вероятностей. -М.: Наука, 1964.
49. Солодовников В.В. Статистическая динамика линейных систем автоматического
управления. М.: Государственное издательство физико-математической литературы,
i960.
50. Иванов В.А.. Медведев В.С., Чемоданов Б.К., Ющенко А.С. Математические основы
теории автоматического регулирования. Том II. - М.: Высшая школа, 1977.
51. Жиль Ж, Пеле грен М., Декольн П. Теория и техника следящих систем. — М.: Машгиз,
1961.
52. Бесекерский В.А., Попов Е.П. Теория систем автоматического управления. - СПб.:
Профессия, 2004.
53. Блейз Е.С., Зимин А.В., Смирнов Е.С. и др. Следящие приводы: В 3 т. 2-е изд., доп. и
перераб. / Под ред. Чемоданова Б.К. Т.1: Теория и проектирование следящих приво-
дов. - M.i Изд-во МГТУ нм. Баумана Н.Э., 1999.
54. Методы классической и современной теории автоматического управления: Учебник в 5-и
т.; 2-е нвд., перераб. и доп. Т.1: Математические модели, динамические характеристики и
анализ систем автоматического управления/ Под ред. Пупкова КА.. Егупова НД. -
М.: Изд-во МГТУ нм. Н_Э. Баумана. 2004.
55. Алпатов Б.А. Стротов В.В. Алгоритм электронной стабилизации фона по опорным
участкам в последовательности видеоизображения // Проблемы передачи и обработки
информации в сетях и системах телекоммуникаций. Тез. докл. 12-й междунар. науч.-
техн. конференции. - Рязань, 2004, с. 64-65.
56. Бабаян П.В., Стротов В.В. Методы оценки геометрических преобразований изобра-
жения для бортовой видеоинформациониой системы // Информационно - телекомму-
никационные технологии. Тез. докл. Всероссийской научно-технической конферен-
ции. - Сочи, 2004, с. 7-8.
57. Алпатов Б.А., Балашов О.Е., Степашкин А.И. Формирование управления приводами
трехосного карданного подвеса в системе сопровождения объектов. - Изв. вузов. Сер.
Приборостроение, 2006. т. 49, №5, с. 24-28.
58. Балашов О.Е. Повышение точности сопровождения объектов в системе видеослеже-
ния // Вестник Рязанского государственного радиотехнического университета. Вып.
18. — Рязань, 2006.
59. Патент на изобретение №2310888 (Российская Федерация). Способ формирования
управления приводами исполнительного устройства в оптико-электрониых системах
сопровождения и устройство, реализующее оптико-электроиную систему сопровож-
дения / Рязанская государственная радиотехническая академия; авт. изобретения.
Б.А.Алпатов, А.ИСтепашкин, О.Е.Балашов. — Заявлен. 10.05.2006; опубл. 20.11.2007г.
60. Ривкин С.С. теория гироскопических устройств. Часть I. - Л.: Судпромгиз, 1962.
61. Корн Г., Кирн Т Справочник по математике для научных работников и инженеров. -
М.: Наука, 1984.
62. Алпатов Б.А., Зеленюк Ю.И., Костяшкин Л.Н., Романов Ю.Н., Семенков В.П. Видео-
ниформациоиные технологии в бортовом радиоэлектронном оборудовании перспек-
тивных авиационных систем: концепция, алготектура и решения. - Радиотехника,
2002, №8, с. 102-112.
175
Научное издание
Методы автоматического обнаружения
и сопровождения объектов.
Обработка изображений и управление
Авторы:
Борис Алексеевич Алпатов
Павел Вартанович Бабаян
Олег Евгеньевич Балашов
Алексей Иванович Степашкин
Корректура авторов.
Изд. № 17. Сдано в набор 20.05.2008.
Подписано в печать 12.08.2008. Формат 60x90 1/16.
Бумага офсетная. Гарнитура Таймс.
Печать офсетная.
Печ. л. 11. Тираж 500 экз. Зак. № 3447.
Издательство «Радиотехника».
107031, Москва, К-31, Кузнецкий мост, д. 20/6.
Тел./факс: (495)621-48-37; 625-78-72,625-92-41.
E-mail: info(Sradiotec.ni
www.radiotec.ru
Отпечатано в ООО ПФ «Полиграф-Книга»
160001, г. Вологда, ул. Челюскинцев, д. 3