WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

загрузка...
   Добро пожаловать!

Pages:     | 1 || 3 |

• Векторизация исходных снимков, основанная на применении модификации Canny фильтра с учетом тематического контекста и требований последующих этапов вычисления vp (vanishing points) и 3D реконструкции. На этом этапе решаются две основные задачи – получение векторной основы опорных изображений и прослеживание точечных особенностей на всей последовательности используемых видов.

Поскольку требования к векторной основе при калибровке и при 3D реконструкции сцены различаются, векторизация изображений выполняется в двух режимах, чтобы наилучшим образом соответствовать цели ее использования. При векторизации первого типа достаточно фильтрации «коротких» отрезков и спрямления ломаных, образующих прямолинейные отрезки. При векторизации второго типа (предназначенной для этапа реконструкции) дополнительно к фильтрации, отмеченной выше, обеспечивается: а) устранение разрывов в линиях; б) стыковка линий в угловых точках; в) сохранение главного направления линии на Т-образном пересечении линий. Получение субпиксельной точности формируемых отрезков обеспечивается применением метода наименьших квадратов к цепочке образующих точек (пикселей). Также обеспечивается устранение радиальных оптических искажений.

• Отслеживание точечных особенностей на последовательности изображений. Для повышения достоверности отслеживания на видах с большим угловым смещением используется избыточная последовательность изображений с последующим выделением опорных кадров (подробное описание приведено в предыдущей главе).

• Применение RANSAC-алгоритма для выделения 3-х взаимно ортогональных семейств параллельных отрезков.

• Вычисление vp и фокусов для каждого вида с применением альтернативных схем: а) традиционная нелинейная оптимизация методом наименьших квадратов, где целевая функция - сумма квадратов расстояний между отрезками семейств и линиями, соединяющими эти отрезки и vp; б) итеративная взвешенная схема нелинейной оптимизации;

в) схема с предварительным вычислением «средних» линий по облаку vp и привлечением дополнительных видов с приближением к сцене.

Определение взаимной ориентации камер. Задача получения внешней калибровки камер решается с использованием трех видов. Ее можно определить как нахождение матриц преобразования системы координат (СК) камеры 1-го вида в СК камеры 2-го вида (H12) и в СК камеры 3-го вида (H13).

Матрицы ищутся с точностью до масштаба. Они представляются в виде:

R H =, (1) t где R – матрица вращения, t - вектор переноса СК.

Так как, матрицу вращения можно представить некоторым кватернионом, вместо матриц вращения будем использовать кватернионы.

Поскольку вращение и перемещение камер не зависят друг от друга, задача разбивается на две последовательные: 1) определение кватернионов; 2) определение векторов переноса. Кватернионы и фокусы вычисляются из vp, соответствующих некоторой мировой системе координат (МСК). Если для двух видов известны фокусы и пары vp, соответствующие одной и той же МСК, то можно вычислить кватернион (вращение) из одного вида в другой.

Определение взаимного положения камер. Вектора переносов (t12, t23, t31) определяются из соответствующих эпиполюсов. Вычисление эпиполюсов основывается на минимизации эпиполярных отклонений по множеству сопоставленных точек-особенностей (далее контрольных точек).

Реализованы два варианта определения эпиполюсов: а) эпиполюсы определяются независимо для 3-х пар видов: 1-2, 2-3, 3-1. Для каждой пары используется нелинейная оптимизация. Неизвестными являются координаты эпиполюса (2 неизвестных). Целевая функция – эпиполярность – сумма квадратов углов между эпиполярными плоскостями Пi и Пj по всем контрольным точкам (pk) между видами i и j; б) определяются эпиполюсы для 3-х видов. Используется нелинейная оптимизация с нелинейными ограничениями. Неизвестными являются координаты эпиполюсов (неизвестных). Целевая функция – эпиполярность – сумма 3-х попарных целевых функций. Эксперименты показали, что оптимизация дает лучший результат при включении в число контрольных точек т.н. виртуальных точек.

В качестве виртуальной точки рассматривается образ третьей камеры, видимый на двух остальных. Направления на него дают соответствующие эпиполюсы. Методика вычисления начального приближения эпиполюсов базируется на том, что: а) при известной взаимной ориентации двух камер и фокусах (используется кватернионы и фокусы, полученные на первом этапе) возможно построение эпилиний для сопоставленных точек на изображениях;

б) правильные эпилинии пересекаются в одной точке – эпиполюсе. Поэтому усреднение облака точек, полученных на попарных пересечениях построенных эпилиний, дает нам начальное приближение эпиполюса.

В конце главы приведены результаты вычислительных экспериментов для модельных и реальных сцен городской обстановки.

Третья глава посвящена методам нахождения и сопоставления особенностей. Глава состоит из двух частей, первая – нахождение и сопоставление точечных особенностей, вторая - сопоставление отрезков, полученных на этапе векторизации изображений.

Основным требованием при решении задачи сопоставления точечных особенностей было обеспечение высокой скорости метода выделения точечных особенностей с приемлемыми для указанного приложения достоверностью и количеством сопоставлений. Результатом выполненной работы стал описываемый ниже метод, который обеспечивает устойчивое нахождение и отслеживание точечных особенностей на последовательностях больших по размеру изображений с высокой скоростью обработки.

Схематично работа метода может быть представлена следующим образом:

1. Уменьшение разрешения изображения.

2. Выделение точечных особенностей на уменьшенном изображении с помощью метода, получившего название Difference-of-Gaussian (DoG).

3. Для полученных на предыдущей стадии точечных особенностей строятся так называемые дескрипторы, инвариантные к повороту и изменению яркости.

4. Нахождение соответствий между особенностями, путем сравнения их дескрипторов методом евклидового расстояния.

5. Перерасчет полученных соответствий с уменьшенных изображений на исходные.

6. Применение фильтра, позволяющего избавиться от большинства ложных сопоставлений.

Основное преимущество данного метода заключается в снижении вычислительной сложности на порядок (за счет того, что большая часть вычислений проводится на изображениях с низким разрешением) по сравнению с тем, если бы вычисления проводились на исходных изображениях. В вычислительных экспериментах использовались пары фотоизображений реальной городской обстановки с различными величинами разрешения. Для оценки эффективности предложенного метода было выполнено сравнение характеристик его работы с известными алгоритмами SIFT и SURF. Результаты сравнения приведены в таблице 1.

Таблица 1. Сравнительные результаты работы предложенного алгоритма.

Разм Колер Кол- Ло Вре- Ло Вре- Кол-во Ло Врево Сцена изобр во жн мя жн мя пар жн мя пар ажен пар ых (сек) ых (сек) SURF ых (сек) SIFT ия ИАПУ_ 5 мп 151 3 27 184 2 147 204 3 ИАПУ_ 10 мп 192 2 52 417 2 286 452 5 Город 3 мп 127 1 18 104 1 67 118 2 Фунику 5 мп 183 4 26 202 2 154 211 3 лер Из таблицы видно, что предлагаемый алгоритм, в сравнении с алгоритмами SIFT и SURF, за счет меньшего количества сопоставлений, но вполне приемлемого для целей рассматриваемого приложения, обеспечивает существенно более высокую скорость работы при практически такой же достоверности результатов.

Во второй части главы описан метод сопоставления линий на изображениях и две его алгоритмические реализации применительно к трем калиброванным видам сцены. Предлагаемый подход основывается на использовании трифокальной геометрии, эпиполярных ограничений, корреляционного сравнения, преобразования плоской гомографии и анализе геометрической связности отрезков. Для реализации базовых процедур, с помощью которых сконструированы оба алгоритма сопоставления, введены понятия связности точек и линий, вырожденности линий, геометрической и текстурной близости линий, определены механизмы фильтрации при определении геометрического соответствия линий. В первом алгоритме осуществляется сравнение отдельных отрезков, во втором – пар связных отрезков. Использование в качестве объекта сравнения пар связных объектов существенно снижает вычислительную трудоемкость алгоритма (в этом случае упрощается вычисление плоской гомографии), однако предъявляет более жесткие требования к качеству векторизации изображений. Общим для алгоритмов является построение оценки интегральной близости отрезков как взвешенной суммы геометрической и текстурной близости. Отличительной особенностью предложенного метода в целом является использование модели геометрической близости линий, анализ их связности и учет ситуаций вырожденности линий, когда применение эпиполярных ограничений не дает однозначных решений.

Оценка эффективности описанных алгоритмов проводилась на одной модельной и трех реальных сценах с использованием 3-х видов, полученных с помощью обычной цифровой фотокамеры. Векторизация и калибровка изображений выполнялась с помощью методики, описанной в главе 2.

Полученная точность калибровки (средняя величина эпиполярного отклонения в пикселях для контрольных точек) для тестируемых реальных сцен: сцена «ИАПУ» - 5 (см. рис.2); сцена «Библиотека» - 2.3; сцена «Дом» - 1.3. В первом эксперименте проверялась работа алгоритмов на изображениях со сравнительно небольшим количеством линий. Результаты этого вычислительного эксперимента для алгоритма сопоставления отдельных линий приведены в табл. 2.

Табл. 2. Алгоритм сопоставления линий Сцена Число Сопоставлено Неправильных Эффективность линий Модельная 21 21 0 1.ИАПУ 56 53 0 0.Библиотека 26 26 0 1.Дом 19 19 0 1.Второй алгоритм на этих сценах показал эффективность сравнимую с первым. Наряду с эффективностью алгоритмических решений этот результат, можно объяснить и хорошим качеством используемых векторизованных изображений, и сравнительно небольшим количеством линий на них. С другой стороны, сравнимая эффективность обоих алгоритмов объясняется тем, что оба алгоритма основываются на едином подходе с применением одних и тех же, или идейно схожих локальных процедур обработки данных.

Во втором эксперименте использовались изображения с большим числом линий (для одной из вышеупомянутых сцен, векторизатор сгенерировал на каждом из видов более 300 линий). В это число вошли линии, как присутствующие на остальных двух видах, так и отсутствующие на них (на двух или на одном виде). Поэтому потенциальное число правильных сопоставлений оказалось для данной векторизации существенно ниже числа линий, присутствующих на изображении (виде). По указанной причине первый алгоритм сопоставил около 100 линий. Из них неправильных сопоставлений получилось 5. Второй алгоритм показал эффективность ниже из-за недостаточно хорошего качества векторизации.

В четвертой главе описан предлагаемый метод реконструкции трехмерных сцен с использованием полученных данных калибровки и сопоставленных особенностей. Работа метода состоит из трех этапов.

Первый этап – это нахождение соответствий точек на сопоставленных отрезках. Обычно, после векторизации и сопоставления отрезков мы получаем множество сопоставленных отрезков, но в общем случае нельзя утверждать, что начальная точка сопоставленного отрезка на одном изображении соответствует начальной точке соответствующего отрезка на другом изображении. Восстанавливать направление отрезков и положение концевых точек отрезков будем, используя эпиполярные ограничения.

Второй этап – это нахождение трехмерных координат концевых точек отрезков. При наличии откалиброванной пары изображений и сопоставленных точек отрезков на двух изображениях, задача восстановления трехмерного положения искомой точки в трехмерном пространстве – это нахождение пересечения двух лучей, проходящих через центры камер и точки на изображения. Определив трехмерные координаты концевых точек каждого отрезка, получаем трехмерное положение этих отрезков в сцене.

Третий этап – это построение и оптимизация полигонов, из которых состоят объекты трехмерной сцены городской обстановки. Для оптимизации реконструкции используем предположение о том, что все объекты рассматриваемой сцены состоят из вертикальных прямоугольных полигонов(стены зданий), и горизонтальных полигонов произвольной формы(крыши). Поскольку полученные на предыдущих этапах 3D-отрезки не претендуют на полное описание трехмерной сцены, очевидно, что для большинства искомых полигонов стен будут отсутствовать некоторые элементы. Поэтому предлагается рекуррентная схема реконструкции, которая обеспечивает восстановление всех возможных полигонов, образующих стены и крыши зданий. Поскольку из-за возникающих ошибок на этапах реконструкции, отрезки в трехмерном пространстве могли восстановиться неточно, то проведем оптимизацию полученных полигонов, используя гипотезу о том, что все полигоны стен вертикальны и прямоугольны, а полигоны крыш и оснований горизонтальны и имеют углы между отрезками, составляющих эти полигоны, равные 90 градусам.

Для того чтобы иметь возможность редактировать полученные 3D модели в различных редакторах трехмерной графики (3d max, Maya и др.), полученная трехмерная сцена экспортируется в формат DirectX(.x).

Текстурами для сцены являются сами фотоизображения сцены, текстурные координаты трехмерных точек являются координатами концевых точек сопоставленных и оптимизированных отрезков, спроецированных на исходные изображения.

На рис. 2 приведен пример реконструируемой трехмерной сцены.

Рис. 2. Исходные три снимка реальной сцены и построенная текстурированная модель.

В заключении сформулированы основные результаты работы.

В приложении описаны программные продукты, созданные и используемые для решения поставленной задачи. Приведена пошаговая инструкция для пользователя по построению трехмерной сцены по некалиброванной последовательности фотоизображений. Общая схема функционирования разработанного программного комплекса и его структура представлена на рис 3.

Рис. 3. Структура и функционирование ПО.

Основные выводы и результаты, полученные в диссертации:

1. Предложена и программно реализована технология построения пространственных полигональных моделей объектов городской обстановки по последовательности некалиброванных фотоизображений, обеспечивающая автоматическую, с минимальным интерактивным участием оператора, обработку данных на всех этапах, включая векторизацию изображений, их калибровку, сопоставление точечных и линейных особенностей на видах и 3D реконструкцию объектов.

Pages:     | 1 || 3 |






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»