Технологии анализа видеоинформации для навигации беспилотных летательных аппаратов
В рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы» научным коллективом кафедры АИТУ под руководством д.т.н., проф. Алпатова Б.А. проводится НИР по теме «Разработка алгоритмов функционирования системы машинного зрения, предназначенной для автономной навигации беспилотного летательного аппарата, и создание на их основе программного комплекса для обработки и анализа видеоданных об объектах местности, наблюдаемых во время полета» (госконтракт № 07.514.11.4034).
В современном мире одним из наиболее значимых направлений в развитии прикладной науки и техники является создание автономных мобильных роботов, к числу которых можно отнести беспилотные летательные аппараты (БПЛА). В настоящее время они находят широкое применение в таких отраслях народного хозяйства как метеорология, картография, сельское хозяйство, экологический мониторинг, разведка полезных ископаемых и многих других.
БПЛА самолетного типа ZALA 421-16
В настоящее время сильным сдерживающим фактором применения БПЛА для решения гражданских задач является недостаточная безопасность полетов, что отчасти может быть компенсировано модернизацией навигационного оборудования БПЛА. Между тем имеется потребность со стороны государственных ведомств и частных структур в использовании БПЛА для решения задач оперативного контроля и мониторинга удаленных и сильно протяженных объектов (лесных угодий, рек, трубопроводов, линий электропередач и т.п.). Внедрение результатов НИР может способствовать росту гражданского сегмента рынка БПЛА, позволит повысить безопасность полетов и приведет к сокращению экономических издержек организаций, эксплуатирующих БПЛА.
Проведенная НИР направлена на повышение точности и надежности оценки географических координат и курса БПЛА в условиях отсутствия сигналов или недостаточной точности работы спутниковых навигационных систем GPS, ГЛОНАСС.
Основные цели НИР:
- Получение научно-технического задела в области разработки программного обеспечения, осуществляющего ввод, обработку и анализ видеоданных об объектах местности, получаемых фото и видеокамерами, и сличение их с данными аэрофотосъемки и спутниковой фотосъемки.
- Разработка способов анализа видеоданных об объектах местности, наблюдаемых во время полета, и технологии подготовки предполетной информации для определения навигационных параметров беспилотного летательного аппарата: географических координат (широты и долготы), а также истинного курса - позиционными методами в условиях отсутствия, недостаточной точности или ошибок данных GPS, ГЛОНАСС.
- Разработка программного инструментария, обеспечивающего возможность исследования работоспособности алгоритмов определения географических координат и истинного курса беспилотного летательного аппарата в различных условиях полета с использованием синтезированных и натурных видеосюжетов.
- Оценка возможностей реализации на современной элементной базе бортовой системы машинного зрения для определения навигационных элементов, а именно: географических координат (широты и долготы), а также истинного курса беспилотного летательного аппарата.
В основе НИР лежит идея определения координат и курса БПЛА путем распознавания и прослеживания опорных участков в данных бортовой видеосъемки.
К особенностям рассматриваемой задачи можно отнести:
- изменчивость наблюдаемого изображения в зависимости от метеоусловий, времени суток и других факторов;
- различные виды геометрических преобразований, связывающих текущее и эталонное изображения;
- большой объём обрабатываемой информации, связанный, в частности, с необходимостью установки видеодатчиков высокого разрешения;
- ограниченность доступных вычислительных ресурсов, жесткие требования по энергопотреблению аппаратуры и ее массогабаритным показателям.
В рамках НИР был разработан специализированных подход к решению навигационной задачи. Анализ видеоданных при полете БПЛА сводится к следующему. На серии полученных заранее воздушных или спутниковых фотоснимков местности человек-оператор осуществляет выбор маршрута полета путем указания некоторого количества контрольных точек. Далее в автоматическом или автоматизированном режиме выполняется прокладка маршрута между контрольными точками и выбор на нем серии опорных участков - выделяющихся по тем или иным признакам объектов местности. Во время полета БПЛА сопоставляет текущие изображения местности, формируемые бортовой видеокамерой, с хранящимися в памяти эталонными изображениями опорных участков. Результаты сопоставления в дальнейшем используются для определения положения и ориентации БПЛА относительно указанных оператором контрольных точек и формирование управляющих воздействий, обеспечивающих движение вдоль заданного маршрута.
Изображение, полученное с борта БПЛА (синтезировано с использованием авиасимулятора FlightGear)
В ходе НИР получены следующие научно-технические результаты:
- разработаны методы и алгоритмы, позволяющие вычислять вектор признаков объекта на изображении, инвариантный к изменениям условий видеосъемки этого объекта;
- разработаны методы и алгоритмы, позволяющие распознавать и прослеживать объект, принадлежащий к заданному набору объектов из серии аэрофотоснимков и спутниковых фотоснимков;
- разработаны методы и алгоритмы, позволяющие определять по серии видеокадров географические координаты и истинный курс БПЛА путем нахождения местоположения и параметров ориентации видеокамеры относительно обнаруженных и локализованных объектов местности;
- разработан программный комплекс анализа видеоизображений «Навигация» (ПК АВИ «Навигация»), обеспечивающий автоматизацию проведения исследований по рассматриваемой проблеме;
- проведены экспериментальные исследования разработанных алгоритмов и программного обеспечения.
По результатам НИР получено свидетельство о регистрации программы для ЭВМ «Программа для проведения научных исследований в области создания алгоритмов определения координат и ориентации беспилотных летательных аппаратов по данным видеонаблюдения». Подготовлен проект технического задания на выполнение ОКР «Разработка опытного образца системы машинного зрения для навигации БПЛА». Алгоритмы анализа изображений обеспечивают достаточно высокую точность и надежность определения географических координат и истинного курса.
Основные технические показатели:
- частота правильного обнаружения опорных участков составляет не менее 95% при частоте ложных тревог не более 2,5%;
- отношение совокупной ошибки прослеживания центра ОУ к среднему размеру эталонного опорного участка не превышает 3,3%;
- совокупная ошибка позиционирования БПЛА не превышает 10метров;
- ошибка определения истинного курса БПЛА не более 25 угловых минут.
Созданные в ходе НИР программные средства непосредственно ориентированы на моделирование бортовой видеосъемки и проведение научных исследований в области создания алгоритмов анализа изображений для навигации БПЛА.
Основные преимущества разработанного программного обеспечения по отношению к аналогам состоят в следующем:
- возможность моделирования бортовой видеосъемки при помощи авиасимулятора c открытым исходным кодом FlighGear; при этом от пользователя не требуется наличие знаний в области трехмерного моделирования;
- наличие инструментария для формирования статических снимков ввода маршрутов полета и выбора опорных участков местности;
- возможность имитации полета с нахождением и распознаванием опорных участков, определением координат и курса БПЛА, причем обеспечивается визуализация этого процесса;
- наличие инструментария, обеспечивающего автоматическое вычисление статистики по результатам полета, определение количественных критериев эффективности алгоритмов, визуального представления найденных оценок и показателей в виде таблиц и графиков, документирование их в текстовых файлах;
- автоматическое согласование полетной информации посредством встроенной базы данных, что позволяет минимизировать временные затраты на проведение экспериментов и оценку результатов, а также исключить ошибки, связанные с «человеческим фактором»;
- достаточно простой механизм добавления новых алгоритмов анализа изображений, обеспечиваемый использованием стандартных программных интерфейсов.
- единый механизм использования в ходе экспериментов синтезированных и натурных снимков и видеопоследовательностей;
- возможность записи маршрута, путем выполнения полета в авиасимуляторе с учетом физической модели летательного аппарата и условий внешней среды;
- модульная структура программного комплекса и наличие сетевой базы данных, что позволяет осуществлять работу параллельно в рамках исследовательской группы.
Кадры из тестовых видеосюжетов
Белым цветом показаны результаты распознавания и локализации опорных участков, зеленым - эталонные данные. Номер опорного участка отображается жирным шрифтом рядом с его центром
Сферы применения результатов НИР:
- системы навигации летательных аппаратов на основе данных текущего видеонаблюдения местности и эталонного изображения, хранимого в памяти;
- системы улучшенного и синтезированного видения летательных аппаратов, позволяющие строить трехмерную модель местности на основе цифровой базы данных, содержащей изображения поверхности Земли;
- существующие и перспективные бесплотные авиационные комплексы, отличающиеся высокой помехозащищенностью, всепогодностью, способностью эффективно выполнять возложенные на них задачи в любое время суток.
Достигнутые характеристики надежности обнаружения и прослеживания опорных участков, точности определения координат и курса БПЛА, а также производительности свидетельствуют о возможности применения разработанных подходов в качестве базы для последующих ОКР. Программные решения, использованные в ходе НИР при создании ПК АВИ «Навигация», могут использоваться в дальнейшем для моделирования бортовой видеосъемки и исследования алгоритмов анализа видеоизображений.
Научный коллектив кафедры Автоматики и информационных технологий в управлении приглашает заинтересованных лиц к сотрудничеству в области научных исследований и разработок по созданию систем машинного зрения для навигации БПЛА.