Інтегрований метод комп’ютерного зору та машинного навчання для моделювання навігації літальних платформ з обмеженими обчислювальними ресурсами

Анотація

Розглянуто поєднання візуальної одометрії з нейромережевим підходом для забезпечення автономної навігації за заданою супутниковою картою літальних платформ з обмеженими ресурсами бортового комп'ютера. Реалізація візуальної одометрії ґрунтується на послідовному зіставленні за допомогою методу SURF кадрів відеопотоку бортової камери, до яких попередньо застосовують гомографічне перетворення. Такий підхід дає змогу розглядати зображення сцени через \say{віртуальну} відеокамеру, оптична вісь якої спрямована вертикально вниз, причому необхідні значення кутів нахилу реальної відеокамери (піч і рол) обчислюють з рівнянь гомографії незалежно від параметрів польотного контролера.
Перехід до зображень з віртуальної камери дає змогу прослідковувати параметри їхньої зміни (переміщення, повороти, зміну масштабу) виключно із застосуванням афінних перетворень. Це в підсумку створює підстави для досягнення високої ефективності відповідного програмного забезпечення, яке обчислює траєкторію польоту платформи.

На практиці точність обчислення траєкторій залежить від структури сцени. Оскільки при застосуванні візуальної одометрії обчислення координат має рекурентний характер, то відповідні похибки з часом нагромаджуються і можуть приводити до дрейфу локалізації. Тому в цій праці для уточнення координат платформи запропоновано використовувати нейронну мережу на основі архітектури Transformer. Побудована функція втрат такої моделі, за якою обчислюють міру подібності поточного відеокадра до блоків супутникової карти і формують в такий спосіб карту подібності. Розроблено алгоритм, який за картою подібності визначає кілька гіпотетичних траєкторій, які могли б привести платформу у найбільш імовірні точки сцени. Запропоновано інтегральний критерій для перевірки гіпотез і вибору оптимальної траєкторії. За координатами кінцевої точки обраної траєкторії уточнюють положення платформи на супутниковій карті місцевості. Отримана точка стає новим значенням вхідного параметра візуальної одометрії, з допомогою якої обчислюють новий фрагмент траєкторії польоту.

В роботі наведено результати апробації запропонованого інтегрального підходу. Зокрема на синтетичних даних, згенерованих з використанням бібліотеки OpenCV, продемонстровано високу точність і швидкодію вдосконаленої візуальної одометрії. Також на реальних даних, отриманих при обльоті заданої місцевості, отримано високу точність локалізації платформи на супутниковій карті в умовах обмежених обчислювальних ресурсів.