AR для військових: як «бачити крізь броню» та вражати ворожу техніку за допомогою системи від LimpidArmor
У рубриці DOU Проектор всі охочі можуть презентувати свій продукт (як стартап, так і ламповий pet-проект). Якщо вам є про що розповісти — запрошуємо взяти участь. Якщо ні — можливо, серія надихне на створення власного made in Ukraine продукту. Питання і заявки на участь надсилайте на Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра. .
Мене звати Михайло, я керівник компанії Limpid Armor, яка спеціалізується на штучному інтелекті, доданій реальності та комп’ютерному зорі. Хочу розповісти про нашу розробку у військовій сфері для танків та іншої броньованої техніки. Це Land Platform Modernization Kit (LPMK) — система ситуаційної обізнаності (Situation Awareness), що дозволяє військовим «бачити крізь броню» та отримувати інформацію про довколишню ситуацію тоді, коли необхідно.
Ідея
Мене завжди приваблювали складні інженерні рішення в особливих умовах, тому свій шлях в ІТ я розпочав з роботи на бурових платформах біля африканського узбережжя та прокладання ЛЕП в іракській пустелі. Пізніше, у 2014 році, я пішов захищати Батьківщину в зоні АТО і, завдяки своїм технічним знанням, очолив підрозділ аеророзвідки.
Михайло Гречухін у зоні АТО
Там же і зародилася ідея, яка стала основою мого бізнесу. Почалося все з нашого танку, що підірвався на міні на з’їзді з Донецької кільцевої дороги неподалік від Донецького аеропорту (ДАП). Кожного разу, коли я проїжджав повз нього, я розумів, що в цілком цивільному пікапі Mitsubishi L200 пересуватися безпечніше, ніж всередині танку. Ви запитаєте чому? Ключову роль тут відіграє можливість вчасно побачити небезпеку і швидко відреагувати на неї. На жаль, у випадку з танком це неможливо. У розпал боїв за ДАП протитанкові міни просто кидали на бетон злітної смуги і водії бронетехніки не встигали на швидкості помітити їх та вчасно відреагувати.
Після демобілізації думка про цю проблему час від часу поверталася до мене на зустрічах з колишніми братами по зброї чи під час читання ветеранської прози. Я чітко розумів ситуацію, і мене непокоїло те, що важкоброньована техніка є небезпечною для екіпажу.
Аналіз ринку показав, що спроби вирішити цю проблему тоді вже були, але технологія віртуальної реальності не підходила за психофізичними характеристиками, наприклад, норвезький Combat Lab невдало тестував Oculus Rifts для водіїв танків. А проекційна технологія, що активно використовується в авіації, не давала можливості якісно працювати з оптичними потоками та тривимірними (3D) об’єктами. Так, ізраїльська система Iron Vision від Elbit Systems, анансована в 2016 році, досі проходить стадію тестування. У той час як американський дослідницький центр Tardec планував випустити систему ситуаційної обізнаності для броньованої техніки до 2025 року, а повноцінно запустити її у 2035 році.
Реалізація
Улітку
У січні 2017 ми з Ольгою Дмитрук — моїм давнім партнером з соціальних проектів та «адвокатом Диявола» усіх моїх ідей — заснували компанію Limpid Armor. Ми зібрали команду з метою створити українську систему кругового огляду для танків, взявши за основу окуляри Hololens від компанії Microsoft. І нам це вдалося!
LPMK дозволяє екіпажу бойової техніки отримувати максимум ситуаційної обізнаності (інформації про навколишню ситуацію), а саме потенційні ворожі цілі навколо, або навпаки інформацію про позиції дружніх сил та цивільні об’єкти. Система також візуалізує дані про стан двигуна машини чи кількість набоїв для різних типів зброї, роблячи процес управління бойовою машиною, певною мірою схожим на комп’ютерну гру. Система підходить як для модернізації техніки, так і для імплементації у перспективних розробках.
З самого початку ми ставили перед собою завдання передати відеопотік в додану реальність для створення в користувача ілюзії прозорої броні (член екіпажу бачить зображення ситуації поза бронею в тому напрямку, в який він повернув голову). Але після низки тестувань та численних консультацій з військовими ми додали значну кількість додаткового функціоналу. Так, наприклад, з’явився відділ штучного інтелекту. Щодо самого функціоналу системи, ми додали дев’ять класів військової техніки, цивільної форми, військової форми та трьох класів цивільної техніки. Зараз працюємо над обробкою даних для нових моделей та системами розпізнавання спалахів та диму.
Ми використовуємо технології глибинного машинного навчання (Deep Learning) для створення складних нейромережевих моделей для автоматичного розпізнавання техніки, людей та інших об’єктів у реальному часі. А технологію виявлення аномалій (Anomaly Detection) — для предективної аналітики стану техніки та алгоритмізації дій екіпажу в різних обставинах.
Наразі над системою працює команда, що налічує понад 20 спеціалістів, зведених у кілька відділів: інжинірингу та розробки вбудованого програмного забезпечення; дизайну інтерфейсів та промислового дизайну; машинного навчання та комп’ютерного зору; а також доданої реальності. Зараз наша компанія розширює штат, але, на жаль, спеціалістів потрібного рівня на ринку праці менше, ніж хотілось би.
Наша команда
У результаті замість системи лише кругового огляду ми створили комплексне рішення для наземної бойової техніки. Це рішення складається з апаратної частини — сенсори (як встановлені на самій машині, так і віддалені), сервер для обробки даних та пристрій виводу даних (AR-окуляри, монітор або планшет). А також програмної частини — склейка оптичних потоків у єдину 360° панораму за допомогою технологій комп’ютерного зору (Computer Vision) і аналізу оптичного потоку (Optical Flow Analysis) як у видимому, так і у невидимому спектрах, нейромереж розпізнавання об’єктів навколишнього середовища та автоматизованого аналізу і візуалізації даних, отриманих з сенсорів.
Оскільки сама система зазнає значного навантаження, нам також довелося вирішувати низку складних проблем, пов’язаних з усуненням затримки передачі відеопотоку з великої кількості камер одночасно, GPU оптимізацією обробки зображень в режимі реального часу, оптимізацією нейронних мереж та розробки зручного інтерфейсу для доповненої реальності і відображення телеметрії.
Після презентації альфа-версії зміни концепції продукту не закінчилися. Під час розробки ми відмовилися від електромеханічної стабілізації камер через значне ускладнення математичної моделі і, відповідно, збільшення потреби в обчислювальних ресурсах. Тоді як на етапі переговорів із замовниками виявилося, що деякі з них навіть не потребують повноцінного склеювання панорами і цілком задовольняються автоматичним перемиканням між камерами поворотом голови. Звичайно ж, ми додали і таку опцію.
Нам також довелося докласти значних зусиль для оптимізації MS Hololens до бойового застосування. Ми розробили систему передачі даних з окулярів до серверу через кабель, чого вимагають військові стандарти. Було розширено кут огляду до 75° та імплементовано стабілізацію зображення задля зручності використання в техніці під час її руху. Крім того, ми розробляємо власні окуляри доповненої реальності, котрі будуть позбавлені наявних обмежень для вирішення задач наших клієнтів.
Загалом вирішення всіх проблем йшло методом спроб та помилок, що часто приводило до кардинальних змін у використанні технологій.
Результати і плани
На виставці озброєння IDEX-2019, що проходила в Абу-Дабі (ОАЕ), було представлено альфа-версію нашої системи LPMK і підписано перші контракти на тестові поставки. Це свідчить про затребуваність наших рішень та успіх у реалізації ідеї.
Підписання ексклюзивної дилерської угоди між Limpid Armor та International Golden Group під час виставки IDEX-2019, Абу-Дабі, ОАЕ
Зараз йде повним ходом розробка бета-версії, навіть радше «версій», під конкретні вимоги замовників, оскільки кожен кінцевий продукт буде відрізнятися залежно від машини, на яку встановлюється.
Спільно з фахівцями з Організації науки і технологій НАТО (NATO Science and Technology Organization) ми долучилися до розробки стандарту візуалізації умовних позначок та інших даних в доповненій реальності. А в грудні 2018 року на засіданні робочої групи в Афінах наша концепція була взята за основу і допущена до тестувань.
Восени 2019 року ми спільно з ЦНДІ плануємо відкритий показ системи на полігоні для офіцерів ЗСУ та представників НАТО. Про що, звичайно, більш конкретно ми повідомимо пізніше. Після завершення всіх бюрократичних процедур ми подаруємо Збройним силам необхідну кількість комплектів для дослідної експлуатації.
Беручи до уваги наші перші успіхи у військовій галузі та амбітні плани, ми також запустили цивільний напрямок, який пропонує сервіси відеоаналітики та візуалізації даних у доданій реальності для промисловості. Як у військовій сфері, так і в цивільній — життя та здоров’я людини є нашим пріоритетом.
