Ірпінь, Буча, Мощун. Як команда ентузіастів оцифровує наслідки російських обстрілів міст і селищ України
Від початку повномасштабної війни росії проти України понад 100 тисяч цивільних обʼєктів зазнали руйнувань. Навесні фахівці з open data сервісів та диджиталізації агросектору обʼєднались під егідою волонтерського проєкту RebuildUA, аби візуалізувати зруйновану інфраструктуру і тим самим допомогти владі та громадам оцінити збитки, а також скласти план відновлення міст і селищ.
Команда вже відзняла майже 60 населених пунктів і зробила цифровий «зліпок» понад 15 000 зруйнованих об’єктів Київщини.
DOU поговорив про проєкт з його керівницею Оксаною Сімоновою, головою напряму оцифрування Миколою Черваком і аналітиком, координатором роботи з волонтерами Василем Шиманським.
Про ідею проєкту та його значення для громади
— Як ви прийшли до ідеї оцифрування втрат міст і селищ внаслідок російської агресії?
Оксана: Наш проєкт започаткували дві компанії — інтегратор інновацій в агросекторі SmartFarming та «Вкурсі Землі», провайдер open data сервісів з аналізу та управління земельними ресурсами.
На початку березня ми стали думати, як свою експертизу і навички переорієнтувати на користь держави, і прийшли до того, що можемо знімати дронами постраждалі населені пункти й далі опрацьовувати цю інформацію, формувати реєстри пошкоджених об’єктів з прив’язкою до координат на місцевості.
Коли в нас тільки зароджувалась ідея проєкту, ми досліджували, які є методології для аналізу пошкоджень, і знаходили багато інформації щодо аналізу руйнувань від природних стихійних явищ: землетрусів, ураганів у США. І врешті зупинились на методології оцінки руйнувань за даними супутникових знімків від Міжнародної робочої групи з супутникового картографування надзвичайних ситуацій (International Working Group on Satellite-based Emergency Mapping).
До неї входить 39 компаній та установ, зокрема NASA, European Space Agency, World Bank та агенції ООН UNITAR/UNOSAT, які досліджують використання геопросторових інформаційних технологій та даних ДЗЗ (дистанційного зондування Землі). Ми взяли за основу їхню методологію та адаптували її під зйомку з дронів, яка дає змогу розпізнавати більше руйнувань завдяки більшій роздільній здатності. Ми знімаємо з роздільною здатністю
— Як отриману інформацію використовують громади, органи державної влади?
Оксана: Громадам поставлено завдання від Офісу президента сформувати базу даних потреб усіх населених пунктів України, у тому числі — зробити повний перелік зруйнованих будівель, щоб скласти кошторис на відновлення. Зараз громади збирають інформацію різними способами: за можливості проводять польові огляди, дивляться матеріали про свої населені пункти в медіа, збирають заявки у місцевих жителів з фотопідтвердженнями.
Фактично на виході вони отримують велику Excel-табличку з інформацією про пошкоджені будівлі та великі ящики з паперовими заявами від мешканців громади. З такою інформацією важко працювати, і її складно перевіряти. Будівлі схожі, особливо якщо йдеться про панельні забудови чи приватний сектор. Незрозуміло, чи на фото саме ця будівля, чи сусідня, яка теж пошкоджена. Такі дані потребують додаткової валідації, а це великий шмат роботи.
Одна зі сторінок звіту щодо Горенки, яку росіяни обстрілювали з «Градів»
Ми ж надаємо громадам мапи їхніх населених пунктів у високій якості та деталізації. А це вже візуальна основа, з якою можна працювати. Ми розмічуємо геопросторові дані та вказуємо, які саме будинки було пошкоджено, визначаємо рівень їхніх руйнувань.
Так громади можуть підтвердити масштаби руйнувань. А ще це є дорожньою мапою для фахівців з оцінки майна, які безпосередньо складатимуть акти обстеження та формуватимуть кошторис на відновлення. Інформацію ми скеровуємо в Міністерство економіки та інші держустанови, що відповідають за оцінювання масштабів руйнувань інфраструктури та вартості її відновлення.
У квітні цього року уряд створив Національну раду з відновлення України від наслідків війни, яка нині напрацьовує конкретні методики, як правильно оцінювати прямі й непрямі збитки тих чи інших секторів економіки. До цього залучили багато спеціалістів різних міністерств. Власне, методики уже на фінальній стадії затвердження.
Паралельно з цим готують до запуску національний геопортал з інформацією про всі зруйновані будівлі, зокрема там будуть наші дані.
Про оцифрування руйнувань: етапи, ступені пошкоджень і робота з даними
— Розкажіть про процес оцифрування втрат — від обльотів дронами до аналізу даних.
Микола: Найскладніше — визначити, які саме населені пункти потрібно облітати і як туди дістатися. На старті проєкту це потребувало значних зусиль, адже на деокуповані території можна було потрапити за спеціальними дозволами. Важливим було і залишається питання безпеки команди, оскільки розмінування територій досі триває.
З офіційних відкритих джерел ми отримали перелік населених пунктів, в яких було пошкоджене газо/електро/водопостачання внаслідок бойових дій. Ми виходили з того, що якщо там немає світла, то, найімовірніше, щось сталось і варто за цим постежити. У списку було понад 280 пунктів. Закривати це силами кількох людей довго і складно. Тому ми почали розставляти пріоритети й рухатись від найбільших населених пунктів у передмісті Києва: Ірпеня, Бучі, Гостомеля, Ворзеля.
Другий етап — розбивка населених пунктів на місії для дронів. Це відносно нескладно, автоматизовано, для цього є купа сервісів. У дронів, тих самих Mavic, передвстановлена функція створення мапи польотів. Що насправді складно — безпосередньо вильоти: є багато систем радіоелектронної боротьби, людей зі зброєю, які бачать дрон і намагаються його збити. Неможливо попередити всіх військових про зйомку, адже їх дуже багато і вони з різних структур.
Третій етап — обробка даних (аналіз фото та створення ортофотоплану). Вона теж автоматизована. Дрон за один політ може збирати кількасот фотографій, що важать
Оксана: У нас на 58 відзнятих населених пунктів RAW DATA займає понад 500 ГБ. Це саме фотографії, ще не оброблені дані.
Микола: З того, що ми зібрали, використали далеко не все. Для наших задач достатньо було 20% від всієї інформації. Втім, цих даних достатньо, щоб створити гарні топооснови й топокарти для міських, сільських рад. Те, що Україна планувала виконати вже давно. Пізніше вирішимо, як використати цю інформацію.
Далі найскладніший етап — розпізнавання пошкоджень та ідентифікація будівель, визначення їхніх контурів, розташування (адреса, вулиця, поверховість), типів (школа, садочок, житловий будинок, лікарня). Ми ще шукаємо способи, як це автоматизувати.
Кожна будівля типізується за призначенням та іншими параметрами. Зображення — звіт по Горенці
— Який софт використовуєте для часткової автоматизації процесу?
Микола: Для планування місій і обльотів використовуємо софт американської компанії DroneDeploy. Був досвід з PIX4Dmapper для DJI Mavic. Якщо брати українські промислові дрони SKIF, Abris, то вони мають свій софт і виробники його надають.
Для зшивки ми зупинились на AgiSoft. Це відносно нескладна програма, але для нашої роботи її достатньо. Вона перетворює фотографії на цифрові моделі.
Ми давно намагаємось автоматизувати процес розпізнавання будівель, є багато напрацювань. А ось розпізнати призначення будинку за фотографією — складніше.
Завдяки тому, що ми переводимо фотографії у векторні об’єкти з атрибутами, їх можна покласти у базу даних і швидко з ними працювати, застосовувати різні алгоритми, засновані на геометрії та інших параметрах, ми набили певний датасет, який можна «згодовувати» нейронкам, таким чином цю роботу автоматизовувати.
Проте є питання до точності моделей. При векторизації 20 000 будівель, особливо в Ірпені, бажано досягти максимальної точності. Точність
Ми визначаємо чотири ступені руйнувань: повне пошкодження, сильне пошкодження, помірне пошкодження, ймовірне пошкодження.
- Повне — будинок знесено до фундаменту, тобто його потрібно відбудовувати з нуля.
- Сильне — до 50%. Тобто в пʼятиповерхівці може бути зруйновано
1–2 поверхи чи кілька квартир. - Помірне — вибиті вікна чи частково зірвана покрівля. У цьому випадку можна обійтись косметичним ремонтом.
- Ймовірне — це коли ми не бачимо явних пошкоджень, отворів від снарядів чи слідів пожеж, але довкола лежить купа сміття чи вибиті вікна. За такими ознаками припускаємо, що будинок якось постраждав — можливо, щось усередині зруйноване, але зовні цього не видно.
Втім, жоден дистанційний метод не замінює спеціаліста, який прийде і поміряє рулеткою або штангенциркулем товщину стін і визначить, наскільки ця конкретна споруда підлягає відбудові чи реновації.
Оксана: Для таких спеціалістів потрібно зробити дорожню мапу. Вони мають знати, за якою адресою які будівлі обстежувати.
Микола: Я спілкувався зі спеціалістами, які намагались автоматизувати цей процес. В них є два підходи до навчання нейронок. Один підхід, коли вони порівнюють попередні супутникові знімки й нинішні та на основі різниці визначають, чи була пошкоджена будівля.
Такий спосіб не завжди є вдалим через недостатню точність аналізу. Часто супутникові знімки робляться в різні пори року та під різними кутами.
Другий cпосіб — це коли для аналізу беруть лише одне зображення (ортофото) місцевості й певну групу пікселів, які відповідають будинку, далі на основі цієї інформації роблять припущення про пошкодження будівлі та ступінь його тяжкості.
У нас на 58 відзнятих населених пунктів RAW DATA займає понад 500 ГБ
Оксана: Відбувається попіксельне порівняння. Якщо хтось вирішив замінити дах і змінилась кольорова гама, система розпізнає це як зміни й може зафіксувати як руйнування. Або якщо з’явився додатковий об’єкт на даху. Чи це осінь і дах просто засипало листям. Тут багато нюансів, і з цим треба працювати. В Україні схожих рішень немає, у світі їх теж мало.
Автоматичного рішення з оцифрування контурів будівель немає. Microsoft нещодавно опублікували свій датасет по Україні, але точність таких даних є невисокою, їх треба актуалізовувати, виправляти, тому це передбачає ручну роботу. Люди мають сісти і в ГІС-системах оцифровувати будівлі, внести атрибутивні дані.
У нас немає єдиного джерела для з’ясування призначення будівлі. Ми використовуємо багато даних. Це інформація, яка є в громади з топокарт, містобудівного кадастру. І та, що відмічена в гуглі — наприклад, місце реєстрації компаній в певному населеному пункті з прив’язкою до адреси. Цю інформацію ми пробуємо збирати з різних джерел і об’єднувати, щоб виходила єдина коректна база, на основі якої можна виконувати правильні аналітичні розрахунки.
— Можливо, проаналізувавши ці дані, ви побачили патерн руйнувань: приміром, що росіяни гатять здебільшого по цивільній інфраструктурі, або ж обстріли хаотичні й не можна побачити закономірностей?
Оксана: На мою думку, обстріли відбувались хаотично. Наприклад, перше село, яке ми проаналізували — це Мощун, 90% якого становить приватний сектор. Там було зруйновано 2000 будівель. Крім того, ми додатково зафіксували 1500 кратерів від снарядів. Тобто гатили як могли й куди могли. Сказати, що вони цілились у конкретні об’єкти, важко. Гатять багато, потрапляють — куди вийде. Можливо, ціляться конкретно по військових, але прилітає по приватних та багатоквартирних будинках.
Ми спілкувались з кількома місцевими жителями, які казали, що передавали інформацію ЗСУ. І якщо російські війська базувались у межах населених пунктів, вони менше страждали, бо українці не стріляли поруч із житловими будинками.
— Скільки локацій загалом плануєте оцифрувати? Поки йдеться лише про Київську область?
Оксана: Так, зараз ми працюємо по Київській області. З липня хочемо почати у Сумській. В планах — оцифровувати руйнування в Чернігівській і Житомирській областях. Але швидкість аналізу залежить від залучення фінансування, адже наша ініціатива — волонтерська.
Про складнощі та потребу в спеціалістах
— З якими складнощами стикаєтесь під час роботи?
Оксана: Коли не встигаємо все зняти. Дивимось на фотографію дрона зверху, і видно, що частина даху затягнута поліетиленом або завезли будматеріали й починаються ремонтні роботи. Це більше стосується приватних будівель, коли жителі повертаються і розуміють, що їм треба полагодити своє житло. Розуміємо, що час грає проти нас, тож у силу своїх можливостей намагаємось швидко проводити зйомку.
Василь: Яким міг би бути найпростіший алгоритм нашої роботи? Нам достатньо взяти наявні дані щодо забудови й на основі них шукати руйнування. Але тут ми стикаємось з тим, що оцифрованих даних майже немає.
У кращому випадку оцифровані населені пункти навколо Києва, які мають більшу кількість жителів і більш ініціативного землерозпорядника або зацікавлених волонтерів. Тоді можемо знайти такі дані у векторному форматі та пришвидшити свою роботу. А коли йдеться про більш віддалені від столиці населені пункти, то тут вриваємось в «чисте поле» цифровізації країни.
Збитки від російських воєнних злочинів сягають мільярдів гривень. Зображення — звіт по Горенці
Ми перетворюємо всі види аналогових даних у диджиталізовані бази даних. Починаємо з найпростішого — з пошуку вектора всюди, де можливо, щоб спростити собі завдання. Але якщо взяти Мощун, який ми згадували, то там 4500 будівель, а зі всіх джерел, які ми проаналізували, знайшли 12 оцифрованих одиниць даних.
Те саме з адресами. Ми не можемо витягнути за раз всю інформацію про те, що в населеному пункті пошкоджено 1000 будівель. Потрібні адреси. Ми беремо дані з усіх відкритих порталів і тільки тоді оцінюємо руйнування. Інколи навіть важко візуально оцінити, це зруйнована будівля чи вона була закинута задовго до війни. А буває складно визначити ступінь руйнування.
— Яких волонтерів і спеціалістів вам бракує?
Оксана: Machine Learning спеціалістів. Ми співпрацюємо із хлопцями з UADamage від NeuroMarket, які тренують нейронні мережі. Допомагали їм валідувати дані з Маріуполя та дотреновувати нейронні мережі. Але потрібно більше людей.
Також плануємо взаємодіяти з БПЛА-спільнотою. У нас вже є кілька партнерів з агросектору, які допоможуть масштабувати процес зйомки з дронів. Нам цікаво залучати волонтерів з власними дронами. А ще необхідні дата-аналітики, які зможуть напрацьовану нами базу даних переводити у формат звітів.
