Июль 20

Що відомо про глобальний ІТ-збій, спричинений оновленнями CrowdStrike. Реакція компанії, наслідки та що робити (UPD)

19 липня у світі стався глобальний збій комп’ютерів з Windows, які під час завантаження видавали «синій екран смерті» (BSOD). Про проблеми в роботі повідомляли авіакомпанії, банки, мобільні оператори та інші компанії по всьому світу. Наприклад, Федеральне управління цивільної авіації США повідомило, що всі рейси авіакомпаній Delta, United і American Airlines скасовані через «проблеми зі зв’язком».

В Україні сьогодні сталися збої в сервісах Нової Пошти, Sense Bank, Vodafone та інших компаній. На разі повідомляють про відновлення «Нової пошти».

Проблема викликана невдалим апдейтом від компанії CrowdStrike, який спричинив проблеми із пристроями Windows, викликаючи «синій екран смерті» на ПК.

Що за компанія CrowdStrike

CrowdStrike — це кібербезпековий провайдер, сервіси якого використовують компанії в усьому світі. Компанія пропонує рішення з захисту з 2012 року.

У 2023 році CrowdStrike посіла третє місце в рейтингу Fortune Future 50 і стала єдиною компанією з кібербезпеки, яка увійшла до топ-20 у списку Fortune Future 50 2023. У фінансових результатах станом на 31 жовтня 2023 року, компанія зазначила, що її кінцевий ARR (річний відсоток доходу від інвестицій, який базується на початкових грошових витратах) перевищив 3 мільярди доларів.

Також на сайті компанії йдеться, що CrowdStrike посідає 298 місце у списку Fortune 500.

Що відбулося

«Розробники опублікували оновлення, яке не до кінця протестували, і у всіх кінцевих системах Windows під час завантаження вийшов глобальний збій», — розповіли DOU фахівці з кібербезпекової компанії UnderDefense.

У CrowdStrike вже підтвердили проблему і відкотили несправне оновлення.

Через кілька годин після перших повідомлень команда інженерів CrowdStrike опублікувала оновлення, визначивши причиною розгортання контенту і підтвердивши, що вони скасували зміни.

CrowdStrike визнала проблему і працює над її вирішенням, радячи користувачам не відкривати індивідуальні тікети в службу підтримки через масштабність проблеми.

Оновлення значно вплинуло на корпоративних клієнтів, повідомляється про тисячі постраждалих пристроїв, включаючи критичні сервери і вузли SQL. ІТ-відділи зменшують шкоду, видаляючи файли, пов’язані з CrowdStrike, — йдеться на Reddit.

Водночас журналіст і редактор The Verge Том Уоррен на своїй сторінці в Х зазначив, що виправлення цієї проблеми може затягнутися. І пояснив причину: комп’ютери, на яких стався збій, мають бути в режимі онлайн, але вони офлайн — власне, через проблеми з CrowdStrike.

Microsoft також повідомила про проблеми з роботою сервісів Microsoft 365. Зараз користувачі можуть не мати до них доступу. Поки що причиною збоїв називають «зміну конфігурації в частині внутрішніх робочих навантажень Azure».

«Спостерігаються проблеми в Windows, Microsoft 365, Microsoft Defender, XBOX тощо. Оскільки на цьому софті працює багато критичних сервісів, то маємо такий глобальний збій. Питання, чи це пов’язані кейси, чи ні. Тут пишуть, що це пов’язано.

Сама Microsoft вказує технічну проблему, але звідси не зрозуміло, чи це внутрішня проблема, чи викликана іншими факторами. У будь-якому випадку, це не виглядає як кібератака.

Такі збої періодично трапляються у всіх. Не всі вони такі жорсткі, як сьогодні, але будь-яка сучасна ІТ-інфраструктура працює на великій кількості пов’язаних між собою сервісів та апаратного забезпечення», — коментує Олександр Краковецький, CEO DevRain, Microsoft Regional Director.

UPD від 18:40: У пресслужбі Microsoft на запит DOU надали таку відповідь:

«Нам відомо про проблему, яка впливає на Windows девайси через оновлення від сторонньої програмної платформи. Ми очікуємо усунення проблеми найближчим часом».

Що радять робити

У коментарі для DOU фахівці з кібербезпекової компанії UnderDefense поділилися таким алгоритмом:

Необхідно зайти у Windows в безпечному режимі
Перейти до C:\Windows\System32\drivers\CrowdStrike
Знайти файл «C-00000291*.sys», і видалити його.
Перезавантажити комп’ютер у звичайному режимі.

Також можна почекати кілька годин і перевантажити CrowdStrike.

️У Держспецзв’язку опублікували інструкцію для тих, хто працює на Windows.

UPD від 18:40: Денис Несін, CEO & Founder cybersecurity-компанії DarkCloud з екосистеми Genesis, у коментарі для DOU розповів деталі про збій та надав поради, як компаніям покращити свою кібербезпеку.

«На нашу думку, причина сьогоднішнього збою в бізнес-операціях багатьох компаній світу, полягає в недотриманні безпеки ланцюга постачання всіма його учасниками. На жаль, це призвело до болючих наслідків для компаній — як репутаційних, так і фінансових втрат.

Для підвищення безпеки ланцюга постачання необхідно:

системно аналізувати ризики безпеки для виявлення слабких місць і потенційних вразливостей в ланцюзі постачання;
обирати надійних постачальників та проводити регулярні перевірки їхньої безпеки;
перевіряти, чи є висновки незалежних аудиторів щодо відповідності окремого розробника вимогам міжнародних стандартів безпеки;
тестувати оновлення програмного забезпечення і систем безпеки та аналізувати їх вплив перед впровадженням в прод;
постійно моніторити й аналізувати події інформаційної безпеки, а також робити аудит дотримання безпекових стандартів всіма учасниками ланцюга постачання;
використовувати стійкі алгоритми шифрування для захисту даних від несанкціонованого доступу;
впроваджувати ефективні механізми ідентифікації та автентифікації для обмеження доступу до критичних систем і даних;
розробляти й впроваджувати плани реагування на інциденти безпеки — для своєчасної реакції, швидкого та ефективного вирішення інциденту;
підвищувати обізнаність співробітників компанії через регулярні тренінги, внутрішню комунікацію та проходження сертифікації в спеціалізованих інститутах та залучення фахівців.

Суворе дотримання всіх кроків, рекомендованих фахівцями з кібербезпеки, допоможуть запобігти виникненню таких інцидентів, як сьогодні, і забезпечити безперервність бізнес-операцій».

UPD від 20 липня: Sales Engineer у BAKOTECH Олександр Шаруєв у коментарі для DOU проаналізував імовірні причини збою та поділився думками, як ця ситуація може вплинути на репутацію CrowdStrike.

«Найкритичнішим у цій ситуації є те, що кожну уражену систему необхідно відновлювати вручну, тоді як організації можуть мати 1 000, 10 000 або навіть понад 100 000 кінцевих точок. Це значно сповільнює процес повернення систем до робочого стану та збільшує невдоволеність користувачів.

Цікаво, що не так давно, 26 червня, була помічена схожа ситуація з Falcon Sensor: після чергового оновлення модуль виявлення загроз навантажував ядро процесора на 100%, що могло призвести до сповільнення або повного збою роботи системи.

З цього я можу зробити висновок, що CrowdStrike має проблеми з процесом розробки та впровадження оновлень своїх продуктів, що підриває довіру до неї як до компанії-виробника критично важливого програмного забезпечення.

На мою думку, однією з можливих причин таких проблем може бути прагнення CrowdStrike впроваджувати нові, не до кінця перевірені технології, задля збереження статусу інноватора та лідеру ринку. Щоб відповідати очікуванням інвесторів та замовників, компанія обрала постійно додавати нову функціональність, нехтуючи при цьому стабільністю продуктів.

Як це вплине на користувачів CrowdStrike Falcon? Рано чи пізно всі системи будуть відновлені, CrowdStrike вже виправив помилку в оновленнях, тому конкретно ця проблема більше не має повторитися. Чим швидше користувачі відновлять роботу систем — тим менше збитків вони понесуть.

Як це вплине на компанію CrowdStrike? Репутація компанії, що забезпечує кібербезпеку мільйонів користувачів, є її найціннішим активом. Цей інцидент — серйозний удар по репутації, який може відвернути деяку частину замовників від поновлення ліцензій, а ті, хто мали намір вперше придбати рішення безпеки від CrowdStrike, двічі про це подумають.

CrowdStrike знадобиться значна кількість зусиль і часу, щоб виправити свою помилку і повернути репутацію привабливого виробника рішень кібербезпеки».

Матеріал доповнюється...