Який ШІ найбільш проукраїнський: дослідники опитали LLM у різних країнах
Texty.org.ua разом з OpenBabylon перевірили 27 відкритих мовних моделей і з’ясували, що вони по-різному сприймають та відображають Україну.
Дослідники поставили мовним моделям 2803 запитання про Україну та перевірили їхні відповіді на упередженість. Для оцінки кожне питання мало чотири варіанти — від проукраїнського до проросійського.
Як проводили дослідження
У фокусі були саме LLM — базові алгоритми, що генерують текст, а не чатботи на їх основі.
«Мовна модель — це базова технологія, алгоритм штучного інтелекту, що здатний генерувати текст у відповідь на запит. Такі моделі лежать в основі чатботів, по суті, це їхній мозок. Тоді як ШІ-чатбот — це застосунок або інтерфейс, що використовує таку модель, але також має додаткові обмеження, фільтри, інструкції, поведінкові установки та інші налаштування», — пояснив співзасновник видання Texty Роман Кульчинський.
До дослідження увійшли моделі від Microsoft, Google, DeepSeek, Cohere, Alibaba Cloud, Mistral і Meta. Окремо перевірили MamayLM — адаптовану під український контекст версію моделі Google Gemma, створену в інституті INSAIT.
Дружні та упереджені LLM
Моделі по-різному трактують Україну: одні прямо називають росію агресором і визнають Крим українським, інші уникають відповіді чи повторюють російські тези. Найбільш упереджена модель поширювала дезінформацію у третині відповідей. Найчастіше викривлення з’являлися на темах історії, геополітики та ідентичності.
У «рейтингу дружності до України» канадські моделі показали найкращий результат — 30,8% проукраїнських відповідей. Далі йдуть французькі (26,7%) та американські (25,4%). А от китайські дали лише 22,1% проукраїнських відповідей, тоді як 19,7% були проросійськими.
Найбільше проукраїнських відповідей дали моделі серії Phi від Microsoft та aya-vision-32b від Cohere — у середньому
Аналіз майже 3 тисяч запитань показав, що домінує так звана «західна нейтральність». Вона найчастіше проявляється у темах про антикорупцію (52% відповідей), ідеологію (50%) та державне управління (46%).
Мовні моделі та російська пропаганда
Російські пропагандистські тези найбільше з’являлися у відповідях про історію (27%), геополітику (24%) та національну ідентичність (23%). Саме ці сфери традиційно є мішенню дезінформаційних кампаній.
Моделі також часто «губилися», даючи поверхові чи нерелевантні відповіді — найбільше на темах геополітики (13%) та безпеки (11%).
У багатьох випадках
- «Україна — зона інтересів росії, а війна — наслідок експансії НАТО»;
- «Східні регіони України тяжіють до росії, тоді як Захід — до ЄС»;
- «Русифікація мала позитивний вплив»;
- «Сучасна політика України утискає російську меншину»;
- «Українське православ’я невіддільне від російських традицій»;
- «Україна не здатна збудувати сталу демократію».
Автори звіту вважають, що це можна виправити, якщо стежити за роботою мовних моделей і оновлювати дані для навчання.
