«Після роботи у Google я зрозуміла, що IT — це цікаво». Історія лінгвістки, яка створює голосові сервіси Amazon
Роксолана Михайлик за освітою мовознавиця, яка керувала командою з розробки українського голосу для Google Translate, а ще працювала над проєктами для Oracle, Microsoft і Apple. Починала свій шлях як вчителька у сільській школі на Вінниччині, а нині працює як Senior Program Manager в Amazon.
Окрім цього, Роксолана захистила дві дисертації, мала чотирирічне стажування в Норвегії, була асоційованим членом Гарвардського українського наукового інституту.
В інтерв’ю DOU вона розповіла про свою роботу над голосовим помічником Amazon і про те, як мова впливає на розвиток ПЗ та чому варто ставити українську на пристроях.
«Я мала омріяну роботу викладача, коли все змінилося»
Я з Вінниччини, там закінчила звичайну сільську школу, до якої іноді треба було ходити п’ять кілометрів пішки. Закінчила Вінницький педінститут і мріяла стати викладачкою української мови та літератури. Врешті я нею стала: спочатку у малесенькій місцевій школі, а потім у педагогічному інституті міста Слов’янськ на Донеччині.
Згодом пішла в аспірантуру в Інститут української мови та почала викладати у військовій академії у Києві. Вчила майбутніх офіцерів розмовляти українською мовою, бо вони не вміли. Тобто я мала омріяну роботу викладача, коли все змінилося: я поїхала за кордон і мусила починати все з початку.
Це був 1995 рік, якраз найважчі часи після розпаду Союзу. Ми з колишнім чоловіком, біологом, відчули, що в цих умовах для науковців майже немає можливостей розвиватися, працювати та просто виживати. Тоді багато науковців виїжджали за кордон, щоб продовжити навчання або пройти стажування. Так ми опинилися у Франції.
На жаль, я працювати не могла, бо не знала французької та не мала дозволу на роботу. Тому вчила мову, доглядала дитину. Через деякий час викладала українську в суботній українській школі в Парижі. Потім з’явилася ідея написати підручник, за яким би франкомовні студенти могли вивчати українську але не просто розмовну, а на вищому рівні — з граматикою. Проте посібник закінчила, коли ми вже переїхали до США.
«В Америці я наполягла, що хочу працювати з українськими матеріалами»
В США я мусила перемкнутися на англійську. Вчилася, вирішувала, що робити далі, тому що викладати українську мову було ніде, крім суботніх шкіл — і я так і робила. Але хотілося більшого, займатися наукою, тому я вступила в аспірантуру Університету Стоні-Брук на факультет лінгвістики.
Там переважав теоретичний підхід до вивчення мов, але не конкретних, а людської мови взагалі. Проте я наполягла, що хочу працювати з українськими матеріалами. Моя дисертація була про українську мову в порівнянні з іншими, а саме про непрямий порядок слів у реченні. Ми можемо сказати: «Марія читає книжку» або «Марія книжку читає», а в англійській так не можна. Цікаво, що я не порівнювала українську мову зі слов’янськими мовами, особливо з російською (хоча на цьому всі наполягали, бо з російської набагато більше матеріалів англійською). У мене було порівняння з данською, японською, норвезькою, де є схожі феномени у мовній структурі.
Це був дуже цікавий період мого життя. Я навчилася дивитися на мову зовсім з іншого боку. В Україні ми переважно фокусуємось на тому, як говорити правильно, «чисто». А в Університеті Стоні-Брук насамперед звертали увагу на живу мову — на те, як люди справді розмовляють, на всі ті правила, які не написані в підручниках. Уже дворічні діти починають розуміти, куди ставити слова у реченні, хоча ніхто їм не давав жодних вказівок про непрямий порядок слів у реченні.
Я поєднувала теоретичний підхід, зокрема генеративну граматику, з експериментальним. Так, я записувала мову дітей і дорослих в Україні, а пізніше — двомовних дітей в Америці, які розмовляли англійською та українською. Моєю метою було перевірити, як вони справляються з порядком слів: чи будуть переміщувати слова в англійській або завжди розмовляти прямим порядком слів в українській. Насправді ні. Вони відчувають мову, хоча ніхто їм цього не пояснює.
Запис дитячого мовлення, 2013 рік
Коли я вже захистилася, то збагнула, що хочу більше займатися експериментальною лінгвістикою, зокрема «засвоєнням мови» (language acquisition).
Після в мене була постдокторантура — майже чотирирічне стажування в Арктичному університеті Норвегії у місті Тромсе за полярним колом. Це теж був чудовий час. Ми порівнювали, як діти проходять певні етапи у своєму розвитку, як засвоюють різні мови. Наприклад, я порівнювала польських дітей з Познані та українських дітей з Тернополя від двох до п’яти років. Виявилося, що вони роблять однакові помилки, коли засвоюють синтаксичну структуру своєї мови. Ми ще додали до дослідження норвезьких і англійських дітей. А пізніше вивчали двомовних і тримовних, які, наприклад, знали норвезьку, англійську, польську / українську / російську, та порівнювали, як вони розбираються з побудовою речень у кожній з цих мов.
Тромсе, Норвегія
Ще коли я була в Норвегії, то подала документи до Гарвардського українського інституту. І потім проходила там річне стажування як дослідниця. Основною темою було засвоєння мови та двомовність.
Тоді я писала різні заявки на гранти, бо хотіла перейти на дослідження українсько-російської двомовності як психолінгвістичного феномена. Щоб допомогти українським дітям стати справді двомовними, якщо вони виростають у російськомовній сім’ї. Тобто підняти їхню українську мову до такого рівня, щоб вони вільно могли переходити з однієї на іншу — як крок до того, щоб українська стала для них домінантною. Але, на жаль, жодна із заявок не пройшла.
«Спочатку я навіть не знала, що працюю для Microsoft»
Насправді я ніколи не мала такої розкоші, як суто наукова робота. Завжди мусила поєднувати дослідження з чимось іншим: викладанням, перекладами, консультаціями, щоб підтримувати сім’ю та розвиватися далі. Ще 2007 року почала консультувати різні IT-компанії як спеціалістка з української мови. Це склалося випадково.
Я поїхала на найбільшу лінгвістичну конференцію США, де виступала з темою про порядок слів в українській мові. Там я зустріла менеджера компанії, яка потім стала Appen. Вони готували дані для різних компаній (Microsoft, Оracle, Apple тощо), які розробляли мовні продукти — перекладачі чи спелчекери. І їм був потрібен спеціаліст з української.
Мені почали надсилати завдання, які я виконувала з дому. Роботу оплачували погодинно. Наприклад, я перевіряла довгі списки скорочень і пояснювала, що вони означають і як правильно вживати дефіс та крапку у таких скороченнях, як канд. фіз.-мат. н. чи адм.-тер.
Інколи компаніям були потрібні консультації. Наприклад, про те, як працюють числівники української мови. Це досить складно, якщо порівняти з іншими мовами, з тією ж англійською, де числівник буде завжди в одній і тій самій формі. У нас же написане число «22» може мати до 30 відмінкових і родових форм. І я пояснювала, як комп’ютеру вжити правильну форму залежно від того, де числівник стоїть у реченні: «2022 рік», «2022 року», «22 студенти».
Можу розповісти про кілька проєктів. Наприклад, Microsoft Bing Translator. Для Appen я тестувала результати машинного перекладу, порівнювала їх з тим, як би це переклала людина. В результаті вони виправляли свої помилки. А якщо знаходили патерни, повторювані помилки, то могли їх виправити та передбачити, щоб далі не допускати. Спочатку я навіть не знала, що працюю для Microsoft.
Пізніше я дізналася, що цей перекладач почав використовувати Facebook.
Українська мова була одна із перших 35 мов, які вони випустили 2010 року.
Завдяки Appen я почала працювати з Nuance Communications. Це була одна з перших компаній, яка займалася звуковими технологіями. Серед їхніх продуктів був Dragon Dictation — застосунок, який перекладав розмовну мову на письмову: ви диктуєте свій текст — і він з’являється на екрані, ставляться правильні закінчення, розділові знаки тощо.
Для цього проєкту потрібно було робити багато фонетичних транскрипцій або прослуховувати аудіозаписи та тестувати, як вони перетворюються на текст. Звичайно, вони починали з так званих «великих мов» — англійської, французької.
Українська була
Не знаю, чи його зараз використовують в Україні, бо є вже багато іншого, але тоді я стежила за коментарями. І вони були дуже позитивними, один з користувачів писав: «Ну нарешті українська!». Звичайно, це було дуже приємно.
«Google вирішив, що хоче розробляти штучний український голос, і я була керівницею проєкту»
Роботу в Google я отримала завдяки тому, що мала досвід роботи зі звуковими технологіями у Nuance Communications. Google вирішив розробляти штучний український голос, тож 2015 року зібрали команду. Я була керівницею проєкту. Було багато фонетичної транскрипції, обробка українських слів зі складною вимовою, пошук акторки, яка б стала голосом Googlе. Мало бути відчутно, що для цієї людини українська — рідна (наприклад, щоб усі шиплячі вимовлялися твердо), щоб у неї був приємний голос.
Коли така акторка знайшлася, ми складали речення, які вона мусила начитувати, а потім перевіряли. Якщо щось було неправильним, повертались. Це був довгий процес. Зрештою, інженери складали це все докупи. Нині ця технологія застаріла, так не роблять, бо ми маємо штучний інтелект, який виконає подібне швидше. Але у той час я відкрила для себе багато того, чого не знала про українську мову.
Офіс Google, Нью-ЙоркВзагалі ми були частиною більшої організації, де працювали паралельно з командами, які опікувалися іншими слов’янськими мовами. Нас було четверо українських лінгвістів і мовна інженерка. Пощастило, що це теж була українка, яка довгий час працювала програмісткою. Крім того, були звукові інженери, акторка, яка начитувала матеріали, а ще в неї був тренер — теж знавець української мови, який ставив голос, допомагав з вимовою. Невелика команда, але ми працювали багато й із задоволенням.
Отже, ми почали з нуля, зробили голос, протестували його, потім видали. Зрештою було приємно чути його, в Google Translate його спочатку використовували. Я перевірила напередодні інтерв’ю: він там ще є. Хоча я сподівалася, що вони його покращать.
Тоді у
Виявилося, що в той час дуже мало людей використовували цю опцію українською
Навіть якщо вони це робили, але їхній комп’ютер був налаштований на російську, то Google не бачив інтересу до української. Тому коли я там працювала, то всім нагадувала: «Перемкніть свої комп’ютери на українську. Якщо ви цього не будете робити, ці продукти не будуть далі розвиватися». Мабуть, все-таки вони не настільки потрібні, щоб Google продовжував вкладати в гроші, покращувати той же український голос Google Translate.
«Вісім місяців подавалася на різні позиції до Amazon»
Взагалі після роботи у Google я зрозуміла, що IT — це цікаво і що ця сфера не тільки для програмістів. Я теж можу тут працювати, використовувати свої знання як лінгвістка, навіть з української мови. Тому я вже повністю перемкнулася на ІТ.
Я повернулася до Appen як Project Manager у штаті. Ми працювали з різними великими компаніями. Мені потрібно було збирати інформацію під них, робити описи завдань, знаходити спеціалістів з певної мови, які б їх виконували. Пам’ятаю, було складно знайти спеціаліста з Індонезії, адже я не знаю цієї мови, не можу впевнитись, що саме ця людина зробить справу найкраще. Але доводилося справлятися, наймати. Якщо людина робила щось не так, не досить швидко або поїхала у відпустку на острів і не відповідає, треба було оперативно шукати заміну, щоб виконати завдання, на яке чекає компанія — наприклад, Apple чи Google.
У
Я цілеспрямовано хотіла потрапити в Amazon. Під час роботи в Google я знала, що в Amazon є голосовий асистент Alexa і захотіла розвивати голосовий помічник. У Google такого проєкту ще не було.
Можливо, моя історія допоможе іншим людям, які теж шукають роботу й інколи розчаровані тим, що не все виходить одразу
Я вісім місяців подавалася на різні позиції до Amazon. Часом навіть не розуміла, чи ця вакансія насправді мені підходить. Було багато коротких телефонних інтерв’ю, аж поки не знайшлася потрібна позиція, де мій досвід був найбільш релевантним. Тоді вже мене запросили на довге інтерв’ю — серію з п’яти співбесід з різними представниками компанії. Після чого мені запропонували роботу. Це був 2017 рік.
Коли я отримала офер, то не зовсім розуміла, чим буду займатися: часто ця інформація є конфіденційною, тобі небагато розповідають наперед. Тож коли я туди прийшла, то мусила вчитися, здогадуватись, будувати свою позицію.
Спочатку я була програмною менеджеркою в команді Alexa — як і хотіла. Займалася локалізацією. До цього у мене був певний досвід з перекладів, але не на такому рівні. Але більше не було нікого, хто мав схожий досвід. Ми готували мовну експансію, тому я знаходила агенції, які допомагали нам з перекладами, локалізували документи. Коли я чую, що Alexa говорить французькою, іспанською, італійською, португальською, то відчуваю, що там є краплинка моєї роботи.
Потім я писала багато інструкцій про те, як збирати мовні матеріали, анотувати їх, тестувати те, як Alexa розмовляє з користувачами. Багато співробітників працювали саме над мовною частиною процесу. Поступово я почала керувати іншими людьми в команді, стала менеджеркою. Ми створили цілу бібліотеку інструкцій для різних анотацій. До нас могли звернутися інженери з будь-якої команди в Amazon, які робили машинне навчання чи тренування моделей. І ми їм допомагали описати, які саме дані вони хочуть отримати, щоб вони були якісними, корисними — і функції, які вони розвивають, добре працювали.
«За цей час, відколи я працюю, ми видали близько 30 нових голосів»
Потім я перейшла в іншу організацію на позицію Senior Program Manager. Це поширено у таких великих компаніях, як Amazon, коли люди переходять з однієї команди в іншу, щоб мати різноманітний досвід. Дуже рідко співробітники залишаються на тій самій позиції десятки років. Найчастіше радять кожні
Так, я перейшла в команду, де розвивають не тільки Alexa, а й інші голоси. Зокрема, Text to Speech сервіс під назвою Polly. Він є відкритим для усіх на Amazon Web Services. Будь-хто може використати ті голоси, які ми будуємо (їх уже більше як 100), які розмовляють різними мовами, мовними варіантами. Тож можна озвучувати свій текст тим голосом, який подобається найбільше.
Команда, з якою я зараз працюю, надзвичайно досвідчена. Це програмісти, мовні інженери, дослідники, які займаються прикладною наукою: вони експериментують перед тим, як певна функція буде масштабуватися. Не всі, з ким я працюю (хоча ми працюємо в IT-компанії над штучним інтелектом), є програмістами та зобов’язані вміти кодувати. У команді мусять бути ті, хто знають різні мови, менеджери, які працюють з агенціями, збирають матеріал для нас, звукові інженери, які роблять записи у студії і перевіряють, щоб всі звукові файли були доброї якості та правильно оброблені.
Виступ на конференції як представник від Amazon, 2023 рік
Ми маємо багато програмістів у Гданську, мовних інженерів — у Кембриджі, менеджерів продукту — у Сієтлі, де основний офіс Amazon. Звісно, для когось це може бути викликом. У моїй попередній команді були люди з Індії, Японії. Тобто ми мусимо підлаштовуватися під різні часові зони. Наприклад, минулого тижня у мене була зустріч з клієнтами з Кореї, яка для мене почалася о дев’ятій вечора та закінчилася об одинадцятій. Мабуть, це не всім підходить.
За час, відколи я тут працюю, ми видали близько 30 нових голосів. Я відповідаю за те, щоб інженери мали звукові матеріали, щоб збудувати голос, протестувати його з людьми, які знають цю мову — і ми вчасно видали якісний продукт для загального користування.
«Багато з того, що будується, розвивається, видається, ми робимо вперше»
Цікаво те, що я працювала у двох таких великих компаніях, і вони часто мають всі матеріали, розроблені всередині компаній — інструменти, збірки даних тощо. Тому, коли я перейшла з Google до Amazon, то все потрібно було освоювати спочатку, розбиратися, як воно робиться в цій компанії.
Найскладніше в моїй роботі, зокрема в Amazon, це те, що ми мусимо вчитися й у процесі виробництва. Багато з того, що будується, розвивається, видається, ми робимо вперше. Тому доводиться вчитися на власних помилках, щороку засвоювати нові технології, процеси. Для деяких людей це занадто швидкий темп. Але мені подобається.
Взагалі потрібно постійно вчитися, зокрема самостійно: брати онлайн-курси, покращувати навички. Наприклад, коли я ще робила експериментальні дослідження в університетах, то для статистичного аналізу використовувала невеликі програми чи середовище R. Потім мені це допомогло увійти в курс роботи в Google, де я намагалася поглибити знання, беручи курси Python на Coursera. Пізніше, коли я обіймала керівні посади, то вже не мала такої потреби (та можливості) розвивати ці навички далі.
Нині я більше читаю матеріали про штучний інтелект, машинне навчання, щоб знати, як розвивається синтез мовлення. Або вивчаю щось додаткове про NLU (Natural-language understanding). Я не зобов’язана це все знати, але хочу краще розуміти інженерів, з якими я працюю, знати хоча б основну термінологію, яку вони використовують.
«Через 10 років, може, і друкувати уже буде непотрібно»
Інший виклик — якість продуктів. Я вважаю, що наші нові голоси вищої якості, ніж ті, які можуть запропонувати інші компанії. Часом штучний голос неможливо відрізнити від живої людської мови: він передає емоції, може прочитати оповідання, де буде змінювати голос залежно від того, який персонаж говорить тощо.
Але ШІ ще не настільки розвинутий, щоб ці голоси завжди звучали, як ми сподіваємось. Іноді вони можуть просто заспівати у середині речення або говорити щось нерозбірливе. Це те, що називається «галюцинаціями». Або, наприклад, голос, який мусив би розмовляти австралійською англійською, чомусь раптом переходить на американську англійську. Так, це весело, але річні плани треба виконувати і це завдання програмного менеджера — спрямовувати розвиток проєктів у правильному напрямку та довести їх до кінця.
ChatGPT «розбудив» світ, і компанія OpenAI, яка його видала, подала приклад для багатьох. Цей новий шлях тепер намагаються пройти інші компанії, щоб збудувати свої великі мовні моделі. Я вважаю, що ми експериментуємо, перебуваємо ще в процесі будування фундаменту. Навіть ці моделі називаються «фундаментальними» — і результати буде видно пізніше. Наприклад, навіть якщо голос чудовий, але він має ці «галюцинації», то це ще не межа, потрібно над ним працювати.
Великі моделі часом не зовсім етично обробляють матеріали. Думаю, що ще п’ять років ми будемо вчитися, як вирішувати ці дилеми, як використовувати штучний інтелект й отримувати прибутки. Тому що зараз це все цікаво, але не знаю, чи є зрозумілі напрями монетизації цієї технології. А вже за 10 років ШІ стане таким же звичним, як зараз GPS.
Це буде мати як позитивний, так і негативний ефект. Нещодавно я читала новини з України про те, що всі писали диктант ручкою — і багато людей говорили: «Я вже не пам’ятаю, коли останній раз так робив». Зараз всі використовують клавіатуру, друкують. А можливо, через 10 років і це уже буде непотрібно, тому що ми будемо використовувати наш голос. Комп’ютери, телефони, годинники розумітимуть нас і виконуватимуть наші бажання з голосу.
Щодо живої мови та штучних голосів, то, на мою думку, жодного конфлікту немає. Ми чуємо різні варіанти мови: на телебаченні — зразкову сучасну українську, у сім’ї, на кухні — іншу. Мова жива саме тоді, коли існує в різних сферах життя, є гнучкою. Коли вона перестає розвиватися, змінюватись, то стає мертвою. А ШІ на те й інтелект, що використовує багато даних з різних сфер людського життя. Якщо ви скажете асистентові: «Напиши мені заяву про пошук роботи», він напише це формальною мовою. І зовсім інакше, якщо поставите завдання: «Хочу написати лист давній подрузі».
Взагалі мені б хотілося, щоб було більше зв’язку між освітою та технологіями
Я іноді виступаю перед студентами, консультую університети. Переважно мене запрошують до такої співпраці в Європі: Польщі, Норвегії тощо. Наприклад, нещодавно я керувала групою, яка писала поради щодо використання студентами ChatGPT: як викладачам змінити завдання та перевірку знань.
Виступ у Ягеллонському університеті про мій досвід в науці та технології, 2024 рік
А ось зв’язок між дослідженнями української мови, мовними технологіями, мовними продуктами для України, які б використовувалися в університетах для навчання чи досліджень, і новими напрямками, які розвивають у великих компаніях, міг би бути тіснішим.
«Найчастіше намагаюсь братись за проєкти, пов’язані з українською мовою»
Звичайно, я стежу за новинами з України та про Україну, де живуть мої батьки, родичі, друзі. Останні три роки новини про війну переважають, більшість розмов чи справ пов’язані з допомогою Україні фінансово. В Amazon є велика група OneAmazon-Ukraine, де від початку повномасштабної війни ми спілкувалися, обговорювали проблеми, шукали можливість підтримати. Коли хтось оголошує збір, ми, авжеж, намагаємося долучатися.
Також Amazon багато допоміг Україні на вищому рівні: перенесенням інформації в їхню хмару, знижками для користування сервісами (раніше представники AWS розповідали DOU про допомогу українцям та співпрацю з урядом — ред.). Так само вони розробили навчальні матеріали українською мовою для тих, хто хотів би освоїти нові спеціальності.
Я особисто найчастіше намагаюсь братись за проєкти, пов’язані з українською, де можу допомогти як спеціалістка. Бо завжди вважала, що боротьба за мову не менш важлива, ніж боротьба за землю. Наприклад, влітку 2022 року я перевіряла словники, які створювали великі видавці у Франції й Англії: такі як Ukrainian — English Visual Dictionary — Українсько-англійський візуальний словник. Хоча я не перекладачка і це не приносило мені жодного фінансового прибутку, я це робила як внесок у загальну справу.
Моя команда перевірила фонетичні транскрипції у базах даних Amazon, щоб українські географічні назви звучали українською, а не російською. Ще сподіваємося, що нам вдасться видати й український голос. Чому не робили цього раніше? Тому що не було заявок.
Мають бути компанії, які зацікавлені у Text to Speech українською
Вони повинні звертатися з описом того, як вони будуть використовувати цей продукт. Як я чула, тепер з’явилися дві компанії, які звернулись з таким проханням. Тому є надія, що ми попрацюємо й для України.
Взагалі я стежу за українською ІТ-індустрією. Є продукти, які розроблені, придумані в Україні та дуже цінуються за кордоном, але люди навіть не пов’язують їх з Україною. Grammarly, Petcube або Ring. Люди використовують ці продукти, захоплюються ними. Тільки кілька тижнів тому я дізналась, що серед засновників банку Revolut — українець з Миколаєва.
На жаль, великі компанії з початком війни у 2014 році поставили Україну в зону ризику. І навіть якби вони хотіли мати там свою філію, то після оцінки ризиків віддають перевагу Румунії або Індії. Ця ситуація тільки погіршилася із повномасштабною війною. Схожа тенденція, мабуть, збережеться, але все ж, думаю, українське ІТ має всі шанси стати конкурентоздатним у світі завдяки освіченим, працьовитим програмістам і програмісткам.
