DOU Проектор: BeWarned - приложения для глухих и слабослышащих людей

В рубрике DOU Проектор все желающие могут презентовать свой продукт (как стартап, так и ламповый pet-проект). Если вам есть о чем рассказать — приглашаем поучаствовать. Если нет — возможно, серия вдохновит на создание собственного made in Ukraine продукта. Вопросы и заявки на участие присылайте на  Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра. .

Идея

Привет! Меня зовут Виталий, я разработчик и соучредитель стартапа BeWarned. С детства у меня очень слабый слух, а моя жена не слышит совсем, я долгое время хотел заняться разработкой приложений и программного обеспечения для неслышащих и слабослышащих. Все проблемы, с которыми сталкиваются они, мне знакомы.

Я и моя жена Наталья

Ранее я занимался разработкой программного обеспечения для гражданских авиалиний Украины, создал приложение дополненной реальности SIMO. Мне всегда было интересно все, что связано с технологиями. А пару лет назад я познакомился с Сергеем Малюковым, ныне нашим CEO, через преподавателя Киевского политехнического института, у которого я когда-то учился.

Идея создания приложения для глухих и слабослышащих людей пришла к Сергею в 2013 году. Как-то он прогуливался вечером по улице, и ему в спину начал сигналить автомобиль, Сергей быстро отскочил в сторону, но пара, гулявшая рядом, не сдвинулась с места. Он крикнул им вслед, чтобы они отошли, но они остались на том же месте, где и стояли. Вскоре Сергей понял, что это была пара глухих, они общались между собой на языке жестов. Сергей был уверен, что существуют приложения, которые помогают распознавать опасные звуки. Проанализировав существующие приложения и гаджеты для глухих людей и не найдя ни одного решения, которое помогает распознавать опасные звуки, он задался целью сделать такое приложение. В процессе работы к нему присоединилось несколько партнеров и сейчас BeWarned находится на самоинвестировании создателей стартапа.

Как только я услышал о проекте и увидел наработки, то мгновенно увлекся идеей и вскоре стал соучредителем. На данный момент я занимаюсь техническим развитием стартапа.

Реализация

В 2014 году был выпущен первый прототип приложения BeWarned с функцией Sound Monitor, которая позволяла распознавать опасные звуки в режиме реального времени. Это был первый маленький успех. Но это было только начало.

С детства мне нравились технологии, часто собирал или разбирал что-нибудь, хотелось посмотреть, что из этого получится

По сотням писем и отзывов было понятно, что глухим людям нужно что-то большее, чем приложение, которое распознает опасные звуки. У глухих было тысячу нерешенных вопросов, которые можно решить. На основе этих писем и отзывов была создана платформа BeWarned, которая объединила 4 технических ассистента для глухих: Sound Monitor, Connect, Emergency Call и Dance.

Sound Monitor решает проблему безопасности, определяя опасные звуки (крик, звук клаксона автомобиля, лай собаки, сирена). В случае опасности приложение предупреждает пользователя вибрацией и миганием вспышки на смартфоне. Connect помогает неслышащим в общении с окружающими — он конвертирует текст в речь и наоборот. Dance позволяет ощутить музыкальные треки, благодаря конвертации их в вибрацию, световые сигналы и пульсацию визуального эквалайзера. Emergency Call помогает пользователю вызвать слышащих близких на помощь, когда он находится в опасной ситуации.

Больше видео можете найти на нашем канале

Летом 2016 года мы провели бета-тестирование платформы в США. В результате 88,9% пользователей сообщили, что порекомендовали бы приложение друзьям.

Самой сложной частью разработки BeWarned был Sound Monitor, на разработку которого мы потратили несколько лет. Программа распознавания опасных звуков базируется на нейронных сетях. Мы испробовали два вида нейронных сетей: классический многослойный персептрон и сверточную нейронную сеть. Но потом решили попробовать скрытую марковскую модель, она лучше всего подошла для наших задач.

Для того, чтобы создать базу данных, на которой будет основываться алгоритм, мы сами записывали множество вариантов одного вида опасного звука, например, сигнала автомобиля, на основе которых алгоритм будет распознавать поступающие звуки и определять их как относящиеся к определенному виду. Впрочем, в ходе работы у нас возникла проблема, заключающаяся в том, что алгоритм распознавания относил все поступающие звуки только к существующим категориям: сигналу автомобиля, крика, звука полицейской сирены и лая собаки. Например, если кто-то смеялся, то программа распознавала это как относящийся к какой-то из этих категорий. Чтобы решить эту проблему, нам пришлось сегментировать звуки, например, по частотам и другим характеристикам. Что в итоге позволило ввести дополнительный неопределенный вид звука.

Через некоторое время после выпуска платформы BeWarned, мы решили пойти на важные изменения для того, чтобы улучшить юзабилити: мы все кардинально упростили и адаптировали под восприятие глухих людей. Именно поэтому мы перевыпустили приложения по отдельности.

В декабре вышел BW Dance (Android, iOS), который из функции платформы BeWarned превратился в самостоятельное приложение. BW Dance позволяет неслышащим и плохо слышащим людям танцевать под любимые песни. Пользователь добавляет любимые песни в плейлист, а приложение преобразует музыку в вибрации, вспышки и анимации на экране. Пользователь также может почувствовать музыку с помощью визуального проигрывателя. BW Dance был позитивно воспринят пользователями как в Украине, так и за рубежом.

После этого мы выпустили Connect by Bewarned (Android, iOS), приложение позволяющее общаться глухим и слабослышащим людям со слышащими. Для того, чтобы начать общаться с одним или несколькими людьми в приложении, нужно всего лишь нажать на кнопку START и дать собеседнику говорить, после этого приложение преобразует речь в текстовое сообщение, которое сможет прочитать глухой человек. Приложение также преобразует текст в речь, глухому человеку нужно написать то, что он хочет сказать. Кроме того, мы разработали набор шаблонов, которые моделируют простые, часто повторяющиеся ситуации, например, заказ кофе в кофейне. С помощью этих шаблонов неслышащий человек может быстро сообщить что-то слышащему. Мы также предусмотрели возможность создания дополнительных шаблонов для персональных целей каждого неслышащего человека.

Результаты

В Украине нам начали активно писать журналисты, о нас сняли сюжеты СТБ, 1+1, 5 канал и другие. Мы увидели, что людям небезразличны неслышащие, а также убедились в том, что забота о простоте и юзабилити была шагом в правильную сторону. Мы поняли, что на правильном пути.

Я и моя жена общаемся с журналистами 5 канала

Мы запустили Connect by Bewarned на Product Hunt 30 января и вошли в ТОП-5 дня, а также попали в официальную рассылку. В комментариях к нашему продукту на Product Hunt мы получили предложения о помощи в разработке локализаций на французском и даже фарси. Вместе с уже существующими четырьмя локализациями — испанской, русской, украинской, и английской, мы сможем приблизиться к нашей глобальной цели: облегчению жизни неслышащих людей.

Я убежден, что айтишники должны использовать данные им умения на благо других людей. Наш небольшой, но успешный опыт показывает, что новые приложения могут существенно изменить жизнь других людей. Именно поэтому мы собираемся продолжать работать над идеей, воплощенной в Connect by Bewarned: преодоления барьеров в коммуникации неслышащих и слышащих, в мире их около 400 миллионов.

Команда BeWarned слева направо: Я, Евгений, Евгения, Иван, Юля, Сергей, Андрей, Илона, Ира, Антон, Андрей (сейчас нас еще больше, чем на этом фото :) )

У таких людей, как я, часто возникают проблемы, когда им нужно пообщаться со слышащим человеком: полицейским, врачом, банкиром. Законодательно нам гарантированы равные права и доступ к сервисам и услугам наравне со слышащими. Но в реальности наши возможности существенно ограничены. Именно поэтому мы решили взяться за действительно глобальную задачу: создание мировой электронной инфраструктуры, которая облегчит доступ неслышащих людей ко всем сервисам и услугам, которые доступны слышащим людям: банкам, больницам, такси и т.д. На данный момент мы работаем именно над этой задачей.