AI & ML дайджест #0: Amazon атакует, deep learning для спутниковых снимков, углубления и сжатия нейронных сетей

Этот дайджест посвящен последним новостям и разработкам в области машинного обучения и искусственного интеллекта. В этой области все меняется очень быстро, и уследить за тенденциями становится все сложнее и сложнее: регулярно запускаются стартапы, публикуются новые статьи, релизится код новых разработок. Поэтому предлагаю следить за одной из самой бурно развивающейся сейчас областью в Computer Science вместе.

Каждый дайджест будет разбит на три основные категории:
— Популярные статьи, новости и интервью;
— Туториалы и опен-сорс код, который можно запустить;
— Теоретические материалы и публикации.

В этом выпуске: что делают с машинным обучением в Facebook, Google, Twitter и Amazon, тренды deep learning из конференции ICLR 2016, код для генерации изображений из текстового описания и перенос знаний из одной нейронной сети в другую, статьи про обучение активационных функций, сжатие нейронных сетей и RNN для распознавания изображений.

Новости и статьи

История о том, что происходит внутри OpenAI, компании, в которую вложено миллиард долларов и которая должна сделать искусственный интеллект общедоступным и безопасным

Сундар Пичаи, СЕО Google рассуждает о скорой смене технической парадигмы «вычислений» на «размышления» ИИ.

Мифы о искусственном интеллекте и их опровержения.

Как в Facebook учат ИИ создавать ИИ вместо того, чтобы руками учить и тестировать более 300000 моделей в месяц.

Запущен интересный проект по поиску на картах, используя снимки со спутников.

Алгоритм достигает более высокой степени точности по сравнению со специалистами по распознаванию речи по губам.

Amazon включается в гонку машинного обучения и заявляет, что их библиотека работает в 2 раза быстрее, чем от Google.

Twitter выкладывает в открытый доступ свой инструмент для работы с потоковыми данными Heron.

Замечательная статья Андрея Карпаты о обучении с подкреплением (reinforcement learning).

Обзор трендов в глубоком обучении из конференции ICLR 2016.

Программирование

Код для генерации изображений по их описаниям, например, «a stop sign is flying in blue skies».

Вышел новый релиз библиотеки cuDNN для глубокого обучения на GPU, снова значительно ускорена работа сверточных и рекуррентных нейронных сетей.

Код для распознавания и детекции объектов (дороги, переходы, реки, здания) на снимках из карт.

Туториал по переносу знаний из одной нейронной сети в другую (transfer learning).

Запущенный Microsoft тренд на углубление нейронных сетей до 100 и даже до 1000 слоев продолжается (используя один трюк), теперь сетки по этому же принципу увеличивают в «ширину».

Список реализаций алгоритмов «Объект2Вектор», может пригодится для анализа и классификации разной визуальной и текстовой информации.

Как запрограммировать аутоэнкодеры, используя библиотеку Keras.

Полушуточная статья про Fizz Buzz на нейронках.

POS (Part-of-speech) tagger от Google, реализация на TensorFlow.

Более удобный интерфейс для TensorFlow (как Keras или Lasagne для примера).

Теория

Очень интересный способ «обучения» активационных функций прямо из данных, используя интерполяцию сплайнами.

Residual Neural Networks «на пальцах».

Использование «расширенных» сверток (dilated convolutions) для сверточных сетей, в частности, задачи попиксельной детекции объекта.

Альтернативный подход к распознаванию изображений, вместо стандартной связки convolution+pooling используют рекуррентный слой. Работает не намного хуже стандартных CNN.

Нейронная сетка как фрактал — обучение ультраглубоких архитектур на основе похожести кусков сети.

Несколько статей о том, как «сжимать» нейронные сети, которые обычно имеют миллионы параметров:
— Первая описывает способ сжать уже обученную сеть в 250 раз с потерей точности всего в 1%;
— Вторая предлагает обучать сетку только стремя параметрами: {-1, 0, 1}.

Если у вас есть интересные материалы, которые не попали в этот дайджест или вы хотите увидеть их в следующем, пишите на  Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра. , и мы добавим их.