Новые системы машинного обучения от Fаcebook и Google. Код для раскрашивания черно-белых фотографий
Опубликовано несколько новых открытых проектов в области машинного обучения:
- DeOldify - проект, использующий наработки в области глубинного машинного обучения для автоматического раскрашивания черно-белых фотографий и восстановления качества старых изображений. Основной системы является генеративно-состязательная сеть (GAN), включающая две нейронные сети - одна генерирует образцы, а вторая отбраковывает недостаточно реалистичные результаты.
В разработке используются библиотеки Fast.AI, PyTorch и Tensorboard (надстройка над Tensorflow для PyTorch). Модель обучена на структурированной коллекции изображений ImageNet. При этом для повышения фотографий используется одна та же модель, что и для раскраски, которая расширена элементами для корректировки яркости и контраста и обучена с использованием симуляции выцветших фотографий и фотографий снятых на старые или плохие фотоаппараты. Код проекта опубликован под лицензией MIT. - Компания Facebook открыла исходные тексты платформы Horizon, которая преподносится как первая платформа обучения с подкреплением (RL), которую можно использовать для оптимизации систем в крупных промышленных окружениях. Horizon уже более года используется в различных приложениях Facebook для решения таких задач, как персонализация рекомендаций в мессенджере, принятие решений о частоте и доставке уведомлений (пользователь получает только наиболее релевантные уведомления о новых публикациях и комментариях) и оптимизация качества потокового видео (выбор битрейта и корректировка параметров на лету во время воспроизведения видео в режиме 360-градусов на основе оценки качества канала связи и состояния буферизации).
Horizon предоставляет готовые компоненты для обучения с использованием популярных алгоритмов обучения с подкреплением, обработки и преобразования данных, распределенного обучения, выбора оптимальных стратегий и оптимизации. Платформа рассчитана на решение прикладных задач, в которых фигурируют массивы данных в миллионы и миллиарды наблюдений и достаточно медленный цикл обратной связи (по сравнению с симулятором). В отличие от других платформ, которые прежде всего рассчитаны на проведение экспериментов и создание исследовательских прототипов, Horizon изначально развивается как готовое решение, пригодное для внедрения на предприятиях.
Платформа использует PyTorch 1.0 для моделирования и обучения, и применяет Caffe2 для хранения и обработки моделей. Поддерживаются алгоритмы Q-обучения (DQN, Deep Q-Network) Discrete-Action DQN, Parametric-Action DQN, Double DQN, Dueling DQN и Dueling Double DQN, а также алгоритмы DDPG (Deep Deterministic Policy Gradient) и SAC (Soft Actor-Critic). Код платформы написан на языке Python и опубликован под лицензией BSD. - Компания Google опубликовала реализацию метода машинного обучения BERT (Bidirectional Encoder Representations from Transformers) и готовые натренированные модели к нему. BERT позволяет создавать системы для обработки информации на естественном языке (NLP, Natural Language Processing). Например, BERT может применяться для построения автоответчиков, ботов и различных диалоговых систем, отвечающих на задаваемые вопросы.
В тесте SQuAD F1 решение на базе BERT продемонстрировало уровень точности ответов на вопросы в 93.2%, что на 2% лучше, чем результат, полученный при прохождении данного теста человеком. В тесте GLUE система BERT показала уровень точности в 80.4% (на 7.6% лучше других NLP-систем), в тесте MultiNLI - 86.7% (на 5.6% лучше других NLP-систе). Система построена на базе фреймворка TensorFlow и поставляется под лицензией Apache 2.0. Для загрузки также доступно несколько натренированных моделей, которые также распространяются под лицензией Apache 2.0.
