Gartner: дистрибутивы Hadoop изживут себя до выхода на плато продуктивности

Аналитики Gartner опубликовали доклад "Цикл зрелости технологий управления данными - 2017". Двух участников цикла составители выделяют, как хорошо иллюстрирующих влияние облачных вычислений на предметную область управления данными. В частности, дистрибутивы Hadoop, как прогнозируют в Gartner, морально устареют до достижения плато продуктивности, так как из-за высокого уровня сложности и сомнительных преимуществ полных стеков Hadoop во многих организациях отказываются от них в пользу удобных облачных альтернатив с оплатой по мере использования и оптимизацией для конкретных задач.

Той же тенденции облачного влияния отвечает появление SQL-интерфейсов для объектных хранилищ на стадии "триггер инновации". В Gartner предвидят, что такие интерфейсы, позволяющие взаимодействовать с данными в облаке с помощью привычного синтаксиса SQL, станут центральной функцией облачных платформ баз данных в виде сервиса и выйдут на плато продуктивности в течение двух-пяти лет, поскольку именно на них сейчас ориентируются большинство облачных провайдеров и разработчиков. Аналитики добавляют, что объектные хранилища хорошо подходят для размещения больших объемов информации смешанной структуры, характерных для озер данных.

Среди 35 остальных технологий в цикле зрелости в Gartner называют преобразующими четыре, в том числе обработку потока событий (event stream processing, ESP) и выполняющиеся в памяти транзакционные базы данных, которые, как прогнозируют аналитики, достигнут плато за срок от двух до пяти лет, а также блокчейн и распределенные реестры в целом, которым до выхода на плато еще пять-десять лет.

Обработка потока событий

В ESP в Gartner видят один из ключевых двигателей цифрового и алгоритмического бизнеса: поточная аналитика улучшает качество принимаемых решений, предоставляя информацию, которую в ином случае можно было бы упустить. Аналитики отмечают, что распределенные платформы поточных вычислений и обработки событий сейчас стремительно близятся к зрелости.

Обрабатываемые в памяти транзакционные базы данных

Эти системы активно развиваются, их применение растет, но необходимая инфраструктура остается относительно дорогостоящей. Еще один сдерживающий фактор - вероятность потери данных, затрудняющая обеспечение высоких уровней доступности. Тем не менее, такие СУБД обещают огромную пользу бизнесу за счет ускорения транзакций в 100-1000 раз.

Блокчейн

Публичные распределенные реестры, включая блокчейн, остаются объектом широкого обсуждения, но в компаниях с относятся к ним с недоверием ввиду высокого риска и проблем, связанных с масштабируемостью и руководством. Применения в бизнесе еще не проверены, к тому же имеет место крайняя изменчивость курса биткойна. Если предположить, что технические и бизнес-проблемы будут решены, в краткосрочной перспективе организации скорее всего начнут применять блокчейны для повышения операционной эффективности, полагают в Gartner. А в долгосрочной перспективе аналитики предвидят полное реформирование целых отраслей по мере развития программируемой экономики.

Распределенные реестры

Проблемы нехватки стандартов и способности масштабироваться понемногу решаются, но распределенные реестры все еще неприменимы в роли критически важных систем масштаба предприятия. Их преимущества в сравнении с устоявшимися технологиями не слишком очевидны, из-за чего широкое применение сдерживается. Проекты частных распределенных реестров, в свою очередь, начинают развиваться, поскольку обещают преобразовать операционные модели отраслей. Но как и в случае с блокчейном, бизнес-применения распределенных реестров не проверены.

Что касается самого цикла, в секцию "триггер инноваций" аналитики помимо SQL-интерфейсов поместили внутрипроцессную гибридную транзакционно-аналитическую обработку, а на пике завышенных ожиданий сейчас находятся выполняемая внутри СУБД аналитика, данные в виде сервиса, анализ файлов, каталоги данных, распределенные реестры, подготовка данных по принципу самообслуживания, обработка потока событий, многомодельные СУБД, блокчейн, транзакционно-аналитическая обработка на этапе принятия решений и озера данных.

На стадии "избавление от иллюзий" - графовые СУБД, приложения для контроля качества данных предприятия (data stewardship), Apache Spark, выполняющиеся в памяти транзакционные СУБД, управление данными приложений, СУБД "ключ-значение", кросс-платформенная архивация структурированных данных, корпоративные таксономии и онтологии, платформы интеграции данных в виде сервиса, SQL-интерфейсы для Hadoop, СУБД с расширяемыми столбцами, логические хранилища данных, управление основными данными, дистрибутивы Hadoop и документные хранилища.

На этапе преодоления недостатков - обрабатываемые в памяти аналитические СУБД, решения для управления метаданными, размещаемые сервисы архивации сообщений, инструментарии интеграции данных, архивация корпоративной информации, средства переноса веб-контента, распределенные системы хранения данных в памяти и шифрование баз данных.

На "плато продуктивности" находятся платформы баз даных в виде сервиса, виртуализация данных и средства обеспечения качества данных.