«Яндекс» открывает исходный код ClickHouse

Российский интернет-гигант рассказал о том, что опубликует исходный код ClickHouse - распределенной системы управления базами данных (СУБД), разработанной для «Яндекс. Метрики». ClickHouse способен хранить и быстро обрабатывать большие объемы информации для создания аналитических отчетов в любых разрезах.

Cфера применения ClickHouse не ограничивается аналитикой сайтов и приложений. Технология может быть использована в телекоммуникациях, рекламе, RTB-системах и онлайн-торговле, для обработки данных мониторинга и телеметрии, а также для задач информационной безопасности. В «Яндексе» ClickHouse применяется не только в «Метрике», но и в «Маркете», «Почте», «Директе», «Вебмастере» и «Авто. ру», для бизнес-аналитики и в мониторинге инфраструктуры.

В рамках той достаточно узкой ниши, в которой находится ClickHouse, у него до сих пор нет альтернатив. В рамках более широкой области применения, ClickHouse может оказаться выгоднее других систем с точки зрения скорости обработки запросов, эффективности использования ресурсов и простоты эксплуатации.

Серверы, подключенные к ClickHouse, могут находиться в разных местах, причем архитектура системы такова, что для добавления новых серверов не нужно перестраивать кластер. Поэтому ClickHouse легко масштабируется и позволяет хранить записи о триллионах событий - например, о действиях пользователей на сайте, о запросах к сервису или о показах рекламы. Система опробована на реальных задачах высоконагруженных сервисов «Яндекса» и постоянно развивается.

«Открытых СУБД с такими возможностями на рынке сейчас нет. Публикация исходного кода ClickHouse - это наш вклад в open-source, один из самых значимых в истории компании. У нас было несколько причин для этого, в том числе и чисто прагматических. Применение технологии в областях, которыми Яндекс не занимается, помогает шире взглянуть на ее возможности. У нас, например, уже есть положительный опыт использования ClickHouse в Нсовместном проекте с ЦЕР. К тому же расширение пользовательской базы позволяет узнавать о проблемах, о которых иначе было бы трудно догадаться, и улучшать продукт».

«Яндекс» не впервые публикует исходный код своей технологии. Среди прочего, в открытом доступе находятся предназначенный для нагрузочного тестирования «Яндекс. Танк», технология разработки сайтов БЭМ и инструмент для извлечения структурированных данных из текста «Томита-парсер».