Новости и события » Hi-Tech » Facebook открыл реализацию алгоритма сжатия Zstandard

Facebook открыл реализацию алгоритма сжатия Zstandard

Facebook открыл реализацию алгоритма сжатия Zstandard

Facebook опубликовал библиотеку и инструментарий для работы с новым эффективным алгоритмом сжатия данных Zstandard, по сравнению с zlib/Deflate демонстрирующим в 3-5 раз более высокую скорость сжатия и в два раза более быструю распаковку, при уровне сжатия выше на 10-15%. Zstandard подходит для организации сжатия в режиме реального времени и может рассматриваться как оптимальный компромисс, между быстрым но неэффективым lz4 и медленным но хорошо сжимающим xz. Код написан на языке Си и распространяется под лицензией BSD.

Эффективность и скорость сжатия в Zstandard очень близка к предложенному Google алгоритму brotli, но Zstandard почти в три раза быстрее при распаковке. По скорости сжатия и распаковки Zstandard заметно отстает от Snappy (330 и 940 MB/s против 480 и 1600 MB/s), но опережает его по уровню сжатия почти на 30%. В Zstandard задействован метод кодирования конечного состояния энтропии (Finite State Entropy), в котором для кодирования энтропии применяется теория асимметричных численных систем (Asymmetric Numeral Systems).

Особенностью Zstandard является возможность тренировки для повышения эффективности сжатия мелких наборов данных. Алгоритм можно оптимизировать для определенного типа данных, сформировав словарь на основе предварительно предоставленных примеров. Словарь загружается до сжатия или распаковки и позволяет существенно повысить степень сжатия для типовых данных. Например, использование словаря, размером 64 Кб позволяет увеличить уровень сжатия с 2.8 до 6.9 при упаковке данных о 1000 пользователях GitHub (846 Кб со словарем сжимаеться в 122 Кб, а без в 300 Кб).

В отличие от zlib в Zstandard также предоставлены гибкие средства для использования доступных аппаратных возможностей - под окно сжатия можно выделить несколько Mб памяти (в zlib используется 32 Кб), поддерживается распараллеливание операций на многоядерных CPU. Кроме того, Zstandard предоставляет более широкий диапазон для варьирования параметрами упаковки - на выбор предоставляется 22 уровня сжатия (1 - важна скорость, 22 - важен размер), позволяющих увеличить степень сжатия за счет снижения скорости или, наоборот, повысить скорость ценой эффективности сжатия. В будущем число уровней сжатия планируется увеличить, также будут предоставлены типовые словари для увеличения эффективности сжатия JSON, HTML и типовых сетевых протоколов.

Facebook открыл реализацию алгоритма сжатия Zstandard

Facebook открыл реализацию алгоритма сжатия Zstandard

Facebook открыл реализацию алгоритма сжатия Zstandard


Какие продукты нельзя есть каждый день

Какие продукты нельзя есть каждый день

Есть продукты, которые трудно назвать полезными, но все же мы их потребляем, потому что они вкусные. Но стоит быть осмотрительными, так как не все любимые продукты можно есть каждый день, потому что они могут принести больше вреда здоровью, чем подробнее ...

загрузка...

 

Вверх