ClickHouse GRANULARITY

01.04.2024

ClickHouse

Комментариев нет

В ClickHouse параметр GRANULARITY используется для определения уровня детализации индексов при создании таблиц, особенно когда мы говорим о пропускающих индексах (skip indexes) и индексации данных в движке таблицы, таком как MergeTree.

Что такое GRANULARITY?

GRANULARITY — это параметр, который задаёт, как часто будет создаваться индекс в таблице. Говоря проще, он определяет, через какое количество строк будет сохраняться информация для индексации.

Когда вы создаёте таблицу с индексовыми полями, ClickHouse разбивает данные на блоки. GRANULARITY указывает, через сколько строк в таблице будет создаётся новый индекс для фильтрации этих блоков.

Как работает GRANULARITY?

Индексация блоков данных: Данные в таблице ClickHouse разбиваются на блоки (часто называемые «пакетами» или «порциями»). Каждый блок состоит из определённого числа строк.
Как влияет GRANULARITY: Когда вы задаёте значение GRANULARITY, вы указываете, сколько строк будет обрабатываться за один индекс. Если GRANULARITY установлено, например, в 4, то индексы будут создаваться каждые 4 строки данных.
Оптимизация запросов: Это важно для пропускающих индексов, так как в результате использования GRANULARITY ClickHouse может пропускать блоки данных, которые явно не соответствуют запросу, экономя время на их обработку.

Пример использования GRANULARITY

Предположим, вы создаёте таблицу с пропускающими индексами, и хотите, чтобы индексация происходила каждые 2 строки:

CREATE TABLE example_table (
    id UInt64,
    name String,
    created_at DateTime,
    INDEX idx_name (name) TYPE set(0) GRANULARITY 2  -- Индекс с GRANULARITY 2
)
ENGINE = MergeTree()
ORDER BY id;

CREATE TABLE example_table (

id UInt64,

name String,

created_at DateTime,

INDEX idx_name (name) TYPE set(0) GRANULARITY 2 -- Индекс с GRANULARITY 2

)

ENGINE = MergeTree()

ORDER BY id;

GRANULARITY 2: Индекс будет создаваться для каждой второй строки. То есть, ClickHouse будет хранить информацию о наборе значений для первых двух строк, затем для следующих двух и так далее. Это улучшит производительность запросов, так как ClickHouse будет знать, какие блоки данных можно пропустить, не проверяя все строки.

Влияние GRANULARITY на производительность

Меньшая гранулярность (меньшее значение GRANULARITY):
- Позволяет создавать индексы чаще.
- Может привести к более быстрому выполнению запросов, поскольку блоки данных могут быть пропущены быстрее.
- Но это может увеличить нагрузку на систему и затраты на хранение индекса, так как он будет занимать больше места.
Большая гранулярность (большее значение GRANULARITY):
- Индексация будет происходить реже, что уменьшает количество метаданных, хранимых для индекса.
- Это может повысить эффективность работы с большими объемами данных и уменьшить использование ресурсов.
- Однако, это может замедлить выполнение запросов, так как для фильтрации данных будет проверяться большее количество строк в блоках.

Как GRANULARITY влияет на индексацию

Типы индексов:
- minmax: Индекс сохраняет минимальные и максимальные значения для каждого блока данных. Это полезно для диапазонных запросов.
- set: Этот тип индекса хранит набор значений в блоках данных. Полезен для точных совпадений (например, для строковых значений).

Пример с пропускающим индексом:

CREATE TABLE example_table (
    id UInt64,
    name String,
    created_at DateTime,
    INDEX idx_name (name) TYPE set(0) GRANULARITY 4  -- Индекс с GRANULARITY 4
)
ENGINE = MergeTree()
ORDER BY id;

CREATE TABLE example_table (

id UInt64,

name String,

created_at DateTime,

INDEX idx_name (name) TYPE set(0) GRANULARITY 4 -- Индекс с GRANULARITY 4

)

ENGINE = MergeTree()

ORDER BY id;

В этом примере, GRANULARITY 4 означает, что индексация будет происходить каждые 4 строки. Это влияет на эффективность фильтрации по полю name.

Когда выбирать различные значения GRANULARITY?

Для небольших таблиц или если фильтрация по данным происходит часто на ограниченных диапазонах (например, несколько значений или диапазон дат), можно использовать меньшую гранулярность (например, 1 или 2).
Для больших таблиц или если данные часто используются для агрегации на больших диапазонах, можно выбрать более высокую гранулярность (например, 16 или 32), чтобы снизить затраты на индексацию и использовать меньше памяти.

Итог

GRANULARITY в ClickHouse — это ключевая настройка для определения частоты создания индексов при индексации данных в таблице. Он влияет на эффективность поиска и производительность запросов, обеспечивая баланс между временем обработки данных и использованием ресурсов.

Меньшая гранулярность ускоряет выполнение запросов, но увеличивает затраты на хранение индекса.
Большая гранулярность снижает затраты на хранение, но может замедлить выполнение запросов.

clickhouse granularity