ClickHouse: атомарность вставки пакета записей

11.04.2024

ClickHouse

Комментариев нет

В ClickHouse атомарность вставки пакета записей работает на уровне всей операции: либо весь пакет будет записан, либо не будет записан вообще, если произошла ошибка. Давайте разберемся, как это работает.

1. Как работает вставка в ClickHouse

Когда вы вставляете данные в ClickHouse (например, через INSERT INTO), процесс проходит следующие этапы:

Получение данных сервером: ClickHouse принимает данные от клиента.
Проверка данных: Если в данных есть ошибки (например, несоответствие типов), сервер отклонит всю операцию вставки.
Запись в буфер или на диск:
- Если таблица использует движок MergeTree, данные сначала записываются как новый блок на диск.
- Этот блок считается отдельной атомарной единицей данных.

Если ошибка возникает на любом из этапов (например, сервер перезагрузился или диск переполнен), весь пакет данных не будет записан.

2. Почему пакет записей обрабатывается как атомарная единица

ClickHouse использует концепцию «блоков данных» для работы с вставками. Когда вы отправляете пакет из 100 записей:

Эти 100 записей формируют один блок.
Если блок успешно записан, он становится видимым для запросов.
Если блок не может быть записан (например, из-за ошибки сети, несоответствия данных или сбоя сервера), весь блок отклоняется.

3. Что происходит при частичных сбоях

Пример 1: Ошибка в одном из записей

Если одна из 100 записей содержит ошибку (например, неверный тип данных для одного из столбцов), то:

Весь пакет отклоняется.
Ни одна запись из пакета не будет вставлена.

ClickHouse не вставляет данные построчно; вставка обрабатывается как единая транзакция на уровне блока.

Пример 2: Сбой на сервере во время вставки

Если во время вставки сервер внезапно отключится, то:

Вставка не завершится, и данные не попадут в таблицу.
При следующем запуске сервера недописанный блок будет проигнорирован.

4. Гарантии атомарности

ClickHouse гарантирует:

Целостность вставки: Если операция завершается успешно, все записи в пакете становятся доступными для чтения одновременно.
Отказоустойчивость: Если операция вставки завершается с ошибкой, данные из пакета не будут частично записаны.

5. Практический пример

Представим, что вы вставляете данные в таблицу:

INSERT INTO example_table (id, name, timestamp)
VALUES 
    (1, 'Alice', now()),
    (2, 'Bob', now()),
    (3, 'Charlie', now());

INSERT INTO example_table (id, name, timestamp)

VALUES

(1, 'Alice', now()),

(2, 'Bob', now()),

(3, 'Charlie', now());

Если все три строки корректны, они будут записаны как один блок, и все три строки сразу станут видимы для запросов.
Если, например, в третьей строке будет ошибка (например, now() возвращает неверное значение), весь пакет будет отклонен, и ни одна из строк не будет записана.

6. Рекомендации

Используйте пакетную вставку: ClickHouse работает быстрее, если вставлять данные большими пакетами, так как каждая операция вставки создает один блок.
Проверяйте данные перед вставкой: Убедитесь, что все данные в пакете корректны, чтобы избежать отклонения всего пакета.
Используйте механизмы повторной вставки: Если вставка завершилась с ошибкой, повторите операцию с тем же пакетом данных.

Вывод

В ClickHouse атомарность вставки данных работает на уровне блоков. Если вы вставляете 100 записей пакетом, все 100 записей либо будут вставлены, либо не будут вставлены вовсе, если произошла ошибка. Частичных вставок пакета не происходит.

clickhouse атомарность