Настройки сервера
В этом разделе приведены описания настроек сервера. Это настройки, которые нельзя изменить на уровне сессии или отдельного запроса.
Для получения дополнительной информации о конфигурационных файлах в ClickHouse см. раздел «Файлы конфигурации».
Другие настройки описаны в разделе «Настройки».
Перед изучением настроек рекомендуется прочитать раздел «Файлы конфигурации»
и обратить внимание на использование подстановок (атрибуты incl и optional).
abort_on_logical_error
access_control_improvements
Настройки для дополнительных улучшений системы управления доступом.
| Setting | Description | Default |
|---|---|---|
users_without_row_policies_can_read_rows | Определяет, могут ли пользователи без разрешающих строковых политик по-прежнему читать строки с помощью запроса SELECT. Например, если есть два пользователя A и B и строковая политика определена только для A, то если этот параметр имеет значение true, пользователь B увидит все строки. Если параметр имеет значение false, пользователь B не увидит ни одной строки. | true |
on_cluster_queries_require_cluster_grant | Определяет, требуют ли запросы с ON CLUSTER наличия привилегии CLUSTER. | true |
select_from_system_db_requires_grant | Определяет, требует ли запрос SELECT * FROM system.<table> каких-либо привилегий или может выполняться любым пользователем. Если установлено в true, такой запрос требует GRANT SELECT ON system.<table> так же, как и для несистемных таблиц. Исключения: некоторые системные таблицы (tables, columns, databases и некоторые константные таблицы, такие как one, contributors) остаются доступными для всех; кроме того, если выдана привилегия SHOW (например, SHOW USERS), то соответствующая системная таблица (то есть system.users) будет доступна. | true |
select_from_information_schema_requires_grant | Определяет, требует ли запрос SELECT * FROM information_schema.<table> каких-либо привилегий или может выполняться любым пользователем. Если установлено в true, такой запрос требует GRANT SELECT ON information_schema.<table> так же, как и для обычных таблиц. | true |
settings_constraints_replace_previous | Определяет, будет ли ограничение в профиле настроек для некоторого параметра отменять действия предыдущего ограничения (определённого в других профилях) для этого параметра, включая поля, которые не заданы новым ограничением. Также включает тип ограничения changeable_in_readonly. | true |
table_engines_require_grant | Определяет, требуется ли привилегия для создания таблицы с конкретным движком таблицы. | false |
role_cache_expiration_time_seconds | Определяет количество секунд с момента последнего обращения, в течение которых роль хранится в Role Cache. | 600 |
Пример:
access_control_path
Путь к каталогу, в котором сервер ClickHouse хранит конфигурации пользователей и ролей, созданные с помощью SQL‑команд.
См. также
aggregate_function_group_array_action_when_limit_is_reached
throw — сгенерировать исключение, или discard — отбросить лишние значения
aggregate_function_group_array_max_element_size
allow_feature_tier
Управляет возможностью пользователя изменять настройки, относящиеся к различным уровням функций.
0- Допускаются изменения любых настроек (experimental, beta, production).1- Допускаются только изменения настроек функций уровней beta и production. Изменения настроек experimental отклоняются.2- Допускаются только изменения настроек уровня production. Изменения настроек уровней experimental или beta отклоняются.
Это эквивалентно установке ограничения readonly для всех функций EXPERIMENTAL / BETA.
Значение 0 означает, что все настройки могут быть изменены.
allow_impersonate_user
allow_implicit_no_password
Запрещает создавать пользователя без пароля, за исключением случая, когда явно указано IDENTIFIED WITH no_password.
allow_no_password
Задаёт, разрешён ли небезопасный тип пароля no_password.
allow_plaintext_password
Определяет, разрешено ли использование небезопасных паролей в открытом виде (plaintext-password).
allow_use_jemalloc_memory
allowed_disks_for_table_engines
Список дисков, которые можно использовать с Iceberg
async_insert_queue_flush_on_shutdown
async_insert_threads
async_load_databases
Асинхронная загрузка баз данных и таблиц.
- Если
true, все несистемные базы данных с движкамиOrdinary,AtomicиReplicatedбудут загружаться асинхронно после запуска сервера ClickHouse. См. таблицуsystem.asynchronous_loader, а также настройки сервераtables_loader_background_pool_sizeиtables_loader_foreground_pool_size. Любой запрос, который пытается получить доступ к таблице, которая ещё не загружена, будет ждать запуска именно этой таблицы. Если задача загрузки завершится с ошибкой, запрос повторно выбросит это исключение (вместо остановки всего сервера в случаеasync_load_databases = false). Таблица, которую ожидает хотя бы один запрос, будет загружена с более высоким приоритетом. DDL-запросы к базе данных будут ждать запуска именно этой базы данных. Также рассмотрите возможность установки ограниченияmax_waiting_queriesна общее количество ожидающих запросов. - Если
false, все базы данных загружаются при старте сервера.
Пример
async_load_system_database
Асинхронная загрузка системных таблиц. Полезно, если в базе данных system много таблиц логов и частей. Не зависит от настройки async_load_databases.
- Если имеет значение
true, все системные базы данных с движкамиOrdinary,AtomicиReplicatedбудут загружаться асинхронно после запуска сервера ClickHouse. См. таблицуsystem.asynchronous_loader, а также серверные настройкиtables_loader_background_pool_sizeиtables_loader_foreground_pool_size. Любой запрос, который попытается получить доступ к системной таблице, которая ещё не загружена, будет ждать запуска именно этой таблицы. Таблица, которую ожидает хотя бы один запрос, будет загружена с повышенным приоритетом. Также рассмотрите возможность установки настройкиmax_waiting_queriesдля ограничения общего числа ожидающих запросов. - Если имеет значение
false, системная база данных загружается до запуска сервера.
Пример
asynchronous_heavy_metrics_update_period_s
asynchronous_insert_log
Параметры системной таблицы asynchronous_insert_log, используемой для журналирования асинхронных вставок.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Пример
asynchronous_metric_log
Включен по умолчанию в развертываниях ClickHouse Cloud.
Если этот параметр не включен по умолчанию в вашей среде, в зависимости от того, как был установлен ClickHouse, вы можете воспользоваться приведёнными ниже инструкциями, чтобы включить или отключить его.
Включение
Чтобы вручную включить сбор истории журнала асинхронных метрик system.asynchronous_metric_log, создайте /etc/clickhouse-server/config.d/asynchronous_metric_log.xml со следующим содержимым:
Отключение
Чтобы отключить параметр asynchronous_metric_log, необходимо создать файл /etc/clickhouse-server/config.d/disable_asynchronous_metric_log.xml со следующим содержимым:
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
asynchronous_metrics_enable_heavy_metrics
asynchronous_metrics_update_period_s
auth_use_forwarded_address
Использовать исходный адрес для аутентификации клиентов, подключающихся через прокси.
Этот параметр следует использовать с особой осторожностью, поскольку пересылаемые адреса легко подделать — серверы, принимающие такую аутентификацию, не должны быть доступны напрямую, а только через доверенный прокси.
background_buffer_flush_schedule_pool_size
background_common_pool_size
background_distributed_schedule_pool_size
background_fetches_pool_size
background_merges_mutations_concurrency_ratio
Задает отношение между числом потоков и количеством фоновых слияний и мутаций, которые могут выполняться одновременно.
Например, если это отношение равно 2 и background_pool_size равно 16, то ClickHouse может выполнять 32 фоновых слияния одновременно. Это возможно, потому что фоновые операции могут быть приостановлены и отложены. Это необходимо, чтобы обеспечить более высокий приоритет выполнения для небольших слияний.
Вы можете увеличивать это отношение только во время работы сервера. Чтобы уменьшить его, необходимо перезапустить сервер.
Как и настройка background_pool_size, параметр background_merges_mutations_concurrency_ratio может быть установлен в профиле default для обратной совместимости.
background_merges_mutations_scheduling_policy
Политика планирования фоновых слияний и мутаций. Возможные значения: round_robin и shortest_task_first.
Алгоритм, используемый для выбора следующего слияния или мутации для выполнения пулом фоновых потоков. Политику можно изменять во время работы без перезапуска сервера.
Может быть задана из профиля default для обеспечения обратной совместимости.
Возможные значения:
round_robin— Каждое одновременное слияние и каждая мутация выполняются по принципу round-robin, чтобы избежать ресурсного голодания. Маленькие слияния завершаются быстрее, чем большие, просто потому, что им требуется объединить меньше блоков.shortest_task_first— Всегда выполнять слияние или мутацию меньшего размера. Слияниям и мутациям назначаются приоритеты на основе их результирующего размера. Слияния с меньшим размером строго предпочитаются большим. Эта политика обеспечивает максимально быстрое объединение маленьких частей, но может приводить к бесконечному голоданию больших слияний в разделах, сильно перегруженныхINSERTами.
background_message_broker_schedule_pool_size
background_move_pool_size
background_pool_size
Задает количество потоков, выполняющих фоновые слияния и мутации для таблиц с движками MergeTree.
- Этот параметр также может быть задан при запуске сервера в конфигурации профиля
defaultдля обратной совместимости при старте сервера ClickHouse. - Во время работы сервера вы можете только увеличить количество потоков.
- Чтобы уменьшить количество потоков, необходимо перезапустить сервер.
- Изменяя этот параметр, вы управляете нагрузкой на CPU и диск.
Меньший размер пула потребляет меньше ресурсов CPU и диска, но фоновые процессы выполняются медленнее, что со временем может негативно сказаться на производительности запросов.
Прежде чем изменять этот параметр, ознакомьтесь также со связанными настройками MergeTree, такими как:
number_of_free_entries_in_pool_to_lower_max_size_of_merge.number_of_free_entries_in_pool_to_execute_mutation.number_of_free_entries_in_pool_to_execute_optimize_entire_partition
Пример
background_schedule_pool_max_parallel_tasks_per_type_ratio
background_schedule_pool_size
backup_log
Настройки системной таблицы backup_log, предназначенной для регистрации операций BACKUP и RESTORE.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Пример
backup_threads
BACKUP.
backups
Настройки резервного копирования, используемые при выполнении операторов BACKUP и RESTORE.
Следующие настройки можно задать с помощью под-тегов:
| Настройка | Тип | Описание | По умолчанию |
|---|---|---|---|
allow_concurrent_backups | Bool | Определяет, могут ли несколько операций резервного копирования выполняться одновременно на одном и том же хосте. | true |
allow_concurrent_restores | Bool | Определяет, могут ли несколько операций восстановления выполняться одновременно на одном хосте. | true |
allowed_disk | Строка | Диск, на который выполняется резервное копирование при использовании File(). Этот параметр должен быть задан, чтобы использовать File. | `` |
allowed_path | Строка | Путь для резервного копирования при использовании File(). Этот параметр необходимо указать, чтобы использовать File. | `` |
attempts_to_collect_metadata_before_sleep | UInt | Количество попыток сбора метаданных до перехода в режим ожидания при обнаружении несоответствия после сравнения собранных метаданных. | 2 |
collect_metadata_timeout | UInt64 | Тайм-аут в миллисекундах для сбора метаданных при создании резервной копии. | 600000 |
compare_collected_metadata | Bool | Если установлено значение true, сравнивает собранные метаданные с существующими, чтобы убедиться, что они не изменились во время резервного копирования. | true |
create_table_timeout | UInt64 | Таймаут в миллисекундах на создание таблиц при восстановлении. | 300000 |
max_attempts_after_bad_version | UInt64 | Максимальное число повторных попыток при возникновении ошибки неверной версии во время координированного резервного копирования или восстановления. | 3 |
max_sleep_before_next_attempt_to_collect_metadata | UInt64 | Максимальное время ожидания в миллисекундах перед следующей попыткой сбора метаданных. | 100 |
min_sleep_before_next_attempt_to_collect_metadata | UInt64 | Минимальное время ожидания в миллисекундах перед следующей попыткой собрать метаданные. | 5000 |
remove_backup_files_after_failure | Bool | Если выполнение команды BACKUP завершится с ошибкой, ClickHouse попытается удалить файлы, которые были скопированы в резервную копию до возникновения ошибки, в противном случае оставит скопированные файлы как есть. | true |
sync_period_ms | UInt64 | Период синхронизации в миллисекундах для согласованного резервного копирования и восстановления. | 5000 |
test_inject_sleep | Bool | Задержка, используемая для тестирования | false |
test_randomize_order | Bool | Если имеет значение true, случайным образом изменяет порядок выполнения некоторых операций для целей тестирования. | false |
zookeeper_path | Строка | Путь в ZooKeeper, где хранятся метаданные операций резервного копирования и восстановления при использовании клаузы ON CLUSTER. | /clickhouse/backups |
По умолчанию этот параметр имеет следующее значение:
backups_io_thread_pool_queue_size
Максимальное количество заданий, которые могут быть поставлены в очередь пула потоков ввода-вывода резервного копирования (Backups IO thread pool). Рекомендуется оставлять эту очередь неограниченной из-за текущей логики резервного копирования в S3.
Значение 0 (по умолчанию) означает отсутствие ограничения.
bcrypt_workfactor
Параметр work factor для типа аутентификации bcrypt_password, который использует алгоритм Bcrypt.
Этот параметр определяет объём вычислений и время, необходимые для вычисления хеша и проверки пароля.
Для приложений с частыми операциями аутентификации рассмотрите альтернативные методы аутентификации из-за вычислительных накладных расходов bcrypt при высоких значениях параметра work factor.
blob_storage_log
Настройки системной таблицы blob_storage_log.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Пример:
builtin_dictionaries_reload_interval
Интервал в секундах между автоматическими перезагрузками встроенных словарей.
ClickHouse перезагружает встроенные словари каждые x секунд. Это позволяет изменять словари «на лету» без перезапуска сервера.
Пример
cache_size_to_ram_max_ratio
cannot_allocate_thread_fault_injection_probability
cgroups_memory_usage_observer_wait_time
Интервал в секундах между пересчётами максимального допустимого объёма памяти сервера на основе порогового значения в cgroups.
Чтобы отключить наблюдатель cgroup, установите этот параметр в 0.
compiled_expression_cache_elements_size
compiled_expression_cache_size
compression
Настройки сжатия данных для таблиц с движком MergeTree.
Рекомендуем не менять эти настройки, если вы только начали работать с ClickHouse.
Шаблон конфигурации:
Поля <case>:
min_part_size– минимальный размер части данных.min_part_size_ratio– отношение размера части данных к размеру таблицы.method– метод сжатия. Допустимые значения:lz4,lz4hc,zstd,deflate_qpl.level– уровень сжатия. См. Codecs.
Вы можете настроить несколько секций <case>.
Действия при выполнении условий:
- Если часть данных удовлетворяет набору условий, ClickHouse использует указанный метод сжатия.
- Если часть данных удовлетворяет нескольким наборам условий, ClickHouse использует первый подходящий набор условий.
Если для части данных не выполняется ни одно условие, ClickHouse использует сжатие lz4.
Пример
concurrent_threads_scheduler
Политика того, как распределяются слоты CPU, задаваемые с помощью concurrent_threads_soft_limit_num и concurrent_threads_soft_limit_ratio_to_cores. Алгоритм, определяющий, как ограниченное число слотов CPU распределяется между параллельными запросами. Планировщик может быть изменен во время работы сервера без его перезапуска.
Возможные значения:
round_robin— Каждый запрос с настройкойuse_concurrency_control= 1 может выделить доmax_threadsслотов CPU, по одному слоту на поток. При конкуренции за ресурсы слоты CPU выделяются запросам по круговой схеме (round-robin). Обратите внимание, что первый слот выделяется безусловно, что может приводить к несправедливому распределению и увеличенной задержке для запросов с высоким значениемmax_threadsпри большом количестве запросов сmax_threads= 1.fair_round_robin— Каждый запрос с настройкойuse_concurrency_control= 1 может выделить доmax_threads - 1слотов CPU. Вариантround_robin, который не требует слота CPU для первого потока каждого запроса. Таким образом, запросы сmax_threads= 1 не требуют ни одного слота и не могут несправедливо занять все слоты. Ни один слот не выделяется безусловно.
concurrent_threads_soft_limit_num
Максимальное количество потоков обработки запросов, за исключением потоков для получения данных с удалённых серверов, которые могут одновременно использоваться всеми запросами. Это не жёсткий лимит. Если лимит достигнут, запрос всё равно получит как минимум один поток для выполнения. Во время выполнения запрос может увеличивать число используемых потоков до требуемого, если становятся доступны дополнительные потоки.
Значение 0 (по умолчанию) означает отсутствие ограничений.
concurrent_threads_soft_limit_ratio_to_cores
concurrent_threads_soft_limit_num, но задаётся как отношение к числу ядер.
config_reload_interval_ms
Как часто ClickHouse будет перезагружать конфигурацию и проверять её на наличие новых изменений
core_dump
Настраивает мягкое ограничение на размер файла дампа памяти (core dump).
Жёсткое ограничение настраивается с помощью системных инструментов.
Пример
cpu_slot_preemption
Определяет, как выполняется планирование использования CPU для рабочих нагрузок (MASTER THREAD и WORKER THREAD).
- Если
true(рекомендуется), учет ведется на основе фактически потребленного процессорного времени. Конкурирующим рабочим нагрузкам выделяется справедливый объем процессорного времени. Слоты выделяются на ограниченный промежуток времени и повторно запрашиваются после истечения срока действия. Запрос слота может блокировать выполнение потока в случае перегрузки по CPU, то есть может происходить вытеснение (preemption). Это обеспечивает справедливое распределение процессорного времени. - Если
false(по умолчанию), учет ведется на основе количества выделенных CPU-слотов. Конкурирующим рабочим нагрузкам выделяется справедливое количество CPU-слотов. Слот выделяется при запуске потока, удерживается непрерывно и освобождается при завершении выполнения потока. Количество потоков, выделенных для выполнения запроса, может увеличиваться только с 1 доmax_threadsи никогда не уменьшаться. Это более благоприятно для длительно выполняющихся запросов и может приводить к голоданию коротких запросов по CPU.
Пример
См. также
cpu_slot_preemption_timeout_ms
Определяет, сколько миллисекунд рабочий поток может ожидать во время вытеснения, то есть пока ожидает предоставления другого CPU-слота. По истечении этого таймаута, если потоку не удалось получить новый CPU-слот, он завершит работу, а запрос будет динамически уменьшен до меньшего числа одновременно выполняющихся потоков. Обратите внимание, что основной поток никогда не участвует в этом уменьшении числа потоков, но может вытесняться сколь угодно долго. Имеет смысл только при включённом cpu_slot_preemption и когда ресурс CPU определён для WORKER THREAD.
Пример
См. также
cpu_slot_quantum_ns
Определяет, сколько наносекунд процессорного времени поток может потреблять после получения слота CPU, прежде чем он должен запросить следующий слот CPU. Имеет смысл только если включён cpu_slot_preemption и ресурс CPU задан для MASTER THREAD или WORKER THREAD.
Пример
См. также
crash_log
Настройки для работы системной таблицы crash_log.
Следующие настройки могут быть настроены с помощью подтегов:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может использоваться, если определены partition_by или order_by. Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine, параметр partition_by должен быть задан напрямую внутри 'engine' | |
ttl | Задаёт TTL таблицы. | Если для системной таблицы указан engine, параметр ttl должен быть задан напрямую внутри 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может использоваться, если задан engine. | Если для системной таблицы указан engine, параметр order_by должен быть задан напрямую внутри 'engine' | |
storage_policy | Имя политики хранения, используемой для таблицы (необязательно). | Если для системной таблицы указан engine, параметр storage_policy должен быть задан напрямую внутри 'engine' | |
settings | Дополнительные параметры, управляющие поведением MergeTree (необязательно). | Если для системной таблицы указан engine, параметр settings должен быть задан напрямую внутри 'engine' | |
flush_interval_milliseconds | Интервал сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер журналов в строках. Когда количество несброшенных журналов достигает max_size_rows, они сбрасываются на диск. | 1024 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для журналов. | 1024 | |
buffer_size_rows_flush_threshold | Порог по количеству строк. При достижении порога в фоновом режиме запускается сброс журналов на диск. | max_size_rows / 2 | |
flush_on_crash | Определяет, должны ли журналы быть сброшены на диск в случае сбоя. | false |
Файл конфигурации сервера по умолчанию config.xml содержит следующий раздел настроек:
custom_cached_disks_base_directory
Этот параметр задает путь к кэшу для пользовательских (созданных с помощью SQL) кэшируемых дисков.
У custom_cached_disks_base_directory более высокий приоритет для пользовательских дисков по сравнению с filesystem_caches_path (указанным в filesystem_caches_path.xml),
который используется, если первый параметр отсутствует.
Путь параметра файлового кэша должен находиться внутри этого каталога,
иначе будет сгенерировано исключение, препятствующее созданию диска.
Это не повлияет на диски, созданные в более старой версии сервера, с которой выполнялось обновление. В этом случае исключение сгенерировано не будет, чтобы сервер смог успешно запуститься.
Пример:
custom_settings_prefixes
Список префиксов для пользовательских настроек. Префиксы должны быть разделены запятыми.
Пример
См. также
database_atomic_delay_before_drop_table_sec
Задержка, в течение которой удалённая таблица может быть восстановлена с помощью оператора UNDROP. Если DROP TABLE был выполнен с модификатором SYNC, эта настройка игнорируется.
Значение по умолчанию для этого параметра — 480 (8 минут).
database_catalog_drop_error_cooldown_sec
database_catalog_drop_table_concurrency
database_catalog_unused_dir_cleanup_period_sec
Параметр задачи, которая очищает каталог store/ от неиспользуемых данных.
Задаёт периодичность выполнения этой задачи.
Значение 0 означает «никогда». Значение по умолчанию соответствует 1 дню.
database_catalog_unused_dir_hide_timeout_sec
Параметр задачи, которая очищает от мусора каталог store/.
Если какой-либо подкаталог не используется clickhouse-server и этот каталог не изменялся в течение последних
database_catalog_unused_dir_hide_timeout_sec секунд, задача «скроет» этот каталог,
удалив все права доступа. Это также работает для каталогов, которые clickhouse-server не
ожидает видеть внутри store/.
Значение 0 означает «немедленно».
database_catalog_unused_dir_rm_timeout_sec
Параметр задачи, которая очищает неиспользуемые данные в каталоге store/.
Если некоторый подкаталог не используется clickhouse-server и ранее был «скрыт»
(см. database_catalog_unused_dir_hide_timeout_sec),
и этот каталог не изменялся в течение последних
database_catalog_unused_dir_rm_timeout_sec секунд, задача удалит этот каталог.
Параметр также применяется к каталогам, которые clickhouse-server
не ожидает увидеть внутри store/.
Значение 0 означает «никогда». Значение по умолчанию соответствует 30 дням.
database_replicated_allow_detach_permanently
database_replicated_drop_broken_tables
dead_letter_queue
Настройки системной таблицы «dead_letter_queue».
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Параметры по умолчанию следующие:
default_database
default_password_type
Устанавливает тип пароля, который будет автоматически использоваться в запросах вида CREATE USER u IDENTIFIED BY 'p'.
Допустимые значения:
plaintext_passwordsha256_passworddouble_sha1_passwordbcrypt_password
default_profile
Профиль настроек по умолчанию. Профили находятся в файле, указанном в настройке user_config.
Пример
default_replica_name
Имя реплики в ZooKeeper.
Пример
default_replica_path
Путь к таблице в ZooKeeper.
Пример
default_session_timeout
Таймаут сеанса по умолчанию (в секундах).
dictionaries_config
Путь к файлу конфигурации словарей.
Путь:
- Укажите абсолютный путь или путь, относительный к конфигурационному файлу сервера.
- Путь может содержать подстановочные символы * и ?.
См. также:
- "Словари".
Пример
dictionaries_lazy_load
Отложенная загрузка словарей.
- Если
true, то каждый словарь загружается при первом использовании. Если загрузка завершилась с ошибкой, функция, использовавшая словарь, генерирует исключение. - Если
false, то сервер загружает все словари при запуске.
При запуске сервер будет ждать, пока все словари завершат загрузку, прежде чем принимать какие‑либо подключения
(исключение: если wait_dictionaries_load_at_startup установлено в false).
Пример
dictionary_background_reconnect_interval
background_reconnect.
disable_insertion_and_mutation
Отключает запросы INSERT/ALTER/DELETE. Этот параметр следует включить, если требуются узлы только для чтения, чтобы исключить влияние вставок и мутаций на производительность чтения. Вставки во внешние движки (S3, DataLake, MySQL, PostrgeSQL, Kafka и т. д.) разрешены независимо от этого параметра.
disable_internal_dns_cache
disable_tunneling_for_https_requests_over_http_proxy
По умолчанию для выполнения HTTPS‑запросов через HTTP‑прокси используется туннелирование (то есть HTTP CONNECT). Этот параметр можно использовать, чтобы его отключить.
no_proxy
По умолчанию все запросы проходят через прокси. Чтобы отключить его для конкретных хостов, необходимо задать переменную no_proxy.
Её можно задать внутри секции <proxy> для list- и remote‑резолверов, а также в виде переменной окружения для резолвера environment.
Поддерживаются IP‑адреса, домены, поддомены и подстановочный символ '*' для полного обхода. Начальные точки удаляются так же, как это делает curl.
Example
Конфигурация ниже обходит прокси для запросов к clickhouse.cloud и всем его поддоменам (например, auth.clickhouse.cloud).
То же относится к GitLab, даже если указан домен с ведущей точкой. И gitlab.com, и about.gitlab.com будут обходить прокси.
disk_connections_soft_limit
disk_connections_store_limit
disk_connections_warn_limit
display_secrets_in_show_and_select
Включает или отключает отображение секретов в запросах SHOW и SELECT для таблиц, баз данных, табличных функций и словарей.
Пользователь, который хочет видеть секреты, также должен включить
параметр формата format_display_secrets_in_show_and_select
и иметь привилегию
displaySecretsInShowAndSelect.
Возможные значения:
0— Отключено.1— Включено.
distributed_cache_apply_throttling_settings_from_client
distributed_cache_keep_up_free_connections_ratio
distributed_ddl
Управление выполнением распределённых DDL-запросов (CREATE, DROP, ALTER, RENAME) в кластере.
Работает только в том случае, если включён ZooKeeper.
Настраиваемые параметры в <distributed_ddl> включают:
| Setting | Description | Default Value |
|---|---|---|
path | путь в Keeper для task_queue DDL-запросов | |
profile | профиль, используемый для выполнения DDL-запросов | |
pool_size | сколько запросов ON CLUSTER может выполняться одновременно | |
max_tasks_in_queue | максимальное количество задач, которые могут находиться в очереди | 1,000 |
task_max_lifetime | удалять узел, если его возраст больше этого значения | 7 * 24 * 60 * 60 (неделя в секундах) |
cleanup_delay_period | очистка начинается после получения события о новом узле, если последняя очистка выполнялась не ранее, чем cleanup_delay_period секунд назад | 60 секунд |
Пример
distributed_ddl_use_initial_user_and_roles
dns_allow_resolve_names_to_ipv4
dns_allow_resolve_names_to_ipv6
dns_cache_max_entries
dns_cache_update_period
dns_max_consecutive_failures
drop_distributed_cache_pool_size
drop_distributed_cache_queue_size
enable_azure_sdk_logging
encryption
Настраивает команду для получения ключа, который будет использоваться кодеками шифрования. Ключ (или ключи) должен быть указан в переменных окружения или в конфигурационном файле.
Ключи могут задаваться в виде шестнадцатеричных значений или строк длиной 16 байт.
Пример
Загрузка из конфигурационного файла:
Хранение ключей в конфигурационном файле не рекомендуется. Это небезопасно. Вы можете перенести ключи в отдельный конфигурационный файл на защищённом диске и поместить символическую ссылку на этот конфигурационный файл в каталог config.d/.
Загрузка из конфигурации, когда ключ задан в шестнадцатеричном формате:
Загрузка ключа из переменной окружения:
Здесь current_key_id задаёт текущий ключ для шифрования, а все указанные ключи могут использоваться для расшифровки.
Каждый из этих методов может быть использован с несколькими ключами:
Здесь current_key_id указывает текущий ключ для шифрования.
Кроме того, пользователи могут задать nonce длиной 12 байт (по умолчанию при шифровании и расшифровке используется nonce, состоящий из нулевых байт):
Или его можно указать в шестнадцатеричном виде:
Все, что было сказано выше, применимо и к aes_256_gcm_siv (но длина ключа должна составлять 32 байта).
error_log
По умолчанию он отключен.
Включение
Чтобы вручную включить сбор истории ошибок system.error_log, создайте файл /etc/clickhouse-server/config.d/error_log.xml со следующим содержимым:
Отключение
Чтобы отключить параметр error_log, необходимо создать следующий файл /etc/clickhouse-server/config.d/disable_error_log.xml со следующим содержимым:
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
format_parsing_thread_pool_queue_size
Максимальное количество заданий, которые могут быть поставлены в очередь пула потоков для разбора входных данных.
Значение 0 означает отсутствие ограничения.
format_schema_path
Путь к директории со схемами для входных данных, например для формата CapnProto.
Пример
global_profiler_cpu_time_period_ns
global_profiler_real_time_period_ns
google_protos_path
Задаёт каталог, содержащий proto‑файлы для типов Protobuf.
Пример:
graphite
Отправка данных в Graphite.
Настройки:
host– Сервер Graphite.port– Порт на сервере Graphite.interval– Интервал отправки, в секундах.timeout– Таймаут отправки данных, в секундах.root_path– Префикс для ключей.metrics– Отправка данных из таблицы system.metrics.events– Отправка дельта-данных, накопленных за период времени, из таблицы system.events.events_cumulative– Отправка кумулятивных данных из таблицы system.events.asynchronous_metrics– Отправка данных из таблицы system.asynchronous_metrics.
Вы можете настроить несколько блоков <graphite>. Например, это можно использовать для отправки разных данных с разными интервалами.
Пример
graphite_rollup
Настройки прореживания данных для Graphite.
Для получения дополнительной информации см. GraphiteMergeTree.
Пример
hsts_max_age
Срок действия HSTS в секундах.
Значение 0 означает, что ClickHouse отключает HSTS. Если задать положительное число, HSTS будет включён, а max-age будет равен этому числу.
Пример
http_connections_soft_limit
http_connections_store_limit
http_connections_warn_limit
http_handlers
Позволяет использовать пользовательские HTTP-обработчики.
Чтобы добавить новый http-обработчик, просто добавьте новый <rule>.
Правила проверяются сверху вниз в указанном порядке,
и при первом совпадении будет запущен соответствующий обработчик.
Следующие настройки могут быть настроены с помощью подтегов:
| Sub-tags | Definition |
|---|---|
url | Для сопоставления URL запроса можно использовать префикс 'regex:' для сопоставления с помощью регулярного выражения (необязательно) |
methods | Для сопоставления методов запроса можно использовать разделение запятыми для указания нескольких методов (необязательно) |
headers | Для сопоставления заголовков запроса нужно сопоставить каждый дочерний элемент (имя дочернего элемента — это имя заголовка); можно использовать префикс 'regex:' для сопоставления по регулярному выражению (необязательно) |
handler | Обработчик запроса |
empty_query_string | Проверяет, что в URL отсутствует строка запроса (query string) |
handler содержит следующие настройки, которые могут быть настроены с помощью подтегов:
| Sub-tags | Definition |
|---|---|
url | Адрес для перенаправления |
type | Поддерживаемые типы: static, dynamic_query_handler, predefined_query_handler, redirect |
status | Используется с типом static, код статуса ответа |
query_param_name | Используется с типом dynamic_query_handler, извлекает и выполняет значение, соответствующее значению <query_param_name> в параметрах HTTP-запроса |
query | Используется с типом predefined_query_handler, выполняет запрос при вызове обработчика |
content_type | Используется с типом static, тип содержимого ответа |
response_content | Используется с типом static, содержимое ответа, отправляемое клиенту; при использовании префикса 'file://' или 'config://' содержимое берётся из файла или конфигурации и отправляется клиенту |
Помимо списка правил, вы можете указать <defaults/>, чтобы включить все обработчики по умолчанию.
Пример:
http_options_response
Используется для добавления заголовков к ответу на HTTP-запрос OPTIONS.
Метод OPTIONS используется при выполнении предварительных (preflight) CORS-запросов.
Дополнительные сведения см. в разделе OPTIONS.
Пример:
http_server_default_response
Страница, которая по умолчанию отображается при обращении к HTTP(S)-серверу ClickHouse. Значение по умолчанию — «Ok.» (с символом перевода строки в конце)
Пример
Открывает https://tabix.io/ при обращении к http://localhost:http_port.
iceberg_catalog_threadpool_pool_size
iceberg_catalog_threadpool_queue_size
iceberg_metadata_files_cache_max_entries
iceberg_metadata_files_cache_policy
iceberg_metadata_files_cache_size
iceberg_metadata_files_cache_size_ratio
ignore_empty_sql_security_in_create_view_query
Если значение равно true, ClickHouse не записывает значения по умолчанию для пустого оператора SQL SECURITY в запросах CREATE VIEW.
Эта настройка требуется только на период миграции и станет устаревшей в версии 24.4.
include_from
Путь к файлу с подстановками. Поддерживаются форматы XML и YAML.
Для получения дополнительной информации см. раздел «Файлы конфигурации».
Пример
index_mark_cache_policy
index_mark_cache_size
Максимальный размер кэша для меток индексов.
Значение 0 означает, что кэш отключен.
Этот параметр можно изменять во время работы и изменения вступят в силу немедленно.
index_mark_cache_size_ratio
index_uncompressed_cache_policy
index_uncompressed_cache_size
Максимальный размер кэша для несжатых блоков индексов MergeTree.
Значение 0 означает, что кэш отключен.
Эту настройку можно изменить во время работы сервера, и изменения вступят в силу немедленно.
index_uncompressed_cache_size_ratio
interserver_http_credentials
Имя пользователя и пароль, используемые для подключения к другим серверам во время репликации. Кроме того, сервер аутентифицирует другие реплики, используя эти учетные данные.
Поэтому interserver_http_credentials должны быть одинаковыми для всех реплик в кластере.
- По умолчанию, если секция
interserver_http_credentialsопущена, аутентификация при репликации не используется. - Настройки
interserver_http_credentialsне относятся к конфигурации учетных данных клиента ClickHouse. - Эти учетные данные общие для репликации по
HTTPиHTTPS.
Следующие настройки могут быть заданы с помощью подтегов:
user— имя пользователя.password— пароль.allow_empty— еслиtrue, другим репликам разрешено подключаться без аутентификации, даже если заданы учетные данные. Еслиfalse, подключения без аутентификации отклоняются. Значение по умолчанию:false.old— содержит старыеuserиpassword, используемые при ротации учетных данных. Может быть указано несколько секцийold.
Ротация учетных данных
ClickHouse поддерживает динамическую ротацию межсерверных учетных данных без одновременной остановки всех реплик для обновления их конфигурации. Учетные данные можно менять в несколько шагов.
Чтобы включить аутентификацию, установите для interserver_http_credentials.allow_empty значение true и добавьте учетные данные. Это позволит устанавливать подключения как с аутентификацией, так и без нее.
После настройки всех реплик установите для параметра allow_empty значение false или удалите его. Это сделает аутентификацию с использованием новых учетных данных обязательной.
Чтобы изменить существующие учетные данные, перенесите имя пользователя и пароль в раздел interserver_http_credentials.old и задайте для user и password новые значения. На этом этапе сервер использует новые учетные данные для подключения к другим репликам и принимает подключения как с новыми, так и со старыми учетными данными.
После применения новых учетных данных ко всем репликам старые учетные данные можно удалить.
interserver_http_host
Имя хоста, которое другие серверы могут использовать для доступа к этому серверу.
Если параметр не задан, значение определяется так же, как в команде hostname -f.
Полезно для отвязки от конкретного сетевого интерфейса.
Пример
interserver_http_port
Порт для обмена данными между серверами ClickHouse.
Пример
interserver_https_host
Аналогично interserver_http_host, за исключением того, что это имя хоста может использоваться другими серверами для доступа к этому серверу по HTTPS.
Пример
interserver_https_port
Порт для обмена данными между серверами ClickHouse по HTTPS.
Пример
interserver_listen_host
Ограничение на хосты, которые могут участвовать в обмене данными между серверами ClickHouse. Если используется Keeper, то то же ограничение будет действовать для взаимодействия между разными экземплярами Keeper.
По умолчанию значение совпадает с настройкой listen_host.
Пример
Тип:
По умолчанию:
io_thread_pool_queue_size
Максимальное количество задач, которые могут быть поставлены в очередь на выполнение в пуле потоков ввода-вывода.
Значение 0 означает отсутствие ограничения.
jemalloc_collect_global_profile_samples_in_trace_log
jemalloc_enable_background_threads
jemalloc_enable_global_profiler
jemalloc_flush_profile_interval_bytes
jemalloc_flush_profile_on_memory_exceeded
jemalloc_max_background_threads_num
keep_alive_timeout
Количество секунд, в течение которых ClickHouse ожидает входящие запросы по протоколу HTTP перед закрытием соединения.
Пример
keeper_hosts
Динамическая настройка. Содержит список хостов [Zoo]Keeper, к которым ClickHouse потенциально может подключаться. Не отображает информацию из <auxiliary_zookeepers>.
keeper_multiread_batch_size
Максимальный размер пакета для запроса MultiRead к [Zoo]Keeper с поддержкой пакетной обработки. Если установлено значение 0, пакетная обработка отключена. Доступно только в ClickHouse Cloud.
ldap_servers
Перечислите здесь LDAP‑серверы с их параметрами подключения, чтобы:
- использовать их как аутентификаторы для выделенных локальных пользователей, у которых в качестве механизма аутентификации указано
ldapвместоpassword - использовать их как удалённые каталоги пользователей.
Следующие настройки могут быть заданы с помощью под‑тегов:
| Setting | Description |
|---|---|
host | Имя хоста или IP‑адрес LDAP‑сервера; этот параметр является обязательным и не может быть пустым. |
port | Порт LDAP‑сервера, по умолчанию 636, если enable_tls установлен в true, иначе — 389. |
bind_dn | Шаблон, используемый для построения DN, к которому выполняется привязка (bind). Итоговый DN формируется путём замены всех подстрок \{user_name\} в шаблоне фактическим именем пользователя при каждой попытке аутентификации. |
user_dn_detection | Раздел с параметрами LDAP‑поиска для определения фактического пользовательского DN привязанного пользователя. В основном используется в фильтрах поиска для последующего сопоставления ролей, когда сервер — Active Directory. Полученный пользовательский DN будет использоваться при замене подстрок \{user_dn\} везде, где это разрешено. По умолчанию пользовательский DN равен bind DN, но после выполнения поиска он будет обновлён до фактически обнаруженного значения DN пользователя. |
verification_cooldown | Период времени в секундах после успешной попытки bind, в течение которого предполагается, что пользователь успешно аутентифицирован для всех последующих запросов без обращения к LDAP‑серверу. Укажите 0 (значение по умолчанию), чтобы отключить кэширование и принудительно обращаться к LDAP‑серверу для каждого запроса аутентификации. |
enable_tls | Флаг для использования защищённого соединения с LDAP‑сервером. Укажите no для незашифрованного протокола (ldap://) (не рекомендуется). Укажите yes для LDAP поверх SSL/TLS (ldaps://) (рекомендуется, значение по умолчанию). Укажите starttls для устаревшего протокола StartTLS (незашифрованный протокол ldap://, обновляемый до TLS). |
tls_minimum_protocol_version | Минимальная версия протокола SSL/TLS. Допустимые значения: ssl2, ssl3, tls1.0, tls1.1, tls1.2 (значение по умолчанию). |
tls_require_cert | Поведение проверки сертификата SSL/TLS удалённого узла (peer). Допустимые значения: never, allow, try, demand (значение по умолчанию). |
tls_cert_file | Путь к файлу сертификата. |
tls_key_file | Путь к файлу с ключом сертификата. |
tls_ca_cert_file | Путь к файлу сертификата ЦС. |
tls_ca_cert_dir | Путь к каталогу, содержащему сертификаты ЦС. |
tls_cipher_suite | Разрешённый набор шифров (в нотации OpenSSL). |
Настройка user_dn_detection может быть задана с помощью под‑тегов:
| Setting | Description |
|---|---|
base_dn | Шаблон, используемый для построения базового DN для поиска в LDAP. Итоговый DN формируется путём замены всех подстрок \{user_name\} и \{bind_dn\} в шаблоне на фактическое имя пользователя и bind DN во время поиска в LDAP. |
scope | Область поиска LDAP. Допустимые значения: base, one_level, children, subtree (значение по умолчанию). |
search_filter | Шаблон, используемый для построения фильтра поиска для LDAP. Итоговый фильтр формируется путём замены всех подстрок \{user_name\}, \{bind_dn\} и \{base_dn\} в шаблоне на фактическое имя пользователя, bind DN и base DN во время поиска в LDAP. Обратите внимание, что специальные символы в XML должны быть корректно экранированы. |
Пример:
Пример (типичный экземпляр Active Directory с настроенным определением DN пользователя для последующего сопоставления ролей):
license_key
Лицензионный ключ для ClickHouse Enterprise Edition
listen_backlog
Очередь ожидания (размер очереди ожидающих подключений) для listen-сокета. Значение по умолчанию 4096 совпадает со значением для Linux 5.4+).
Обычно это значение не требуется изменять, поскольку:
- значение по умолчанию достаточно велико;
- для принятия клиентских подключений у сервера есть отдельный поток.
Поэтому даже если значение TcpExtListenOverflows (из nstat) отлично от нуля и этот счётчик растёт для сервера ClickHouse, это не означает, что это значение нужно увеличивать, поскольку:
- обычно, если
4096недостаточно, это указывает на внутреннюю проблему масштабирования ClickHouse, поэтому лучше сообщить о проблеме; - это не означает, что сервер сможет обрабатывать больше подключений позже (и даже если бы смог, к тому моменту клиенты уже могли завершить работу или отключиться).
Пример
listen_host
Ограничение на хосты, с которых принимаются запросы. Если вы хотите, чтобы сервер отвечал на запросы со всех хостов, укажите ::.
Примеры:
listen_reuse_port
Позволяет нескольким серверам прослушивать одну и ту же пару адрес:порт. Запросы будут направляться операционной системой на случайный сервер. Включение этого параметра не рекомендуется.
Пример
Тип:
Значение по умолчанию:
listen_try
Сервер не завершит работу, если сети IPv6 или IPv4 окажутся недоступны при попытке начать прослушивание.
Пример
load_marks_threadpool_pool_size
load_marks_threadpool_queue_size
logger
Расположение и формат сообщений журнала.
Ключи:
| Key | Description |
|---|---|
level | Уровень логирования. Допустимые значения: none (отключить логирование), fatal, critical, error, warning, notice, information,debug, trace, test |
log | Путь к файлу журнала. |
errorlog | Путь к файлу журнала ошибок. |
size | Политика ротации: максимальный размер файлов журнала в байтах. После превышения этого порога файл журнала переименовывается и архивируется, и создаётся новый файл журнала. |
count | Политика ротации: максимальное количество архивных файлов журнала ClickHouse, которое может храниться. |
stream_compress | Сжимать сообщения журнала с помощью LZ4. Установите 1 или true для включения. |
console | Включить логирование в консоль. Установите 1 или true для включения. Значение по умолчанию — 1, если ClickHouse не запущен в режиме демона, иначе 0. |
console_log_level | Уровень логирования для вывода в консоль. По умолчанию используется значение level. |
formatting.type | Формат журнала для вывода в консоль. В настоящее время поддерживается только json. |
use_syslog | Дополнительно перенаправлять вывод журнала в syslog. |
syslog_level | Уровень логирования для вывода в syslog. |
async | При значении true (по умолчанию) логирование выполняется асинхронно (один фоновый поток на каждый канал вывода). В противном случае логирование выполняется в потоке, который вызывает LOG. |
async_queue_max_size | При использовании асинхронного логирования — максимальное количество сообщений, которое будет храниться в очереди в ожидании сброса. Лишние сообщения будут отброшены. |
startup_level | Уровень при запуске используется для установки уровня корневого логгера при старте сервера. После запуска уровень логирования возвращается к значению настройки level. |
shutdown_level | Уровень при завершении работы используется для установки уровня корневого логгера при остановке сервера. |
Спецификаторы формата журнала
Имена файлов в путях log и errorLog поддерживают приведённые ниже спецификаторы формата для результирующего имени файла (к части пути, соответствующей каталогу, они не применяются).
Столбец Example показывает вывод для 2023-07-06 18:32:07.
| Спецификатор | Описание | Пример |
|---|---|---|
%% | Литерал % | % |
%n | Символ новой строки | |
%t | Символ горизонтальной табуляции | |
%Y | Год в десятичном формате, например 2017 | 2023 |
%y | Две последние цифры года в виде десятичного числа (диапазон [00, 99]) | 23 |
%C | Первые две цифры года как десятичное число (диапазон [00, 99]) | 20 |
%G | Четырёхзначный год по ISO 8601, основанный на номере недели, то есть год, содержащий указанную неделю. Обычно используется только с %V | 2023 |
%g | Последние 2 цифры годa по ISO 8601 на основе недель, то есть года, который содержит указанную неделю. | 23 |
%b | Сокращённое название месяца, например, Oct (зависит от локали) | Июл |
%h | Синоним для %b | июл |
%B | Полное название месяца, например «Октябрь» (зависит от локали) | Июль |
%m | Месяц в десятичном виде (диапазон [01, 12]) | 07 |
%U | Номер недели в году в виде десятичного числа (воскресенье — первый день недели) (диапазон [00,53]) | 27 |
%W | Номер недели года в формате десятичного числа (понедельник — первый день недели) (диапазон [00,53]) | 27 |
%V | Номер недели по ISO 8601 (в диапазоне [01,53]) | 27 |
%j | День года как десятичное число (диапазон [001, 366]) | 187 |
%d | День месяца в виде десятичного числа с ведущим нулём (диапазон [01,31]). Для однозначных чисел добавляется ведущий ноль. | 06 |
%e | День месяца в виде десятичного числа, дополненного ведущим пробелом (диапазон [1,31]). Одноразрядному числу предшествует пробел. | 6 |
%a | Сокращённое название дня недели, например «Пт» (в зависимости от локали) | Чт |
%A | Полное название дня недели, например пятница (в зависимости от локали) | Четверг |
%w | День недели в виде целого числа, где воскресенье — 0 (диапазон [0–6]) | 4 |
%u | День недели в виде десятичного числа, где понедельник — 1 (формат ISO 8601) (диапазон [1-7]) | 4 |
%H | Час в виде десятичного числа, 24-часовой формат времени (диапазон [00–23]) | 18 |
%I | Час как десятичное число, в 12-часовом формате (диапазон [01, 12]) | 06 |
%M | Минута как десятичное число (диапазон [00, 59]) | 32 |
%S | Секунда как десятичное число (в диапазоне [00,60]) | 07 |
%c | Стандартная строка даты и времени, например, Sun Oct 17 04:41:13 2010 (зависящая от локали) | Thu Jul 6 18:32:07 2023 |
%x | Локализованный формат даты (зависит от локали) | 06.07.23 |
%X | Формат времени с учётом локали, например 18:40:20 или 6:40:20 PM (зависит от локали) | 18:32:07 |
%D | Краткий формат даты MM/DD/YY, эквивалентный %m/%d/%y | 06.07.23 |
%F | Краткий формат даты YYYY-MM-DD, эквивалентен %Y-%m-%d | 2023-07-06 |
%r | Локализованное время в 12‑часовом формате (зависит от настроек локали) | 18:32:07 |
%R | Эквивалентно "%H:%M" | 18:32 |
%T | Эквивалентно «%H:%M:%S» (формат времени ISO 8601) | 18:32:07 |
%p | Локализованное обозначение формата a.m./p.m. (зависит от локали) | PM |
%z | Смещение от UTC в формате ISO 8601 (например, -0430) или пустая строка, если информация о часовом поясе недоступна | +0800 |
%Z | Локализованное имя или аббревиатура часового пояса, либо пустая строка, если информация о часовом поясе недоступна | Z AWST |
Пример
Чтобы выводить сообщения логов только в консоль:
Переопределения уровней для отдельных логгеров
Уровень логирования для отдельных логгеров можно переопределить. Например, чтобы отключить все сообщения логгеров «Backup» и «RBAC».
syslog
Чтобы дополнительно отправлять сообщения журнала в syslog:
Ключи для <syslog>:
| Key | Description |
|---|---|
address | Адрес syslog в формате host\[:port\]. Если не указан, используется локальный демон. |
hostname | Имя хоста, с которого отправляются логи (необязательный параметр). |
facility | Ключевое слово facility для syslog. Должно быть указано прописными буквами с префиксом «LOG_», например LOG_USER, LOG_DAEMON, LOG_LOCAL3 и т.д. По умолчанию: LOG_USER, если указан address, иначе LOG_DAEMON. |
format | Формат сообщения журнала. Возможные значения: bsd и syslog. |
Форматы логов
Вы можете указать формат логов, который будет выводиться в консольный лог. В настоящее время поддерживается только JSON.
Пример
Ниже приведён пример выходного JSON-лога:
Чтобы включить логирование в формате JSON, используйте следующий фрагмент:
Переименование ключей для JSON‑логов
Имена ключей можно изменять, изменяя значения тегов внутри тега <names>. Например, чтобы переименовать DATE_TIME в MY_DATE_TIME, можно использовать <date_time>MY_DATE_TIME</date_time>.
Исключение ключей из JSON‑логов
Свойства лога можно исключать, закомментировав соответствующий тег. Например, если вы не хотите, чтобы в логе выводился query_id, вы можете закомментировать тег <query_id>.
macros
Подстановки параметров для реплицируемых таблиц.
Могут быть опущены, если реплицируемые таблицы не используются.
Подробнее см. раздел Создание реплицируемых таблиц.
Пример
mark_cache_policy
mark_cache_prewarm_ratio
mark_cache_size
Максимальный размер кэша меток (индекса семейства таблиц MergeTree).
Этот параметр можно изменять во время работы, и изменения вступают в силу немедленно.
mark_cache_size_ratio
max_active_parts_loading_thread_pool_size
max_authentication_methods_per_user
Максимальное количество методов аутентификации, которые можно задать пользователю при создании или изменении. Изменение этого параметра не влияет на существующих пользователей. Запросы CREATE/ALTER, связанные с аутентификацией, завершатся с ошибкой, если они превысят предел, указанный в этом параметре. Запросы CREATE/ALTER, не связанные с аутентификацией, будут выполняться успешно.
Значение 0 означает отсутствие ограничения.
max_backup_bandwidth_for_server
max_backups_io_thread_pool_free_size
max_backup_io_thread_pool_free_size, ClickHouse освободит ресурсы, занятые этими потоками, и уменьшит размер пула. При необходимости потоки могут быть созданы вновь.
max_backups_io_thread_pool_size
max_backups_io_thread_pool_size ограничивает максимальное количество потоков в этом пуле.
max_build_vector_similarity_index_thread_pool_size
Максимальное количество потоков, используемых для построения векторных индексов.
Значение 0 означает, что используются все ядра.
max_concurrent_insert_queries
Ограничение на общее количество одновременно выполняющихся запросов INSERT.
Значение 0 (по умолчанию) означает отсутствие ограничений.
Этот параметр можно изменять во время работы сервера, и изменения вступают в силу немедленно. Запросы, которые уже выполняются, останутся без изменений.
max_concurrent_queries
Ограничение на общее количество одновременно выполняемых запросов. Следует также учитывать ограничения на запросы INSERT и SELECT, а также максимальное количество запросов для пользователей.
См. также:
Значение 0 (по умолчанию) означает отсутствие ограничений.
Этот параметр можно изменять во время работы сервера, и изменения вступают в силу немедленно. Уже выполняющиеся запросы не затрагиваются.
max_concurrent_select_queries
Ограничение на общее количество одновременно выполняемых запросов SELECT.
Значение 0 (по умолчанию) означает отсутствие ограничения.
Эту настройку можно изменять во время работы сервера, и изменения вступают в силу немедленно. Уже выполняющиеся запросы останутся без изменений.
max_connections
max_database_num_to_throw
max_database_num_to_warn
Если количество подключенных баз данных превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings.
Пример
max_database_replicated_create_table_thread_pool_size
max_dictionary_num_to_throw
Если количество словарей превышает это значение, сервер выбросит исключение.
Учитываются только таблицы для следующих движков баз данных:
- Atomic
- Ordinary
- Replicated
- Lazy
Значение 0 означает отсутствие ограничения.
Пример
max_dictionary_num_to_warn
Если количество подключённых словарей превышает указанное значение, сервер ClickHouse добавляет предупреждения в таблицу system.warnings.
Пример
max_distributed_cache_read_bandwidth_for_server
max_distributed_cache_write_bandwidth_for_server
max_entries_for_hash_table_stats
max_fetch_partition_thread_pool_size
max_format_parsing_thread_pool_free_size
Максимальное количество простаивающих резервных потоков, которые необходимо поддерживать в пуле потоков для разбора входных данных.
max_format_parsing_thread_pool_size
Максимальное суммарное число потоков, используемых для парсинга входных данных.
max_io_thread_pool_free_size
Если количество простаивающих потоков в пуле потоков ввода-вывода превышает max_io_thread_pool_free_size, ClickHouse освобождает ресурсы, занятые простаивающими потоками, и уменьшает размер пула. При необходимости потоки могут быть созданы заново.
max_io_thread_pool_size
ClickHouse использует потоки из пула потоков ввода-вывода (IO thread pool) для выполнения некоторых операций ввода-вывода (например, для взаимодействия с S3). max_io_thread_pool_size ограничивает максимальное количество потоков в этом пуле.
max_keep_alive_requests
Максимальное количество запросов по одному keep-alive-соединению до его закрытия сервером ClickHouse.
Пример
max_local_read_bandwidth_for_server
Максимальная скорость локального чтения в байтах в секунду.
Значение 0 означает отсутствие ограничения.
max_local_write_bandwidth_for_server
Максимальная скорость локальной записи, в байтах в секунду.
Значение 0 означает отсутствие ограничения.
max_materialized_views_count_for_table
Ограничение на количество материализованных представлений, связанных с таблицей.
Здесь учитываются только непосредственно зависящие представления; создание представлений поверх других представлений не учитывается.
max_merges_bandwidth_for_server
max_mutations_bandwidth_for_server
max_named_collection_num_to_throw
Если количество именованных коллекций превышает это значение, сервер выдаст исключение.
Значение 0 означает отсутствие ограничения.
Пример
max_named_collection_num_to_warn
Если количество именованных коллекций превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings.
Пример
max_open_files
Максимальное количество открытых файлов.
Мы рекомендуем использовать эту опцию на macOS, поскольку функция getrlimit() возвращает некорректное значение.
Пример
max_os_cpu_wait_time_ratio_to_drop_connection
Максимальное отношение между временем ожидания CPU в ОС (метрика OSCPUWaitMicroseconds) и временем занятости (метрика OSCPUVirtualTimeMicroseconds), при котором следует рассматривать разрыв соединений. Для вычисления вероятности используется линейная интерполяция между минимальным и максимальным значением этого отношения; в этой точке вероятность равна 1. Подробнее см. раздел Управление поведением при перегрузке CPU сервера.
max_outdated_parts_loading_thread_pool_size
max_part_num_to_warn
Если количество активных частей превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings.
Пример
max_partition_size_to_drop
Ограничение на удаление партиций.
Если размер таблицы MergeTree превышает значение max_partition_size_to_drop (в байтах), вы не можете удалить партицию с помощью запроса DROP PARTITION.
Для применения этой настройки не требуется перезапуск сервера ClickHouse. Другой способ отключить это ограничение — создать файл <clickhouse-path>/flags/force_drop_table.
Значение 0 означает, что вы можете удалять партиции без каких-либо ограничений.
Это ограничение не распространяется на операции DROP TABLE и TRUNCATE TABLE, см. max_table_size_to_drop.
Пример
max_parts_cleaning_thread_pool_size
max_pending_mutations_execution_time_to_warn
Если какая-либо из ожидающих выполнения мутаций превышает указанное значение (в секундах), сервер ClickHouse добавляет предупреждающие сообщения в таблицу system.warnings.
Пример
max_pending_mutations_to_warn
Если количество ожидающих выполнения мутаций превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings.
Пример
max_prefixes_deserialization_thread_pool_free_size
Если количество простаивающих потоков в пуле потоков десериализации префиксов превышает max_prefixes_deserialization_thread_pool_free_size, ClickHouse освободит ресурсы, занимаемые такими потоками, и уменьшит размер пула. При необходимости потоки могут быть созданы снова.
max_prefixes_deserialization_thread_pool_size
ClickHouse использует потоки из пула потоков десериализации префиксов для параллельного чтения метаданных столбцов и подстолбцов из файловых префиксов в широких частях (Wide parts) таблиц MergeTree. max_prefixes_deserialization_thread_pool_size ограничивает максимальное количество потоков в этом пуле.
max_remote_read_network_bandwidth_for_server
Максимальная скорость сетевого обмена данными при чтении, в байтах в секунду.
Значение 0 (по умолчанию) означает отсутствие ограничений.
max_remote_write_network_bandwidth_for_server
Максимальная скорость обмена данными по сети для операций записи, в байтах в секунду.
Значение 0 (по умолчанию) означает отсутствие ограничения.
max_replicated_fetches_network_bandwidth_for_server
max_replicated_sends_network_bandwidth_for_server
max_replicated_table_num_to_throw
Если количество реплицируемых таблиц превышает это значение, сервер сгенерирует исключение.
Считаются только таблицы для движков баз данных:
- Atomic
- Ordinary
- Replicated
- Lazy
Значение 0 означает отсутствие ограничения.
Пример
max_server_memory_usage
Максимальный объём памяти, который серверу разрешено использовать, в байтах.
Максимальное потребление памяти сервером дополнительно ограничивается настройкой max_server_memory_usage_to_ram_ratio.
В качестве особого случая значение 0 (по умолчанию) означает, что сервер может использовать всю доступную память (за исключением дополнительных ограничений, накладываемых max_server_memory_usage_to_ram_ratio).
max_server_memory_usage_to_ram_ratio
Максимальный объём оперативной памяти, который серверу разрешено использовать, выраженный в виде отношения ко всей доступной памяти.
Например, значение 0.9 (по умолчанию) означает, что сервер может потреблять 90% доступной памяти.
Позволяет снизить использование памяти на системах с небольшим объёмом ОЗУ.
На хостах с малым объёмом ОЗУ и пространства подкачки может понадобиться установить max_server_memory_usage_to_ram_ratio больше 1.
Максимальное потребление памяти сервером дополнительно ограничивается настройкой max_server_memory_usage.
max_session_timeout
Максимальное время жизни сессии в секундах.
Пример:
max_table_num_to_throw
Если число таблиц превышает это значение, сервер сгенерирует исключение.
Следующие типы таблиц не учитываются:
- view
- remote
- dictionary
- system
Считаются только таблицы для движков баз данных:
- Atomic
- Ordinary
- Replicated
- Lazy
Значение 0 означает отсутствие ограничения.
Пример
max_table_num_to_warn
Если количество подключённых таблиц превышает указанное значение, сервер ClickHouse добавит предупреждения в таблицу system.warnings.
Пример
max_table_size_to_drop
Ограничение на удаление таблиц.
Если размер таблицы MergeTree превышает значение max_table_size_to_drop (в байтах), вы не можете удалить её с помощью запросов DROP или TRUNCATE.
Значение 0 означает, что вы можете удалять все таблицы без каких-либо ограничений.
Для применения этого параметра не требуется перезапуск сервера ClickHouse. Другой способ снять это ограничение — создать файл <clickhouse-path>/flags/force_drop_table.
Пример
max_temporary_data_on_disk_size
Максимальный объем дискового пространства, который может быть использован для внешней агрегации, соединений или сортировки. Запросы, которые превысят этот лимит, завершатся с ошибкой (будет выброшено исключение).
Значение 0 означает отсутствие ограничения.
См. также:
max_thread_pool_free_size
Если количество простаивающих потоков в глобальном пуле потоков больше max_thread_pool_free_size, ClickHouse освобождает ресурсы, занятые некоторыми потоками, и размер пула уменьшается. При необходимости потоки могут быть созданы заново.
Пример
max_thread_pool_size
ClickHouse использует потоки из глобального пула потоков (Global Thread Pool) для обработки запросов. Если для обработки запроса нет свободного потока, в пул добавляется новый поток. max_thread_pool_size ограничивает максимальное число потоков в пуле.
Пример
max_unexpected_parts_loading_thread_pool_size
max_view_num_to_throw
Если количество представлений превышает это значение, сервер генерирует исключение.
Учитываются только таблицы для движков баз данных:
- Atomic
- Ordinary
- Replicated
- Lazy
Значение 0 означает отсутствие ограничения.
Пример
max_view_num_to_warn
Если число подключённых представлений превышает указанное значение, сервер ClickHouse добавит предупреждения в таблицу system.warnings.
Пример
max_waiting_queries
Лимит на общее число одновременно ожидающих выполнения запросов.
Выполнение ожидающего запроса блокируется, пока требуемые таблицы загружаются асинхронно (см. async_load_databases.
Ожидающие запросы не берутся в расчет при проверке ограничений, задаваемых следующими настройками:
max_concurrent_queriesmax_concurrent_insert_queriesmax_concurrent_select_queriesmax_concurrent_queries_for_usermax_concurrent_queries_for_all_users
Это сделано для того, чтобы избежать превышения этих лимитов сразу после запуска сервера.
Значение 0 (по умолчанию) означает отсутствие ограничения.
Эту настройку можно изменять во время работы сервера, и изменения вступают в силу немедленно. Уже выполняющиеся запросы не затрагиваются.
memory_worker_correct_memory_tracker
Определяет, должен ли фоновый обработчик памяти корректировать внутренний трекер памяти на основе данных из внешних источников, таких как jemalloc и cgroups.
memory_worker_period_ms
Период срабатывания фонового процесса управления памятью, который корректирует значения использования памяти в трекере памяти и очищает неиспользуемые страницы при высокой нагрузке на память. Если установлено значение 0, будет использовано значение по умолчанию в зависимости от источника потребления памяти.
memory_worker_use_cgroup
merge_tree
Параметры тонкой настройки таблиц на движке MergeTree.
Дополнительные сведения см. в заголовочном файле MergeTreeSettings.h.
Пример
merge_workload
Используется для регулирования того, как ресурсы используются и распределяются между операциями слияния и другими типами нагрузки. Указанное значение применяется как значение настройки workload для всех фоновых слияний. Может быть переопределено настройкой движка MergeTree.
См. также
merges_mutations_memory_usage_soft_limit
Устанавливает ограничение на объем оперативной памяти, который допускается использовать для выполнения операций слияния и мутаций. Если ClickHouse достигает заданного лимита, он не будет планировать запуск новых фоновых операций слияния и мутаций, но продолжит выполнять уже запланированные задачи.
Значение 0 означает отсутствие ограничений.
Пример
merges_mutations_memory_usage_to_ram_ratio
Значение параметра merges_mutations_memory_usage_soft_limit по умолчанию вычисляется как memory_amount * merges_mutations_memory_usage_to_ram_ratio.
См. также:
metric_log
По умолчанию отключён.
Включение
Чтобы вручную включить сбор истории метрик system.metric_log, создайте файл /etc/clickhouse-server/config.d/metric_log.xml со следующим содержимым:
Отключение
Чтобы отключить параметр metric_log, необходимо создать файл /etc/clickhouse-server/config.d/disable_metric_log.xml со следующим содержимым:
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
min_os_cpu_wait_time_ratio_to_drop_connection
Минимальное значение отношения между временем ожидания CPU в ОС (метрика OSCPUWaitMicroseconds) и временем занятости (метрика OSCPUVirtualTimeMicroseconds), при котором следует рассматривать возможность сброса соединений. Для вычисления вероятности используется линейная интерполяция между минимальным и максимальным значением отношения, при этом вероятность в этой точке равна 0. Дополнительные сведения см. в разделе Управление поведением при перегрузке CPU сервера.
mlock_executable
Выполняет mlockall после запуска, чтобы снизить задержку первых запросов и предотвратить выгрузку исполняемого файла ClickHouse в своп при высокой нагрузке на ввод-вывод.
Включение этой опции рекомендуется, но приведёт к увеличению времени запуска на несколько секунд. Имейте в виду, что этот параметр не будет работать без права «CAP_IPC_LOCK».
Пример
mmap_cache_size
Этот параметр позволяет избежать частых системных вызовов open/close (которые очень затратны из‑за последующих промахов по страницам памяти) и повторно использовать отображения из нескольких потоков и запросов. Значение настройки — это количество отображённых областей (обычно равно количеству отображённых файлов).
Объём данных в отображённых файлах можно отслеживать в следующих системных таблицах по следующим метрикам:
MMappedFiles/MMappedFileBytes/MMapCacheCellsвsystem.metrics,system.metric_logCreatedReadBufferMMap/CreatedReadBufferMMapFailed/MMappedFileCacheHits/MMappedFileCacheMissesвsystem.events,system.processes,system.query_log,system.query_thread_log,system.query_views_log
Объём данных в отображённых файлах не потребляет память напрямую и не учитывается в потреблении памяти запросом или сервером, поскольку эта память может быть освобождена подобно кэшу страниц ОС. Кэш сбрасывается (файлы закрываются) автоматически при удалении старых кусков в таблицах семейства MergeTree, также его можно сбросить вручную запросом SYSTEM DROP MMAP CACHE.
Этот параметр может быть изменён во время работы и вступает в силу немедленно.
mutation_workload
Используется для регулирования того, как ресурсы распределяются и совместно используются между мутациями и другими рабочими нагрузками. Указанное значение используется как значение настройки workload для всех фоновых мутаций. Может быть переопределено настройкой MergeTree.
См. также
mysql_port
Порт для взаимодействия с клиентами по протоколу MySQL.
- Положительные целые числа задают номер порта, на котором необходимо принимать подключения
- Пустые значения используются для отключения взаимодействия с клиентами по протоколу MySQL.
Пример
mysql_require_secure_transport
Если установлено значение true, для взаимодействия с клиентами по mysql_port требуется защищённое соединение. Подключения с параметром --ssl-mode=none будут отклонены. Используйте этот параметр совместно с настройками OpenSSL.
openSSL
Конфигурация клиента и сервера SSL.
Поддержка SSL обеспечивается библиотекой libpoco. Доступные параметры конфигурации описаны в SSLManager.h. Значения по умолчанию можно найти в SSLManager.cpp.
Ключи параметров конфигурации сервера и клиента:
| Параметр | Описание | Значение по умолчанию |
|---|---|---|
privateKeyFile | Путь к файлу с закрытым ключом PEM-сертификата. Файл может одновременно содержать и ключ, и сертификат. | |
certificateFile | Путь к файлу клиентского/серверного сертификата в формате PEM. Можно не указывать, если privateKeyFile содержит сертификат. | |
caConfig | Путь к файлу или каталогу, содержащему доверенные сертификаты центров сертификации (CA). Если путь указывает на файл, он должен быть в формате PEM и может содержать несколько сертификатов CA. Если путь указывает на каталог, в нём должен быть один файл .pem на каждый сертификат CA. Имена файлов определяются по хеш‑значению имени субъекта CA. Подробности см. на man‑странице SSL_CTX_load_verify_locations. | |
verificationMode | Метод проверки сертификатов узла. Подробности см. в описании класса Context. Возможные значения: none, relaxed, strict, once. | relaxed |
verificationDepth | Максимальная длина цепочки проверки. Проверка завершится с ошибкой, если длина цепочки сертификатов превысит заданное значение. | 9 |
loadDefaultCAFile | Будут ли использоваться встроенные CA-сертификаты для OpenSSL. ClickHouse предполагает, что встроенные CA-сертификаты находятся в файле /etc/ssl/cert.pem (соответственно, в каталоге /etc/ssl/certs) или в файле (соответственно, каталоге), указанном в переменной окружения SSL_CERT_FILE (соответственно, SSL_CERT_DIR). | true |
cipherList | Поддерживаемые шифры OpenSSL. | ALL:!ADH:!LOW:!EXP:!MD5:!3DES:@STRENGTH |
cacheSessions | Включает или отключает кэширование сеансов. Необходимо использовать совместно с sessionIdContext. Допустимые значения: true, false. | false |
sessionIdContext | Уникальная последовательность случайных символов, которую сервер добавляет к каждому сгенерированному идентификатору. Длина строки не должна превышать SSL_MAX_SSL_SESSION_ID_LENGTH. Указывать этот параметр настоятельно рекомендуется, поскольку он помогает избежать проблем как при кэшировании сеанса на стороне сервера, так и при запросе кэширования со стороны клиента. | $\{application.name\} |
sessionCacheSize | Максимальное количество сеансов, которые сервер кэширует. Значение 0 означает неограниченное число сеансов. | 1024*20 |
sessionTimeout | Время хранения сеанса в кэше на сервере (в часах). | 2 |
extendedVerification | Если параметр включён, убедитесь, что CN или SAN в сертификате совпадает с именем хоста удалённого узла. | false |
requireTLSv1 | Требовать соединение по TLSv1. Допустимые значения: true, false. | false |
requireTLSv1_1 | Требовать соединение по TLSv1.1. Допустимые значения: true, false. | false |
requireTLSv1_2 | Требовать подключение по TLSv1.2. Допустимые значения: true, false. | false |
fips | Включает режим FIPS в OpenSSL. Поддерживается, если используемая версия библиотеки OpenSSL поддерживает FIPS. | false |
privateKeyPassphraseHandler | Класс (подкласс PrivateKeyPassphraseHandler), который запрашивает парольную фразу для доступа к закрытому ключу. Например: <privateKeyPassphraseHandler>, <name>KeyFileHandler</name>, <options><password>test</password></options>, </privateKeyPassphraseHandler>. | KeyConsoleHandler |
invalidCertificateHandler | Класс (подкласс CertificateHandler) для обработки недействительных сертификатов. Например: <invalidCertificateHandler> <name>RejectCertificateHandler</name> </invalidCertificateHandler>. | RejectCertificateHandler |
disableProtocols | Протоколы, использование которых запрещено. | |
preferServerCiphers | Серверные наборы шифров, предпочитаемые клиентом. | false |
Пример конфигурации:
opentelemetry_span_log
Настройки для системной таблицы opentelemetry_span_log.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Пример:
os_cpu_busy_time_threshold
os_threads_nice_value_distributed_cache_tcp_handler
Значение nice в Linux для потоков обработчика TCP распределённого кэша. Чем меньше значение, тем выше приоритет по использованию CPU.
Требуется capability CAP_SYS_NICE, в противном случае параметр не оказывает эффекта.
Возможные значения: от -20 до 19.
os_threads_nice_value_merge_mutate
Значение nice в Linux для потоков слияния и мутаций. Более низкие значения означают более высокий приоритет использования CPU.
Требует способности CAP_SYS_NICE, в противном случае параметр не применяется.
Возможные значения: от -20 до 19.
os_threads_nice_value_zookeeper_client_send_receive
Значение nice в Linux для потоков отправки и получения в клиенте ZooKeeper. Меньшие значения означают более высокий приоритет использования CPU.
Требуется capability CAP_SYS_NICE, иначе параметр не действует.
Возможные значения: от -20 до 19.
page_cache_free_memory_ratio
page_cache_history_window_ms
page_cache_max_size
page_cache_min_size
page_cache_policy
page_cache_shards
page_cache_size_ratio
part_log
Логирование событий, связанных с движком MergeTree, например добавление или слияние данных. Вы можете использовать этот лог для моделирования алгоритмов слияния и сравнения их характеристик, а также визуализации процесса слияния.
Запросы логируются в таблицу system.part_log, а не в отдельный файл. Имя этой таблицы можно настроить с помощью параметра table (см. ниже).
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Пример
parts_kill_delay_period
Период до полного удаления частей для SharedMergeTree. Доступно только в ClickHouse Cloud
parts_kill_delay_period_random_add
Добавляет равномерно распределённое случайное значение от 0 до x секунд к kill_delay_period, чтобы избежать проблемы «стадного эффекта» (thundering herd) и последующего DoS ZooKeeper при очень большом числе таблиц. Доступно только в ClickHouse Cloud.
parts_killer_pool_size
Потоки, используемые для очистки устаревших частей в общем MergeTree. Доступно только в ClickHouse Cloud.
path
Путь к каталогу, содержащему данные.
Слэш в конце обязателен.
Пример
postgresql_port
Порт для взаимодействия с клиентами по протоколу PostgreSQL.
- Положительные целые числа указывают номер порта, который следует прослушивать
- Пустое значение используется для отключения взаимодействия с клиентами по протоколу PostgreSQL.
Пример
postgresql_require_secure_transport
Если параметр установлен в значение true, для клиентов требуется защищённое соединение по postgresql_port. Подключения с параметром sslmode=disable будут отклоняться. Используйте вместе с настройками OpenSSL.
prefetch_threadpool_pool_size
prefetch_threadpool_queue_size
prefixes_deserialization_thread_pool_thread_pool_queue_size
Максимальное количество задач, которые могут быть поставлены в очередь пула потоков десериализации префиксов.
Значение 0 означает отсутствие ограничений.
prepare_system_log_tables_on_startup
Если параметр установлен в true, ClickHouse создаёт все настроенные таблицы system.*_log до запуска. Это может быть полезно, если некоторые стартовые скрипты зависят от этих таблиц.
primary_index_cache_policy
primary_index_cache_prewarm_ratio
primary_index_cache_size
primary_index_cache_size_ratio
process_query_plan_packet
Этот параметр позволяет считывать пакет QueryPlan. Этот пакет отправляется при выполнении распределённых запросов, когда включён serialize_query_plan.
По умолчанию параметр отключён, чтобы избежать возможных проблем с безопасностью, которые могут быть вызваны ошибками при бинарной десериализации плана запроса.
Пример
processors_profile_log
Параметры для системной таблицы processors_profile_log.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Значения по умолчанию:
prometheus
Публикация метрик для сбора системой Prometheus.
Настройки:
endpoint– HTTP-эндпоинт для сбора метрик сервером Prometheus. Должен начинаться с '/'.port– Порт дляendpoint.metrics– Экспортировать метрики из таблицы system.metrics.events– Экспортировать метрики из таблицы system.events.asynchronous_metrics– Экспортировать текущие значения метрик из таблицы system.asynchronous_metrics.errors- Экспортировать количество ошибок по их кодам, возникших с момента последнего перезапуска сервера. Эти данные также можно получить из таблицы system.errors.
Пример
Проверьте (замените 127.0.0.1 на IP-адрес или имя хоста сервера ClickHouse):
proxy
Определяет прокси‑серверы для HTTP‑ и HTTPS‑запросов, в настоящее время поддерживаемые хранилищем S3, табличными функциями S3 и функциями URL.
Существует три способа задать прокси‑серверы:
- переменные окружения
- списки прокси
- удалённые резолверы прокси‑серверов.
Обход (игнорирование) прокси‑серверов для отдельных хостов также поддерживается с использованием no_proxy.
Переменные окружения
Переменные окружения http_proxy и https_proxy позволяют указать
прокси‑сервер для конкретного протокола. Если они уже настроены в вашей системе, всё будет работать прозрачно.
Это самый простой подход, если для данного протокола существует только один прокси‑сервер и этот прокси‑сервер не меняется.
Списки прокси
Этот подход позволяет указать один или несколько прокси‑серверов для протокола. Если определено более одного прокси‑сервера, ClickHouse использует разные прокси по круговой схеме (round-robin), распределяя нагрузку между серверами. Это самый простой подход, если для протокола существует несколько прокси‑серверов и список прокси‑серверов не меняется.
Шаблон конфигурации
Выберите родительское поле во вкладках ниже, чтобы просмотреть его дочерние элементы:
- <proxy>
- <http> и <https>
| Поле | Описание |
|---|---|
<http> | Список из одного или нескольких HTTP-прокси |
<https> | Список из одного или нескольких HTTPS-прокси |
| Поле | Описание |
|---|---|
<uri> | URI прокси-сервера |
Удалённые прокси-резолверы
Прокси-серверы могут динамически изменяться. В этом
случае вы можете указать конечную точку резолвера. ClickHouse отправляет
пустой GET-запрос на эту конечную точку, удалённый резолвер должен вернуть хост прокси-сервера.
ClickHouse будет использовать его для формирования URI прокси по следующему шаблону: \{proxy_scheme\}://\{proxy_host\}:{proxy_port}
Шаблон конфигурации
Выберите родительское поле на вкладках ниже, чтобы просмотреть его дочерние элементы:
- <proxy>
- <http> и <https>
- <resolver>
| Поле | Описание |
|---|---|
<http> | Список из одного или нескольких резолверов* |
<https> | Список из одного или нескольких резолверов* |
| Поле | Описание |
|---|---|
<resolver> | Конечная точка и другие параметры резолвера |
Можно указать несколько элементов <resolver>, но используется только
первый <resolver> для данного протокола. Все остальные элементы
<resolver> для этого протокола игнорируются. Это означает, что
балансировка нагрузки (если она требуется) должна выполняться
удалённым резолвером.
| Поле | Описание |
|---|---|
<endpoint> | URI прокси-резолвера |
<proxy_scheme> | Протокол итогового URI прокси. Может быть либо http, либо https. |
<proxy_port> | Номер порта прокси-резолвера |
<proxy_cache_time> | Время в секундах, в течение которого значения от резолвера должны кэшироваться в ClickHouse. Установка этого значения в 0 заставляет ClickHouse обращаться к резолверу для каждого HTTP- или HTTPS-запроса. |
Приоритет
Параметры прокси определяются в следующем порядке:
| Порядок | Настройка |
|---|---|
| 1. | Удалённые прокси-резолверы |
| 2. | Списки прокси |
| 3. | Переменные окружения |
ClickHouse проверяет тип резолвера с наивысшим приоритетом для протокола запроса. Если он не задан, проверяется следующий по приоритету тип резолвера, пока не будет достигнут резолвер, использующий переменные окружения. Это также позволяет одновременно использовать несколько типов резолверов.
query_cache
Настройки кэша запросов.
Доступны следующие параметры:
| Параметр | Описание | Значение по умолчанию |
|---|---|---|
max_size_in_bytes | Максимальный размер кэша в байтах. Значение 0 означает, что кэш запросов отключён. | 1073741824 |
max_entries | Максимальное количество результатов запросов SELECT, хранимых в кэше. | 1024 |
max_entry_size_in_bytes | Максимальный размер в байтах для результатов запроса SELECT, которые могут быть сохранены в кэше. | 1048576 |
max_entry_size_in_rows | Максимальное количество строк в результатах запроса SELECT, которые могут быть сохранены в кэше. | 30000000 |
- Изменённые настройки вступают в силу немедленно.
- Данные для кэша запросов выделяются в DRAM. Если память ограничена, установите небольшое значение
max_size_in_bytesили полностью отключите кэш запросов.
Пример
query_condition_cache_policy
query_condition_cache_size
Максимальный размер кэша условий запроса.
Эту настройку можно изменять во время работы, и изменения вступают в силу немедленно.
query_condition_cache_size_ratio
query_log
Настройка для журналирования запросов, полученных при включённом параметре log_queries=1.
Запросы записываются в таблицу system.query_log, а не в отдельный файл. Имя таблицы можно изменить с помощью параметра table (см. ниже).
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Если таблица не существует, ClickHouse создаст её. Если структура журнала запросов изменилась при обновлении сервера ClickHouse, таблица со старой структурой переименовывается, а новая таблица создаётся автоматически.
Пример
query_masking_rules
Правила на основе регулярных выражений, которые будут применяться к запросам, а также ко всем сообщениям журнала перед их сохранением в журналы сервера,
таблицы system.query_log, system.text_log, system.processes, а также в журналы, отправляемые клиенту. Это позволяет предотвратить
утечку конфиденциальных данных из SQL-запросов, таких как имена, адреса электронной почты, персональные идентификаторы или номера кредитных карт, в журналы.
Пример
Поля конфигурации:
| Setting | Description |
|---|---|
name | имя правила (необязательно) |
regexp | регулярное выражение, совместимое с RE2 (обязательное) |
replace | строка подстановки для конфиденциальных данных (необязательно, по умолчанию — шесть звездочек) |
Правила маскирования применяются ко всему запросу (для предотвращения утечек конфиденциальных данных из некорректных или неподдающихся разбору запросов).
Таблица system.events содержит счетчик QueryMaskingRulesMatch, в котором хранится общее количество срабатываний правил маскирования запросов.
Для распределённых запросов каждый сервер должен быть настроен отдельно, иначе подзапросы, передаваемые на другие узлы, будут сохраняться без маскирования.
query_metric_log
По умолчанию он отключен.
Включение
Чтобы вручную включить сбор истории метрик запросов system.query_metric_log, создайте файл /etc/clickhouse-server/config.d/query_metric_log.xml со следующим содержимым:
Отключение
Чтобы отключить параметр query_metric_log, необходимо создать файл /etc/clickhouse-server/config.d/disable_query_metric_log.xml со следующим содержимым:
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
query_thread_log
Настройка ведения журнала потоков запросов, включаемого параметром log_query_threads=1.
Запросы записываются в таблицу system.query_thread_log, а не в отдельный файл. Вы можете изменить имя таблицы с помощью параметра table (см. ниже).
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Если таблица не существует, ClickHouse создаст её. Если структура журнала потоков запросов изменилась при обновлении сервера ClickHouse, таблица со старой структурой переименовывается, и новая таблица создаётся автоматически.
Пример
query_views_log
Настройка логирования представлений (live, materialized и т.д.), зависящая от запросов, полученных с настройкой log_query_views=1.
Запросы логируются в таблицу system.query_views_log, а не в отдельный файл. Имя таблицы можно изменить в параметре table (см. ниже).
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Если таблица не существует, ClickHouse создаст её. Если структура журнала представлений запросов изменилась при обновлении сервера ClickHouse, таблица со старой структурой будет переименована, а новая таблица будет автоматически создана.
Пример
remap_executable
Настройка для перераспределения памяти под машинный код («text») с использованием больших страниц.
Эта функция находится на стадии активного эксперимента.
Пример:
remote_servers
Конфигурация кластеров, используемых движком таблицы Distributed и табличной функцией cluster.
Пример
Для значения атрибута incl см. раздел «Файлы конфигурации».
См. также
remote_url_allow_hosts
Список хостов, которые разрешено использовать в движках хранения и табличных функциях, работающих с URL.
При добавлении хоста с xml-тегом \<host\>:
- его нужно указывать в точности так же, как в URL, так как имя проверяется до разрешения DNS-имени. Например:
<host>clickhouse.com</host> - если порт явно указан в URL, то проверяется пара host:port целиком. Например:
<host>clickhouse.com:80</host> - если хост указан без порта, то разрешены любые порты этого хоста. Например: если указан
<host>clickhouse.com</host>, тоclickhouse.com:20(FTP),clickhouse.com:80(HTTP),clickhouse.com:443(HTTPS) и т. д. разрешены. - если хост указан в виде IP-адреса, то он проверяется так же, как указан в URL. Например:
[2a02:6b8:a::a]. - если есть перенаправления и поддержка перенаправлений включена, то каждое перенаправление (поле Location) проверяется.
Например:
replica_group_name
Имя группы реплик для базы данных типа Replicated.
Кластер, созданный базой данных Replicated, будет состоять из реплик в пределах одной группы. DDL-запросы будут ожидать только реплики в той же группе.
По умолчанию — пусто.
Пример
replicated_fetches_http_connection_timeout
http_connection_timeout, если не задано явно.
replicated_fetches_http_receive_timeout
http_receive_timeout, если не задан явно.
replicated_fetches_http_send_timeout
http_send_timeout, если не задан явно.
replicated_merge_tree
Параметр тонкой настройки для таблиц в ReplicatedMergeTree. Этот параметр имеет более высокий приоритет.
Для получения дополнительной информации см. заголовочный файл MergeTreeSettings.h.
Пример
restore_threads
s3_credentials_provider_max_cache_size
s3_max_redirects
s3_retry_attempts
s3queue_disable_streaming
s3queue_log
Настройки системной таблицы s3queue_log.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Настройки по умолчанию:
send_crash_reports
Настройки отправки отчётов о сбоях команде разработчиков ядра ClickHouse.
Включение этой настройки, особенно в предпродакшн-средах, крайне приветствуется.
Ключи:
| Key | Description |
|---|---|
enabled | Логический флаг для включения функции, по умолчанию true. Установите false, чтобы не отправлять отчёты о сбоях. |
send_logical_errors | LOGICAL_ERROR похожа на assert: это ошибка (bug) в ClickHouse. Этот логический флаг включает отправку таких исключений (по умолчанию true). |
endpoint | Вы можете переопределить URL конечной точки для отправки отчётов о сбоях. |
Рекомендуемое использование
series_keeper_path
Путь в Keeper с автоинкрементируемыми номерами, генерируемыми функцией generateSerialID. Каждая серия представлена отдельным узлом по этому пути.
show_addresses_in_stack_traces
shutdown_wait_backups_and_restores
shutdown_wait_unfinished
shutdown_wait_unfinished_queries
skip_binary_checksum_checks
ssh_server
Публичная часть ключа хоста будет записана в файл known_hosts на стороне SSH-клиента при первом подключении.
Параметры ключа хоста по умолчанию неактивны. Раскомментируйте параметры ключа хоста и укажите путь к соответствующему SSH-ключу, чтобы их активировать:
Пример:
startup_mv_delay_ms
storage_configuration
Поддерживает многодисковую конфигурацию хранилища.
Конфигурация хранилища имеет следующую структуру:
Конфигурация дисков
Конфигурация disks имеет следующую структуру:
Вложенные теги выше определяют следующие настройки для disks:
| Параметр | Описание |
|---|---|
<disk_name_N> | Имя диска, которое должно быть уникальным. |
path | Путь, по которому будут храниться данные сервера (каталоги data и shadow). Должен заканчиваться на / |
keep_free_space_bytes | Размер зарезервированного свободного пространства на диске. |
Порядок дисков не имеет значения.
Настройка политик
Вложенные теги выше определяют следующие настройки для policies:
| Setting | Description |
|---|---|
policy_name_N | Имя политики. Имена политик должны быть уникальными. |
volume_name_N | Имя тома. Имена томов должны быть уникальными. |
disk | Диск, расположенный внутри тома. |
max_data_part_size_bytes | Максимальный размер части данных, которая может находиться на любом из дисков в этом томе. Если в результате слияния ожидается, что размер части будет больше, чем max_data_part_size_bytes, часть будет записана в следующий том. По сути, эта функция позволяет хранить новые / маленькие части на «горячем» томе (SSD) и переносить их на «холодный» том (HDD), когда они достигают большого размера. Не используйте эту опцию, если в политике только один том. |
move_factor | Доля доступного свободного места на томе. Если свободного места становится меньше, данные начинают переноситься на следующий том, если он существует. Для переноса части сортируются по размеру от большей к меньшей (по убыванию) и выбираются части, суммарный размер которых достаточен для выполнения условия move_factor; если суммарный размер всех частей недостаточен, будут перенесены все части. |
perform_ttl_move_on_insert | Отключает перенос данных с истёкшим TTL при вставке. По умолчанию (при включённой настройке), если мы вставляем часть данных, которая уже истекла согласно правилу переноса по сроку жизни (TTL), она немедленно переносится на том / диск, указанный в правиле переноса. Это может значительно замедлить вставку, если целевой том / диск медленный (например, S3). Если опция отключена, истекшая часть данных записывается в том по умолчанию, а затем сразу переносится в том, указанный в правиле для истёкшего TTL. |
load_balancing | Политика балансировки между дисками: round_robin или least_used. |
least_used_ttl_ms | Задаёт таймаут (в миллисекундах) для обновления доступного пространства на всех дисках (0 — всегда обновлять, -1 — никогда не обновлять, значение по умолчанию — 60000). Обратите внимание: если диск используется только ClickHouse и не будет подвергаться динамическому изменению размера файловой системы, можно использовать значение -1. Во всех остальных случаях это не рекомендуется, так как в конечном итоге приведёт к некорректному распределению места. |
prefer_not_to_merge | Отключает слияние частей данных на этом томе. Примечание: это потенциально опасно и может вызвать замедление. Если этот параметр включён (не делайте так), слияние данных на этом томе запрещено (что плохо). Это позволяет управлять тем, как ClickHouse взаимодействует с медленными дисками. Мы рекомендуем вообще не использовать этот параметр. |
volume_priority | Определяет приоритет (порядок), в котором заполняются тома. Чем меньше значение, тем выше приоритет. Значения параметра должны быть натуральными числами и непрерывно покрывать диапазон от 1 до N (где N — наибольшее указанное значение параметра) без пропусков. |
Для volume_priority:
- Если у всех томов задан этот параметр, они имеют приоритет в указанном порядке.
- Если только у некоторых томов он задан, тома без этого параметра имеют наименьший приоритет. Тома с этим параметром упорядочиваются по значению параметра, приоритет остальных определяется порядком описания в конфигурационном файле относительно друг друга.
- Если ни одному тому этот параметр не задан, их порядок определяется порядком описания в конфигурационном файле.
- Приоритеты томов могут отличаться.
storage_connections_soft_limit
storage_connections_store_limit
storage_connections_warn_limit
storage_metadata_write_full_object_key
storage_shared_set_join_use_inner_uuid
table_engines_require_grant
Если параметр установлен в true, пользователям требуется привилегия для создания таблицы с конкретным движком, например: GRANT TABLE ENGINE ON TinyLog TO user.
По умолчанию, для обеспечения обратной совместимости, при создании таблицы с конкретным движком таблицы проверка привилегий на движок игнорируется, однако вы можете изменить это поведение, установив параметр в true.
tables_loader_background_pool_size
Задает количество потоков, выполняющих асинхронные задачи загрузки во фоновом пуле. Фоновый пул используется для асинхронной загрузки таблиц после запуска сервера, если нет запросов, ожидающих доступ к таблице. Может быть полезно поддерживать небольшое количество потоков в фоновом пуле, если таблиц много. Это позволит зарезервировать ресурсы CPU для одновременного выполнения запросов.
Значение 0 означает, что будут использованы все доступные CPU.
tables_loader_foreground_pool_size
Задает количество потоков, выполняющих задачи загрузки во foreground-пуле. Foreground-пул используется для синхронной загрузки таблиц до того, как сервер начнет слушать порт, а также для загрузки таблиц, загрузка которых ожидается. Foreground-пул имеет более высокий приоритет, чем background-пул. Это означает, что ни одна задача не запускается в background-пуле, пока в foreground-пуле выполняются задачи.
Значение 0 означает, что будут использованы все доступные процессорные ядра.
tcp_close_connection_after_queries_num
tcp_close_connection_after_queries_seconds
tcp_port
Порт для взаимодействия с клиентами по протоколу TCP.
Пример
tcp_port_secure
TCP-порт для защищённого взаимодействия с клиентами. Используйте вместе с настройками OpenSSL.
Значение по умолчанию
tcp_ssh_port
Порт SSH-сервера, через который пользователь может подключаться и выполнять запросы в интерактивном режиме с использованием встроенного клиента через PTY.
Пример:
temporary_data_in_cache
При включении этой опции временные данные будут размещаться в кэше для конкретного диска.
В этом разделе нужно указать имя диска типа cache.
В этом случае кэш и временные данные будут использовать одно и то же пространство, и кэш диска может быть вытеснен для размещения временных данных.
Для конфигурации хранилища временных данных можно использовать только одну из следующих опций: tmp_path, tmp_policy, temporary_data_in_cache.
Пример
И кэш для local_disk, и временные данные будут храниться в каталоге /tiny_local_cache файловой системы, управляемом диском tiny_local_cache.
temporary_data_in_distributed_cache
text_index_dictionary_block_cache_max_entries
text_index_dictionary_block_cache_policy
text_index_dictionary_block_cache_size
Эту настройку можно изменить во время работы, и изменение вступит в силу немедленно.
text_index_dictionary_block_cache_size_ratio
text_index_header_cache_max_entries
text_index_header_cache_policy
text_index_header_cache_size
Этот параметр можно изменить во время работы, и изменения вступят в силу немедленно.
text_index_header_cache_size_ratio
text_index_postings_cache_max_entries
text_index_postings_cache_policy
text_index_postings_cache_size
Этот параметр можно изменять во время работы сервера, и изменения вступают в силу немедленно.
text_index_postings_cache_size_ratio
text_log
Настройки для системной таблицы text_log, используемой для логирования текстовых сообщений.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Дополнительно:
| Параметр | Описание | Значение по умолчанию |
|---|---|---|
level | Максимальный уровень сообщений (по умолчанию Trace), которые будут сохраняться в таблице. | Trace |
Пример
thread_pool_queue_size
Максимальное количество задач, которые могут быть поставлены в очередь глобального пула потоков. Увеличение размера очереди приводит к большему использованию памяти. Рекомендуется поддерживать это значение равным max_thread_pool_size.
Значение 0 означает отсутствие ограничения.
Пример
threadpool_local_fs_reader_pool_size
local_filesystem_read_method = 'pread_threadpool'.
threadpool_local_fs_reader_queue_size
threadpool_remote_fs_reader_pool_size
remote_filesystem_read_method имеет значение 'threadpool'.
threadpool_remote_fs_reader_queue_size
threadpool_writer_pool_size
threadpool_writer_queue_size
throw_on_unknown_workload
Определяет поведение при обращении к неизвестному WORKLOAD с настройкой запроса 'workload'.
- Если
true, из запроса, который пытается обратиться к неизвестному WORKLOAD, выбрасывается исключение RESOURCE_ACCESS_DENIED. Полезно для принудительного применения планировщика ресурсов ко всем запросам после того, как иерархия WORKLOAD сформирована и содержит WORKLOAD default. - Если
false(по умолчанию), запросу с настройкой 'workload', указывающей на неизвестный WORKLOAD, предоставляется неограниченный доступ без планирования ресурсов. Это важно на этапе настройки иерархии WORKLOAD, до добавления WORKLOAD default.
Пример
См. также
timezone
Часовой пояс сервера.
Указывается как идентификатор IANA для часового пояса UTC или географического местоположения (например, Africa/Abidjan).
Часовой пояс необходим для преобразований между форматами String и DateTime, когда поля DateTime выводятся в текстовый формат (печатаются на экран или в файл), а также при получении значения DateTime из строки. Кроме того, часовой пояс используется в функциях, работающих со временем и датой, если они не получили часовой пояс во входных параметрах.
Пример
См. также
tmp_path
Путь в локальной файловой системе для хранения временных данных при обработке больших запросов.
- Для настройки хранения временных данных может быть использован только один из следующих параметров:
tmp_path,tmp_policy,temporary_data_in_cache. - Конечный слэш обязателен.
Пример
tmp_policy
Политика для хранилища с временными данными. Все файлы с префиксом tmp будут удалены при запуске.
Рекомендации по использованию объектного хранилища в качестве tmp_policy:
- Используйте отдельный
bucket:pathна каждом сервере - Используйте
metadata_type=plain - При необходимости вы можете настроить TTL для этого bucket
- Для настройки хранилища временных данных может быть использован только один из вариантов:
tmp_path,tmp_policy,temporary_data_in_cache. - Параметры
move_factor,keep_free_space_bytes,max_data_part_size_bytesигнорируются. - Политика должна содержать ровно один том
Дополнительные сведения см. в документации по MergeTree Table Engine.
Пример
Когда на /disk1 заканчивается место, временные данные будут сохраняться на /disk2.
top_level_domains_list
Задаёт список пользовательских доменов верхнего уровня для добавления, где каждый элемент имеет формат <name>/path/to/file</name>.
Например:
См. также:
- функцию
cutToFirstSignificantSubdomainCustomи её варианты, которая принимает имя пользовательского списка TLD и возвращает часть домена, включающую все вышестоящие поддомены до первого значимого поддомена.
total_memory_profiler_sample_max_allocation_size
total_memory_profiler_sample_probability. 0 означает отключено. Имеет смысл установить max_untracked_memory в 0, чтобы этот порог работал как ожидается.
total_memory_profiler_sample_min_allocation_size
total_memory_profiler_sample_probability. 0 означает, что сбор отключен. Имеет смысл установить max_untracked_memory в 0, чтобы этот порог работал как ожидается.
total_memory_profiler_step
total_memory_tracker_sample_probability
Позволяет собирать случайные операции выделения и освобождения памяти и записывать их в системную таблицу system.trace_log с trace_type, равным MemorySample, с указанной вероятностью. Вероятность применяется к каждой отдельной операции выделения или освобождения памяти, независимо от её размера. Обратите внимание, что выборка выполняется только тогда, когда объём неотслеживаемой памяти превышает лимит неотслеживаемой памяти (значение по умолчанию — 4 MiB). Этот лимит можно уменьшить, если уменьшить значение total_memory_profiler_step. Вы можете установить total_memory_profiler_step равным 1 для более детализированной выборки.
Возможные значения:
- Положительное число с плавающей запятой.
0— запись случайных операций выделения и освобождения памяти в системную таблицуsystem.trace_logотключена.
trace_log
Настройки для системной таблицы trace_log.
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Файл конфигурации сервера config.xml по умолчанию содержит следующий раздел настроек:
uncompressed_cache_policy
uncompressed_cache_size
Максимальный размер (в байтах) несжатых данных, используемых движками таблиц из семейства MergeTree.
Для сервера используется один общий кэш. Память выделяется по требованию. Кэш используется, если включён параметр use_uncompressed_cache.
Кэш несжатых данных может быть полезен для очень коротких запросов в отдельных случаях.
Значение 0 означает, что кэш отключён.
Этот параметр можно изменять во время работы сервера, и изменения вступают в силу немедленно.
uncompressed_cache_size_ratio
url_scheme_mappers
Конфигурация сопоставления сокращённых или символических префиксов URL полным URL-адресам.
Пример:
use_minimalistic_part_header_in_zookeeper
Метод хранения заголовков частей данных в ZooKeeper. Эта настройка применяется только к семейству MergeTree. Ее можно задать:
Глобально в секции merge_tree файла config.xml
ClickHouse использует эту настройку для всех таблиц на сервере. Вы можете изменить ее в любой момент. Поведение уже существующих таблиц меняется при изменении настройки.
Для каждой таблицы
При создании таблицы укажите соответствующий параметр движка. Поведение существующей таблицы с этой настройкой не меняется, даже если глобальная настройка изменится.
Возможные значения
0— функциональность отключена.1— функциональность включена.
Если use_minimalistic_part_header_in_zookeeper = 1, то реплицируемые таблицы хранят заголовки частей данных компактно, используя один znode. Если таблица содержит много столбцов, этот метод хранения значительно сокращает объем данных, хранящихся в ZooKeeper.
После применения use_minimalistic_part_header_in_zookeeper = 1 вы не сможете откатить сервер ClickHouse на версию, которая не поддерживает эту настройку. Будьте осторожны при обновлении ClickHouse на серверах в кластере. Не обновляйте все серверы одновременно. Безопаснее тестировать новые версии ClickHouse в тестовой среде или только на нескольких серверах кластера.
Заголовки частей данных, уже сохраненные с этой настройкой, не могут быть восстановлены к их прежнему (некомпактному) представлению.
user_defined_executable_functions_config
Путь к конфигурационному файлу для исполняемых пользовательских функций.
Путь:
- Укажите абсолютный путь или путь относительно файла конфигурации сервера.
- Путь может содержать подстановочные символы
*и?.
См. также:
Пример
user_defined_path
Каталог с пользовательскими файлами. Используется для пользовательских SQL‑функций.
Пример
user_directories
Раздел файла конфигурации, содержащий настройки:
- Путь к файлу конфигурации с предопределёнными пользователями.
- Путь к папке, где хранятся пользователи, созданные SQL-командами.
- Путь к узлу ZooKeeper, где пользователи, созданные SQL-командами, хранятся и реплицируются.
Если этот раздел задан, путь из users_config и access_control_path использоваться не будут.
Раздел user_directories может содержать любое количество элементов; порядок элементов определяет их приоритет (чем выше элемент в списке, тем выше приоритет).
Примеры
Пользователи, роли, политики для строк, квоты и профили также могут храниться в ZooKeeper:
Вы также можете определить разделы memory — для хранения информации только в памяти, без записи на диск, и ldap — для хранения информации на сервере LDAP.
Чтобы добавить сервер LDAP в качестве удалённого каталога пользователей, которые не определены локально, определите секцию ldap со следующими настройками:
| Setting | Description |
|---|---|
server | одно из имён LDAP-серверов, определённых в секции конфигурации ldap_servers. Этот параметр является обязательным и не может быть пустым. |
roles | секция со списком локально определённых ролей, которые будут назначены каждому пользователю, полученному с сервера LDAP. Если роли не указаны, пользователь не сможет выполнять какие-либо действия после аутентификации. Если любая из указанных ролей не определена локально на момент аутентификации, попытка аутентификации завершится неудачей так же, как если бы был указан неверный пароль. |
Пример
user_files_path
Каталог с пользовательскими файлами. Используется в табличных функциях file(), fileCluster().
Пример
user_scripts_path
Каталог с файлами пользовательских скриптов. Используется для исполняемых пользовательских функций Executable User Defined Functions.
Пример
Тип:
По умолчанию:
users_config
Путь к файлу, в котором определяются:
- Конфигурации пользователей.
- Права доступа.
- Профили настроек.
- Параметры квот.
Пример
validate_tcp_client_information
По умолчанию значение — false:
vector_similarity_index_cache_max_entries
vector_similarity_index_cache_policy
vector_similarity_index_cache_size
Этот параметр можно изменять без перезапуска сервера, изменения вступают в силу немедленно.
vector_similarity_index_cache_size_ratio
wait_dictionaries_load_at_startup
Этот параметр определяет поведение, если dictionaries_lazy_load равен false.
(Если dictionaries_lazy_load равен true, этот параметр ни на что не влияет.)
Если wait_dictionaries_load_at_startup равен false, сервер
начнет загружать все словари при старте и будет параллельно принимать подключения.
Когда словарь впервые используется в запросе, запрос будет ждать, пока словарь не загрузится, если он еще не загружен.
Установка wait_dictionaries_load_at_startup в false может ускорить запуск ClickHouse, однако некоторые запросы могут выполняться медленнее
(поскольку им придется ждать загрузки некоторых словарей).
Если wait_dictionaries_load_at_startup равен true, сервер при запуске будет ждать,
пока загрузка всех словарей не завершится (успешно или с ошибкой), прежде чем принимать какие-либо подключения.
Пример
workload_path
Каталог, в котором хранятся все запросы CREATE WORKLOAD и CREATE RESOURCE. По умолчанию используется папка /workload/ в рабочем каталоге сервера.
Пример
См. также
workload_zookeeper_path
Путь к узлу ZooKeeper, который используется как хранилище для всех запросов CREATE WORKLOAD и CREATE RESOURCE. Для обеспечения согласованности все SQL-определения сохраняются как значение одного znode. По умолчанию ZooKeeper не используется, и определения хранятся на диске.
Пример
См. также
zookeeper
Содержит настройки, которые позволяют ClickHouse взаимодействовать с кластером ZooKeeper. ClickHouse использует ZooKeeper для хранения метаданных реплик при использовании реплицируемых таблиц. Если реплицируемые таблицы не используются, этот раздел параметров можно опустить.
Следующие настройки могут быть заданы с помощью вложенных тегов:
| Параметр | Описание |
|---|---|
node | Endpoint ZooKeeper. Можно задать несколько endpoint'ов. Например, <node index="1"><host>example_host</host><port>2181</port></node>. Атрибут index задает порядок узлов при попытке подключения к кластеру ZooKeeper. |
session_timeout_ms | Максимальный таймаут клиентской сессии в миллисекундах. |
operation_timeout_ms | Максимальный таймаут одной операции в миллисекундах. |
root (optional) | Znode, который используется как корневой для znode-ов, используемых сервером ClickHouse. |
fallback_session_lifetime.min (optional) | Минимальный предел времени жизни сессии ZooKeeper с резервным узлом, когда основной недоступен (балансировка нагрузки). Задается в секундах. По умолчанию: 3 часа. |
fallback_session_lifetime.max (optional) | Максимальный предел времени жизни сессии ZooKeeper с резервным узлом, когда основной недоступен (балансировка нагрузки). Задается в секундах. По умолчанию: 6 часов. |
identity (optional) | Пользователь и пароль, требуемые ZooKeeper для доступа к запрашиваемым znode-ам. |
use_compression (optional) | Включает сжатие в протоколе Keeper, если установлено значение true. |
Также существует параметр zookeeper_load_balancing (необязательный), который позволяет выбрать алгоритм выбора узла ZooKeeper:
| Algorithm Name | Description |
|---|---|
random | случайным образом выбирает один из узлов ZooKeeper. |
in_order | выбирает первый узел ZooKeeper, если он недоступен — второй и так далее. |
nearest_hostname | выбирает узел ZooKeeper с именем хоста, наиболее похожим на имя хоста сервера; имя хоста сравнивается по префиксу. |
hostname_levenshtein_distance | аналогично nearest_hostname, но сравнивает имя хоста с использованием расстояния Левенштейна. |
first_or_random | выбирает первый узел ZooKeeper, если он недоступен — случайным образом выбирает один из оставшихся узлов ZooKeeper. |
round_robin | выбирает первый узел ZooKeeper, при переподключении выбирает следующий. |
Пример конфигурации
См. также
- Репликация
- Руководство программиста по ZooKeeper
- Необязательное защищённое взаимодействие между ClickHouse и ZooKeeper
zookeeper_log
Настройки для системной таблицы zookeeper_log.
Следующие параметры можно настроить с помощью вложенных тегов:
The following settings can be configured by sub-tags:
| Setting | Description | Default | Note |
|---|---|---|---|
database | Name of the database. | ||
table | Name of the system table. | ||
engine | MergeTree Engine Definition for a system table. | Cannot be used if partition_by or order_by defined. If not specified MergeTree is selected by default | |
partition_by | Custom partitioning key for a system table. | If engine is specified for system table, partition_by parameter should be specified directly inside 'engine' | |
ttl | Specifies the table TTL. | If engine is specified for system table, ttl parameter should be specified directly inside 'engine' | |
order_by | Custom sorting key for a system table. Can't be used if engine defined. | If engine is specified for system table, order_by parameter should be specified directly inside 'engine' | |
storage_policy | Name of the storage policy to use for the table (optional). | If engine is specified for system table, storage_policy parameter should be specified directly inside 'engine' | |
settings | Additional parameters that control the behavior of the MergeTree (optional). | If engine is specified for system table, settings parameter should be specified directly inside 'engine' | |
flush_interval_milliseconds | Interval for flushing data from the buffer in memory to the table. | 7500 | |
max_size_rows | Maximal size in lines for the logs. When the amount of non-flushed logs reaches the max_size, logs are dumped to the disk. | 1048576 | |
reserved_size_rows | Pre-allocated memory size in lines for the logs. | 8192 | |
buffer_size_rows_flush_threshold | Threshold for amount of lines. If the threshold is reached, flushing logs to the disk is launched in background. | max_size_rows / 2 | |
flush_on_crash | Sets whether logs should be dumped to the disk in case of a crash. | false |
Пример