Развёртывание кластера ClickHouse в Docker Swarm

Данная инструкция предназначена для развёртки трёх и более экземпляров ClickHouse.

Остановите платформу, выполнив следующую команду:
/var/lib/visiology/scripts/run.sh --stop
Выполните шаги 1 - 5, описанные в разделе Ускорение загрузки данных (в пункте 5 заменять значения для RefreshDataJob__ParallelWorkers и Hangfire__WorkerCount необязательно).
В файле /var/lib/visiology/scripts/v3/visiology3.yml для каждого экземпляра Clickhouse, добавленного на втором шаге (в секции clickhouse-1, clickhouse-2, clickhouse-n), необходимо внести в секцию environment переменную с соответствующим ему значением:
```
SERVER_ID: 1
SERVER_ID: 2
SERVER_ID: n
```
В том же файле /var/lib/visiology/scripts/v3/visiology3.yml для каждой секции clickhouse-1, clickhouse-2, clickhouse-n и т.д. добавить строки в секцию configs:
```
      - source: clickhousecluster
        target: /etc/clickhouse-server/config.d/clickhousecluster.xml
```
В файле /var/lib/visiology/scripts/v3/visiology3.yml services добавьте нужное количество сервисов clickhouse-keeper следующего вида:
```
  clickhouse-keeper-1:
    image: ${CLICKHOUSE_KEEPER_TAG}
    environment:
      SERVER_ID: 1
    configs:
      - source: clickhousekeeper
        target: /etc/clickhouse-keeper/keeper_config.xml
    <<: [ *logging-options ]
    networks:
      visiology-3:
    labels:
      component: "v3-clickhouse-keeper-1"
```
Обратите внимание, что при копировании следует заменить индексы в строчках 1, 4, 12.
В файле /var/lib/visiology/scripts/v3/visiology3.yml в секции data-management-service/environment заменить строку CLICKHOUSE_HOST: ${CLICKHOUSE_HOST_1} на
```
      CLICKHOUSE_HOST_1: ${CLICKHOUSE_HOST_1}
      CLICKHOUSE_HOST_2: ${CLICKHOUSE_HOST_2}
      CLICKHOUSE_HOST_3: ${CLICKHOUSE_HOST_3}
```

Отредактируйте конфигурацию formula-engine в файле /var/lib/visiology/scripts/v3/configs/viqube2.json, изменив поля следующим образом:

    "EtlNodes": ["clickhouse1", "clickhouse2", "clickhouse3"],
    "QueryNodes": ["clickhouse1", "clickhouse2", "clickhouse3"],
    "ReplicationEnabled": true,
    "TargetReplicaNodesCount": 3,
    "ConfirmationReplicaNodesCount": 3,

Отредактируйте конфигурацию data-management-service в файле /var/lib/visiology/scripts/v3/configs/datamanagementservice.json, добавив в секцию ConnectionStrings строки "clickhouse2", "clickhouse3", "clickhouseN"
В каждой строке нужно поменять цифру на соответствующую в части Host={{ env "CLICKHOUSE_HOST_1" }}

  "ClickHouseSettings": {
    "ConnectionStrings": {
      "clickhouse1": "Compression=True;CheckCompressedHash=False;Compressor=lz4;Host={{ env "CLICKHOUSE_HOST_1" }};Port={{ env "CLICKHOUSE_PORT" }};Username={{ secret "CLICKHOUSE_FE_USER" }};Password={{ secret "CLICKHOUSE_FE_PASSWORD" }};Database={{ env "DM_CLICKHOUSE_DB" }};UseSession=true;set_max_execution_time=120;set_cancel_http_readonly_queries_on_client_close=1;",
	  "clickhouse2": "Compression=True;CheckCompressedHash=False;Compressor=lz4;Host={{ env "CLICKHOUSE_HOST_2" }};Port={{ env "CLICKHOUSE_PORT" }};Username={{ secret "CLICKHOUSE_FE_USER" }};Password={{ secret "CLICKHOUSE_FE_PASSWORD" }};Database={{ env "DM_CLICKHOUSE_DB" }};UseSession=true;set_max_execution_time=120;set_cancel_http_readonly_queries_on_client_close=1;",
	  "clickhouse3": "Compression=True;CheckCompressedHash=False;Compressor=lz4;Host={{ env "CLICKHOUSE_HOST_3" }};Port={{ env "CLICKHOUSE_PORT" }};Username={{ secret "CLICKHOUSE_FE_USER" }};Password={{ secret "CLICKHOUSE_FE_PASSWORD" }};Database={{ env "DM_CLICKHOUSE_DB" }};UseSession=true;set_max_execution_time=120;set_cancel_http_readonly_queries_on_client_close=1;"
    },
    "MaxResultRows": 1000000

Загрузите образы clickhouse, clickhouse-keeper, jdbc-bridge, cadvisor, node-exporter, promtail в память докера на каждом сервере.
Пересоздайте конфигурационные файлы, выполнив следующую команду:
```
/var/lib/visiology/scripts/v3/prepare-config.sh --force-regenerate-configs
```
Запустите платформу, выполнив следующую команду:
/var/lib/visiology/scripts/run.sh --start v3

🕑 Время чтения: 1 мин.

Нужна дополнительная помощь?

Свяжитесь с технической поддержкой.