Развёртывание кластера ClickHouse в Docker Swarm

Остановите платформу, выполнив следующую команду:
/var/lib/visiology/scripts/run.sh --stop

Выполните шаги 1 - 5, описанные в разделе Ускорение загрузки данных (в пункте 5 заменять значения для RefreshDataJob__ParallelWorkers и Hangfire__WorkerCount необязательно).

В файле /var/lib/visiology/scripts/v3/visiology3.yml для каждого экземпляра Clickhouse, добавленного на втором шаге (в секции clickhouse-1, clickhouse-2, clickhouse-n), необходимо внести в секцию environment переменную с соответствующим ему значением:

SERVER_ID: 1
SERVER_ID: 2
SERVER_ID: n

В том же файле /var/lib/visiology/scripts/v3/visiology3.yml для каждой секции clickhouse-1, clickhouse-2, clickhouse-n и т.д. добавить строки в секцию configs:

      - source: clickhousecluster
        target: /etc/clickhouse-server/config.d/clickhousecluster.xml

В файле /var/lib/visiology/scripts/v3/visiology3.yml services добавьте нужное количество сервисов clickhouse-keeper следующего вида:

  clickhouse-keeper-1:
    image: ${CLICKHOUSE_KEEPER_TAG}
    environment:
      SERVER_ID: 1
    configs:
      - source: clickhousekeeper
        target: /etc/clickhouse-keeper/keeper_config.xml
    <<: [ *logging-options ]
    networks:
      visiology-3:
    labels:
      component: "v3-clickhouse-keeper-1"

Обратите внимание, что при копировании следует заменить индексы в строчках 1, 4, 12.

В файле /var/lib/visiology/scripts/v3/visiology3.yml в секции data-management-service/environment заменить строку CLICKHOUSE_HOST: ${CLICKHOUSE_HOST_1} на

      CLICKHOUSE_HOST_1: ${CLICKHOUSE_HOST_1}
      CLICKHOUSE_HOST_2: ${CLICKHOUSE_HOST_2}
      CLICKHOUSE_HOST_3: ${CLICKHOUSE_HOST_3}

Отредактируйте конфигурацию formula-engine в файле /var/lib/visiology/scripts/v3/configs/viqube2.json, изменив поля следующим образом:

    "EtlNodes": ["clickhouse1", "clickhouse2", "clickhouse3"],
    "QueryNodes": ["clickhouse1", "clickhouse2", "clickhouse3"],
    "ReplicationEnabled": true,
    "TargetReplicaNodesCount": 3,
    "ConfirmationReplicaNodesCount": 3,

где

• EtlNodes – ноды, на которых будет выполняться ETL. Вы можете, например, выделить ноды только для ETL, чтобы не влиять на производительность DAX-запросов.

• QueryNodes – ноды, на которые будут отправляться запросы DAX.

• TargetReplicaNodesCount – количество узлов-реплик, на которых должна храниться копия данных или выполняться операция. То есть, кластер будет пытаться хранить данные на таком количестве узлов.

• ConfirmationReplicaNodesCount – количество узлов-реплик, которые должны подтвердить выполнение операции, прежде чем эта операция будет считаться завершённой и подтверждённой.

    Предположим, что TargetReplicaNodesCount = 3, а ConfirmationReplicaNodesCount = 2. Это означает, что кластер будет пытаться загрузить данные на три узла. Если один из узлов выйдет из строя в процессе загрузки, то загрузка будет считаться успешной, т.к. только двум узлам нужно подтвердить успешность операции. Соответственно, для достижения отказоустойчивости, значение ConfirmationReplicaNodesCount должен быть меньше, чем значение TargetReplicaNodesCount.

Отредактируйте конфигурацию data-management-service в файле /var/lib/visiology/scripts/v3/configs/datamanagementservice.json, добавив в секцию ConnectionStrings строки "clickhouse2", "clickhouse3", "clickhouseN"
В каждой строке нужно поменять цифру на соответствующую в части Host={{ env "CLICKHOUSE_HOST_1" }}

  "ClickHouseSettings": {
    "ConnectionStrings": {
      "clickhouse1": "Compression=True;CheckCompressedHash=False;Compressor=lz4;Host={{ env "CLICKHOUSE_HOST_1" }};Port={{ env "CLICKHOUSE_PORT" }};Username={{ secret "CLICKHOUSE_FE_USER" }};Password={{ secret "CLICKHOUSE_FE_PASSWORD" }};Database={{ env "DM_CLICKHOUSE_DB" }};UseSession=true;set_max_execution_time=120;set_cancel_http_readonly_queries_on_client_close=1;",
	  "clickhouse2": "Compression=True;CheckCompressedHash=False;Compressor=lz4;Host={{ env "CLICKHOUSE_HOST_2" }};Port={{ env "CLICKHOUSE_PORT" }};Username={{ secret "CLICKHOUSE_FE_USER" }};Password={{ secret "CLICKHOUSE_FE_PASSWORD" }};Database={{ env "DM_CLICKHOUSE_DB" }};UseSession=true;set_max_execution_time=120;set_cancel_http_readonly_queries_on_client_close=1;",
	  "clickhouse3": "Compression=True;CheckCompressedHash=False;Compressor=lz4;Host={{ env "CLICKHOUSE_HOST_3" }};Port={{ env "CLICKHOUSE_PORT" }};Username={{ secret "CLICKHOUSE_FE_USER" }};Password={{ secret "CLICKHOUSE_FE_PASSWORD" }};Database={{ env "DM_CLICKHOUSE_DB" }};UseSession=true;set_max_execution_time=120;set_cancel_http_readonly_queries_on_client_close=1;"
    },
    "MaxResultRows": 1000000

Загрузите образы clickhouse, clickhouse-keeper, jdbc-bridge, cadvisor, node-exporter, promtail в память докера на каждом сервере.

Пересоздайте конфигурационные файлы, выполнив следующую команду:

/var/lib/visiology/scripts/v3/prepare-config.sh --force-regenerate-configs

Запустите платформу, выполнив следующую команду:
/var/lib/visiology/scripts/run.sh --start v3