Особенности обновления до версий 3.15 и 3.15.1

Особенности обновления до версий 3.15 и 3.15.1

Особенности обновления до версии 3.15

При переходе на платформу версии 3.15 обратите внимание на следующие изменения:

  1. Изменен порт по умолчанию для C#-приложений
    Порт, который используется по умолчанию для запуска C#-компонентов был изменен с 80 на 12678.
    Затронутые компоненты:

    • edge

    • dashboard-service

    • dashboard-viewer

    • formula-engine

    • data-management-service

    • workspace-service

  2. Реорганизация файлов конфигурации
    Настройки электронной почты были вынесены в отдельный файл конфигурации для повышения безопасности и управляемости.

    • Прежний путь: /var/lib/visiology/scripts/v3/env-files/ds.env

    • Новый путь: /var/lib/visiology/scripts/v3/env-files/email.env

  3. Изменения в базе данных PostgreSQL
    В базе данных postgres-visiology появилась схема ai_agent и пользователь для работы с ней.
    Убедитесь, что процедуры резервного копирования включают новые объекты. При выполнении ручных операций с базой данных учитывайте наличие новой схемы.

  4. Настройка ИИ-агента. Если в версии 3.14 был настроен ИИ-агент, то после обновления потребуется дополнительная настройка:

    • Откройте файл конфигурации: /var/lib/visiology/scripts/v3/env-files/ai.env

    • Добавьте в него строку:
      AI_DEFAULT_MAX_TOKENS=100000

Если ИИ-агент не настраивался, выполнять какие-либо действия не нужно.

Особенности обновления до версии 3.15.1

Изменение обработки типов дат в версии 3.15.1

В версии 3.15.1 изменился механизм преобразования типов дат при загрузке данных на платформу.
Теперь все даты при загрузке принудительно приводятся только к двум типам:

  • DateTime

  • DateTime64(0)

Это означает, что миллисекунды в значениях даты и времени будут отбрасываться в момент загрузки. Если в источнике поле имеет тип с точностью до миллисекунд, то после загрузки на платформу Visiology точность будет снижена до секунды.
Данное поведение обусловлено:

  • особенностями фильтрации по датам в платформе;

  • ограничениями поддерживаемых типов дат в ClickHouse.

Как происходит преобразование

  • До момента фактической загрузки в витрину данные сохраняют исходный формат.

  • При загрузке (как полной, так и инкрементальной) даты сразу преобразуются в новый формат с потерей миллисекунд.

Особенности миграции типов дат при обновлении с 3.15 до 3.15.1

Если ваша таблица грузится инкрементально, нужно единоразово преобразовать весь архивный период к новым типам.

По этой причине после обновления до версии 3.15.1 первая инкрементальная загрузка существующих таблиц, для которых настроено инкрементальное обновление, будет выполняться дольше обычного, поскольку помимо загрузки инкрементального периода происходит преобразование архивного периода.
Загрузка пройдет по следующей логике:

  • Инкрементальный период: даты преобразуются в новый формат сразу во время обычной инкрементальной загрузки (без дополнительных накладных расходов).

  • Архивный период: ранее загруженные данные не перезагружаются из источника, но все даты в архиве будут перезаписаны с новым типом. Это приведёт к увеличению времени загрузки примерно на 40% – 60% по сравнению с обычной полной загрузкой «с нуля».

Эта миграция выполняется только один раз для каждой инкрементальной таблицы — при первом запуске загрузки после обновления до версии 3.15.1. В дальнейшем платформа будет работать исключительно с типами DateTime и DateTime64(0) и дополнительной миграции не потребуется.

Изменения, касающиеся API-операций

Изменения в сервисе dashboard-service

Добавлены новые эндпоинты:

Метод

Эндпоинт

Назначение

PATCH

/api/workspaces/{workspaceId}/dashboards/{dashboardGuid}/metadata

Обновление метаданных дашборда. В поле newDashboardMetadata передается описание дашборда.

Изменения в имеющихся эндпоинтах:

Метод

Эндпоинт

Основные изменения

GET

/api/workspaces/{workspaceId}/dashboards

Добавлено поле metadata (описание дашборда) в каждый элемент списка.

GET

/api/public/workspaces/{workspaceId}/dashboards/{dashboardGuid}

Добавлены поля: metadata (описание дашборда), syncGroups (настройки группы синхронизации фильтров).

У виджетов добавлено metadata (описание виджета).

POST

/api/public/workspaces/{workspaceId}/dashboards/{dashboardGuid}/export

Добавлены поля: metadata (описание дашборда), syncGroups (группы синхронизации фильтров).

POST

/api/public/workspaces/{workspaceId}/dashboards/{dashboardGuid}/widgets/{widgetId}/data

Добавлено поле metadata (описание виджета).

POST

/api/public/workspaces/{workspaceId}/dashboards/{dashboardGuid}/widgets/{widgetId}/data/export

Добавлены поля: metadata (описание дашборда), syncGroups (группы синхронизации фильтров).

POST

/api/workspaces/{workspaceId}/dashboards

Добавлено обязательное поле dashboardMetadata (описание дашборда) в теле запроса.

GET

/api/workspaces/{workspaceId}/dashboards/{dashboardGuid}

Добавлены поля: metadata (описание дашборда), syncGroups (группы синхронизации фильтров).

PUT

/api/workspaces/{workspaceId}/dashboards/{dashboardGuid}

Требуется передавать полную структуру с новыми полями.

Изменения в сервисе workspace-service

В сущности Workspace добавлено поле metadata - описание рабочей области.

Добавлены новые эндпоинты:

Метод

Эндпоинт

Назначение

PATCH

PATCH /api/v{version}/workspaces/{workspaceId}/metadata

Обновляет только метаданные рабочего пространства, не затрагивая другие поля.

PATCH

PATCH /api/v{version}/workspaces/{workspaceId}/name

Обновляет только имя рабочего пространства, без изменения остальной информации.

Изменения в имеющихся эндпоинтах:

Метод

Эндпоинт

Основные  изменения

POST

POST /api/v{version}/evaluate-workspaces-with-role

В объекте workspace внутри ответа добавлено поле metadata.

GET

GET /api/v{version}/workspaces

У каждого рабочего пространства в списке добавлено поле metadata.

POST

POST /api/v{version}/workspaces

Поддержка поля metadata при создании. В ответе также возвращается это поле.

GET

GET /api/v{version}/workspaces/{workspaceId}

В ответе добавлено поле metadata у конкретного рабочего пространства.

PUT

PUT /api/v{version}/workspaces/{workspaceId}

Поддержка поля metadata при полной замене workspace. В ответе также возвращается это поле.

POST

POST /api/v{version}/workspaces/{workspaceId}/permisson/jdbc

В ответе у каждого элемента добавлено поле metadata.

Изменения в сервисе data-management-service

Добавлен новый эндпоинт:

Метод

Эндпоинт

Назначение

Метод

Эндпоинт

Назначение

PUT

 

/data-management-service/api/v1/workspaces/{workspace_id}/datasets/{dataset_id}/dataloader

Добавлены поля skipProtocolCheck (bool) и databaseType (enum). Поле isSystem удалено из запроса.

Изменения в имеющихся эндпоинтах:

Метод

Эндпоинт

Назначение

Метод

Эндпоинт

Назначение

POST

/data-management-service/api/v1/workspaces/{workspace_id}/datasourceoperations/jdbc/createOrUpdateByDataset/{dataset_id}

Эндпоинт удалён.

POST

 

/data-management-service/api/v1/workspaces/{workspaceId}/datasets/{datasetId}/datasourceoperations/jdbc

Новый эндпоинт, заменяющий удалённый:
/data-management-service/api/v1/workspaces/{workspace_id}/datasourceoperations/jdbc/createOrUpdateByDataset/{dataset_id}

Изменения в сервисе formula-engine

 Добавлены новые эндпоинты:

Метод

Эндпоинт

Назначение

GET

/tablesources

Вернуть список всех table sources.

 

GET

/tablesources/workspaces/{workspaceId}/datasets/{datasetId}/sources

 

Вернуть источники для всех таблиц конкретного набора данных.

 

 

GET

/tablesources/workspaces/{workspaceId}/datasets/{datasetId}/tables/{tableId}/source

 

Вернуть источник конкретной таблицы.

 

PATCH

/workspaces/{workspaceId}/datasets/{datasetId}/tables/{tableId}/source

 

Изменить источник таблицы.

 

PATCH

 

/workspaces/{workspaceId}/datasets/{datasetId}/certification

 

Обновление сертификационных полей.

 

 

POST

 

/workspaces/{workspaceId}/datasets/{datasetId}/measures/validate

 

Валидация мер.

GET

/workspaces/{workspaceId}/datasets/{datasetId}/version

 

Текущая версия набора данных.

 


Смотрите также

Обновление платформы
Запуск платформы