...
Введение
Visiology позволяет подключаться к различным типам источников данных и использовать разные варианты типов хранилищ:
- ViQube
Вы можете импортировать данные в Visiology, что является наиболее распространенным способом получения данных. В данном режиме данные загружаются в ViQube. Подробное описание приводится в разделе: Загрузка данных и формирование структуры в аналитической базе данных ViQube. - SQL Backend
SQL Backend дает возможность подключиться непосредственно к данным в исходном репозитории источника. В данном режиме данные в ViQube не загружаются.
Область применения
SQL Backend может быть использован в случае, если необходима работа с очень большим количеством данных, которые постоянно растут и нет возможности оперативно увеличивать объемы ОЗУ.
Режим прямого подключения к источнику ViQube (SQL Backend) и режим импорта данных ViQube (
...
In-memory) имеют существенные различия. Ниже приводится таблица с ключевыми критериями для выбора используемого типа хранилища.
| Примечание |
|---|
Каждый из режимов оптимизирован именно под свои задачи. Не рекомендуется |
...
использовать ViQube (SQL Backend) в случае, если по критериям необходимо использовать ViQube (In-memory) , так как это может негативно сказаться на производительности. |
Характеристика | Тип используемого хранилища | |
ViQube (In-memory) | ViQube (SQL Backend) | |
...
Сложность настройки |
...
Легко, может настроить Аналитик |
...
Сложно, необходимо привлечение Администратора, Разработчика либо продвинутого Аналитика |
...
Функциональные возможности | Доступна вся функциональность Visiology без ограничений | Есть ограничения по |
...
функциональности, см. |
...
...
...
Количество строк в |
...
самой большой таблице фактов | < 100 млн строк |
...
> 100 млн строк | ||
Объем данных | < 100 ГБ ОЗУ | > 100 ГБ ОЗУ |
...
Быстрый рост данных (по +100 гб в месяц) и высокие требования к скорости работы.
Получение данных без перезагрузки в хранилище
Описание логики работы и инструкция по настройке приводится в разделе: [DRAFT] Настройка SQL Backend.
Поддерживаемые базы данных
Режим работы SQL Backend поддерживает работу со следующими базами данных:
ClickHouse
Arenadata QuickMarts
Postgres SQL
Vertica
Greenplum
Ограничения
Режим SQL Backend имеет ряд ограничений по сравнению с ViQube:
...
- В результате сравнения с NULL в случае ViQube будет возвращено FALSE, а в случае SQL Backend будет возвращено NULL
- При арифметических операциях NULL в ViQube интерпретируется как (1+NULL =1), а в SQL-базе как UNDEFINED (1+NULL =NULL )
...
Обновление данных в реальном времени | Требуется время на импорт данных обновленных данных в In-memory. | Так как обработка данных происходит во внешнем хранилище - время на импорт не требуется. Возможности по обновлению данных в режиме реального времени зависят от архитектуры проекта. |