Сравнение версий

Старая версия 3

changes.mady.by.user Anastasiya Galkovskaya

Сохранено

по сравнению с

Новая версия Текущий

changes.mady.by.user Anastasiya Galkovskaya

Сохранено

Ключ

  • Эта строка добавлена.
  • Эта строка удалена.
  • Изменено форматирование.

Введение

Visiology позволяет подключаться к различным типам источников данных и использовать разные варианты типов хранилищ:

  1. ViQube
    Вы можете импортировать данные в Visiology, что является наиболее распространенным способом получения данных. В данном режиме данные загружаются в ViQube. Подробное описание приводится в разделе: Загрузка данных и формирование структуры в аналитической базе данных ViQube.
  2. SQL Backend
    SQL Backend дает возможность подключиться непосредственно к данным в исходном репозитории источника. В данном режиме данные в ViQube не загружаются.

Область применения

SQL Backend может быть использован в случае, если необходима работа с очень большим количеством данных, которые постоянно растут и нет возможности оперативно увеличивать объемы ОЗУ. 

Режим прямого подключения к источнику ViQube (SQL Backend) и режим импорта данных ViQube (ViQubeIn-memory) имеют существенные различия. Ниже приводится таблица с ключевыми критериями для выбора используемого типа хранилища.

Примечание

Каждый из режимов оптимизирован именно под свои задачи. Не рекомендуется использовать использовать ViQube (SQL Backend) в случае, если по критериям необходимо использовать ViQube (In-memory) , так как это может негативно сказаться на производительности.


Характеристика

Тип используемого хранилища

ViQube (In-memory)ViQube (SQL Backend)
Простая настройка
Сложность настройки
да
Легко, может настроить Аналитик
нет-
Сложно, необходимо привлечение Администратора, Разработчика либо продвинутого Аналитика
Высокие требования к функциональным возможностям
Функциональные возможностиДоступна вся функциональность Visiology без ограниченийЕсть ограничения по
функциям
функциональности, см.
"
: Ограничения
"
SQL Backend.
 
Количество строк в
таблицах
самой большой таблице фактов< 100 млн строк
>100
> 100 млн строк
Объем данных< 100 ГБ ОЗУ> 100 ГБ ОЗУ
Производительность???

Быстрый рост данных (по +100 гб в месяц) и высокие требования к скорости работы.

Получение данных без перезагрузки в хранилище

Описание логики работы и инструкция по настройке приводится в разделе: [DRAFT] Настройка SQL Backend.

Поддерживаемые базы данных

Режим работы SQL Backend поддерживает работу со следующими базами данных:

  1. ClickHouse

  2. Arenadata QuickMarts

  3. Postgres SQL

  4. Vertica

  5. Greenplum

Ограничения

Режим SQL Backend имеет ряд ограничений по сравнению с ViQube:

  • Не поддерживаются Итоги и Подитоги. 
  • Не поддерживаются операции редактирования строк в таблицах. Возможно только чтение данных.
  • Имеются отличия при работе с NULL в выражениях (по сравнению с ViQube):
    1. В результате сравнения с NULL в случае ViQube будет возвращено FALSE, а в случае SQL Backend будет возвращено NULL
    2. При арифметических операциях NULL в ViQube интерпретируется как (1+NULL =1), а в SQL-базе как UNDEFINED (1+NULL =NULL )
    • Имеется специфика при работе с некоторыми базами данных. Например, в Postgres SQL не работает sum(boolean)
    Обновление данных в реальном времениТребуется время на импорт данных обновленных данных в In-memory.

    Так как обработка данных происходит во внешнем хранилище - время на импорт не требуется. Возможности по обновлению данных в режиме реального времени зависят от архитектуры проекта.