Преобразование данных ( Self-Service ETL)

О модуле преобразования данных

Данные нередко требуют предварительной обработки перед загрузкой на платформу: приведение их к нужному формату, фильтрация, удаление дубликатов и другие операции, что может потребовать значительных временных затрат, если выполнять их вручную без вспомогательных инструментов.

Платформа Visiology предлагает решение этой задачи с помощью модуля подготовки и трансформации данных – Self-Service ETL. Этот модуль значительно упрощает процесс преобразования данных перед их загрузкой в аналитическую платформу Visiology. Интуитивная панель управления с набором необходимых инструментов позволяет без труда выполнять требуемые операции над данными, сокращая временные затраты пользователей на их подготовку.

Доступ к модулю преобразования данных

В модуль преобразования данных можно перейти из нескольких страниц:

• страница построения модели данных;

• страницы предварительного просмотра загружаемой таблицы;

• страница дизайнера дашбордов.

Доступ со страницы построения модели данных и из дизайнера дашбордов

Находясь на странице построения модели данных или на странице дизайнера, нажмите кнопку Преобразование данных в верхней части окна:

Откроется окно модуля преобразования данных:

Доступ со страницы предпросмотра загружаемых данных

Открыть модуль можно также со страницы предпросмотра загружаемых данных. Для этого нужно сделать следующее:

1. Нажмите кнопку Данные в дизайнере дашбордов или на странице построения модели данных:
   

   

2. Выберите источник данных и загрузите требуемую таблицу:
   

   

3. Мы загрузили Excel-файл. Для перехода в модуль преобразования данных нажмите кнопку Преобразовать данные:
   

   

   При загрузке таблицы из базы данных с помощью JDBC, кнопка Преобразовать данные становится доступной после заполнения всех полей запроса:
   

   

4. Откроется окно модуля преобразования данных:
   

   

Интерфейс модуля преобразования данных

Ниже представлен интерфейс модуля с кратким описанием его основных компонентов:

1. Панель инструментов – содержит различные инструменты, которые позволяют выполнять операции над данными, такие как объединение таблиц, форматирование значений, фильтрация, и т.д.

2. Панель запросов – включает перечень запросов, которые используются для формирования итогового запроса. Запросы могут быть переименованы или удалены. Убедитесь, что выделенный элемент является основой создаваемого запроса, т.к. именно он будет добавлен в модель данных в качестве таблицы.

3. Область предварительного просмотра – рабочее пространство, где вы можете видеть изменения, вносимые в запрос в реальном времени, что помогает контролировать процесс трансформации данных. В этой области вы также можете переименовать столбцы, или изменить тип данных столбцов, нажав кнопку слева от названия столбца:

4. Панель применённых шагов – история операций преобразования. Панель отображает последовательность всех действий, которые были применены к данным, позволяя легко отслеживать все этапы обработки информации. Здесь вы также можете удалить или отредактировать шаги.

В таблице ниже представлены кнопки, расположенные на панели инструментов, с их кратким описанием:

Кнопка	Описание
	Позволяет загрузить данные из нового или сохраненного источника. Данные могут быть извлечены как из реляционных СУБД, так и из отдельных CSV и Excel-файлов любого размера.
	Позволяет добавить столбец в запрос.
	Позволяет удалить столбец из запроса.
	Позволяет заменить значения в столбце запроса.
	Позволяет объединить несколько запросов с данными таблиц, загруженных из разных источников.
	Позволяет отформатировать записи в столбце запроса.
	Позволяет удалить повторяющиеся значения в столбце запроса.
	Позволяет отфильтровать данные в столбце запроса.
	Позволяет произвести преобразования, которые не предусмотрены стандартными инструментами. Для этого используется SQL-запрос.

Более подробную информацию об этих инструментах вы найдете на странице Инструменты преобразования данных.

Сценарии преобразования данных

Рассмотри два сценария преобразования данных:

1. Преобразование таблицы, загружаемой из источника данных.

2. Загрузка и преобразование таблиц непосредственно в модуле Self-Service ETL.

Преобразование таблицы, загружаемой из источника данных

При таком сценарии вы загружаете таблицу из источника данных и затем, в режиме предварительного просмотра данных, переходите в модуль преобразования данных для трансформации таблицы. Здесь вы производите необходимые изменения с помощью доступных инструментов и выгружаете результирующую таблицу в модель данных. При необходимости вы можете подгружать дополнительные таблицы с помощью кнопки Данные:

Загрузка и преобразование таблиц непосредственно в Self-Service ETL

При таком сценарии вы сначала открываете модуль преобразования данных, а затем добавляете в него таблицы с помощью кнопки Данные в левом верхнем углу окна:

Затем вы аналогичным образом производите преобразования с помощью доступных инструментов и далее выгружаете получившуюся таблицу в модель данных для дальнейшего анализа и визуализации.

Редактирование шагов преобразования

Модуль позволяет корректировать ранее выполненные действия, будь то применение фильтра, замена значений, объединение запросов или другое преобразование. Например, если вы заметили ошибку на одном из этапов обработки данных, то вместо того, чтобы начинать всё заново, вы можете вернуться к нужному шагу и внести необходимые исправления, или вовсе удалить этот шаг.

Для того, чтобы отредактировать шаг преобразования необходимо сделать следующее:

1. В панели применённых шагов наведите курсор мыши на название шага, который хотите отредактировать и нажмите на кнопку с изображением карандаша:
   

   

2. В открывшемся диалоге внесите необходимые изменения и нажмите Применить:
   

   

Для удаления шага нажмите на крестик рядом с кнопкой редактирования, и затем подтвердите ваше действие, нажав Удалить в диалоге подтверждения:

Однако, стоит учитывать, что не все шаги можно отредактировать:

Переиспользование загруженных таблиц

Модуль позволяет переиспользовать ранее загруженные таблицы. Для этого необходимо выполнить следующие шаги:

1. Находясь на странице дизайнера дашбордов или на странице построения модели данных, нажмите кнопку
   Преобразование данных:
   

   

2. В открывшемся окне нажмите Данные > Существующий источник данных:
   

   

3. В появившемся диалоге выберите нужную таблицу и нажмите Выбрать:
   

   

4. Откроется окно модуля с данными загруженной таблицы:
   

   

5. Выполните требуемые изменения. При необходимости вы также можете загрузить дополнительные таблицы. Когда все преобразования будут завершены, переименуйте запрос, в которой проводились изменения, нажав кнопку с изображением карандаша в панели Запросы. Затем нажмите Добавить запрос, чтобы добавить результирующую таблицу в модель данных:
   

   

6. Таблица появится в списке таблиц модели данных:
   

   

Если файл-источник обновился (в нашем примере Продажи), вы также можете обновить преобразованный файл. Для этого нажмите кнопку с тремя точками напротив названия файла и выберите Обновить таблицу в выпадающем меню. Все изменения будут загружены в преобразованный файл:

Редактирование преобразованной таблицы

Для редактирования преобразованной таблицы необходимо выполнить следующие шаги:

1. Нажмите кнопку с тремя точками напротив названия таблицы, которую вы хотите обновить и выберите Изменить запрос в выпадающем меню:
   

   

2. Откроется окно модуля преобразования данных. Внесите необходимые изменения и нажмите кнопку Добавить запрос. Таблица будет обновлена:

   

Автоматическое обновление преобразованных таблиц

Вы можете настроить автоматическое обновление для преобразованных таблиц, которые были загружены из базы данных с помощью JDBC, а также для таблиц у которых источником была таблица, загруженная из базы данных. Для этого необходимо выполнить следующие шаги:

1. Откройте рабочую область, перейдите на вкладку Наборы данных, наведите курсор мыши на набор данных, в котором находится таблица, для которой вы хотите выполнить настройки, и нажмите кнопку с изображением календаря:
   

   

2. В открывшемся окне выберите преобразованную таблицу, которую вы хотите обновлять в автоматическом режиме и настройте расписание в правой стороне окна:
   

   

3. Нажмите Сохранить расписание. Набор данных, содержащий хотя бы одну таблицу с настроенным автоматическим обновлением, помечается соответствующей иконкой:
   

   

Ограничения

При работе с модулем преобразования данных необходимо учитывать следующие ограничения:

• Если структура подключённого источника данных изменится, необходимо повторно сохранить преобразования в модуле.

• В пользовательском SQL при использовании JOIN обязательно необходимо использовать ALIAS таблиц.

Смотрите также

📄 Инструменты преобразования данных