Преобразование данных ( Self-Service ETL)

О модуле преобразования данных

Данные нередко требуют предварительной обработки перед загрузкой на платформу: приведение их к нужному формату, фильтрация, удаление дубликатов и другие операции, что может потребовать значительных временных затрат, если выполнять их вручную без вспомогательных инструментов.

Платформа Visiology предлагает решение этой задачи с помощью модуля подготовки и трансформации данных. Этот модуль значительно упрощает процесс преобразования данных перед их загрузкой в аналитическую платформу Visiology. Интуитивная панель управления с набором необходимых инструментов позволяет без труда выполнять требуемые операции над данными, сокращая временные затраты пользователей на их подготовку.

Доступ к модулю преобразования данных

В модуль преобразования данных можно перейти из нескольких страниц:

• страница построения модели данных;

• страницы предварительного просмотра загружаемой таблицы;

• страница дизайнера дашбордов.

Доступ со страницы построения модели данных и из дизайнера дашбордов

Находясь на странице построения модели данных или на странице дизайнера, нажмите кнопку Преобразование данных в верхней части окна:

Откроется окно модуля преобразования данных:

Доступ со страницы предпросмотра загружаемых данных

Открыть модуль можно также со страницы предпросмотра загружаемых данных. Для этого нужно сделать следующее:

1. Нажмите кнопку Данные в дизайнере дашбордов или на странице построения модели данных:
   

   

2. Выберите источник данных и загрузите требуемый файл:
   

   

3. Мы загрузили Excel-файл. Для перехода в модуль преобразования данных нажмите кнопку Преобразовать данные:
   

   

   При загрузке таблицы из базы данных с помощью JDBC, кнопка Преобразовать данные становится доступной после заполнения всех полей запроса.

4. Откроется окно модуля преобразования данных:
   

   

Интерфейс модуля преобразования данных

Ниже представлен интерфейс модуля с кратким описанием его основных элементов:

1. Панель инструментов – содержит различные инструменты, которые позволяют выполнять операции над данными, такие как объединение таблиц, форматирование значений, фильтрация, и т.д.

2. Панель запросов – содержит список таблиц, которые используются для составления запроса. Таблицы могут быть переименованы или удалены из запроса. Выделенная таблица является основой создаваемого запроса, который будет потом добавлен в модель данных.

3. Область предварительного просмотра – рабочее пространство, где вы можете видеть изменения, вносимые в таблицу, в реальном времени, что помогает контролировать процесс трансформации данных. В этой области вы также можете изменить тип данных столбцов, нажав кнопку слева от названия столбца.

4. Панель применённых шагов – история операций преобразования. Панель отображает последовательность всех действий, которые были применены к данным, позволяя легко отслеживать все этапы обработки информации. Здесь вы также можете удалить или отредактировать шаги.

В таблице ниже представлен список кнопок, расположенных на панели инструментов, с их кратким описанием:

Кнопка	Описание
	Позволяет загрузить данные из нового или сохраненного источника. Данные могут быть извлечены как из реляционных СУБД, так и из отдельных CSV и Excel-файлов любого размера.
	Позволяет добавить столбец в загружаемую таблицу.
	Позволяет удалить столбец из загружаемой таблицы.
	Позволяет заменить значения в столбце загружаемой таблицы.
	Позволяет объединить несколько таблиц, загруженных из разных источников.
	Позволяет отформатировать записи в столбце загружаемой таблицы.
	Позволяет удалить повторяющиеся значения в столбце загружаемой таблицы.
	Позволяет отфильтровать данные в столбце загружаемой таблицы.
	Позволяет произвести любые преобразования, которые не предусмотрены стандартными инструментами. Для этого используется SQL-запрос.

Более подробную информацию о них вы найдете на странице Инструменты преобразования данных.

Сценарии преобразования данных

Существует два сценария преобразования данных:

1. Вы загружаете таблицу из источника данных и затем, в режиме предварительного просмотра данных, переходите в модуль преобразования данных для трансформации таблицы (при необходимости подгружая дополнительные таблицы, нажав на кнопку Данные):
   

   

2. Вы сначала открываете модуль преобразования данных, а затем добавляете в него таблицы, нажав на кнопку Данные в левом верхнем углу окна:
   

   

В обоих случаях результирующая таблица (та, которая будет выбрана на панели Запросы и которая является основой создаваемого запроса) выгружается в модель данных, и вы затем можете в обычном режиме строить связи и визуализировать данные таблицы на дашборде.

Редактирование шагов преобразования

Модуль позволяет корректировать любые ранее выполненные действия, будь то применение фильтра, замена значений, объединение запросов или другое преобразование. Например, если вы заметили ошибку на одном из этапов обработки данных, то вместо того, чтобы начинать всё заново, вы можете вернуться к нужному шагу и внести необходимые исправления, или вовсе удалить этот шаг.

Для того, чтобы отредактировать шаг преобразования необходимо сделать следующее:

1. В панели применённых шагов наведите курсор мыши на название шага, который хотите отредактировать и нажмите на кнопку с изображением карандаша:
   

   

2. В открывшемся диалоге внесите необходимые изменения и нажмите Применить:
   

   

Для удаления шага нажмите на крестик рядом с кнопкой редактирования, и затем подтвердите ваше действие, нажав Удалить в диалоге подтверждения:

Однако стоит учитывать, что не все шаги можно отредактировать:

Переиспользование загруженных таблиц

Модуль позволяет переиспользовать ранее загруженные таблицы. Чтобы преобразовать такую таблицу, необходимо выполнить следующие шаги:

1. Находясь на странице дизайнера дашбордов или на странице построения модели данных, нажмите кнопку
   Преобразование данных:
   

   

2. В открывшемся окне нажмите Данные > Существующий источник данных:
   

   

3. В появившемся диалоге выберите нужную таблицу и нажмите Выбрать:
   

   

4. Откроется окно модуля преобразования данных с загруженной таблицей:
   

   

5. Выполните требуемые изменения. При необходимости вы также можете загрузить дополнительные таблицы. Когда все преобразования будут завершены, переименуйте таблицу, в которой проводились изменения, нажав кнопку с изображением карандаша в панели Запросы. Затем нажмите Добавить запрос, чтобы добавить результирующую таблицу в модель данных:
   

   

6. Таблица появится в списке таблиц модели данных:
   

   

Если файл-источник обновился (в нашем примере Продажи), вы также можете обновить преобразованный файл. Для этого нажмите кнопку с тремя точками напротив названия файла и выберите Обновить таблицу в выпадающем меню. Все изменения будут загружены в преобразованный файл:

Редактирование преобразованной таблицы

Для редактирования преобразованной таблицы необходимо выполнить следующие шаги:

1. Нажмите кнопку с тремя точками напротив названия таблицы, которую вы хотите обновить и выберите Изменить запрос в выпадающем меню:
   

   

2. Откроется окно модуля преобразования данных. Внесите необходимые изменения и нажмите кнопку Добавить запрос. Таблица будет обновлена:

   

Автоматическое обновление преобразованных таблиц

Вы можете настроить автоматическое обновление для преобразованных таблиц, которые были загружены из базы данных с помощью JDBC, а также для таблиц у которых источником была таблица, загруженная из базы данных. Для этого необходимо выполнить следующие шаги:

1. Откройте рабочую область, перейдите на вкладку Наборы данных, наведите курсор мыши на набор данных, в котором находится таблица, для которой вы хотите выполнить настройки, и нажмите кнопку с изображением календаря:
   

   

2. В открывшемся окне выберите преобразованную таблицу, которую вы хотите обновлять в автоматическом режиме и настройте расписание в правой стороне окна:
   

   

3. Нажмите Сохранить расписание. Набор данных, содержащий хотя бы одну таблицу с настроенным автоматическим обновлением, помечается соответствующей иконкой:
   

   

Ограничения

5. Теперь вы можете загрузить данные, которые вы хотите модифицировать. Для этого нажмите Данные в верхнем левом углу окна и выберите либо Новый источник данных, либо Существующий источник данные (если хотите выбрать ранее сохраненный источник). Для нашего примера мы выберем Новый источник данных:
   

   

6. В появившемся диалоге выберите тип источника данных и нажмите Выбрать. Мы выберем Книга Excel:

   

7. В окне проводника Windows выберите требуемый файл. Мы выбрали клиенты.xlsx:
   

   

8. В открывшемся окне вы увидите данные загружаемой таблицы. Убедитесь, что правильно определились типы данных и выполните необходимые настройки, которые требуются при загрузке Excel-файла.
   После выполнения настроек нажмите кнопку Добавить:
   

   

9. Откроется окно, в котором вы увидите загруженную таблицу, и где вы сможете трансформировать её данные перед загрузкой в модель данных:
   

   Подобным образом можно загрузить несколько таблиц, с которыми вы будете работать.

В таблице ниже перечислены все элементы модуля с их кратким описанием:

Кнопка	Описание
	Позволяет загрузить данные из нового или сохраненного источника. Данные могут быть извлечены как из реляционных СУБД, так и из отдельных CSV и Excel-файлов любого размера.
	Позволяет добавить столбец в загружаемую таблицу.
	Позволяет удалить столбец из загружаемой таблицы.
	Позволяет заменить значения в столбце загружаемой таблицы.
	Позволяет объединить несколько таблиц, загруженных из разных источников.
	Позволяет отформатировать записи в столбце загружаемой таблицы.
	Позволяет удалить повторяющиеся значения в столбце загружаемой таблицы.
	Позволяет отфильтровать данные в столбце загружаемой таблицы.
	Позволяет произвести любые преобразования, которые не предусмотрены стандартными инструментами. Для этого используется SQL-запрос.

Для более подробного описания каждого элемента перейдите в соответствующий раздел: