Сравнение страниц

...

В данной статье рассматривается пример получения данных из магазина приложений App Store с использованием Apple Store Connect API и app-store-scraper (для выгрузки отзывов о приложении). Для удобства работы с API будет использована Python библиотека appstoreconnect 0.9.0.

Для обработки данных, создания таблицы и выгрузки в Excel файл будет использована библиотека Petl, т.к. она имеет более низкий порог вхождения. Но для выгрузки данных в PostgreSQL используется библиотека Pandas, т.к. в ней это реализовано более практичногибко и просто.

Целью этого задания является получение данных по API для выгрузки их на в платформу и построения дэшбордадашборда.
Пример не является шаблонным: в каждом случае задачи разнятся, и работать с данными придется по-другому.

...

• Количество получаемых данных небольшое - порядка 140 строк, но для демонстрации правильного подхода все выгруженные и обработанные данные сохраняются в Excel файл и базу данных PostgreSQL. Для загрузки данных в платформу вы можете использовать любой из вариантов. Когда получаемых данных много - правильнее всего использовать запись в базу данных.

• Будут использоваться два ноутбука: первый для данных, полученных с помощью App Store Connect API, второй для отзывов на странице приложения в магазине. Данный подход был выбран, поскольку данные для отзывов берутся другим способом и они находятся в открытом доступе. Так же Отсюда загрузка в платформу будет осуществляться с помощью двух разных таблиц , т.к. (их объединение невозможнолишено смысла для нашего примера).

Сначала необходимо внимательно ознакомиться с описанием работы библиотеки Python для App Store Connect Api: appstoreconnect 0.9.0, а также с API App Store Connect.

Для начала работы нам понадобятся такие библиотеки, как: Appstoreconnect, Petl, Pandas, Numpy, Sqlalchemy, Requests.
Если они у вас не установлены, то вы можете воспользоваться статьей с примером по установке библиотек:

Установка Python библиотек в ViXtract

...

1. Создаем новый ноутбук для информации о приложении, например, с именем appstoreconnect_example.
   

2. Первым блоком подключаем все необходимые нам для работы Python библиотеки:
   

   Блок кода
   language py
   import petl as etl # для загрузки и обработки данных import pandas as pd # для удобной работы с датой и выгрузки таблицы в postgresql import datetime as dt # для рассчёта даты from appstoreconnect import Api # для подключения к App Store Connect API import sqlalchemy # для создания подключения к базе данных

3. Вторым блоком подключаемся к API App Store с помощью Python библиотеки Appstoreconnect. Данные для подключения можно получить, следуя документации Creating API Keys for App Store Connect API:
   

   Блок кода
   api = Api(key_id, path_to_key_file, issuer_id)

4. Указываем период дат, за который будут браться отчёты. Будем использовать период с 01.01.2021 по текущую дату. Для этого обратимся к библиотеке Pandas и вызовем ее метод date_range(). В этот метод мы передаем два параметра: start (начальная дата периода), end (конечная дата периода). Их мы определяем с помощью Python библиотеки datetime.
   

   Блок кода
   language py
   dateRange = pd.date_range(start = dt.datetime.today().strftime('%Y-01-01'), end = dt.datetime.today())

   
   На выходе мы получим вот такой объект:
   

   

   
   Его элементы проиндексированы, каждый элемент - это дата, за которую мы будем запрашивать информацию по API.

5. Создадим фиксированный словарь с кодами стран и их расшифровкой, они понадобятся для дальнейшей работы с таблицей. Если вы хотите получать коды и названия стран динамически (чтобы он всегда был актуален), то можете воспользоваться API REST Countries или другим доступным в Интернете методом.
   

   Блок кода
   codes = { 'AD': 'Andorra', 'AE': 'United Arab Emirates', ... 'ZW': 'Zimbabwe', 'ZZ': 'Unknown or unspecified country', }

6. Отчёт формируется путём запроса информации за каждый день. На одну дату - один отчёт. Поэтому мы создадим список, в котором будем хранить первым элементом - названия столбцов, а последующими - информацию по датам.
   

   Блок кода
   sales=list() isFirstRow = True for reportDate in dateRange: try: resp = api.download_sales_and_trends_reports(filters={ 'vendorNumber': '86708710', 'frequency': 'DAILY', 'reportDate': reportDate.strftime('%Y-%m-%d') }).partition('\n')

   
   При получении отчёта , в переменной resp хранятся названия столбцов вместе со значениями столбцов:
   

   

   
   Для удобной работы с этими данными , мы применяем к переменной resp строковый метод partition(), в . В качестве параметра мы передаем ему символ ‘\n’. В итоге получается кортеж, нулевой элемент которого - – это название столбцов, первый - наш разделитель ‘\n’, а второй - собранные данные по дате:
   

   

   
   Поскольку всё это происходит в цикле, то данные правила будут применимы к каждому полученному отчёту.
   Так как мы хотим создать список, первым элементом которого будут названия столбцов, а другими - значения этих столбцов, то для начала нам нужна проверка для первой строки.
   

   Блок кода
   if isFirstRow: sales.append(resp[0]) # resp[0] хранит в себе только названия столбцов isFirstRow = False sales.extend(resp[2].split('\n')) # resp[2] хранит в себе собранные данные по дате print(reportDate) except: continue

   
   После добавления названий столбцов, мы ставим переменную isFirstRow в положение False, чтобы названия столбцов не повторялись. Затем, чтобы разделить между собой значения столбцов, мы используем метод split() и передаем ему в качестве параметра символ ‘\n’. И, используя метод extend(), добавляем значения в список sales. По итогу, переменная sales содержит в себе названия столбцов (в качестве нулевого элемента) и значения столбцов (в качестве последующих элементов):
   

   

7. Нужно привести данные в тот вид, с которым может работать библиотека Petl.Для этого мы разделим каждый элемент нашего списка sales по символу ‘\t’ с помощью уже известного метода split(). Поместим эти значения в переменную splitted:
   

   Блок кода
   splitted = [x.split('\t') for x in sales if x]

   
   Теперь переменная splitted хранит в себе списки без лишних символов:
   

   

   
   Нулевой элемент этого списка - – названия столбцов, а все остальные элементы - – значения столбцов.
   

8. Теперь библиотека Petl с лёгкостью сформирует из этого списка таблицу. Для более информативного отображения , мы добавим в таблицу столбец Country, в который поместим расшифровку кодов стран из столбца Country Code. Воспользуемся методом addfield() библиотеки Petl. Этот метод в качестве параметров принимает переменную, из которой строится таблица (нашем случае это переменная splitted), название нового столбца, и значение, которым будет заполнен столбец. В качестве этого значения можно передать анонимную функцию (лямбда выражение). У нашей функции в качестве переменной x - код страны. Мы будем использовать словарный метод get() и , передадим ему переменную x. Функция будет искать в нашем словаре codes ключи из столбца Country Code и возвращать значения по этим ключам. Эти значения мы и запишем в новый столбец Country.
   

   Блок кода
   tbl = etl.addfield(splitted, 'Country', lambda x: codes.get(x['Country Code']))

   
   Так будет выглядеть сформированная таблица:
   

   

9. Как видно, она не идеальна и хранит в себе столбцы с пустыми значениями, а так же те столбцы, которые не затрагиваются в данном примере. Воспользуемся методом cut(). В качестве параметров передаем ему нашу таблицу, и далее, через запятую в апострофах, мы передаем названия тех столбцов, которые хотим оставить в таблице:
   

   Блок кода
   language py
   tbl = etl.cut(tbl, 'Title', 'Version', 'Units', 'Begin Date', 'Device', 'Country')

   
   На выходе получится такая таблица:
   

   

10. Теперь можно экспортировать нашу таблицу в Excel файл для дальнейшей загрузки на платформу. Для этого воспользуемся методом toxlsx() библиотеки Petl. В качестве параметров передаем методу название Excel файла, флаг write_header=True указывает, что нужно записывать заголовки в таблицу, флаг mode='replace' указывает, что файл будет перезаписываться при повторном запуске кода.
    

    Блок кода
    tbl.toxlsx('appstoreconnect.xlsx', write_header=True, mode='replace')

    
    Мы получили Excel таблицу, которую можно загружать на платформу:
    

    

    Чтобы

11. экспортировать таблицу в PostgreSQL, для начала, нужно установить Помимо экспорта а Excel продемонстрируем подход с сохранением данных в PostgreSQL. Установим подключение к базе данных . Для этого воспользуемся методом с помощью метода create_engine() библиотки библиотеки Sqlachemy.
    

    Блок кода
    engine = sqlalchemy.create_engine('postgresql://{user}:{user_password}@{url}:{port}/{database_name}')

    
    Где {user} - имя пользователя базы данных, {user_password} - пароль, {url} - адрес базы данных, {port} - порт, {database_name} - название базы данных, в которой будет создана таблица.
    

12. Далее создадим объект DataFrame библиотеки Pandas из нашей таблицы Petl. Воспользуемся методом DataFrame() и укажем ему, что названия колонок находятся - это tbl[0], а значения - это срез от первого элемента таблицы Petl до последнего tbl[1:].
    

    Блок кода
    df = pd.DataFrame(columns=tbl[0], data=tbl[1:]

    
    Получим таблицу Pandas:
    

    Image RemovedImage Added

13. Теперь экспортируем таблицу в базу данных PostgreSQL с помощью метода to_sql() библиотеки Pandas. В параметрах передаем название таблицы, переменную подключения engine, которую определили выше, флаги index=Falseиif_exists='replace, и словарь с типами данных для столбцов. Флаг index=Falseговорит, что не нужно создавать столбец с индексами. Флаг if_exists='replace' указывает, что таблицу нужно перезаписать, если она уже существует. В словаре dtype мы указываем название столбца в качестве ключа, а в качестве значения указывается тип данных библиотеки Sqlalchemy и его длина. Типы данных можно посмотреть тут.
    
    Например, для столбца ‘Title’ мы укажем тип данных VARCHAR с длинной 25. Указывается такая длина, т.к. в нашем примере длина названия приложения не будет больше 25-ти символов.
    

    Блок кода
    language py
    df.to_sql('mobileappdownload', engine, index=False, if_exists='replace', dtype={ 'Title': sqlalchemy.types.VARCHAR(25), 'Version': sqlalchemy.types.VARCHAR(5), 'Units': sqlalchemy.types.Integer(), 'Begin Date': sqlalchemy.types.Date(), 'Category': sqlalchemy.types.VARCHAR(20), 'Device' : sqlalchemy.types.VARCHAR(10), 'Countries': sqlalchemy.types.VARCHAR(30) }) a

...

1. Создаем новый ноутбук для отзывов, например, с именем appstore_reviews. Импортируем библиотеки:
   

   Блок кода
   import petl as etl # для загрузки и обработки данных from app_store_scraper import AppStore # для выгрузки отзывов о приложении import pandas as pd # для удобной работы с датой и выгрузки таблицы в postgresql import sqlalchemy # для создания таблицы в базе данных

2. Создадим в переменной last_reviews экземпляр класса AppStore, которому укажем код нашей страны country="ru" и название приложения app_name="visiology mobile", по которому хотим собрать отзывы. Затем обратимся к методу review(), который будет парсить страницу с отзывами. Укажем нужное количество отзывов в параметре how_many (в нашем случае 10)
   

   Блок кода
   last_reviews = AppStore(country="ru", app_name="visiology mobile") last_reviews.review(how_many=10)

   
   Чтобы посмотреть, как выглядят полученные отзывы, нужно обратиться к полю reviews класса Base, от которого унаследован класс AppStore. Это поле хранит в себе список с отзывами.
   Если вызвать команду:
   

   Блок кода
   last_reviews.reviews

   
   То получится такой результат:
   

   

   
   Т.е. отзывы отображаются в виде списка из словарей. Из этих данных можно узнать оценку, поставленную при отзыве, заголовок отзыва, изменялся ли этот отзыв, никнейм автора, сам текст отзыва и дата публикации отзыва.
   

3. Для формирования Petl таблицы воспользуемся методом fromdicts() библиотеки Petl. В него передаем поле reviews нашего экземпляра класса.
   

   Блок кода
   tbl = etl.fromdicts(last_reviews.reviews)

   
   Теперь наша таблица выглядит так:
   

   

4. Удалим ненужные столбцы “isEdited” и “title”, воспользовавшись методом cutout() библиотеки Petl.
   

   Блок кода
   tbl = etl.cutout(tbl, 'isEdited', 'title')

5. Аналогично примеру из первого ноутбука, экспортируем нашу таблицу в Excel файл.
   

   Блок кода
   tbl.toxlsx('visiology_mobile_reviews.xlsx', write_header=True, mode='replace')

   
   Получим такую таблицу Еxcel:
   

   

6. По аналогии с примером из первого ноутбука, устанавливаем подключение с базой данных PostgreSQL:
   

   Блок кода
   engine = sqlalchemy.create_engine('postgresql://{user}:{user_password}@{url}:{port}/{database_name}')

   Где {user} - имя пользователя базы данных, {user_password} - пароль, {url} - адрес базы данных, {port} - порт, {database_name} - название базы данных, в которой будет создана таблица.
   

7. Создаем таблицу Pandas, так же, как и в первом нотубуткеноутбуке.
   

   Блок кода
   df = pd.DataFrame(columns=tbl[0], data=tbl[1:])

8. И экспортируем таблицу в Excel файл так же, как и в первом примере:
   

   Блок кода
   df.to_sql('visiology_mobile_reviews', engine, index=False, if_exists='replace', dtype={ 'userName': sqlalchemy.VARCHAR(30), 'rating': sqlalchemy.Integer(), 'review': sqlalchemy.Text(), 'date' : sqlalchemy.DateTime(), 'title': sqlalchemy.VARCHAR(50) })

...

Где 1 - это типы данных столбцов, 2 - данные таблицы.

Так выглядит дэшборддашборд, построенный из этих данных:

...