Парсер для збирання даних з Розетки рейтингу товарів

Необхідно зробити парсер для збирання даних з Розетки та заповнення їх в таблицю. 

Зразок таблиці за посиланням:

https://docs.google.com/spreadsheets/d/10OBPfu2OBPaCrDNnBdFAtuNpCJcxpOSRF8D8F5QZe74/edit?gid=2057461380#gid=2057461380

Таблиця потрібна для аналізу рейтингу товарів у видачі Розетка. В таблиці для прикладу додано 4 товари. По факту товарів може бути будь яка кількість товарів.

Колонки A, B – обов’язкові для заповнення, їх значення заповнює людина. Колонку С, D, Е заповнює парсер. Колонки F, G вільні та не обов’язкові, їх може бути будь яка кількість або не бути взагалі, вони створюються людиною з будь якими шапками та значеннями. Колонки H та далі правіше заповнюються парсером. 

Колонка «Пошуковий запит» - запит, який вводиться в пошук.

Колонка «Назва товару» - назва товару за посиланням.

Колонка «Категорія товару» - назва кінцевої категорії товару (приклад на скріншоті).

Колонка «Категорія так/ні». Якщо пошуковий запит веде в категорію товару, приклад посилання https://bt.rozetka.com.ua/ua/252133/c252133/ , то значення «так», якщо не веде, та запит залишається пошуковим, приклад посилання https://rozetka.com.ua/ua/search/?text=%D1%84%D0%BE%D1%82%D0%BE%D0%B5%D0%BF%D1%96%D0%BB%D1%8F%D1%82%D0%BE%D1%80&section_id=252133&redirected=1 , то значення «ні».

Колонка "Пошук". По кожному пошуковому запиту в таблицю заповнюється місце у рейтингу видачі. Заливається зеленим кольором, якщо місце с 1 по 5, жовтим, якщо місце з 6 по 20, помаранчевим, якщо місце нижче 21, але на першій сторінці, червоним, якщо товар на другій сторінці та нижче. Якщо товар не знайдений, то ставиться знак прочерку та червоний колір. В видачі товарів є рекламні місця, вони позначені словом «Реклама» (приклад на скріншоті), якщо товар має таке місце, то до числа добавляється «рек».

Колонка "Реклама". По кожному пошуковому запиту в таблицю заповнюється місце у рекламній видачі на сторінці зліва направо, якщо товару немає, то вказується знак прочерку, в дужках кількість рекламних пропозицій на сторінці. Заливається зеленим кольором, якщо 1 товар в топ 10, жовтим, якщо нижче 10  місця, але є в рекламі, червоним, якщо в рекламній видачі немає. Рекламна видача знаходиться в карточках товарів (приклад на скріншоті), парсер дивиться в першій карточці органічної видачі. Якщо в першій карточці рекламної видачі немає, то дивиться у другій, якщо в ній немає, то в третій, якщо в третій немає, ставить значення «-» і кольором не помічає.

Колонка «Топ продажів». Якщо на карточці вказано «Топ продажів» (приклад на скріншоті) - значення «так» зеленим кольором, якщо ні, то значення «ні» жовтим кольором. Якщо карточка має рекламне місце в органічній видачі, то «Топ продажів» може у видачі не показувати, а тільки в карточці, тоді потрібно подивитись в карточці (приклад на скріншоті).

Парсер збирає дані в таблицю кожен день по всім товарам, внесеним в таблицю, в час, який вказується людиною при налаштуванні. Історія парсингу повинна зберігатись, тобто до таблиці додаються нові дані, а старі залишаються в неї. Якщо таблиця закінчиться, робиться друга така сама, і парсер заповнює її. Старі таблиці всі зберігаються.

В налаштуванні парсингу людина вказує кількість сторінок видачі для збирання даних. При додаванні посилань на товари повинна бути можливість додавання списком посилань. Товари розташовуються в таблиці зверху до низу по алфавіту першої букви назви.

Парсер повинен працювати через режим Інкогніто, щоб історія та кукі не заважали парсеру бачити правильну видачу товарів.

Потрібно зробити доступ через веб браузер через логін та пароль. Користувач сам реєструється через свій будь який логін, пароль, а адмін підтверджує його реєстрацію, і тоді користувач отримує доступ. При необхідності, адмін видаляє користувача, і доступ у користувача зникає. Кількість користувачів необмежена.

Після виконання та прийомки проекту потрібна його підтримка надалі, щоб парсер працював без помилок.