Бюджет: 3000 UAH Термін: 2 дні
добрый день, буду рад помочь.
Алгоритм должен включать описания:
1. Как реализуется охват всех объявлений. Можно предусмотреть в интерфейсе выбор региона от куда парсить например: Москва выбираем парсинг всех категорий или выборочно, что нас интересует, сохраняет в базу данных которая хранится на сервере (MongoDb или MySql) чтобы потом можно было парсить только новые объявления, объявления буду хранится по категориям.
2. Как происходит взятие контента объявлений - например https://www.avito.ru/moskva
с этой страницы достаем все ссылки на объявления и каждую парсим по очередно, или https://www.avito.ru/moskva/lichnye_veschi , такая ссылка позволяет парсить по категориям. Телефоны на авито хранятся в base64 png, качаем их храним в базе, с подвязкой к каждому объявлению
3. Как программа защищается от бана прокси, сколько нужно прокси - прокси + создание ожидания перед отправкой следующего запроса: например каждый регион или категория парсятся в отдельном потоке и используют разные прокси сервера. Дальше идет подмена прокси, и дальнейший парсинг уже объявлений. По колличеству прокси не знаю, может получится парсить без банов... нужно тестировать
4. Какие технологии (язык программирования, база данных) - язык С++ интерфейс Qt creator, база данных MongoDb или MySql.
5. На чем лучше запускать - серверное ПО или настольный ПК, и почему. - лучше серверное оно работает без перебоев + можно парсер настроить один раз и он будет сам себе работать иногда заходить проверять нет ли там ошибок, а с настольным могут быть разные отключения, а форсмажор и с сервером может быть.
6. Архитектура сервера/настольного ПК. Сервер - Window Server 2012 R2, RAM 1gb, system type 64 or 32. Настольный : Win7-8-10, RAM 1gb system 64 or 32.
7. Какая ожидается скорость набора 1 млн объявлений (и обосновать - почему).
6 - 8 объявлений, если на компьютере 4 ядра, запускаем в 4 потока, получится в час 44тыс объявлений в час, через 22 часа будет 1 миллион. Это тоже не точно, может в минуту можно парсить больше чем 6-8, если парсить 30 в минуту чисто теоритически 1 час в одном потоке 43тыс, если 4 потока 172 800.
Бюджет: 500 UAH Термін: 1 день
Готов расписать
Ставки приховані
Ставки поки відсутні
Актуальні фриланс-проєкти в категорії Парсинг даних
Потрібен спеціаліст для збору та структурування відкритої інформації про продавців з маркетплейсів. Необхідно визначити можливість автоматизованого збору даних та сформувати базу продавців. У відгуку, будь ласка, вкажіть: з якими маркетплейсами маєте досвід роботи; які дані можете отримати (назва продавця, посилання, категорії, рейтинг, кількість товарів, інші доступні поля); приклади подібних проєктів.
Технічне завдання Проєкт Налаштування наповнення та синхронізації двох магазинів Prom.ua з постачальниками автозапчастин. Завдання Необхідно реалізувати завантаження та оновлення товарів від постачальників автозапчастин для двох інтернет-магазинів на Prom.ua. ⸻ 1. Підключення постачальників Необхідно підключити постачальників через: API постачальника; XML, CSV, XLS прайс-листи; або інший доступний спосіб отримання товарів із сайту постачальника. Важливо забезпечити повну синхронізацію товарів між постачальником та магазинами Prom.ua. ⸻ 2. Фільтрація та відбір товарів Необхідно реалізувати можливість відбору товарів під час імпорту за такими параметрами: марка автомобіля; категорія запчастин; підкатегорія запчастин; інші доступні характеристики. Приклад: Для кожного магазину повинна бути можливість окремо визначати, які категорії товарів та які марки автомобілів необхідно завантажувати. Додаткові вимоги до відбору товарів Необхідно реалізувати можливість відбору товарів під час імпорту не лише за марками автомобілів та категоріями запчастин, а також за статусом наявності товару. Повинна бути можливість налаштувати такі сценарії: імпортувати тільки товари, які є в наявності у постачальника; не імпортувати товари зі статусом “немає в наявності”; відключати або видаляти товари з Prom.ua після зникнення їх із наявності у постачальника; Під час налаштування прайсингу повинна бути можливість комбінувати фільтри: за маркою автомобіля; за категорією запчастин; за підкатегорією; за наявністю товару. Приклад: Імпортувати тільки запчастини для Volkswagen та Audi, категорія “Гальмівна система”, які є в наявності у постачальника. Також необхідно реалізувати механізм запобігання дублюванню товарів від різних постачальників. Якщо один і той самий товар присутній у кількох постачальників, у каталог повинен імпортуватися лише один запис товару. Критерії вибору товару при виявленні дублікатів: пріоритет надається товару, який є в наявності у постачальника; якщо товар є в наявності у кількох постачальників, пріоритет надається товару з найнижчою ціною; якщо найдешевший товар відсутній у наявності, система повинна обрати найдешевший товар серед тих, що є в наявності; товари-дублікати від інших постачальників не повинні створювати окремі позиції в каталозі. Приклад: Імпортувати тільки запчастини для Volkswagen та Audi, категорія “Гальмівна система”, які є в наявності у постачальника. Якщо одна й та сама запчастина доступна у кількох постачальників, до каталогу імпортується лише одна позиція — від постачальника з найнижчою ціною серед тих, у кого товар є в наявності. ⸻ 3. Імпорт карток товарів Під час імпорту повинні автоматично завантажуватися: назва товару; артикул; фотографії; опис товару; ціна; характеристики товару; виробник; інші доступні параметри. ⸻ 4. оновлення Необхідно налаштувати автоматичне: оновлення цін при зміні від постачальника ⸻ 5. Видалення відсутніх товарів Товари, яких більше немає в наявності у постачальника, повинні: відключатися; або видалятися з Prom.ua (за погодженням). ⸻ 6. Наповнення магазинів Необхідно: створити структуру категорій; створити підкатегорії; правильно розподілити товари по категоріях; перевірити коректність імпорту товарів. ⸻ 7. Результат роботи Після завершення робіт повинно бути: підключено постачальників; налаштовано імпорт товарів; налаштовано оновлення цін; налаштовано додавання нових товарів; налаштовано відключення або видалення відсутніх товарів; магазини Prom.ua повністю наповнені та готові до роботи.
Потрібно створити Telegram-бота для автоматичного пошуку та моніторингу автомобілів "BUY IT NOW" на аукціонах США (Copart, IAAI) Бот повинен працювати в автоматичному режимі та надсилати повідомлення про нові автомобілі, які відповідають заданим фільтрам.Основний функціоналНалаштування фільтрів: 1. Марка автомобіля; 2. Модель; 3. Рік випуску (від/до); 4. Тип палива; 5. Об'єм двигуна; 6. Пробіг; 7. Діапазон ціни; Функції бота: 1. Автоматичний моніторинг нових лотів; 2. Перевірка оновлень кожних 1-2 хвилини; 3. Захист від повторних сповіщень (антидубль); 4. Можливість додавати та видаляти фільтри через меню бота; 5. Збереження налаштувань вже існуючого пошуку автомобілів. Формат повідомлення: 1. Фото автомобіля (4-фото); 2. Назва та номер лота; 3. Рік випуску; 4. Пробіг; 5. Тип двигуна та об'єм; 6. Ціна buy it now; 7. Посилання на лот.
Спарсити повний каталог цих сайтів: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Всі товари потрібно об'єднати в одну загальну таблицю для імпорту в WP. Кожен товар має бути на двох мовах (UA+RU). Також є варіативні товари, це має бути збережено як варіації в базовому функціоналі WP Імпорт на сайт можливий через плагіни, так і кастомне рішення, тому формат таблиці може обговорюватися
Завдання: інвайт реальних користувачів за базою юзернеймів у нові чати та розсилка повідомлень по цільовій базі. Цікавить тільки якісний трафік і робота з живою аудиторією — виконавців, які використовують ботів, накрутку або неякісні методи, прохання НЕ БЕСПОКІТЬ. Робота виключно через гаранта. В відповіді вкажіть ваш досвід, використовувані методи та вартість за обсяг інвайтів/розсилки (ціна за 1 000, 5 000, 10 000 контактів або ваш тариф). Потрібен відповідальний виконавець, орієнтований на результат.