Misha Titkov

Misha Titkov

Plus Переможець
160 0
  • Проєкти 163
  • Оцінка 5.0
  • Рейтинг 11 031

Бюджет: 3000 UAH Термін: 2 дні

добрый день, буду рад помочь.

Алгоритм должен включать описания:
1. Как реализуется охват всех объявлений. Можно предусмотреть в интерфейсе выбор региона от куда парсить например: Москва выбираем парсинг всех категорий или выборочно, что нас интересует, сохраняет в базу данных которая хранится на сервере (MongoDb или MySql) чтобы потом можно было парсить только новые объявления, объявления буду хранится по категориям.
2. Как происходит взятие контента объявлений - например https://www.avito.ru/moskva
с этой страницы достаем все ссылки на объявления и каждую парсим по очередно, или https://www.avito.ru/moskva/lichnye_veschi , такая ссылка позволяет парсить по категориям. Телефоны на авито хранятся в base64 png, качаем их храним в базе, с подвязкой к каждому объявлению
3. Как программа защищается от бана прокси, сколько нужно прокси - прокси + создание ожидания перед отправкой следующего запроса: например каждый регион или категория парсятся в отдельном потоке и используют разные прокси сервера. Дальше идет подмена прокси, и дальнейший парсинг уже объявлений. По колличеству прокси не знаю, может получится парсить без банов... нужно тестировать
4. Какие технологии (язык программирования, база данных) - язык С++ интерфейс Qt creator, база данных MongoDb или MySql.
5. На чем лучше запускать - серверное ПО или настольный ПК, и почему. - лучше серверное оно работает без перебоев + можно парсер настроить один раз и он будет сам себе работать иногда заходить проверять нет ли там ошибок, а с настольным могут быть разные отключения, а форсмажор и с сервером может быть.
6. Архитектура сервера/настольного ПК. Сервер - Window Server 2012 R2, RAM 1gb, system type 64 or 32. Настольный : Win7-8-10, RAM 1gb system 64 or 32.

  • Проєкти -
  • Оцінка -
  • Рейтинг 175

Бюджет: 500 UAH Термін: 1 день

Готов расписать

Ставки приховані

У списку не показані ставки, приховані замовником чи фрилансером з Plus, а також ставки, що порушують правила

Актуальні фриланс-проєкти в категорії Парсинг даних

1 липня
29 червня
28 червня
25 червня
20 червня