Misha Titkov

Misha Titkov

Plus Winning proposal
160 0
  • Projects 163
  • Rating 5.0
  • Rating 11 031

Budget: 3000 UAH Deadline: 2 days

добрый день, буду рад помочь.

Алгоритм должен включать описания:
1. Как реализуется охват всех объявлений. Можно предусмотреть в интерфейсе выбор региона от куда парсить например: Москва выбираем парсинг всех категорий или выборочно, что нас интересует, сохраняет в базу данных которая хранится на сервере (MongoDb или MySql) чтобы потом можно было парсить только новые объявления, объявления буду хранится по категориям.
2. Как происходит взятие контента объявлений - например https://www.avito.ru/moskva
с этой страницы достаем все ссылки на объявления и каждую парсим по очередно, или https://www.avito.ru/moskva/lichnye_veschi , такая ссылка позволяет парсить по категориям. Телефоны на авито хранятся в base64 png, качаем их храним в базе, с подвязкой к каждому объявлению
3. Как программа защищается от бана прокси, сколько нужно прокси - прокси + создание ожидания перед отправкой следующего запроса: например каждый регион или категория парсятся в отдельном потоке и используют разные прокси сервера. Дальше идет подмена прокси, и дальнейший парсинг уже объявлений. По колличеству прокси не знаю, может получится парсить без банов... нужно тестировать
4. Какие технологии (язык программирования, база данных) - язык С++ интерфейс Qt creator, база данных MongoDb или MySql.
5. На чем лучше запускать - серверное ПО или настольный ПК, и почему. - лучше серверное оно работает без перебоев + можно парсер настроить один раз и он будет сам себе работать иногда заходить проверять нет ли там ошибок, а с настольным могут быть разные отключения, а форсмажор и с сервером может быть.
6. Архитектура сервера/настольного ПК. Сервер - Window Server 2012 R2, RAM 1gb, system type 64 or 32. Настольный : Win7-8-10, RAM 1gb system 64 or 32.

  • Projects -
  • Rating -
  • Rating 175

Budget: 500 UAH Deadline: 1 day

Готов расписать

Proposals concealed

The list does not show proposals concealed by the client or freelancer with a Plus profile, as well as proposals violating rules

Current freelance projects in the category Data Parsing

17:39
1 July
1 July
29 June
28 June