Предложить алгоритм работы парсера для авито.ру
3000 UAHНужен специалист по парсерам - разработать алгоритм работы парсера.
Парсер должен уметь:
1. Скачивать все объявления с авито.ру
2. При повторном запуске он должен уметь понимать: какие объявления новые, какие удалены. База все время обновляется (добавляются новые, удаляются старые, остаются остальные актуальные).
Алгоритм должен включать описания:
1. Как реализуется охват всех объявлений.
2. Как происходит взятие контента объявлений.
3. Как программа защищается от бана прокси, сколько нужно прокси.
4. Какие технологии (язык программирования, база данных).
5. На чем лучше запускать - серверное ПО или настольный ПК, и почему.
6. Архитектура сервера/настольного ПК.
7. Какая ожидается скорость набора 1 млн объявлений (и обосновать - почему).
В заявке пишите цену и сроки.
Отзыв заказчика о сотрудничестве с Misha Titkov
Предложить алгоритм работы парсера для авито.руОтличный исполнитель!
Отзыв фрилансера о сотрудничестве с заказчиком
Предложить алгоритм работы парсера для авито.руХороший заказчик, поставил точные указания, был на связи.
Благодарю, за сотрудничество.
-
Победившая ставка2 дня3000 UAH
Победившая ставка2 дня3000 UAH
добрый день, буду рад помочь.
Алгоритм должен включать описания:
1. Как реализуется охват всех объявлений. Можно предусмотреть в интерфейсе выбор региона от куда парсить например: Москва выбираем парсинг всех категорий или выборочно, что нас интересует, сохраняет в базу данных которая хранится на сервере (MongoDb или MySql) чтобы потом можно было парсить только новые объявления, объявления буду хранится по категориям.
2. Как происходит взятие контента объявлений - например https://www.avito.ru/moskva
с этой страницы достаем все ссылки на объявления и каждую парсим по очередно, или https://www.avito.ru/moskva/lichnye_veschi , такая ссылка позволяет парсить по категориям. Телефоны на авито хранятся в base64 png, качаем их храним в базе, с подвязкой к каждому объявлению
3. Как программа защищается от бана прокси, сколько нужно прокси - прокси + создание ожидания перед отправкой следующего запроса: например каждый регион или категория парсятся в отдельном потоке и используют разные прокси сервера. Дальше идет подмена прокси, и дальнейший парсинг уже объявлений. По колличеству прокси не знаю, может получится парсить без банов... нужно тестировать
4. Какие технологии (язык программирования, база данных) - язык С++ интерфейс Qt creator, база данных MongoDb или MySql.
5. На чем лучше запускать - серверное ПО или настольный ПК, и почему. - лучше серверное оно работает без перебоев + можно парсер настроить один раз и он будет сам себе работать иногда заходить проверять нет ли там ошибок, а с настольным могут быть разные отключения, а форсмажор и с сервером может быть.
… 6. Архитектура сервера/настольного ПК. Сервер - Window Server 2012 R2, RAM 1gb, system type 64 or 32. Настольный : Win7-8-10, RAM 1gb system 64 or 32.
7. Какая ожидается скорость набора 1 млн объявлений (и обосновать - почему).
6 - 8 объявлений, если на компьютере 4 ядра, запускаем в 4 потока, получится в час 44тыс объявлений в час, через 22 часа будет 1 миллион. Это тоже не точно, может в минуту можно парсить больше чем 6-8, если парсить 30 в минуту чисто теоритически 1 час в одном потоке 43тыс, если 4 потока 172 800.
Один месяц бесплатная гарантия на поддержку. Гарантии выполнения вашего тз в срок. Скорость имеет значение. MTitkov -
1 день500 UAH
175 2 1 1 день500 UAHГотов расписать
Актуальные фриланс-проекты в категории Парсинг данных
Вычислить местонахождение потерянного айфона
2500 UAH
Телефон был потерян день назад, живая локация через приложение FIND MY уже не обновляется, телефон вроде оффлайн, режим потери включен. Нужно определить + - точную локацию этого устройства какими-то нестандартными способами - все, что было в интернете, уже попробовал - не… Python, Парсинг данных ∙ 6 часов 43 минуты назад ∙ 2 ставки |
Парсинг товаров, подготовка к импорту на WPСпарсить полный каталог этих сайтов: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Все товары нужно объединить в одну обющую таблицу для импорта в WP. Каждый товар… Веб-программирование, Парсинг данных ∙ 10 часов 43 минуты назад ∙ 31 ставка |
Шукаю програміста для опен картаДоброе время суток 1)нужно внедрить на сайте dneprkomfort.dp.ua был куплен модуль для украинских банков уже внедрили Моно банк вот пример нашего конкурента Нужно как cделать розсрочку, покупка частями (МоноБанк) Пумб, Сенс, Моно по умолчанию 2 платежа 2 мес Пумб по умолчанию 3… Веб-программирование, Парсинг данных ∙ 1 день 8 часов назад ∙ 46 ставок |
Требуется специалист по продвижению в Telegram.
1272 UAH
Задачи: инвайт реальных пользователей по базе юзернеймов в новые чаты и рассылка сообщений по целевой базе. Интересует только качественный трафик и работа с живой аудиторией — исполнителей, использующих ботов, накрутку или некачественные методы, просьба НЕ БЕСПОКОИТЬ. Работа… Парсинг данных, Продвижение в социальных сетях (SMM) ∙ 5 дней 10 часов назад ∙ 9 ставок |
Консультация по парсингу подписчиков Instagram-аккаунтовЗдравствуйте. Необходимо провести предварительную оценку возможности выполнения следующей задачи. У меня есть список Instagram-аккаунтов. Цель — получить контактные данные (в первую очередь email-адреса) пользователей, которые подписаны на эти аккаунты. Ранее мне встречались… Парсинг данных ∙ 9 дней 5 часов назад ∙ 13 ставок |