Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!

Фриланс-проекты › Парсинг автомобильного аукциона COPART Парсинг автомобильного аукциона COPART

Парсинг данных

3 из 3

истекло время актуальности

публикация
прием ставок
истекло время актуальности

Добрый день!

Необходимо создать парсер автомобильного аукциона htpps//www.copart.com/, который должен выполнять следующие задачи:

Ежедневно на автоматической основе соирать информацию с сайта Сopart соответствующую определенным параметрам (год авто, тип авто) и заполнять базу данных товаров нашего сайта (cms Simpla).
Время на заполнение базы товаров не должно превышать 30 мин.
Фотографии должны сохраняться в виде ссылки и обновляться каждый раз при заходе в карточку товара.
Информация о текущей ставке на товар также должна обновляться при каждом заходе на карточку товара.
Ежедневно из базы данных должны удаляться товары, дата продажи которых на сайте-доноре уже завершилась.

Работаю только через СЕЙФ, комиссию оплачиваю я.

Ставки 2
Обсуждение 4

дата онлайн рейтинг стоимость время выполнения

5 дней 2 500 ₴

Zhenya Morgun
295 3 0

5 дней 2 500 ₴

Имею огромный опыт написания парсеров. Заполнение в БД не составит труда.
Можем обсудить

5 декабря 2018
4 дня 3 000 ₴

Артем Бердник
327 3 0

4 дня 3 000 ₴

Здравствуйте, есть опыт в написании парсеров на php. Сделаю обход по расписанию. Загружу товары в базу с соблюдением временных рамок. Возможна почасовая оплата. Пишите.

Пример парсера: http://test.parkes.org.ua/parser/. Есть интерфейс. Парсер сначала ищет товар по названию/артикулу, потом собирает данные по товару из результатов поиска и сохраняет данные в csv(excel).

Отзывы обо мне (ссылку не разрешают поставить): fl ru
Опыт программирования 5+ лет.

5 декабря 2018

Евгений Freelancer

ваш сервер потянет 135 000 товаров? кроме места тут еще и нагрузка большая будет

Богдан Солод — заказчик проекта

В базу нужно запиcывать не все 135 тыс, а только авто младше 1995 года и только определенных категорий - это процентов 30-40 от общего количества.

есть

виртуальный сервер:

RAM 2048mb

SSD 25000mb

CPU 1X2.8gHZ

если нужно, можем подключить с другими параметрами

Андрій Цибрій

135000÷1800(пол часа) = 75 товарных карточек в секунду
для таких условий надо:
1 - соответсвующий сервер, чтобы паралелить парсер на столько потоков и они не стояли в очереди а отрабатывали + чтобы база не падала при 75запросах на селект селект и апдейт/инсерт каждую секунду
2 - приличный пул-прокси
потомучто донор скорее всего быстро забанит за такой ддос
3 - не редкие случаи что прийдется подключать антикапчу