Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!

Парсинг автомобильного аукциона COPART



  1. 295    3  0
     5 дней 2 500 ₴

    Имею огромный опыт написания парсеров. Заполнение в БД не составит труда.
    Можем обсудить

  2. 327    3  0
     4 дня 3 000 ₴

    Здравствуйте, есть опыт в написании парсеров на php. Сделаю обход по расписанию. Загружу товары в базу с соблюдением временных рамок. Возможна почасовая оплата. Пишите.

    Пример парсера: http://test.parkes.org.ua/parser/. Есть интерфейс. Парсер сначала ищет товар по названию/артикулу, потом собирает данные по товару из результатов поиска и сохраняет данные в csv(excel).

    Отзывы обо мне (ссылку не разрешают поставить): fl ru
    Опыт программирования 5+ лет.

  • Евгений Freelancer
    4 декабря 2018 |

    ваш сервер потянет 135 000 товаров? кроме места тут еще и нагрузка большая будет

  • Богдан Солод — заказчик проекта
    5 декабря 2018 |

    В базу нужно запиcывать не все 135 тыс,  а только авто младше 1995 года и только определенных категорий - это процентов 30-40 от общего количества.

    есть 

    виртуальный сервер:

    RAM 2048mb

    SSD 25000mb

    CPU 1X2.8gHZ


    если нужно, можем подключить с другими параметрами

  • Андрій Цибрій
    5 декабря 2018 |

    135000÷1800(пол часа) = 75 товарных карточек в секунду
    для таких условий надо:
    1 - соответсвующий сервер, чтобы паралелить парсер на столько потоков и они не стояли в очереди а отрабатывали + чтобы база не падала при 75запросах на селект селект и апдейт/инсерт каждую секунду
    2 - приличный пул-прокси
    потомучто донор скорее всего быстро забанит за такой ддос
    3 - не редкие случаи что прийдется подключать антикапчу

  • Богдан Солод — заказчик проекта
    5 декабря 2018 |

    5 грудня о 10:01 

    В базу нужно запиcывать не все 135 тыс,  а только авто младше 1995 года и только определенных категорий - это процентов 30-40 от общего количества.

    есть 

    виртуальный сервер:

    RAM 2048mb

    SSD 25000mb

    CPU 1X2.8gHZ


    если нужно, можем подключить с другими параметрами

    прокси пока нет, но при необходимости готовы подключать