Парсер объявлений

Го подробности !

Добрый день. Можно ТЗ?

Цена я так понимаю образно указана или Вы серьезно?

Kirk Sly 12 травня 2017

Надеюсь, я не сильно переплачиваю?

Там вон за 250 предлагают так что переплатили...

Еще с денек проект повисит и Вам по 500 платить начнут только бы поработать на проекте)

Kirk Sly 12 травня 2017

Сарказм?;)

Или все действительно так плохо??

Ну да)

Вы же сами написали php програмирование... Значит вкурсе  что на такой обьем нужен сервер+прокси и знаете сколько это стоит в  реальности. 

Так с чего вдруг работа прогера должна стоить 300грн сайт на 500 категорий еще и с выбором разделов какой парсить))

Ну это Вы поятно,Вы можете знать или не знать. А уж если ставят такие ставки тогда у некоторых прогеров действительно все плохо раз работают обьемы за дневную зарплату студента на листовках.

Скиньте ТЗ в ЛС

Kirk Sly 12 травня 2017

Парсер ТЗ

необходим парсер собирающий объявления с ресурсов backpage.com и cracker.com, из любого их раздела. locanto.com и Craigslist.org - желательны. Донор ресурс и его Раздел задается как параметр перед началом Парсинга.

Например http://losangeles.backpage.com/WomenSeekMen/

Или

http://newyork.backpage.com/FinancialServices/?keyword=Cash

Или

http://london.backpage.co.uk/WomenSeekMen/

Или

http://m.locanto.com/m/q/?query=Cash+loans

(Лос анжелес, Нью Йорк и Лондон тоже чисто для примера - город может быть любой) города определенной страны тоже задаются перед парсингом. Тотесть каждая страна будет иметь небольшой список городов, по которым парсер будет идти и собирать данные. Обязательные страны: USA, UK, Australia.

Что собирать:

Заголовок объявления.

Тело объявления.

Фото (если есть).

Как собирать:

Копирование объявлений должно осуществляться начиная от самых новыx к старым (до самого старого доступного объявления в разделе).

Что и как сохранять:

Заголовок объявления и тело объявления сохранять в один .txt файл. Название файла должно содержать информацию о сайте-доноре, стране и разделе собранных объявлений. Первая строка в файле - заголовок первого объявления, вторая строка - тело первого объявления; следующая - заголовок следующего объявления, за ней - тело объявления и т.д. Если объявление не имеет заголовка - объявление пропускать/не собирать. Если объявление не имеет тела - пропускать/не собирать. Если объявление устарело или удалено - идти к следующему.

Фотографии - в отдельную папку. Если фотография имеет хоть какой-то текст (имя, город, емайл, телефон, снапчат, твиттер, скайп и т.д.) - пропускать/не собирать.

Фотографии и объявления могут не иметь привязки друг к другу. То есть, текст собирается в одну кучу, фото - в другую, без взаимных меток.

Пост процессинг ОЧЕНЬ ВАЖНО:

В текстовых данных (Заголовки объявлений и само тело объявления) должны быть удалены все емайлы, номера телефонов, socials и названия городов.

Фотографии последующей обработки не требуют.

Конец.