Разработка скрипта парсера для акаунтов на досках объявлений
3000 UAHНужен скрипт на PHP, который заходит, минуя капчу где это нужно, через прокси-сервер
в акаунты определенных досок объявлений, соберает информацию и выполняет активацию
определенного неактивного объявления согласно графика.
Данный скрипт будет прописан в ежедневные CRON - задания. Его задача:
1. Из таблицы advs (MySQL) выбрать строки (записи размещенных объявлений), обновление которых
приходится на текущую дату.
2. Зайти в каждый из указанных в полученной выборке акаунтов под логином/паролем, через указанный proxy-сервер
(или проксисервер по умолчанию), минуя возможные капчи (в т.ч., используя API ключ Anti-Gate, который находится в таблице settings)
***Для этого использовать метод ->login соответствующего класса доски.
3. Определить статус объявления. Найти объявление с соответствующим URL (или оглавлением, если поиск по URL не возможен).
Не найдено или найдено в удаленных, значит -1 (удалено).
Найдено в неактивных или присутствует соответствующая характерная пометка, значит 0 (неактивно).
Найдено в активных или есть участок кода, подтверждающий активность, значит 1 (активно).
***Для этого использовать метод ->detect_status класса доски.
4. Для активных и неактивных объявлений произвести парсинг данных объявления - записать в таблицу adv следующие поля:
> title - оглавление объявлений
> txt - текст объявления
> cat - категория объявления на сайте
> reviews - количество просмотров объявления
> telrews - количество просмотров телефонов
> tel - телефон, указанный в объявлении
> status - статус (-1 - удаленное, 0 - неактивное, 1 - активное)
> price - цена в объявлении
> name - имя продавца в объявлении
> adr - текстовое описание локации объявление в формате [город]/[район]/[область] (например: "Новая Одесса/Новоодесский/Николаевская")
***Для этого описать метод ->parce_adv($url)
5. Вычислить и записать в базу дату следующего обновления. Результирующая дата равна текущей дате + к-во дней, указанное в поле period
6. Активировать неактивное объявление
***Для этого описать метод ->activate_adv(url)
7. Выйти из акаунта. Записать результат парсинга в таблицу advs и перейти к следующей записи, и так до конца выборки из п.1
Логическая модель:
Таблица boards (поддерживаемые доски объявлений)
id - уникальный идентификатор доски
url - URL доски
login_pg - часть ссылки (не включая адреса доски) на страницу входа в акаунт
actlist - часть ссылки на список активных объявлений
dellist - часть ссылки на список удаленных объявлений
deactlist - часть ссылки на список деактивированных объявлений
возможно, нужно добавить другие поля. Нужно для удобочитаемости и оперативности
внесения изменений при надобности)
Таблица advs:
id - код объявления (уникальный, не автоинкриментный)
board - код доски объявлений (один из поддерживаемых)
act_date - дата активации объявления
login - логин в акаунт (в большинстве случаев это e-mail)
pass - пароль к акаунту
proxy - прокси сервер, под которым нужно выполнить вход
title - оглавление объявлений (длина 80)
text - текст объявления (длина 500)
cat - категория объявления на сайте
reviews - количество просмотров объявления
telrews - количество просмотров телефонов
tel - телефон, указанный в объявлении
status - статус (-1 - удаленное, 0 - неактивное, 1 - активное)
price - цена в объявлении
name - имя продавца в объявлении
city - населенный пункт (код нас.пункта, в котором размещено объявление)
dstr - район (код района)
rgn - область (код области)
adr - текстовое описание локации объявление в формате [город]/[район]/[область] (например: "Новая Одесса/Новоодесский/Николаевская")
period - период в к-ве дней для обновления объявления
url- ссылка на публикацию объявления (используется при поиске объявления внутри акаунта)
Физическая модель:
- ADV/EXPORT/index.php - форма экспорта из базы данных таблицы adv в формате CSV
- ADV/IMPORT/index.php - форма импорта в базу данных таблицы adv. Исходный формат CSV
- ADV/adv_update.php - запускаемый через CRON скрипт парсинга и обновления объявлений
- ADV/config.php - скрипт подключения к базе MYSQL на сервере (просто константы со значениями - host, database, user, pass и др.)
- ADV/include/fnlib.php - библиотека общих функций, используемых запускаемыми скриптами и всеми библиотеками.
- ADV/include/mainlib.php - макрофункции (в т.ч., функция импорта и экспорта из базы)
- ADV/classes/base_class.php - определение базового класса для поддерживаемых досок объявлений, в котором
определены общие свойства и методы для всех классов досок объявлений.
- ADV/classes/board_[код_поддерживаемой доски]_class.php - классы для каждой из поддерживаемых досок. Здесь код поддерживаемой доски совпадает с кодом в таблице boards для каждой из поддерживаемых досок.
Поддерживаемые доски объявлений (Код и URL):
olx.ua
besplatka.ua
Ogolosha
obyava.ua
ria.com
rio.ua
ukrgo.com
flagma.ua
aviso.ua
www.ukrboard.com.ua
ss.ua
premier.ua
inforico.com.ua
prosto.ua
doski.ua
bboard.com.ua
bistro.net.ua
udt.com.ua
shafa.ua
kidstaff.com.ua
Для каждой из них необходимо описать класс. Максимально возможную нагрузку положить на базовый класс,
данные регулярных выражений для поиска выражения записать в дополнительных полях таблицы boards
(если это возможно)
Код должен быть удобочитаем, функции, методы, свойства и глобальные переменные с коментариями,
минимально достаточными для понимания их значения.
По интересующим вопросам пишите на вайбер: +380987077771. В качестве гарантии оплаты - только сейф.
Никаких предоплат "на доверии" не совершаю.
Выполнение заказа будет осуществляться частями.
Первая часть - начальная, чтобы я понимал, сработаемся ли мы по данному проекту
(еще в будущем нужен будет функционал по созданию акаунтов, размещению и модификации объявлений и т.п,
по этому ищу исполнителя, с которым можно будет работать дальше)
Сначала базовый функционал с 2 досками, импорт и экспорт данных; затем дописать
все остальные необходимые классы.
Пишите обязательно цены и возможные сроки выполнения.
Оплата: наличными по завершению части проекта или сейф с комиссией пополам.
-
Здравствуйте.
Если я вас правильно понял то вам необходимо сначала спарсить данные а потом залить их назад но уже с другой датой обновления, то есть вы хотите с помощью парсера взламывать систему обновления досок что бы можно было обновлять ваши объявления когда вам заманется, а значит что ваши объявления будут всегда в верху и при этом обходить защиту капчи. Я правильно вас понял?
-
Ну как это взламывать защиту... мы никому ничего не ламаем.
Тихо заходим роботом и активируем))))))
Да там нечего ламать, капча на 1-2 досках из всего списка.
Задача в следующем: нужно, чтобы происходило обновление объявлений без моего личного участия через заданные интервалы времени, которые могут быть разными для разных досок.
Пока так, по минимуму. Дальше будет добавление функций.
-
При этом, таблицы adv и boards - это не для банального парсинга. Полученные данные по просмотрам, просмотрам телефона и добавлениям в избранное являются необходимой статистикой для маркетинга и геотаргетинга. В виде таблицы просмотр на порядки удобнее, чем заходить и смотреть каждый акаунт.
-
Так же, не дописал. После получения просмотров их нужно обнулить написать метод ->trunc_reviews($url).
Просмотры записывать в архивную таблицу MySQL
arch_reviews(
adv - идентификатор объявления,
rec_date - дата записи,
reviews - к-во просмотров объявления,
rewtel к-во просмотров телефона,
rewlike - к-во добавлений в Избранное)
-
Еще раз оговорюсь, вопреки философской дискуссии о законе и морале в вышеразмещенных сообщениях. Этот проект не имеет отношения ко взлому, которым обход капчи не является, так как каждый посетитель производит такой "взлом" регулярно, когда вручную заходит в акаунт. По тематике автоматического постинга объявлений уже проводятся обучения бизнес коучами. Жду ответа специалистов в разработке скриптов для парсинга и автопостинга.
-
Актуальные фриланс-проекты в категории PHP
Модуль для OpenCart: массовое создание товаров из папок с изображениямиРазработка модуля массового создания товаров для OpenCart (ocStore 3.x) Необходимо разработать административный модуль для OpenCart / ocStore 3.x, который автоматически создает товары из заранее подготовленной структуры папок с изображениями.Основной функционал: массовое… CMS, PHP ∙ 18 часов 10 минут назад ∙ 30 ставок |
Разработчик на проект CMS-сайт на Drupal 7 + PHP/MySQL.Ищем разработчика для помощи с настройкой CMS-сайта на Drupal 7 + PHP/MySQL. Задача:1. Сделать карточки товара на весь ассортимент товара (в настоящее время на сайте не на всех товарах есть карточки товара с описанием и характеристиками).2. Добавить верные характеристики на… CMS, PHP ∙ 2 дня 22 часа назад ∙ 39 ставок |
Ищем специалиста Bitrix24 / интегратора CRM для настройки автоматизацииНаша компания работает с CRM Bitrix24. Нам нужен специалист, который сможет настроить автоматическое добавление номера телефона в лиды/заказы в двух форматах. Автоматизация должна быть корректно настроена для двух стран: Республика Молдова и Румыния. Задача: При создании лида… PHP, Веб-программирование ∙ 3 дня 20 часов назад ∙ 24 ставки |
Оптимизация сайтаОптимазация сайта jdgreta.co.uk на Shopify. Сео аудит приложен к проекту. Основные задачи - - Поправить все мета данные - Выполнить ТЗ для программиста (тк в этом проекте совмещены задачи для программиста и СЕО, если вы не компания - можете использовать помощь) - Поправить… HTML и CSS верстка, PHP ∙ 4 дня 16 часов назад ∙ 33 ставки |
Специалист по HoroshopНужен специалист, который сможет правильно настроить товарный Feed. Проблема: Сейчас более 13 000 товаров выгружаются с одинаковым значением типа (например, «все для маникюра и педикюра»). Из-за этого в Google Ads невозможно разделить товары на сегменты и задать разные… PHP, Сопровождение сайтов ∙ 5 дней 19 часов назад ∙ 21 ставка |