Разработка скрипта парсера для акаунтов на досках объявлений
252 PLNНужен скрипт на PHP, который заходит, минуя капчу где это нужно, через прокси-сервер
в акаунты определенных досок объявлений, соберает информацию и выполняет активацию
определенного неактивного объявления согласно графика.
Данный скрипт будет прописан в ежедневные CRON - задания. Его задача:
1. Из таблицы advs (MySQL) выбрать строки (записи размещенных объявлений), обновление которых
приходится на текущую дату.
2. Зайти в каждый из указанных в полученной выборке акаунтов под логином/паролем, через указанный proxy-сервер
(или проксисервер по умолчанию), минуя возможные капчи (в т.ч., используя API ключ Anti-Gate, который находится в таблице settings)
***Для этого использовать метод ->login соответствующего класса доски.
3. Определить статус объявления. Найти объявление с соответствующим URL (или оглавлением, если поиск по URL не возможен).
Не найдено или найдено в удаленных, значит -1 (удалено).
Найдено в неактивных или присутствует соответствующая характерная пометка, значит 0 (неактивно).
Найдено в активных или есть участок кода, подтверждающий активность, значит 1 (активно).
***Для этого использовать метод ->detect_status класса доски.
4. Для активных и неактивных объявлений произвести парсинг данных объявления - записать в таблицу adv следующие поля:
> title - оглавление объявлений
> txt - текст объявления
> cat - категория объявления на сайте
> reviews - количество просмотров объявления
> telrews - количество просмотров телефонов
> tel - телефон, указанный в объявлении
> status - статус (-1 - удаленное, 0 - неактивное, 1 - активное)
> price - цена в объявлении
> name - имя продавца в объявлении
> adr - текстовое описание локации объявление в формате [город]/[район]/[область] (например: "Новая Одесса/Новоодесский/Николаевская")
***Для этого описать метод ->parce_adv($url)
5. Вычислить и записать в базу дату следующего обновления. Результирующая дата равна текущей дате + к-во дней, указанное в поле period
6. Активировать неактивное объявление
***Для этого описать метод ->activate_adv(url)
7. Выйти из акаунта. Записать результат парсинга в таблицу advs и перейти к следующей записи, и так до конца выборки из п.1
Логическая модель:
Таблица boards (поддерживаемые доски объявлений)
id - уникальный идентификатор доски
url - URL доски
login_pg - часть ссылки (не включая адреса доски) на страницу входа в акаунт
actlist - часть ссылки на список активных объявлений
dellist - часть ссылки на список удаленных объявлений
deactlist - часть ссылки на список деактивированных объявлений
возможно, нужно добавить другие поля. Нужно для удобочитаемости и оперативности
внесения изменений при надобности)
Таблица advs:
id - код объявления (уникальный, не автоинкриментный)
board - код доски объявлений (один из поддерживаемых)
act_date - дата активации объявления
login - логин в акаунт (в большинстве случаев это e-mail)
pass - пароль к акаунту
proxy - прокси сервер, под которым нужно выполнить вход
title - оглавление объявлений (длина 80)
text - текст объявления (длина 500)
cat - категория объявления на сайте
reviews - количество просмотров объявления
telrews - количество просмотров телефонов
tel - телефон, указанный в объявлении
status - статус (-1 - удаленное, 0 - неактивное, 1 - активное)
price - цена в объявлении
name - имя продавца в объявлении
city - населенный пункт (код нас.пункта, в котором размещено объявление)
dstr - район (код района)
rgn - область (код области)
adr - текстовое описание локации объявление в формате [город]/[район]/[область] (например: "Новая Одесса/Новоодесский/Николаевская")
period - период в к-ве дней для обновления объявления
url- ссылка на публикацию объявления (используется при поиске объявления внутри акаунта)
Физическая модель:
- ADV/EXPORT/index.php - форма экспорта из базы данных таблицы adv в формате CSV
- ADV/IMPORT/index.php - форма импорта в базу данных таблицы adv. Исходный формат CSV
- ADV/adv_update.php - запускаемый через CRON скрипт парсинга и обновления объявлений
- ADV/config.php - скрипт подключения к базе MYSQL на сервере (просто константы со значениями - host, database, user, pass и др.)
- ADV/include/fnlib.php - библиотека общих функций, используемых запускаемыми скриптами и всеми библиотеками.
- ADV/include/mainlib.php - макрофункции (в т.ч., функция импорта и экспорта из базы)
- ADV/classes/base_class.php - определение базового класса для поддерживаемых досок объявлений, в котором
определены общие свойства и методы для всех классов досок объявлений.
- ADV/classes/board_[код_поддерживаемой доски]_class.php - классы для каждой из поддерживаемых досок. Здесь код поддерживаемой доски совпадает с кодом в таблице boards для каждой из поддерживаемых досок.
Поддерживаемые доски объявлений (Код и URL):
olx.ua
besplatka.ua
Ogolosha
obyava.ua
ria.com
rio.ua
ukrgo.com
flagma.ua
aviso.ua
www.ukrboard.com.ua
ss.ua
premier.ua
inforico.com.ua
prosto.ua
doski.ua
bboard.com.ua
bistro.net.ua
udt.com.ua
shafa.ua
kidstaff.com.ua
Для каждой из них необходимо описать класс. Максимально возможную нагрузку положить на базовый класс,
данные регулярных выражений для поиска выражения записать в дополнительных полях таблицы boards
(если это возможно)
Код должен быть удобочитаем, функции, методы, свойства и глобальные переменные с коментариями,
минимально достаточными для понимания их значения.
По интересующим вопросам пишите на вайбер: +380987077771. В качестве гарантии оплаты - только сейф.
Никаких предоплат "на доверии" не совершаю.
Выполнение заказа будет осуществляться частями.
Первая часть - начальная, чтобы я понимал, сработаемся ли мы по данному проекту
(еще в будущем нужен будет функционал по созданию акаунтов, размещению и модификации объявлений и т.п,
по этому ищу исполнителя, с которым можно будет работать дальше)
Сначала базовый функционал с 2 досками, импорт и экспорт данных; затем дописать
все остальные необходимые классы.
Пишите обязательно цены и возможные сроки выполнения.
Оплата: наличными по завершению части проекта или сейф с комиссией пополам.
-
Здравствуйте.
Если я вас правильно понял то вам необходимо сначала спарсить данные а потом залить их назад но уже с другой датой обновления, то есть вы хотите с помощью парсера взламывать систему обновления досок что бы можно было обновлять ваши объявления когда вам заманется, а значит что ваши объявления будут всегда в верху и при этом обходить защиту капчи. Я правильно вас понял?
-
Ну как это взламывать защиту... мы никому ничего не ламаем.
Тихо заходим роботом и активируем))))))
Да там нечего ламать, капча на 1-2 досках из всего списка.
Задача в следующем: нужно, чтобы происходило обновление объявлений без моего личного участия через заданные интервалы времени, которые могут быть разными для разных досок.
Пока так, по минимуму. Дальше будет добавление функций.
-
При этом, таблицы adv и boards - это не для банального парсинга. Полученные данные по просмотрам, просмотрам телефона и добавлениям в избранное являются необходимой статистикой для маркетинга и геотаргетинга. В виде таблицы просмотр на порядки удобнее, чем заходить и смотреть каждый акаунт.
-
Так же, не дописал. После получения просмотров их нужно обнулить написать метод ->trunc_reviews($url).
Просмотры записывать в архивную таблицу MySQL
arch_reviews(
adv - идентификатор объявления,
rec_date - дата записи,
reviews - к-во просмотров объявления,
rewtel к-во просмотров телефона,
rewlike - к-во добавлений в Избранное)
-
Еще раз оговорюсь, вопреки философской дискуссии о законе и морале в вышеразмещенных сообщениях. Этот проект не имеет отношения ко взлому, которым обход капчи не является, так как каждый посетитель производит такой "взлом" регулярно, когда вручную заходит в акаунт. По тематике автоматического постинга объявлений уже проводятся обучения бизнес коучами. Жду ответа специалистов в разработке скриптов для парсинга и автопостинга.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Olx
150 PLN
Potrzebuję bota OLX, który wyciąga numer telefonu z ogłoszenia zanim zostanie opublikowane! Musi być nieaktywny—konkretnie w statusie "oczekujące". Mam zapis oczekujących ofert; muszę tylko wyciągnąć z nich numer. Parsowanie danych, Python ∙ 4 minuty temu ∙ 2 oferty |
Skonfigurować moduł "Automatyczne przetwarzanie cenników. v.9.5".Sklep na OcStore 2.3. zainstalowany moduł "Automatyczne przetwarzanie cenników. v.9.5". Wszystko jest skonfigurowane przez autora modułu, ale teraz są kwestie dotyczące ustawień, których nie mogę zrozumieć i pojąć logikę działania modułu. Na przykład problem z dwoma… Sklepy internetowe i e-commerce, Parsowanie danych ∙ 14 godzin 23 minuty temu ∙ 19 ofert |
Cennik towarów części samochodowych od dostawców dla stron internetowych z częściami samochodowymi na bazie PromuSpecyfikacja techniczna Projekt Ustawienie zawartości i synchronizacji dwóch sklepów Prom.ua z dostawcami części samochodowych. Zadanie Wymagana jest realizacja załadunku i aktualizacji produktów od dostawców części samochodowych dla dwóch sklepów internetowych na… Parsowanie danych ∙ 1 dzień 2 godziny temu ∙ 43 oferty |
Parsowanie bazy
168 PLN
Wymagania dotyczące kanałów:1. Język treści:Rosyjski lub ukraiński(dopasowana mieszana treść RU/UA)2. Liczba subskrybentów:Nie mniej niż 500 subskrybentów3. Aktywność:Ostatni post opublikowany nie później niż 32 godziny temu4. Komentarze:Na kanale muszą być otwarte komentarze… Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 3 godziny temu ∙ 28 ofert |
Należy opracować bota Telegram do monitorowania samochodów z aukcji w USA (Copart, IAAI)Należy stworzyć bota Telegram do automatycznego wyszukiwania i monitorowania samochodów "BUY IT NOW" na aukcjach w USA (Copart, IAAI). Bot powinien działać w trybie automatycznym i wysyłać powiadomienia o nowych samochodach, które odpowiadają zadanym filtrom.Podstawowa… Parsowanie danych, Tworzenie chatbota ∙ 2 dni 4 godziny temu ∙ 93 oferty |