Нужен скрипт на PHP, который заходит, минуя капчу где это нужно, через прокси-сервер
в акаунты определенных досок объявлений, соберает информацию и выполняет активацию
определенного неактивного объявления согласно графика.
Данный скрипт будет прописан в ежедневные CRON - задания. Его задача:
1. Из таблицы advs (MySQL) выбрать строки (записи размещенных объявлений), обновление которых
приходится на текущую дату.
2. Зайти в каждый из указанных в полученной выборке акаунтов под логином/паролем, через указанный proxy-сервер
(или проксисервер по умолчанию), минуя возможные капчи (в т.ч., используя API ключ Anti-Gate, который находится в таблице settings)
***Для этого использовать метод ->login соответствующего класса доски.
3. Определить статус объявления. Найти объявление с соответствующим URL (или оглавлением, если поиск по URL не возможен).
Не найдено или найдено в удаленных, значит -1 (удалено).
Найдено в неактивных или присутствует соответствующая характерная пометка, значит 0 (неактивно).
Найдено в активных или есть участок кода, подтверждающий активность, значит 1 (активно).
***Для этого использовать метод ->detect_status класса доски.
4. Для активных и неактивных объявлений произвести парсинг данных объявления - записать в таблицу adv следующие поля:
> title - оглавление объявлений
> txt - текст объявления
> cat - категория объявления на сайте
> reviews - количество просмотров объявления
> telrews - количество просмотров телефонов
> tel - телефон, указанный в объявлении
> status - статус (-1 - удаленное, 0 - неактивное, 1 - активное)
> price - цена в объявлении
> name - имя продавца в объявлении
> adr - текстовое описание локации объявление в формате [город]/[район]/[область] (например: "Новая Одесса/Новоодесский/Николаевская")
***Для этого описать метод ->parce_adv($url)
5. Вычислить и записать в базу дату следующего обновления. Результирующая дата равна текущей дате + к-во дней, указанное в поле period
6. Активировать неактивное объявление
***Для этого описать метод ->activate_adv(url)
7. Выйти из акаунта. Записать результат парсинга в таблицу advs и перейти к следующей записи, и так до конца выборки из п.1
Логическая модель:
Таблица boards (поддерживаемые доски объявлений)
id - уникальный идентификатор доски
url - URL доски
login_pg - часть ссылки (не включая адреса доски) на страницу входа в акаунт
actlist - часть ссылки на список активных объявлений
dellist - часть ссылки на список удаленных объявлений
deactlist - часть ссылки на список деактивированных объявлений
возможно, нужно добавить другие поля. Нужно для удобочитаемости и оперативности
внесения изменений при надобности)
Таблица advs:
id - код объявления (уникальный, не автоинкриментный)
board - код доски объявлений (один из поддерживаемых)
act_date - дата активации объявления
login - логин в акаунт (в большинстве случаев это e-mail)
pass - пароль к акаунту
proxy - прокси сервер, под которым нужно выполнить вход
title - оглавление объявлений (длина 80)
text - текст объявления (длина 500)
cat - категория объявления на сайте
reviews - количество просмотров объявления
telrews - количество просмотров телефонов
tel - телефон, указанный в объявлении
status - статус (-1 - удаленное, 0 - неактивное, 1 - активное)
price - цена в объявлении
name - имя продавца в объявлении
city - населенный пункт (код нас.пункта, в котором размещено объявление)
dstr - район (код района)
rgn - область (код области)
adr - текстовое описание локации объявление в формате [город]/[район]/[область] (например: "Новая Одесса/Новоодесский/Николаевская")
period - период в к-ве дней для обновления объявления
url- ссылка на публикацию объявления (используется при поиске объявления внутри акаунта)
Физическая модель:
- ADV/EXPORT/index.php - форма экспорта из базы данных таблицы adv в формате CSV
- ADV/IMPORT/index.php - форма импорта в базу данных таблицы adv. Исходный формат CSV
- ADV/adv_update.php - запускаемый через CRON скрипт парсинга и обновления объявлений
- ADV/config.php - скрипт подключения к базе MYSQL на сервере (просто константы со значениями - host, database, user, pass и др.)
- ADV/include/fnlib.php - библиотека общих функций, используемых запускаемыми скриптами и всеми библиотеками.
- ADV/include/mainlib.php - макрофункции (в т.ч., функция импорта и экспорта из базы)
- ADV/classes/base_class.php - определение базового класса для поддерживаемых досок объявлений, в котором
определены общие свойства и методы для всех классов досок объявлений.
- ADV/classes/board_[код_поддерживаемой доски]_class.php - классы для каждой из поддерживаемых досок. Здесь код поддерживаемой доски совпадает с кодом в таблице boards для каждой из поддерживаемых досок.
Поддерживаемые доски объявлений (Код и URL):
olx.ua
besplatka.ua
Ogolosha
obyava.ua
ria.com
rio.ua
ukrgo.com
flagma.ua
aviso.ua
www.ukrboard.com.ua
ss.ua
premier.ua
inforico.com.ua
prosto.ua
doski.ua
bboard.com.ua
bistro.net.ua
udt.com.ua
shafa.ua
kidstaff.com.ua
Для каждой из них необходимо описать класс. Максимально возможную нагрузку положить на базовый класс,
данные регулярных выражений для поиска выражения записать в дополнительных полях таблицы boards
(если это возможно)
Код должен быть удобочитаем, функции, методы, свойства и глобальные переменные с коментариями,
минимально достаточными для понимания их значения.
По интересующим вопросам пишите на вайбер: +380987077771. В качестве гарантии оплаты - только сейф.
Никаких предоплат "на доверии" не совершаю.
Выполнение заказа будет осуществляться частями.
Первая часть - начальная, чтобы я понимал, сработаемся ли мы по данному проекту
(еще в будущем нужен будет функционал по созданию акаунтов, размещению и модификации объявлений и т.п,
по этому ищу исполнителя, с которым можно будет работать дальше)
Сначала базовый функционал с 2 досками, импорт и экспорт данных; затем дописать
все остальные необходимые классы.
Пишите обязательно цены и возможные сроки выполнения.
Оплата: наличными по завершению части проекта или сейф с комиссией пополам.
Здравствуйте.
Если я вас правильно понял то вам необходимо сначала спарсить данные а потом залить их назад но уже с другой датой обновления, то есть вы хотите с помощью парсера взламывать систему обновления досок что бы можно было обновлять ваши объявления когда вам заманется, а значит что ваши объявления будут всегда в верху и при этом обходить защиту капчи. Я правильно вас понял?
5 січня 2019
Ну как это взламывать защиту... мы никому ничего не ламаем.
Тихо заходим роботом и активируем))))))
Да там нечего ламать, капча на 1-2 досках из всего списка.
Задача в следующем: нужно, чтобы происходило обновление объявлений без моего личного участия через заданные интервалы времени, которые могут быть разными для разных досок.
Пока так, по минимуму. Дальше будет добавление функций.
))) Я понимаю что "взламать" звучит как то грубо и противоречит правилам сайта и законам, но все же суть дела не меняется даже если назвать это "обход защиты" . Если вам просто обновлять нужно было, то вам бы как таковой парсер и не нужен а всего лишь ДОМ и несколько строчек по по счетчику для автонажатия кнопки на том или ином сайте для обновления, ДОМ для того что бы можно было заходить на сайт под своим логином и паролем, проблема только в капче останется, так как обойти ее не выйдет, нужно только распознование делать и вводить данные. Это только для обновления.
А вам нужно что бы данные парсились согласно структуре объявления на сайте, перерабатывались на изменение даты и заливались обратно с подменой что и получается в итоге, вам нужно что бы был обход системы обновления доски и когда вы заливаете назад объявления что бы оно обновлялось по дате а значит и подымалось в верх, таким образом можно хоть каждый день обновлять свои объявления. Но вот только обход самой системы обновления на сайте это и есть "второй обход защиты" только непосредственно уже в личном кабинете. Все как бы понятно, не понятно только одно, как рас то как обойти второй этап защиты на сайте по самому обновлению, даже распознавать капчу можно заставить автоматом а вот обновление ....
5 січня 2019
каждый день не выйдет. По этом, как бы не хотелось, больше чем позволено, сделать не получится. Объявления не удаляются, а поднимаются когда приходит время. С одной стороны, чтобы они были сверху всегда, можно их удалять и снова постить... но это чревато баном всей сетки на определенной доске.
По капче - обход через антигейт с использованием API-ключа. По OLX иначе не проскочить. И прокси обязательны, иначе большое к-во объявлений на одном IP нельзя удержать. Положат. Уже бывало, когда вручную делалось, что там об автоматике говорить.
5 січня 2019
Насчет парсинга - я еще думаю над этой задачей. Суть в том, чтобы данные в оффлайн таблицах, над которыми сидят менеджеры соответствовали тому, что висит на досках. Для этого нужен какой-то механизм сравнения. Мне приходилось уже сталкиваться с полным беспорядком в объявлениях.
В акаунтах пока ничего не будем менять. Только обнулять просмотры и производить нажатие кнопки "поднять" или "активировать".
По обновлению защиты в этом случае нету. Можно только разумные интервалы по времени между действиями выставить, чтобы не вести себя "как робот"
5 січня 2019
я наверное неправильно понял вопрос. Что такое защита системы от обновления? Там на каждой есть кнопка "обновить" или "активировать", которая появляется после того, как объявление стало неактивным. Она для того, чтобы ее нажать, если объявление еще актуально. Это и вся задача...
Тогда выходит что вам нужен не парсер. Нужен бот, зашел на сайт под вашим лог/пар и нажал на кнопку и вышел, и так на каждом сайте только для каждого сайта по определенному расписанию иначе не работает обновление. То есть то что я выше написал, ДОМ и нажатие кнопки.
5 січня 2019
ну как-то так. Парсер мне потом понадобится сугубо для olx, чтобы смотреть к-во просмотров и средний чек по выдачи на параметрический запрос
5 січня 2019
При этом, таблицы adv и boards - это не для банального парсинга. Полученные данные по просмотрам, просмотрам телефона и добавлениям в избранное являются необходимой статистикой для маркетинга и геотаргетинга. В виде таблицы просмотр на порядки удобнее, чем заходить и смотреть каждый акаунт.
5 січня 2019
Так же, не дописал. После получения просмотров их нужно обнулить написать метод ->trunc_reviews($url).
Просмотры записывать в архивную таблицу MySQL
arch_reviews(
adv - идентификатор объявления,
rec_date - дата записи,
reviews - к-во просмотров объявления,
rewtel к-во просмотров телефона,
rewlike - к-во добавлений в Избранное)
5 січня 2019
Еще раз оговорюсь, вопреки философской дискуссии о законе и морале в вышеразмещенных сообщениях. Этот проект не имеет отношения ко взлому, которым обход капчи не является, так как каждый посетитель производит такой "взлом" регулярно, когда вручную заходит в акаунт. По тематике автоматического постинга объявлений уже проводятся обучения бизнес коучами. Жду ответа специалистов в разработке скриптов для парсинга и автопостинга.
Правильно ли я понимаю, ориентировочный средний бюджет - 3000 грн./донор?!
6 січня 2019
Ну да, с каждого донора по 3000грн, правильно, отличная идея. Только в пункте "понятия и определения" моей оферты значение термина "донор" ещё до сих пор почему-то не раскрыто. Вы бы не подсказали, какое бы значение присвоить подобному определению для большей прибыли??? Поделюсь %)))
Хочу бота для Телеграму. Завантаження діалогів. З допомогою ШІ перевірка на потенційну брехню. Сайт з розширеними можливостями. Реєстрація, API, статистика тощо.
Потрібен досвідчений Laravel-розробник для інтеграції платіжної системи в існуючий проект. Про проект Backend: Laravel Frontend: React Проект: хмарна платформа зберігання файлів (аналог Dropbox) Що необхідно реалізувати Інтеграцію оплати банківськими картами через API платіжної системи. Створення платежу. Перенаправлення користувача на платіжну сторінку. Обробку успішної та неуспішної оплати. Обробку callback/webhook. Перевірку статусу платежу. Коректне зміна статусу замовлення після успішної оплати. Логування запитів та відповідей API. Роботу як у тестовій, так і в бойовій середовищі. Вимоги Відмінне знання Laravel. Досвід інтеграції платіжних систем (банківські API тощо). Досвід роботи з REST API. Будуть перевагою Досвід інтеграції банківських платіжних шлюзів. Можливість показати аналогічні проекти. Що надамо Повну технічну документацію платіжної системи. Доступ до тестової середовища. При відповіді, будь ласка, вкажіть: 1. Які платіжні системи ви вже інтегрували. 2. Вартість роботи. 3. Термін виконання. 4. Приклади аналогічних проектів (якщо є).
Потрібно мігрувати інтернет-магазин Opencart з PHP 7.4 на PHP 8.x. Наразі стоїть ядро v 3.0.3.8. Читаємо, що скоріш за все доведеться мігрувати і ядро на версію 4.0 і ніби складнощів не мало б бути... Функціонал здебільшого кастомний, також є Simple, OCFilter, Нова пошта. Чекаємо рекомендації і орієнтовну ціну. В ідеалі, хто вже проводив подібну роботу.
Необхідно виконати оновлення, перенесення та налаштування Laravel-проєктів на новий сервер із забезпеченням стабільної роботи, безпеки, захисту від експлойтів та коректної роботи всіх сервісів після міграції. 1. Основні задачі Підготувати новий сервер до роботи. Перенести файли проєктів, бази даних, конфігурації та cron-задачі. Оновити серверне програмне забезпечення. Налаштувати безпечне середовище для Laravel. Перевірити сумісність PHP, Laravel, Composer-пакетів та залежностей. Забезпечити захист від відомих експлойтів, шкідливих запитів та несанкціонованого доступу. Налаштувати SSL-сертифікати. Перевірити працездатність сайтів після перенесення. 2. Перенесення Laravel-проєктів Для кожного проєкту необхідно: Перенести файли проєкту. Перенести базу даних. Перенести .env конфігурацію. Налаштувати права доступу до директорій: storage bootstrap/cache Перевірити роботу: головної сторінки; адмін-панелі; авторизації; форм; API; завантаження файлів; email-відправки; cron-задач; queue workers.3. Безпека та захист Необхідно реалізувати базовий і прикладний рівень захисту: закрити root-доступ по SSH; налаштувати SSH-доступ тільки по ключах; змінити стандартний SSH-порт, якщо потрібно; налаштувати firewall; дозволити тільки необхідні порти; встановити Fail2Ban; приховати службові версії Nginx/Apache/PHP; заборонити доступ до .env, .git, backup-файлів, log-файлів; налаштувати правильні file permissions; перевірити проєкти на наявність шкідливих файлів; перевірити Composer-пакети на відомі вразливості; оновити залежності, якщо це не ламає функціонал; налаштувати захист від SQL injection, XSS, CSRF та path traversal; перевірити правильність Laravel APP_ENV та APP_DEBUG; встановити APP_DEBUG=false на production; налаштувати rate limiting для критичних endpoint-ів; перевірити доступи до storage/uploads; налаштувати захист від виконання PHP у upload-директоріях; перевірити права доступу до адмін-панелей. 4. SSL та домени Необхідно: Встановити SSL-сертифікати. Налаштувати автоматичне оновлення SSL. Увімкнути редирект з HTTP на HTTPS. Перевірити коректну роботу сайтів через HTTPS. 5. Резервне копіювання Необхідно налаштувати backup: файлів проєктів; баз даних; .env файлів; uploaded media; cron-конфігурацій; Nginx/Apache конфігурацій. Backup має виконуватись автоматично за розкладом. Бажано зберігати копії окремо від основного сервера. 6. Перевірка після перенесення Після міграції необхідно перевірити: відсутність 500/403/404 помилок; відсутність критичних помилок у Laravel logs. 9. Результат виконання Після завершення робіт має бути: Laravel-проєкти успішно перенесені на новий сервер; сайти працюють стабільно; SSL налаштований; сервер захищений базовими security-налаштуваннями; доступи до критичних файлів закриті; backup налаштований; cron та queues працюють; старий сервер можна відключити після фінальної перевірки.
Шукаю розробника на проект з 4 пов'язаних завдань, для сайту best-matchmaking.com виконуються послідовно:Інтеграція готового premium Blade-шаблону блог-статті + автогенерація Schema/SEO-розмітки (Article, FAQPage, Open Graph, canonical) для всіх поточних і майбутніх статейДоопрацювання структури блогу: зміна URL з 301-редиректами, перейменування в футері/меню/хлібних крихтах, чистка прихованого коду, видалення категорійНовий блок (фото + цитата відгуку) в існуючий конструктор головної та посадкових сторінок = можливість самостійно додавати текстові блоки між розділамиУніфікація шрифтів, розмірів і кольорів по всьому сайту (крім блогу) — єдиний стандарт для заголовків і звичайного тексту, включаючи хедер і футерДетальне ТЗ по кожному пункту — Додаю нижче за гугл посилання. https://docs.google.com/document/d/1E5oQO2E-xmKJ3C0jW0ZsSPDBjaiELq0ETxfdivW6yIs/edit?tab==t.0 HTML-зразки та код надсилаю в особисті повідомлення після відповіді ВАЖЛИВО.! Детально перегляньте всі 4 завдання, перш ніж видавати оффер, особливо останнє - шрифти. Там досить багато роботи. Потрібен досвідLaravel + Blade — впевнений, не початковий рівеньФронтенд (CSS/JS) на тому ж рівні, що й бекендДосвід роботи з існуючим, не своїм кодомФормат роботиBackup і тестовий сервер перед початком, перенесення на продакшн ОБОВ'ЯЗКОВО — після погодження та тестування Обов'язкова самоперевірка на всіх пристроях до здачі — надсилати "готово, перевіряйте" без власного тестування не підходить. Баґи, знайдені після здачі, виправляються в рамках тієї ж задачі. Баґи, що виникли при перенесенні. У ході перенесення також повинні бути виправлені на продакшн. Звіт зі скріншотами "до/після" по кожному пунктуТермін і бюджет — після оцінки обсягу за детальним ТЗ. Чекаю ваші оффери. Дякую