Парсер новостей
Задача: Написать скрипт-парсер для отслеживания обновлений контента на определенных сайтах с дальнейшей его автоматической публикацией.
Алгоритм работы (как вижу я):
С определенным интервалом сайт (раздел сайта либо список страниц) сканируется на наличие обновлений.
Найденный новый контент публикуется на нашем сайте указав дату публикацию раньше, чем на оригинале (например рандомно в пределах -1 час)
Доработка: В дальнейшем скрипт нужно доработать, сделав возможность перед публикацией контента на сайте добавлять его в панель вебмастера Яндекс, в раздел Оригинальные тексты.
Нюансы
Часть сайтов имеет защиту от копирования, все возможные Ddos защиты и блокировку ботов.
По этому (как вижу я):
Нужно иметь список proxy, который будет переключаться в случае блокировки ip
Иметь возможность использовать рандомные интервалы проверки (например в пределах 10 минут рандомно), для обхода защиты от краулеров
Имитировать обычное посещение пользователем (может яндекc бота или типа того)
Сайты, которые уже сейчас нужно запускать в работу:
напишу после выбора исполнителя
Дальнейшее развитие
Планируется создавать клоны и дублировать контент других сайтов, поэтому есть необходимость создания унифицированной платформы (cms) для клонов и работа в связке с парсером.
Доработка: Должна быть реализована возможность самостоятельной настройки парсера без участия программиста.
-
2 дні20 000 UAH
81 2 дні20 000 UAH
Реально сделаю за 2 дня(пока есть время, пока не взял другой проект)!
Построю все на современнейших технологиях!
Абсолютно все равно какая на сайтах защита от парсинга.
Сделаю максимально легкую настройку без участия программиста.
-
10 днів20 000 UAH
231 1 0 10 днів20 000 UAH
О вас расширенное ТЗ , от меня качественная работа, опыт более 7 лет
-
10 днів25 000 UAH
218 1 0 10 днів25 000 UAH
готов реализовать, цена зависит от количества сайтов (подход к каждому из них нужен индивидуальный, т.е. один парсер - один сайт), и что вы хотите настраивать?
-
Какие именно сайты необходимо парсить?
-
Какие именно сайты необходимо парсить
-
Я в ауте. Просьба создать интернет-помойку открытым текстом. По-началу показалось, что это троллинг биржи
-
Актуальні фриланс-проєкти в категорії PHP
Розробка веб-сайту WordPress
1002 UAH
|
Зламався кошик WooCommerce (WordPress) — не додає товар і не відкривається сторінка кошикаНа сайті інтернет-магазинуhttps://www.dobryi-gospodar.com/ (WordPress + WooCommerce) повністю перестала працювати функція оформлення замовлення.При натисканні на кнопку "Додати у кошик" (як у картці товару, так і в каталозі) починається тривале завантаження (індикатор… CMS, PHP ∙ 16 годин 56 хвилин тому ∙ 50 ставок |
Функція пошуку товарів за зображеннямНеобхідно розробити та інтегрувати на сайт функцію пошуку товарів за зображенням.Що потрібно реалізуватиКнопка «Пошук за фото» на сайті.Завантаження зображення користувачем: JPG.Пошук візуально схожих товарів у каталозі.Виведення результатів у вигляді стандартних карток товарів:… PHP, Веб-програмування ∙ 1 день тому ∙ 41 ставка |
Парсер expireddomains.net
5000 UAH
Потрібен парсер expireddomains.net на сайті потрібно спочатку залогінитись, проблема в тому що блочить ІР при намаганні парсити дані, потрібно парсити тематичні домени по списку ключових слів, хто не впевнений в своїх силах не пишіть PHP, Веб-програмування ∙ 2 дні 23 години тому ∙ 51 ставка |
Інтеграція платіжного сервісу з Sales Force
3104 UAH
На сайті стоїть віджет платіжної системи, його потрібно інтегрувати з sales force, щоб всі необхідні параметри бачили на стороні sales force. Потрібно зробити так, щоб усі платежі та підписки контролювалися через sales force. PHP, Веб-програмування ∙ 3 дні 2 години тому ∙ 41 ставка |
Київ