Парсер новостей
Задача: Написать скрипт-парсер для отслеживания обновлений контента на определенных сайтах с дальнейшей его автоматической публикацией.
Алгоритм работы (как вижу я):
С определенным интервалом сайт (раздел сайта либо список страниц) сканируется на наличие обновлений.
Найденный новый контент публикуется на нашем сайте указав дату публикацию раньше, чем на оригинале (например рандомно в пределах -1 час)
Доработка: В дальнейшем скрипт нужно доработать, сделав возможность перед публикацией контента на сайте добавлять его в панель вебмастера Яндекс, в раздел Оригинальные тексты.
Нюансы
Часть сайтов имеет защиту от копирования, все возможные Ddos защиты и блокировку ботов.
По этому (как вижу я):
Нужно иметь список proxy, который будет переключаться в случае блокировки ip
Иметь возможность использовать рандомные интервалы проверки (например в пределах 10 минут рандомно), для обхода защиты от краулеров
Имитировать обычное посещение пользователем (может яндекc бота или типа того)
Сайты, которые уже сейчас нужно запускать в работу:
напишу после выбора исполнителя
Дальнейшее развитие
Планируется создавать клоны и дублировать контент других сайтов, поэтому есть необходимость создания унифицированной платформы (cms) для клонов и работа в связке с парсером.
Доработка: Должна быть реализована возможность самостоятельной настройки парсера без участия программиста.
-
2 дня20 000 UAH
81 2 дня20 000 UAH
Реально сделаю за 2 дня(пока есть время, пока не взял другой проект)!
Построю все на современнейших технологиях!
Абсолютно все равно какая на сайтах защита от парсинга.
Сделаю максимально легкую настройку без участия программиста.
-
10 дней20 000 UAH
231 1 0 10 дней20 000 UAH
О вас расширенное ТЗ , от меня качественная работа, опыт более 7 лет
-
10 дней25 000 UAH
218 1 0 10 дней25 000 UAH
готов реализовать, цена зависит от количества сайтов (подход к каждому из них нужен индивидуальный, т.е. один парсер - один сайт), и что вы хотите настраивать?
-
Какие именно сайты необходимо парсить?
-
Какие именно сайты необходимо парсить
-
Я в ауте. Просьба создать интернет-помойку открытым текстом. По-началу показалось, что это троллинг биржи
-
Актуальные фриланс-проекты в категории PHP
Парсер expireddomains.net
5000 UAH
Нужен парсер expireddomains.net на сайте нужно сначала залогиниться, проблема в том что блокирует ИП при попытке парсить данные, нужно парсить тематические домены по списку ключевых слов, кто не уверен в своих силах не пишите PHP, Веб-программирование ∙ 1 день 21 час назад ∙ 48 ставок |
Интеграция платежного сервиса с Sales Force
3104 UAH
На сайте стоит виджет платежной системы, его нужно интегрировать с asles fоrce что бы все требуемые параметры видели на стороне salec force Нужно сдлеать так, что бы все платежи и подписки кнтролировались через salecforec PHP, Веб-программирование ∙ 2 дня 1 час назад ∙ 40 ставок |
Домофонные системы
4000 UAH
Ищем опытного программиста BAS (1С 8.3) для доработки самописной конфигурации под бизнес-процессы нашей компании. Что нужно: — Изучить текущую самописную конфигурацию BAS 8.3 — Доработать и настроить под наши процессы — Учет: клиенты, договоры, заявки, склад, оплаты, акты… PHP, Базы данных и SQL ∙ 5 дней назад ∙ 13 ставок |
Выгрузка товаров из 1С на prom.uaСоздать, настроить модуль выгрузки по API, товаров из 1С в кабинет и на сайт prom.ua, rozetka или другой маркетплейс на выбор, остатки, наименования, картинка из 1С, цены, автоматическая выгрузка, автоматическое обновление PHP, Базы данных и SQL ∙ 5 дней 16 часов назад ∙ 21 ставка |
Исправить проблему перевода WPMLНа сайте настроен перевод товаров через Advanced Editor. Перевод текстов в редакторе корректный, но при этом на сайте отображается некорректный текст. Если зайти в редактор страницы (на языке, на который переводим), там как раз этот текст и указан (в WordPress Editor).… PHP, Веб-программирование ∙ 6 дней 17 часов назад ∙ 37 ставок |
Киев