Парсер новостей
Задача: Написать скрипт-парсер для отслеживания обновлений контента на определенных сайтах с дальнейшей его автоматической публикацией.
Алгоритм работы (как вижу я):
С определенным интервалом сайт (раздел сайта либо список страниц) сканируется на наличие обновлений.
Найденный новый контент публикуется на нашем сайте указав дату публикацию раньше, чем на оригинале (например рандомно в пределах -1 час)
Доработка: В дальнейшем скрипт нужно доработать, сделав возможность перед публикацией контента на сайте добавлять его в панель вебмастера Яндекс, в раздел Оригинальные тексты.
Нюансы
Часть сайтов имеет защиту от копирования, все возможные Ddos защиты и блокировку ботов.
По этому (как вижу я):
Нужно иметь список proxy, который будет переключаться в случае блокировки ip
Иметь возможность использовать рандомные интервалы проверки (например в пределах 10 минут рандомно), для обхода защиты от краулеров
Имитировать обычное посещение пользователем (может яндекc бота или типа того)
Сайты, которые уже сейчас нужно запускать в работу:
напишу после выбора исполнителя
Дальнейшее развитие
Планируется создавать клоны и дублировать контент других сайтов, поэтому есть необходимость создания унифицированной платформы (cms) для клонов и работа в связке с парсером.
Доработка: Должна быть реализована возможность самостоятельной настройки парсера без участия программиста.
-
2 days451 USD
81 2 days451 USD
Реально сделаю за 2 дня(пока есть время, пока не взял другой проект)!
Построю все на современнейших технологиях!
Абсолютно все равно какая на сайтах защита от парсинга.
Сделаю максимально легкую настройку без участия программиста.
-
10 days451 USD
231 1 0 10 days451 USD
О вас расширенное ТЗ , от меня качественная работа, опыт более 7 лет
-
10 days564 USD
218 1 0 10 days564 USD
готов реализовать, цена зависит от количества сайтов (подход к каждому из них нужен индивидуальный, т.е. один парсер - один сайт), и что вы хотите настраивать?
-
Какие именно сайты необходимо парсить?
-
Какие именно сайты необходимо парсить
-
Я в ауте. Просьба создать интернет-помойку открытым текстом. По-началу показалось, что это троллинг биржи
-
Current freelance projects in the category Data Parsing
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 22 hours 2 minutes back ∙ 39 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 1 day 14 hours back ∙ 54 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
46 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 1 day 18 hours back ∙ 29 proposals |
Website parsingImplementation of 4 parsers (directory websites) is required. There is a technical specification, and there is a code example as a reference. The tasks include: Writing a parser Integrating a proxy Deduplication logic (transfer the logic from the example) Hashing logic based… Data Parsing ∙ 3 days 10 hours back ∙ 44 proposals |
Collection (parsing) of product database from supplier websites (Excel / CSV)
226 USD
Collection of product database from supplier websites (Excel / CSV) Good day. A specialist is required to collect and structure data from several supplier websites, access to which will be provided.Task: A unified product database needs to be created in Excel (XLSX) or CSV… Web Programming, Data Parsing ∙ 4 days 18 hours back ∙ 108 proposals |
Kyiv