Создать парсер ссылок на сайте
Здравствуйте, уважаемые фрилансеры.
Нам нужно разработать парсер со следующим набором функционала:
Парсер должен работать на любом сайте (т.е. сайты с JavaScript и без него) и собирать информацию о ссылках
Парсер должен работать на сервере круглосуточно и сохранять данные в бд.
Мы будем передавать парсеру список сайтов и ключевых слов.
Парсер должен собирать следующую информацию о ссылке:
- Ссылка на страницу где находится текущая ссылка
- Ссылка перед редиректом
- Ссылка после редиректа
- Якорь в ссылке
- Все ссылки должны быть в одном виде, нужно удалить протокол, www - если есть, параметры запроса.
- Дата парсинга
- Категория ссылки (не работает, редирект (на другой сайт или из http на https), рабочая (не редирект))
- Дополнительные данные которые могут быть включены в парсинг
- Все ссылки в цепочке редиректов
- Полный исходный код страницы
- Весь текст который отображается на странице.
Настройки парсера:
- Список ссылок для парсинга
- Список ключевых слов по которым парсер сможет приоритизировать ссылки, которые нужно парсить.
Приоритизация должна работать по следующему принципу:
1) Ссылки которые задали мы
2) Ссылки которые имеют статус 200 идут следующими, начиная из тех, что имеют в себе ключевые слова или сайты на которых много ссылок.
Функция черного списка куда можно будет добавить домены.
Сделать страницу на которой пользователи смогут искать ссылки по ключевым словам.
Парсер должен каждый месяц проверять ссылки на работоспособность
Сроки: 3 дня, но мы готовы рассмотреть ваши предложения по срокам.
Цену указывайте сами.
-
3 days56 USD
670 32 1 2 3 days56 USD
Доброго времени суток, написал очень много парсеров разной тематики на Python, сделаю всё через реквесты, все требования учту, буду рад сотрудничеству
-
3 days601 USD
2225 32 0 3 days601 USD
Доброго дня. Маю 14 років досвіду на Пайтоні та 12 в парсингу. Пишіть в приват - обговоримо деталі. Дякую
Current freelance projects in the category Data Parsing
Data parsing through mobile APILooking for a person with experience in data parsing through mobile API, for parsing e-commerce, rozetka and similar sites. Tasks: 1. Intercepting traffic from the mobile application (Android), setting up a proxy, analyzing requests. 2. Identifying the necessary API endpoints… Python, Data Parsing ∙ 1 day 18 hours back ∙ 26 proposals |
Looking for a programmer or vibe coding Automation scraping data 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing I accidentally sent that link Web Programming, Data Parsing ∙ 1 day 20 hours back ∙ 34 proposals |
Create a dashboard in https://airtable.com/ for the performance of advertising creatives from Facebook ads.Full specification https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Databases & SQL, Data Parsing ∙ 6 days 15 hours back ∙ 19 proposals |
Creation of an Excel file for uploading products to the websites of other partners.I am interested in creating an Excel table with all parameters. Here is the website - https://heiztechnik.com.ua/ And the positions I am interested in to be transferred: Manual boilers: 1) TIS UNI 15-95 kW (10) pcs 2)TIS HARD 150-500 kW (7) pcs Pellet boilers: 1)TIS PELLET… Data Parsing ∙ 6 days 19 hours back ∙ 38 proposals |
A developer is required for parsing the catalog and automating data import.Detailed technical specifications in the attached document Please indicate the estimated cost and timeline in your response Do you have experience working with parsing large catalogs What possible difficulties or limitations do you see in this task Databases & SQL, Data Parsing ∙ 6 days 22 hours back ∙ 43 proposals |
Lvov