Создать парсер ссылок на сайте
Здравствуйте, уважаемые фрилансеры.
Нам нужно разработать парсер со следующим набором функционала:
Парсер должен работать на любом сайте (т.е. сайты с JavaScript и без него) и собирать информацию о ссылках
Парсер должен работать на сервере круглосуточно и сохранять данные в бд.
Мы будем передавать парсеру список сайтов и ключевых слов.
Парсер должен собирать следующую информацию о ссылке:
- Ссылка на страницу где находится текущая ссылка
- Ссылка перед редиректом
- Ссылка после редиректа
- Якорь в ссылке
- Все ссылки должны быть в одном виде, нужно удалить протокол, www - если есть, параметры запроса.
- Дата парсинга
- Категория ссылки (не работает, редирект (на другой сайт или из http на https), рабочая (не редирект))
- Дополнительные данные которые могут быть включены в парсинг
- Все ссылки в цепочке редиректов
- Полный исходный код страницы
- Весь текст который отображается на странице.
Настройки парсера:
- Список ссылок для парсинга
- Список ключевых слов по которым парсер сможет приоритизировать ссылки, которые нужно парсить.
Приоритизация должна работать по следующему принципу:
1) Ссылки которые задали мы
2) Ссылки которые имеют статус 200 идут следующими, начиная из тех, что имеют в себе ключевые слова или сайты на которых много ссылок.
Функция черного списка куда можно будет добавить домены.
Сделать страницу на которой пользователи смогут искать ссылки по ключевым словам.
Парсер должен каждый месяц проверять ссылки на работоспособность
Сроки: 3 дня, но мы готовы рассмотреть ваши предложения по срокам.
Цену указывайте сами.
-
3 дня2500 UAH
670 32 1 2 3 дня2500 UAH
Доброго времени суток, написал очень много парсеров разной тематики на Python, сделаю всё через реквесты, все требования учту, буду рад сотрудничеству
-
3 дня27 000 UAH
2225 32 0 3 дня27 000 UAH
Доброго дня. Маю 14 років досвіду на Пайтоні та 12 в парсингу. Пишіть в приват - обговоримо деталі. Дякую
Актуальные фриланс-проекты в категории Javascript и Typescript
Модули для сайта на Laravel
4000 UAH
Модуль доставки и оплаты для сайта https://novabook.top/ (Botble CMS / Laravel) Добавить в checkout удобные способы доставки и оплаты (включая рассрочку), по аналогичному стилю и удобству, как на сайте mirson ua.Доставка (обязательно) Новая Почта Отделение Почтомат Курьер на… Javascript и Typescript, PHP ∙ 3 часа 14 минут назад ∙ 13 ставок |
Разработка платформы AM Mobility (автосервис, парковка, страхование, аренда автомобилей)
256 773 UAH
Ищем команду или опытного Full Stack разработчика для создания MVP платформы AM Mobility. AM Mobility — это единая цифровая экосистема для автомобилистов, объединяющая в одном приложении и веб-платформе: парковку; автосервис; шиномонтаж; автомойку; аренду автомобилей;… Javascript и Typescript, Веб-программирование ∙ 6 часов 11 минут назад ∙ 73 ставки |
Gsap анимации
1000 UAH
Добрый день. Нужно внести правки в текущем проекте. Нужен специалист, который хорошо работает на gsap/lenis Нужно сделать анимацию карточек. Подробное ТЗ здесь: https://www.figma.com/design/5bLEJudN5LPpB9ZSoJa2Eb/Untitled?m=auto&t=qwyluUctL1lrMNvh-6 Нужно… Javascript и Typescript, Веб-программирование ∙ 11 часов 57 минут назад ∙ 16 ставок |
Коммерческая on-premise платформа видеосвязи «ViM»Требуется разработать on-premise систему видеосвязи с базовым расчетом на 100 одновременных подключений (10 изолированных комнат по 10 человек). Платформа должна иметь заложенную архитектуру для будущего горизонтального масштабирования до 1000 пользователей путем добавления… Javascript и Typescript, Веб-программирование ∙ 1 день 7 часов назад ∙ 28 ставок |
Ищу наставника по Claude Code для запуска веб-проекта с нуля**Кратко о задаче:** Я новичок без опыта в программировании. Есть готовое ТЗ на разработку сайта (42 страницы, Next.js, PostgreSQL). Хочу реализовать его самостоятельно с помощью Claude Code - нужен специалист, который настроит среду и научит меня работать с инструментом. ---… Javascript и Typescript, Обучение ∙ 2 дня 10 часов назад ∙ 18 ставок |
Львов