Создать парсер ссылок на сайте
Здравствуйте, уважаемые фрилансеры.
Нам нужно разработать парсер со следующим набором функционала:
Парсер должен работать на любом сайте (т.е. сайты с JavaScript и без него) и собирать информацию о ссылках
Парсер должен работать на сервере круглосуточно и сохранять данные в бд.
Мы будем передавать парсеру список сайтов и ключевых слов.
Парсер должен собирать следующую информацию о ссылке:
- Ссылка на страницу где находится текущая ссылка
- Ссылка перед редиректом
- Ссылка после редиректа
- Якорь в ссылке
- Все ссылки должны быть в одном виде, нужно удалить протокол, www - если есть, параметры запроса.
- Дата парсинга
- Категория ссылки (не работает, редирект (на другой сайт или из http на https), рабочая (не редирект))
- Дополнительные данные которые могут быть включены в парсинг
- Все ссылки в цепочке редиректов
- Полный исходный код страницы
- Весь текст который отображается на странице.
Настройки парсера:
- Список ссылок для парсинга
- Список ключевых слов по которым парсер сможет приоритизировать ссылки, которые нужно парсить.
Приоритизация должна работать по следующему принципу:
1) Ссылки которые задали мы
2) Ссылки которые имеют статус 200 идут следующими, начиная из тех, что имеют в себе ключевые слова или сайты на которых много ссылок.
Функция черного списка куда можно будет добавить домены.
Сделать страницу на которой пользователи смогут искать ссылки по ключевым словам.
Парсер должен каждый месяц проверять ссылки на работоспособность
Сроки: 3 дня, но мы готовы рассмотреть ваши предложения по срокам.
Цену указывайте сами.
-
3 dni205 PLN
670 32 1 2 3 dni205 PLN
Доброго времени суток, написал очень много парсеров разной тематики на Python, сделаю всё через реквесты, все требования учту, буду рад сотрудничеству
-
3 dni2215 PLN
2225 32 0 3 dni2215 PLN
Доброго дня. Маю 14 років досвіду на Пайтоні та 12 в парсингу. Пишіть в приват - обговоримо деталі. Дякую
Aktualne zlecenia dla freelancerów w kategorii Javascript & Typescript
Poprawić CSS/DOM-układ kart w rozszerzeniu Chrome dla lokalizacji D&D BeyondJest to rozszerzenie Chrome Manifest V3, które lokalizuje stronę D&D Beyond na język ukraiński. Projekt napisany jest w TypeScript + WXT. Rozszerzenie działa poprzez skrypt zawartości: znajduje angielski tekst na stronach D&D Beyond i zastępuje go ukraińskim tłumaczeniem.… Układ HTML i CSS, Javascript & Typescript ∙ 1 dzień 10 godzin temu ∙ 37 ofert |
Rozwój platformy AM Mobility (serwis samochodowy, parking, ubezpieczenie, wynajem samochodów)
21 265 PLN
Szukamy zespołu lub doświadczonego programisty Full Stack do stworzenia MVP platformy AM Mobility. AM Mobility to jednolita cyfrowa ekosystem dla kierowców, łącząca w jednej aplikacji i platformie internetowej: parking; serwis samochodowy; wulkanizację; myjnię samochodową;… Javascript & Typescript, Programowanie stron internetowych ∙ 1 dzień 19 godzin temu ∙ 98 ofert |
Animacje Gsap
82 PLN
Dzień dobry. Trzeba wprowadzić poprawki w bieżącym projekcie. Potrzebny specjalista, który dobrze pracuje na gsap/lenis Trzeba zrobić animację kart. Szczegółowe wymagania tutaj:… Javascript & Typescript, Programowanie stron internetowych ∙ 2 dni 1 godzina temu ∙ 21 ofert |
Komercyjna platforma wideokonferencyjna on-premise „ViM”Wymagana jest opracowanie systemu wideokonferencyjnego on-premise z podstawowym obliczeniem na 100 jednoczesnych połączeń (10 izolowanych pokoi po 10 osób). Platforma powinna mieć wbudowaną architekturę do przyszłego poziomego skalowania do 1000 użytkowników poprzez dodawanie… Javascript & Typescript, Programowanie stron internetowych ∙ 2 dni 20 godzin temu ∙ 32 oferty |
Szukam mentora z Claude Code do uruchomienia projektu internetowego od zera**Krótko o zadaniu:** Jestem nowicjuszem bez doświadczenia w programowaniu. Mam gotowe TŻ na rozwój strony (42 strony, Next.js, PostgreSQL). Chcę zrealizować to samodzielnie za pomocą Claude Code - potrzebuję specjalisty, który skonfiguruje środowisko i nauczy mnie pracy z… Javascript & Typescript, Edukacja ∙ 4 dni temu ∙ 18 ofert |
Lwów