Создать парсер ссылок на сайте
Здравствуйте, уважаемые фрилансеры.
Нам нужно разработать парсер со следующим набором функционала:
Парсер должен работать на любом сайте (т.е. сайты с JavaScript и без него) и собирать информацию о ссылках
Парсер должен работать на сервере круглосуточно и сохранять данные в бд.
Мы будем передавать парсеру список сайтов и ключевых слов.
Парсер должен собирать следующую информацию о ссылке:
- Ссылка на страницу где находится текущая ссылка
- Ссылка перед редиректом
- Ссылка после редиректа
- Якорь в ссылке
- Все ссылки должны быть в одном виде, нужно удалить протокол, www - если есть, параметры запроса.
- Дата парсинга
- Категория ссылки (не работает, редирект (на другой сайт или из http на https), рабочая (не редирект))
- Дополнительные данные которые могут быть включены в парсинг
- Все ссылки в цепочке редиректов
- Полный исходный код страницы
- Весь текст который отображается на странице.
Настройки парсера:
- Список ссылок для парсинга
- Список ключевых слов по которым парсер сможет приоритизировать ссылки, которые нужно парсить.
Приоритизация должна работать по следующему принципу:
1) Ссылки которые задали мы
2) Ссылки которые имеют статус 200 идут следующими, начиная из тех, что имеют в себе ключевые слова или сайты на которых много ссылок.
Функция черного списка куда можно будет добавить домены.
Сделать страницу на которой пользователи смогут искать ссылки по ключевым словам.
Парсер должен каждый месяц проверять ссылки на работоспособность
Сроки: 3 дня, но мы готовы рассмотреть ваши предложения по срокам.
Цену указывайте сами.
-
3 дні2500 UAH
670 32 1 2 3 дні2500 UAH
Доброго времени суток, написал очень много парсеров разной тематики на Python, сделаю всё через реквесты, все требования учту, буду рад сотрудничеству
-
3 дні27 000 UAH
2225 32 0 3 дні27 000 UAH
Доброго дня. Маю 14 років досвіду на Пайтоні та 12 в парсингу. Пишіть в приват - обговоримо деталі. Дякую
Актуальні фриланс-проєкти в категорії Javascript та Typescript
Розробка платформи AM Mobility (автосервіс, парковка, страхування, оренда автомобілів)
259 176 UAH
Шукаємо команду або досвідченого Full Stack розробника для створення MVP платформи AM Mobility. AM Mobility — це єдина цифрова екосистема для автомобілістів, що об'єднує в одному додатку та веб-платформі: парковку; автосервіс; шиномонтаж; автомийку; оренду автомобілів;… Javascript та Typescript, Веб-програмування ∙ 4 дні 1 година тому ∙ 108 ставок |
Gsap анімації
1000 UAH
Доброго дня. Треба внести правки в поточному проєкті. Потрібен фахівець, який добре працює на gsap/lenis Треба зробити анімацію карточок. Детально ТЗ тут: https://www.figma.com/design/5bLEJudN5LPpB9ZSoJa2Eb/Untitled?m=auto&t=qwyluUctL1lrMNvh-6 Треба проявити креатив та… Javascript та Typescript, Веб-програмування ∙ 4 дні 7 годин тому ∙ 21 ставка |
Комерційна on-premise платформа відеозв'язку «ViM»Требуется разработати on-premise систему відеозв'язку з базовим розрахунком на 100 одночасних підключень (10 ізольованих кімнат по 10 осіб). Платформа повинна мати закладену архітектуру для майбутнього горизонтального масштабування до 1000 користувачів шляхом додавання нових… Javascript та Typescript, Веб-програмування ∙ 5 днів 2 години тому ∙ 32 ставки |
Шукаю наставника з Claude Code для запуску веб-проєкту з нуля**Коротко про завдання:** Я новачок без досвіду в програмуванні. Є готове ТЗ на розробку сайту (42 сторінки, Next.js, PostgreSQL). Хочу реалізувати його самостійно за допомогою Claude Code - потрібен спеціаліст, який налаштує середовище і навчить мене працювати з інструментом.… Javascript та Typescript, Навчання ∙ 6 днів 6 годин тому ∙ 18 ставок |
Оновлення дизайну на сайтіПотрібно оновити дизайн існуючого сайту, використовуючи HTML, CSS, JS: освіжити зовнішній вигляд, зробити його сучасним і адаптивним під мобільні пристрої. Потрібно додати плавні анімації та інтерактивні елементи. HTML та CSS верстання, Javascript та Typescript ∙ 6 днів 23 години тому ∙ 94 ставки |
Львів