Скрипт парсера
Нужно написать скрипт парсер.
1. Скрипт берет входящие данные из формы, данные в форму вносит админ - список доменов по 1 в строке.
При нажатии на кнопку происходит сохранение данный в таблицу БД.
При повторном добавлении - дубликаты игнорируются.
2. Домены отображаются в таблице - домены.
Таблица имеет множественный выбор и поля сортировки.
Есть кнопка "выбрать все". При выборе одного или нескольких доменов разблокируються кнопки действий -
- Парсить
- Удалить (удаление из базы с подтверждением)
- Ссылки (открывает страницу домена с таблицей - найденных ссылок)
3. При выборе действия "парсить" - происходит собственно парсинг страницы:
В ходе которого парсер собирает все исходящие ссылки и приводит их в доменный вид DOMAINNAME.COM - сохраняя в базу.
4. Затем происходит поиск найденных ссылок на соответствие с таблицей "OR"
Таблица OR - отдельная страничка где по аналогии можно загрузить домены. Но в ней есть только действие "Удалить"
Если сравнение таблицы ссылок и таблицы OR дало положительный результат - то есть на домене есть ссылка хотя бы на один из сайтов таблицы OR то домену присваивается статус "Есть ссылка на OR" а в поле таблицы Домены "Страница с ссылками" заноситься индексная страница (/)
5. Если результат отрицательный то производиться поиск по анкорам внутренних ссылок и сравнение с таблицей "Внутренние анкоры" Этот список так же как и таблица OR - но уже имеет значения:
1. links
2. link
3. resources
4. reviews
5. review
6. testimonials
7. partners
8. partner
9. friends
10. sites
6. Если такая ссылка с нужным анкором найдена - скрипт парсит ЕЕ по аналогии с п3 и при успехе (нашел ссылки и соответствие) заносит эту страничку в поле Страница с ссылками"
7. При поиске в п4 отдельно производиться поиск по 1 специальному полю которое указывается в настройке - наш сайт - и если он найден в таблице доменов в поле Ссылка на наш сайт ставиться статус "Найден Наш сайт". Иначе - "нет ссылки на наш Сайт"
Процесс парсинга должен отображаться в виде прогресс бара с возможностью остановить/продолжить или отменить.
Результаты в виде отчета - количество найдено/ не найдено / всего обработано.
Интерфейс можно взять из любого красивого бесплатного UI
Реализация на любом языке с возможностью простой установки на сервер.
Можно юзать фреймворки.
Актуальні фриланс-проєкти в категорії Парсинг даних
Розсилка Лінкедін
5322 UAH
Розсилка Лінкедін Необхідно запустити розсилку Лінкедін по заданій базі. 30 000+ контактів Чекаємо пропозицій E-mail маркетинг, Парсинг даних ∙ 20 годин 42 хвилини тому ∙ 8 ставок |
Парсинг email-ів компаній зі специфічної індустрії
5000 UAH
Знайти контакти (e-mail, номер телефону) компаній, котрі займаються визначеним бізнесом, вказаним у цьому Google документі https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=sharing Результат має бути у вигляді таблиці з колонками:… Парсинг даних ∙ 1 день 20 годин тому ∙ 31 ставка |
Потрібен парсер інтернет-магазину https://www.lcsc.com/потрібно регулярно (1 раз на місяць, або при запуску скрипта) отримувати актуальну інформацію про товари в наявності магазину https://www.lcsc.com/ з каталогу всіх розділів… Парсинг даних ∙ 3 дні 2 години тому ∙ 43 ставки |
OpenCart — каталог оренди спецтехніки
6000 UAH
OpenCart — каталог оренди спецтехніки Потрібно запустити каталог оренди спецтехніки на OpenCart. Тематика: екскаватори; автовишки; навантажувачі; генератори; крани; риштування; інша будівельна техніка. Бажано, щоб у вас вже був готовий шаблон або напрацювання під… Веб-програмування, Парсинг даних ∙ 3 дні 18 годин тому ∙ 59 ставок |
Перенести програму - слетів сервер, де була програма (офіційний дозволений парсинг державних даних)
2061 UAH
Добрий! У мене у клієнта стався даний кейс, описаний нижче. Потрібно допомогти перенести на новий сервер і протестувати програму. Краще програміст, який розбирається в парсингу. Налаштування ПЗ та серверів, Парсинг даних ∙ 3 дні 22 години тому ∙ 29 ставок |