Скрипт парсера
Нужно написать скрипт парсер.
1. Скрипт берет входящие данные из формы, данные в форму вносит админ - список доменов по 1 в строке.
При нажатии на кнопку происходит сохранение данный в таблицу БД.
При повторном добавлении - дубликаты игнорируются.
2. Домены отображаются в таблице - домены.
Таблица имеет множественный выбор и поля сортировки.
Есть кнопка "выбрать все". При выборе одного или нескольких доменов разблокируються кнопки действий -
- Парсить
- Удалить (удаление из базы с подтверждением)
- Ссылки (открывает страницу домена с таблицей - найденных ссылок)
3. При выборе действия "парсить" - происходит собственно парсинг страницы:
В ходе которого парсер собирает все исходящие ссылки и приводит их в доменный вид DOMAINNAME.COM - сохраняя в базу.
4. Затем происходит поиск найденных ссылок на соответствие с таблицей "OR"
Таблица OR - отдельная страничка где по аналогии можно загрузить домены. Но в ней есть только действие "Удалить"
Если сравнение таблицы ссылок и таблицы OR дало положительный результат - то есть на домене есть ссылка хотя бы на один из сайтов таблицы OR то домену присваивается статус "Есть ссылка на OR" а в поле таблицы Домены "Страница с ссылками" заноситься индексная страница (/)
5. Если результат отрицательный то производиться поиск по анкорам внутренних ссылок и сравнение с таблицей "Внутренние анкоры" Этот список так же как и таблица OR - но уже имеет значения:
1. links
2. link
3. resources
4. reviews
5. review
6. testimonials
7. partners
8. partner
9. friends
10. sites
6. Если такая ссылка с нужным анкором найдена - скрипт парсит ЕЕ по аналогии с п3 и при успехе (нашел ссылки и соответствие) заносит эту страничку в поле Страница с ссылками"
7. При поиске в п4 отдельно производиться поиск по 1 специальному полю которое указывается в настройке - наш сайт - и если он найден в таблице доменов в поле Ссылка на наш сайт ставиться статус "Найден Наш сайт". Иначе - "нет ссылки на наш Сайт"
Процесс парсинга должен отображаться в виде прогресс бара с возможностью остановить/продолжить или отменить.
Результаты в виде отчета - количество найдено/ не найдено / всего обработано.
Интерфейс можно взять из любого красивого бесплатного UI
Реализация на любом языке с возможностью простой установки на сервер.
Можно юзать фреймворки.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 3 godziny 51 minut temu ∙ 15 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 1 dzień 9 godzin temu ∙ 41 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 1 godzina temu ∙ 57 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 2 dni 5 godzin temu ∙ 29 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 3 dni 21 godzin temu ∙ 44 oferty |