Робот-индексатор сайтов
98 PLNНеобходимо написать индексатор страниц сайтов, который будет состоять из двух частей:
Сборщик ссылок
Даю домен, переходит на /robots.txt извлекает все файлы sitemap (xml, xml.gz), включая вложенные, переходит по каждому sitemap, и собирает все ссылки в txt файл. Полученный txt файл можно передать далее в индексатор страниц.
Индексатор страниц
Скачивает страницы по списку URL и сохраняет все скачанные html на сервер в папку, если ответ страницы 200 (если 500, то надо добавить в повторную индексацию). После работы дает также отчет со списком ссылок и кодом статуса (200, 500 и тп). Максимально бот должен быть похож на браузер: реалистичный хедер, запрос фавикона.
Мультипоточность, возможность указания количества потоков при запуске индексатора.
В реальном режиме показывать сколько ссылок собрано / сколько успешно выгружено.
-
7 dni820 PLN
668 14 0 7 dni820 PLN
Здравствуйте. Готов сделать, если интересно пишите.
-----------------------------------------------------------------
Aktualne zlecenia dla freelancerów w kategorii Programowanie stron internetowych
System PIM
820 PLN
Trzeba zrobić system PIM. Liczba produktów — kilka milionów. Jest kilku dostawców, którzy podają dane w różnych formatach: csv, xml, API. Dane są ograniczone, często trzeba znajdować cechy produktów w innych źródłach i uzupełniać. Trzeba zrobić tabelę, w której będą… Bazy danych i SQL, Programowanie stron internetowych ∙ 23 minuty temu ∙ 12 ofert |
Szukamy specjalisty, który stworzy plik XML/YML z produktami dla marketplace'ów Rozetka i Kasta.Należy przygotować plik z towarami: nazwa, opis, cena, stany, zdjęcia, kategorie, cechy, rozmiary/kolory. Ważne: plik musi przejść walidację Rozetka i poprawnie załadować się na Kasta. Towar mamy w CRM Sitnix oraz na stronie KhoroshopTowaru jest orientacyjnie 80 sztuk… Programowanie stron internetowych ∙ 3 godziny 29 minut temu ∙ 18 ofert |
Strona internetowa dla sklepu z hurtową sprzedażą włosów
2450 PLN
Wymagania w załączniku Potrzebna jest strona internetowa dla hurtowni sprzedaży włosów w Polsce Wszystkie szczegóły opisane są w tzw HAIR FAMILY ТЗ.docx Programowanie stron internetowych, Projektowanie stron internetowych ∙ 3 godziny 51 minut temu ∙ 98 ofert |
Moduł dla Dle 19.1Potrzebny moduł czytnika książek w formacie fb2 dla Dle 19.1, jak na wideo - https://www.youtube.com/watch?v=4F-hFe2XsGA Istota: Przy dodawaniu wiadomości, w dodatkowym polu ładowana jest książka w formacie fb2. W pełnej wiadomości pojawia się link do czytania. Można zrobić… Programowanie stron internetowych ∙ 5 godzin 13 minut temu ∙ 14 ofert |
Wsparcie przy Landing Page, sklep z subskrypcjami, zbieranie mailiDzień dobry, poszukuję osoby do wsparcia technicznego przy uruchomieniu strony internetowej: landing page ze sklepem oraz systemem newsletterowym. Zakres prac obejmuje: wykonanie landing page / prostej strony internetowej, uruchomienie sklepu z możliwością sprzedaży produktów… Programowanie stron internetowych ∙ 1 dzień temu ∙ 55 ofert |
Karagandy