Робот-индексатор сайтов
27 USDНеобходимо написать индексатор страниц сайтов, который будет состоять из двух частей:
Сборщик ссылок
Даю домен, переходит на /robots.txt извлекает все файлы sitemap (xml, xml.gz), включая вложенные, переходит по каждому sitemap, и собирает все ссылки в txt файл. Полученный txt файл можно передать далее в индексатор страниц.
Индексатор страниц
Скачивает страницы по списку URL и сохраняет все скачанные html на сервер в папку, если ответ страницы 200 (если 500, то надо добавить в повторную индексацию). После работы дает также отчет со списком ссылок и кодом статуса (200, 500 и тп). Максимально бот должен быть похож на браузер: реалистичный хедер, запрос фавикона.
Мультипоточность, возможность указания количества потоков при запуске индексатора.
В реальном режиме показывать сколько ссылок собрано / сколько успешно выгружено.
-
7 days225 USD
668 14 0 7 days225 USD
Здравствуйте. Готов сделать, если интересно пишите.
-----------------------------------------------------------------
Current freelance projects in the category Web Programming
Online shoe storeIn connection with the expansion of the assortment and the involvement of partners in the dropshipping system, we are looking for a specialist or team to create a modern online shoe store. IMPORTANT: an automated inventory management system needs to be created with the… Online Stores & E-commerce, Web Programming ∙ 21 minutes back ∙ 19 proposals |
Development of the AM Mobility platform (car service, parking, insurance, car rental)
5770 USD
We are looking for a team or an experienced Full Stack developer to create the MVP of the AM Mobility platform. AM Mobility is a unified digital ecosystem for motorists, combining in one application and web platform: parking; car service; tire fitting; car wash; car rental;… Javascript and Typescript, Web Programming ∙ 4 hours 40 minutes back ∙ 66 proposals |
Mini apps Telegram. StoreGood afternoon An application is required in Telegram (online store) Example - essentially 1 to 1 like here brandspacebot Your experience is important, the stack you propose to use and why Price and timeframe approximately to start, I will be waiting for questions Web Programming, Bot Development ∙ 9 hours 4 minutes back ∙ 65 proposals |
Gsap animations
22 USD
Good day. Corrections need to be made in the current project. A specialist is needed who works well with gsap/lenis. Animation of cards needs to be done. Detailed specifications here:… Javascript and Typescript, Web Programming ∙ 10 hours 25 minutes back ∙ 14 proposals |
Make my website
16 USD
A configured application for my site is ready, and products need to be uploaded from the WooCommerce system. No further settings are required, just interested in the cost and timeline. Web Programming ∙ 1 day 3 hours back ∙ 23 proposals |
Karaganda