Налаштувати рекурсивний парсер сайту - зберегти сторінки - на PHP
3500 UAH
Потрібно знайти бібліотеку на Github на PHP під рекурсивним парсінг сайту (обхід кожної сторінки), можливо написати невелику обертку під вже існуючу.
Мета - пройти через всі посилання на сайті, завантажити і зберегти на диск всі сторінки починаючи з головної сторінки для подальшої обробки. Бажано без використання БД.
Вимоги :
- можливість заміни UA
Прокси
- багатопоточність
Без БД буде плусом
Подивіться на Spatie / Guzzle і т.п. Бібліотеки, можливо, вони повністю підходять.
Сайт, на якому потрібно проаналізувати робочу здатність tellows.com , підняти сторінки тільки в каталозі /num/ - проаналізувати на навантаженні, щоб не копався на обсязі при великих чергах обходу сторін.
Я постачаю VPS на Vultr, на якому можна буде робити тести і натінку.
Відгук замовника про співпрацю з Ivan Kostyuk
Налаштувати рекурсивний парсер сайту - зберегти сторінки - на PHPПлюс для:
- Іван спеціаліст у своїй галузі і пропонує варіанти поліпшення проекту, володіє технологіями та досвідом за заявленим проектом
- Доступний майже в будь-який час дня і ночі, швидко відповідає
Кінцевий продукт отриманий таким, яким він потрібен.
Мінуси :
Це цінує свій час дорожче часу клієнта і включає в вартість проекту час витрачений на власні труднощі з розробкою коду на порожньому наданому сервері. Мені було витрачено занадто багато часу на запити про документацію до зробленої роботи і доведення проекту до роботоспроможного стану + довелося доплатити в кінцевому підсумку за це. Від спочатку зданого проекту на перевірку (який прийнятий не був з огляду на неможливість його використання) до кінцевого прийняття швидкість роботи коду і проекту в цілому була збільшена більш ніж у 20 разів шляхом пряк і витрачених N годин спільних переписів/наступних пряк.
Відгук фрилансера про співпрацю з Махом
Налаштувати рекурсивний парсер сайту - зберегти сторінки - на PHPДякую за цікавий проект та те, що завжди були на зв'язку!
-
5 днів1000 UAH
259 6 0 5 днів1000 UAH
Готова виконати Вашу місію. Пишіть в особисті повідомлення, у мене є досвід виконання подібних завдань.
-
Из-за частых запросов не будет бана?
Логика не сложная. Но если на сайте есть защита от DDoS атак?
-
Поэтому и нужны прокси, есть рабочие 600 серверные.
Конечно, если там полноценная защита это не поможет, будем искать другие пути. Но указанный сайт парсится легко альтернативным десктоп софтом, с ним проблем быть не должно.
-
User agent
-
Использовать БД можно?
-
Просто надо где то хранить списки. Память не безгранична. Или за оперативку не переживать?
-
Можно. Но думаю чтобы 2-4 гб оперативки забить кешем урлов это сайт должен быть очень большой.
-
Т.е. можно не беспокоится. Есть идея реализации, напишите в личку.
-
Прокси, многопоточность и все за 500 грн)))
-
Это есть во всех основных библиотеках уже, которые я знаю. Например я использовал Zebracurl - там все это есть, если его с чем нибудь подружить или самостоятельно дописать кеширование урлов страниц.
-
Актуальні фриланс-проєкти в категорії PHP
Доработка сайту https://koleso-center.com/ на OpenCart
10 000 UAH
Додати на сайт категорії інтернет-магазинуБУ дискиДокаткиКріплення.Дані беремо з БД 1с.ще кілька питань Тип виконавця: одиночний Backend-розробник (OpenCart/PHP) рівня MiddleДоопрацювання повинно відповідати всім вимогамSEO+AI просування AI Overviews, ChatGPT, Gemini та інших… PHP ∙ 50 хвилин тому ∙ 16 ставок |
Модуль для OpenCart: масове створення товарів з папок з зображеннямиРозробка модуля масового створення товарів для OpenCart (ocStore 3.x)Необхідно розробити адміністративний модуль для OpenCart / ocStore 3.x, який автоматично створює товари з заздалегідь підготовленої структури папок з зображеннями.Основний функціонал:масове створення товарів з… CMS, PHP ∙ 1 день 7 годин тому ∙ 44 ставки |
Шукаємо спеціаліста Bitrix24 / інтегратора CRM для налаштування автоматизаціїНаша компанія працює з CRM Bitrix24. Нам потрібен спеціаліст, який зможе налаштувати автоматичне додавання номера телефону в ліди/замовлення в двох форматах. Автоматизація повинна бути коректно налаштована для двох країн: Республіка Молдова та Румунія. Завдання: При створенні… PHP, Веб-програмування ∙ 4 дні 9 годин тому ∙ 24 ставки |
Оптимізація сайту
Оптимізація сайту jdgreta.co.uk на Shopify. Сео аудит додано до проекту. Основні завдання - - Виправити всі мета дані - Виконати ТЗ для програміста (оскільки в цьому проекті поєднані завдання для програміста та СЕО, якщо ви не компанія - можете скористатися допомогою) -… HTML та CSS верстання, PHP ∙ 5 днів 5 годин тому ∙ 33 ставки |
Спеціаліст по HoroshopПотрібен спеціаліст який зможе правильно налаштувати товарний Feed. Проблема: Зараз понад 13 000 товарів вивантажуються з однаковим значенням типу (напр. «все для манікюру та педикюру»). Через це в Google Ads неможливо розділити товари на сегменти й задати різні рекламні… PHP, Супровід сайтів ∙ 6 днів 8 годин тому ∙ 21 ставка |
Харків