Розробка скрипта-парсера для сайту
Якщо коротко:
Є готова бд mysql.
Потрібно написати парсер, який буде раз на день (вночі) звертатися до сайту-донору за конкретним урлом, забирати звідти дані та складати їх у mysql.
Трохи детальніше:
У нас є бд і примітивний веб інтерфейс до неї.
В цьому інтерфейсі спочатку створюється задача. Задача складається тільки з назви та цільового урла.
Приклад цільового урла: https://suchen.mobile.de/fahrzeuge/search.html?cn=DE&dt=ALL_WHEEL&fr=2019%3A&isSearchRequest=true&ms=7700%3B8%3B%3B&od=up&ref=srp&refId=e280ae1d-f6ad-85ad-050d-5743bdf92864&s=Car&sb=p&vc=Car
А всередині задачі вже знаходяться сутності оголошення.
Задача парсера - раз на добу просканувати цільову сторінку та додати в бд інформацію по всім машинам на цій сторінці.
Так от парсер повинен взяти по машинам цю інформацію:
- айді
- назва (строка)
- урл фотки
- ціна
Якщо раніше цієї машини не було в нашій бд, то вона туди додається.
Якщо була, то оновлюється ціна. Але ціна зберігається в пов'язаній таблиці, тому що нам потрібно зберігати не ціну в моменті, а динаміку цін.
Задача проекту - формування таблиці, де в рядках - машини, в стовпцях дати, а на перетині або ціна, або прочерк.
Приблизна візуалізація того, що ми повинні отримати в нашому інтерфейсі на виході, знаходиться у вкладенні.
Але зараз ми в пошуку людини, хто напише парсер, який буде наповнювати бд цими даними. Вивід у веб інтерфейс ми зробимо самостійно. Прошу залишити відгуки з вказівкою вартості та терміну. Також прошу вказати, які технології ви будете використовувати для виконання задачі.
Робота через сейф, терміни не обмежені. Пріоритет у виборі кандидатів - вартість та досвідність.
Додатки 1
-
2 дні3000 UAH
1444 9 0 2 дні3000 UAH
💬 Доброго дня! Готовий виконати завдання по розробці парсера, який щодня збирає дані з сайту-донорів та оновлює інформацію в базі даних MySQL.
✅ Технологічний стек:
Python (Requests, Aiohttp, BeautifulSoup) — швидкий та ефективний парсинг без Selenium, що забезпечує високу швидкість роботи.
Asyncio та багатопоточність — для одночасної обробки кількох URL, що значно прискорює збір даних (опціонально).
MySQL (pymysql / SQLAlchemy) — для збереження даних та ведення історії зміни цін.
… Логування та обробка помилок — скрипт буде стійким до збоїв та автоматично відновлювати перервані запити.
📌 Уточнення:
Чи потрібно парсеру переходити по всіх сторінках з фільтра (пагінація)?
Планується робота тільки з одним сайтом-донором чи будуть додаватися інші ресурси?
🎯 Мій досвід:
2+ роки розробки високопродуктивних парсерів, які стійко працюють навіть з динамічними сайтами.
Розробка API та інтеграцій з MySQL, включаючи відстеження змін даних та збір історій.
Постійна підтримка та покращення розроблених рішень.
💪 Гарантую:
Якісне виконання завдання.
Підтримку та доопрацювання за запитом.
Доступну вартість та швидке виконання.
Буду радий обговорити деталі в особистих повідомленнях та запропонувати оптимальне рішення для вашого проєкту. Чекаю на вашу відповідь!
-
1 день700 UAH
411 6 1 1 день700 UAH
Здорово!
Готов розробити скрипт-парсер для
вашого сайту.
Розкажіть детальніше про:
* мету парсингу (яку інформацію потрібно витягти)
… * структуру сайту (матрицю HTML, API)
* обсяг даних
* формат виводу отриманої інформації
Тоді зможу уточнити терміни та вартість.
-
4 дні3000 UAH
655 6 1 4 дні3000 UAH
Привіт. Готовий зробити додаток для збору даних з заданого сайту за списком посилань та вивантаження результатів у базу даних mysql.
-
7 днів8000 UAH
96691 1276 1 10 7 днів8000 UAH
Привіт. Є великий досвід з Node.js/Python. Готовий до співпраці
-
3 дні2000 UAH
1673 100 5 3 3 дні2000 UAH
Доброго дня. Зроблю такий парсер. Пишіть, буду радий співпрацювати з Вами!
-
10 днів12 000 UAH
1315 7 0 10 днів12 000 UAH
Добрий день.
Готовий взяти Ваш проект.
Зможу розробити для Вас парсер для додавання оголошень з авто за допомогою no-code/low-code інструментів і/або за Node.js (за потреби).
Пишіть в особисті, обговоримо всі деталі та нюанси, і знайдемо для Вас найкраще рішення.
-
3 дні2000 UAH
726 9 1 3 дні2000 UAH
Доброго дня! Я уважно вивчив ваш проект і готовий розпочати його реалізацію. Давайте обговоримо деталі для найкращого виконання.
Актуальні фриланс-проєкти в категорії Парсинг даних
Парсинг товарів, підготовка до імпорту на WPСпарсити повний каталог цих сайтів: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Всі товари потрібно об'єднати в одну загальну таблицю для імпорту в WP. Кожен товар… Веб-програмування, Парсинг даних ∙ 1 день 21 година тому ∙ 54 ставки |
Шукаю програміста для OpenCartДоброго часу доби 1) потрібно впровадити на сайті dneprkomfort.dp.ua був куплений модуль для українських банків, вже впровадили Моно банк ось приклад нашого конкурента Потрібно як зробити розстрочку, покупка частинами (МоноБанк) Пумб, Сенс, Моно за замовчуванням 2 платежі… Веб-програмування, Парсинг даних ∙ 2 дні 19 годин тому ∙ 48 ставок |
Требуется спеціаліст з просування в Telegram.
1273 UAH
Завдання: інвайт реальних користувачів за базою юзернеймів у нові чати та розсилка повідомлень по цільовій базі. Цікавить тільки якісний трафік і робота з живою аудиторією — виконавців, які використовують ботів, накрутку або неякісні методи, прохання НЕ БЕСПОКІТЬ. Робота… Парсинг даних, Просування у соціальних мережах (SMM) ∙ 6 днів 21 година тому ∙ 9 ставок |
Консультація по парсингу підписників Instagram-акаунтівДоброго дня. Необхідно провести попередню оцінку можливості виконання наступного завдання. У мене є список Instagram-акаунтів. Мета — отримати контактні дані (в першу чергу email-адреси) користувачів, які підписані на ці акаунти. Раніше мені зустрічалися компанії та сервіси, які… Парсинг даних ∙ 10 днів 16 годин тому ∙ 13 ставок |
Потрібен спеціаліст для пошуку контактів ЛПР по УкраїніНеобхідно зібрати базу (чи готова база) контактів осіб, які приймають рішення (ЛПР), у компаніях України. Збір інформації, Парсинг даних ∙ 10 днів 21 година тому ∙ 22 ставки |
Одеса