Розробити парсер оголошень з сайту https://gancxadebebi.ge/ru/
Технічне завдання (ТЗ) на розробку парсера оголошень з сайту https://gancxadebebi.ge/ru/
Ціль:
Створити парсер оголошень з сайту https://gancxadebebi.ge/ru/, який буде збирати певні дані та передавати їх через API.
Вимоги:
Сайт для парсингу:
Збираємі дані:
- Місто
- Регіон
- Категорія
- Підкатегорія
- Номер телефону (або кілька номерів, якщо вказано)
- Дата додавання оголошення
Формат передачі даних:
- Усі зібрані дані повинні передаватися через API.
- Формат даних: JSON.
- Приклад структури JSON:
jsonКопіювати код{
"city": "Тбілісі",
"region": "Картлі",
"category": "Нерухомість",
"subcategory": "Оренда квартир",
"phone_numbers": ["+995123456789", "+995987654321"]
}
API для передачі даних:
- Вказати URL API для передачі даних (буде надано пізніше).
- Метод передачі даних: POST.
Алгоритм роботи парсера:
- Парсер повинен збирати усі оголошення з сайту, розбиваючи їх на менші категорії у випадку обмеження на кількість сторінок (наприклад, якщо відображається максимум 100 сторінок по 15 оголошень на кожній, необхідно дробити на підкатегорії).
- Після повного збору даних, парсер повинен запускатися раз на добу для збору нових оголошень.
Технічні вимоги:
- Підтримка багатопотоковості для прискорення процесу парсингу.
- Можливість роботи через проксі для обходу блокувань (оголошень не багато, можливо не знадобиться)
- Обробка помилок та логування (механізми для повторної спроби в разі невдалої передачі даних або недоступності сайту).
Частота оновлення даних:
- Парсер повинен запускатися кожні 24 години для збору нових даних.
- Можливість ручного запуску для екстреного оновлення даних.
Додаткові вимоги:
- Повинна бути можливість розширення функціоналу парсера в майбутньому (додавання нових полів, зміна логіки збору даних).
- Документація щодо встановлення та запуску парсера.
- Коментарі в коді для кращого розуміння логіки роботи.
- Парсер повинен працювати на сервері під управлінням операційної системи Linux.
Етапи розробки:
- Розробка та тестування парсера.
- Інтеграція з API для передачі даних.
- Тестування повного циклу роботи парсера.
- Передача документації та вихідного коду.
Терміни виконання:
- Розробка та тестування парсера: [10 днів]
- Інтеграція з API та тестування: [10 днів]
-
1783 28 2 2 Добрий день.
Є великий досвід у створенні ботів.
Ціна і терміни залежать від деталей проекту.
Буду радий співпраці.
Гарного дня.
-
8193 63 1 Добрий день!
Я готовий допомогти вам з реалізацією парсера для збору даних з сайту https://gancxadebebi.ge/ru/ і передачі їх по API. З нетерпінням чекаю можливості обговорити всі деталі і приступити до роботи!
-
3356 70 1 Привіт.
Займаюся написанням парсерів з нуля.
При створенні софту використовую JavaScript.
З проектом, сайтом ознайомився, готовий обговорити більш конкретно в особистих
-
1982 47 7 2 Привіт!
У мене є значний досвід у розробці парсерів та автоматизації процесів. Я готовий створити парсер оголошень з сайту minda.city, який буде збирати та передавати дані через API відповідно до вашого технічного завдання.
Мої навички включають:
• Парсинг даних з використанням бібліотек, таких як BeautifulSoup та Requests, для ефективного збору даних.
• Реалізацію багатопотоковості для прискорення процесу парсингу.
• Налаштування роботи через проксі для обходу блокувань.
… • Обробку помилок та логування для забезпечення надійності та стійкості парсера.
• Форматування даних в JSON та їх передачу через API методом POST.
Готовий обговорити деталі проекту, терміни та вартість у приватних повідомленнях.
З повагою, Павло
-
85 Працюю з парсерами на C# .NET пишу під windows, якщо вам це потрібно, давайте зв'яжемося і розпочнемо виконання.
-
726 9 1 Вітаю! Ваш проект виглядає дуже перспективним. Готовий розпочати роботу та виконати її на найвищому рівні.
-
683 3 0 Готовий взяти в роботу , маю вже готові парсири фільмів https://github.com/merelyigor/HDrezka-Parser з сайтів з фільмами де парсяться усі фільми та відео потоки опис і вся інформація, також розробив парсер компаній европи де також мільони данних про різні бізнесс компанії адресси телеіфони і тд, розробляю парсери на php + bash для легкості та простоти використання на серверах без віртуалізації браузерів сіленіум і тд, та робив інтеграцію з БД та сайтом на вордпресс де одразу під час парсингу данні зберігались у створені пости, нюанси можно обговорити.
готовий обговорити бюджети але зі зміною дедлайнів, також помітив що у вас декілька задач на парсери, я б міг зробить всі одразу в одному налаштовуемому парсері
моє резюме https://djinni.co/q/351767df01/
також лінкедін https://www.linkedin.com/in/merely-igor/
Актуальні фриланс-проєкти в категорії Парсинг даних
Збір бази телеграм-каналів (англомовних)Потрібно зібрати базу телеграм каналів з наступними критеріями(2000-3000) каналів Критерії ТГ каналів: Мова: English Географія аудиторії: США (US)/Великобританія/Канада і т.д. англомовні канали під тир 1-2 гео Аудиторія: переважно чоловіки 21+ Канал публічний… Збір інформації, Парсинг даних ∙ 6 годин 24 хвилини тому ∙ 3 ставки |
База сайтів на woocommerceПотрібно зібрати базу українських сайтів інтернет-магазинів на woocommerce з контактами, які вказані на сайтах. Тільки працюючі сайти (індикатор: оновлення каталогу/контенту, робочий домен) Формат таблиці - адреса сайту, номер телефону, e-mail. Парсинг даних ∙ 21 година 33 хвилини тому ∙ 18 ставок |
Створити дашборд у https://airtable.com/ по результативності рекламних креативів з facebook adsПовноцінне ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Бази даних та SQL, Парсинг даних ∙ 2 дні 11 годин тому ∙ 17 ставок |
Створення файлу Exel для завантаження товарів на сайти інших партнерів.Мене цікавить щоб зробити табличку Exel з повністю всіма параметрами. Ось сайт -https://heiztechnik.com.ua/ І позиціії які цікавлять щоб були перенесенні : Ручні котли : 1) TIS UNI 15-95 кВт(10) шт 2)TIS HARD 150-500 кВт(7) шт Пелетні котли: 1)TIS PELLET 15-95 кВт(10) шт 2)TIS… Парсинг даних ∙ 2 дні 16 годин тому ∙ 34 ставки |
Потрібен розробник для парсингу каталогу та автоматизації імпорту данихПодробне ТЗ в прикріпленому документі прошу в відповіді вказати орієнтовну вартість і терміни реалізації чи є досвід роботи з парсингом великих каталогів які можливі складнощі або обмеження ви бачите в даному завданні Бази даних та SQL, Парсинг даних ∙ 2 дні 18 годин тому ∙ 39 ставок |