Розробити парсер оголошень з сайту minda.city або baraholka.ge/ru
Технічне завдання (ТЗ) на розробку парсера оголошень з сайту minda.city або baraholka.ge/ru (дублюються)
Ціль:
Створити парсер оголошень з сайту https://minda.city/, який буде збирати певні дані та передавати їх через API.
Вимоги:
Сайт для парсингу:
- URL: https://minda.city/
Збираємі дані:
- Місто
- Регіон
- Категорія
- Підкатегорія
- Номер телефону (або кілька номерів, якщо вказані)
- Ім'я
- Дата додавання оголошення
Формат передачі даних:
- Усі зібрані дані повинні передаватися через API.
- Формат даних: JSON.
- Приклад структури JSON:
jsonКопіювати код{
"city": "Тбілісі",
"region": "Картлі",
"category": "Нерухомість",
"subcategory": "Оренда квартир",
"phone_numbers": ["+995123456789", "+995987654321"]
}
API для передачі даних:
- Вказати URL API для передачі даних (буде надано пізніше).
- Метод передачі даних: POST.
Алгоритм роботи парсера:
- Парсер повинен збирати усі оголошення з сайту, розбиваючи їх на менші категорії у випадку обмеження на кількість сторінок (наприклад, якщо відображається максимум 100 сторінок по 15 оголошень на кожній, необхідно дробити на підкатегорії).
- Після повного збору даних, парсер повинен запускатися раз на добу для збору нових оголошень.
Технічні вимоги:
- Підтримка багатопотоковості для прискорення процесу парсингу.
- Можливість роботи через проксі для обходу блокувань (оголошень не багато, можливо не знадобиться)
- Обробка помилок та логування (механізми для повторної спроби у випадку невдалої передачі даних або недоступності сайту).
Частота оновлення даних:
- Парсер повинен запускатися кожні 24 години для збору нових даних.
- Можливість ручного запуску для термінового оновлення даних.
Додаткові вимоги:
- Повинна бути можливість розширення функціоналу парсера в майбутньому (додавання нових полів, зміна логіки збору даних).
- Документація з установки та запуску парсера.
- Коментарі в коді для кращого розуміння логіки роботи.
Етапи розробки:
- Розробка та тестування парсера.
- Інтеграція з API для передачі даних.
- Тестування повного циклу роботи парсера.
- Передача документації та вихідного коду.
Терміни виконання:
- Розробка та тестування парсера: [10 днів]
- Інтеграція з API та тестування: [10 днів]
Парсер повинен працювати на сервері під управлінням операційної системи Linux
Парсер должен работать на сервере под управлением операционной системы Linux
-
645 11 0 Привіт, готовий виконати ваш проект, пишіть, обговоримо деталі
-
888 18 2 1 Привіт!
Я зацікавлений у вашому проєкті, маю великий досвід у парсингу та обробці великих обсягів даних. Також після роботи над проєктом надаю власний хост для деплою проєкту та проксі-пул для обходу блокувань частих запитів до серверу-донору.
Зв'яжіться зі мною для обговорення деталей та строків виконання даного проєкту!
-
1876 28 2 2 Good day.
Є великий досвід у створенні ботів.
Ціна і терміни залежать від деталей проекту.
Буду радий співпраці.
Гарного дня.
-
8193 63 1 Good day!
Я готовий допомогти вам з розробкою парсера оголошень з сайту minda.city і передачею даних через API. Чекаю можливості обговорити всі деталі і розпочати роботу над проектом!
-
2199 16 0 Вітаю. Цікаве завдання, буду радий співпрацювати. Використовую провідні сучасні відмовостійкі технології. Раніше вже розробляв парсери та власні API. Реалізую багатопоточність, додам проксі, логування і весь інший потрібний функціонал. Допоможу з розміщенням на сервері. Код буде написано чисто (будь-який програміст зможе розібратися в ньому) з урахуванням вимог безпеки, проєкт можна буде легко масштабувати. Пишіть в особисті для обговорення деталей.
-
726 9 1 Вітаю! Я вивчив ваш проект і готовий негайно приступити до роботи. Гарантую відмінну якість і оперативність.
-
1982 47 7 2 Привіт!
У мене є значний досвід у розробці парсерів та автоматизації процесів. Я готовий створити парсер оголошень з сайту minda.city, який буде збирати та передавати дані через API згідно з вашим технічним завданням.
Мої навички включають:
• Парсинг даних з використанням бібліотек, таких як BeautifulSoup та Requests, для ефективного збору даних.
• Реалізацію багатопотоковості для прискорення процесу парсингу.
• Налаштування роботи через проксі для обходу блокувань.
… • Обробку помилок та логування для забезпечення надійності та стійкості парсера.
• Форматування даних в JSON та їх передачу через API методом POST.
Готовий обговорити деталі проекту, терміни та вартість у приватних повідомленнях.
З повагою, Павло
-
85 Працюю з парсерами на C# .NET пишу під windows, якщо вам це потрібно, давайте зв'яжемося і розпочнемо виконання.
-
683 3 0 Готовий взяти в роботу , маю вже готові парсири фільмів https://github.com/merelyigor/HDrezka-Parser з сайтів з фільмами де парсяться усі фільми та відео потоки опис і вся інформація, також розробив парсер компаній европи де також мільони данних про різні бізнесс компанії адресси телеіфони і тд, розробляю парсери на php + bash для легкості та простоти використання на серверах без віртуалізації браузерів сіленіум і тд, та робив інтеграцію з БД та сайтом на вордпресс де одразу під час парсингу данні зберігались у створені пости, нюанси можно обговорити.
готовий обговорити бюджети але зі зміною дедлайнів, також помітив що у вас декілька задач на парсери, я б міг зробить всі одразу в одному налаштовуемому парсері
моє резюме https://djinni.co/q/351767df01/
також лінкедін https://www.linkedin.com/in/merely-igor/
-
237 2 1 Привіт!
Готовий взятися за ваш проект, буду використовувати Python3.12.
Щодо щоденного парсингу (раз в 24 години), пропоную взяти сервер і встановити окремий скрипт в cron.
Щодо сайту, спочатку розпочну з аналізу за допомогою BurpSuite, після чого оберу найбільш підходящий спосіб реалізації і розпочну розробку.
Актуальні фриланс-проєкти в категорії Парсинг даних
Требуется спеціаліст з просування в Telegram.
1286 UAH
Завдання: інвайт реальних користувачів за базою юзернеймів у нові чати та розсилка повідомлень по цільовій базі. Цікавить тільки якісний трафік і робота з живою аудиторією — виконавців, які використовують ботів, накрутку або неякісні методи, прохання НЕ БЕСПОКІТЬ. Робота… Парсинг даних, Просування у соціальних мережах (SMM) ∙ 4 хвилини тому |
Збір B2B бази даних компаній у Німеччині
1801 UAH
Мета: Отримання списку потенційних роботодавців (клієнтів) для B2B розсилки. Регіон: Мюнхен (München) + радіус 50 км. Вимагані ніші: Будівельні компанії (Bauunternehmen) Продовольчі підприємства (Lebensmittelhersteller, м'ясокомбінати, пекарні) Логістика та складські… Парсинг даних, Продажі та генерація лідів ∙ 2 години 21 хвилина тому ∙ 12 ставок |
База даних перевізниківЦікавить збір бази даних перевізників по Україні за 2026 рік, у тому числі цистерни, тенти, зерновози та інші. Бажано розробити таблицю. Парсинг даних ∙ 3 години 38 хвилин тому ∙ 20 ставок |
Консультація по парсингу підписників Instagram-акаунтівДоброго дня. Необхідно провести попередню оцінку можливості виконання наступного завдання. У мене є список Instagram-акаунтів. Мета — отримати контактні дані (в першу чергу email-адреси) користувачів, які підписані на ці акаунти. Раніше мені зустрічалися компанії та сервіси, які… Парсинг даних ∙ 3 дні 19 годин тому ∙ 12 ставок |
Потрібен спеціаліст для пошуку контактів ЛПР по УкраїніНеобхідно зібрати базу (чи готова база) контактів осіб, які приймають рішення (ЛПР), у компаніях України. Збір інформації, Парсинг даних ∙ 3 дні 23 години тому ∙ 17 ставок |