Разработать парсер объявлений с сайта minda.city или baraholka.ge/ru
4000 UAHТехническое задание (ТЗ) на разработку парсера объявлений с сайта minda.city или baraholka.ge/ru (дублируются)
Цель:
Создать парсер объявлений с сайта https://minda.city/, который будет собирать определенные данные и передавать их по API.
Требования:
Сайт для парсинга:
- URL: https://minda.city/
Собираемые данные:
- Город
- Регион
- Категория
- Подкатегория
- Номер телефона (или несколько номеров, если указаны)
- Имя
- Дата добавления обьявления
Формат передачи данных:
- Все собранные данные должны передаваться по API.
- Формат данных: JSON.
- Пример структуры JSON:
jsonКопировать код{
"city": "Тбилиси",
"region": "Картли",
"category": "Недвижимость",
"subcategory": "Аренда квартир",
"phone_numbers": ["+995123456789", "+995987654321"]
}
API для передачи данных:
- Указать URL API для передачи данных (будет предоставлен позже).
- Метод передачи данных: POST.
Алгоритм работы парсера:
- Парсер должен собирать все объявления с сайта, разбивая их на меньшие категории в случае ограничения на количество страниц (например, если отображается максимум 100 страниц по 15 объявлений на каждой, необходимо дробить на подкатегории).
- После полного сбора данных, парсер должен запускаться раз в сутки для сбора новых объявлений.
Технические требования:
- Поддержка многопоточности для ускорения процесса парсинга.
- Возможность работы через прокси для обхода блокировок (обьявлений не много, возможно не потребуется)
- Обработка ошибок и логирование (механизмы для повторной попытки в случае неудачной передачи данных или недоступности сайта).
Частота обновления данных:
- Парсер должен запускаться каждые 24 часа для сбора новых данных.
- Возможность ручного запуска для экстренного обновления данных.
Дополнительные требования:
- Должна быть возможность расширения функционала парсера в будущем (добавление новых полей, изменение логики сбора данных).
- Документация по установке и запуску парсера.
- Комментарии в коде для лучшего понимания логики работы.
Этапы разработки:
- Разработка и тестирование парсера.
- Интеграция с API для передачи данных.
- Тестирование полного цикла работы парсера.
- Передача документации и исходного кода.
Сроки выполнения:
- Разработка и тестирование парсера: [10 дней]
- Интеграция с API и тестирование: [10 дней]
Парсер должен работать на сервере под управлением операционной системы Linux
-
7 дней4000 UAH
645 11 0 7 дней4000 UAH
Здравствуйте, готов выполнить ваш проект, пишите обсудим детали
-
20 дней8000 UAH
888 18 2 1 20 дней8000 UAH
Здравствуйте!
Заинтересовал Ваш проект, имею огромный опыт в парсинге и обработке больших объёмов данных. Также после работы над проектом предоставляю собственный хост для деплоя проекта и прокси-пул для обхода блокировок частых запросов к серверу-донору.
Свяжитесь со мной для обсуждения деталей и сроков выполнения данного проекта!
-
1 день4000 UAH
1751 28 2 2 1 день4000 UAH
Добрый день.
Есть большой опыт в создании ботов.
Цена и сроки зависят от деталей проекта.
Буду рад сотрудничеству.
Хорошего дня.
-
1 день20 000 UAH
8193 63 1 1 день20 000 UAH
Добрый день!
Я готов помочь вам с разработкой парсера объявлений с сайта minda.city и передачей данных через API. Жду возможности обсудить все детали и начать работу над проектом!
-
20 дней10 000 UAH
2199 16 0 20 дней10 000 UAH
Привет. Интересное задание, буду рад сотрудничать. Использую передовые современные устойчивые к отказам технологии. Ранее уже разрабатывал парсеры и собственные API. Реализую многопоточность, добавлю прокси, логирование и весь другой необходимый функционал. Помогу с размещением на сервере. Код будет написан чисто (любой программист сможет разобраться в нем) с учетом требований безопасности, проект можно будет легко масштабировать. Пишите в личные сообщения для обсуждения деталей.
-
3 дня4100 UAH
726 9 1 3 дня4100 UAH
Приветствую! Я изучил ваш проект и готов немедленно приступить к работе. Гарантирую отличное качество и оперативность.
-
10 дней10 000 UAH
1982 47 7 2 10 дней10 000 UAH
Здравствуйте!
У меня есть значительный опыт в разработке парсеров и автоматизации процессов. Я готов создать парсер объявлений с сайта minda.city, который будет собирать и передавать данные по API согласно вашему техническому заданию.
Мои навыки включают:
• Парсинг данных с использованием библиотек, таких как BeautifulSoup и Requests, для эффективного сбора данных.
• Реализацию многопоточности для ускорения процесса парсинга.
• Настройку работы через прокси для обхода блокировок.
… • Обработку ошибок и логирование для обеспечения надежности и устойчивости парсера.
• Форматирование данных в JSON и их передачу по API методом POST.
Готов обсудить детали проекта, сроки и стоимость в личных сообщениях.
С уважением, Павел
-
10 дней4000 UAH
85 10 дней4000 UAH
Работаю с парсерами на C# .NET пишу по windows если вам это и требуется давайте свяжемся и приступим к выполнению.
-
10 дней10 000 UAH
683 3 0 10 дней10 000 UAH
Готов взять в работу, у меня уже готовые парсеры фильмов https://github.com/merelyigor/HDrezka-Parser с сайтов с фильмами, где парсятся все фильмы и видео потоки, описание и вся информация, также разработал парсер компаний Европы, где также миллионы данных о различных бизнес-компаниях, адреса, телефоны и т.д., разрабатываю парсеры на php + bash для легкости и простоты использования на серверах без виртуализации браузеров Selenium и т.д., также делал интеграцию с БД и сайтом на WordPress, где сразу во время парсинга данные сохранялись в созданные посты, нюансы можно обсудить.
Готов обсудить бюджеты, но с изменением дедлайнов, также заметил, что у вас несколько задач на парсеры, я мог бы сделать все сразу в одном настраиваемом парсере
Мое резюме https://djinni.co/q/351767df01/
Также LinkedIn https://www.linkedin.com/in/merely-igor/
-
10 дней8000 UAH
237 2 1 10 дней8000 UAH
Здравствуйте!
Готов взяться за ваш проект, использовать буду Python3.12.
Насчёт ежедневного парсинга (раз в 24 часа), предлагаю взять сервер и поставить отдельный скрипт в cron.
По сайту, вначале начну с анализа используя BurpSuite, после чего подберу наиболее подходящий способ реализации и приступлю к разработке.
Актуальные фриланс-проекты в категории Парсинг данных
Консультация по парсингу подписчиков Instagram-аккаунтовЗдравствуйте. Необходимо провести предварительную оценку возможности выполнения следующей задачи. У меня есть список Instagram-аккаунтов. Цель — получить контактные данные (в первую очередь email-адреса) пользователей, которые подписаны на эти аккаунты. Ранее мне встречались… Парсинг данных ∙ 2 часа 49 минут назад ∙ 3 ставки |
Нужен специалист для поиска контактов ЛПР по УкраинеНеобходимо собрать базу (или готовую базу) контактов лиц, принимающих решения (ЛПР), в компаниях Украины. Поиск и сбор информации, Парсинг данных ∙ 7 часов 21 минута назад ∙ 8 ставок |
Необходимо спарсить данные из Linkedin
Необходимо спарсить данные с Linkedin по нашему списку. Для каждой записи нужно найти и собрать доступные данные, если такие есть на Linkedin профиле, включая фотографию профиля в соцсети Linkedin, email-адрес, ссылки на социальные сети, вебсайт компании, номер телефона. Все… Парсинг данных ∙ 13 часов 8 минут назад ∙ 19 ставок |
Парсинг и классификация данных
Ищем разработчика для реализации системы сбора и структурирования данных из открытых источников. У нас есть база владельцев малого бизнеса в США, которая содержит имя человека, название компании, адрес и штат. Необходимо построить процесс обогащения этих записей дополнительной… Веб-программирование, Парсинг данных ∙ 14 часов 17 минут назад ∙ 33 ставки |
Свитлагата
750 UAH
Необходимо импортировать 1819 товаров из XML/YML-фида Prom.ua в OpenCart 3. Есть готовый XML-файл, который содержит названия товаров, описания, цены, фотографии, характеристики, производителей и категории. Необходимо: импортировать все товары в OpenCart 3; создать и… CMS, Парсинг данных ∙ 1 день 17 часов назад ∙ 32 ставки |
Запорожье