Парсинг данных с сайта
Необходимо настроить парсинг данных (товаров).
Есть сайт-источник (ссылки предварительно готовы предоставить потенциальному исполнителю для оценки сложности и объема работы), с которого нужно по расписанию парсить данные. Формат данных можем обсудить дополнительно.
Далее эти данные должны добавляться в БД сайта с автоматической проверкой на дубликаты и актуальность данных.
Как дополнительная опция должна также быть присутствовать функция автоматического корректирования цены (снижение цены на 10%) для позиций, которые добавляются на сайт.
От потенциального исполнителя хотелось бы увидеть описание того, как Вы собираетесь этот проект выполнять в подробностях, а также ваш опыт решения подобных задач. Без этого ваши ставки рассматриваться не будут.
Бюджет проекта готовы обсуждать после уточнения ТЗ и обсуждения деталей с потенциальным исполнителем.
-
1970 25 1 Здравствуйте, Сергей. Если разрабатывать план, то сначала, конечно, я бы разработал необходимый парсер, который будет собирать информацию, затем добавил бы к нему подключение к вашей базе данных и настроил бы скрипт поиска дубликатов. Когда дубликатов не будет, обновим цену и добавим товары в вашу базу данных. Затем развернем продукт и установим ему таймер.
Однако прежде всего нужно понимать, с каким источником будем работать, и как устроена ваша база данных.
-
1257 34 0 Добрый день.
Скиньте ссылку.
Думаю, что могу помочь.
Цена договорная.
-
852 21 0 Парсинг будет напрямую зависеть от того, где находится ваш сайт и на чем он написан. Например, если это WP, то можно создать плагин, который будет записывать в БД и давать вам возможность настройки, я могу более детально все расписать, но мне не хватает деталей для этого
-
1762 34 3 Доброго дня, розробляв парсери, останній який робив декілька днів тому, це парсер із хотлайну та додавання товарів у бд.
Розроблюю парсери на реквестах, обходжу захист якщо він є.
Чекаю інформацію стосовно джерела парсера, та якщо є тз.
-
Доброго дня. Хотелось бы увидеть сайт для оценки заказа. Мои предыдущие работы можете посмотреть в портфолио. Буду рад сотрудничеству
-
1315 7 0 Добрый день.
Готов взять Ваш проект.
Смогу сделать для Вас парсер с использованием no-code/low-code инструментов, или их комбинации с Node.js с развертыванием на AWS.
Пишите в личные сообщения, обсудим все подробнее и найдем для Вас лучшее решение.
-
486 23 0 Добрый день.
Какой проект вроде, данных нет никаких? Ну могу написать серверное решение, где все будет парситься в базу данных, изменение цены это может быть веб-API, какая-то веб-форма, или будет задаваться в файле конфигурации.
Стек технологий, ASP .Net Core, C#, EF Core или Dapper.
Но это все условно, что-то сказать это надо посмотреть на сайт, ну и чуть больше деталей.
-
316 6 0 Пишите, обсудим детали, в парсинге опыт есть, например, я делал бота в тг MuzykaFreeBot, который через парсинг отправляет пользователю саундтрек и сохраняет данные о треке в бд, чтобы дальше этот трек повторно не закачивать.
-
583 11 0 Добрый день.
Если у вас сайт на Вордпрессе, то я не работаю с этим чудом.
Если что-то другое - пишите в личку, обсудим детали.
-
571 5 0 добрый день
в основном пишу парсеры на python + selenium
расписание настраиваю с помощью apscheduler
проверку на дубликаты можем организовать двумя способами:
-проверка по заголовку товара (+ возможно какие-то из характеристик)
-вести параллельно еще одну базу парсера, где хранить спарсенные данные вместе с артикулом товара, что исключит дубликаты
… конкретнее, нужно смотреть, каким образом находить именно обновленные товары, нужно ли проходить абсолютно по всем товарам и категориям каждый раз, или есть другие способы
-
3392 84 0 Готов взять на себя.
Но нужно уточнить детали заказа, пишите!
Реализую скриптом на python.
-
720 6 1 Профессиональные навыки:
Разработка комплексных парсеров веб-страниц. Подключение к ним и настройка SQL (PostgreSQL, MySQL) и NoSQL (Redis) баз данных. Разработка и настройка интерфейса пользователя для парсеров. Развертывание приложений на облачном сервере (Google Cloud Platform) и их дальнейшая поддержка.
Опыт работы:
Среди малых проектов выделяется создание приложения для синхронизации каталога товаров двух интернет-магазинов, настройка облачного сервера и развертывание на него приложения. Отмечу, что этот опыт очень похож на вашу задачу, судя по краткому описанию проекта.
Приблизительный план:
Планируется использовать API сайта источника, если таковое имеется, иначе будет написано собственное решение. База данных планируется в формате SQL, а именно PostgreSQL.
Структура проекта не должна быть сложной:
… Репозиторий проекта
-- База Данных
-- Библиотека для кастомного парсера
---- Методы парсера
-- Главный файл
Более точный план составить не могу, так как необходимо увидеть сайт и уточнить детали проекта.
Жду вашего ответа.
-
посилання можна побачити
-
Взагалі, цікаве завдання... точніше формулювання...
Ви на сервісі 6 років, та багато брошених проектів...
Такі претензійні умови, аж хочется зпитати, а клянятись до вам не потрібно, перед тім як подати заявку?
Таке відчуття, що вам просто потрібно, щоб вам надали ваше ж ТЗ з планом дій та технологій для виконання. -
Актуальные фриланс-проекты в категории Базы данных и SQL
Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С:
2000 UAH
Цель: Есть обработка в 1с по загрузке спецификации Новой почти. По непонятнім причинам перестало подгружать некоторіе табличніе данніе Нужно найти причину и Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С: Малый Бизнес. Текущее… Администрирование систем и сетей, Базы данных и SQL ∙ 1 день 23 часа назад ∙ 16 ставок |
Система учета, планирования и продажи для грибной фермы
27 000 UAH
Это полный, финальный текст Технического задания (ТЗ). Он объединяет все ваши требования: 16 камер, 20 контрагентов, расписание по дням, учет тары, расчет рентабельности и обязательное деление на три сорта грибов. Вы можете полностью скопировать этот текст и отправлять… Базы данных и SQL, Управление клиентами и CRM ∙ 4 дня 2 часа назад ∙ 55 ставок |
Внешний отчет 1С 8.3 — прогноз остатков товаров
1000 UAH
Нужен внешний отчет (.erf) для 1С:Предприятие 8.3 (конфигурация уточняется). Что должно делать: Извлекать остатки товаров из базы Анализировать историю продаж за последние 30 дней Считать средний темп продаж по каждому товару Определять через сколько дней товар закончится… Базы данных и SQL, Управление клиентами и CRM ∙ 4 дня 3 часа назад ∙ 13 ставок |
Аудит безопасности веб-приложения и базы данных для пользовательской CRM — специалист по BaaS / Database-as-API (пентест)Обзор проекта Мы управляем индивидуально разработанной платформой управления взаимоотношениями с клиентами (CRM), которая обслуживает два сервисных бизнеса на одной системе. Это современное веб-приложение на JavaScript, поддерживаемое базой данных как сервис (BaaS) и развернутое… Базы данных и SQL, Тестирование и QA ∙ 4 дня 15 часов назад ∙ 10 ставок |
Синхронизация баз данныхСинхронизация программ Microsoft Access и CRM SalesDrive. Передача данных из CRM в Microsoft Access на первом этапе (изменение статуса воронки). Передача данных из Microsoft Access в CRM на втором этапе (изменение статуса в программе). Базы данных и SQL ∙ 4 дня 21 час назад ∙ 13 ставок |