Требуется разработчик для парсинга каталога и автоматизации импорта данных

Здравствуйте, Татьяна. Посмотрел ваш каталог на Lovable. Настоящая сложность тут не в самом каталоге uCoin, а во втором этапе, в привязке данных PCGS к карточкам. Каталог на ~100 000 монет это большой, но линейный объём. А PCGS перебирать постранично смысла нет: у них есть Public API (поиск по cert number, barcode, PCGS number плюс grade), он и должен быть точкой входа вместо обхода миллионов страниц. От этого зависит весь бюджет второго этапа, поэтому вслепую его я оценивать не буду.

Коротко обо мне: у меня своя работающая в проде платформа парсинга, которая каждый день собирает крупные каталоги с нескольких защищённых источников, обходит анти-бот, нормализует и дедуплицирует данные и грузит их пакетно в PostgreSQL. То есть и обход Cloudflare у uCoin, и массовый импорт в ваш Supabase, и сопоставление сущностей это ровно то, что я делаю в проде.

Как бы я это сделал:
Этап 1 (каталог): сбор структуры uCoin по вашим критериям (регуляр плюс юбилейные, без коллекционных и без фото), нормализация стран, номиналов, годов и атрибутов, дедупликация и пакетный импорт в вашу структуру на Supabase. Отдельно лог импорта и список карточек на ручную проверку, чтобы после заливки не чистить 100 000 записей вручную. Инкрементальное обновление, чтобы каталог можно было освежать, а не перезаливать целиком.
Этап 2 (PCGS): начинаю с короткого теста API на небольшой выборке (какие поля и фото доступны, какие лимиты, по каким атрибутам надёжно сходится привязка). После теста называю точную цену и сроки.

По вашим вопросам:
… 1. Опыт с крупными каталогами есть, это моя профильная работа: парсеры в проде, анти-бот, нормализация, сопоставление сущностей.
2. Этап 1 готов сделать фиксированной ценой 7000 грн за 4-5 дней. Этап 2 оценю после теста API, чтобы не называть цифру вслепую.
3. Основные сложности: Cloudflare у uCoin (ротация резидентских прокси и темп запросов), дневные лимиты и доступ к API PCGS, аккуратное сопоставление сущностей и инкрементальное обновление без дублей.

Предлагаю начать с этапа 1 как отдельного шага, чтобы вы оценили результат до того, как браться за PCGS. Импорт нужен напрямую в базу Supabase через backend сайта или в отдельную базу?

Владислав

Здравствуйте! Специализируюсь на парсинге больших каталогов — посмотрю ваш каталог и соберу импорт в нужном формате с последующим авто-обновлением. Основные сложности здесь обычно пагинация, варианты позиций и защита от ботов, но с lovable-сайтом проблем не вижу. Точную оценку дам, как только посмотрю ТЗ с вложением. Ориентировочно 3-4 дня. В какой формат выгружать — CSV/XLSX или сразу импорт в вашу базу?

Показать оригинал

Перевести

Добрый день! Опыт работы с парсингом каталогов на Python (BeautifulSoup, Selenium, requests). Работал с крупными eCommerce проектами, понимаю специфику структурированных каталогов.
По вашему проекту:

— Могу реализовать парсинг каталога с автоматическим импортом данных

— Возможные сложности: защита от парсинга, динамический контент (JS-рендеринг) — решаемо

— Результат: структурированные данные в CSV/Excel/БД
Ориентировочная стоимость: 3000–5000 UAH. 3–5 дней.
… Пришлите ТЗ — дам точную оценку.

Здравствуйте! Парсинг крупных каталогов и автоматизация импорта — моя ежедневная работа (в проде парсеры каталогов конкурентов с анти-бот обходом, нормализацией и AI-сопоставлением товаров). Гляну ТЗ и назову точную стоимость и сроки; основные риски обычно — анти-бот защита и нестабильная вёрстка, решаемо. Цена в ставке условная.

Татьяна, в этой задаче самое интересное находится не в парсинге, а в связке двух источников данных. Сами 100 000 карточек каталога — это большой, но вполне линейный объём работы. Основная сложность появляется на этапе автоматической привязки данных PCGS к уже созданным карточкам.

Судя по описанию, у вас уже есть рабочая модель импорта одной монеты через расширение. Это хороший признак, потому что логика сопоставления сущностей уже частично существует. Я бы сначала разобрала именно этот процесс и поняла, какие атрибуты реально используются для поиска соответствующей карточки, прежде чем запускать массовую автоматизацию.

Отдельно обратила внимание на перебор сертификатов PCGS. Если диапазон действительно исчисляется десятками миллионов страниц, то перед разработкой стоит потратить время на исследование структуры данных. Часто такие сайты оставляют косвенные точки входа: поисковые запросы, внутренние API, sitemap, архивы или страницы серий. От этого зависит весь бюджет второго этапа.

По объёму вижу здесь скорее полноценный проект по сбору и нормализации данных, чем обычный парсер. Этап с каталогом оценила бы примерно в 40–60 часов. Этап с автоматическим получением и сопоставлением данных PCGS без предварительного исследования сложно оценивать, но реалистично это ещё 40–100+ часов работы. Общий бюджет выглядит в диапазоне 1200–3200$.

Подскажите, каталог на вашем сайте уже имеет стабильные внутренние идентификаторы для монет, или сейчас сопоставление возможно только по названию, году и другим атрибутам?

Здравствуйте! Задача полностью понятна, я специализируюсь именно на Python-парсерах и сборе больших каталогов данных. Увидел ваш сайт на Lovable — это отличный вариант, так как я подготовлю для вас чистый CSV или JSON файл, который вы сможете загрузить в один клик для автоматического заполнения карточек монет без помощи программистов.
Для сбора буду использовать асинхронные скрипты с имитацией действий человека и ротационными прокси, что позволит легко обойти защиту сайта-донора (типа Cloudflare или капчи), перехватить динамический контент и четко структурировать все специфические нумизматические характеристики по отдельным колонкам базы данных. Готов подключиться уже сегодня, скидывайте ссылку на сайт-донор в приватные сообщения, и я все детально проработаю!

Показать оригинал

Перевести

Здравствуйте! Я бэкенд-разработчик, работаю на PHP (CLI/скрипты), что идеально подходит для Big Data без лишней нагрузки на память. Ваш стек на Lovable (React + Supabase/PostgreSQL) мне полностью понятен - импорт будет идти напрямую в БД через пакетные SQL-запросы для максимальной скорости.

Техническое видение реализации:

Этап 1: Парсинг uCoin (Скелет на 100 000 карточек)
• Фильтрация: Скрипт обойдет дерево стран uCoin, отсекая коллекционные наборы и собирая лишь регулярные и юбилейные монеты.
• Оптимизация: Собираем лишь текст (название, год, характеристики). Для обхода Cloudflare использую ротацию заголовков и прокси.

Этап 2: Оптимизация PCGS (Вместо 30 млн страниц)
… • Решение: Перебирать 30 млн сертификатов в лоб - неэффективно. Я найду внутреннюю структуру сайта через Population Report или Set Registry. Мы спарсим таблицы групп по уникальному Coin Number, что сократит объем запросов в тысячи раз.
• Прокси и маппинг: Скрипт будет работать через зарубежные резидентские прокси (PCGS блокирует СНГ). Автоматически извлечет фото слабых, грейд, номер сертификата и привяжет их к карточкам с Этапа 1.

Процесс делим на два логических шага:

• Этап 1 (uCoin - Скелет каталога): Разработка CLI-парсера и пакетный импорт текста в вашу базу Supabase.
Стоимость: 7000 грн | Срок: 4 дня (с учетом прогона через прокси).

• Этап 2 (PCGS - Фото и метаданные): Автоматизация обхода, скачивание изображений, парсинг грейдов и автопривязка.
Стоимость: Оценим после анализа вашей базы на Этапе 1 (ориентировочно $400-500, 7-10 дней).

В поле ставки указал стоимость за Этап №1. Жду в личных сообщениях для обсуждения деталей!

Показать оригинал

Перевести

Здравствуйте.

Я ознакомился с ТЗ и посмотрел ваш каталог на Lovable. Для первой очереди могу собрать импорт базового каталога: структура из uCoin, фильтрация нужных категорий, нормализация стран / номиналов / годов / атрибутов и загрузка в вашу структуру на сайте.

Отдельно закладываю проверку дублей, лог импорта и список записей, которые требуют ручного уточнения. Для такого объема это важно, чтобы после импорта не чистить 100 000 карточек вручную.

По PCGS проверил официальный Public API: он поддерживает поиск по cert number, barcode и PCGS number + grade, но требует аккаунт/API-доступ и имеет дневный лимит запросов. Поэтому второй этап стоит начать с технического теста API на небольшой выборке: проверить доступные поля, фото, лимиты и логику привязки к карточкам каталога.

У меня есть релевантный опыт с парсингом, нормализацией каталогов, подготовкой данных к импорту и работой с большими объемами записей.
…
Перед началом работы мне нужно уточнить:
- какие категории из uCoin исключаем
- есть ли доступ к Supabase / бэкенду вашего сайта
- какие поля обязательны для карточки монеты
- есть ли PCGS аккаунт/API-доступ
- есть ли готовый список cert / PCGSNo для теста

После проверки PCGS API можно отдельно зафиксировать второй этап с фото и метаданными.

Детали можем обсудить в личных сообщениях.

Показать оригинал

Перевести

Здравствуйте! Я работал над парсингом большого количества графических данных, которые требовали дальнейшей обработки и структурирования, поэтому могу выполнить ваш заказ.

Среди вызовов, которые могут стать на пути, может быть защита от ботов на сайтах, которые нужно парсить, но можно найти способ для обхода.

Могу создать структурированную БД из данных, которые удалось извлечь с целевых сайтов, или же добавить в уже существующую базу данных.

В настоящее время могу оценить проект на 3000 гривен с сроком до 5-6 дней.

Показать оригинал

Перевести

Здравствуйте. По описанию вижу задачу как парсинг крупного каталога с последующей автоматизацией импорта данных. Подробное ТЗ у вас в прикреплённом документе, готов его изучить и дать конкретную оценку по стоимости и срокам.

Опыт работы с парсингом больших каталогов есть: писал парсеры на Python с устойчивостью к пагинации, динамической подгрузке и защитам, с нормализацией данных и загрузкой в базу. Из типичных сложностей на крупных каталогах сразу закладываю: защита от блокировок и троттлинг запросов, рендеринг JavaScript там где данные грузятся динамически, аккуратная дедупликация и сопоставление полей при импорте, а также докачка и обновление вместо полного перезапуска, чтобы каталог можно было освежать инкрементально.

Чтобы дать точные цифры: я изучу ваш документ с ТЗ и посмотрю каталог по ссылке. Подскажите только, куда именно нужно импортировать данные: в базу вашего сайта на Lovable через его backend или в отдельную базу. После этого вернусь с точной оценкой по срокам.

Здравствуйте! У меня большой опыт парсинга данных, мои работы можете посмотреть в портфолио на сайте. Предлагаю качественную и быструю работу. Возможная проблема в том, что сайт pcgs активно блокирует IP-адреса из-за ботов, решение для этого — резидентский прокси. Пишите.

Показать оригинал

Перевести

Здравствуйте.Есть большой опыт в разработке парсеров на Python.Готов к сотрудничеству.

Здравствуйте!

цена и сроки: 10000 грн, и от 2 дней до 1 недели максимум

Опыт: парсинг больших каталогов, импорт в PostgreSQL, очереди, дедупликация, восстановление после сбоя. Некоторые парсеры могу сбросить в ЛС

Этап 1
Скелет как ucoin.net: страны, номиналы, годы, регулярные/юбилейные. Без фото и без лишних категорий. Фильтры по вашим критериям, импорт в структуру как на /catalog/usa. Ориентир ~100k карточек, пакетами с логом прогресса.

… Этап 2
PCGS: фото + метаданные (год, грейд, cert и т.д.), привязка к карточкам этапа 1. Перебор 20-30 млн cert ID - не делаем. Ищем обход: структура сайта, поиск по атрибутам, матч по стране/году/номиналу. Логику вашего Chrome-расширения - в автомат (Playwright + прокси для US IP). Не каждая монета будет иметь cert - часть вручную или очередь исключений.

Сложности
ucoin: rate limit, изменения верстки. PCGS: геоблок, антибот. Матчинг не 100%. Массовое копирование данных/фото - проверьте ToS.

От вас: ТЗ из файла, список исключенных категорий, доступ к БД/API, примеры PCGS URL для теста.

Готов уточнить объем после документа.

Показать оригинал

Перевести

Добрый день!

Парсинг больших каталогов — наша профильная область, задача понятная. Проект разделю на два этапа, так как они различаются по сложности.

Этап 1 — каталог ucoin.net → ваш сайт (~100 000 карточек):

парсинг структуры по критериям (регулярный чекан + юбилейные, без коллекционных);
карточки: страна → номинал → тип (год, металл, диаметр, KM#), без фото и лишнего;
импорт на ваш сайт на Lovable через его backend (Supabase API / bulk-import);
… работаем через прокси и троттлинг, чтобы обойти лимиты. 100k — объем большой, но вполне реальный.
Этап 2 — PCGS (изображения + метаданные, привязка к карточкам):
Здесь есть реальное ограничение, которое вы и сами заметили. Перебор 20–30 млн последовательных cert-страниц — не вариант: это месяцы парсинга + гарантированный бан, плюс PCGS режет IP Украины (нужны US-резидентные прокси).

Правильный путь — сначала разведка: найти внутренний API/endpoint PCGS, который отдает данные cert структурированно (часто такие сайты загружают данные отдельным JSON-запросом — его и используем вместо обхода HTML). От результата разведки зависит, можно ли полностью автоматизировать, или останется полуавтомат.

Возможные сложности (как вы и просили): блокировка IP на PCGS, отсутствие каталоговой структуры PCGS, логика привязки (cert = конкретный экземпляр, карточка = тип монеты — маппинг по номиналу/году/грейду), анти-бот на объемах.

Опыт парсинга больших каталогов есть. Детали по проекту, сроки и стоимость — в личных сообщениях. Готовы приступить к работе.

Показать оригинал

Перевести

Здравствуйте. Могу реализовать данный проект. Есть наработки. Если актуально - пишите, обсудим.

Добрый день, готов выполнить ваш заказ и буду рад дальнейшему сотрудничеству. Пишите сюда в личные сообщения, скину вам примеры своих работ. Еще могу скинуть ссылку на портфолио)

Показать оригинал

Перевести

Готов выполнить ваше задание, опыт есть, пишите если надо, тогда проанализирую и напишу вам как я вижу реализацию

Здравствуйте.

Разрабатываю парсеры на NodeJS. Готов взяться. Пишите, обсудим.

Здравствуйте. Меня зовут Дмитрий. Заинтересовал ваш проект. Имею опыт разработки парсеров, работы с большими каталогами товаров и автоматизации обработки данных с последующей выгрузкой в базы данных, CRM и интернет-магазины.
Работал с каталогами на десятки и сотни тысяч позиций, включая защиту от блокировок, обновление данных по расписанию, обработку изображений, характеристик и категорий.
По предварительной оценке сроки и стоимость зависят от объема данных, структуры сайта-источника и требований к обновлению каталога, поэтому после ознакомления с полным ТЗ смогу дать более точную оценку.
Из возможных сложностей обычно встречаются ограничения со стороны сайта-донора, защита от парсинга, нестабильная структура данных, ограничения по скорости запросов и необходимость регулярной синхронизации изменений. Все это решается на этапе проектирования архитектуры парсера.
Готов изучить ТЗ и предложить оптимальный вариант реализации с учетом дальнейшего масштабирования проекта. 👍

Здравствуйте.
Готов взяться за проект как Python-разработчик.
Есть опыт парсинга крупных каталогов, обработки больших объемов данных, нормализации атрибутов, удаления дублей и импорта данных в сайт/БД/API. Для реализации могу использовать Python, Scrapy/BeautifulSoup, Playwright/Selenium, requests/aiohttp, PostgreSQL/MySQL, очереди и логирование.

Здравствуйте! Я возьмусь за парсинг каталога и автоматизированный импорт данных.

Посмотрел ваш каталог (coin-каталог на lovable.app) — соберу все позиции с нужными полями (название, год, описание, цена, изображение, ID/ссылка) и настрою автоматический импорт в вашу систему.

Отвечаю на ваши вопросы:
1. Стоимость — в пределах вашего бюджета; срок ориентировочно 4 рабочих дня (точно подтвержу после ТЗ и доступа к целевой базе).
2. Опыт с парсингом есть: пишу парсеры на Python (requests/httpx, BeautifulSoup/lxml, при необходимости Playwright для JS-страниц) с нормализацией, дедупликацией и выгрузкой в CSV/JSON/БД; работаю с большими объемами и автоматизацией импорта.
3. Возможные сложности, которые учту сразу: динамическая подгрузка контента (JS-рендер), лимиты/блокировки при частых запросах (делаю throttling + ретраи), корректное сопоставление полей под вашу схему БД, обработка изображений и инкрементное обновление (чтобы не дублировать при повторных запусках).

… Два уточнения:
1) Куда импортируем — ваша БД (какая СУБД) / CMS / Google Sheet / API?
2) Парсинг разовый или нужны регулярные обновления по расписанию?

Работаю через Safe.

Показать оригинал

Перевести

Здравствуйте!

Я ознакомился с вашим заданием - у меня есть релевантный опыт в похожих проектах, поэтому я понимаю, как реализовать все качественно и без лишних задержек.

Могу приступить к работе сразу после согласования деталей. По завершении также помогу с настройкой, деплоем и передам всю необходимую документацию.
(указал время разработки парсера, а на сбор данных этим парсером будет несколько больше)

Буду рад сотрудничеству!

Показать оригинал

Перевести

Добрый день. Могу реализовать данный парсер. Профессионально разбираюсь в парсинге любой сложности, включая обход различных защит от ботов.
Писал парсеры очень сложные и крупные. Например парсер copart.com где нужно был парсить 500к автомобилей за несколько часов. Обращайтесь.

Привет! Вы уже определились с приоритетными источниками для парсинга, кроме основного каталога?

Сроки и бюджет уточню в личной переписке.

Вот как я выполню этот проект:
1. Проведу анализ структуры каталога и определю оптимальные точки входа для сбора данных.
2. Настрою асинхронный парсер с обработкой пагинации и защиты от блокировок.
3. Реализую выгрузку данных в удобном формате с фильтрацией дубликатов.

… Спасибо за рассмотрение моего предложения. Я с нетерпением жду возможности сотрудничества с вами!

Показать оригинал

Перевести

Добрый день! Мы имеем большой опыт в парсинге крупных каталогов с обходом защиты и автоматизацией импорта через API. Реализуем это через Python с использованием библиотек Playwright и Scrapy. Основные сложности видим в динамической подгрузке контента и лимитах на запросы, которые мы успешно нивелируем через ротацию прокси. Готовы обсудить детали реализации после изучения ТЗ.


Цена за весь проект

Парсер с устойчивым сбором данных — рабочая задача. С обработкой данных и backend-логикой работаю постоянно.

Доброго дня!

Готов взяться за разработку парсера каталога и автоматизацию импорта данных. Опыт работы с крупными каталогами имеется, в том числе с использованием прокси и API. Ориентировочная стоимость и сроки будут сформированы после ознакомления с ТЗ.

Основные сложности могут возникнуть с изменениями в структуре сайта-источника и блокировками IP.

Напишите мне для уточнения деталей.