Розробити парсер для Chrome Web Store
5000 UAH
Всем привет, ищу исполнителя для написания парсера.
Далее этот скрипт будет дополняться, возможно другими магазинами экстеншинов, возможно дополнительным функционалом, поэтому рассчитываю на периодическое сотрудничество.
Если делали подобные парсеры, или есть в портфолио похожие проекты, указывайте, это будет большим плюсом.
Бюджет ориентировочный, поэтому указывайте ваши ориентировочные прогнозы.
Спасибо!
Вот предварительное ТЗ, финальное уже после детального обсуждения с исполнителем.
===============
Разработать парсер для Chrome Web Store, который должен парсить все возможные данные из магазина, как например:
Детальная информация по экстеншину/теме
Название
Описание
Категория
Отзывы
…и многое другое
Скачать архив экстеншена и получить дополнительную информацию из него (я предоставлю инструмент который дает такую возможность, или помогу настроить)
Сохранить файл
Размер файла
Переводы экстеншена
Данные из манифеста
Категории и индексы по категориям
Коллекции и индексы по коллекциям
Индексы выдачи по ключевым в поисковом дропдауне (ключевые слова будут предварительно переданы скрипту)
Индексы выдачи по ключевым в результате поиска (ключевые слова будут предварительно переданы скрипту)
Технические требования:
Скрипт должен запускаться с консоли
Поддержка многопоточности (так как экстеншинов и данных много, нужно оптимизировать парсинг)
Настроить сохранение данных в Postgresql и CSV
Парсер должен уметь решать различные блокировки, такие как капча или блокировка по IP, с помощью прокси или других инструментов
Внедрить систему логирования для отслеживания состояния парсера во время выполнения
Предоставлять отчеты после выполнения скрипта (количество обработанных экстеншинов, категорий, ключевых слов и т. д.)
Будет плюсом:
Хорошее знание баз данных, и оптимизация их, чтобы уменьшить количество дублей данных при повторном парсинге
Парсинг не по разметке, а по запросам к бекенду (так как именно для этого партнера это будет важно)
Опыт в написании подобных парсеров
-
15 дней15 000 UAH
808 27 2 2 15 дней15 000 UAH
Привет! У меня большой опыт в написании парсеров и ботов. Хорошо знаком с возможностями обхода капч, подмены IP и User-Agent, применения прокси и загрузки файлов с сайтов. Хорошим вариантом будет реализовать это на Селениуме, можно попробовать через запросы, но этот вариант проигрывает в контексте обхода блокировки. Вы планируете использовать гугл аккаунты или парсить без них? Можем подробно обсудить проект в личных сообщениях.
-
1 день20 000 UAH
8150 63 1 1 день20 000 UAH
Привет всем! Готов взяться за написание парсера для Chrome Web Store. Жду возможности обсудить детали проекта и начать работу. Спасибо!
-
10 дней20 000 UAH
2912 44 0 10 дней20 000 UAH
Здравствуйте.
Могу реализовать на nodejs
----------------------------------
-
15 дней27 000 UAH
8773 60 0 1 15 дней27 000 UAH
Good day!
Ready to create a parser for the Chrome Web Store.
Have experience in developing similar bots.
We write in Python. Ranked 9th on the platform in this language.
Looking forward to collaborating!
-
5000 грн за розв'язок капчі? 😂 😅
-
В чому питання?
-
може в тому що обійти капчу не так то просто. на її розробку витрачаються набагато більші суми. а ви хочете за копійки її обійти
-
1. Це не фінальний бюджет, я зазначив описі, щоб кандидати пропонували свій. Але я згоден, мій косяк, потрібно було просто нічого не вводити в поле. На жаль зараз не можу це змінити.
2. Не факт що потрібно буде вирішувати капчу, це мої здогадки. Можливо потрібно буде використовувати проксі і цього вистачить, поки не спробуємо не взнаємо.
3. Для вирішування капч вже є купа інструментів в тому числі платних, тому тут не обовʼязково потрібно буде писати окремий скрипт рекогнішену капч з інтеграцією з Open AI.
-
Актуальные фриланс-проекты в категории Базы данных и SQL
Парсинг базы
2000 UAH
Требования к каналам: 1. Язык контента: Русский или украинский (допускается смешанный контент RU/UA) 2. Количество подписчиков: Не менее 500 подписчиков 3. Активность: Последний пост опубликован не позднее чем 32 часа назад 4. Комментарии: В канале должны быть открыты… Базы данных и SQL, Парсинг данных ∙ 1 день 1 час назад ∙ 28 ставок |
Необходимо проверить скритими и обновить данные в бд postgres.Необходимо поправить sql скрипты для базы postgres. Нужно проверить скритими и обновить данные с внешних таблиц Excel и между 2-мя базами (разные сервера) Postgres. Запуск скриптов через AnyDesk программа Navicat. Перечень данных для проверки и корректировки: 1. Товары… Базы данных и SQL ∙ 4 дня 4 часа назад ∙ 18 ставок |
Нужен Airtable-архитектор для построения реляционной схемы и новой чистой базы AirtableНеобходимо помочь переосмыслить и построить чистую реляционную схему для внутренней операционной системы на Airtable. Текущая база уже используется командой, но она выросла органически: структура частично плоская, часть таблиц/вьюшек используется активно, часть почти не… Базы данных и SQL, Десктопные приложения ∙ 4 дня 22 часа назад ∙ 10 ставок |
Платформа образования по тренерству в баскетболе + индивидуальная CMSПлатформа образования по баскетбольному тренерству + Пользовательская CMSОбзор проектаМы ищем опытную команду веб-разработчиков или full-stack разработчика для создания современной платформы образования по баскетбольному тренерству.Сайт предоставит баскетбольным тренерам… Базы данных и SQL, Веб-программирование ∙ 5 дней 15 часов назад ∙ 92 ставки |
Интеграция вайбер в 8.3
10 000 UAH
Необходима интеграция Viber в собственную CRM (1С 8.3)О компании Компания "Домофон Систем" занимается установкой и обслуживанием домофонных систем. База более 40 000 абонентов. Работаем на собственной доработанной системе на базе 1С 8.3. Ищем специалиста или команду для… Базы данных и SQL, Разработка ботов ∙ 5 дней 19 часов назад ∙ 18 ставок |
Киев