сложный многопоточный парсер
Необходимо разработать многопоточный парсер. (предпочтительно на языке С#)
Сайт донор с которого необходимо парсить использует Recapcha, при каждом обращению за данными.
Данные необходимо будет сохранять в базу без дублей.
Алгоритм работы и данные с которыми необходимо работать.
Входные данные находятся в базе данных mysql в определённой таблице (таблица запчастей, в ней 2 поля: Артикул запчасти и Производитель).
Каждую запчасть (Артикул и Производитель) необходимо ввести в специальную форму на сайте доноре и отправить ее.
После отправки формы, донор выдает данные. Результаты которые выдает донор необходимо сохранить в базу.
Основная сложность, это то что при отправки формы на сайт доноре необходимо пройти Recaptcha. То есть парсер должен использовать Антикапчу/или какой то другой сервис по разгадыванию защитного кода.
Парсер должен работать в несколько потоков.
В парсере предусмотреть возможно указать количество потоков. А также работу через прокси или напрямую. Прокси будут находиться в отдельном txt файле (предвидеть возможность указать путь к файлу прокси в парсере). В процессе работы файл с прокси может быть изменен (добавиться новые прокси), сторонним софтом, в парсере предусмотреть возможность периодически получать новые прокси с файла.
По дублям. Результаты могут содержать дубли. Дублем считается товар с одинаковым артикулом и брендом (перед записью в таблицу результатов проверять на наличие товара по артикулу и бренду).
Парсер должен помечать товары которые уже «прошел» в таблице входных данных, что бы при повторах запусках парсера не проходиться по ним еще раз (в таблице входных данных будет специальное поле для этой пометки).
Сайт донор отправлю в ЛС. Это основные детали проекта. Мелкие нюансы, готов обсудить.
-
139 1 0 Здравствуйте, очень заинтересовал Ваш проект.
Готов обсудить детали и приступить к разработке.
Есть команда для Вас.
Уверенно работаю с:
Java and Android SDK; OOP; SQlite/ORM; Retrofit/ Gson; Firebase;
Multithreading in Android/Java; Bluetooth API, Google MAP API;
Knowledge of client-server architecture, REST; unit testing; Dagger 2, Butter Knife, Picasso, RxJava; Gradle; Git;
Примеры работ:
… https://play.google.com/store/apps/details?id=com.takeawaymogul.app
https://play.google.com/store/apps/details?id=com.privatix&hl=ru
https://play.google.com/store/apps/details?id=com.snappyrecruit https://play.google.com/store/apps/details?id=ru.medicoapp.client
Жду Ваш ответ.
-
248 9 0 Добрый день
Большой опыт написания парсеров различной сложности
Можем выполнить в виде десктопного приложения под win
Окончательная стоимость после обсуждения полного ТЗ
-
Добрый вечер. Как-раз занимаюсь написанием парсеров на C#.
Можно увидеть полное ТЗ?
-
Приветствую!
Возможно сделать решение для ZennoPoster/ZennoBox. CapMonster решит капчу. Можно также отправлять капчу на RuCaptcha.
Опыт разработки подобных ботов 3 года.
Можем обсудить технические детали в мессенджерах:
Telegram: @Eltar
Viber: +380937068250
Skype: zhermen2
-
Актуальные фриланс-проекты в категории C#
Сравнительный анализ эффективности кастомного ПО (v2.2-field) и эталонного ПО (Meshtastic v2.x)
1000 UAH
Сравнительный анализ эффективности кастомного ПО (v2.2-field) и эталонного ПО (Meshtastic v2.x) на идентичной аппаратной платформе (ESP32 + SX1268, 2W) по критериям дальности, пропускной способности, стабильности линка и энергопотребления. Провести тесты с замерами с учетом… C и C++, C# ∙ 9 дней 11 часов назад ∙ 2 ставки |
Создание плагина для интеграции с POS-системой Syrve, C#Разработать плагин для POS-системы Syrve (on-premise), который устанавливается на сервер заведения. Плагин должен: (1) передавать на наш сервер данные в режиме реального времени — заказы, статусы столов, платежи, чеки; (2) принимать команды от Reservble — подтверждения… C#, Веб-программирование ∙ 12 дней 8 часов назад ∙ 15 ставок |