Парсинг (скрипт) сложного сайта
8983 UAHсайт, на самом деле, несложный, https://www2.repuve.gob.mx:8443/ciudadania/ . (!)Нужен мексиканский впн. Сейчас у нас 2 способа получить с него информацию:
1. парсер (в приложении) - готов, но ооооочень медленно отдается информация.
2. по апи отсюда https://rapidapi.com/edgarfur-HNbCEGamI5C/api/informacion-vehiculos-de-mexico - аналогично, соединение с сервером быстрое, но ответ можем ждать минуты по 3... нам не подходит.
сам сайт довольно быстро отдает информацию, если запрашивать напрямую (без скрипта). Нам бы хотелось также быстро получать эту информацию к себе.
кто-то говорил, что если написать на аякс запросах или/и с шифрованием, то может быстрее получиться. В общем мне хочется уже ответ на эту задачу по увеличению скорости )). Кто поможет - тот герой )
-
14 дней17 965 UAH14 дней17 965 UAH
Здравствуйте, Ваш парсер медленный, потому что, используется puppeteer. Я посмотрела целевой ресурс, и могу сказать, что можно попробовать переписать парсер к примеру на python (scrapy), будет в разы быстрее, также, могу интегрировать готовое решение в вашу систему или просто в google sheets (если используете). Для всех дополнительных вопросов пишите личным сообщением. Буду рада сотрудничеству.
С уважением, Елизавета
-
3 дня11 228 UAH
872 15 4 3 дня11 228 UAHЗдравствуйте,
Я являюсь Backend-разработчиком и занимаюсь разработкой на различных языках программирования уже более 4х лет. Готов помочь вам в решении вашей задачи. Знаю о проблеме длительного выполнения при использовании Webdriver. Могу переписать его используя запросы. Могу реализовать как на Node.JS так и Python. Как вам будет удобно. С кодом ознакомился, но хотел бы подробнее узнать о задаче парсера. Пишите в ЛС. Готов реализовать как можно быстрее.
Буду рад сотрудничеству с Вами!
С уважением, Максим.
-
2 дня8983 UAH
956 14 0 2 дня8983 UAHПочитал инструкцию к вашему парсингу. Возникло впечатление, что задачу можно решить простыми средствами. Может я ошибаюсь, но, маловероятно.
-
2 дня8983 UAH
1090 108 1 1 2 дня8983 UAHДобрый день.
Готов обсудить и выполнить.
Какие входные данные?
Что в итоге нужно получать?
Актуальные фриланс-проекты в категории Javascript и Typescript
Разработка WebGL/Three.js сцены с генерацией и экспортом 3D (snapshot) из анимированного шейдераОписание объекта:Проект представляет собой дизайнерский стол, выполненный в форме реалистичного, глубокого водоворота (центральная воронка, которая плавно переходит из широкой горизонтальной столешницы в тонкую изящную ножку). Суть задачи:Требуется WebGL / Creative Coding… Javascript и Typescript, Веб-программирование ∙ 19 часов 37 минут назад ∙ 20 ставок |
Поддержка и развитие сайта клининговой компании
906 UAH
Ищу веб-разработчика / веб-мастера для долгосрочной поддержки и развития сайта клининговой компании. Сайт: https://donely.ca О проекте DoneLy Home Services — компания по предоставлению услуг уборки в Канаде, которая активно развивается и расширяет географию работы. Ищу… Javascript и Typescript, Веб-программирование ∙ 2 дня 21 час назад ∙ 59 ставок |
Разработка сайта по ТЗ на FramerНеобходимо сделать сайт по этим параметрам, что в ТЗ https://docs.google.com/document/d/1ODO2C9Krb4AaMiJz9wfbNzWlAyA2FwCCHL8r0biajUY/edit?usp=sharing Назовите реальный рейд на основе этого дизайна HTML и CSS верстка, Javascript и Typescript ∙ 3 дня 22 часа назад ∙ 27 ставок |
Разработка интерактивной карты Palworld для сайтаНеобходимо разработать интерактивную карту Palworld по примеру: https://palworld.gg/map Нам нужна не просто статическая картинка, а полноценная интерактивная карта, где пользователь может смотреть локации, включать / выключать категории объектов, искать нужные точки и… HTML и CSS верстка, Javascript и Typescript ∙ 5 дней 13 часов назад ∙ 35 ставок |
Разработка платформы AM Mobility (автосервис, парковка, страхование, аренда автомобилей)
257 282 UAH
Ищем команду или опытного Full Stack разработчика для создания MVP платформы AM Mobility. AM Mobility — это единая цифровая экосистема для автомобилистов, объединяющая в одном приложении и веб-платформе: парковку; автосервис; шиномонтаж; автомойку; аренду автомобилей;… Javascript и Typescript, Веб-программирование ∙ 10 дней 19 часов назад ∙ 119 ставок |
Carmen