Парсинг цен конкурентов
примерно такую таблицу хочу заполнять через web интерфейс и запускать парсинг через список проксисерверов который ввожу в настройках парсеров
ссылки вбиваются в столбцы 6/7/8/9/10
в ячейке 5 получаем минимальную цену среди всех
также при парсинге должен учитываться информер наличия, если товар не в наличии - пишем "НЕТ"
должен быть экспорт в эксель по одной кнопке
также должна быть возможность настроить под каждый сайт код из которого мы вырезаем кусок с ценой и наличием
предлагайте свои цены
-
14 днів2500 UAH
364 14 днів2500 UAH
Доброго времени суток.
Меня зовут Максим
Вот мое портфолио stomaks.me
Сумму указал примерную, точнее будет ясно от объема данных на сайтах.
Парсер написан мной лично.
Также в моей команде 3 человек.
… Пишите, обсудим детали
-
11 днів1111 UAH
486 23 0 11 днів1111 UAH
Здравствуйте, хочу обсудить детали проекта.
Точная цена и сроки после обсуждения проекта
Могу написать программу для Windows
-
14 днів14 858 UAH
11661 204 0 2 14 днів14 858 UAH
Добрый вечер!
С подобной задачей имел дело.
Готов помочь вам в решении, обращайтесь.
-
14 днів12 735 UAH
1131 25 0 14 днів12 735 UAH
Добрый день. Есть большой опыт разработки таких УНИВЕРСАЛЬНЫХ (с возможностью САМОМУ добавлять сайты) парсеров с веб-интерфейсом. Примеры показать не смогу - это закрытые корпоративные решения. Но сразу могу сказать - просто это не делается, т.к. к каждому сайту нужен свой подход. Цену указал начальную, т.к. знаю сколько сложностей предстоит с такой системой. Вопрос: допустим у вас есть некий товар в списке - вы сами добавите в него подходящие страницы с других сайтов? Или вы добавите только главные страницы сайтов, а парсер сам должен искать этот товар на этих сайтах?
-
Сайтов фиксированное количество или может понадобиться добавить новый?
Под каждый сайт свои методы парсинга.
-
под каждый сайт метод парсинга - вырезать начало и кусок кода с ценой)
-
Вы же осознаете, что на разных сайтах может быть разный код? И запрограммировать парсер, чтобы он был универсальным и парсил абсолютно все -- невозможно.
-
Осознаю конечно, для этого и должна быть возможность добавить по каждому сайту начало и конец тега в коде из которого мы дергаем значение и ставим в таблицу.
Тоже само и с наличием.
-
К сожалению, это немного не так работает, малейшее изменение в коде -- парсер сломан. Нужен фиксированный список сайтов. Повторюсь, совсем-совсем универсальных парсеров попросту не бывает.
-
в contendownloader куском кода вырезается всё, но там нет дальше возможности сделать сводный эксель, верстка меняется - но ничего не мешает залезть в код вписать в ячейку и вот парсер и поменялся
-
Если бы Вы указывали на каждый сайт правильное регулярное выражение (Regex Expression), тогда можно было бы, в принципе, что-то сделать близкое к универсальному в каком-то понимании. Но, учитывая недостаток Ваших знаний в этой области, не думаю, что это является решением.
-
в content downloader мне из без этих знаний хватает знаний html парсить многотысячные сайты, но сводить в единую таблицу там к сожалению нельзя
потому тут вопрос прямоты рук и подхода исполнителя
-
Content Downloader не один день делался, само собой, он умеет многое, но, опять же, универсального парсера не существует.
-
объясните пожаулйста в чем разнообразие между сайтом а и сайтом б кроме кода? Нужно зайти взять кусок преднастроенного кода и уйти. Естественно универсально)Я не хочу чтобы он работ без преднастройки и понимаю что меняется и коды и верстка и т.д. Но мне надоело например платить excelvba за переделку каждого пука и перенастройку парсеров, хотя поменялся только тег на сайте - и лег весь парсер. Зачем усложнять когда надо упрощать.
-
поэтому лучше не фиксированное количество - как логически сделать , могу объяснить...не хватает мне навыков програмирования, если честно)
-
вы ж понимаете что если вы даже укажите тег,не всегда по ним парсится, порой xpath нужно составлять.от того правильно ли вы его составите будет зависеть результат спарсит ли вообще софт с этого сайта данные.
я не говорю уже что каждый сайт может иметь свою защиту( рекапчу,клаудфларе и т.д.) -
Актуальні фриланс-проєкти в категорії Веб-програмування
Webflow розробник для заповнення сторінок портфоліо на сайтіЄ сайт розроблений кастомно на вебфлоу для будівельної компанії, потрібно швидко заповнити сторінки проектів за одним шаблоном (замінити картинки і тексти) Для 2 мов Кількість - 6 штук Готові починати asap, дякую! HTML та CSS верстання, Веб-програмування ∙ 2 години 45 хвилин тому ∙ 22 ставки |
Адміністратор-налаштувальник LearnWorldsЗадача Настроїти готову платформу LearnWorlds під елітний онлайн-курс. Не розробляти архітектуру — реалізувати вже готову структуру руками в адмін-панелі. ———————— Що потрібно зробити: Брендинг ⦁ Підключити свій домен ⦁ Завантажити логотип, налаштувати фірмові кольори ⦁… CMS, Веб-програмування ∙ 5 годин 50 хвилин тому ∙ 8 ставок |
Верстка та посадка на WordPress сайту будівельної компанії (Premium-сегмент) з акцентом на SEOОпис проєкту:Шукаємо досвідченого WordPress-розробника для верстки та посадки готового дизайн-макета з Figma на CMS WordPress. Важливий контекст проєкту:Це не розробка сайту з нуля. Компанія має діючий сайт, ми оновлюємо структуру та дизайн. Нам необхідно реалізувати головну… HTML та CSS верстання, Веб-програмування ∙ 7 годин 27 хвилин тому ∙ 48 ставок |
≈5 мікросервісів на FastAPI + правки та рефакторинг
15 682 UAH
Є проект, що складається приблизно з ~11 мікросервісів на FastAPI з інтеграціями, який більш ніж на половину готовий. Завдання - доробити решту ~5 мікросервісів (конкретніше - subscription/billing та інтеграція з Revenuecat, захист від зловживань для білінгу, Notifications,… Python, Веб-програмування ∙ 9 годин 38 хвилин тому ∙ 29 ставок |
Адаптивний дизайн портфоліо вебсайту (wordap - сайт для продажу та купівлі)Мені потрібен чистий, сучасний портфоліо-сайт, який відповідає моєму існуючому брендовому посібнику і гарно адаптується до настільних комп'ютерів, планшетів і мобільних пристроїв. Завдання сайту просте: підкреслити мою роботу за допомогою вражаючих фотографій, вбудованих відео… CMS, Веб-програмування ∙ 1 день тому ∙ 39 ставок |