примерно такую таблицу хочу заполнять через web интерфейс и запускать парсинг через список проксисерверов который ввожу в настройках парсеров
ссылки вбиваются в столбцы 6/7/8/9/10
в ячейке 5 получаем минимальную цену среди всех
также при парсинге должен учитываться информер наличия, если товар не в наличии - пишем "НЕТ"
должен быть экспорт в эксель по одной кнопке
также должна быть возможность настроить под каждый сайт код из которого мы вырезаем кусок с ценой и наличием
предлагайте свои цены
Бюджет: 2500 UAH Срок: 14 дней
Доброго времени суток.
Меня зовут Максим
Вот мое портфолио stomaks.me
Сумму указал примерную, точнее будет ясно от объема данных на сайтах.
Парсер написан мной лично.
Также в моей команде 3 человек.
Пишите, обсудим детали
Бюджет: 1111 UAH Срок: 11 дней
Здравствуйте, хочу обсудить детали проекта.
Точная цена и сроки после обсуждения проекта
Могу написать программу для Windows
Бюджет: 35000 RUB Срок: 14 дней
Добрый вечер!
С подобной задачей имел дело.
Готов помочь вам в решении, обращайтесь.
Бюджет: 30000 RUB Срок: 14 дней
Добрый день. Есть большой опыт разработки таких УНИВЕРСАЛЬНЫХ (с возможностью САМОМУ добавлять сайты) парсеров с веб-интерфейсом. Примеры показать не смогу - это закрытые корпоративные решения. Но сразу могу сказать - просто это не делается, т.к. к каждому сайту нужен свой подход. Цену указал начальную, т.к. знаю сколько сложностей предстоит с такой системой. Вопрос: допустим у вас есть некий товар в списке - вы сами добавите в него подходящие страницы с других сайтов? Или вы добавите только главные страницы сайтов, а парсер сам должен искать этот товар на этих сайтах?
Сайтов фиксированное количество или может понадобиться добавить новый?
Под каждый сайт свои методы парсинга.
5 февраля 2020
под каждый сайт метод парсинга - вырезать начало и кусок кода с ценой)
Вы же осознаете, что на разных сайтах может быть разный код? И запрограммировать парсер, чтобы он был универсальным и парсил абсолютно все -- невозможно.
5 февраля 2020
Осознаю конечно, для этого и должна быть возможность добавить по каждому сайту начало и конец тега в коде из которого мы дергаем значение и ставим в таблицу.
Тоже само и с наличием.
К сожалению, это немного не так работает, малейшее изменение в коде -- парсер сломан. Нужен фиксированный список сайтов. Повторюсь, совсем-совсем универсальных парсеров попросту не бывает.
5 февраля 2020
в contendownloader куском кода вырезается всё, но там нет дальше возможности сделать сводный эксель, верстка меняется - но ничего не мешает залезть в код вписать в ячейку и вот парсер и поменялся
Даже странно немного, да? Почему это в content downloader нет такой возможности? Ведь судя по вашим словам это так просто. Удивительно даже, что они не сумели (или почему-то не захотели) прикрутить такой примитивный функционал.
Если бы Вы указывали на каждый сайт правильное регулярное выражение (Regex Expression), тогда можно было бы, в принципе, что-то сделать близкое к универсальному в каком-то понимании. Но, учитывая недостаток Ваших знаний в этой области, не думаю, что это является решением.
Regular Expression*
5 февраля 2020
в content downloader мне из без этих знаний хватает знаний html парсить многотысячные сайты, но сводить в единую таблицу там к сожалению нельзя
потому тут вопрос прямоты рук и подхода исполнителя
Content Downloader не один день делался, само собой, он умеет многое, но, опять же, универсального парсера не существует.
5 февраля 2020
объясните пожаулйста в чем разнообразие между сайтом а и сайтом б кроме кода? Нужно зайти взять кусок преднастроенного кода и уйти. Естественно универсально)Я не хочу чтобы он работ без преднастройки и понимаю что меняется и коды и верстка и т.д. Но мне надоело например платить excelvba за переделку каждого пука и перенастройку парсеров, хотя поменялся только тег на сайте - и лег весь парсер. Зачем усложнять когда надо упрощать.
5 февраля 2020
поэтому лучше не фиксированное количество - как логически сделать , могу объяснить...не хватает мне навыков програмирования, если честно)
Объясните логически, мне интересно Ваше виденье.
5 февраля 2020
вот типа того и в соотвествии с данными настройками мы можем вставкой кусков кода перенастраивать парсер прямо в таблице
вы ж понимаете что если вы даже укажите тег,не всегда по ним парсится, порой xpath нужно составлять.от того правильно ли вы его составите будет зависеть результат спарсит ли вообще софт с этого сайта данные.
я не говорю уже что каждый сайт может иметь свою защиту( рекапчу,клаудфларе и т.д.)
11 февраля 2020
на сайтах что я указал нет защиты в том то и дело. Там обычный хтмл
Специалист по SEO дал задание на оптимизацию сайта, нужен исполнитель_____________________________________________ Указывайте цену и сроки https://docs.google.com/document/d/1uw7NVjP-aZMDiuJVtem-LM27feTOFgivUCoiHbI6BIs/edit?tab=t.0
Глубокое описание проекта 1. Исполнительное резюме Hrafi — это цифровая платформа по запросу, созданная для того, чтобы соединить марокканских потребителей и местных специалистов по услугам (Hrafiyin). Вдохновленная американскими платформами, такими как Thumbtack, Hrafi меняет способ, которым в Марокко заказываются услуги по обслуживанию дома и квалифицированные услуги, заменяя ненадежные слухи прозрачной, надежной и эффективной мобильной платформой. 2. Проблема Для клиентов: Найти надежных, квалифицированных мастеров (сантехников, электриков, маляров) в марокканских городах занимает много времени. Прозрачности цен нет, качество непредсказуемо, а безопасность/доверие остается основной проблемой. Для специалистов по услугам: Квалифицированные работники сильно зависят от неформальных сетей или физических мест сбора (mawqif). У них нет современных инструментов для создания стабильной клиентской базы, отслеживания доходов или демонстрации своего портфолио работ.
Необходимо доработать или настроить импорт по ссылке с сайта донора. Сайт донора расположен на Prom.ua, поэтому с ссылкой никаких проблем Сайт, на который будет идти импорт - kamilla-ua.com CMS - Opencart 2.1.0.2 Количество товаров - несколько тысяч. Сейчас установлен какой-то либо сломанный, либо кастомный модуль, который не работает корректно https://ibb.co/7dBnVTYj, зависает во время импорта и показывает ошибку 500 Что хотелось бы видеть: 1. Статус импорта (в % или в количестве товаров, чтобы понимать, зависло ли всё, или действительно движется) 2. Мультипоточность или другая возможность оптимизации работы во время импорта (чтобы сайт и/или сервер не умирал после нажатия кнопки "импорт") 3. Сохраненные текущие настройки, возможность обновлять товары / категории без затирания 4. Мультиязычность (импорт на русский и украинский отдельно или любая другая связка) Учитывая, что до конца не понятно, сколько это может занять времени, напишите свой рейты и ориентировочное количество часов, если бы брались за эту задачу с нуля (установка, настройка, тестирование соответствующего функционала). Это не единственная задача, далее еще планируется разработка мультиязычности и корректного перевода. Предложения создать новый сайт будут автоматически отклоняться. К сожалению, пока не тот бюджет
RWAvenue — это рынок Web3, сосредоточенный на токенизации реальных активов (RWA). Наша миссия заключается в том, чтобы соединить традиционные активы, такие как недвижимость, искусство, драгоценные металлы и финансовые активы, с технологией блокчейн. Мы завершили нашу первоначальную MVP и теперь расширяем платформу в масштабируемый рынок, который позволяет безопасное цифровое владение и управление реальными активами.
Ищу опытного Full-Stack разработчика (PHP, JavaScript/jQuery, HTML5, CSS3) для выполнения пула мелких, но важных правок на действующем сайте. Сайт работает на чистой связке PHP/MySQL без тяжелых CMS, поэтому важно уметь читать и аккуратно редактировать чужой код.Что конкретно нужно сделать: Корректировка футера: Полностью убрать вывод первого уровня каталога товаров (категорий) из нижнего меню сайта. Корректировка главного меню: Убрать из верхнего (главного) меню все ссылки на информационные / текстовые страницы. Перенос текстовых страниц: Определенные текстовые страницы («О компании», «Наши партнеры», «Наши объекты», «Заказать монтаж», «Оплата и доставка», «Политика конфиденциальности», «Новости», «Контакты») перенести и вывести в нижней части сайта (в футере) — на то место, где ранее выводились верхние уровни каталога товаров. Контакты и соцсети: Вывести в шапку и футер сайта актуальный номер телефона (сделать кликабельным для мобильных href="tel:") и иконки социальных сетей / мессенджеров. Функционал заказа консультации инженера: Кнопка в шапке: Добавить в верхней шапке сайта справа (рядом или под номерами телефонов) аккуратную, стильную кнопку. Текст на кнопке: «Консультация инженера». Дизайн кнопки: Выполнить в минималистичном стиле с использованием фирменных цветов, добавить маленькую иконку трубки телефона слева от текста и закругление углов (4–6px). Обязательно настроить интерактивный hover-эффект при наведении мышкой. Модальное окно (jQuery/JS): При нажатии на кнопку должно открываться всплывающее окно с формой (Поля: «Ваше имя», «Номер телефона»). Бекенд (PHP): Данные из формы должны проходить базовую валидацию на корректность ввода, защиту от спама и мгновенно отправляться через PHP mailer на электронную почту компании Требования к результату: Адаптивность: все новые элементы (кнопка звонка, модальное окно, обновленный футер) должны корректно и красиво отображаться на смартфонах и планшетах. Чистота кода: правки не должны «сломать» действующие скрипты или стили сайта. Безопасность: проверка введенных данных в форме звонка для защиты от спама. Пожалуйста, в отзыве укажите вашу ставку за час, сколько времени займет работа и финальную стоимость. Спасибо!
