Нужно создать прайс-агрегатор включая парсинг и матчинг товаров. Основная проблема которую хотим решить - получение обновляемого регулярного фида сматченых товаров из разных магазинов.
План-минимум - ежедневно обновляемый фид сматченых товаров.
Структурные блоки прайс-агрегатора:
1. Карточка товара с картинками, описаниями и характеристиками товаров. Саму карточку и характеристики товаров нужно спарсить. Один и тот же товар в разных интернет магазинах может называться по разному и иметь различный артикул. Товар должен матчиться и привязываться к карточке товаров. Внутри карточки видно стоимость и наличие по магазинам и есть возможность сортировки/фильтрации.
2. Категоризатор с деревом категорий. В разных магазинах категории/подкатегории имеют разную структуру и называются по разному, нужно чтобы они парсились и правильно матчились.
3. База товаров, наличия и цен. Цены и наличие товаров должны ежедневно обновляться. В базе может быть 200,000-2,000,000 товаров. Магазинов с которых нужно парсить может быть 1000-3000. Для старта можно ограничиться 100,000 товаров и 50 магазинами.
4. Фильтры. Возможность фильтровать товары по характеристикам. В каждой группе товаров должны быть свои фильтры (для обуви - размер, цвет, материал, бренд, утепление и т.д., а в пылесосе - тип пылесборник, тип уборки, мощность всасывания, насадки, вес и т.д.). Характеристики и фильтры для каждой категории нужно спарсить.
Примеры магазинов для парсинга: mvideo, эльдорадо, связной, lamoda, asos, Перекресток, Остин.
Примеры похожих проектов: hotline.ua, e-katalog.ru, yandex market.
Автоматический матчинг — сбор информации с сайтов интернет-магазинов и автоматические сопоставление с вашим ассортиментом.
1. Карточка товара с картинками, описаниями и характеристиками товаров. Саму карточку и характеристики товаров нужно спарсить.
Если у Вас есть свой ассортимент тогда это матчинг. А то что Вы накатали просто парсер.
25 października 2019
Согласен что задание немного размытое.
Давайте голосом по скайпу если вам интересен проект.
Каждый сайт имеет свою структуру и требует написания отдельных правил парсинга. Сайты типа hotline не парсеры, в них люди самостоятельно загружают прайс-листы. Hotline-бот не ходит по сайтам. Вы готовы оплачивать написание такого количества парсеров? А если сайт изменит структуру, то парсер необходимо переписывать. А если забанит?
Разные сайты могут называть разные товары одинаково. Как предполагается их различать?
Количество товаров в вашем проекте не имеет значения для того, кто умеет грамотно организовать структуру.
25 października 2019
Давайте голосом по скайпу. Если вам интересен проект.
Давайте голосом
У меня не показывается ваш скайп в профиле, напишите пожалуйста сообщением
То, что вы хотите сделать - понятно. Подход изначально ошибочен. В предидущем посте вам кратко изложили технические сложности. А есть еще финансовые, административные, правовые, сеошные. В общем, нужно либо делать по-другому, либо вложить кучу бобла в разработку ПО и коллектив, и затем, с высокой степенью вероятности, их назад не вернуть. Та работа, которую вы описали - я даже примерно затрудняюсь ее оценить, но это очень дорого. И работать должна команда. Если кто-то возьмется все сделать один и за неделю - это развод.
25 października 2019
Спасибо за ценный комментарий
Я готов воплощать любые хотелки клиента, особенно на постоянной основе. Но и чтобы клиент отдавал себе отчёт в том, что его проект будет представлять и как будет реализован, и за какую цену
Да бог с Вами. Задача размытая и как Вы верно указали сложно цену и время реализации нарисовать.
Trzeba stworzyć bota na Telegram, który będzie monitorował ogłoszenia na trzech stronach z wynajmem mieszkań (olx, lun, rieltor.ua) i wysyłał je w sposób zorganizowany na Telegram
konieczne jest zorganizowanie sposobu zbierania nowo utworzonych FOP-ów oraz, jeśli to możliwe, TOW. czy to ma być parsowanie, czy coś innego - powiedzcie, jaki to ma być sposób
Dzień dobry,Zlecę stworzenie stabilnego i niezawodnego rozwiązania do automatycznego monitorowania cen oraz dostępności produktów z konkretnego, dużego polskiego sklepu internetowego z branży RTV/AGD.Cel projektu: System musi regularnie sprawdzać wybrane linki produktowe i w przypadku zmiany ceny lub statusu dostępności, wysłać powiadomienie (najchętniej na Telegram, Discord lub e-mail – do ustalenia).Wyzwanie: Strona sklepu posiada bardzo agresywne systemy antybotowe (Akamai/Cloudflare). Zwykłe skrypty pobierające kod strony są natychmiast wykrywane i blokowane. Rozwiązanie musi skutecznie omijać te zabezpieczenia,maskować ruch bota i działać stabilnie w dłuższej perspektywie, bez ciągłego wywalania błędów "Access Denied".Czego oczekuję od wykonawcy: Zaproponowania kompletnej architektury i technologii (nie narzucam języka programowania ani konkretnych narzędzi). Dostarczenia gotowego rozwiązania, które będę mógł łatwo uruchomić i nim zarządzać. Podpowiedzi w kwestii infrastruktury (np. jakie proxy będą niezbędne, aby system działał bezproblemowo).W odpowiedzi na ogłoszenie proszę krótko opisać: Jakie podejście/technologię proponujesz, aby skutecznie i długofalowo omijać zabezpieczenia tego sklepu? Jak widzisz kwestię przekazywania powiadomień? Jaki jest orientacyjny koszt wykonania oraz czas realizacji?Zapraszam do składania ofert.
O firmie Firma handlowa. Pracujemy z grupą towarową liczącą ponad 2000 pozycji w różnych kategoriach.Aktualna sytuacja Obecnie nomenklatura jest prowadzona w Google Sheets — dane są skonsolidowane według zakładek (kategorii). Struktura zakładek: Nazwa towaru Grupy cen: koszt własny, hurt, detal Charakterystyki: waga, ilość w opakowaniu itd. Ważne: liczba kolumn różni się w zależności od kategorii towarów, ponieważ mają one różne charakterystyki.Dlaczego obecne rozwiązanie nie jest odpowiednie Google Sheets nie pozwala na ustawienie praw dostępu na poziomie poszczególnych kolumn. Potrzebujemy: Przyznawania użytkownikom praw do wyświetlania określonych kolumn (na przykład tylko kosztów własnych) Przyznawania praw do edycji określonych kolumn (na przykład cen detalicznych) Ograniczenia dostępu do pozostałych kolumn w tej samej zakładceCo należy zrobićPodstawowe wymagania Elastyczny system rozgraniczenia praw Dostęp na poziomie poszczególnych kolumn (odczyt / zapis) Przydzielanie praw według ról lub użytkowników Zarządzanie prawami bez udziału programistów Wsparcie dla różnych struktur danych Różne kategorie towarów mają różny zestaw charakterystyk Dodawanie nowych kolumn/charakterystyk bez programowania Niepodległość od programistów Administracja przez wewnętrznych pracowników Dodawanie kategorii, kolumn, użytkowników — przez interfejs Integracja z ERP Eksport aktualnych cen do naszego systemu ERP Eksport lub automatyczna integracja przez API Analiza danych z wykorzystaniem AI (pożądane) Możliwość analizy całej listy nomenklatury Ubogacanie, weryfikacja, rekomendacje — jeśli masz pomysły, opiszOczekiwany rezultat Działające rozwiązanie, w którym: Nomenklatura jest zorganizowana według kategorii z różnymi zestawami charakterystyk Prawa do kolumn są elastycznie konfigurowane (wyświetlanie / edytowanie) Dane są eksportowane do ERP Zespół może samodzielnie zarządzać systememCo potrzebujemy od Ciebie przy odpowiedzi Opisz w ogólnych zarysach, jak widzisz rozwiązanie: Jakie narzędzie / platformę proponujesz
Dobry wieczór, jest zadanie: trzeba 1-2 razy dziennie sprawdzać dostępność i aktualność cen towarów, które zostały dodane na stronę (strona na platformie prom.ua) z strony dostawcy. Możecie obliczyć cenę i jak to będzie wyglądać.