konieczne jest zorganizowanie sposobu zbierania nowo utworzonych FOP-ów oraz, jeśli to możliwe, TOW. czy to ma być parsowanie, czy coś innego - powiedzcie, jaki to ma być sposób
Oferty ukryte
Aktualnie brak ofert
Oferty ukryte
-
Igor Pavlov
18 wrzesnia 2021
1. У инстаграмм стоит защита на парсинг веб-версии.
Ее нужно обходить через кучу аккаунтов + прокси.
2. Объем данных очень большой, а записывать и отдавать их надо быстро.
-
Igor Pavlov
18 wrzesnia 2021
Добрый день, Сергей.
Конечная цель - сделать апи, с помощью которого можно будет поднимать десятки вот таких проектов как этот:
Он должен уметь налету вытягивать данные из instagram и представлять у себя на сайте
Бюджет аргументировано обсуждается
Для скрипта подойдет фришное решение, главное его настроить и поднять для работы
-
Nikita Korkin 18 wrzesnia 2021Вам стоит значительно пересмотреть свой бюджет, ваш проект стоит на несколько порядков дороже
-
Igor Pavlov
18 wrzesnia 2021
Бюджет не проблема, но хотел бы понять или, хотя-бы, увидеть аргументы в его пользу.
-
Oleg B. 18 wrzesnia 2021100TB даних яб сказав що тут не одна база потрібна, а баз так з 40,на різних серверах.
на php можна тільки візуальну частину(взаємодію з користувачем) написати, не більше не менше.
Писати щось подібне тільки на php це ....
Тай сама інфраструктура(проксі,сервера) для цього всьо буде коштувати вдень наверно більше вашого бюджету.
-
Igor Pavlov
18 wrzesnia 2021
40 баз зачем? Есть десяток сущностей, под каждую из них отдельная таблица. Под все одна база. Сперва ограничимся 1TB. Когда начнём превышать - задумаемся о кластерах. Даже с кластерами если не MySQL, то PostgreSQL потянет. Кластеризацию можно заложить, но думать о ней пока не стоит.
А вот по поводу «писать на php это…» - совсем не понял аргумент.
инфраструктура в 1к проксей и 1к аккаунтов в МЕСЯЦ обойдётся в 100 баксов, согласен, - это выше текущего бюджета, но это приемлемо. -
Oleg B. 18 wrzesnia 2021Я раз робив виборку з бази яка займала 50 гігабайт, ця виборка йшла один час, і це був простий select запрос
-
Igor Pavlov
18 wrzesnia 2021
Надо смотреть что это была за база и что за запрос. Но 50 ГБ для MySQL базы - это чепуха.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Dzień dobry,Zlecę stworzenie stabilnego i niezawodnego rozwiązania do automatycznego monitorowania cen oraz dostępności produktów z konkretnego, dużego polskiego sklepu internetowego z branży RTV/AGD.Cel projektu: System musi regularnie sprawdzać wybrane linki produktowe i w przypadku zmiany ceny lub statusu dostępności, wysłać powiadomienie (najchętniej na Telegram, Discord lub e-mail – do ustalenia).Wyzwanie: Strona sklepu posiada bardzo agresywne systemy antybotowe (Akamai/Cloudflare). Zwykłe skrypty pobierające kod strony są natychmiast wykrywane i blokowane. Rozwiązanie musi skutecznie omijać te zabezpieczenia,maskować ruch bota i działać stabilnie w dłuższej perspektywie, bez ciągłego wywalania błędów "Access Denied".Czego oczekuję od wykonawcy: Zaproponowania kompletnej architektury i technologii (nie narzucam języka programowania ani konkretnych narzędzi). Dostarczenia gotowego rozwiązania, które będę mógł łatwo uruchomić i nim zarządzać. Podpowiedzi w kwestii infrastruktury (np. jakie proxy będą niezbędne, aby system działał bezproblemowo).W odpowiedzi na ogłoszenie proszę krótko opisać: Jakie podejście/technologię proponujesz, aby skutecznie i długofalowo omijać zabezpieczenia tego sklepu? Jak widzisz kwestię przekazywania powiadomień? Jaki jest orientacyjny koszt wykonania oraz czas realizacji?Zapraszam do składania ofert.
O firmie Firma handlowa. Pracujemy z grupą towarową liczącą ponad 2000 pozycji w różnych kategoriach.Aktualna sytuacja Obecnie nomenklatura jest prowadzona w Google Sheets — dane są skonsolidowane według zakładek (kategorii). Struktura zakładek: Nazwa towaru Grupy cen: koszt własny, hurt, detal Charakterystyki: waga, ilość w opakowaniu itd. Ważne: liczba kolumn różni się w zależności od kategorii towarów, ponieważ mają one różne charakterystyki.Dlaczego obecne rozwiązanie nie jest odpowiednie Google Sheets nie pozwala na ustawienie praw dostępu na poziomie poszczególnych kolumn. Potrzebujemy: Przyznawania użytkownikom praw do wyświetlania określonych kolumn (na przykład tylko kosztów własnych) Przyznawania praw do edycji określonych kolumn (na przykład cen detalicznych) Ograniczenia dostępu do pozostałych kolumn w tej samej zakładceCo należy zrobićPodstawowe wymagania Elastyczny system rozgraniczenia praw Dostęp na poziomie poszczególnych kolumn (odczyt / zapis) Przydzielanie praw według ról lub użytkowników Zarządzanie prawami bez udziału programistów Wsparcie dla różnych struktur danych Różne kategorie towarów mają różny zestaw charakterystyk Dodawanie nowych kolumn/charakterystyk bez programowania Niepodległość od programistów Administracja przez wewnętrznych pracowników Dodawanie kategorii, kolumn, użytkowników — przez interfejs Integracja z ERP Eksport aktualnych cen do naszego systemu ERP Eksport lub automatyczna integracja przez API Analiza danych z wykorzystaniem AI (pożądane) Możliwość analizy całej listy nomenklatury Ubogacanie, weryfikacja, rekomendacje — jeśli masz pomysły, opiszOczekiwany rezultat Działające rozwiązanie, w którym: Nomenklatura jest zorganizowana według kategorii z różnymi zestawami charakterystyk Prawa do kolumn są elastycznie konfigurowane (wyświetlanie / edytowanie) Dane są eksportowane do ERP Zespół może samodzielnie zarządzać systememCo potrzebujemy od Ciebie przy odpowiedzi Opisz w ogólnych zarysach, jak widzisz rozwiązanie: Jakie narzędzie / platformę proponujesz
Dobry wieczór, jest zadanie: trzeba 1-2 razy dziennie sprawdzać dostępność i aktualność cen towarów, które zostały dodane na stronę (strona na platformie prom.ua) z strony dostawcy. Możecie obliczyć cenę i jak to będzie wyglądać.
Skonfigurować automatyczne aktualizacje raz dziennie dostępności towarów na naszej stronie na prom.ua. Mamy dostawcę, który codziennie wysyła cennik towarów w formacie Excel na nasz adres e-mail. Artykuły na naszej stronie i w cenniku dostawcy są identyczne. Wartości w kolumnie "zapasy" to albo brak dostępności, albo liczba, albo więcej niż jedna skrzynka - należy aktualizować na stronie do stanu Gotowe do wysyłki lub Brak w magazynie. Artykuły, które nie znajdują się w cenniku dostawcy - pozostawić bez zmian. Proszę zaproponować rozwiązanie, termin i budżet. Dziękuję za wcześniejszą odpowiedź, czekam na specjalistę do współpracy.