Parsowanie pliku o 200 tysiącach wierszy

Dzień dobry,Zlecę stworzenie stabilnego i niezawodnego rozwiązania do automatycznego monitorowania cen oraz dostępności produktów z konkretnego, dużego polskiego sklepu internetowego z branży RTV/AGD.Cel projektu: System musi regularnie sprawdzać wybrane linki produktowe i w przypadku zmiany ceny lub statusu dostępności, wysłać powiadomienie (najchętniej na Telegram, Discord lub e-mail – do ustalenia).Wyzwanie: Strona sklepu posiada bardzo agresywne systemy antybotowe (Akamai/Cloudflare). Zwykłe skrypty pobierające kod strony są natychmiast wykrywane i blokowane. Rozwiązanie musi skutecznie omijać te zabezpieczenia,maskować ruch bota i działać stabilnie w dłuższej perspektywie, bez ciągłego wywalania błędów "Access Denied".Czego oczekuję od wykonawcy: Zaproponowania kompletnej architektury i technologii (nie narzucam języka programowania ani konkretnych narzędzi). Dostarczenia gotowego rozwiązania, które będę mógł łatwo uruchomić i nim zarządzać. Podpowiedzi w kwestii infrastruktury (np. jakie proxy będą niezbędne, aby system działał bezproblemowo).W odpowiedzi na ogłoszenie proszę krótko opisać: Jakie podejście/technologię proponujesz, aby skutecznie i długofalowo omijać zabezpieczenia tego sklepu? Jak widzisz kwestię przekazywania powiadomień? Jaki jest orientacyjny koszt wykonania oraz czas realizacji?Zapraszam do składania ofert.

O firmie Firma handlowa. Pracujemy z grupą towarową liczącą ponad 2000 pozycji w różnych kategoriach.Aktualna sytuacja Obecnie nomenklatura jest prowadzona w Google Sheets — dane są skonsolidowane według zakładek (kategorii). Struktura zakładek: Nazwa towaru Grupy cen: koszt własny, hurt, detal Charakterystyki: waga, ilość w opakowaniu itd. Ważne: liczba kolumn różni się w zależności od kategorii towarów, ponieważ mają one różne charakterystyki.Dlaczego obecne rozwiązanie nie jest odpowiednie Google Sheets nie pozwala na ustawienie praw dostępu na poziomie poszczególnych kolumn. Potrzebujemy: Przyznawania użytkownikom praw do wyświetlania określonych kolumn (na przykład tylko kosztów własnych) Przyznawania praw do edycji określonych kolumn (na przykład cen detalicznych) Ograniczenia dostępu do pozostałych kolumn w tej samej zakładceCo należy zrobićPodstawowe wymagania Elastyczny system rozgraniczenia praw Dostęp na poziomie poszczególnych kolumn (odczyt / zapis) Przydzielanie praw według ról lub użytkowników Zarządzanie prawami bez udziału programistów Wsparcie dla różnych struktur danych Różne kategorie towarów mają różny zestaw charakterystyk Dodawanie nowych kolumn/charakterystyk bez programowania Niepodległość od programistów Administracja przez wewnętrznych pracowników Dodawanie kategorii, kolumn, użytkowników — przez interfejs Integracja z ERP Eksport aktualnych cen do naszego systemu ERP Eksport lub automatyczna integracja przez API Analiza danych z wykorzystaniem AI (pożądane) Możliwość analizy całej listy nomenklatury Ubogacanie, weryfikacja, rekomendacje — jeśli masz pomysły, opiszOczekiwany rezultat Działające rozwiązanie, w którym: Nomenklatura jest zorganizowana według kategorii z różnymi zestawami charakterystyk Prawa do kolumn są elastycznie konfigurowane (wyświetlanie / edytowanie) Dane są eksportowane do ERP Zespół może samodzielnie zarządzać systememCo potrzebujemy od Ciebie przy odpowiedzi Opisz w ogólnych zarysach, jak widzisz rozwiązanie: Jakie narzędzie / platformę proponujesz

Wymagana jest разработка простego programu lub bota Telegram do parsowania uczestników czatów i dyskusji kanałów w Telegramie. Funkcjonalność: Użytkownik wprowadza link do kanału lub czatu. Jeśli podany jest link do kanału, program powinien automatycznie przejść do sekcji „Dyskusje” i wykonać parsowanie uczestników dyskusji. W rezultacie należy wyeksportować tylko unikalne linki do profili użytkowników bez powtórzeń. Dodatkowe wymagania dotyczące selekcji: Wybór powinien obejmować tylko użytkowników, którzy w swoim profilu mają podany własny publiczny kanał. Kanał użytkownika musi mieć co najmniej 200 subskrybentów. Użytkownicy z kanałami mniejszymi nie są odpowiedni. Potrzebne jest maksymalnie proste i wygodne narzędzie: wystarczy wkleić link i uruchomić zbieranie danych według podanych kryteriów. Nie jestem programistą, dlatego będę wdzięczny za ocenę wykonalności takiego rozwiązania i wasze propozycje dotyczące optymalnego sposobu rozwoju. Standardowe parsery nas nie interesują — wymagana jest realizacja dokładnie opisanej powyżej logiki selekcji. Odpowiedź na wasze propozycje może być w ciągu dnia.

Dobry wieczór, jest zadanie: trzeba 1-2 razy dziennie sprawdzać dostępność i aktualność cen towarów, które zostały dodane na stronę (strona na platformie prom.ua) z strony dostawcy. Możecie obliczyć cenę i jak to będzie wyglądać.

Skonfigurować automatyczne aktualizacje raz dziennie dostępności towarów na naszej stronie na prom.ua. Mamy dostawcę, który codziennie wysyła cennik towarów w formacie Excel na nasz adres e-mail. Artykuły na naszej stronie i w cenniku dostawcy są identyczne. Wartości w kolumnie "zapasy" to albo brak dostępności, albo liczba, albo więcej niż jedna skrzynka - należy aktualizować na stronie do stanu Gotowe do wysyłki lub Brak w magazynie. Artykuły, które nie znajdują się w cenniku dostawcy - pozostawić bez zmian. Proszę zaproponować rozwiązanie, termin i budżet. Dziękuję za wcześniejszą odpowiedź, czekam na specjalistę do współpracy.