Optymalizacja parsera na Python

Zadanie: Trzeba przeprowadzić testowe parsowanie i zebrać bazę kanałów Telegram w niszy trading i kryptowaluta. Wymagania dotyczące kanałów: • Tematyka: trading, futures, scalping, sygnały, smart money, boty handlowe, nauka tradingu, kryptowaluta, BTC, ETH itd. • Język: rosyjski i ukraiński. • Liczba subskrybentów: 300 - 8000. • Kanały mogą być zarówno otwarte, jak i zamknięte (z aplikacją). • Preferowane zwracanie uwagi na żywą publiczność, a nie sztucznie zwiększonych subskrybentów. Słowa kluczowe do wyszukiwania: Trading, Futures, Long, Short, Scalping, Fibonacci, Wskaźniki, Trading Bot, Smart Money, Bitcoin, Krypto, Strategia tradingu, Jak zarobić na krypto i inne odpowiednie. Co potrzebne w rezultacie (etap testowy): • Tabela w Excel/Google Sheets na około 200–300 kanałów. • Kolumny: • Link do kanału • Nazwa kanału • Liczba subskrybentów • Przybliżona ocena żywej publiczności (jeśli to możliwe) • Wzrost w ostatnim miesiącu (jeśli to możliwe) • Typ kanału (otwarty / zamknięty) • Link do czatu (jeśli jest) • Krótka tematyka (np.: sygnały, wiadomości, nauka, scalping, przeglądy itd.) Jeśli wynik testowego parsowania mnie zadowoli - przejdziemy do większej ilości (500-700 kanałów). Budżet: do uzgodnienia Termin: 2–4 dni (możliwe dłużej, jeśli będzie potrzeba więcej czasu) Praca przez bezpieczną transakcję. Przykłady wcześniejszych prac związanych z parsowaniem kanałów Telegram są mile widziane.

Potrzebny specjalista do zbierania i strukturyzowania otwartych informacji o sprzedawcach z marketplace'ów. Konieczne jest określenie możliwości automatycznego zbierania danych oraz utworzenie bazy sprzedawców. W odpowiedzi proszę podać: z jakimi marketplace'ami masz doświadczenie; jakie dane możesz uzyskać (nazwa sprzedawcy, link, kategorie, ocena, liczba produktów, inne dostępne pola); przykłady podobnych projektów.

Zbieranie linków do źródeł z ogłoszeniami wynajmu mieszkań Potrzebujemy zebrać bazę linków do grup, kanałów, forów i platform, gdzie publikowane są ogłoszenia o wynajmie mieszkań w dużych miastach Europy i USA. Cel: znaleźć źródła, gdzie regularnie pojawiają się ogłoszenia o krótkoterminowym, średnioterminowym i długoterminowym wynajmie, subwynajmie, pokojach, studiach, mieszkaniach i przejęciu najmu. Miasta: Zacząć od: Paryż, Genewa, Zurych, Berlin, Amsterdam, Barcelona, Madryt, Mediolan, Londyn, Nowy Jork, Los Angeles, San Francisco, Boston, Chicago, Miami. Można dodawać inne duże miasta, jeśli są dobre źródła. Jakie źródła szukać: Grupy/strony na Facebooku Publiczne kanały Telegramu Społeczności Reddit / linki wyszukiwania Linki do Craigslist, szczególnie dla miast w USA Lokalne fora i strony z ogłoszeniami Tablice mieszkań studenckich/uniwersyteckich Społeczności ekspatów Strony Instagram agencji, colivingu, mieszkań studenckich, społeczności wynajmu Linki wyszukiwania X/Twitter Inne publiczne strony, gdzie ludzie publikują oferty wynajmu Co należy wpisać do tabeli: Miasto Kraj Platforma: Facebook / Telegram / Reddit / Craigslist / Forum / Strona / Instagram / Inne Nazwa źródła URL Typ wynajmu: pokój / mieszkanie / subwynajem / krótkoterminowy / długoterminowy / mieszkania studenckie / mieszkania dla ekspatów Język Czy jest publiczne? Tak/Nie Szacowana aktywność: wysoka / średnia / niska Uwagi Ważne: Nie zbierać danych osobowych ludzi. Nie kopiować samych ogłoszeń. Potrzebne są tylko publiczne linki do źródeł. Sprawdzić, czy link działa. Nie dodawać duplikatów. Priorytet — aktywne źródła, gdzie są świeże posty z ostatnich 30 dni. Oczekiwany rezultat: Arkusz Google / plik Excel z minimum 300–500 odpowiednimi linkami. Dla każdego miasta pożądane jest znalezienie minimum 20–40 dobrych źródeł.

Specyfikacja techniczna Projekt Ustawienie zawartości i synchronizacji dwóch sklepów Prom.ua z dostawcami części samochodowych. Zadanie Wymagana jest realizacja załadunku i aktualizacji produktów od dostawców części samochodowych dla dwóch sklepów internetowych na Prom.ua. ⸻ 1. Podłączenie dostawców Wymagana jest integracja dostawców poprzez: API dostawcy; cenniki XML, CSV, XLS; lub inny dostępny sposób pozyskiwania produktów z witryny dostawcy. Ważne jest zapewnienie pełnej synchronizacji produktów między dostawcą a sklepami Prom.ua. ⸻ 2. Filtrowanie i wybór produktów Wymagana jest realizacja możliwości wyboru produktów podczas importu według następujących parametrów: marka samochodu; kategoria części; podkategoria części; inne dostępne cechy. Przykład: Dla każdego sklepu powinna być możliwość oddzielnego określenia, które kategorie produktów i które marki samochodów należy załadować. Dodatkowe wymagania dotyczące wyboru produktów Wymagana jest realizacja możliwości wyboru produktów podczas importu nie tylko według marek samochodów i kategorii części, ale także według statusu dostępności produktu. Powinna być możliwość skonfigurowania takich scenariuszy: importować tylko produkty, które są dostępne u dostawcy; nie importować produktów ze statusem „brak w magazynie”; wyłączać lub usuwać produkty z Prom.ua po ich zniknięciu z dostępności u dostawcy; Podczas ustawiania cen powinno być możliwe łączenie filtrów: według marki samochodu; według kategorii części; według podkategorii; według dostępności produktu. Przykład: Importować tylko części do Volkswagen i Audi, kategoria „Układ hamulcowy”, które są dostępne u dostawcy. Wymagana jest również realizacja mechanizmu zapobiegania duplikacji produktów od różnych dostawców. Jeśli ten sam produkt jest dostępny u kilku dostawców, do katalogu powinien być importowany tylko jeden zapis produktu. Kryteria wyboru produktu przy wykrywaniu duplikatów: priorytet ma produkt, który jest dostępny u dostawcy; jeśli produkt jest dostępny u kilku dostawców, priorytet ma produkt z najniższą ceną; jeśli najtańszy produkt nie jest dostępny, system powinien wybrać najtańszy produkt spośród tych, które są dostępne; produkty-duplikaty od innych dostawców nie powinny tworzyć oddzielnych pozycji w katalogu. Przykład: Importować tylko części do Volkswagen i Audi, kategoria „Układ hamulcowy”, które są dostępne u dostawcy. Jeśli ta sama część jest dostępna u kilku dostawców, do katalogu importowana jest tylko jedna pozycja — od dostawcy z najniższą ceną spośród tych, u których produkt jest dostępny. ⸻ 3. Import kart produktów Podczas importu powinny być automatycznie załadowane: nazwa produktu; numer katalogowy; zdjęcia; opis produktu; cena; cechy produktu; producent; inne dostępne parametry. ⸻ 4. Aktualizacja Wymagana jest konfiguracja automatycznego: aktualizacji cen przy zmianie od dostawcy ⸻ 5. Usuwanie brakujących produktów Produkty, które nie są już dostępne u dostawcy, powinny: być wyłączane; lub być usuwane z Prom.ua (po uzgodnieniu). ⸻ 6. Zapełnienie sklepów Wymagane jest: stworzenie struktury kategorii; stworzenie podkategorii; prawidłowe przypisanie produktów do kategorii; sprawdzenie poprawności importu produktów. ⸻ 7. Wynik pracy Po zakończeniu prac powinno być: podłączeni dostawcy; ustawiony import produktów; ustawiona aktualizacja cen; ustawione dodawanie nowych produktów; ustawione wyłączanie lub usuwanie brakujących produktów; sklepy Prom.ua w pełni zapełnione i gotowe do pracy.

Należy stworzyć bota Telegram do automatycznego wyszukiwania i monitorowania samochodów "BUY IT NOW" na aukcjach w USA (Copart, IAAI). Bot powinien działać w trybie automatycznym i wysyłać powiadomienia o nowych samochodach, które odpowiadają zadanym filtrom.Podstawowa funkcjonalnośćUstawienia filtrów:1. Marka samochodu;2. Model;3. Rok produkcji (od/do);4. Typ paliwa;5. Pojemność silnika;6. Przebieg;7. Zakres cenowy; Funkcje bota:1. Automatyczne monitorowanie nowych aukcji;2. Sprawdzanie aktualizacji co 1-2 minuty;3. Ochrona przed powtarzającymi się powiadomieniami (antyduplikat);4. Możliwość dodawania i usuwania filtrów przez menu bota;5. Zachowanie ustawień już istniejącego wyszukiwania samochodów.Format wiadomości:1. Zdjęcie samochodu (4-zdjęcia);2. Nazwa i numer aukcji;3. Rok produkcji;4. Przebieg;5. Typ silnika i pojemność;6. Cena buy it now;7. Link do aukcji.