Parsowanie danych
177-
LinkedIn Scraper na n8n + Google Custom Search + Google Sheets
Parsowanie danychW tym projekcie opracowałem w pełni zautomatyzowany proces zbierania profili LinkedIn za pomocą:
n8n (platforma bezkodowa/low-code do automatyzacji)
… OpenAI GPT-4o-mini do generowania zapytań wyszukiwania
Google Programmable Search Engine (CSE) do scrapowania wyników Google
Google Sheets do przechowywania uzyskanych danych
Co dokładnie zostało wykonane:
Wejściowy czat: użytkownik wysyła wiadomość z tematem wyszukiwania (np. "Marketing managers in Berlin").
Formatowanie AI: za pomocą promptu GPT-4o generowany jest dokładny zapytanie wyszukiwania dla Google CSE.
Paginacja: skrypt w JavaScript dzieli zapytanie na strony, aby zebrać do 500 wyników.
API zapytanie do Google CSE: wysyłane są zapytania do Google w celu uzyskania profili.
Filtrowanie wyników: z odpowiedzi JSON Google wyciągane są tylko linki do profili LinkedIn.
Zapis: wszystkie unikalne linki są dodawane do Google Sheet (z weryfikacją duplikatów).
Rezultat:
Automatycznie zebrano ponad 40 unikalnych profili LinkedIn
Dane starannie zapisane w tabeli
W pełni zarządzane z jednego czatu lub integracji z API
-
245 PLN Parking towarów i importowanie w OpenCart
Parsowanie danychZadania: należy usunąć ze strony darczyńca wszystkie towary z opisem cech i zdjęć. 12 tysięcy towarów. Utrzymujemy kategorie towarowe. Przygotuj wyładunek do importu w OpenCart 3.0 .
Rozstrzygnięcie zajęło trochę więcej czasu.
-
204 PLN OLX Scraper
Parsowanie danych#scrapy #olx #python3 #parser #scraper #spider
Parser wymaga zainstalowanego Scrapy (co to jest i z czym je jeść - google.com).
Pokażemy link do kategorii, można z dowolnym filtrem, najważniejsze jest, aby podać link, na którym będą reklamy, a następnie odbywa się szybki, wielopoziomowy parsing. Jeśli niepokoi się, że jakiekolwiek 120 towarów parselo prawie minutę, to wszystko z powodu parsingu numeru, tam swoje zamrażarki, ale mimo to bierze numer i nie blokuje (zacząłem ten parser może raz 30 bez proxy, nie zablokowane do tej pory)
… Czym jest ten parzer:
- Nazwa ogłoszenia
- imię sprzedawcy
Opis towaru/usługi
ID towaru/usługi
- lokalizacja
- numer telefonu
- cena
- czas publikacji
- Źródło
- Kol-w przeglądarkach
-
41 PLN Strona internetowa flagma.ua
Parsowanie danychParking witryny flagma, a mianowicie pobieranie w CSV następujących informacji o każdym ogłoszeniu:
1 Tytuł
2 Tekst
… 3 Numer ogłoszenia
4 Źródło
5.Data publikacji
6 Kategoria
7 Miasto
Nazwa autora (nazwa firmy)
9.Nazwa osoby kontaktowej
10 Funkcja
11.Przekierowanie do profilu autora
Wszystkie numery telefonów w poszczególnych kolumnach
Parser powinien umożliwić wprowadzenie oryginalnej listy stron startowych, na których będzie gromadzić ogłoszenia o maksymalnej liczbie stron widowni. Początkowy zestaw kategorii jest taki:
1 Rolnictwo
2 Drzewo papierowe
3 Produkty żywieniowe
4 Wyposażenie
5 Materiały budowlane
Parsera używa proxy
#Parsing #Web-Parsing #Bazy_Dane #Tabele #python #scrapping #webscraping #html #ajax #bots #csv #xlsx #xls #excel #Excell #proxy #recaptcha #flagma
-
33 PLN Parzer z OLX
Parsowanie danych#parts #olx #python #parts #webparts #databases #Tables #python #scrapping #webscraping #html #ajax #bots #csv #xlsx #xls #excel #Excell #proxy #recaptcha
-
122 PLN Strona internetowa pronosoft.com
Parsowanie danychStrona internetowa, która opublikuje statystyki skoków konnych. Wprowadza wszystkie statystyki od 1 stycznia 2013 r. do momentu uruchomienia parsera. Wszystko przechowuje w bazie danych MySQL.
Wykorzystywane biblioteki: pymysql, requests, bs4.
-
49 PLN Sprzedawca Prom.ua
Parsowanie danych#bs4 #beautifulsoup #python #parzer #prom #prom.ua
Sprzedawca sklepów w konkretnej kategorii.
Wprowadź link i numer parsera, link do samej strony sklepu (nie promocyjny, przeglądaj ekran, aby zrozumieć) i skontaktuj się z produktami w sklepie (aby ocenić sklep).
… Przechowywanie w pliku CSV, sklepy nie są zapisywane ponownie, jeśli są już dostępne w pliku.
-
4 PLN ScannerOLX - Parzer strony OLH.ua.kz.bg.pt.ro
Parsowanie danychProgram do gromadzenia danych z popularnej tablicy objawów OLH
-
Parsera ICO Listingu
Parsowanie danychZostał napisany parzer do listingu ICO i wypełnienie bazy danych MySQL.
Technologia jest:
– Node.js
…
Moduły :
• żądanie;
w Cheerowie;
• Axios;
- HTTP
-
366 PLN Strona internetowa EMEX.ru
Parsowanie danychStrona internetowa EMEX.ru
Lista artykułów do parsingu
Praca poprzez listę serwerów proxy.
Rozpoczęcie w budziku
-
Parzer towarów z witryny autoshinavrn.ru
Parsowanie danychParzer opon i dysków z witryny autoshinavrn.ru.
Wykonane w Excel VBA Windows
Wdrożona autoryzacja na stronie internetowej
# Parsera
-
Strona Amazon BesetSeller
Parsowanie danychnarzędzie pozwala uzyskać informacje o produktach bestsellerów z jednej bardzo znanej lokalizacji.
Można wybrać podstawową kategorię, a następnie kolejne 3 poziomy wkładu.