Парсинг данных
177-
LinkedIn Scraper на n8n + Google Custom Search + Google Sheets
Парсинг данныхВ этом проекте я реализовал полностью автоматизированный процесс для сбора LinkedIn-профилей с помощью:
n8n (платформа без кода/низкого кода для автоматизации)
… OpenAI GPT-4o-mini для генерации поисковых запросов
Google Programmable Search Engine (CSE) для скрапинга результатов Google
Google Sheets для сохранения полученных данных
Что именно сделано:
Входной чат: пользователь отправляет сообщение с темой поиска (например, "Marketing managers in Berlin").
AI форматирование: через GPT-4o prompt генерируется точный поисковый запрос для Google CSE.
Пагинация: скрипт на JavaScript делит запрос на страницы для сбора до 500 результатов.
API-запрос к Google CSE: отправляются запросы к Google для получения профилей.
Фильтрация результатов: из JSON-ответа Google извлекаются только ссылки на LinkedIn-профили.
Сохранение: все уникальные ссылки добавляются в Google Sheet (с проверкой на дубликаты).
Результат:
Автоматически собрано более 40 уникальных LinkedIn-профилей
Данные аккуратно сохранены в таблице
Полностью управляемо из одного чата или интеграции с API
-
3000 UAH Парсинг товаров и импорт в OpenCart
Парсинг данныхЗадача : нужно спарсить с сайта донора все товары с описанием атрибутами и фото. Всего 12 тысяч товаров. Товарные категории соблюдаются. Подготовит выгрузку для импорта в OpenCart 3.0 .
Для решения потребовалось чуть больше дня.
-
2500 UAH OLX Scraper
Парсинг данных#scrapy #olx #python3 #parser #scraper #spider
Парсер требует установленного Scrapy (что это такое и с чем его едят - google.com).
Указываем ссылку на категорию, можно с любыми фильтрами, главное дать ссылку, на которой будут объявления, дальше происходит быстрый многопоточный парсинг. Если смущает, что каких-то 120 товаров парсило почти минуту, то это всё из-за парсинга номера, там свои заморочки, но зато всё же берёт номер и не блокируют (я запускал этот парсер может раз 30 без проксей, не забанили до сих пор)
… Что парсит этот парсер:
- Название объявления
- Имя продавца
- Описание товара/услуги
- ID товара/услуги
- Местонахождение
- Номер телефона
- Цена
- Время публикации
- Ссылка
- Кол-во просмотров
-
500 UAH Парсер по сайту flagma.ua
Парсинг данныхПарсинг сайта flagma, а именно выгрузка в csv следюущей информации по каждому объявлению:
1.Заголовок
2.Текст
… 3.Номер обяъвления
4.Ссылка
5.Дата публикации
6.Категория
7.Город
8.Название автора (фирма)
9.Имя контактного лица
10.Должность
11.Ссылка на профиль автора
12.Все номера телефонов в отдельных колонках
Парсер должен позволять внести изначальный список стартовых страниц, на которых он будет собирать объявления максимально большого количества страниц пагинации. Стартовый набор категорий такой:
1.Сельское хозяйство
2.Древесина бумага
3.Продукты питания
4.Оборудование
5.Строительные материалы
Парсер использует proxy
#Парсинг #веб-парсинг #базы_данных #Таблицы #python #scrapping #webscraping #html #ajax #bots #csv #xlsx #xls #excel #Excell #proxy #recaptcha #flagma
-
400 UAH Парсер по OLX
Парсинг данных#парсеры #olx #python #Парсинг #веб-парсинг #базы_данных #Таблицы #python #scrapping #webscraping #html #ajax #bots #csv #xlsx #xls #excel #Excell #proxy #recaptcha
-
1500 UAH Парсер сайта pronosoft.com
Парсинг данныхПарсер сайта, который выкладывает статистику по конным скачкам. Парсит всю статистику от 1 января 2013 года до момента запуска парсера. Сохраняет всё в базу данных MySQL.
Использованные библиотеки: pymysql, requests, bs4.
-
600 UAH Парсер магазинов prom.ua
Парсинг данных#bs4 #beautifulsoup #python #парсер #prom #prom.ua
Парсер магазинов прома в конкретной категории.
Вводите ссылку и парсер парсит номер, ссылку на сам сайт магазина (не промовского, смотирте скриншот чтобы понять) и кол-во товаров в магазине (для оценки магазина).
… Сохранение в CSV файл, магазины не записываются снова если уже имеются в файле.
-
50 UAH ScannerOLX - Парсер сайта ОЛХ.ua.kz.bg.pt.ro
Парсинг данныхПрограмма для сбора данных с популярной доски обьявлений ОЛХ
-
Парсер ICO листинга
Парсинг данныхБыл написан парсер для листинга ICO и заполнение базы данных MySQL.
Технология :
- Node.js
…
Модулы :
• запрос;
— это Cheerio
Аксиозы ;
- HTTP
-
4493 UAH парсер сайта EMEX.ru
Парсинг данныхпарсер сайта EMEX.ru
список артикулов для парсинга
работа через список прокси серверов.
запуск по будильнику
-
Парсер товаров с сайта autoshinavrn.ru
Парсинг данныхпарсер шин и дисков с сайта autoshinavrn.ru.
выполнен в excel vba windows
реализована авторизация на сайт
#парсер
-
Amazon BesеtSeller Parser
Парсинг данныхинструмент позволяет получить информацию про товары бестселеры с одной очень известной площадки.
можно выбрать основную категорию и потом еще 3 уровня вложенности.