Парсинг даних
177-
LinkedIn Scraper на n8n + Google Custom Search + Google Sheets
Парсинг даних
У цьому проєкті я реалізував повністю автоматизований процес для збору LinkedIn-профілів за допомогою:
n8n (no-code/low-code платформа для автоматизації)
… OpenAI GPT-4o-mini для генерації пошукових запитів
Google Programmable Search Engine (CSE) для скрапінгу результатів Google
Google Sheets для збереження отриманих даних
Що саме зроблено:
Вхідний чат: користувач надсилає повідомлення з темою пошуку (наприклад, "Marketing managers in Berlin").
AI форматування: через GPT-4o prompt генерується точний пошуковий запит для Google CSE.
Пагінація: скрипт на JavaScript ділить запит на сторінки для збору до 500 результатів.
API-запит до Google CSE: надсилаються запити до Google для отримання профілів.
Фільтрація результатів: із JSON відповіді Google витягуються тільки посилання на LinkedIn-профілі.
Збереження: всі унікальні посилання додаються в Google Sheet (із перевіркою на дублікати).
Результат:
Автоматично зібрано понад 40 унікальних LinkedIn профілів
Дані акуратно збережені в таблиці
Повністю керовано з одного чату або інтеграції з API
-
3000 UAH Парсинг товаров и импорт в OpenCart
Парсинг даних
Задача : нужно спарсить с сайта донора все товары с описанием атрибутами и фото. Всего 12 тысяч товаров. Товарные категории соблюдаем. Подготовить выгрузку для импорта в OpenCart 3.0 .
На решение понадобилось чуть больше суток.
-
2500 UAH Олекс Скрапер
Парсинг даних
#scrapy #olx #python3 #parser #scraper #spider
Парсер вимагає встановленого Scrapy (що це таке і з чим його їдять – google.com).
Вказуємо посилання на категорію, можна з будь-якими фільтрами, головне дати посилання, де будуть оголошення, далі відбувається швидкий багатопоточний парсинг. Якщо бентежить, що якихось 120 товарів парсіло майже хвилину, то це все через парсинг номери, там свої заморочки, але зате все ж таки бере номер і не блокують (я запускав цей парсер може разів 30 без проксей, не забанили досі пір)
… Що парсить цей парсер:
- Назва оголошення
- Ім'я продавця
- Опис товару/послуги
- ID товару/послуги
- місцезнаходження
- Номер телефону
- Ціна
- час публікації
- Посилання
- Кількість переглядів
-
500 UAH Парсер за сайтом flagma.ua
Парсинг даних
Парсинг сайту flagma, а саме завантаження в csv наступної інформації за кожним оголошенням:
1 Заголовок
2 Текст
… 3 Номер оголошення
4 Посилання
5 Дата публікації
6 Категорія
7 Місто
Назва автора (фірма)
9 Ім'я контактної особи
10 Посада
11.Посилання на профіль автора
Всі номери телефонів в окремих колонках
Парсер повинен дозволити вносити оригінальний список початкових сторінок, на яких він буде збирати оголошення максимально великої кількості сторінок пагінації. Початковий набір категорій такі:
1 сільське господарство
2 Древесина паперу
3 Продукти харчування
4 Обладнання
5 Будівельні матеріали
Партнер використовує прокси
#Парсінг #веб-парсінг #бази_даних #Таблиці #python #scrapping #webscraping #html #ajax #bots #csv #xlsx #xls #excel #Excell #proxy #recaptcha #flagma
-
400 UAH Парсер за OLX
Парсинг даних
#парсери #olx #python #Парсінг #веб-парсінг #бази_даних #Таблиці #python #scrapping #webscraping #html #ajax #bots #csv #xlsx #xls #excel #Excell #proxy #recaptcha
-
1500 UAH Парсер сайту pronosoft.com
Парсинг даних
Парсер сайту, який викладає статистику по коням. Парсит всю статистику з 1 січня 2013 року до моменту запуску парсера. Зберігає все в базі даних MySQL.
Використані бібліотеки: pymysql, requests, bs4.
-
600 UAH Парсер магазинів prom.ua
Парсинг даних
#bs4 #beautifulsoup #python #парсер #prom.ua
Парсер магазинів прома в конкретній категорії.
Введіть посилання і парсер парсіт номер, посилання на сам сайт магазину (не промовський, погляньте екраншот, щоб зрозуміти) і дзвінок-во товарів в магазині (для оцінки магазину).
… Збереження в CSV-файл, магазини не записуються знову, якщо вже є в файлі.
-
50 UAH ScannerOLX - Парсер сайту ОЛХ.ua.kz.bg.pt.ro
Парсинг даних
Програма для збору даних з популярної панелі проявів ОЛХ
-
Парсер ICO листинга
Парсинг даних
Был написан парсер для листинга ICO и заполнение базы данных MySQL.
Технология:
- Node.js
…
Модули:
- Request;
- Cheerio;
- Axios;
- Http
-
4491 UAH Парсер сайту EMEX.ru
Парсинг даних
Парсер сайту EMEX.ru
Список статей для парсинга
Працювати через список прокси серверів.
Запуск по будильнику
-
Парсер товарів з сайту autoshinavrn.ru
Парсинг даних
парсер шин і дисков з сайту autoshinavrn.ru.
Завантажити Excel VBA Windows
здійснено аутентифікацію на сайт
# Парсер
-
Створення Amazon Seller Parser
Парсинг даних
інструмент дозволяє отримати інформацію про товари бестселери з однієї дуже відомій платформи.
Ви можете вибрати основну категорію і потім ще 3 рівні вкладання.
-
98AI та машинне навчання
-
7AR та VR розробка
-
63C та C++
-
84C#
-
265CMS
-
3235HTML та CSS верстання
-
27Java
-
295Javascript та Typescript
-
486PHP
-
227Python
-
72Бази даних та SQL
-
44Вбудовані системи та мікроконтролери
-
2462Веб-програмування
-
121Десктопні додатки
-
95Криптовалюта та blockchain
-
177Парсинг даних
-
150Розробка ігор
-
242Розробка ботів
-
82Тестування та QA
-
34903D моделювання та візуалізація
-
370AI у дизайні
-
6VR та AR дизайн
-
572Іконки та піксельна графіка
-
11655Ілюстрації та малюнки
-
656Інфографіка
-
7252Банери
-
4030Векторна графіка
-
982Дизайн інтерфейсів (UI/UX)
-
6057Дизайн інтер’єрів
-
2051Дизайн візиток
-
211Дизайн виставкових стендів
-
890Дизайн мобільних додатків
-
57Дизайн одягу
-
4163Дизайн пакування та етикетки
-
10534Дизайн сайтів
-
2280Живопис і графіка
-
1541Зовнішня реклама
-
13683Логотипи
-
2085Оформлення сторінок у соціальних мережах
-
9170Поліграфічний дизайн
-
399Предметний дизайн
-
1009Розробка презентацій
-
43Розробка шрифтів
-
2027Фірмовий стиль
-
12Інтеграція платіжних систем
-
668Інтернет-магазини та електронна комерція
-
75Автоматизація управління підприємством
-
101Збір інформації
-
20Кібербезпека та захист даних
-
10Консультування з AI
-
1227Контент-менеджер
-
93Навчання
-
60Обробка даних
-
38Робота з клієнтами
-
5003Створення сайту під ключ
-
169Супровід сайтів
-
255E-mail маркетинг
-
1PR
-
345SEO-аудит сайтів
-
982Контекстна реклама
-
38Купівля посилань
-
52Маркетингові дослідження
-
1194Пошукова оптимізація (SEO)
-
34Пошукове управління репутацією (SERM)
-
223Продажі та генерація лідів
-
13Просування додатків (ASO)
-
840Просування у соціальних мережах (SMM)
-
651Реклама у соціальних медіа
-
6Тізерна реклама
