Скрапер twitter
Нужно разработать\доработать 2 модуля скрапинга твиттера.
1. Должен заходить на указанный профиль пользователя, и доставать кол-во фоловеров, кол-во постов от этого аккаунта, включены ли коментарии у этого аккунта.
2. Должен возвращать написанные посты в этом профиле за последний час.
Напишите технологии\язык на которых будет реализован скрапер, и есть ли опыт с скрапингом твиттера. Без опыта по скрапингу не принимаю.
Есть готовый скрипт, но нужно подключить прокси\куки, чтобы твиттер не банил.
-
261 Здравствуйте!
У меня есть опыт разработки скраперов для Twitter (X) с использованием Python и библиотек, таких как tweepy для работы с X API и selenium/playwright для парсинга страниц. Я успешно реализовывал проекты по сбору данных о профилях (количество фолловеров, постов, настройки комментариев) и парсингу постов за определенные периоды времени. Также я работал с настройкой прокси и управлением куки для обхода блокировок, включая ротацию прокси и имитацию браузерного поведения для минимизации банов со стороны X.
Для реализации/доработки модулей я предлагаю следующий технологический стек:
Язык: Python
Библиотеки:
playwright для асинхронного парсинга страниц X (более легковесный и современный аналог Selenium).
… tweepy для работы с X API (если доступен API-ключ).
aiohttp для управления прокси и запросов.
fake-useragent для генерации случайных User-Agent.
logging для ведения логов.
Хранилище: JSON для сохранения результатов, SQLite (опционально) для кэширования.
Прокси: Интеграция с платными прокси-сервисами (например, Bright Data, Oxylabs) или собственным пулом прокси.
Куки: Сохранение и ротация куки через playwright для поддержания сессий.
Буду рад сотрудничеству! Жду сообщение от Вас, чтобы обсудить детали и доработку вашего скрипта! Хорошего дня!
-
344 23 1 Здравствуйте Андрей, мы небольшая команда разработчиков.
За плечами большой опыт работы с twitter, умеем всё, от скапа до емуляции запросов.
Пишите в лс, обговорим ТЗ.
-
1495 13 0 Привет! Смогу доработать ваш проект. Есть опыт с Твиттером, пишите в личку, обсудим все детали. Буду рад сотрудничеству!
-
10130 117 0 Здравствуйте.
Я NodeJS разработчик. Есть опыт с твиттером. Готов взяться. Пишите, обсудим.
-
3217 31 0 Здравствуйте. Есть мои готовые решения для работы с твиттером. Могу сделать отдельный скрипт под вашу задачу. Проще всего сделать через bas. Если актуально - пишите, обсудим.
-
Есть опыт парсинга Netflix, делал эмуляцию активности ботами в Instagram. Использую Python, Selenium
Давайте обсудим сотрудничество в личных сообщениях
-
1616 8 0 Здравствуйте
Я разработчик в сфере AI/ML & WEB SCRAPING. Смогу выполнить Ваш проект. Напишите мне, обсудим.
-
2264 18 3 Добрый вечер, был опыт работы с Твиттером в похожем функционале, по технологиям Python & Playwright. Если заинтересовало - пишите, обсудим подробно
-
724 4 0 Привет!
Имею опыт именно со скрапингом Twitter (через requests, BeautifulSoup, snscrape, обходы через puppeteer/undetected-chromedriver).
🔧 Для этой задачи использую Python, с headless-браузером (Playwright или Selenium с подключением прокси и cookies).
✅ Получу:
количество подписчиков, постов, состояние комментариев
…
посты за последний час (через scroll или API обходы)
Смогу адаптировать ваш готовый скрипт под стабильную работу с прокси (автообновление при бане) и кукисами.
🔐 Опыт есть — покажу примеры при необходимости.
Актуальные фриланс-проекты в категории Парсинг данных
Парсинг email-ов компаний из специфической индустрии
5000 UAH
Найти контакты (e-mail, номер телефона) компаний, которые занимаются определенным бизнесом, указанным в этом Google документе https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=sharing Результат должен быть в виде таблицы с колонками:… Парсинг данных ∙ 6 часов 32 минуты назад ∙ 18 ставок |
Нужен парсер интернет-магазина https://www.lcsc.com/нужно регулярно (1 раз в месяц, или по запуску скрипта) получать актуальную информацию о товарах в наличии магазина https://www.lcsc.com/ из каталога всех разделов… Парсинг данных ∙ 1 день 11 часов назад ∙ 41 ставка |
OpenCart — каталог аренды спецтехники
6000 UAH
OpenCart — каталог аренды спецтехникиНеобходимо запустить каталог аренды спецтехники на OpenCart.Тематика:экскаваторыавтовышкипогрузчикигенераторыкраныстроительные лесадругая строительная техника.Желательно, чтобы у вас уже был готовый шаблон или наработки под спецтехнику,… Веб-программирование, Парсинг данных ∙ 2 дня 4 часа назад ∙ 58 ставок |
Перенести программу - слетел сервер, где была программа (официальный разрешенный парсинг гос данных)
2061 UAH
Добрый! У меня у клиента произошел данный кейс описанный ниже. Нужно помочь перенести на новый сервер и оттестировать программу. Лучше программист, который разбирается в парсинге. Настройка ПО и серверов, Парсинг данных ∙ 2 дня 8 часов назад ∙ 29 ставок |
Парсинг сайтаТребуется реализация 4 парсеров (сайты каталоги) Есть тз, есть пример кода как референс . В задачи входит: Написать парсер Прикрутить прокси Логика дедубликации (перенести логику из примера) Логика хешированя по 3 полям Парсер должен работать как пайплайн с логикой что… Парсинг данных ∙ 4 дня назад ∙ 44 ставки |