Бюджет: 1000 UAH Срок: 5 дней
Добрый день, scrapy это обязательный параметр, не проще написать с нули это будет быстрее и лучше?
Напишите в личку, обсудим.
Добрый день.
Есть парсер сайта momox.de
Он несколько лет работал без сбоев.
Сейчас сайт обновил защиту и происходит прямой бан прокси.
Необходим опыт с scrapy
Бюджет: 1000 UAH Срок: 5 дней
Добрый день, scrapy это обязательный параметр, не проще написать с нули это будет быстрее и лучше?
Напишите в личку, обсудим.
Бюджет: 2000 UAH Срок: 4 дня
Добрый день ,готов сделать Ваш заказ через api ,надо смотреть старый парсер и анализировать пригоден ,или лучше писать заново ,, в обеих вариантах у вас будет готовый парсер , напишите какие данные вам надо парсить ,остальное обсудим
1. На scrapy фрейморку писати парсери сайтів, кі мають захист - дуже погана ідея = він часто "палиться" на відміну від реквесту простого
2. для цього сайту сама зміна проксі не допоможе, потрібно змінювати ще ряд інших параметрів, які ідуть в реквесті, ставити таймаути також
Не зважаючи на це воно працювало дуже довго та стабільно.
Перша версія цього парсеру біла зроблена на реквестах, та вона не давала навіть половину тієї швидкості, яка потрібна, незалежно від кількості проксі та рандомізаціі відбитків браузеру(user agent, headers та інших)
Ось тому це одна з причин чому скрапі фреймворк банять часто . Бо швидко працює і має свій скрапівсткий відбиток. Його сайти навчились ловити. А от на реквестах можна швидше навіть зробити запити по часу і стабільніше . В паралельних запасках скріптів
Іване, я завжди дуже ціную Ваші коментарі на усіх моїх проектах, але от щодо виконання ніколи не доходить. Так що, виконаєте проект?
Дякую, Олександр)))
Давайте хоч гляну що треба парсити, які блоки від сайту є )
Там Cloudflare
Складність полягає в наступному
1. Більш за все потрібен буде реальний браузер. Тобто Selenium Webdriver + браузер
2. Підібрати проксі під Cloudflare - нетривіальна задача. Також проксі швидко попадають в бан.
Я вважаю мало кто зможе гарантувати стабільну роботу парсера протягом тривалого часу.
Це все зрозуміло
Якщо через браузер буде працювати на Лінукс сервері, то ОК
Гарантія хоча б на місяць влаштує
Дайте будь ласка, список урлів , спробую пройтись по них і дістати сорси повні сторінки. Якраз клауд фрей можу парсити селеніумом і реквестами. І тут діло не в спец проксі . Підійдкть будь які швидкі проксі типу v4
я зробив - в мене немає блоку
response.text:{"888837996198":{"status":"no_offer","price":null,"reference_price":null,"reference_price_date":null,"currency":"eur","demand_rating":null,"warehouse_status":null,"product":{"ean":"0888837996198","type":"dvd","title":"The Loft","description":"Film / DVD von LEONINE\nLEONINE. 19.06.2015.","image_url":"https://images.momox.de/media/ecd71bd2316a4014725b1c937e0c47bf7bbbcaf0_de_thumbnail.jpg","amazon_url":"https://amazon.de/gp/product/B00QA1I65O?tag=momox-21"}}}
response.status_code:
200
Необходимо провести глубокую техническую проверку трех PDF-файлов на достоверность и возможные признаки редактирования или подделки. Нужна не только визуальная оценка документов. Исполнитель должен хорошо понимать внутреннюю структуру PDF-файлов и уметь анализировать: метаданные файлов; структуру PDF и отдельных объектов; историю создания и возможного редактирования; используемое программное обеспечение; встроенные шрифты, изображения, слои и другие элементы; возможные признаки повторного сохранения, конвертации, внесения изменений или формирования документа задним числом; любые технические несоответствия, которые могут свидетельствовать о манипуляциях с файлами. По результатам проверки необходимо предоставить понятный письменный вывод по каждому файлу с указанием выявленных признаков, рисков и ограничений проверки. Рассматриваем специалистов, имеющих практический опыт в цифровой криминалистике, анализе PDF-документов, метаданных или проверке электронных файлов на подлинность. В отзыве, пожалуйста, кратко опишите ваш опыт, методы и инструменты, которые вы используете для такой проверки.
Индикатор для использования в торговле должен определять определенные диапазоны с историей и анализировать их с текущими
Нужен опытный Python-разработчик для создания программы автоматизации работы с сайтом. Что должен делать бот: Авторизоваться в моем аккаунте на сайте. Постоянно (24/7) отслеживать появление новых заказов на работу. После появления нового заказа открывать его карточку. Анализировать информацию о заказе (тип работ, город, расстояние, описание). Автоматически принимать заказы, которые соответствуют заданным условиям. Если заказ не соответствует условиям, пропускать его. Отправлять уведомления в Telegram о принятых и пропущенных заказах. Требования: Python. Playwright (желательно) или Selenium. Работа через обычный браузер. Передача полного исходного кода после завершения проекта. Предоставление инструкции по установке и запуску. Обязателен опыт разработки подобных систем автоматизации. При отклике, пожалуйста, отправьте примеры аналогичных проектов.
Необходимо реализовать проект по сбору и структурированию большого массива изображений из открытых веб-источников (на первом этапе 2000 изображений). Задача включает: - автоматизированный сбор изображений; - загрузку файлов в максимально доступном качестве; - классификацию изображений по категориям. Ожидаемый результат: - структурированная база изображений; - понятная система каталогизации; - передача результата через Google Drive или другой согласованный способ;
РазработкаTelegram Mini App (Бот+ WebApp)дляпродажицифровыхтоваровиигровыхвалют(Python / aiogram) Описание проекта: Требуется разработать Telegram-бота с полноценным WebApp-интерфейсом для автоматизированной продажи цифровых товаров (Telegram Stars, Telegram Premium, игровые валюты/донаты для PUBG Mobile, Steam и др.). Проект называетсяAspect App. Главный упор на скорость работы, плавный UI/UX в стиле Web3/минимализма и полную автоматизацию выдачи товаров после оплаты. Стек технологий: Backend:Python 3.10+, aiogram 3.x (FastAPI для Webhook/API приветствуется). Database:PostgreSQL / Redis (для сессий и кэширования). Frontend (WebApp):React.js / Vue.js / Next.js (на усмотрение разработчика, важна скорость и плавность анимаций). Интеграции:Telegram WebApp API. Основной функционал (MVP): 1.Клиентскаячасть(Telegram Mini App): Главныйэкран:Категории товаров (Telegram Активы, Игровой Донат). Баннерная сетка для акций. Каталогтоваров:Карточки товаров с выбором объема (например: 50, 100, 500 Telegram Stars или UC). Поля для ввода данных игрока (Player ID для PUBG). КорзинаиОформление:Быстрая покупка в 2 клика. Модульоплаты:Интеграция платежных методов (CryptoBot API / TON Connect / другие фиатные шлюзы по согласованию). Личныйкабинет:История заказов, статус выполнения, реферальная система (баланс внутри приложения). 2.Административнаяпанель(встроеннаявWebAppилиотдельныйбот): Управление каталогом (добавление/удаление товаров, изменение цен). Мониторинг заказов и статистика продаж. Система рассылок по базе пользователей. 3.Логикаавтоматизации(Будетплюсом): Готовность архитектуры под интеграцию с API поставщиков (API для авто-закупки Stars/UC). На этапе MVP часть товаров может выдаваться кодами из базы данных. Что требуется от исполнителя: 1. Разработка архитектуры БД и бэкенда на Python. 2. Верстка и интеграция WebApp (дизайн-макет обсудим, важен чистый Web3-стиль, Glassmorphism). 3. Настройка безопасных транзакций и вебхуков оплаты. 4. Деплой на сервер (Docker, Ubuntu, настройка SSL). Требования к кандидату: Опыт коммерческой разработки Telegram WebApps от 1 года. Наличие портфолио с запущенными и работающими Mini Apps (скидывайте ссылки в отклике). Чистый, документированный код. Условия работы: Работа только через БезопаснуюСделку(Сейф/ Escrow)платформы. Оплата поэтапная (разбиваем проект на Спринт 1: Бэкенд + БД, Спринт 2: Фронтенд WebApp, Спринт 3: Интеграция платёжек и тесты). Бюджет: Обсуждается с успешным кандидатом (указывайте вашу вилку цен и сроки в отклике)