Бюджет: 1200 UAH Срок: 3 дня
Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно
Нужно написать парсер данных с сайта:
https://safer.fmcsa.dot.gov/query.asp?searchtype=ANY&query_type=queryCarrierSnapshot&query_param=MC_MX&query_string=500015
С одной странички нужно получить около 60 полей с текстовыми данными.
Запросов (страниц) будет больше 100000.
Сами данные я получаю с помощью lxml через XPath (все XPath'ы я уже получил, с этим пунктом я справился).
Обязательно:
Парсер должен быть написан/ускорен (не силен в терминологии) с помощью aiohttp. Шустро работать, не вызывать ошибок и проблем с безопасностью сайта.
Корректная запись данных в CSV файл
Опционально (если умеешь, и справишься, можем обсудить доп. стоимость этих пунктов):
Подключение прокси (или других методов безопасности парсинга, т.к. планируется много запросов).
Вместо записи в CSV файл, сделать запись данных в МОЮ Базу Данных PostgreSQL.
От вас требуется только корректно работающий ".py" код, всю работу с парсингом я беру на себя, сам буду запускать на своих серверах, и записывать данные к себе.
Обращаю внимание: Парсер нужно написать именно с учетом указанных мою технологий и инструменов. Пожалуйста, не предлагайте мне "написать с помощью BS4 и Selenium, и записать данные в SQLite", внимательно ознакомьтесь с текстом объявления, благодарю за понимание.
На все вопросы отвечу, всё обсудим и договоримся, надеюсь на благотворное сотрудничество!
Бюджет: 1200 UAH Срок: 3 дня
Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно
Добрый день, Максим.
Я вижу этот проект из "нужна помощь" перешел в стадию "надо сделать" 🙂
Есть опыт не только парсинга с помощью aiohttp с проксями, но и работе сервера на этом фреймворке. Читая описание проекта у меня возникает несколько непонятных моментов. Например: надо сделать парсер, но ниже "всю работу с парсингом я беру на себя". Могу только догадаться что надо написать асинхронный клиент для скачивания большого кол-ва страниц, а сам синтаксический разбор каждой страницы Вы уже знаете как реализовать. Верно? Или уточните задание, пожалуйста.Хотел сделать ставку, но не понимаю до конца объем работ и детали. Готов помочь или написать клиентскую часть, но надо многое уточнить.
Павел, добрый день! Да, пришлось немного изменить условия, т.к. за помощь фрилансеры берутся неохотно, заметил такую тенденцию) Да, вы правильно поняли, по большей части меня интересует асинхронный клиент, у меня нет времени самостоятельно разбираться c aiohttp. Сами данные со страниц "вытаскивать" я уже научился. Ваша кандидатура меня заинтересовала, вижу что понимаете о чем речь, готов ответить на любое кол-во вопросов.
Необходимо провести глубокую техническую проверку трех PDF-файлов на достоверность и возможные признаки редактирования или подделки. Нужна не только визуальная оценка документов. Исполнитель должен хорошо понимать внутреннюю структуру PDF-файлов и уметь анализировать: метаданные файлов; структуру PDF и отдельных объектов; историю создания и возможного редактирования; используемое программное обеспечение; встроенные шрифты, изображения, слои и другие элементы; возможные признаки повторного сохранения, конвертации, внесения изменений или формирования документа задним числом; любые технические несоответствия, которые могут свидетельствовать о манипуляциях с файлами. По результатам проверки необходимо предоставить понятный письменный вывод по каждому файлу с указанием выявленных признаков, рисков и ограничений проверки. Рассматриваем специалистов, имеющих практический опыт в цифровой криминалистике, анализе PDF-документов, метаданных или проверке электронных файлов на подлинность. В отзыве, пожалуйста, кратко опишите ваш опыт, методы и инструменты, которые вы используете для такой проверки.
Индикатор для использования в торговле должен определять определенные диапазоны с историей и анализировать их с текущими
Нужен опытный Python-разработчик для создания программы автоматизации работы с сайтом. Что должен делать бот: Авторизоваться в моем аккаунте на сайте. Постоянно (24/7) отслеживать появление новых заказов на работу. После появления нового заказа открывать его карточку. Анализировать информацию о заказе (тип работ, город, расстояние, описание). Автоматически принимать заказы, которые соответствуют заданным условиям. Если заказ не соответствует условиям, пропускать его. Отправлять уведомления в Telegram о принятых и пропущенных заказах. Требования: Python. Playwright (желательно) или Selenium. Работа через обычный браузер. Передача полного исходного кода после завершения проекта. Предоставление инструкции по установке и запуску. Обязателен опыт разработки подобных систем автоматизации. При отклике, пожалуйста, отправьте примеры аналогичных проектов.
Необходимо реализовать проект по сбору и структурированию большого массива изображений из открытых веб-источников (на первом этапе 2000 изображений). Задача включает: - автоматизированный сбор изображений; - загрузку файлов в максимально доступном качестве; - классификацию изображений по категориям. Ожидаемый результат: - структурированная база изображений; - понятная система каталогизации; - передача результата через Google Drive или другой согласованный способ;
РазработкаTelegram Mini App (Бот+ WebApp)дляпродажицифровыхтоваровиигровыхвалют(Python / aiogram) Описание проекта: Требуется разработать Telegram-бота с полноценным WebApp-интерфейсом для автоматизированной продажи цифровых товаров (Telegram Stars, Telegram Premium, игровые валюты/донаты для PUBG Mobile, Steam и др.). Проект называетсяAspect App. Главный упор на скорость работы, плавный UI/UX в стиле Web3/минимализма и полную автоматизацию выдачи товаров после оплаты. Стек технологий: Backend:Python 3.10+, aiogram 3.x (FastAPI для Webhook/API приветствуется). Database:PostgreSQL / Redis (для сессий и кэширования). Frontend (WebApp):React.js / Vue.js / Next.js (на усмотрение разработчика, важна скорость и плавность анимаций). Интеграции:Telegram WebApp API. Основной функционал (MVP): 1.Клиентскаячасть(Telegram Mini App): Главныйэкран:Категории товаров (Telegram Активы, Игровой Донат). Баннерная сетка для акций. Каталогтоваров:Карточки товаров с выбором объема (например: 50, 100, 500 Telegram Stars или UC). Поля для ввода данных игрока (Player ID для PUBG). КорзинаиОформление:Быстрая покупка в 2 клика. Модульоплаты:Интеграция платежных методов (CryptoBot API / TON Connect / другие фиатные шлюзы по согласованию). Личныйкабинет:История заказов, статус выполнения, реферальная система (баланс внутри приложения). 2.Административнаяпанель(встроеннаявWebAppилиотдельныйбот): Управление каталогом (добавление/удаление товаров, изменение цен). Мониторинг заказов и статистика продаж. Система рассылок по базе пользователей. 3.Логикаавтоматизации(Будетплюсом): Готовность архитектуры под интеграцию с API поставщиков (API для авто-закупки Stars/UC). На этапе MVP часть товаров может выдаваться кодами из базы данных. Что требуется от исполнителя: 1. Разработка архитектуры БД и бэкенда на Python. 2. Верстка и интеграция WebApp (дизайн-макет обсудим, важен чистый Web3-стиль, Glassmorphism). 3. Настройка безопасных транзакций и вебхуков оплаты. 4. Деплой на сервер (Docker, Ubuntu, настройка SSL). Требования к кандидату: Опыт коммерческой разработки Telegram WebApps от 1 года. Наличие портфолио с запущенными и работающими Mini Apps (скидывайте ссылки в отклике). Чистый, документированный код. Условия работы: Работа только через БезопаснуюСделку(Сейф/ Escrow)платформы. Оплата поэтапная (разбиваем проект на Спринт 1: Бэкенд + БД, Спринт 2: Фронтенд WebApp, Спринт 3: Интеграция платёжек и тесты). Бюджет: Обсуждается с успешным кандидатом (указывайте вашу вилку цен и сроки в отклике)