Бюджет: 1200 UAH Термін: 3 дні
Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно
Нужно написать парсер данных с сайта:
https://safer.fmcsa.dot.gov/query.asp?searchtype=ANY&query_type=queryCarrierSnapshot&query_param=MC_MX&query_string=500015
С одной странички нужно получить около 60 полей с текстовыми данными.
Запросов (страниц) будет больше 100000.
Сами данные я получаю с помощью lxml через XPath (все XPath'ы я уже получил, с этим пунктом я справился).
Обязательно:
Парсер должен быть написан/ускорен (не силен в терминологии) с помощью aiohttp. Шустро работать, не вызывать ошибок и проблем с безопасностью сайта.
Корректная запись данных в CSV файл
Опционально (если умеешь, и справишься, можем обсудить доп. стоимость этих пунктов):
Подключение прокси (или других методов безопасности парсинга, т.к. планируется много запросов).
Вместо записи в CSV файл, сделать запись данных в МОЮ Базу Данных PostgreSQL.
От вас требуется только корректно работающий ".py" код, всю работу с парсингом я беру на себя, сам буду запускать на своих серверах, и записывать данные к себе.
Обращаю внимание: Парсер нужно написать именно с учетом указанных мою технологий и инструменов. Пожалуйста, не предлагайте мне "написать с помощью BS4 и Selenium, и записать данные в SQLite", внимательно ознакомьтесь с текстом объявления, благодарю за понимание.
На все вопросы отвечу, всё обсудим и договоримся, надеюсь на благотворное сотрудничество!
Бюджет: 1200 UAH Термін: 3 дні
Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно
Добрый день, Максим.
Я вижу этот проект из "нужна помощь" перешел в стадию "надо сделать" 🙂
Есть опыт не только парсинга с помощью aiohttp с проксями, но и работе сервера на этом фреймворке. Читая описание проекта у меня возникает несколько непонятных моментов. Например: надо сделать парсер, но ниже "всю работу с парсингом я беру на себя". Могу только догадаться что надо написать асинхронный клиент для скачивания большого кол-ва страниц, а сам синтаксический разбор каждой страницы Вы уже знаете как реализовать. Верно? Или уточните задание, пожалуйста.Хотел сделать ставку, но не понимаю до конца объем работ и детали. Готов помочь или написать клиентскую часть, но надо многое уточнить.
Павел, добрый день! Да, пришлось немного изменить условия, т.к. за помощь фрилансеры берутся неохотно, заметил такую тенденцию) Да, вы правильно поняли, по большей части меня интересует асинхронный клиент, у меня нет времени самостоятельно разбираться c aiohttp. Сами данные со страниц "вытаскивать" я уже научился. Ваша кандидатура меня заинтересовала, вижу что понимаете о чем речь, готов ответить на любое кол-во вопросов.
Необхідно провести глибоку технічну перевірку трьох PDF-файлів на достовірність та можливі ознаки редагування або підробки. Потрібна не лише візуальна оцінка документів. Виконавець повинен добре розуміти внутрішню структуру PDF-файлів та вміти аналізувати: метадані файлів; структуру PDF та окремих об’єктів; історію створення і можливого редагування; використане програмне забезпечення; вбудовані шрифти, зображення, шари та інші елементи; можливі ознаки повторного збереження, конвертації, внесення змін або формування документа заднім числом; будь-які технічні невідповідності, які можуть свідчити про маніпуляції з файлами. За результатом перевірки необхідно надати зрозумілий письмовий висновок щодо кожного файлу із зазначенням виявлених ознак, ризиків та обмежень перевірки. Розглядаємо фахівців, які мають практичний досвід у цифровій криміналістиці, аналізі PDF-документів, метаданих або перевірці електронних файлів на автентичність. У відгуку, будь ласка, коротко опишіть ваш досвід, методи та інструменти, які ви використовуєте для такої перевірки.
Індикатор для користування у торгівлі повинен визначати певні діапазони з історію і аналізувати їх з поточним
Потрібен досвідчений Python-розробник для створення програми автоматизації роботи із сайтом. Що має робити бот: Авторизуватися в моєму акаунті на сайті. Постійно (24/7) відстежувати появу новихWork Orders. Після появи нового замовлення відкривати його картку. Аналізувати інформацію про замовлення (тип робіт, місто, відстань, опис). Автоматично приймати замовлення, які відповідають заданим умовам. Якщо замовлення не відповідає умовам, пропускати його. Надсилати сповіщення в Telegram про прийняті та пропущені замовлення. Вимоги: Python. Playwright (бажано) або Selenium. Робота через звичайний браузер. Передача повного вихідного коду після завершення проєкту. Надання інструкції зі встановлення та запуску. Обов’язковий досвід розробки подібних систем автоматизації. Під час відгуку, будь ласка, надішліть приклади аналогічних проєктів.
Потрібно реалізувати проєкт зі збору та структурування великого масиву зображень із відкритих вебджерел (на першому етапі 2000 зображень). Задача включає: - автоматизований збір зображень; - завантаження файлів у максимально доступній якості; - класифікацію зображень за категоріями. Очікуваний результат: - структурована база зображень; - зрозуміла система каталогізації; - передача результату через Google Drive або інший погоджений спосіб;
Розробка Telegram Mini App (Бот + WebApp) для продажу цифрових товарів та ігрових валют (Python / aiogram) Опис проекту: Потрібно розробити Telegram-бота з повноцінним WebApp-інтерфейсом для автоматизованого продажу цифрових товарів (Telegram Stars, Telegram Premium, ігрові валюти/донати для PUBG Mobile, Steam тощо). Проект називається Aspect App. Головний акцент на швидкості роботи, плавному UI/UX в стилі Web3/мінімалізму та повній автоматизації видачі товарів після оплати. Стек технологій: Backend: Python 3.10+, aiogram 3.x (FastAPI для Webhook/API вітається). Database: PostgreSQL / Redis (для сесій та кешування). Frontend (WebApp): React.js / Vue.js / Next.js (на розсуд розробника, важлива швидкість і плавність анімацій). Інтеграції: Telegram WebApp API. Основний функціонал (MVP): 1. Клієнтська частина (Telegram Mini App): Головний екран: Категорії товарів (Telegram Активи, Ігровий Донат). Банерна сітка для акцій. Каталог товарів: Картки товарів з вибором обсягу (наприклад: 50, 100, 500 Telegram Stars або UC). Поля для введення даних гравця (Player ID для PUBG). Кошик та Оформлення: Швидка покупка в 2 кліка. Модуль оплати: Інтеграція платіжних методів (CryptoBot API / TON Connect / інші фіатні шлюзи за погодженням). Особистий кабінет: Історія замовлень, статус виконання, реферальна система (баланс всередині додатку). 2. Адміністративна панель (вбудована в WebApp або окремий бот): Управління каталогом (додавання/видалення товарів, зміна цін). Моніторинг замовлень та статистика продажів. Система розсилок по базі користувачів. 3. Логіка автоматизації (буде плюсом): Готовність архітектури під інтеграцію з API постачальників (API для авто-купівлі Stars/UC). На етапі MVP частина товарів може видаватися кодами з бази даних. Що потрібно від виконавця: 1. Розробка архітектури БД та бекенду на Python. 2. Верстка та інтеграція WebApp (дизайн-макет обговоримо, важливий чистий Web3-стиль, Glassmorphism). 3. Налаштування безпечних транзакцій та вебхуків оплати. 4. Деплой на сервер (Docker, Ubuntu, налаштування SSL). Вимоги до кандидата: Досвід комерційної розробки Telegram WebApps від 1 року. Наявність портфоліо з запущеними та працюючими Mini Apps (скидайте посилання в відповіді). Чистий, документований код. Умови роботи: Робота тільки через Безпечну Угоду (Сейф / Escrow) платформи. Оплата поетапна (розбиваємо проект на Спринт 1: Бекенд + БД, Спринт 2: Фронтенд WebApp, Спринт 3: Інтеграція платіжок і тести). Бюджет: Обговорюється з успішним кандидатом (вказуйте вашу вилку цін і терміни в відповіді)