Дмитро А.
Предложите Дмитро работу над вашим следующим проектом или зарегистрируйте профиль фрилансера и начинайте зарабатывать прямо сейчас.
Личное сообщение
Предложить работу
Измаил,
Украина
9 месяцев 19 дней назад
свободен для работы
5 Сейфов завершены
1 год назад
4 заказчика
на сервисе 2 года
Рейтинг
Средняя оценка
Уровень владения языками
Українська: носитель
Русский: продвинутый
English: средний
Навыки и умения
Портфолио
-
1000 UAH Парсер Etsy с асинхронным сбором данных и визуализацией в Excel
Парсинг данных
Использованные библиотеки:
● playwright: для инициализации браузера, получения cookie, загрузки страниц Etsy и обхода механизмов защиты.
● BeautifulSoup (bs4): для анализа HTML-страниц, нахождения нужных элементов (например, ссылок на товары) и их фильтрации по необходимым параметрам.
● openpyxl: для создания таблиц, форматирования ячеек, вставки текстовых данных и изображений в файл .xlsx.
… ● Pillow (PIL): для обработки изображений, включая изменение их размеров перед вставкой в Excel.
● httpx: для асинхронной загрузки изображений товаров по ссылкам высокого качества.
Основные задачи:
● Автоматизация сбора данных – Поиск товаров по ключевым словам, фильтрация по названию магазина, обход капчи.
● Обработка информации – Парсинг HTML для получения названий, ID товаров, изображений, изменение размеров изображений.
● Сохранение результатов – Создание Excel-таблицы, вставка текста и изображений, форматирование таблицы.
● Асинхронность – Одновременная обработка запросов и загрузка изображений.
● Гибкость настроек – Настройка параметров входа, глубины сканирования и пауз.
Процесс реализации:
1. Сбор данных:
Данные собираются с помощью класса EtsyClient, который инкапсулирует функции для взаимодействия с платформой Etsy, сбора ключевых слов, загрузки страниц и обработки результатов. Используются библиотеки BeautifulSoup для парсинга и httpx для загрузки изображений товаров. Данные организуются в структуру, готовую к сохранению в файл.
2. Обработка и сохранение данных:
Для сохранения собранных данных используется библиотека openpyxl. Создается Excel-таблица, в которую записываются как текстовые данные о товарах, так и изображения товаров. Для каждого товара автоматически изменяется размер изображения перед вставкой, чтобы обеспечить их корректное отображение в таблице.
3. Асинхронность и эффективность:
Процесс сбора и обработки данных реализован асинхронно, что позволяет одновременно обрабатывать несколько запросов и загружать изображения. Благодаря асинхронному подходу процесс сбора данных значительно ускоряется, уменьшая время выполнения программы.
4. Гибкость настроек:
Программа легко настраивается для работы с различными магазинами на Etsy благодаря использованию переменных класса, что позволяет изменять параметры без необходимости изменять код.
Метки:
#python #парсеры #Парсинг #playwright #webscraping #Парсеры #спарсить #beautifulsoup #beautifulsoup4 #bs4 #pillow #openpyxl
-
Прогнозирование цен криптовалют с помощью нейронных сетей
Python
Использованные библиотеки:
● aiohttp: для сбора исторических данных с Binance API
● PyTorch и PyTorch Lightning: для построения и обучения модели
● pandas, numpy: для работы с временными рядами, подготовки и анализа данных
… ● seaborn, matplotlib: для визуализации данных
● DeepSpeed: для оптимизации обучения на больших объемах данных
Основные задачи:
● Сбор и нормализация данных, подготовка временных рядов для криптовалют
● Построение и обучение оптимизированной модели DeepAR
● Прогнозирование данных с помощью созданной модели
● Визуализация результатов для оценки качества модели
Процесс реализации:
1. Подготовка данных:
Функция get_klines_for_train получает исторические данные о изменении цен с интервалом во времени, а также вычисляет технические индикаторы, такие как RSI, EMA и другие. После этого данные сохраняются в CSV-файл для дальнейшего использования. Для обучения модели была выбрана валютная пара JUP/USDT с интервалом 1 час, а для тестирования — пары BTC/USDT, SOL/USDT и XRP/USDT. Хотя количество данных было ограничено, этого хватило для эффективного обучения.
В главном модуле данные загружаются из CSV-файла, а набор данных нормализуется с помощью специально реализованного метода MinMax.
2. Создание и обучение модели DeepAR:
Модель основана на кастомизированной версии DeepAREnhanced, которая является оптимизированным вариантом классической DeepAR. Для повышения точности на больших временных рядах введена специальная версия ScaledNormalLoss, которая улучшает функцию потерь. Обучение проходило с использованием DeepSpeed для ускорения процесса и EarlyStopping, чтобы избежать переобучения.
3. Прогнозирование и визуализация:
После обучения модель использовалась для прогнозирования цен на тестовом наборе данных. Результаты прогнозирования сравнивались с реальными значениями с помощью функции plot_comparison(), которая визуально демонстрирует точность модели и ее эффективность в предсказании будущих трендов.
Метки:
#python #pytorch #binance #binance.com #datascience #cryptocurrency #криптовалюты #ai
Отзывы и комплименты о выполненных проектах 5
20 декабря 2024
1000 UAH
Парсинг данных
Качество
Профессионализм
Стоимость
Контактность
Сроки
Дмитрий смог выполнить проект, который до этого не получалось сделать у трех предыдущих исполнителей. Рекомендую его как человека, отлично разбирающегося как в пайтоне, так и в написании парсеров. Обязательно буду обращаться еще.
|
21 ноября 2024
1200 UAH
Написать бот ТГ для treadingview, получающий команду от индикатора ,доработка индикатора
Качество
Профессионализм
Стоимость
Контактность
Сроки
Отличный специалист советую все делает во время корректно очень доволен обращаюсь второй раз и ещё буду обращаться обязательно!! СОВЕТУЮ ВСЕМ !
Миха Михаил
| Персональный | Ответный отзыв
3 ноября 2024
1200 UAH
Настроить автоматическое обновление остатков и цен на Хорошопе
Качество
Профессионализм
Стоимость
Контактность
Сроки
всё выполнено, отличная работа
1 ноября 2024
1000 UAH
Объединить 3 индикатора treadingview с открытым кодом в один
Качество
Профессионализм
Стоимость
Контактность
Сроки
Отличный специалист советую , усовершенствовал индикатор treadingview
10 июня 2024
700 UAH
Парсер
Качество
Профессионализм
Стоимость
Контактность
Сроки
Спасибо за выполненную работу
Андрей Иванов
| Персональный 
Активность
| Последние ставки 10 | Бюджет | Добавлена | Сроки | Ставка | |
|---|---|---|---|---|---|
|
Доработки телеграм бота
1200 UAH
|
|||||
|
Парсинг сайта
1200 UAH
|
|||||
|
Разработка софта для регистрации аккаунтов hotmail/outlook на Python на post/get запросах
15 498 UAH
|
|||||
|
Парсинг данных
1000 UAH
|
|||||
|
Парсер ОЛХ 24/7
2000 UAH
|
|||||
|
Фьючерсный парсер
10 000 UAH
|
|||||
|
Распознавание объекта и текста на фото
2000 UAH
|
|||||
|
Python скрипт парсинга данных и отправки результата в telegram
1800 UAH
|
|||||
|
Парсер с solscan или gmgn
3200 UAH
|
|||||
|
Парсинг карток товаров с сайта в эксель
1000 UAH
|