Дмитро А.
Запропонуйте Дмитру роботу над вашим наступним проєктом або зареєструйте профіль фрилансера і починайте заробляти просто зараз.
Особисте повідомлення
Запропонувати роботу
Ізмаїл,
Україна
9 місяців 19 днів тому
вільний для роботи
5 Сейфів завершено
1 рік тому
4 замовники
на сервісі 2 роки
Рейтинг
Середня оцінка
Рівень володіння мовами
Українська: носій
Русский: просунутий
English: середній
Резюме
Спеціалізація:
Парсинг даних:
- Обхід CAPTCHA за допомогою сучасних інструментів
- Багатопоточність та асинхронність для значного прискорення збору даних
- Оптимізація парсингу для великих обсягів даних, ефективна робота з обмеженнями швидкості (rate-limiting) та проксі-серверами для обходу блокувань
Моделі машинного навчання:
- Побудова та навчання моделей для різних завдань: класифікація, регресія, кластеризація, виявлення аномалій
- Глибоке навчання
- Навчання з підкріпленням
Розробка чат-ботів:
- Створення високопродуктивних чат-ботів для платформ Telegram та Viber
- Інтеграція чат-ботів з API сторонніх сервісів
- Налаштування інтелектуальних відповідей та автоматизованого оброблення запитів за допомогою AI-моделей для підвищення ефективності комунікацій
Навички:
- Мови програмування: Python, JavaScript, SQL
- Інструменти: Jupyter Notebook, Docker, Git, Linux
- Машинне навчання та AI: Scikit-learn, Keras, TensorFlow, PyTorch, DeepSpeed, OpenAI API
- Парсинг даних: BeautifulSoup, Scrapy, Selenium
- Обробка та аналіз даних: Pandas, NumPy, Scikit-learn
- Бази даних: MySQL, PostgreSQL, MongoDB
- Чат-Боти: aiogram, telethon, python-telegram-bot-api, viberbot
Досвід: 3 роки
Навички та вміння
Портфоліо
-
1000 UAH Парсер Etsy з асинхронним збором даних і візуалізацією в Excel
Парсинг даних
Використані бібліотеки:
● playwright: для ініціалізації браузера, отримання cookie, завантаження сторінок Etsy та обходу механізмів захисту.
● BeautifulSoup (bs4): для аналізу HTML-сторінок, знаходження потрібних елементів (наприклад, посилань на товари) та їх фільтрації за необхідними параметрами.
● openpyxl: для створення таблиць, форматування комірок, вставки текстових даних і зображень у файл .xlsx.
… ● Pillow (PIL): для обробки зображень, включно зі зміною їх розмірів перед вставкою в Excel.
● httpx: для асинхронного завантаження зображень товарів із посилань високої якості.
Основні завдання:
● Автоматизація збору даних – Пошук товарів за ключовими словами, фільтрація за назвою магазину, обхід капчі.
● Обробка інформації – Парсинг HTML для отримання назв, ID товарів, зображень, зміна розмірів зображень.
● Збереження результатів – Створення Excel-таблиці, вставка тексту і зображень, форматування таблиці.
● Асинхронність – Одночасна обробка запитів і завантаження зображень.
● Гнучкість налаштувань – Налаштування параметрів входу, глибини сканування та пауз.
Процес реалізації:
1. Збір даних:
Дані збираються за допомогою класу EtsyClient, який інкапсулює функції для взаємодії з платформою Etsy, збору ключових слів, завантаження сторінок та обробки результатів. Використовуються бібліотеки BeautifulSoup для парсингу та httpx для завантаження зображень товарів. Дані організовуються в структуру, готову до збереження у файл.
2. Обробка та збереження даних:
Для збереження зібраних даних використовується бібліотека openpyxl. Створюється Excel-таблиця, в яку записуються як текстові дані про товари, так і зображення товарів. Для кожного товару автоматично змінюється розмір зображення перед вставкою, щоб забезпечити їх коректне відображення в таблиці.
3. Асинхронність та ефективність:
Процес збору та обробки даних реалізований асинхронно, що дозволяє одночасно обробляти кілька запитів і завантажувати зображення. Завдяки асинхронному підходу процес збору даних значно пришвидшується, зменшуючи час виконання програми.
4. Гнучкість налаштувань:
Програма легко налаштовується для роботи з різними магазинами на Etsy завдяки використанню змінних класу, що дозволяє змінювати параметри без необхідності змінювати код.
Мітки:
#python #парсеры #Парсинг #playwright #webscraping #Парсери #спарсить #beautifulsoup #beautifulsoup4 #bs4 #pillow #openpyxl
-
Прогнозування цін криптовалют за допомогою нейронних мереж
Python
Використані бібліотеки:
● aiohttp: для збору історичних даних з Binance API
● PyTorch та PyTorch Lightning: для побудови та тренування моделі
● pandas, numpy: для роботи з часовими рядами, підготовки та аналізування даних
… ● seaborn, matplotlib: для візуалізації даних
● DeepSpeed: для оптимізації навчання на великих об'ємах даних
Основні завдання:
● Збір та нормалізація даних, підготовка часових рядів для криптовалют
● Побудова та тренування оптимізованої моделі DeepAR
● Передбачення даних за допомогою створеної моделі
● Візуалізація результатів для оцінки якості моделі
Процес реалізації:
1. Підготовка даних:
Функція get_klines_for_train отримує історичні дані про зміну цін з інтервалом у часі, а також обчислює технічні індикатори, такі як RSI, EMA та інші. Після цього дані зберігаються у CSV-файл для подальшого використання. Для навчання моделі було обрано валютну пару JUP/USDT з інтервалом 1 година, а для тестування — пари BTC/USDT, SOL/USDT та XRP/USDT. Хоча кількість даних була обмежена, цього вистачило для ефективного навчання.
У головному модулі дані завантажуються з CSV-файлу, а набір даних нормалізується за допомогою спеціально реалізованого методу MinMax.
2. Створення та тренування моделі DeepAR:
Модель базується на кастомізованій версії DeepAREnhanced, яка є оптимізованим варіантом класичної DeepAR. Для підвищення точності на великих часових рядах введена спеціальна версія ScaledNormalLoss, яка покращує функцію втрат. Тренування проходило із використанням DeepSpeed для прискорення процесу та EarlyStopping, щоб уникнути перенавчання.
3. Прогнозування та візуалізація:
Після тренування модель використовувалась для прогнозування цін на тестовому наборі даних. Результати прогнозування порівнювались із реальними значеннями за допомогою функції plot_comparison(), що візуально демонструє точність моделі та її ефективність у передбаченні майбутніх трендів.
Мітки:
#python #pytorch #binance #binance.com #datascience #cryptocurrency #криптовалюты #ai
Відгуки та компліменти про виконані проєкти 5
20 грудня 2024
1000 UAH
Парсинг даних
Якість
Професіоналізм
Вартість
Контактність
Терміни
Дмитро зміг виконати проект, який до цього не вдавалося зробити у трьох попередніх виконавців. Рекомендую його як людину, яка відмінно розбирається як у пайтоні, так і в написанні парсерів. Обов'язково буду звертатися ще.
|
21 листопада 2024
1200 UAH
Написати бота ТГ для treadingview, що отримує команду від індикатора, доопрацювання індикатора
Якість
Професіоналізм
Вартість
Контактність
Терміни
Чудовий спеціаліст, раджу, все робить вчасно, коректно, дуже задоволений, звертаюся вдруге і ще буду звертатися обов'язково!! РАДЖУ ВСІМ!
Миха Михаил
| Персональний | Відгук у відповідь
3 листопада 2024
1200 UAH
Налаштувати автоматичне оновлення залишків та цін на Хорошопі
Якість
Професіоналізм
Вартість
Контактність
Терміни
все виконано, чудова робота
1 листопада 2024
1000 UAH
Об'єднати 3 індикатори treadingview з відкритим кодом в один
Якість
Професіоналізм
Вартість
Контактність
Терміни
Чудовий спеціаліст рекомендую, вдосконалив індикатор treadingview
10 червня 2024
700 UAH
Парсер
Якість
Професіоналізм
Вартість
Контактність
Терміни
Дякую за виконану роботу
Андрей Иванов
| Персональний 
Активність
| Останні ставки 10 | Бюджет | Додано | Терміни | Ставка | |
|---|---|---|---|---|---|
|
Доопрацювання телеграм бота
1200 UAH
|
|||||
|
Парсинг сайту
1200 UAH
|
|||||
|
Розробка софту для реєстрації акаунтів hotmail/outlook на Python на post/get запитах
15 480 UAH
|
|||||
|
Парсинг даних
1000 UAH
|
|||||
|
Парсер ОЛХ 24/7
2000 UAH
|
|||||
|
Ф’ючерсний парсер
10 000 UAH
|
|||||
|
Розпізнавання об'єкта та тексту на фото
2000 UAH
|
|||||
|
Python скрипт парсинга данних та надсилянням результату в telegram
1800 UAH
|
|||||
|
Парсер з solscan або gmgn
3200 UAH
|
|||||
|
Парсинг карток товарів з сайту в ексель
1000 UAH
|