Поправить скрипт на Python и настроить исполнение на сервере
нужно доработать готовый парсинг товаров написанный на Python, в целом сейчас все работает правильно, только парсинг выполняется в одном потоке.
задания должны быть сделаны так, чтобы парсинг работал в нескольких потоках, но чтобы не было большого нагрузки на донора, с которого будет выполняться парсинг. в этом вопросе обязательно, чтобы у вас был опыт и вы могли дать совет о количестве потоков и т. д. Нужно настроить выполнение этого скрипта на сервере. Также нужен совет, который выбрать сервер - цена\качество.
Исходники покажу исполнителю.
Если вам проще предложить свой парсинг также могу рассмотреть этот вариант.
Отзыв заказчика о сотрудничестве с Oleksandr K.
Поправить скрипт на Python и настроить исполнение на сервереОлександр хорошо справился с задачей, выполнив все даже больше!
Рекомендую к сотрудничеству!
Отзыв фрилансера о сотрудничестве с Олександром Ранічевим
Поправить скрипт на Python и настроить исполнение на сервереАлександр вежливый человек, подробно описывает задание, постоянно на связи, хорошо знает, что ему нужно по правкам, хорошо их описывает. Приятно было сотрудничать.
-
Готовы прямо сейчас приступить к выполнению
У меня есть большой опыт написания парсеров на Python, а также настройки серверов.
-
335 1 0 Добро пожаловать, Александр
У меня есть опыт писания парсеров, специализируюсь на Python.
Для организации многопроницаемости планирую воспользоваться возможностями соответствующих библиотек и кеширования данных - это позволит выполнять парсинг в нескольких потоках или корутинах, делать несколько запросов одновременно (и получать данные быстрее).
Сервер - DigitalOcean пойдет, он имеет много настроек. Вам нужно выбрать тариф по количеству CPU, объему оперативной памяти и сетевой пропускной способности - чем больше, тем лучше для проекта.
Ждем Ваше сообщение в случае заинтересованности в сотрудничестве.
…
С уважением
Мирное небо
-
838 14 2 Добро пожаловать!
Есть несколько вопросов по вашему заданию.
1 . «Несколько потоков» — достаточно растянутое понятие. Вы имеете в виду, что один парсер должен использовать несколько потоков; или несколько потоков, и на каждом из них - свой инстанс парсера?
Вторая Я уже занимался таким, могу вам помочь. Сам скрипт я запускаю как сервис, тем самым, скрипт будет перезагружаться, если с ним что-то случится не так. Кроме того, о самом сервере: предлагаю вам сервис DigitalOcean. За его качество я обедую. Вот его расчеты: https://www.digitalocean.com/pricing/droplets
Если вас интересует моя кандидатура, пожалуйста, обращайтесь лично!
-
397 14 0 Здравствуйте меня зовут Богдан и я хотел бы поработать над вашим проектом. готов решить как первую так и вторую задачу.
Вашу задачу в плане скорости решает Scrapy или threading при условии что нет длительного ожидание ответа от сервера. Вы можете прислать код для оценки стоимости и времени, так же дам рекомендации по vps что сам использую для своих проектов
Tech Stack
- Python
- Selenium / Playwright
- requests + bs4
… - Proxies
- Captcha solver
- Scrapy
- PostgreSQL
- Fast API
- Digital Ocean
- Linux
При необходимости продемонстрирую свои проекты
Актуальные фриланс-проекты в категории Python
Создание многофункционального бота в Телеграм
1000 UAH
(Все материалы предоставлю в приватные сообщения) Вот детальное описание проекта: После нажатия кнопки /start Бот присылает текст с правилами и условиями пользования (под текстом, кнопка ‘ознакомлен’) После нажатия на кнопку, следующее сообщение ‘проверка на подписку’ Три… Python, Разработка ботов ∙ 2 дня 4 часа назад ∙ 93 ставки |
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 4 дня 17 часов назад ∙ 26 ставок |
Розработка Тик-Ток фермы (контент-завод)Необзодимо разработать систему для централизованного управления несколькими TikTok-аккаунтами с автоматической публикацией контента, использованием индивидуальных прокси и имитацией естественной активности аккаунтов. Функциональные требования1. Управление аккаунтами Добавление… Python, Разработка ботов ∙ 5 дней 5 часов назад ∙ 20 ставок |
Улучшить работу Claude Code и работа с написанием софтаСейчас разрабатываю СРМ и Аналитику, софт. Делаю через Клод Код, но понимаю что результаты не лучшие в плане изменений. Есть 2 задачи - Нужно помочь сделать пресет по навыкам, мд и так далее чтобы улучшить качество. Взять проверенные с которыми работали, а не с интернета… AI и машинное обучение, Python ∙ 5 дней 11 часов назад ∙ 26 ставок |
Система OCRНужна система распознавания текста на почтовых конвертах (индекс кому - только числа). Текст иногда может быть рукописным. Распознавание марок (подсчет количества и номинала) Python ∙ 5 дней 15 часов назад ∙ 28 ставок |