Поправити скрипт на Python та налаштувати виконання на сервері

Вітаю, Олександре!

Маю досвід написання парсерів, спеціалізуюся на Python.

Для організації багатопоточності планую використати можливості відповідних бібліотек та кешування даних - це дозволить виконувати парсинг у декількох потоках або корутинах, робити кілька запитів одночасно (і отримувати дані швидше).

Сервер - DigitalOcean підійде, він має багато налаштувань. Вам треба обрати тариф за кількістю CPU, обсягом оперативної пам'яті та мережевою пропускною здатністю - чим більше, тим краще для проекту.

Чекаю на Ваше повідомлення в разі зацікавленності у співпраці.
…
З повагою
Мирного неба

Вітаю!
Є декілька питань по вашому завданню.
1. "Кілька потоків" - доволі розтяжиме поняття. Маєте на увазі, що один парсер має використовувати декілька потоків; чи декілька потоків, і на кожному з них - свій інстанс парсера?
2. Я вже займався таким, можу вам допомогти. Сам скрипт я запущу як сервіс, тим самим, скрипт буде перезавантажуватись, якщо з ним щось трапиться не так. До того ж, щодо самого серверу: пропоную вам сервіс DigitalOcean. За його якість ручаюсь. Ось його розцінки: https://www.digitalocean.com/pricing/droplets
Якщо вас зацікавила моя кандидатура, прошу звертатися в особисті!

Вітаю вас, я називаюся Богодан і я хотів би працювати над вашим проектом. Готова вирішити як першу, так і другу задачу.

Вашу задачу з точки зору швидкості вирішує Scrapy або threading за умови, що немає довгого очікування відповіді від сервера. Ви можете надіслати код для оцінки вартості і часу, а також даю рекомендації по vps, що я сам використовую для своїх проектів

Технологія Stack

- Python
Селеніум / Playwright
Заявки + bs4
… Проксис
Створення CAPTCHA SOLVER
Скрипаль
- ПостгреSQL
Швидкий вогонь
Цифровий океан
- лінк

При необхідності продемонструвати свої проекти.

Показати оригінал

Перекласти