Розробити проєкт на Selenium з використанням на Python or NodeJs
3700 UAHЦіль: Авторизація на OLX для отримання barear token.
Опис задача:
- Отримання даних. Скрипт на python (а ще краще на NodeJs) звертається до таблиці olx_acc та при потребі до proxies (база на mongoDB) для отримання даних, щоб здійснити авторизацію (логін, пароль, проксі, юзер-агент...)
- Перевірка проксі. Спершу відбувається перевірка чи проксі робоча.
- Просі не робоча. Якщо проксі (прив'язана до аккаунту в olx_acc) не робоча, тоді для не робочої проксі в табл. proxies за допомогою скрипта на python (or NodeJs) змінюється поле available на значення false.
- Далі звертаємося до таблиці proxies для отримання резервної проксі (яка ще не була використана для авторизації), перевіряємо і її й так по колу, поки не буде знайдена робоча проксі.
- Проксі робоча. Якщо проксі робоча прив'язуємо робочу проксі до акаунту в таблиці olx_acc.
- Просі не робоча. Якщо проксі (прив'язана до аккаунту в olx_acc) не робоча, тоді для не робочої проксі в табл. proxies за допомогою скрипта на python (or NodeJs) змінюється поле available на значення false.
- Перевірка проксі. Спершу відбувається перевірка чи проксі робоча.
- Авторизація на OLX. Авторизуємося відбувається за допомогою Selenium з робочою проксі та юзер-агентом.
- Успішна авторизація, оновлюємо barear token. Після успішної авторизації за допомогою скрипту на python (or NodeJs) в таблицю olx_acc записується отриманий "barear token".
- Блокування аккаунту, змінюємо статус акаунта. Якщо авторизація не відбулася (наприклад через блокування аккаунту), за допомогою скрипту на python (or NodeJs) в таблицю olx_acc в полі status змінюємо значення на false. Після чого повертаємося до п.1 і повторюємо операцію заново.
- офтоп. Коли будете надсилати пропозицію на цей проєкт прошу в меседжі написати кодове слово "Рудоль".
- Оновлення barear token. Через 550 сек (~10хв) має відбутися повторення процедури авторизації для оновлення "barear token".
Попередня структура таблиць
olx_acc:
- id
- login
- password
- barear_token
- refresh_token
- cookies
- proxy
- user-agent
- last_used_at (date)
- stages
- status (true/false)
- created_at
- updated_at
proxies:
- id
- proxy
- last_used_at
- (date)
- available
- (true/false)
- created_at
- updated_at
Залишається відкрите питання:
- Чи можливо без авторизації, маючи старий "barear token" та "refresh token" здійснювати оновлення "barear token". Теоретично це можливо, якщо зберігати куки. і якось відправляти запит на це посилання: https://www.olx.ua/api/v1/ciam/generate-access-token
- Що робити проксі, яка прив'язана до заблокованого акаунту?
- Треба навчитися розрізняти, заблокований аккаунт від призупиненого. По потенційно може бути так, акаунт тимчасово призупинений.
- Можливо при формуванню ТЗ, я щось пропустив чи не врахував. Такі аспекти можемо обговорити під час виконання завдання.
------
Мав негативний досвід виконання даної задачі, виконавець дуже сильно затягнув задачу! Тому надіюся на співпрацю із виконавцем із досвідом у схожих задачах та чітким тайм-менеджментом!
Ціна вказана у проєкті 100$
-
557 3 0 Рудоль
Вітаю!
Вже маю досвід з роботою OLX сервісом. Знаю певні хитрощів що до обходу систем блокування.
Робив код з Python та selenium для розсилки в особисті по оголошеням. Також робив розсилку по post/get запросам через requests також через Python на платформі OLX
1. Так в теорії, це має бути можливо, адже на це і розрахован цей ендпоінт) Точну відповідь зможу сказати після тестів з проксі та аккаунтами
… 2. З проксі що прив'язані пропоную нічого не робити перших годин 5-10. OLX розблоковує їх з часом, але раджу багато не використовувати один і той самий, адже з часом його можуть заблокувати назавжди
3. Звичайно, так і зробим. Але як правило OLX при блокуванні аккаунта, забороняє в нього входити, а призупинені аккаунти дійсня для входу, але в них забороняється писати людям та перевіряти номера телефонів на оголошенях
4. Знадобляться ще різні user-agents, бажано саме ті що з телефону, адже їх блокують рідше та працювати з ними можна довше
-
786 27 2 2 Добрий день, я Python розробник, з досвідом роботи більше 4х років, та більше 3х років у сфері парсингу. При роботі використовую такі модулі як Selenium, requests, beautifulsoup та інші. Розробляв різноманітні боти та парсери від простих парсерів до складних ботів для автоматизації дій в соціальних мережах.
Маю досвід роботи з olx, раніше робив парсинг.
Відповіді на ваші запитання:
1. Зможу сказати точно протестувавши з наявними аккаунтами та проксі
2. Я би радив її тимчасово не використовувати, бо olx може фільтрувати аккаунти за IP, які були раніше "забанені", хоча потрібно спробувати на якомусь аккаунті чи не банить в такому випадку.
3. Було б чудово якби ви надали доступ до аккаунта заблокованого та призупиненого, тоді можна налаштувати перевірку(на основі відмінності інтерфейсу і т.д.) та таким чином валідувати всі аккаунти.
4. В мене є декілька запитань, на рахунок кількості аккаунтів та проксі, наявності якогось сервера (та його операційної системи), чи потрібно оновлювати всі аккаунти одночасно, чи краще робити це циклічно, що робити з призупиненими аккаунтами вони також рахуються як заблоковані?
… Пишіть в ЛС, обговоримо детальніше. Рудоль
-
1041 20 2 Доброго дня! У мене велика є велика кількість досвіду роботи з selenium та парсингом/скрепінгом даних з сайтів, в тому числі й на цьому сайті. Рудоль.
-
345 Привіт, є великий досвід роботи з автоматизацією на Selenium.Я буду раді вирішити вашу задачу після уточнення ТЗ.
-
953 11 0 Рудоль.
Маю багато досвіду у праці з puppeteer на nodeJS (TypeScript). Остання таска якраз була повязана з puppeteer. Звертайтеся, час вказано с запасом.
Актуальні фриланс-проєкти в категорії Javascript та Typescript
Шукаю досвідченого Full Stack розробника для створення SaaS-сервісу для інтернет-магазинів.Ідея сервісу: Клієнт завантажує посилання на свій товарний фід (XML або CSV). Сервіс автоматично отримує товари, бере їхні фотографії та створює нові рекламні зображення за готовими шаблонами: ціна, знижка, логотип, акційні плашки тощо. Також у сервісі має бути простий редактор… Javascript та Typescript, Веб-програмування ∙ 5 годин 21 хвилина тому ∙ 54 ставки |
Розробка WebGL/Three.js сцени з генерацією та експортом 3D (снапшот) з анімованого шейдераОпис об'єкта:Проект являє собою дизайнерський стіл, виконаний у формі реалістичного, глибокого водовороту (центральна воронка, яка плавно переходить з широкої горизонтальної стільниці в тонку витончену ніжку). Суть задачі:Потрібен WebGL / Creative Coding розробник для створення… Javascript та Typescript, Веб-програмування ∙ 1 день 1 година тому ∙ 26 ставок |
Підтримка та розвиток сайту клінінгової компанії
906 UAH
Шукаю веб-розробника / вебмайстра для довгострокової підтримки та розвитку сайту клінінгової компанії. Сайт: https://donely.ca Про проєкт DoneLy Home Services — компанія з надання послуг прибирання в Канаді, яка активно розвивається та розширює географію роботи. Шукаю… Javascript та Typescript, Веб-програмування ∙ 3 дні 3 години тому ∙ 62 ставки |
Розробка сайту по ТЗ на FramerПотрібно зробити сайт по цим параметрам що в тз https://docs.google.com/document/d/1ODO2C9Krb4AaMiJz9wfbNzWlAyA2FwCCHL8r0biajUY/edit?usp=sharing Називайте реальний рейт на основі цього дизайну HTML та CSS верстання, Javascript та Typescript ∙ 4 дні 4 години тому ∙ 27 ставок |
Розробка інтерактивної карти Palworld для сайтуПотрібно розробити інтерактивну карту Palworld за прикладом: https://palworld.gg/map Нам потрібна не просто статична картинка, а повноцінна інтерактивна карта, де користувач може дивитися локації, вмикати / вимикати категорії об’єктів, шукати потрібні точки та взаємодіяти з… HTML та CSS верстання, Javascript та Typescript ∙ 5 днів 19 годин тому ∙ 35 ставок |