Optymalizacja parsera na Python

Нормальный чистый код. Почему-то все заказчики ни как не могут понять, что скорость работы парсера это всегда скорость взаимодействия парсера с сайтом донора. Поэтому гоняются за мифическим, ускорьте, улучшить и т п. Зря тратите время 

Mihaylo Zamovnik 19 czerwca 2025

Та паранойя)))

Я же веб програмист, в пайтоне хз как это все можно оптимизировать.

Но кажется все таки можно лучше его сделать

Пітон це мова не про швидкість та оптимізацію.

Переписуйте на  С++ або Rust і те не факт що буде швидше.

Mihaylo Zamovnik 19 czerwca 2025

Якщо різниця буде в 5-10 секунд, тоді не бачу в цьому сенсу

На вряд чи.  Можна bs4 замінити на іншу лібу, та загалом парсинг переглянути.

І як казали спробувати працювати через hiden api, розбирая json, а не html.

Але це не думаю дасть такий результат якщо запити через проксі будуть займати основний час.

Mihaylo Zamovnik 19 czerwca 2025

Понимаю, что многое зависит от самого олх, а именно когда выведутся в поиске объявления.

у них есть внутреннее АПИ, брать только данные, без хтмл, но контактов там нет

Mihaylo Zamovnik 19 czerwca 2025

API олкс-а не работает с поиском новых объявлений - оно только для работы со своим аккаунтом и своими объявлениями.

Mihaylo Zamovnik 19 czerwca 2025

Если я ошибаюсь - покажите мне ссылку на документацию

это внутренее АПИ, по нему нет документации

Код "все у одному файлі" - це вже не норм.

Та й є дивні речі. 

Mihaylo Zamovnik 19 czerwca 2025

На вашу думку, для коду в 16 кб на 470 рядків треба декілька файлів?

Звісно. Має бути нормальна з структура, з файлом проєкта з залежностями env файлом, описом налаштувань. розбиття логіки.

Mihaylo Zamovnik 19 czerwca 2025

це код для мене, не для продажу. Це все зайве я думаю

Так код завжди для тебе.

Замовнику треба щоб працювало.

Тобі треба щоб було легко допрацьовувати підтримувати вносити правки.

Тут явно є багато моментів, які можна прискорити. Дивно що ніхто з фрілансерів про це не написав. По перше : архітектура написана так, що потрібно переписати все з нуля для пришвидшення в рази парсингу . По друге - обрані не найкращі ліби для швидкості парсингу.  Є в по 3 і по 4 і ттд .