Оптимизация парсера на Python
Требуется за адекватные деньги оптимизировать готовый парсер OLX написанный на Python
Я веб-разработчик, в пайтоні новичок... Уверен, что в этом коде есть много моментов, которые можно оптимизировать.
Код: ссылка
Технологии: curl_cffi, aiogram, bs4, fake_useragent
P.s. код должен работать так же, как и раньше, только значительно быстрее и потреблять меньше ресурсов.
P.s.s ставки заготовки/сгенерированные ИИ - будут автоматически отклонены
-
1 день800 UAH
838 14 2 1 день800 UAH
Добрый вечер!
Я посмотрел ваш код и нашёл несколько "узких мест". Я исправил их и думаю, вам стоит попробовать мой вариант.
Никакого ИИ - посмотрите на мой профиль, где у меня не один хороший отзыв, и пишу я натурально XD
Обращайтесь! Надеюсь, вы будете довольны результатом ;)
-
1 день1000 UAH
3142 11 0 1 день1000 UAH
Добрый день!
Для оптимизации кода и его ускорения нужно использовать другие библиотеки, bs4 + lxml - работают медленно. Нужно выполнить с помощью aiohttp. Обращайтесь - покажу и расскажу как.
-
1 день777 UAH
101 1 0 1 день777 UAH
Сильно оптимизировать код не получится
И его структура похожа на написание ИИ
Сэкономить секунду-две - да
Лучший метод оптимизации — создание с нуля
И исправить ошибки добавит лишнего времени.
-
3 дня2000 UAH
726 9 1 3 дня2000 UAH
Здравствуйте! Ваш проект выглядит очень интересным. Я готов начать работу немедленно и обеспечить высокое качество.
-
Нормальный чистый код. Почему-то все заказчики ни как не могут понять, что скорость работы парсера это всегда скорость взаимодействия парсера с сайтом донора. Поэтому гоняются за мифическим, ускорьте, улучшить и т п. Зря тратите время
-
Та паранойя)))
Я же веб програмист, в пайтоне хз как это все можно оптимизировать.
Но кажется все таки можно лучше его сделать
-
Пітон це мова не про швидкість та оптимізацію.
Переписуйте на С++ або Rust і те не факт що буде швидше.
-
Якщо різниця буде в 5-10 секунд, тоді не бачу в цьому сенсу
-
На вряд чи. Можна bs4 замінити на іншу лібу, та загалом парсинг переглянути.
І як казали спробувати працювати через hiden api, розбирая json, а не html.
Але це не думаю дасть такий результат якщо запити через проксі будуть займати основний час.
-
Понимаю, что многое зависит от самого олх, а именно когда выведутся в поиске объявления.
-
у них есть внутреннее АПИ, брать только данные, без хтмл, но контактов там нет
-
API олкс-а не работает с поиском новых объявлений - оно только для работы со своим аккаунтом и своими объявлениями.
-
Если я ошибаюсь - покажите мне ссылку на документацию
-
это внутренее АПИ, по нему нет документации
-
Код "все у одному файлі" - це вже не норм.
Та й є дивні речі.
-
На вашу думку, для коду в 16 кб на 470 рядків треба декілька файлів?
-
Звісно. Має бути нормальна з структура, з файлом проєкта з залежностями env файлом, описом налаштувань. розбиття логіки.
-
це код для мене, не для продажу. Це все зайве я думаю
-
Так код завжди для тебе.
Замовнику треба щоб працювало.
Тобі треба щоб було легко допрацьовувати підтримувати вносити правки.
-
Тут явно є багато моментів, які можна прискорити. Дивно що ніхто з фрілансерів про це не написав. По перше : архітектура написана так, що потрібно переписати все з нуля для пришвидшення в рази парсингу . По друге - обрані не найкращі ліби для швидкості парсингу. Є в по 3 і по 4 і ттд .
-
Актуальные фриланс-проекты в категории Python
Разработка программного обеспечения с ИИ
Необходимо разработать программное обеспечение для автоматического обнаружения, захвата и сопровождения объекта с помощью видеокамеры и поворотного механизма.Исходные данные: Видеокамера с оптикой. Поворотное устройство по двум осям (азимут/угол места). Сервоприводы с… AI и машинное обучение, Python ∙ 19 часов 24 минуты назад ∙ 12 ставок |
ТЗ НА ДОПРАЦЮВАНИЕ AI-БОТА ГЕНЕРАЦИИ ЛИЧНЫХ ПЕСЕНТЗ НА ДОПРАЦЮВАННЯ AI-БОТА ГЕНЕРАЦІЇ ПЕРСОНАЛЬНИХ ПІСЕНЬГОЛОВНА ЦІЛЬ Створити стабільний преміальний продукт, який: генерує максимально якісні персональні пісні; не вигадує факти про клієнта; працює стабільно під навантаженням; легко масштабується; дозволяє аналізувати та… Python, Разработка ботов ∙ 20 часов 29 минут назад ∙ 30 ставок |
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 1 день назад ∙ 42 ставки |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 1 день 13 часов назад ∙ 78 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 4 дня 1 час назад ∙ 30 ставок |
Украина