Оптимізаці парсера на Python
Потрібно за адекватні гроші оптимізувати готовий парсер OLX написаний на Python
Я веб-розробник, в пайтоні новачок... Впевнений, що в цьому коді є багато моментів які можна оптимізувати.
Код: посилання
Технології: curl_cffi, aiogram, bs4, fake_useragent
P.s. код має працювати як і працював, лише в рази швидше та має споживати менше ресурсів.
P.s.s ставки заготовки/згенеровані ШІ - будуть відхилені автоматично
-
1 день800 UAH
838 14 2 1 день800 UAH
Доброго вечора!
Я подивився ваш код, та знайшов декілька "вузьких моментів". Я виправив їх, і думаю, вам варто спробувати мій варіант.
Ніякого ШІ - подивіться на мій профіль, де в мене не один гарний відгук, і пишу я натурально XD
Звертайтесь! Сподіваюсь, ви будете задоволені результатом ;)
-
1 день1000 UAH
3142 11 0 1 день1000 UAH
Доброго дня!
Для оптимізації коду та його прискорення потрібно використати інші біліотеки, bs4 + lxml - повільно працюють. Потрібно виконати за домогою aiohttp. Звертайтесь - покажу і розкажу як.
-
1 день777 UAH
101 1 0 1 день777 UAH
Сильно оптимізувати код не вийде
Та й його структура схожа на написання ШІ
Зекономити секунду-дві - так
Найкращий метод оптимізації, створення з нуля
Та і виправити помилки додасть тіршки часу.
-
3 дні2000 UAH
726 9 1 3 дні2000 UAH
Привіт! Ваш проект виглядає дуже цікавим. Я готовий розпочати роботу негайно та забезпечити високу якість.
-
Нормальный чистый код. Почему-то все заказчики ни как не могут понять, что скорость работы парсера это всегда скорость взаимодействия парсера с сайтом донора. Поэтому гоняются за мифическим, ускорьте, улучшить и т п. Зря тратите время
-
Та паранойя)))
Я же веб програмист, в пайтоне хз как это все можно оптимизировать.
Но кажется все таки можно лучше его сделать
-
Пітон це мова не про швидкість та оптимізацію.
Переписуйте на С++ або Rust і те не факт що буде швидше.
-
Якщо різниця буде в 5-10 секунд, тоді не бачу в цьому сенсу
-
На вряд чи. Можна bs4 замінити на іншу лібу, та загалом парсинг переглянути.
І як казали спробувати працювати через hiden api, розбирая json, а не html.
Але це не думаю дасть такий результат якщо запити через проксі будуть займати основний час.
-
Понимаю, что многое зависит от самого олх, а именно когда выведутся в поиске объявления.
-
у них есть внутреннее АПИ, брать только данные, без хтмл, но контактов там нет
-
API олкс-а не работает с поиском новых объявлений - оно только для работы со своим аккаунтом и своими объявлениями.
-
Если я ошибаюсь - покажите мне ссылку на документацию
-
это внутренее АПИ, по нему нет документации
-
Код "все у одному файлі" - це вже не норм.
Та й є дивні речі.
-
На вашу думку, для коду в 16 кб на 470 рядків треба декілька файлів?
-
Звісно. Має бути нормальна з структура, з файлом проєкта з залежностями env файлом, описом налаштувань. розбиття логіки.
-
це код для мене, не для продажу. Це все зайве я думаю
-
Так код завжди для тебе.
Замовнику треба щоб працювало.
Тобі треба щоб було легко допрацьовувати підтримувати вносити правки.
-
Тут явно є багато моментів, які можна прискорити. Дивно що ніхто з фрілансерів про це не написав. По перше : архітектура написана так, що потрібно переписати все з нуля для пришвидшення в рази парсингу . По друге - обрані не найкращі ліби для швидкості парсингу. Є в по 3 і по 4 і ттд .
-
Актуальні фриланс-проєкти в категорії Python
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 16 хвилин тому ∙ 4 ставки |
Шукаю White-label рішення Букмекерської контори під оренду |
Створення Human AI Assistant для Telegram-групп### 1.1. Ключова концепція системи Система повинна виконувати дві основні функції: #### 1. Аналіз клієнтської комунікації AI-асистент має автоматично аналізувати всю комунікацію в Telegram-групах та розуміти контекст спілкування. Зокрема система повинна: - визначати… AI та машинне навчання, Python ∙ 1 день 11 годин тому ∙ 38 ставок |
Чорна Україна (RP-проект на базі MTA)
51 525 UAH
|
Автоматизація розсилки повідомлень у чати TelegramПотрібно розсилати в телеграм чати повідомлення. Щоб не було банів. Чатів кілька сотень. Щоб налаштовувати періодичність і варіативність текстів. Python, Розробка ботів ∙ 1 день 12 годин тому ∙ 30 ставок |
Україна