Optimization of the parser in Python
It is necessary to optimize the ready-made OLX parser written in Python at an affordable price
I am a web developer, a beginner in Python... I am confident that there are many points in this code that can be optimized.
Code: link
Technologies: curl_cffi, aiogram, bs4, fake_useragent
P.s. the code should work as it did before, only much faster and consuming fewer resources.
P.s.s. bids for templates/generated by AI - will be automatically rejected
-
1 day18 USD
838 14 2 1 day18 USD
Good evening!
I looked at your code and found a few "bottlenecks." I fixed them, and I think you should try my version.
No AI - check out my profile, where I have more than one good review, and I write naturally XD
Feel free to contact me! I hope you will be satisfied with the result ;)
-
1 day23 USD
3142 11 0 1 day23 USD
Good day!
To optimize the code and speed it up, you need to use other libraries, bs4 + lxml - work slowly. It needs to be done using aiohttp. Contact me - I will show and tell you how.
-
1 day18 USD
101 1 0 1 day18 USD
It won't be possible to optimize the code significantly
And its structure is similar to writing AI
Saving a second or two - yes
The best optimization method is creating from scratch
And fixing errors will add a lot of time.
-
3 days45 USD
726 9 1 3 days45 USD
Hello! Your project looks very interesting. I am ready to start work immediately and ensure high quality.
-
Нормальный чистый код. Почему-то все заказчики ни как не могут понять, что скорость работы парсера это всегда скорость взаимодействия парсера с сайтом донора. Поэтому гоняются за мифическим, ускорьте, улучшить и т п. Зря тратите время
-
Та паранойя)))
Я же веб програмист, в пайтоне хз как это все можно оптимизировать.
Но кажется все таки можно лучше его сделать
-
Пітон це мова не про швидкість та оптимізацію.
Переписуйте на С++ або Rust і те не факт що буде швидше.
-
Якщо різниця буде в 5-10 секунд, тоді не бачу в цьому сенсу
-
На вряд чи. Можна bs4 замінити на іншу лібу, та загалом парсинг переглянути.
І як казали спробувати працювати через hiden api, розбирая json, а не html.
Але це не думаю дасть такий результат якщо запити через проксі будуть займати основний час.
-
Понимаю, что многое зависит от самого олх, а именно когда выведутся в поиске объявления.
-
у них есть внутреннее АПИ, брать только данные, без хтмл, но контактов там нет
-
API олкс-а не работает с поиском новых объявлений - оно только для работы со своим аккаунтом и своими объявлениями.
-
Если я ошибаюсь - покажите мне ссылку на документацию
-
это внутренее АПИ, по нему нет документации
-
Код "все у одному файлі" - це вже не норм.
Та й є дивні речі.
-
На вашу думку, для коду в 16 кб на 470 рядків треба декілька файлів?
-
Звісно. Має бути нормальна з структура, з файлом проєкта з залежностями env файлом, описом налаштувань. розбиття логіки.
-
це код для мене, не для продажу. Це все зайве я думаю
-
Так код завжди для тебе.
Замовнику треба щоб працювало.
Тобі треба щоб було легко допрацьовувати підтримувати вносити правки.
-
Тут явно є багато моментів, які можна прискорити. Дивно що ніхто з фрілансерів про це не написав. По перше : архітектура написана так, що потрібно переписати все з нуля для пришвидшення в рази парсингу . По друге - обрані не найкращі ліби для швидкості парсингу. Є в по 3 і по 4 і ттд .
-
Current freelance projects in the category Data Parsing
LinkedIn mailing
120 USD
LinkedIn Mailing It is necessary to launch a LinkedIn mailing to the specified database. 30,000+ contacts We are waiting for proposals Email Marketing, Data Parsing ∙ 16 hours 42 minutes back ∙ 8 proposals |
Parsing company emails from a specific industry
113 USD
Find contacts (e-mail, phone number) of companies engaged in the specified business mentioned in this Google document https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=sharing The result should be in the form of a table with the following… Data Parsing ∙ 1 day 16 hours back ∙ 31 proposals |
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 2 days 22 hours back ∙ 43 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 3 days 14 hours back ∙ 58 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
46 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 3 days 18 hours back ∙ 29 proposals |
Ukraine