Optymalizacja parsera na Python
Potrzebuję za rozsądną cenę zoptymalizować gotowy parser OLX napisany na Python
Jestem web deweloperem, początkujący w Pythonie... Jestem pewien, że w tym kodzie jest wiele elementów, które można zoptymalizować.
Kod: link
Technologie: curl_cffi, aiogram, bs4, fake_useragent
P.s. kod musi działać tak samo jak wcześniej, tylko znacznie szybciej i zużywać mniej zasobów.
P.s.s. oferty z szablonami/ wygenerowane przez AI będą automatycznie odrzucane
-
1 dzień66 PLN
838 14 2 1 dzień66 PLN
Dobrego wieczoru!
Przejrzałem Twój kod i znalazłem kilka "wąskich gardeł". Naprawiłem je i myślę, że warto spróbować mojego rozwiązania.
Żadnej sztucznej inteligencji - zerknij na mój profil, gdzie mam nie jeden dobry komentarz, i piszę naturalnie XD
Zgłaszaj się! Mam nadzieję, że będziesz zadowolony z efektu ;)
-
1 dzień82 PLN
3142 11 0 1 dzień82 PLN
Dzień dobry!
Aby zoptymalizować kod i przyspieszyć jego działanie, należy użyć innych bibliotek, bs4 + lxml - działają wolno. Trzeba to zrobić za pomocą aiohttp. Skontaktuj się ze mną - pokażę i opowiem jak.
-
1 dzień64 PLN
101 1 0 1 dzień64 PLN
Nie da się mocno zoptymalizować kodu
A jego struktura przypomina pisanie SI
Zaoszczędzić sekundę-dwie - tak
Najlepsza metoda optymalizacji, tworzenie od zera
A naprawa błędów doda trochę czasu.
-
3 dni164 PLN
726 9 1 3 dni164 PLN
Witaj! Twój projekt wygląda bardzo interesująco. Jestem gotów rozpocząć pracę natychmiast i zapewnić wysoką jakość.
-
Нормальный чистый код. Почему-то все заказчики ни как не могут понять, что скорость работы парсера это всегда скорость взаимодействия парсера с сайтом донора. Поэтому гоняются за мифическим, ускорьте, улучшить и т п. Зря тратите время
-
Та паранойя)))
Я же веб програмист, в пайтоне хз как это все можно оптимизировать.
Но кажется все таки можно лучше его сделать
-
Пітон це мова не про швидкість та оптимізацію.
Переписуйте на С++ або Rust і те не факт що буде швидше.
-
Якщо різниця буде в 5-10 секунд, тоді не бачу в цьому сенсу
-
На вряд чи. Можна bs4 замінити на іншу лібу, та загалом парсинг переглянути.
І як казали спробувати працювати через hiden api, розбирая json, а не html.
Але це не думаю дасть такий результат якщо запити через проксі будуть займати основний час.
-
Понимаю, что многое зависит от самого олх, а именно когда выведутся в поиске объявления.
-
у них есть внутреннее АПИ, брать только данные, без хтмл, но контактов там нет
-
API олкс-а не работает с поиском новых объявлений - оно только для работы со своим аккаунтом и своими объявлениями.
-
Если я ошибаюсь - покажите мне ссылку на документацию
-
это внутренее АПИ, по нему нет документации
-
Код "все у одному файлі" - це вже не норм.
Та й є дивні речі.
-
На вашу думку, для коду в 16 кб на 470 рядків треба декілька файлів?
-
Звісно. Має бути нормальна з структура, з файлом проєкта з залежностями env файлом, описом налаштувань. розбиття логіки.
-
це код для мене, не для продажу. Це все зайве я думаю
-
Так код завжди для тебе.
Замовнику треба щоб працювало.
Тобі треба щоб було легко допрацьовувати підтримувати вносити правки.
-
Тут явно є багато моментів, які можна прискорити. Дивно що ніхто з фрілансерів про це не написав. По перше : архітектура написана так, що потрібно переписати все з нуля для пришвидшення в рази парсингу . По друге - обрані не найкращі ліби для швидкості парсингу. Є в по 3 і по 4 і ттд .
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Tworzenie automatycznych wideo shorts
164 PLN
Co dokładnie muszę zrobić Muszę stworzyć agenta AI lub lekki content factory 1. To jest tworzenie pomysłu Referencja https://youtube.com/shorts/omgVX00yaD8?is=1Gz_TUUlftZnkxQv 2. To jest tworzenie tekstu 3. To jest tworzenie tła + tekst 3. Ożywienie tła, tekst pozostaje… AI i uczenie maszynowe, Parsowanie danych ∙ 8 godzin 44 minuty temu ∙ 6 ofert |
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 17 godzin 45 minut temu ∙ 25 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 1 dzień 23 godziny temu ∙ 42 oferty |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 15 godzin temu ∙ 58 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 2 dni 19 godzin temu ∙ 29 ofert |
Ukraina