Na zlecenie Scraper / Parser /stron Ksiąg Wieczystych
Zlecę stworzenie programu czy to w wersji na windows czy jako oprogramowanie uruchomione na serwerze(to bym wolał) które :
-pobiera księgi wieczyste -zapisuję 5 podstron /działów każdej z księgi do pliku HTML-Widok Zupełny (czyli całkowity pogląd na sytuację na danej nieruchomości)
-parser który wydobywa dane z ksiag=plików html i dokonuje strukturyzowanej bazy danych która będzie możliwa do przeszukiwania po różnych Parametrach
-podczas procesu prasowania dokona analizy treści i nada tagi dla każdego działu w określony sposób
Cała praca programu ma być w sposób ciągłość i powinno działać wiele wątków równolegle
Wydajność takiego programu to min 150 tys rekordów na 24 godziny
Program powinien mieć również funkcje monitorowania zmian w wybranym rekordzie=księdze wieczystej- taka listę podjąłem użytkownik.
-
1 dzień75 PLN1 dzień75 PLN
Cześć, jestem zainteresowany twoją sugestią, mam dużo doświadczenia w analizowaniu tego rodzaju zadań. Czy możesz podać przykład jednej książki do bardziej szczegółowego studiowania? Możemy również omówić wszystkie szczegóły w prywatnych wiadomościach. Będę zadowolony z współpracy.
-
14 dni79 PLN
1312 25 1 14 dni79 PLNWitaj!
Mam wieloletnie doświadczenie w tworzeniu aplikacji webowych, parserów i baz danych, a także w optymalizacji wydajności dla dużych zbiorów danych. Mogę wykonać Twoje zadanie związane z opracowaniem programu do pobierania, parsowania ksiąg wieczystych, tworzenia zorganizowanej bazy danych oraz monitorowania zmian.
Proponowane zasoby i technologie:
Język programowania:
Python – to optymalny wybór do tworzenia parserów i aplikacji wielowątkowych. Jego biblioteki, takie jak BeautifulSoup lub lxml (do parsowania HTML), a także asyncio czy threading (do wielowątkowości), zapewnią wysoką wydajność.
Baza danych:
Do szybkiego przechowywania i wyszukiwania zalecam użycie baz SQL, takich jak MySQL lub PostgreSQL, lub rozwiązań NoSQL, jak MongoDB (do elastycznego przechowywania danych nieustrukturyzowanych). Wybór zależy od objętości danych i wymaganej szybkości dostępu.
…
Wielowątkowość:
Aby osiągnąć wydajność 150 tysięcy rekordów w ciągu 24 godzin, użyję modelu asynchronicznego lub wielowątkowego, co pozwoli na równoległe wykonywanie pobierania i parsowania.
Monitorowanie zmian:
Program można skonfigurować do okresowego skanowania wybranych rekordów i powiadamiania o zmianach. Można to zrealizować poprzez zadania w tle z użyciem harmonogramu, na przykład Celery dla Pythona lub Quartz dla Javy.
Uruchamianie na serwerze:
Program najlepiej uruchomić na serwerze, co pozwoli na ciągłą pracę, przetwarzanie dużych zbiorów danych i łatwe skalowanie systemu w razie potrzeby. Chmurowe serwery, takie jak AWS lub DigitalOcean, będą doskonałym wyborem dla tego projektu.
-
7 dni7777 PLN
603 4 0 7 dni7777 PLNCiekawe. Mam doświadczenie w pisaniu parserów i automatyzacji. Mogę zrealizować wersję serwerową w Pythonie, używając multitradingu, jednak chciałbym zobaczyć TZ, aby szczegółowo omówić terminy i koszt.
-
Hello Jan,
I have a few Qs on your project
- Are you able to communicate in English, or only Polish is acceptable?
- "Wydajność takiego programu to min 150 tys rekordów na 24 godziny". If I got it right, this means that (roughly) every second app needs to process at least 2 records. what is the maximum possible number of records?
- processing 2 records/sec does require some computing power. does your project assumes some spendings on computing power?
- how often processing of 15ok of records is supposed to happen? is it a one time thing and later only "difference" should be taken care of? or it should happen with some regularity?
- is it a time-boxed project?
- may I know a bottom (and/or top) levels of funding for actual coding of this task?
- is there any document that holds full version of the requirements? or text that we see here is the only thing you have as of now?
thanks in advance for your answers. sending them through personal messages is also OK
-
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
Rozwiązać problem z obciążeniem hostingu strony na PrestaShop
Strona z każdym miesiącem potrzebuje coraz więcej zasobów. Odpowiedź hostingu: Podczas sprawdzania serwera odnotowano zwiększone obciążenie ze strony serwera baz danych MySQL. W momentach wystąpienia błędu 500 proces MySQL wykorzystuje znaczną część zasobów procesora, co może… PHP, Bazy danych i SQL ∙ 1 godzina 51 minut temu ∙ 12 ofert |
Konfiguracja systemu kopii zapasowej i optymalizacja infrastruktury serwerowej
Cel prac: Zapewnienie niezawodnego przechowywania danych systemu CRM i aplikacji poprzez wdrożenie zautomatyzowanego systemu tworzenia kopii zapasowych (Backups), a także przeprowadzenie szeregu poprawek serwerowych w celu zwiększenia stabilności, bezpieczeństwa i wydajności… DevOps, Bazy danych i SQL ∙ 3 godziny 21 minut temu ∙ 12 ofert |
System PIM
820 PLN
Trzeba zrobić system PIM. Liczba produktów — kilka milionów. Jest kilku dostawców, którzy podają dane w różnych formatach: csv, xml, API. Dane są ograniczone, często trzeba znajdować cechy produktów w innych źródłach i uzupełniać. Trzeba zrobić tabelę, w której będą… Bazy danych i SQL, Programowanie stron internetowych ∙ 5 godzin 19 minut temu ∙ 32 oferty |
Integracja BAS szwejk 8
820 PLN
Dzień dobry, trzeba zintegrować BAS szwejk 8, podłączyć stronę i CRM sales drive, ustawić raporty i inne dane Bazy danych i SQL ∙ 6 godzin 24 minuty temu ∙ 7 ofert |
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 1 godzina temu ∙ 16 ofert |
Polska