Automatyzacja zbierania danych ze strony o nieruchomościach
2573 PLN
### Szczegółowe zadanie techniczne dotyczące automatyzacji zbierania danych o nieruchomościach
**Cel:** Zautomatyzować zbieranie danych o nieruchomościach z witryny myhome.ge, aktualizować bazę danych w Excelu i wysyłać powiadomienia na adres e-mail co godzinę z nowymi ogłoszeniami, które odpowiadają określonym kryteriom.
#### Główne zadania:
1. **Zbieranie danych z witryny myhome.ge:**
- **Technologia skanowania:** Używać `Scrapy` do efektywnego skanowania stron internetowych.
- **Proxy i CAPTCHA:** Wdrożyć rotację serwerów proxy z użyciem `Scrapy-Proxy-Pool` oraz rozwiązanie CAPTCHA za pomocą usługi `2Captcha`, jeśli to konieczne.
- **Ekstrakcja danych:** Zebrać następujące dane:
- Tytuł ogłoszenia
- Cena
- Lokalizacja
- Liczba pokoi
- Powierzchnia (m²)
- Data publikacji
- Opis
- Informacje kontaktowe
2. **Filtrowanie danych według określonych kryteriów:**
- **Kryteria:**
- Minimalna i maksymalna cena
- Dzielnica
- Typ nieruchomości (np. mieszkanie, dom)
- Liczba pokoi
- Minimalna i maksymalna powierzchnia
- Dodatkowe cechy (np. balkon, piętro, typ ogrzewania, stan nieruchomości)
- **Aktualizacje w czasie rzeczywistym:** Zapewnić interfejs do dynamicznej zmiany kryteriów filtrowania przez użytkownika.
3. **Zarządzanie bazą danych w Excelu:**
- **Format pliku:** Używać `pandas` do tworzenia i zarządzania plikiem Excel.
- **Aktualizacja danych:**
- Aktualizować bazę danych co godzinę, dodając nowe ogłoszenia.
- Usuwać przestarzałe lub zduplikowane ogłoszenia.
- **Kopia zapasowa i wersjonowanie:** Utrzymywać wersjonowane kopie zapasowe pliku Excel, aby zapobiec utracie danych.
4. **System powiadomień e-mail:**
- **Częstotliwość:** Wysyłać powiadomienia co godzinę.
- **Treść wiadomości:** Zawierać nowe ogłoszenia, które odpowiadają określonym kryteriom.
- **Usługa wysyłania wiadomości:** Używać `smtplib` do wysyłania wiadomości.
- **Konfigurowalny harmonogram:** Pozwolić użytkownikowi na zmianę częstotliwości powiadomień w razie potrzeby.
#### Wymagania techniczne:
1. **Język programowania:**
- Zalecany Python
2. **Biblioteki i narzędzia:**
- **Web scraping:** `Scrapy`, `BeautifulSoup`
- **Żądania HTTP:** `requests`
- **Przetwarzanie danych:** `pandas`, `openpyxl`
- **Wysyłanie wiadomości:** `smtplib`
- **Rotacja proxy:** `Scrapy-Proxy-Pool`
- **Rozwiązywanie CAPTCHA:** `2Captcha`
3. **Monitorowanie i wsparcie:**
- **Monitorowanie w czasie rzeczywistym:** Wdrożyć monitorowanie z użyciem `Prometheus` i `Grafana`.
- **Metryki:**
- Czas odpowiedzi
- Liczba udanych/nieudanych żądań
- Błędy
- **System powiadomień:** Skonfigurować powiadomienia w przypadku krytycznych problemów (np. wysoki poziom błędów, przestoje).
4. **Testowanie i dokumentacja:**
- **Framework do testowania:** Używać `pytest` do dokładnego testowania.
- **Dokumentacja:** Dostarczyć pełną dokumentację, w tym instrukcje instalacji, podręcznik użytkownika i przewodnik rozwiązywania problemów.
5. **Bezpieczeństwo i zgodność:**
- **Prywatność danych:** Zapewnić zgodność przetwarzania danych z RODO i innymi odpowiednimi regulacjami.
- **Bezpieczny dostęp:** Używać bezpiecznych metod dostępu i przechowywania poufnych informacji (np. danych kontaktowych).
6. **Terminy realizacji i dostawy:**
- **Plan projektu:** Dostarczyć szczegółowy plan projektu z kluczowymi etapami i terminami realizacji.
- **Prototyp:** Dostarczyć działający prototyp w ciągu pierwszych dwóch tygodni.
- **Ostateczne oddanie:** Zakończyć projekt w uzgodnionym terminie.
#### Dodatkowe warunki:
- **Interfejs użytkownika:** Opracować prosty interfejs internetowy lub wiersza poleceń dla użytkowników do zmiany kryteriów filtrowania i ustawień powiadomień.
- **Skalowalność:** Zapewnić możliwość przetwarzania rosnącej liczby ogłoszeń i interakcji użytkowników bez znacznego pogorszenia wydajności.
- **Plan wsparcia:** Zaproponować plan wsparcia po wdrożeniu, aby zapewnić długoterminową funkcjonalność i rozwiązywanie pojawiających się problemów.
---
Proszę potwierdzić swoją gotowość do podjęcia się projektu, podać informacje o kosztach realizacji zadania oraz terminy wykonania.
-
7 dni4288 PLN
848 22 0 1 7 dni4288 PLNGotowy do realizacji projektu. Skontaktuj się ze mną w celu wyjaśnienia szczegółów
-
20 dni2573 PLN
481 1 0 20 dni2573 PLNDzień dobry!
Jestem zainteresowany tym projektem i gotów go podjąć. Mam ponad 3-letnie doświadczenie w zakresie rozwoju backendu + rdbms, w tym z wykorzystaniem Pythona, Scrapy, pandas i innych niezbędnych narzędzi. Wiem, jak efektywnie skonfigurować zautomatyzowane skrypty, filtrowanie danych, aktualizację baz danych oraz system powiadomień. Jestem gotów omówić szczegóły i koszt realizacji zadania.
Piszcie w celu szczegółowej dyskusji)
-
7 dni2787 PLN
431 28 1 7 dni2787 PLNCześć, jestem gotów to zrobić, skontaktuj się ze mną!
Praca zostanie wykonana jakościowo!
Będę zadowolony ze współpracy!
-
20 dni2573 PLN
798 3 0 20 dni2573 PLNDzień dobry
Jestem założycielem firmy IT Zentriflex. W naszym zespole jest projektant UX/UI z dużym doświadczeniem, który tworzy strony sprzedające, oraz programiści Full Stack, którzy piszą wysokiej jakości kod, wykorzystując najnowsze technologie i wsparcie SEO. Nasz specjalista DevOps skonfiguruje niezawodną i ekonomiczną infrastrukturę.
Pracujemy z takimi technologiami jak Node.js i Nest.js dla Back-end oraz React.js i Next.js dla Front-end. Jesteśmy gotowi zrealizować Twój pomysł.
-
15 dni5146 PLN
8773 60 0 1 15 dni5146 PLNDzień dobry!
Jestem gotowy zrealizować automatyzację zbierania danych o nieruchomościach zgodnie z Twoim zadaniem technicznym.
Mam doświadczenie w opracowywaniu podobnych projektów, w tym w web scrapingu, przetwarzaniu danych oraz konfiguracji systemów powiadomień.
Piszę w Pythonie. Zajmuję 4. miejsce na platformie w tym języku.
Realizuję projekty szybko i jakościowo, zapewniając zgodność ze wszystkimi wymaganiami.
…
Portfolio:
Freelancehunt
-
10 dni3431 PLN
127 10 dni3431 PLNDzień dobry. Mogę pisać w języku Go. Jakościowo. Proszę o kontakt.
-
1 dzień2573 PLN
8150 63 1 1 dzień2573 PLNDzień dobry!
Jestem gotów pomóc w automatyzacji zbierania danych o nieruchomościach z witryny myhome.ge, ich aktualizacji w Excelu oraz wysyłaniu powiadomień e-mail z nowymi listami co godzinę.
Z niecierpliwością czekam na możliwość omówienia szczegółów i rozpoczęcia pracy!
-
1 dzień2573 PLN
3853 24 0 1 dzień2573 PLNDzień dobry,
Jestem gotów zająć się Państwa projektem. Mam doświadczenie w automatyzacji zbierania danych z witryn internetowych, aktualizacji baz danych oraz ustawianiu powiadomień.
Moje umiejętności obejmują użycie `Scrapy` do web scrapingu, tworzenie i zarządzanie bazą danych w Excelu za pomocą `pandas`, wysyłanie powiadomień e-mail przez `smtplib`, a także pracę z proxy i rozwiązywanie captcha za pomocą usługi `2Captcha`.
Moja stawka to 16$ za godzinę. Aby rozpocząć pracę, muszę dodatkowo omówić szczegóły projektu i warunki współpracy.
Dziękuję za uwagę.
…
Z poważaniem,
Maksym
-
7 dni2573 PLN
2793 23 0 7 dni2573 PLNDzień dobry, mogę zrealizować na Node.js
Miałem doświadczenie w pracy z scraperami i z integracją bazy danych w postaci arkuszy Google.
Napisz w wiadomościach prywatnych, aby omówić szczegóły
-
1 dzień8576 PLN
2225 32 0 1 dzień8576 PLNDzień dobry. Już mam wszystko całkowicie zrobione dla tej strony. Wszystko zgodnie z TZ.
-
7 dni3431 PLN
363 4 0 7 dni3431 PLNDzień dobry! Jestem gotów podjąć się zadania, znam się na wszystkich narzędziach. Również konfiguracja Grafany
-
1 dzień2573 PLN
3186 52 1 1 dzień2573 PLNDzień dobry
Jestem gotów wykonać tę pracę
Piszcie
Mogę to zrobić jakościowo
Aktualne zlecenia dla freelancerów w kategorii Python
Opracowanie oprogramowania do zarządzania iPhone'em przez kabel USB z komputera PC
838 PLN
Należy opracować program dla systemu Windows, który umożliwia podłączenie iPhone'a z jailbreak przez kabel USB i zarządzanie nim z komputera.Główne funkcje:Podłączenie iPhone'a przez USB. Program powinien szybko rozpoznawać podłączonego iPhone'a i działać przez kabel, aby… C i C++, Python ∙ 1 dzień 13 godzin temu ∙ 17 ofert |
BuzzPost automatyzacja Facebooka pod IzraelProjekt już istnieje i działa - zadanie polega na rozwiązaniu problemu z ograniczeniem na Facebooku, gdy liczba postów na godzinę przekracza 3-4 (od 7 rano do 12 w nocy) konta klientów są ograniczane przez Facebooka. Strona - https://buzzpost.co.il/ Również poszukać luk w… Python, Praca z klientami ∙ 2 dni 10 godzin temu ∙ 15 ofert |
Platforma komentowania AI dla TikTok i Instagram.Cel projektuOpracować system, który pozwala zarządzać dużą liczbą kont TikTok i Instagram oraz automatycznie publikować odpowiednie komentarze pod wybranymi filmami z wykorzystaniem AI.Podstawowa funkcjonalność1. Zarządzanie kontamiNależy wdrożyć możliwość podłączenia… AI i uczenie maszynowe, Python ∙ 6 dni 12 godzin temu ∙ 23 oferty |
Zbudować model klasyfikacji klientów1. Są dane klientów w Mongo/SQL (około 20 000 zapisów z surowymi danymi). 2. Należy na ich podstawie zbudować cechy i model klasyfikacji klientów na grupy behawioralne. 3. Projekt wykonać w Pythonie. AI i uczenie maszynowe, Python ∙ 8 dni 6 godzin temu ∙ 47 ofert |
Automatyzacja IT prowadzenia raportowania VAT
838 PLN
Konieczne jest opracowanie systemu do automatyzacji przenoszenia danych o sprzedaży z CRM do systemu księgowego Wafeq. System ma importować raporty bankowe i płatnicze, automatycznie uzgadniać płatności z fakturami, generować faktury do raportowania VAT oraz minimalizować pracę… AI i uczenie maszynowe, Python ∙ 8 dni 11 godzin temu ∙ 52 oferty |
Niemcy