Zlecenia dla freelancerów

Zlecenia dla freelancerów

Automatyzacja zbierania danych ze strony o nieruchomościach

Python, Tworzenie chatbota — podano nieprawidłowe kategorie?

2576 PLN

Zlecenie jest tłumaczone automatycznie. Zaloguj się lub zarejestruj się, żeby zobaczyć oryginał

### Szczegółowe zadanie techniczne dotyczące automatyzacji zbierania danych o nieruchomościach

**Cel:** Zautomatyzować zbieranie danych o nieruchomościach z witryny myhome.ge, aktualizować bazę danych w Excelu i wysyłać powiadomienia na adres e-mail co godzinę z nowymi ogłoszeniami, które odpowiadają określonym kryteriom.

#### Główne zadania:

1. **Zbieranie danych z witryny myhome.ge:**

- **Technologia skanowania:** Używać `Scrapy` do efektywnego skanowania stron internetowych.

- **Proxy i CAPTCHA:** Wdrożyć rotację serwerów proxy z użyciem `Scrapy-Proxy-Pool` oraz rozwiązanie CAPTCHA za pomocą usługi `2Captcha`, jeśli to konieczne.

- **Ekstrakcja danych:** Zebrać następujące dane:

- Tytuł ogłoszenia

- Cena

- Lokalizacja

- Liczba pokoi

- Powierzchnia (m²)

- Data publikacji

- Opis

- Informacje kontaktowe

2. **Filtrowanie danych według określonych kryteriów:**

- **Kryteria:**

- Minimalna i maksymalna cena

- Dzielnica

- Typ nieruchomości (np. mieszkanie, dom)

- Liczba pokoi

- Minimalna i maksymalna powierzchnia

- Dodatkowe cechy (np. balkon, piętro, typ ogrzewania, stan nieruchomości)

- **Aktualizacje w czasie rzeczywistym:** Zapewnić interfejs do dynamicznej zmiany kryteriów filtrowania przez użytkownika.

3. **Zarządzanie bazą danych w Excelu:**

- **Format pliku:** Używać `pandas` do tworzenia i zarządzania plikiem Excel.

- **Aktualizacja danych:**

- Aktualizować bazę danych co godzinę, dodając nowe ogłoszenia.

- Usuwać przestarzałe lub zduplikowane ogłoszenia.

- **Kopia zapasowa i wersjonowanie:** Utrzymywać wersjonowane kopie zapasowe pliku Excel, aby zapobiec utracie danych.

4. **System powiadomień e-mail:**

- **Częstotliwość:** Wysyłać powiadomienia co godzinę.

- **Treść wiadomości:** Zawierać nowe ogłoszenia, które odpowiadają określonym kryteriom.

- **Usługa wysyłania wiadomości:** Używać `smtplib` do wysyłania wiadomości.

- **Konfigurowalny harmonogram:** Pozwolić użytkownikowi na zmianę częstotliwości powiadomień w razie potrzeby.

#### Wymagania techniczne:

1. **Język programowania:**

- Zalecany Python

2. **Biblioteki i narzędzia:**

- **Web scraping:** `Scrapy`, `BeautifulSoup`

- **Żądania HTTP:** `requests`

- **Przetwarzanie danych:** `pandas`, `openpyxl`

- **Wysyłanie wiadomości:** `smtplib`

- **Rotacja proxy:** `Scrapy-Proxy-Pool`

- **Rozwiązywanie CAPTCHA:** `2Captcha`

3. **Monitorowanie i wsparcie:**

- **Monitorowanie w czasie rzeczywistym:** Wdrożyć monitorowanie z użyciem `Prometheus` i `Grafana`.

- **Metryki:**

- Czas odpowiedzi

- Liczba udanych/nieudanych żądań

- Błędy

- **System powiadomień:** Skonfigurować powiadomienia w przypadku krytycznych problemów (np. wysoki poziom błędów, przestoje).

4. **Testowanie i dokumentacja:**

- **Framework do testowania:** Używać `pytest` do dokładnego testowania.

- **Dokumentacja:** Dostarczyć pełną dokumentację, w tym instrukcje instalacji, podręcznik użytkownika i przewodnik rozwiązywania problemów.

5. **Bezpieczeństwo i zgodność:**

- **Prywatność danych:** Zapewnić zgodność przetwarzania danych z RODO i innymi odpowiednimi regulacjami.

- **Bezpieczny dostęp:** Używać bezpiecznych metod dostępu i przechowywania poufnych informacji (np. danych kontaktowych).

6. **Terminy realizacji i dostawy:**

- **Plan projektu:** Dostarczyć szczegółowy plan projektu z kluczowymi etapami i terminami realizacji.

- **Prototyp:** Dostarczyć działający prototyp w ciągu pierwszych dwóch tygodni.

- **Ostateczne oddanie:** Zakończyć projekt w uzgodnionym terminie.

#### Dodatkowe warunki:

- **Interfejs użytkownika:** Opracować prosty interfejs internetowy lub wiersza poleceń dla użytkowników do zmiany kryteriów filtrowania i ustawień powiadomień.

- **Skalowalność:** Zapewnić możliwość przetwarzania rosnącej liczby ogłoszeń i interakcji użytkowników bez znacznego pogorszenia wydajności.

- **Plan wsparcia:** Zaproponować plan wsparcia po wdrożeniu, aby zapewnić długoterminową funkcjonalność i rozwiązywanie pojawiających się problemów.

---

Proszę potwierdzić swoją gotowość do podjęcia się projektu, podać informacje o kosztach realizacji zadania oraz terminy wykonania.

Oferty 17

Serhii Yanovsky

22 0

Zlecenia 22
Ocena -
Ranking 848

Budżet: 1000 EUR Termin: 7 dni

Gotowy do realizacji projektu. Skontaktuj się ze mną w celu wyjaśnienia szczegółów

Vitaliy Fedytnyk

1 0

Zlecenia -
Ocena -
Ranking 481

Budżet: 600 EUR Termin: 20 dni

Dzień dobry!
Jestem zainteresowany tym projektem i gotów go podjąć. Mam ponad 3-letnie doświadczenie w zakresie rozwoju backendu + rdbms, w tym z wykorzystaniem Pythona, Scrapy, pandas i innych niezbędnych narzędzi. Wiem, jak efektywnie skonfigurować zautomatyzowane skrypty, filtrowanie danych, aktualizację baz danych oraz system powiadomień. Jestem gotów omówić szczegóły i koszt realizacji zadania.

Piszcie w celu szczegółowej dyskusji)

Andrew Proskurin

28 1

Zlecenia 29
Ocena -
Ranking 431

Budżet: 650 EUR Termin: 7 dni

Cześć, jestem gotów to zrobić, skontaktuj się ze mną!
Praca zostanie wykonana jakościowo!
Będę zadowolony ze współpracy!

Oleksandr Yarotsky

3 0

Zlecenia -
Ocena -
Ranking 798

Budżet: 600 EUR Termin: 20 dni

Dzień dobry

Jestem założycielem firmy IT Zentriflex. W naszym zespole jest projektant UX/UI z dużym doświadczeniem, który tworzy strony sprzedające, oraz programiści Full Stack, którzy piszą wysokiej jakości kod, wykorzystując najnowsze technologie i wsparcie SEO. Nasz specjalista DevOps skonfiguruje niezawodną i ekonomiczną infrastrukturę.

Pracujemy z takimi technologiami jak Node.js i Nest.js dla Back-end oraz React.js i Next.js dla Front-end. Jesteśmy gotowi zrealizować Twój pomysł.

Mykhailo Pavlov

60 0

Budżet: 1200 EUR Termin: 15 dni

Dzień dobry!

Jestem gotowy zrealizować automatyzację zbierania danych o nieruchomościach zgodnie z Twoim zadaniem technicznym.

Mam doświadczenie w opracowywaniu podobnych projektów, w tym w web scrapingu, przetwarzaniu danych oraz konfiguracji systemów powiadomień.

Piszę w Pythonie. Zajmuję 4. miejsce na platformie w tym języku.

Realizuję projekty szybko i jakościowo, zapewniając zgodność ze wszystkimi wymaganiami.
Portfolio: Freelancehunt

Oleksandr D.

0 0

Zlecenia -
Ocena -
Ranking 127

Budżet: 800 EUR Termin: 10 dni

Dzień dobry. Mogę pisać w języku Go. Jakościowo. Proszę o kontakt.

Artur Lavrinovich

63 1

Zlecenia 63
Ocena -
Ranking 8 150

Budżet: 600 EUR Termin: 1 dzień

Dzień dobry!

Jestem gotów pomóc w automatyzacji zbierania danych o nieruchomościach z witryny myhome.ge, ich aktualizacji w Excelu oraz wysyłaniu powiadomień e-mail z nowymi listami co godzinę.

Z niecierpliwością czekam na możliwość omówienia szczegółów i rozpoczęcia pracy!

Maksym Sokolskyi

24 0

Zlecenia 24
Ocena -
Ranking 3 853

Budżet: 600 EUR Termin: 1 dzień

Dzień dobry,

Jestem gotów zająć się Państwa projektem. Mam doświadczenie w automatyzacji zbierania danych z witryn internetowych, aktualizacji baz danych oraz ustawianiu powiadomień.

Moje umiejętności obejmują użycie `Scrapy` do web scrapingu, tworzenie i zarządzanie bazą danych w Excelu za pomocą `pandas`, wysyłanie powiadomień e-mail przez `smtplib`, a także pracę z proxy i rozwiązywanie captcha za pomocą usługi `2Captcha`.

Moja stawka to 16$ za godzinę. Aby rozpocząć pracę, muszę dodatkowo omówić szczegóły projektu i warunki współpracy.

Dziękuję za uwagę.
Z poważaniem,
Maksym

Yevhenii Hudymenko

23 0

Budżet: 600 EUR Termin: 7 dni

Dzień dobry, mogę zrealizować na Node.js
Miałem doświadczenie w pracy z scraperami i z integracją bazy danych w postaci arkuszy Google.
Napisz w wiadomościach prywatnych, aby omówić szczegóły