Zautomatyzowany system proxy zewnętrznych stron przez subdomeny głównej domeny

Cel:
Stworzenie na podstawie jednej domeny (podstawowej), na przykład example.com, systemu, który będzie mógł automatycznie proxy'ować 100 różnych stron z innych witryn (określonych listą URL). Każda strona będzie wyświetlana pod własną subdomeną głównej domeny. Na przykład:

• site1.example.com → wyświetla https://external-domain1.com/page1

• site2.example.com → wyświetla https://external-domain2.com/page2
  ...
  i tak dalej dla 1** witryn/stron.

Dane wyjściowe:

• Główna domena (zostanie dostarczona przez zamawiającego).

• Lista 1** adresów URL zewnętrznych witryn/stron, które należy proxy'ować. Niektóre z nich mogą być pod Cloudflare – nie powinno to przeszkadzać w poprawnym działaniu proxy.

• Możliwość skalowania: w przyszłości może być konieczne dodanie lub usunięcie witryn z listy.

Podstawowe wymagania:

1. Architektura i automatyzacja:

   • Umożliwienie automatycznego dodawania 1** subdomen do głównej domeny (na przykład poprzez konfigurację Nginx lub Apache, czy inne serwery webowe), z których każda wyświetla (reverse proxy) zawartość odpowiedniego zewnętrznego URL.

   • Preferowane, aby konfiguracja mogła być aktualizowana automatycznie przy zmianie listy witryn (poprzez skrypt lub prostą edycję pliku konfiguracyjnego i jego ponowne uruchomienie).

   • Nie ma potrzeby tworzenia oddzielnych rzeczywistych folderów dla każdej subdomeny. Wystarczą wirtualne hosty lub konfiguracje w serwerze webowym.

2. Reverse Proxy:

   • Każda subdomena na głównej domenie ma proxy'ować zawartość określonego URL.

   • Proxy musi poprawnie przekazywać nagłówki, w tym Host, X-Forwarded-For i inne.

   • Proxy musi działać niezależnie od tego, czy witryna źródłowa jest pod Cloudflare, czy nie.

3. Ograniczenia geograficzne i dostęp:

   • Dostęp do tych proxy'owanych stron powinien być ograniczony zgodnie z następującą logiką:

     • Jeśli użytkownik NIE jest Googlebotem i jego adres IP nie jest z Francji – zwracać 403 Forbidden.

     • Jeśli użytkownik jest z Francji (FR) lub to Googlebot (określenie przez User-Agent) – przepuszczać, wyświetlając zawartość zewnętrznej witryny.

   • Zrealizować określenie kraju użytkownika przez GeoIP2 (powinna być obsługa modułu geoip2, baza danych MaxMind GeoLite2).

   • Określenie Googlebota: sprawdzenie User-Agent pod kątem obecności googlebot (wielkość liter nie ma znaczenia).

4. SSL i dostęp przez HTTPS:

   • Główna domena ma działać przez HTTPS (certyfikat SSL zostanie dostarczony).

   • Proxy'owany ruch również musi być dostępny przez HTTPS.

   • Jeśli domena źródłowa to HTTP lub HTTPS – proxy powinno poprawnie to obsługiwać w sposób przezroczysty.

5. Skalowalność i łatwość zarządzania:

   • Powinna być możliwość zmiany lub dodawania nowych subdomen i proxy'owanych URL bez istotnych trudności (na przykład edytowanie oddzielnego pliku konfiguracyjnego i ponowne uruchomienie serwera).

   • Ważne, aby rozwiązanie było elastyczne i pozwalało w przyszłości dodawać więcej lub mniej subdomen.

6. Testowanie i weryfikacja:

   • Po skonfigurowaniu, wykonawca dostarczy instrukcję, jak sprawdzić działanie:

     • Sprawdzenie dostępu z IP Francji (można za pomocą VPN lub usługi).

     • Sprawdzenie dostępu z innego kraju – powinno być 403.

     • Sprawdzenie dostępu z User-Agent: Googlebot (na przykład, zmiana UA w przeglądarce) – dostęp powinien być dozwolony.

   • Sprawdzić kilka subdomen i upewnić się, że poprawnie wyświetlają zawartość odpowiednich zewnętrznych stron.

Wynik:

• Gotowa konfiguracja serwera webowego (Nginx lub Apache) z przykładem/szablonem, jak dodawać i konfigurować te 100 i więcej subdomen.

• Skonfigurowany SSL (jeśli dostarczone są klucze i certyfikaty).

• Skonfigurowany system geolokalizacji (GeoIP2).

• Skonfigurowana logika dostępu dla GEO (na przykład FR) i Googlebota.

• Dokumentacja (krótka instrukcja) dla zamawiającego:

  • Jak dodawać/edytować listę domen i URL.

  • Jak aktualizować konfigurację.

  • Jak sprawdzić działanie i dostęp.

Geo Francja wybrana jako przykład, w rzeczywistości funkcjonalność powinna obejmować wszystkie kraje.

Cena do uzgodnienia, rozważymy gotowe rozwiązania, jeśli takie istnieją.