Автоматизована система проксування зовнішніх сторінок через сабдомени основного домену

Ціль:
Створити на основі одного домену (основа), наприклад example.com, систему, яка зможе автоматично проксувати 100 різних сторінок з інших сайтів (заданих списком URL). Кожна сторінка буде відображена під власним сабдоменом основного домену. Наприклад:

• site1.example.com → відображає https://external-domain1.com/page1

• site2.example.com → відображає https://external-domain2.com/page2
  ...
  і так далі для 1** сайтів/сторінок.

Вихідні дані:

• Основний домен (буде надано замовником).

• Список з 1** URL-адрес зовнішніх сайтів/сторінок, які необхідно проксувати. Деякі з них можуть бути під Cloudflare – це не повинно заважати коректній роботі проксі.

• Можливість масштабування: надалі може знадобитися додавання або видалення сайтів зі списку.

Основні вимоги:

1. Архітектура та автоматизація:

   • Зробити можливим автоматичне додавання 1** сабдоменів до основного домену (наприклад, через конфігурацію Nginx або Apache, чи інші web-сервера), кожен з яких відображає (reverse proxy) вміст відповідного зовнішнього URL.

   • Бажано, щоб конфігурація могла оновлюватися автоматично при зміні списку сайтів (через скрипт чи просту правку файлу конфігурації та його перезапуск).

   • Не потрібно створювати окремі реальні папки для кожного сабдомену. Достатньо віртуальних хостів або конфігів у web-сервері.

2. Reverse Proxy:

   • Кожний сабдомен на основному домені має проксувати вміст заданого URL.

   • Проксі має коректно передавати заголовки, включно з Host, X-Forwarded-For тощо.

   • Проксі має працювати незалежно від того, чи сайт-джерело за Cloudflare або без нього.

3. Геообмеження та доступ:

   • Доступ до цих проксованих сторінок повинен бути обмежений згідно з наступною логікою:

     • Якщо користувач НЕ є Googlebot і його IP-адреса не з Франції – віддавати 403 Forbidden.

     • Якщо користувач з Франції (FR) або це Googlebot (визначення через User-Agent) – пропускати, відображаючи вміст зовнішнього сайту.

   • Реалізувати визначення країни користувача через GeoIP2 (має бути підтримка модулю geoip2, база даних MaxMind GeoLite2).

   • Визначення Googlebot: перевірка User-Agent на наявність googlebot (регістр не важливий).

4. SSL та доступ по HTTPS:

   • Основний домен має працювати по HTTPS (SSL-сертифікат буде надано).

   • Проксований трафік так само має бути доступний по HTTPS.

   • Якщо домен-джерело HTTP або HTTPS – проксі повинен коректно транспарентно це обробляти.

5. Масштабованість та зручність керування:

   • Повинна бути можливість змінити або додати нові сабдомени та проксовані URL без суттєвих труднощів (наприклад, редагування окремого файлу конфігурації та перезапуск сервера).

   • Важливо, щоб рішення було гнучким та дозволяло в майбутньому додавати більше або менше сабдоменів.

6. Тестування та перевірка:

   • Після налаштування, виконавець надасть інструкцію, як перевірити роботу:

     • Перевірка доступу з IP Франції (можна за допомогою VPN або сервісу).

     • Перевірка доступу з іншої країни – має бути 403.

     • Перевірка доступу з User-Agent: Googlebot (наприклад, змінити UA в браузері) – доступ має бути дозволений.

   • Перевірити декілька сабдоменів і переконатися, що вони вірно відображають вміст відповідних зовнішніх сторінок.

Результат:

• Готова конфігурація web-сервера (Nginx або Apache) з прикладом/шаблоном, як додавати й налаштовувати ці 100 та більше сабдоменів.

• Налаштований SSL (якщо надаються ключі та сертифікати).

• Налаштована система геолокації (GeoIP2).

• Налаштована логіка доступу для GEO (наприклад FR) та Googlebot.

• Документація (коротка інструкція) для замовника:

  • Як додавати/редагувати список доменів та URL.

  • Як оновлювати конфігурацію.

  • Як перевірити роботу та доступ.

Гео Франція вибрана як приклад по суті має бути функціонал для всіх країн.

Ціна обговорюється, розглянемо готові рішення якщо такі існують.