Парсинг двух сайтов вакансий с постингом данных по АПИ

Собираем данные с двух веб-сайтов (https://jobs.lever.co/* и https://boards.greenhouse.io/*) и сохраняем их в JSON + делаем вызов к существующему API для сохранения JSON.

Цели:

1. Собрать данные с двух сайтов.

2. Извлечь соответствующие данные и отформатировать их в корректный формат json.

* Оценка объема: 250к компаний с обоих сайтов: Lever и GreenHouse.

* ~20 вакансий на компанию =~ 5 миллионов вакансий.

Парсинг нон-стоп 24/7.

Несколько примеров для каждого веб-сайта:

Lever:

https://jobs.lever.co/joshstoysandgames

https://jobs.lever.co/coupa

https://jobs.lever.co/Qashier

Greenhouse:

https://boards.greenhouse.io/domo

https://boards.greenhouse.io/anaplan

https://boards.greenhouse.io/bungie

Еще тут можно посмотреть вакансии Greenhouse:

https://bishopfox.com/careers

https://complyadvantage.com/careers/jobs/

https://www.parsebiosciences.com/careers#positions

НЕОБХОДИМО собирать все URLы с обоих веб-сайтов:

https://boards.greenhouse.io/*

https://jobs.lever.co/*

Будет предоставлен Backend API для постинга на хранение всех данных.

Конроль версий через репозиторий GitHub.

Этапы:

* Шаг 1: Получить все ссылки компаний из https://jobs.lever.co/* и https://boards.greenhouse.io/*

* Шаг 2: Получить все ссылки вакансий компаний из ссылок Шаг 1.

* Шаг 3: Извлечь все необходимые данные (используя многопоточность).

* Шаг 4: Каждые ~100 вакансий делать POST запрос к API для сохранения данных / Максимальный размер тела запроса должен быть менее 2 МБ.

* Шаг 4.1: Оценка скорости и требуемых ресурсов сервера, траффика дл получения желаемой скорости.

* Шаг 5: Отладка и корректировка.

Код по парсингу данных из Lever уже есть, может быть потребуется его оптимизация и добавление полей.

Сайты идентичны по своей структуре и код одного сайта должен быть легко адаптируем под другой.

Работа под AWS или Linux.

Документация и комментарии в коде на Английском языке.