Игорь, здравствуйте!
Selenium, компоненты которого используются для парсинга — не подходящий для этого инструмент: он предназначен для тестирования, поэтому скорость невысокая. Если нужна производительность — лучше использовать специально для этого разработанные фреймворки.
Моя рекомендация — асинхронный scrapy, который возьмёт на себя множество рутинных задач, таких как уважение к содержанию файлов robots.txt, и т.п. Помимо этого, разбор содержимого страниц будут осуществляться с помощью прямых высокоскоростных выражений XPath.
Если вы захотите со мной сотрудничать, я сделаю реализацию, в которой исходные данные для парсинга будут отделены от кода, чётко организованы и документированы, что позволит легко корректировать ви́дение страниц парсером и избавит от головной боли, вызванной «хрупкостью» спагетти-образного кода.
Должен предупредить, что вашим проектом смогу заняться только в среду, 9 сентября.
