Парсер каталога автозапчастей b2c.ad.ua

Задача состояла в том, чтобы спарсить все товары нескольких марок автомобилей из каталога автозапчастей на сайте поставщика. Сначала были собраны все марки автомобилей. Было 22 000 моделей автомобилей. Необходимо было спарсить каталог для каждой модели и спарсить все товары во всех категориях. 4 500 000 автозапчастей было спаршено в итоге. Парсинг занял 2 недели на компьютере i7-3930k 3,2 ГГц, 32 ГБ оперативной памяти. Парсер работал на эмуляторе броузера в 12 потоках