Парсинг данных с сайта safer.fmcsa.dot.gov
Парсинг данных
Задача:
1. Написать парсер для https://safer.fmcsa.dot.gov на Python с использованием aiohttp, с возможностью подключения прокси и сохранения результатов в PostgreSQL. С одной странички собирается 64 поля. Всего страниц более 100 000.
2. Объяснить по Skype как все это (парсер) работает.
Задание выполнено за 3 часа с консультированием по настройке и запуску и объяснением согласно п.2.
1. Написать парсер для https://safer.fmcsa.dot.gov на Python с использованием aiohttp, с возможностью подключения прокси и сохранения результатов в PostgreSQL. С одной странички собирается 64 поля. Всего страниц более 100 000.
2. Объяснить по Skype как все это (парсер) работает.
Задание выполнено за 3 часа с консультированием по настройке и запуску и объяснением согласно п.2.