Скрипт для парсинга
29 USDНужен скрипт для парсинга данных с сайта https://www.rfnsa.com.au/.
Алгоритм работы скрипта:
1. Заходим на сайт https://www.rfnsa.com.au/
2. Выбираем тип поиска: a) by keyword(s); b)Near address - что выбирать должно задаваться до запуска скрипта в его настройках.
3. Вводим значение в поле поиска из файла с ключевиками(пример прилагаю).
4. Проходим рекапчу(тут нам понадобиться сервис антикапча или рукапча).
5. На этом шаге мы видим поисковую выдачу с записями, разделенную страницами. Поэтому нам нужно 2 параллельно запущенных процесса: 1) парсинг ссылок на записи(в 1 поток); 2) парсинг инфы с каждой записи(многопоток).
6. Сохранение результатов в файлы json и CSV. Данные в файлах одинаковые, разный только формат. Примеры файлов прилагаю.
*во время парсинга поисковой выдачи и инфы по ссылкам время от времени будет выпадать рекапча, так что нужно автоматизировать процесс ее решения.
Выполнение скрипта будет под Windows 10.
Applications 1