Дописать wget команду
Есть команда:
wget --user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 10_0_2 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) Version/10.0 Mobile/14A456 Safari/602.1" -i C:\Users\xxx\Desktop\wget\url-list.txt --secure-protocol=auto -nc -c -P C:\Users\xxx\Desktop\wget\g -np
В url-list.txt находятся ссылки на обьявления olx.ua
Wget успешно скачивает все html файлы, но когда заходишь в них, то написано, что У вас подозрительный айпи адрес, сайт на ОЛХ запрещен.
Нужно это обойти, что бы ссылки скачивались без ошибки.
-

Не факт, что вы линуксовым wget'ом добьетесь своего.
Можно попробовать phyton. Были пару случаев, что ничему, кроме него сайт не поддавался. И то, с такими извратами...
Поковыряю завтра вашу строку (ТОЛЬКО СКИНЬТЕ МНЕ ФАЙЛИК url-list.txt) Если что, попробую другие методы. -
наивный способ
-