Здравствуйте. С этой биржи мне помогли разные специалисты разработать парсер. Отзывы в профиле. Постоянно его усовершенствовали. Ищу еще одного специалиста по python на постоянное сотрудничество. По словам тех, кто мне делал, добавить функцию, дописать код проверки и удаления ссылок из статей, не займет много времени. Исходным кодом я не разбрасываюсь, это персонализированная программа, с конфиденциальными данными. Никакого github. Или скиньте код в архиве. Все, кто работал со мной, подключались ко мне через любую программу, например Anydesk, если вам мой редактор и компилятор Phycharm не удобен, тогда вы подключились и скопировали нужный вам фрагмент кода. Дописали в своем редакторе, вернулись назад и заменили старый код. Собрать (скомпилировать новую версию программы) я и сам могу, это не проблема. Так подходило всем, кто со мной работал. Могу сразу сделать резерв в проект. За неудобство могу добавить средств. Я все понимаю! Но и вы поймите меня! Писать много кода не нужно будет.
Задача!
У меня есть функция в парсере. Download image. Вставляю в блок ссылки с картинками. И он их скачивает. Все просто!
Что нужно доработать. Чтобы парсер имел кнопку выбрать файл. В него я буду загружать файл Exel. В файле, в колонке будут статьи в формате html разметки, с кодом, тегами и атрибутами короче. В каждой статье есть ссылка в таком формате a href: https://тест.ком/image/image123456.jpg
Нужно дописать функцию (логику). Чтобы он прошелся по этих ссылках из статьи. И скачал картинки. Внимание! Картинки, которые он не может скачать, и у них код ответа логически не 200, а 404 или другой, который означает, что невозможно скачать. Нужно, чтобы парсер удалял из кода статьи ссылку вместе с тегом a href. И удалял ее из колонки Image, где есть ссылки. Также важно! У меня есть в экселе колонка, в которой есть ссылки на картинки из статьи. Возможно, можно все максимально упростить. Он прошелся бы по этих колонках, в которых ссылки на картинки, скачал бы картинки, которые можно скачать. Потом сделал бы себе список url, по которым картинки не скачались, и потом прошел бы уже по колонке со статьями и удалял бы эти ссылки из статей. Возможно, так лучше и легче прописать. Важно! Только чтобы он не цеплялся к домену. А только к названию самих картинок. Потому что названия доменов в этих двух колонках разные. В статьях ссылки с одним доменом. А в колонке ссылки, по которым они скачиваются, там домены разные.
Пример:
В колонке Content. Где статьи, ссылка на картинку: site.com/image12345.jpg
В колонке Image. Где ссылки на скачивание картинок: test.com/image12345.jpg
Но это не проблема, чтобы он по названиям картинок типа image12345.jpg проходился по статьям и удалял ссылки вместе с их тегами.
Про сам парсер.
Код написан на Python. Запросы на сервер выполняются через aiohttp, потому что проект является асинхронным, то есть параллельно отправляются запросы на сервер, а не по порядку. Сборка выполнена через библиотеку PyInstaller. Запускаю .exe программу, и запускается командная строка. А сам парсер открывается в браузере, локально по адресу 127: и так далее. Спасибо за внимание!
