Скачать и сжать 2 млн - скрипт
есть 2 млн ссылок на фото
по типу https://cs.copart.com/v1/AUTH_svc.pdoc00001/lpp/0724/eb1de11edaee4437a372d65f11bed4bb_hrs.jpg
нужно скачать все фото, максимально сжать в wepB например и загрузить на какой-то файловый хостинг с прямыми ссылками на фото.
нужен скрипт которые это будет делать в несколько потоков быстро
-
У меня есть готовый такой скрипт только использовал эго для загрузки примерно 100к ссылок
Готов обработать Ваши 2 млн ссылок
Могу приступить прямо сейчас.
Сумму указал минимальную за которую готов обработать такое количество фото
-
888 18 2 1 Здравствуйте!
Заинтересовал Ваш проект, имею огромный опыт в многопоточном/асинхронном парсинге и обработке больших объёмов информации. Также для парсинга будет использован собственный пул прокси-серверов.
Свяжитесь со мной для обсуждения деталей и сроков выполнения данного проекта!
-
486 23 0 Добрый день, готов выполнить задачу, большой опыт скачивания картинок. Могу как раз скачать картинки, так и написать программу, которая будет скачивать картинки и конвертировать в нужный формат.
-
147 1 0 Размер фото по ссылке (jpg) ~150 килобайт, после конвертации в (webp) с качеством 40% новый размер составляет ~50 килобайт. Если это умножить на количество фото в 2 000 000, это выходит 100 000 000 килобайт = 100 000 мегабайт = 100 гигабайт.
1. Так что по хостингу нужно дополнительно обсудить.
2. Скорость конвертации зависит только от сервера, с которого загружаются фото.
Конвертацию изображений (сжатие) выполню качественно.
-
1767 40 0 Привет! У меня есть опыт с копарт. Можно получить сразу сжатые фотографии напрямую.
-
639 22 0 Добрый день.
Готов выполнить в максимально короткие сроки с помощью Zennoposter (количество потоков будет ограничено только производительностью ПК)
-
2731 76 1 Зоблю. Звертайтеся.
Зоблю. Звертайтеся.
Зоблю. Звертайтеся.
Зоблю. Звертайтеся.
-
2426 20 0 Добрый день, готов выполнить ваше задание быстро и качественно, есть предложения по решению вашей задачи. Напишите в личные сообщения для согласования деталей. С радостью помогу вам с вашим проектом)
-
6195 53 4 Добрый вечер. Могу реализовать скрипт на python. Буду ждать в личных сообщениях
-
3012 73 4 2 Добрый вечер! Могу написать такой скрипт, который будет сжимать и загружать их в отдельную папку на Гугл Диск!
-
726 9 1 Приветствую! Изучив ваш проект, я готов приступить к его выполнению. Могу предложить оптимальные решения для достижения наилучшего результата.
-
Добрый день. Вы хотите, чтобы файлы постоянно лежали на хостинге и вы могли по URL к ним обращаться? Или вас устроит архив(ы), который можно скачать?
-
Valeriu Y. company
copart будет блокировать ip адрес с которого будете скачивать картинки, а если будуте использовать прокси, не очень качественные, то тоже блокировка
поэтому большого смысла в том чтоб скачивать их паралельно для повышения скорости - нету, достаточно будет и просто по очереди -
Актуальные фриланс-проекты в категории Парсинг данных
Сбор базы телеграмм каналов(англоязычных)Нужно собрать базу телеграм каналов со следующим критериями(2000-3000) каналов Критерии ТГ каналов: Язык: English География аудитории: США (US)/Великобритания/Канада и т.д. англоязычные каналы под тир 1-2 гео Аудитория: преимущественно мужчины 21+ Канал публичный… Поиск и сбор информации, Парсинг данных ∙ 9 часов 50 минут назад ∙ 6 ставок |
База сайтов на woocommerceНеобходимо собрать базу украинских сайтов интернет-магазинов на woocommerce с контактами, которые указаны на сайтах. Только работающие сайты (индикатор: обновление каталога/контента, рабочий домен) Формат таблицы - адрес сайта, номер телефона, e-mail. Парсинг данных ∙ 1 день назад ∙ 19 ставок |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 2 дня 15 часов назад ∙ 17 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 2 дня 19 часов назад ∙ 34 ставки |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 2 дня 22 часа назад ∙ 39 ставок |