Требуется написать многопоточный парсер для vk (40 потоков). Парсер должен работать на Ubuntu 18.04. В парсер подаются ссылки для парсинга юзеров, ссылки на их профили. Проработанные ссылки должны удаляться из списка. Парсер должен скачивать аватарку юзера, и десять последних аватарок (фотки, которые были аватарками, если листать вправо).
Фотографии должны сохраняться в папки, один юзер = одна папка, папка должна называться номером профиля юзера, например, vk.com/xxxxxx/, значит папка будет называться xxxxxx.
Авторизация не нужна, но если попадается юзер у которого аватарки доступны после логина, то ссылка на него должна сохраняться в отдельный текстовый файл, в котором находится список таких же юзеров. Один поток, это всегда = один прокси = один юзерагент, одинаковые. Количество потоков должно регулироваться в конфиге. Прокси так же должны браться из списка. Список прокси оформить в файлик формата JSON, прокси приватные с логином и паролем. Заготовить юзерагентов нужно Вам, в инете есть список актуальных самых популярных юзерагентов. Парсер в минуту должен обрабатывать 40 аккаунтов, желательно парсер реализовать в виде скрипта, который я просто буду запускать кроном раз в минуту.
Если профиль юзера не закрыт, то фотки скачиваются согласно алгоритму описанному выше, если закрыт, то скачивается та фотка, которая видна - одна актуальная аватарка юзера.
Должен быть файл ошибок, в котором должны писаться прокси, если они не работают.
При начале работы выдаю сервер VDS, прокси 40 штук, с авторизацией по логину и паролю. Сервер с LAMP, если вам нужно установить еще какие то компоненты, то ставьте, в таком случае вам нужно написать подробную инструкцию как установить парсер на аналогичный сервер с нуля.
Интерфейс для человека не нужен

Ставки 3 Обсуждения 3

Сергей Забирников

Победившая ставка

27 0

Проекты 6
Оценка -
Рейтинг 465

Бюджет: 5000 RUB Срок: 1 день

Здравствуйте, готов выполнить данный проект.
Для уточнения деталей проекта и полной стоимости иишите в ЛС или...
Скайп spider13software
icq 3533966
Телеграм @spider13software
Сайт https://spider13.net/

В списке не показаны ставки, скрытые заказчиком или фрилансером c профилем Plus, а также ставки, нарушающие правила

Анатолий Анатольевич 25 декабря 2018

если на компе нет 40 ядер, то смысла в 40 потоках нет. 1 ядро = 1 поток, если 1 ядро - 2 потока, то эти 2 потока будут выполняться друг за другом, что ломает суть одновременной работы

Александр Туркин

25 декабря 2018

что за бредятина, у меня аналогичный парсер на php только еще с авторизацией и работой по api, в 40 потоков работает на VDS KVM на одном ядре с одним гигом оперативы, обрабатывает 40 аккаунтов в минуту, а этот парсер еще проще. Если Вы не компетентный в этом деле, не пишите бред и не смущайте людей

Анатолий Анатольевич 25 декабря 2018

Бредятина твое задание. Если запускать 40 потоков и чтобы они работали одновременно, а не друг за другом, надо 40 ядер! Иначе, результат будет такой же, как с 1 потоком!

Добавить комментарий

Александр Туркин
Новосибирск, Россия

Проектов 30
Оценка -
Рейтинг 1 123

Парсер аватарок VK

Отзыв заказчика о сотрудничестве с Сергеем Забирниковым

Парсер аватарок VK

5.0

Отзыв фрилансера о сотрудничестве с заказчиком

Парсер аватарок VK

5.0

Сергей Забирников

Сергей Забирников

Ставки пока отсутствуют

Актуальные фриланс-проекты в категории PHP

Срочный проект — Senior WordPress/WooCommerce/Stripe разработчик для завершения настройки НДС и

Разработчик WordPress: Обновление API Greenhouse Harvest с версии 2 на версию 3

Легкое приложение

Плагин Mondial Relay WooCommerce

Нужен Специалист (Google Ads) для бухгалтерской компании (оплата за лиды / результаты)