Проєкт перекладено автоматично. Увійдіть або зареєструйтесь, щоб побачити оригінал Потрібно написати багатопоточний парсер для vk (40 потоків).Парсер повинен працювати на Ubuntu 18.04. У парсер подаються посилання для парсінга юзерів, посилання на їхні профілі.Зроблені посилання повинні бути видалені з списку.Парсер повинен скачати аватарку користувача, і десять останніх аватарків (фото, які були аватарками, якщо опублікувати вправо).Фотографії повинні зберігатися в папці, один користувач = один папка, папка повинна називатися номером профілю користувача, наприклад, vk.com/xxxxxx/, тобто папка буде називатися xxxxxx.Авторизація не потрібна, але якщо потрапляє користувач у якого аватарки доступні після входу, то посилання на нього повинна зберігатися в окремому текстовому файлі, в якому знаходиться список тих самих користувачів.Один потік, це завжди = один прокси = один юзерагент, однакові.Кількість потоків повинна регулюватися в конвізі.Прокси також повинні бути зняті з списку.Список прокси оформити в файл формату JSON, прокси приватні з логіном і паролем.Підготувати юзерагентів потрібно Вам, в інете є список актуальних найпопулярніших юзерагентів.Парсер на хвилину повинен обробляти 40 облікових записів, бажано парсер реалізувати у вигляді скрипта, який я просто буду запускати кроном раз на хвилину.Якщо профіль користувача не закривається, то фото завантажуються згідно з алгоритмом описані вище, якщо закрито, то завантажується та фотографія, яка бачиться - одна актуальна аватарка користувача.Треба бути файл помилок, в якому повинні писати прокси, якщо вони не працюють.На початку роботи видаю сервер VDS, прокси 40 штук, з аутентифікацією за логіном і паролем.Сервер з LAMP, якщо вам потрібно встановити інші ці компоненти, то кладіть, в цьому випадку вам потрібно написати детальні інструкції як встановити парсер на аналогічний сервер з нуля.

Ставки 3 Обговорення 3

Сергей Забирников

Переможець

27 0

Проєкти 6
Оцінка -
Рейтинг 465

Бюджет: 5000 RUB Термін: 1 день

Привітання, готовий виконати цей проект.
Для уточнення деталей проекту та повної вартості іїшіть в ЛС або...
Скайп Spider13software
ІККК 3533966
Телеграм @spider13software
Сайт HTTPS://spider13.net/

У списку не показані ставки, приховані замовником чи фрилансером з Plus, а також ставки, що порушують правила

Анатолий Анатольевич 25 грудня 2018

если на компе нет 40 ядер, то смысла в 40 потоках нет. 1 ядро = 1 поток, если 1 ядро - 2 потока, то эти 2 потока будут выполняться друг за другом, что ломает суть одновременной работы

Александр Туркин

25 грудня 2018

что за бредятина, у меня аналогичный парсер на php только еще с авторизацией и работой по api, в 40 потоков работает на VDS KVM на одном ядре с одним гигом оперативы, обрабатывает 40 аккаунтов в минуту, а этот парсер еще проще. Если Вы не компетентный в этом деле, не пишите бред и не смущайте людей

Анатолий Анатольевич 25 грудня 2018

Бредятина твое задание. Если запускать 40 потоков и чтобы они работали одновременно, а не друг за другом, надо 40 ядер! Иначе, результат будет такой же, как с 1 потоком!

Додати коментар

Актуальні фриланс-проєкти в категорії PHP

Терміновий проєкт — Senior WordPress/WooCommerce/Stripe розробник для завершення налаштування ПДВ та

CMS 32 ставки 2 серпня

6000 UAH
Розробник WordPress: Оновлення API Greenhouse Harvest з V2 на V3

Створення сайту під ключ 58 ставок 30 липня

Не вказано
Легкий додаток

Десктопні додатки 66 ставок 28 липня

7691 UAH
Плагін Mondial Relay WooCommerce

28 ставок 28 липня

4102 UAH
Потрібен Спеціаліст (Google Ads) для бухгалтерської компанії (оплата за ліди / результати)

10 ставок 26 липня

4400 UAH

Александр Туркин
Новосибірськ, Росія

Проєктів 30
Оцінка -
Рейтинг 1 123

Сергей Забирников

Сергей Забирников

Ставки поки відсутні

Актуальні фриланс-проєкти в категорії PHP

Терміновий проєкт — Senior WordPress/WooCommerce/Stripe розробник для завершення налаштування ПДВ та

Розробник WordPress: Оновлення API Greenhouse Harvest з V2 на V3

Легкий додаток

Плагін Mondial Relay WooCommerce

Потрібен Спеціаліст (Google Ads) для бухгалтерської компанії (оплата за ліди / результати)