Складний Парсер, Бот
ТЗ Клієнта:
за функціонуванням1) Програмне забезпечення має парізувати з нашого сайту замовлення на запити(доступ даємо після вибору прогера), парсінг часткової інформації на зовнішніх сайтах( 7 сайтів на даний момент) і збирати в кінці в один результат і видавати відповідь на наш сайт за кожним замовленням окремо(формат відповіді на сайт описуємо пізніше), можливість відключення парсінга на одній з вибраних сайтів2) після парсінга по всіх сайтах, потрібно збирати потрібну нам інформацію за кожним замовленням окремо, і дати кінцевий результат на наш сайт(в форматі html)2.1) Многопоточна робота з усіма сайтами з можливістю вибору кількості потоків, робота тільки на запитах, графічна оболонка?3) 3робота через прокси з вибором протоколу (формат прокси на нашому сайті ip:port:login:pass і ip:port) при потрапленні на не працюючу прокси, брати наступну прокси так, щоб не втрачався замовлення, можливість роботи з прокси на сайті по посилання(при кожному зверненні видається новий прокси)4) робота з xevil рішення рекаптері V26) потрібно мати можливість змінити ідентифікатор сервісу на моєму сайті для запобігання замовлень) потрібно високу швидкість обробки замовлень (формат прокси на сайті ip:port:login:pass і ip:port) при потрапленні на не працюючу прокси (формат прокси на сайті ip:port:login:pass і ip:port) у процесі, який вже взявся на роботу, але з якої причини не обробля
за функціонуванням1) Програмне забезпечення має парізувати з нашого сайту замовлення на запити(доступ даємо після вибору прогера), парсінг часткової інформації на зовнішніх сайтах( 7 сайтів на даний момент) і збирати в кінці в один результат і видавати відповідь на наш сайт за кожним замовленням окремо(формат відповіді на сайт описуємо пізніше), можливість відключення парсінга на одній з вибраних сайтів2) після парсінга по всіх сайтах, потрібно збирати потрібну нам інформацію за кожним замовленням окремо, і дати кінцевий результат на наш сайт(в форматі html)2.1) Многопоточна робота з усіма сайтами з можливістю вибору кількості потоків, робота тільки на запитах, графічна оболонка?3) 3робота через прокси з вибором протоколу (формат прокси на нашому сайті ip:port:login:pass і ip:port) при потрапленні на не працюючу прокси, брати наступну прокси так, щоб не втрачався замовлення, можливість роботи з прокси на сайті по посилання(при кожному зверненні видається новий прокси)4) робота з xevil рішення рекаптері V26) потрібно мати можливість змінити ідентифікатор сервісу на моєму сайті для запобігання замовлень) потрібно високу швидкість обробки замовлень (формат прокси на сайті ip:port:login:pass і ip:port) при потрапленні на не працюючу прокси (формат прокси на сайті ip:port:login:pass і ip:port) у процесі, який вже взявся на роботу, але з якої причини не обробля