Собрать браузер и применить его
Доброго времени суток,
моя цель создание программного обеспечения или комплекса, который сможет лазить по сайту как будто бы это обычный человек с обычного браузера. Сложность вся заключается не только в применении всяких отпечатков и других методов идентификации пользователей, что б уникализировать его и не раскрыть свою машинную сущость, но также и в том что б это работало с минимально возможными потребностями в оперативной памяти и процессоре. Важной составляющей всей работы является многопоточность такого решения для чего и требовалось сохранение ресурсов.
В результате мы должны прийти к запрограммированию данного браузера для выполнения определенных задач на определенном сайте, с тысячами (или сколько максимально получится) пользователями одновременно, получая централизированные команды кому и что делать с помощью АПИ.
Данное может быть реализовано как на графическом интерфейсе как виндовс или чего-то другого (чего хотелось бы избежать из за увеличения нагрузки) или же в линуксовской среде (дабы запустить на мощном сервере в 5к потоков и не беспокоиться 🙂) .
Ищу крутого специалиста или команду для реализации подобной задачи и долгосрочной поддержки в последствии. Я выделю бюджет достойный вашего времени.
Спасибо, жду заявок и вопросов если появились
-
1 день500 UAH
50 2 0 1 день500 UAH
Здравствуйте.
Есть подобные реализации разной направленности.
Ключ к успеху - особенности сайта, которые дают возможность подобрать оптимальное решение. Для этого абсолютно точно нужно знать с каким сайтом работаем.
Стоимость указана за день работы.
-
Запустить на одном сервере 5k копий браузера - не реально.
Считайте так, одно ядро - один независимый процесс браузера. На сервере нет gpu и весь процесс рендера ложится на cpu.
Было бы возможно, то фриланс был бы переполнен сейчас мамкиными спецами с парсерами на "кукловодах" и "драматургах".
-
Я пошули относительно 5к поток, для этого смайлик)
-
Всё равно не реально. Считайте 1 ядро - 1 копия браузера. Иногда меньше, иногда больше. И как бы я не упарывался в попытки что-то там ускорить - ничего не получилось. Либо сиди без canvas, webgl и без авторизации, либо обеспечь это api для сайта.
Как вариант - писать только кастомный рендер DOM с полной эмуляцией остальных функций браузера. Утопия, короче.
А в реальной жизни, при парсинге "кукловод" нужен только для снятия кук и отпечатков. Основной парсинг ложится на методы ЯП для post и get запросов.
-
К счастью после долгих дискуссий все таки нашлось решение запихнуть в один поток много процессов, с помощью какого то докера или еще хз как называется.
Договорились на 4 месяца, команда с нескольких человек и 50к долларов в разработку) -
Поправлюсь, в одно ядро
-
А сайт чей?
-
Актуальные фриланс-проекты в категории Веб-программирование
Создать плагин для опросов (викторин) на WordPress
10 000 UAH
Необходимо разработать плагин для WordPress, который будет уметь - сохранять банк вопросов, все в одном формате - вопрос и 4 ответа, 1 правильный - показывать 12 вопросов в случайном порядке, считать хронометраж - собирать данные пользователя - показывать финальный результат с… PHP, Веб-программирование ∙ 1 минута назад |
Интернет-магазин обувиВ связи с расширением ассортимента и привлечением партнеров по системе дропшиппинг ищем специалиста или команду для создания современного интернет-магазина обуви. ВАЖНО: необходимо сделать автоматизированную систему учета товаров с подгрузкой партнерских таблиц google sheets… Интернет-магазины и электронная коммерция, Веб-программирование ∙ 10 часов 50 минут назад ∙ 70 ставок |
Разработка платформы AM Mobility (автосервис, парковка, страхование, аренда автомобилей)
256 773 UAH
Ищем команду или опытного Full Stack разработчика для создания MVP платформы AM Mobility. AM Mobility — это единая цифровая экосистема для автомобилистов, объединяющая в одном приложении и веб-платформе: парковку; автосервис; шиномонтаж; автомойку; аренду автомобилей;… Javascript и Typescript, Веб-программирование ∙ 15 часов 8 минут назад ∙ 82 ставки |
Mini apps Telegram. МагазинДобрый день Требуется сделать приложение в тг (интернет-магазин) Пример - по сути 1в1 как тут brandspacebot Важен Ваш опыт, стек на котором предлагаете сделать и почему Цена и срок примерно для начала, буду ждать вопросов Веб-программирование, Разработка ботов ∙ 19 часов 32 минуты назад ∙ 76 ставок |
Gsap анимации
1000 UAH
Добрый день. Нужно внести правки в текущем проекте. Нужен специалист, который хорошо работает на gsap/lenis Нужно сделать анимацию карточек. Подробное ТЗ здесь: https://www.figma.com/design/5bLEJudN5LPpB9ZSoJa2Eb/Untitled?m=auto&t=qwyluUctL1lrMNvh-6 Нужно… Javascript и Typescript, Веб-программирование ∙ 20 часов 54 минуты назад ∙ 17 ставок |
Коломыя