Собрать браузер и применить его
Доброго времени суток,
моя цель создание программного обеспечения или комплекса, который сможет лазить по сайту как будто бы это обычный человек с обычного браузера. Сложность вся заключается не только в применении всяких отпечатков и других методов идентификации пользователей, что б уникализировать его и не раскрыть свою машинную сущость, но также и в том что б это работало с минимально возможными потребностями в оперативной памяти и процессоре. Важной составляющей всей работы является многопоточность такого решения для чего и требовалось сохранение ресурсов.
В результате мы должны прийти к запрограммированию данного браузера для выполнения определенных задач на определенном сайте, с тысячами (или сколько максимально получится) пользователями одновременно, получая централизированные команды кому и что делать с помощью АПИ.
Данное может быть реализовано как на графическом интерфейсе как виндовс или чего-то другого (чего хотелось бы избежать из за увеличения нагрузки) или же в линуксовской среде (дабы запустить на мощном сервере в 5к потоков и не беспокоиться 🙂) .
Ищу крутого специалиста или команду для реализации подобной задачи и долгосрочной поддержки в последствии. Я выделю бюджет достойный вашего времени.
Спасибо, жду заявок и вопросов если появились
-
1 день500 UAH
50 2 0 1 день500 UAH
Здравствуйте.
Есть подобные реализации разной направленности.
Ключ к успеху - особенности сайта, которые дают возможность подобрать оптимальное решение. Для этого абсолютно точно нужно знать с каким сайтом работаем.
Стоимость указана за день работы.
-
Запустить на одном сервере 5k копий браузера - не реально.
Считайте так, одно ядро - один независимый процесс браузера. На сервере нет gpu и весь процесс рендера ложится на cpu.
Было бы возможно, то фриланс был бы переполнен сейчас мамкиными спецами с парсерами на "кукловодах" и "драматургах".
-
Я пошули относительно 5к поток, для этого смайлик)
-
Всё равно не реально. Считайте 1 ядро - 1 копия браузера. Иногда меньше, иногда больше. И как бы я не упарывался в попытки что-то там ускорить - ничего не получилось. Либо сиди без canvas, webgl и без авторизации, либо обеспечь это api для сайта.
Как вариант - писать только кастомный рендер DOM с полной эмуляцией остальных функций браузера. Утопия, короче.
А в реальной жизни, при парсинге "кукловод" нужен только для снятия кук и отпечатков. Основной парсинг ложится на методы ЯП для post и get запросов.
-
К счастью после долгих дискуссий все таки нашлось решение запихнуть в один поток много процессов, с помощью какого то докера или еще хз как называется.
Договорились на 4 месяца, команда с нескольких человек и 50к долларов в разработку) -
Поправлюсь, в одно ядро
-
А сайт чей?
-
Актуальні фриланс-проєкти в категорії Веб-програмування
Мобільна версія сайтаВсім привіт. Потрібно переробити існуючу моб версію сайта згідно ТЗ:https://docs.google.com/document/d/1BVV0UGDTEDyZ-EUvFg0RAmEasGKcl6cnK_cBB4Urbko/edit?usp=sharing HTML та CSS верстання, Веб-програмування ∙ 2 години 21 хвилина тому ∙ 18 ставок |
Новий сайт для sto-vag.com.uaХочемо оновити сайт нашого невеличкого СТО Зараз це 1 сторінка, хочемо зробити на багато сторінок CMS обирає виконавець. Для нас головне: - швидка робота (завантаження) сайту - кроссбраузерність - гарна моб версія СТО залишиться як і є, для VAG групи (AUDI, VOLKSWAGEN,… CMS, Веб-програмування ∙ 4 години 27 хвилин тому ∙ 36 ставок |
Шукаю людину, хто допоможе наповнити і сайт на ВордпресіШукаю відповідальну і уважну людину, щоб доробити сайт. створив в клод сторінки, які мені подобається і він мені в більшості видав статику. В більшості інформація статична буде, тому особливо змінювати не буду. Мене більше цікавить зміна кейсів, добавлення статей і відгуків.… AI обробка текстів, Веб-програмування ∙ 6 годин 21 хвилина тому ∙ 20 ставок |
Webflow Developer: Адаптація готового шаблону та налаштування сайту під запускМаємо придбаний шаблон на Webflow та фінальний дизайн у Figma. Шукаємо досвідченого розробника, який адаптує шаблон під наші макети, налаштує систему та підготує сайт до повноцінного запуску. Що саме потрібно зробити: Адаптувати блоки, верстку та стилі шаблону відповідно до… Веб-програмування ∙ 8 годин 44 хвилини тому ∙ 22 ставки |
Інтеграція Blade-шаблону статті | Laravel | Фронтенд
4493 UAH
Інтеграція Blade-шаблону статті | Laravel | FrontendСуть задачіСайт на Laravel Готовий HTML/CSS макет сторінки преміум-статті блогу. Потрібно інтегрувати його в існуючу Blade-структуру сайту.Дизайн готовий. Ви нічого не проектуєте — тільки інтегруєте.Ви отримаєте: готовий… PHP, Веб-програмування ∙ 13 годин 1 хвилина тому ∙ 54 ставки |
Коломия