Бюджет: 333 UAH Термін: 179 днів
Напишите в ЛС этот "сложный интернет магазин", после ознакомления смогу сделать конкретное предложение.
Нужно спарсить сложный интернет магазин. Запросы и код обфусцирован, сайт нужно открывать многопоточно в puppeteer или selenium. Парсить нужно все категории товаров, подкатегории, таблицу со списком товаров, зайти в каждый товар, спарсить картинку, описание, название. Парсер должен быть написан на Node и TypeScript, другие варианты не рассматриваем. Запуск и остановку парсера нужно сделать на html, чтобы можно было управлять из браузера, а не через консоль. Парсить нужно тысячи товаров каждые 1-5 секунд, обновляться всё должно в реальном времени.
Весь код должен быть покрыт тестами на Mocha+Chai.
Сборка проекта должна быть сделана с помощью Webpack.
Бюджет: 333 UAH Термін: 179 днів
Напишите в ЛС этот "сложный интернет магазин", после ознакомления смогу сделать конкретное предложение.
Бюджет: 299000 UAH Термін: 10 днів
В принципе, если потратится на достаточно мощный комп, то это вполне посильная задача.
Вам треба дуже багато оперативки, і дуже багато ядер, якщо ви хочети парсити за допомогою Selenium, на такій швидкості.
Так вам нужен не парсинг, а ПАРСЕР. Изменить название проекта, не вводите в заблуждение фрилансеров.
Запросы и код обфусцирован
Это вы так сказали? Как по-вашему тогда клиент (сайт) эти запросы читает и рендерит в html? Что бы нормально работать с несколькими инстансами selenium нужен не многопоток, а многопроцессорность, ибо вы запустив пару инстансов упретесь в потолок производительности ядра, параллельные вычисления на node - боль, никто такими костылями даже за вменяемые деньги не будет. Найдите нормального программиста, который не будет вам рассказывать сказки про обфусцированные запросы и городить ерунду про многопоточный node и selenium.
С уважением.
Скажите что Вы можете предложить?
В принципе сервера не проблема, купим столько сколько нужно
Могу сделать ставку, напишите мне в ЛС сайт, я посмотрю и тогда что-то предложу. Я несколько лет занимаюсь парсерами и сбором данных и видал все эти "обфусцированные запросы". Работаю на Python/C#. Если возьмусь за работу то никаких модных словечек в коде типа mocha, chai, webpack и прочее вы не получите, но вы получите результат.
А это вообще возможно - Парсить нужно тысячи товаров каждые 1-5 секунд ?
Даже однократно это будет за гранью, а постоянно - это как вам видится?
Потоки - это одна из разновидностей параллельных вычислений.
Что значит какой толк? Берешь 1000 ссылок и одновременно их парсишь, при наличии соответствующего интернет-канала.
Ну якщо ти не через браузер будеш парсити то ніяких
Прямими запросами до сервера це вприниципі реально
Я имел ввиду - как сервер это отдаст и как поведёт себя серверный анализатор ботов?
на зеннопостере такое потянет на 5 серверах .на каждом по 200 браузерных потоков.сам делаю масштабные проекты.протестировано уже многократно и это получше будет чем извращение с селениумом.на 1 инстанс идет 100-100 мбайт памяти оперативной.проц грузит 80% при 200 потоках браузера
И сервер это не блокирует, 1000 потоков ? И владелец согласен на такой бессмысленный трафик? Вы кого парсите - деревенский сельсовет?
Что за чушь. Использовать 5 каких-то серверов для всего-то 1000 потоков. Про асинхронный код и корутины не слыхали? И это ты называешь "масштабными"?
Люди забийте на цей проект!
Скидав заказчик пару днів назад, приклад сайту який потрібно парсити, то цей сайт купляє дані в міжнародних компаній, і від того що ви будете парсити цей сайт , вони будуть мати не погані збитки(1 секунда == 1000 запросів).
Потрібно налаштувати віддалено пасер (через анідеск чи тімвювер), щось поломалось і не коректно працює. В основному заміна стартових посилань та налаштування парсера. Сайтhttps://dveri-pol.com/
# Огляд проекту Premium Haztrak — це сучасна платформа для дотримання екологічних норм, розроблена для допомоги організаціям у керуванні відстеженням небезпечних відходів, електронними маніфестами та записами про дотримання норм у більш безпечний, прозорий та юридично захищений спосіб, спеціально розроблена для Офісу головного юрисконсульта, Департаменту охорони навколишнього середовища Пенсильванії, США. Платформа побудована навколо відстеження небезпечних відходів від колиски до могили, що дозволяє генераторам, перевізникам, підприємствам, командам з дотримання норм та юридичним фахівцям керувати ключовими записами, подіями відвантаження, супутніми документами, підписами, виправленнями та історією аудиту в одній структурованій системі. Наступна фаза проекту впровадить верифікацію на основі блокчейну для зміцнення цілісності записів, ланцюга зберігання та готовності до регуляторного аудиту без розкриття чутливих даних про дотримання норм у мережі. # Статус поточної версії Поточна версія забезпечує основу для електронного відстеження небезпечних відходів і демонструє, як цифрова система може підтримувати робочі процеси, пов'язані з EPA e-Manifest та RCRAInfo. На цьому етапі платформа зосереджена на основному управлінні записами про небезпечні відходи, включаючи робочі процеси, пов'язані з маніфестами, концепції відстеження відвантажень, документацію про дотримання норм та шаблони інтеграції для роботи з офіційними екологічними системами. Поточну систему слід розглядати як базовий рівень для більш просунутого продукту з дотримання норм. Тепер мета полягає в розширенні її до преміум-версії з більш потужними юридичними, аудиторськими та верифікаційними можливостями. # Нові цілі інтеграції Основним покращенням буде шар верифікації дотримання норм на основі блокчейну. Цей блокчейн-шар не зберігатиме приватні записи про небезпечні відходи безпосередньо в мережі. Натомість система генеруватиме криптографічні докази для важливих документів та подій, а потім закріплюватиме ці докази в блокчейні, щоб записи могли бути незалежно перевірені пізніше. # Ключові точки інтеграції включають: Докази записів маніфестів на основі блокчейну Відстеження ланцюга зберігання з доказами про підробку Хешування документів, підписів, виправлень та подій відвантаження Перевіряємий журнал аудиту для регуляторного та юридичного перегляду Генерація пакета доказів для суперечок, аудитів або розслідувань Безпечне зберігання даних поза мережею для чутливих даних Посилання на докази в мережі для перевірки цілісності записів Дошка дотримання норм для записів з високим ризиком, неповних або спірних Основні функції продукту Premium Haztrak має включати: Управління маніфестами та відвантаженнями Управління організацією та ролями користувачів Завантаження документів та зберігання записів Відстеження підписів та затверджень Історія виправлень та суперечок Хронологія ланцюга зберігання Генерація доказів на основі блокчейну Сторінка верифікації для документів та записів Експорт PDF, готовий до аудиту Генерація пакета юридичних доказів Дошка активності з дотримання норм Концепція інтеграції блокчейну Компонент блокчейну працюватиме як шар доказів. Коли відбувається критична подія, така як створення, підписання, виправлення, отримання або завершення маніфесту, система генеруватиме хеш цієї події або документа. Ці хеші можуть бути згруповані та закріплені в блокчейні через смарт-контракт або реєстр верифікації. Це дозволяє користувачу, аудитору, адвокату або регулятору пізніше підтвердити, чи відповідає запис оригінальній перевіреній версії. Приватні дані залишаються захищеними в базі даних програми або безпечному зберіганні. Блокчейн зберігає лише докази верифікації. # Цінність продукту Premium Haztrak покращує дотримання екологічних норм, роблячи записи: Більш відстежуваними Більш надійними Легшими для аудиту Легшими для верифікації Краще підготовленими до юридичного перегляду Більш стійкими до підробки або не задокументованих змін Продукт особливо корисний для організацій, які потребують сильної документації, надійної історії дотримання норм та захищених записів у разі аудитів, питань виконання, суперечок або судових розглядів. # Довгострокове бачення Довгострокове бачення Premium Haztrak полягає в тому, щоб стати надійним цифровим шаром дотримання норм для екологічних записів. Починаючи з відстеження небезпечних відходів та електронних робочих процесів маніфестів, платформа може пізніше розширитися на більш широкі сфери дотримання екологічних норм, такі як дозволи, інспекції, записи про відновлення, документація про виконання, звітність ESG та верифікація вуглецевих кредитів. Мета Premium Haztrak проста: Зробити записи про дотримання екологічних норм безпечними, відстежуваними, перевіряємими та юридично захищеними.
Потрібно створити сучасний інтернет-магазин іграшок на WordPress (WooCommerce). Основні вимоги: - Адаптивний дизайн для ПК, планшетів і смартфонів. - Каталог товарів із категоріями, фільтрами та пошуком. - Сторінки товарів з описом, фотографіями, характеристиками та ціною. - Кошик і оформлення замовлення. - Інтеграція популярних способів оплати та доставки. - Особистий кабінет покупця. - Зручна панель керування для додавання та редагування товарів. - Базова SEO-оптимізація та висока швидкість завантаження сайту. - Налаштування захисту, резервного копіювання та SSL. Бажано використовувати сучасну, легку тему або створити індивідуальний дизайн. Після завершення роботи необхідно надати коротку інструкцію з керування сайтом.
Необхідний збір даних по покупцях і продавцях предметів мистецтва. Цікавлять бази даних сайтів Ebay та профільних світових сайтів по мистецтву.
Потрібно спарсити базу перукарів з КВЕД 96.02. Пропонуйте ціну, будь ласка. Чекаю пропозицій!!!!!!!!