Бот/скрипт для парсінга сайту
Додатки 1
Відгук замовника про співпрацю з Алексеєм Кирдиним
Бот/скрипт для парсінга сайтуЧудовий фрілансер! Відповідальний і комунікативний! Виконав завдання відповідно до ТЗ і ще більше. Звернемося ще раз! Рекомендуємо до співпраці!
-
62 1 0 Я виконую подібні завдання на node.js + puppeteer.
Тільки, якщо сайт захищений капелями, то будуть труднощі, в решті - емуляція дій користувача не повинна викликати проблем.
-
1060 45 0 Вітаємо, Олександр
Маю великий досвід у сфері парсінг і аналізу даних.Готуємося взяти за ваш проект вже сьогодні.Для вашої роботи найкращим варіантом, на мій погляд, буде використання зв'язку NodeJS + Puppeteer.Puppeteer - це, якщо говорити простим мовою, консольна версія Google Chrome, яка дозволяє імітувати поведінку користувача програмними засобами.Все інше, включаючи аутентифікацію (а це зберігання cookies) і зберігання даних легко робиться іншими модулями NodeJS.Як приклад моєї роботи я можу надати сайт http://workalytic.us.openode.io/ - парсер вакансій з найбільших сайтів для пошуку роботи в Україні.Парсер підтримує завантаження результатів у форматах XML і JSON.Також нещодавно завершив роботу над парсером для цінових списків у форматі XLS для сайту товарної біржі
У будь-якому випадку, буду раді обговорити деталі цього проекту і відповісти на всі ваші запитання в ЛС.Ви також можете знайти мене тут:
Telegram - https://t.me/etozheartemka
Skype - Killkick2013
VK - vk.com/kayart
-
6296 144 6 4 Використовуйте Python + Selenium. Буде працювати через браузер, тобто. якомога ближче до дій користувача. Єдиний питання - якщо сайт баніт через частоту запитів, а інфу потрібно отримати швидко, то доведеться зробити багатопоточний скрипт з прокси серверами.
Актуальні фриланс-проєкти в категорії Парсинг даних
Парсинг даних через мобільне APIШукаю людину з досвідом парсингу даних через мобільне API, для парсингу e-commerce, rozetka та аналоги Завдання: 1. Перехоплення трафіку мобільного додатку (Android) налаштування проксі, аналіз запитів 2. Визначення потрібних API endpoints, куди йдуть запити, які headers… Python, Парсинг даних ∙ 23 години 13 хвилин тому ∙ 23 ставки |
Шукаю програміста або вайб-кодера для автоматизації збору даних 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я випадково на ту ссылку послав Веб-програмування, Парсинг даних ∙ 1 день 1 година тому ∙ 31 ставка |
Створити дашборд у https://airtable.com/ по результативності рекламних креативів з facebook adsПовноцінне ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Бази даних та SQL, Парсинг даних ∙ 5 днів 20 годин тому ∙ 19 ставок |
Створення файлу Exel для завантаження товарів на сайти інших партнерів.Мене цікавить щоб зробити табличку Exel з повністю всіма параметрами. Ось сайт -https://heiztechnik.com.ua/ І позиціії які цікавлять щоб були перенесенні : Ручні котли : 1) TIS UNI 15-95 кВт(10) шт 2)TIS HARD 150-500 кВт(7) шт Пелетні котли: 1)TIS PELLET 15-95 кВт(10) шт 2)TIS… Парсинг даних ∙ 6 днів тому ∙ 37 ставок |
Потрібен розробник для парсингу каталогу та автоматизації імпорту данихПодробне ТЗ в прикріпленому документі прошу в відповіді вказати орієнтовну вартість і терміни реалізації чи є досвід роботи з парсингом великих каталогів які можливі складнощі або обмеження ви бачите в даному завданні Бази даних та SQL, Парсинг даних ∙ 6 днів 3 години тому ∙ 42 ставки |