Парсер для сайту
2000 UAH 
Є сайт з доступом за логіном і паролем - http://costar.com/.
На ньому є 5 типів пошуку, з яких 4 типи з різноманітною структурою пошукової видачі.
Для парсінга цього сайту є готовий скрипт на Пітоні, але швидкість його роботи менша, ніж потрібно.
Потрібна швидкість - не більше 5 секунд на парсінг 1 запису. Зараз отримується 8сек, через непряме парсінг з URL, а методом кліків і переходів.
Щоб полегшити завдання і скрипт - вирішили аутентифікацію на сайті і перехід у пошуковій версії робити вручну.
Автоматизувати потрібно тільки частину з парсингом самих даних і збереженням у CSV або XLSX форматі (форму файлу додаю).
Для доступу до сайту потрібен NordVPN, або індивідуальний платний прокси з локацією США, Лос-Анджелес.
Як варіант, доступ може бути наданий з мого ПК дистанційно через Anydesk або Teamviewer.
Вітаємо будь-яку мову програмування. Запустіть тільки з Windows.
Вот видео работы Питон парсера сейчас - https://youtu.be/SCVxXKs19ak, между запросами интервал 8 сек, нужно 2-5сек.
Додатки 1
Відгук замовника про співпрацю з Николаєм Кравченком
Парсер для сайтуБуло затримки з часом, через те, що сайт виявився набагато складнішим, ніж здається на перший погляд. Було проведено величезну роботу з тестування та вивчення всіх можливих особливостей сайту. Виконавчий терпляче і методично рухався до завершення з дня в день і досяг успіху! Трудолюбивий і відповідальний фрілансер, яким можна довіряти виконання навіть дуже складних завдань за його спеціалізацією. Рекомендуємо до співпраці!
-
Переможець3 дні2000 UAH
499 45 4 Переможець3 дні2000 UAHЗдоров’я Готов виконати завдання за 3 дні, вартість 2000 грн. Існує великий досвід у парсингу.
-
2 дні2400 UAH
283 10 0 2 дні2400 UAH
Здоров’я
Я маю величезний досвід у парсингу даних.
Реалізуємо на пітоні.
Я виконую якісно і швидко.
Зверніться
-
5 днів2500 UAH
1641 23 0 5 днів2500 UAH
Здоров’я
Готовий взяти за цей проект, але для початку необхідно ознайомитися з похідником.
Пропонуємо реалізацію на мові Python.
Чекаємо Вас у особистих повідомленнях
-
6 днів2500 UAH
223 8 0 6 днів2500 UAH
Здоров’я Здавалося, з того, що я бачив, що працює це все на селену. Є досвід з ним, також нещодавно зробив багатопоточний парсер з його застосуванням. Подивіться, що там у вас накопичили, думаю там є що поотимізувати.
Термін зазначений максимальний. Якщо раптово там буде простіше переписати все з нуля.
-
1 день2500 UAH
1520 41 2 1 день2500 UAH
Готовий допомогти вам у оптимізації парсера. найімовірніше, що він написаний з використанням Селену, можна прискорити процес перекладу на багатоточність, але можна розглянути ще один варіант, який буде набагато швидше, але потрібно вже подивитися на саму систему аутентифікації на сайті, про це детальніше в ЛС. Терміни зазначено для варіанту з оптимізацією.
-
2 дні2500 UAH
875 51 0 1 2 дні2500 UAH
Готова співпрацювати.
Пишу на пітоні.
Від вас - джерельний код, дані для аутентифікації і прокси для тестування.
Зверніться до нас.
-
3 дні2500 UAH
75 9 2 3 3 дні2500 UAH
Вітаємо Вас! Є великий досвід в парсингу (близько 2 років). Готовий виконувати якомога швидше на c# wpf. На рахунок авторизації, профіль один весь час юзає?
-
3 дні2500 UAH
4796 67 0 3 дні2500 UAH
Здоров’я Готовий виконати парсер. Існує досвід у парсингу даних. Напишіть в ЛС точні деталі
-
Я немного удивлена, прошу мне разъяснить.
- как по мне, то любой парсер работает быстрее любого браузера
- потому как парсер для того и парсер, чтобы быстро брать нужное
- и вдруг Заказчик пишет, что у них это не так...
- первый раз такое встречаю
-
Ну это вопрос не ко мне, а к предыдущему разработчику.
По этой причине я и создал этот проект)
-
На сайте может быть сsrf и ajax и чтобы склепать по быстрому эмулятор в полне как прототип. 😁
-
И у меня почему-то поиск типа https://www.costar.com/search?market=3&tags=256&page=2 прекрасно работает без авторизаций и локаций...
-
Это Вы делаете публичный поиск новостей сайта.
После авторизации там доступны объекты недвижимости с контактами, которые и нужно парсить.
Посмотрите мой семпл ексель - там есть примеры данных, простым публичным поиском Вы их не найдете.
-
На сколько я понимаю на видео - работа парсера. Вам нужно сохранить отображение работы в браузере, или это побочный эффект данного парсера?
-
отображение работы вообще не нужно, если он будет выполнять свои функции
-
А на счёт прокси, вы в отдельный файл их готовы записывать? Вид:
user: password@host:port
user: password@host:port
-
я вообще ВПН пользуюсь, поэтому мне даже эта функция не нужна
-
Посмотрела видео, но все еще не поняла.
Нормальный парсер по своей функциональности - это ЧАСТЬ механизма браузера, которая берет ТОЛЬКО НУЖНОЕ и складирует его в какую-то БАЗУ - т.е. ничего человеческого в его действиях быть не может! Для чего парсер и помещают обычно на сервере, где нет человека, одни программы, инфа и все быстрое.
Да, в тяжелых случаях (яваскрипты) нужно извращаться и иногда даже нет выхода, кроме как задействовать весь браузер. Но и тогда обычно его (браузер) тянут на сервер (предварительно обрезав в нем все человеческое).
Почему же здесь парсер, как я понимаю, на клиенте стоит? И почему считается, что руками человека получится быстрее листать страницы?
-
Стоит на клиенте, потому что так удобней.
Потому что пробовали листать - получается порядком быстрее.
Вот даже если хотя бы убрать переход на json и обратно каждый раз - то будет в два раза быстрее, но предыдущий разработчик сказал, что это невозможно, так как теряется доступ к данным.
-
Что-то не договаривается)
Клиент всегда хуже сервера, что по железу, что по прогам. И вдруг у вас не так все. Должна тогда быть причина. Вы пишите, что так удобней. В смысле удобней? Я думала, что вам нужно зарядить исходный адрес и получить таблицу, это дело механизма, для этого механизма в вашем случае удобней сидеть не на мощном сервере???
-
У меня достаточно мощный ПК с хорошим интернетом, нет надобности арендовать сервер.
-
Короче, я предлагаю поставить такой вопрос. На том сайте выдача публичного поиска типа https://www.costar.com/search?market=3&tags=256&page=2 кардинально отличается от выдачи нужного поиска или нет???
Если кардинальных отличий нет, то (почти) любой (программист) может посмотреть как работает публичный поиск, какие даются запросы, какие приходят ответы. И прикинуть парсер для этого.
-
кардинально отличается от выдачи нужного поиска
ДА
-
Жаль...
Но может тогда проще понизить свои желания? Зачем вам там космические скорости, когда адреса и телефоны меняются раз в 100 лет??? Запустили 24/7 и спокойно себе пьете кофе, гуляете...
Если же гулять придется несколько лет, то запускаете параллельно, на мощном компе это не запросто, но и несложно (???)
-
Актуальні фриланс-проєкти в категорії Javascript та Typescript
Інтернет-магазину одягуПотрібен розробник для інтернет-магазину одягу Шукаю досвідченого розробника для створення повноцінного інтернет-магазину одягу з дроп-моделлю продажу. Що потрібно зробити: 6 сторінок: головна, товар, кошик, оформлення, акаунт, адмін панель Вхід через Google акаунт Кошик і… HTML та CSS верстання, Javascript та Typescript ∙ 5 годин 17 хвилин тому ∙ 53 ставки |
Розробка повного стеку — Панель управління Amazon PPC (Етап 1)Потрібен full-stack розробник з досвідом роботи з Amazon API для реалізації Stage 1 внутрішнього PPC-дашборда. Проект реальний, дані живі, все готово до старту. Прототип фронтенда (5 сторінок, React + TypeScript): ЩО ВЖЕ ГОТОВО — Фронтенд-прототип на React 18 + TypeScript +… Javascript та Typescript, Веб-програмування ∙ 2 дні 16 годин тому ∙ 28 ставок |
Розробка сайту-конструктора фотокниг і фоторамокМета проекту Необхідно розробити сучасний веб-сайт для замовлення фотокниг, фоторамок та іншої персоналізованої фотопродукції. Головне завдання проекту — надати клієнту можливість самостійно створити готовий макет виробу без участі дизайнера безпосередньо на сайті.Основний… Javascript та Typescript, Веб-програмування ∙ 4 дні 8 годин тому ∙ 96 ставок |
Команда для самописного маркетплейса ритуальних послуг.Шукаємо команду для запуску та розвитку самописного національного маркетплейсу ритуальних послуг. Одразу: не шукаємо одиночок, джунів і “збирачів сайтів”. Потрібна сильна продуктова команда рівня middle+/senior з реальними кейсами маркетплейсів/складних SaaS. Прошу не… Javascript та Typescript, Веб-програмування ∙ 5 днів 2 години тому ∙ 27 ставок |
Доопрацювання існуючого проекту Next.js/Supabase: оффери, CRM, аналітика, AI-чатЄ діючий проект WatchGenius — платформа аналітики люксових годинників з каталогом моделей, ціновою аналітикою, зовнішніми офферами, формами заявок та AI-чатом. Проект вже частково розроблений. Потрібен не сайт з нуля, а досвідчений full-stack розробник, який зможе розібратися в… Javascript та Typescript, Веб-програмування ∙ 7 днів 4 години тому ∙ 55 ставок |
Харків