A specialist is needed to collect and structure open information about sellers from marketplaces. It is necessary to determine the possibility of automated data collection and to form a database of sellers. In your response, please indicate: which marketplaces you have experience working with; what data you can obtain (seller name, link, categories, rating, number of products, other available fields); examples of similar projects.
Proposals concealed
Proposals are currently absent
-
Vitaly Moyseyev 5 January 2019Здравствуйте.
Если я вас правильно понял то вам необходимо сначала спарсить данные а потом залить их назад но уже с другой датой обновления, то есть вы хотите с помощью парсера взламывать систему обновления досок что бы можно было обновлять ваши объявления когда вам заманется, а значит что ваши объявления будут всегда в верху и при этом обходить защиту капчи. Я правильно вас понял?
-
Vitaly Koflyuk
5 January 2019
Ну как это взламывать защиту... мы никому ничего не ламаем.
Тихо заходим роботом и активируем))))))
Да там нечего ламать, капча на 1-2 досках из всего списка.
Задача в следующем: нужно, чтобы происходило обновление объявлений без моего личного участия через заданные интервалы времени, которые могут быть разными для разных досок.
Пока так, по минимуму. Дальше будет добавление функций.
-
Vitaly Moyseyev 5 January 2019))) Я понимаю что "взламать" звучит как то грубо и противоречит правилам сайта и законам, но все же суть дела не меняется даже если назвать это "обход защиты" . Если вам просто обновлять нужно было, то вам бы как таковой парсер и не нужен а всего лишь ДОМ и несколько строчек по по счетчику для автонажатия кнопки на том или ином сайте для обновления, ДОМ для того что бы можно было заходить на сайт под своим логином и паролем, проблема только в капче останется, так как обойти ее не выйдет, нужно только распознование делать и вводить данные. Это только для обновления.
А вам нужно что бы данные парсились согласно структуре объявления на сайте, перерабатывались на изменение даты и заливались обратно с подменой что и получается в итоге, вам нужно что бы был обход системы обновления доски и когда вы заливаете назад объявления что бы оно обновлялось по дате а значит и подымалось в верх, таким образом можно хоть каждый день обновлять свои объявления. Но вот только обход самой системы обновления на сайте это и есть "второй обход защиты" только непосредственно уже в личном кабинете. Все как бы понятно, не понятно только одно, как рас то как обойти второй этап защиты на сайте по самому обновлению, даже распознавать капчу можно заставить автоматом а вот обновление ....
-
Vitaly Koflyuk
5 January 2019
каждый день не выйдет. По этом, как бы не хотелось, больше чем позволено, сделать не получится. Объявления не удаляются, а поднимаются когда приходит время. С одной стороны, чтобы они были сверху всегда, можно их удалять и снова постить... но это чревато баном всей сетки на определенной доске.
По капче - обход через антигейт с использованием API-ключа. По OLX иначе не проскочить. И прокси обязательны, иначе большое к-во объявлений на одном IP нельзя удержать. Положат. Уже бывало, когда вручную делалось, что там об автоматике говорить.
-
Vitaly Koflyuk
5 January 2019
Насчет парсинга - я еще думаю над этой задачей. Суть в том, чтобы данные в оффлайн таблицах, над которыми сидят менеджеры соответствовали тому, что висит на досках. Для этого нужен какой-то механизм сравнения. Мне приходилось уже сталкиваться с полным беспорядком в объявлениях.
В акаунтах пока ничего не будем менять. Только обнулять просмотры и производить нажатие кнопки "поднять" или "активировать".
По обновлению защиты в этом случае нету. Можно только разумные интервалы по времени между действиями выставить, чтобы не вести себя "как робот"
-
Vitaly Koflyuk
5 January 2019
я наверное неправильно понял вопрос. Что такое защита системы от обновления? Там на каждой есть кнопка "обновить" или "активировать", которая появляется после того, как объявление стало неактивным. Она для того, чтобы ее нажать, если объявление еще актуально. Это и вся задача...
-
Vitaly Moyseyev 5 January 2019Тогда выходит что вам нужен не парсер. Нужен бот, зашел на сайт под вашим лог/пар и нажал на кнопку и вышел, и так на каждом сайте только для каждого сайта по определенному расписанию иначе не работает обновление. То есть то что я выше написал, ДОМ и нажатие кнопки.
-
Vitaly Koflyuk
5 January 2019
ну как-то так. Парсер мне потом понадобится сугубо для olx, чтобы смотреть к-во просмотров и средний чек по выдачи на параметрический запрос
-
Vitaly Koflyuk
5 January 2019
При этом, таблицы adv и boards - это не для банального парсинга. Полученные данные по просмотрам, просмотрам телефона и добавлениям в избранное являются необходимой статистикой для маркетинга и геотаргетинга. В виде таблицы просмотр на порядки удобнее, чем заходить и смотреть каждый акаунт.
-
Vitaly Koflyuk
5 January 2019
Так же, не дописал. После получения просмотров их нужно обнулить написать метод ->trunc_reviews($url).
Просмотры записывать в архивную таблицу MySQL
arch_reviews(
adv - идентификатор объявления,
rec_date - дата записи,
reviews - к-во просмотров объявления,
rewtel к-во просмотров телефона,
rewlike - к-во добавлений в Избранное)
-
Vitaly Koflyuk
5 January 2019
Еще раз оговорюсь, вопреки философской дискуссии о законе и морале в вышеразмещенных сообщениях. Этот проект не имеет отношения ко взлому, которым обход капчи не является, так как каждый посетитель производит такой "взлом" регулярно, когда вручную заходит в акаунт. По тематике автоматического постинга объявлений уже проводятся обучения бизнес коучами. Жду ответа специалистов в разработке скриптов для парсинга и автопостинга.
-
Roman Artemov 5 January 2019Правильно ли я понимаю, ориентировочный средний бюджет - 3000 грн./донор?!
-
Vitaly Koflyuk
6 January 2019
Ну да, с каждого донора по 3000грн, правильно, отличная идея. Только в пункте "понятия и определения" моей оферты значение термина "донор" ещё до сих пор почему-то не раскрыто. Вы бы не подсказали, какое бы значение присвоить подобному определению для большей прибыли??? Поделюсь %)))
Current freelance projects in the category Data Parsing
Technical task Project Configuration of filling and synchronization of two Prom.ua stores with suppliers of auto parts. Task It is necessary to implement the loading and updating of products from auto parts suppliers for two online stores on Prom.ua. ⸻ 1. Connecting suppliers It is necessary to connect suppliers through: Supplier API; XML, CSV, XLS price lists; or another available method of obtaining products from the supplier's website. It is important to ensure complete synchronization of products between the supplier and the Prom.ua stores. ⸻ 2. Filtering and selection of products It is necessary to implement the ability to select products during import based on the following parameters: Car brand; Category of parts; Subcategory of parts; Other available characteristics. Example: For each store, there should be the ability to separately determine which categories of products and which car brands need to be loaded. Additional requirements for product selection It is necessary to implement the ability to select products during import not only by car brands and categories of parts but also by product availability status. There should be the ability to configure the following scenarios: Import only products that are in stock with the supplier; Do not import products with the status "out of stock"; Disable or remove products from Prom.ua after they are out of stock with the supplier. During pricing configuration, there should be the ability to combine filters: By car brand; By category of parts; By subcategory; By product availability. Example: Import only parts for Volkswagen and Audi, category "Braking system", that are in stock with the supplier. It is also necessary to implement a mechanism to prevent duplication of products from different suppliers. If the same product is present with multiple suppliers, only one product record should be imported into the catalog. Criteria for selecting a product when duplicates are detected: Priority is given to the product that is in stock with the supplier; If the product is in stock with several suppliers, priority is given to the product with the lowest price; If the cheapest product is out of stock, the system should choose the cheapest product among those that are in stock; Duplicate products from other suppliers should not create separate entries in the catalog. Example: Import only parts for Volkswagen and Audi, category "Braking system", that are in stock with the supplier. If the same part is available from several suppliers, only one entry is imported into the catalog — from the supplier with the lowest price among those who have the product in stock. ⸻ 3. Import of product cards During import, the following should be automatically loaded: Product name; Article; Photos; Product description; Price; Product characteristics; Manufacturer; Other available parameters. ⸻ 4. Updates It is necessary to set up automatic: Price updates when changed by the supplier ⸻ 5. Removal of unavailable products Products that are no longer in stock with the supplier should: Be disabled; or Be removed from Prom.ua (by agreement). ⸻ 6. Filling the stores It is necessary to: Create a category structure; Create subcategories; Correctly distribute products across categories; Check the correctness of product import. ⸻ 7. Work results After the work is completed, there should be: Suppliers connected; Product import configured; Price updates configured; New product addition configured; Disabling or removal of unavailable products configured; Prom.ua stores fully filled and ready for operation.
A Telegram bot is needed for automatic searching and monitoring of "BUY IT NOW" cars at auctions in the USA (Copart, IAAI). The bot should operate automatically and send notifications about new cars that meet the specified filters.Main functionalityFilter settings: 1. Car brand; 2. Model; 3. Year of manufacture (from/to); 4. Fuel type; 5. Engine volume; 6. Mileage; 7. Price range; Bot functions: 1. Automatic monitoring of new lots; 2. Checking for updates every 1-2 minutes; 3. Protection against duplicate notifications (anti-duplicate); 4. Ability to add and remove filters through the bot menu; 5. Saving settings of already existing car searches. Message format: 1. Photo of the car (4 photos); 2. Title and lot number; 3. Year of manufacture; 4. Mileage; 5. Engine type and volume; 6. Buy it now price; 7. Link to the lot.
Scrape the full catalog of these websites: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ All products need to be combined into one general table for import into WP. Each product should be in two languages (UA+RU). There are also variable products, which should be saved as variations in the basic WP functionality. Import to the site can be done through plugins or a custom solution, so the format of the table can be discussed.
Tasks: invite real users from the username database to new chats and send messages to the target database. Only quality traffic and work with a live audience are of interest — performers using bots, fake engagement, or low-quality methods are requested NOT TO DISTURB. Work is exclusively through an escrow service. In your response, please indicate your experience, methods used, and cost for the volume of invitations/sending (price for 1,000, 5,000, 10,000 contacts or your rate). A responsible performer focused on results is needed.