Парсинг данных с группировкой и выполнениям действий.
Дано:
- Есть информация с разных источников данных ( сайты, канали и тд)
- Есть пользователь со своими соц сетями
Боль: выполнения однообразных действий
Надо: регистрироватся- подписывайся, лайкать, вступать в группу
Проблема: надо тратить много времени ( по 5-10 мин на 1 сайт) несколько сайтов в день, каждый день.
Выгода от использования бота: економленое время и успешная регистрация
Решение: бот который собирает данные, и выполняет ети действия
Требуется:
Создать бота (телеграмм или сайт), который будет собирать информацию с нескольких сайтов и телеграмм каналов для послед. группирования и сортировки
Бот будет работать для пользователей
Там необходимо сделать так, что б новый пользователь мог давать доступ ( почта, телеграмм, твиттер и тд) после етого бот будет виполнять определённые действия с етих акаунтов типа подписка, лайк, и др.
Или второй вариант
сделать сначала сбор данных в таблицу
И потом в ручную администратор проекта будет присваивать каждому варианту - единственный правильный ( либо лайк либо подписка и тд)
И потом когда пользователь присоединяется бот уже будет выполнять сразу правильные действия
Пс ето не будет биржа для зароботка где надо лайкать, добавлять в друзья за монеты, или какие то деньги.
Продукт конкретно под одну нишу для одной сферы.
Для начала:
Напишите идеи или план реализации, который вы видите.
Псс
Вариант разработки ( язык программирования или нюансы в коде - не имеют большого значения)
Скорость сбора данных ( в мили секундах) не важна.
Количество пользователей(нагрузка для бота): всего 10-20 человек
Итого
Что хочу видеть после завершения работы: готовый прототип, который собирает данные, сортирует их и возможность для пользователя автоматически принимать там участие ( выполнив все действия)
Вопросы можете писать где удобно, или в личку
что то похожее нарисовал на листе( прикрепил внизу)
Всегда на связи
Załączniki 1
-
1890 52 0 Могу написать бота на java. Если сайт простой - то можно будет обойтись простыми get и post запросами. Если сложный или есть защиты от ботов - тогда нужно будет подключать selenium - полную симуляцию браузера. В первом случае будет работать быстро, во втором случае будет работать медленнее - но зато стабильно. Уже делал подобную программу для сайта - author24 (можете посмотреть в портфолио)
-
250 1 0 Если я правильно понимаю, нужно парсить какое-то количество информации с предоставленных источников и делать с них определенные наборы действий. Пока непонятно сколько ресурсов задействовано и столько нужно получать информации с источника для классификации источника по алгоритму действий пользователя.
Первая часть - парсинг, к ней следующие вопросы:
1) Источники с фиксированного количества ресурсов задействованы? Нужен перечень, каждый источник будет требовать свой алгоритм для простых действий пользователя, на это нужно время... и деньги...
2) Какая информация нужна с источников и сколько, чтобы пользователь мог классифицировать источник по действиям?
Вторая - реализация взаимодействия с полученными данными пользователей. Тоже вопросы:
1) Какие именно взаимодействия помимо лайка, подписки для каждого источника нужно? В телеге, например, нет репоста к себе на страницу.
Помимо этого нужно понимать, что не все ресурсы приветствуют автоматизацию действий пользователя и учетки просто могут улетать в бан даже на этапе тестирования, отсюда следующий вопрос:
… 2) Сколько учеток будет у каждого из пользователей и будут ли какие-то из них выделены под тест?
Я делала подобную задачу, поэтому вопросов много... Вид парсера (гугл таблица, бот в тг - оболочка, проще говоря) и дело десятое. Мне нужно понимать какая нагрузка планируется на скрипт и больше кокретики по самой задаче, чтобы понимать как её реализовать без потерь. Автоматизация действий пользователя - это проблематично для одной соцсети из-за защиты от флуда, а если для перечня, то это еще и очень затратно по времени. Куда проще просто сделать парсер, который будет собирать данные, а пользователи вручную будут уже выполнять действия и это тоже не гарантирует, что все ресурсы адекватно воспримут повышенную активность пользователя.
Так же было бы неплохо понять, по каким критериям классифицируется полученная информация. Если речь о каком-то ключевом слове или параметрам страницы, то можно было бы целиком автоматизировать все с каким-то рандомным приемлимым таймингом на выполнении действий пользователя и тогда этому скрипту вообще не нужна будет никакая оболочка.
Кароче, тз надо:)
-
299 2 0 Здравствуйте. Напишите в личку. нужно понять по какому принципу группировать контент. и Конечно хотелось бы более подробно увидеть схему на конкретном примере. опыт реализации подобных задач огромный, более 10 лет.
-
114 Короч...
Я умею делать ботов для телеги, занимался парсингом с телеграмма и сайтов + работал с БД.
Но!!! Не делал вход с почты... Беру 3 дня, что бы посмотреть как это делается, а так с радостью взялся бы за твой заказ )
-
Вот это да. И у нас есть доналд трамп 😁
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Zbieranie linków do źródeł z ogłoszeniami wynajmu mieszkańZbieranie linków do źródeł z ogłoszeniami wynajmu mieszkań Potrzebujemy zebrać bazę linków do grup, kanałów, forów i platform, gdzie publikowane są ogłoszenia o wynajmie mieszkań w dużych miastach Europy i USA. Cel: znaleźć źródła, gdzie regularnie pojawiają się ogłoszenia o… Parsowanie danych, Sprzedaż i generowanie leadów ∙ 3 godziny 48 minut temu ∙ 11 ofert |
Skonfigurować moduł "Automatyczne przetwarzanie cenników. v.9.5".Sklep na OcStore 2.3. zainstalowany moduł "Automatyczne przetwarzanie cenników. v.9.5". Wszystko jest skonfigurowane przez autora modułu, ale teraz są kwestie dotyczące ustawień, których nie mogę zrozumieć i pojąć logikę działania modułu. Na przykład problem z dwoma… Sklepy internetowe i e-commerce, Parsowanie danych ∙ 23 godziny 46 minut temu ∙ 21 ofert |
Cennik towarów części samochodowych od dostawców dla stron internetowych z częściami samochodowymi na bazie PromuSpecyfikacja techniczna Projekt Ustawienie zawartości i synchronizacji dwóch sklepów Prom.ua z dostawcami części samochodowych. Zadanie Wymagana jest realizacja załadunku i aktualizacji produktów od dostawców części samochodowych dla dwóch sklepów internetowych na… Parsowanie danych ∙ 1 dzień 11 godzin temu ∙ 44 oferty |
Parsowanie bazy
168 PLN
Wymagania dotyczące kanałów:1. Język treści:Rosyjski lub ukraiński(dopasowana mieszana treść RU/UA)2. Liczba subskrybentów:Nie mniej niż 500 subskrybentów3. Aktywność:Ostatni post opublikowany nie później niż 32 godziny temu4. Komentarze:Na kanale muszą być otwarte komentarze… Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 12 godzin temu ∙ 31 ofert |
Należy opracować bota Telegram do monitorowania samochodów z aukcji w USA (Copart, IAAI)Należy stworzyć bota Telegram do automatycznego wyszukiwania i monitorowania samochodów "BUY IT NOW" na aukcjach w USA (Copart, IAAI). Bot powinien działać w trybie automatycznym i wysyłać powiadomienia o nowych samochodach, które odpowiadają zadanym filtrom.Podstawowa… Parsowanie danych, Tworzenie chatbota ∙ 2 dni 14 godzin temu ∙ 93 oferty |