Доработка Telegram-бота
О боте: бот мониторит новостные телеграм каналы и переправляет сообщения в чат для модерации.
Задачи подразделяются на четыре части. Каждую нужно оценить отдельно по времени выполнения и стоимости. Нужно соблюсти порядок выполнения задач:
1) Отладка парсинга Telegram-каналов в канал премодерации
Сейчас не доходит ряд постов по не всегда понятному алгоритму. Точно отследили и пофиксили проблему премиальных эмоджи - бот обрезает их перед отправкой на модерацию. Увеличили время кэширования, т.к. при больших объемах медиа бот не всегда успевает подтягивать текст.
Какие проблемы еще замечены:
- во время одновременной публикации большого количества постов в разных каналах бот подтягивает не все сообщения либо подтягивает с большой задержкой - 3-12 мин.;
- бот не подтягивает сообщения с выделенными цитатами;
- бот не подтягивает длинные сообщения;
- периодически бот не подтягивает сообщения с большим количеством медиа (видео и фото).
Есть отдельные примеры не подтянутых постов.
На данный момент есть два бота. Более старый подтягивает в среднем от трети до половины того, что подтягивает новый, многие посты с медиа подтягивает без текста, посты с премиальными эмоджи не подтягивает вообще. Т.е. в новом многие проблемы решены. Однако некоторые посты, наоборот, подтягивает только старый. Причины, алгоритмы неизвестны.
Предыдущие разработчики высказывали разные предположения, почему бот не подтягивает 100% контента целевых каналов. Среди прочего - ограничение количества каналов для парсинга в одном боте; подозрение на спам-активность со стороны Telegram; разрешение на постинг длинных постов только для премиум аккаунтов и т.п. Но все ограничилось лишь предположениями - без подтвержденной аргументации.
Принципиальная задача: обеспечить 100%-ный парсинг всех добавленных каналов. Если нужно разбить их на несколько ботов, будем разбивать. Если можно оформить бот премиальным аккаунтом, чтобы подтягивал длинные посты, - оформим. Если 100%-ный парсинг невозможен по каким-либо причинам, нужно четкое понимание этих причин и типов постов, которые не будут подтягиваться ни при каких условиях. С документальным обоснованием.
Задача бота - максимально автоматизировать работу редактора канала. Чтобы вместо мониторинга нескольких десятков каналов он мог заниматься постингом через бот. В связи с этим 80-, 90- и даже 99-процентный парсинг - не решение задачи.
2) Разворачивание бота на нашем сервере
Только после полной отладки парсинга.
3) Управление парсинг-контентом
Есть ряд проблем с модерацией постов:
- изменение медиа работает некорректно: нет возможности управлять отдельными элементами; если выбрать Добавить или Заменить, нет возможности добавить несколько элементов;
- различные операции с постами не всегда работают в любом порядке, например, после изменения медиа невозможно изменять текст; нужна возможность проводить различные операции до бесконечности в любом порядке (рерайт, перевод, изменение медиа, удаление ссылок);
- при рерайте через ChatGPT текст периодически переводится на русский язык;
- по возможности нужно настроить удаление водяных знаков с фото и видео поста.
4) Управляемое дублирование постов в Facebook
-
На каком языке программирования написан бот и на какой библиотеке ?
-
Актуальные фриланс-проекты в категории Парсинг данных
Парсинг данных через мобильное APIИщу человека с опытом парсинга данных через мобильное API, для парсинга e-commerce, rozetka и аналоги Задачи: 1. Перехват трафика мобильного приложения (Android) настройка прокси, анализ запросов 2. Определение нужных API endpoints куда идут запросы, какие headers… Python, Парсинг данных ∙ 13 часов 53 минуты назад ∙ 19 ставок |
Ищу программиста или вайб кодинг Автоматизация scraping данных 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я нечаянно на ту ссылку послал Веб-программирование, Парсинг данных ∙ 16 часов 15 минут назад ∙ 30 ставок |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 5 дней 10 часов назад ∙ 19 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 5 дней 14 часов назад ∙ 37 ставок |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 5 дней 17 часов назад ∙ 42 ставки |