Ниже приведенные требования могут быть избыточными. После прочтения плана и вашего видения этого проекта мы открыты для предложений, идей и других возможностей создания этого проекта.
Общие требования
1. Знание языка Python и способов скрапинга веб-сайтов
2. Базовое знание HTML и CSS
3. Знание или готовность учиться библиотекам, таким как: requests, sqlite, beautifulsoup4, selenium
4. Базовое знание системы контроля версий git
5. Базовое знание облачных технологий
Специфические требования:
1. Подготовка скрапера на языке Python (боты, читающие страницы с новостями) для указанных порталов с использованием библиотеки BeautifulSoup4 или аналогичной
2. Сохранение загруженного контента в формате JSON (или в базе данных SQLite)
3. Автоматизация передачи вышеупомянутого контента в ChatGPT через API с соответствующим промптом. Запрос должен быть параметризован так, чтобы модель возвращала только измененный контент без дополнительного вывода.
4. Сохранение сгенерированного контента в формате JSON или в базе данных SQLite
5. Автоматизация передачи контента через API на веб-сайт на базе Wordpress (со статусом записи как черновик)
6. Автоматизация работы программы через cron/Windows Tasks Scheduler/launchd или другой планировщик
7. По желанию: контейнеризация программы в Docker
8. В будущем: развертывание приложения в облачном сервисе (Heroku, AWS, GCP или другом)
План
Это исключительно видение действий, мы открыты для изменений, предложений и идей. Начинается с скрипта на Python, который загружает новости с веб-сайтов (скрапинг). Это не сложно с технической точки зрения, но может быть утомительно, потому что нужно копаться в коде этих страниц, иногда что-то меняется на странице (например, название раздела или класс, который в коде страницы хранит этот контент). Поэтому, помимо написания этих скрапера, нужно будет их поддерживать потом - поддержка время от времени в случае проблем.
Когда скрапер уже загрузит контент, было бы хорошо сохранить его в файл или в какую-то простую базу данных (SQLite) в стандартном формате - JSON подходит, потому что будет легче отправить данные в Chat или в другое AI. Данные отправляются через API, и я предполагаю, что JSON будет наиболее удобным. Судя по тому, что я видел, здесь нет ничего сложного, нужно только в настройках запроса, отправляемого в Chat, определить, чтобы он не добавлял свои вступления, а просто выдал само резюме контента. Он тоже сделает это в виде JSON и этот ответ тоже было бы хорошо сохранить в каком-то файле.
Последний шаг - отправка этого в Wordpress через API. Я видел, что можно установить статус записи (например, черновик), что, я думаю, является хорошим вариантом, потому что перед публикацией вы можете проверить, нет ли там никаких глупостей. Но когда все будет работать, можно изменить статус так, чтобы он публиковался автоматически.
Что касается автоматизации, в начале я бы предложил запускать это вручную раз в день или запланировать на ноутбуке - и Windows, и macOS имеют такие планировщики, так что вы можете запускать это раз в день. Я думаю, что в облако стоит это загрузить после проверки, как это работает, чтобы не накапливать расходы слишком рано. Из быстрого исследования Heroku может быть хорошим вариантом, потому что у них много упрощений для таких простых программ.
-
28 дней96 851 UAH28 дней96 851 UAH
Добрый день. У меня есть все необходимые навыки, о которых говорится в технической спецификации. Гарантирую качество выполнения заказа. Я буду рад сотрудничеству.
-
7 дней96 851 UAH
360 12 1 1 7 дней96 851 UAHПривет! Я разработчик Python с 5-летним опытом. У меня есть опыт работы с библиотеками, такими как requests, BeautifulSoup4 и Selenium, а также в настройке автоматизации через cron и Docker. AWS, ChatGPT, Langchain. Цена составляет около 30$ в час, а сложность задачи зависит от трудности веб-сайта. Кроме того, моя девушка является учителем польского языка с уровнем C1 и недавно начала изучать Python. Она с радостью поможет с этим проектом, благодаря чему ты получишь опытного программиста и отличное понимание польского языка одновременно.
Ожидаю техническое задание и надеюсь на длительное сотрудничество!
-
7 дней96 851 UAH
603 4 0 7 дней96 851 UAHОтлично, у меня есть опыт работы с Python-скрейперами (один из них в моем портфолио). Django, Selenium, Beautiful Soup, Postgres, Mongo DB - это мои технологии, у меня также есть опыт обхода ограничений скорости на сайтах. Готов к работе. Мы можем обсудить более подробно условия и цену, я обеспечу дальнейшую поддержку проекта, я открыт для долгосрочного сотрудничества. Я не говорю по-польски, но читаю, у меня уровень английского B1.
-
7 дней96 851 UAH
1296 26 1 1 7 дней96 851 UAHДобрый день.
У меня вопрос, необходимо ли использование языка Python в этом проекте?
Я реализую скрейперы, используя Node.js + Puppeteer. Если это будет нормально, я могу предложить вам реализацию в этом стеке.
У меня довольно много опыта в скрейпинге различных сайтов. Общий стаж в веб-программировании составляет около 8 лет.
Кроме скрейпера, я также могу предложить реализовать небольшое веб-приложение для управления скрейпером и, например, для просмотра результатов, логов и т. д. Веб-приложение можно сделать на React.js или Vue.js и запускать его вместе со скрейпером. Оно будет одинаково хорошо работать на Linux, Windows, MacOs.
Итак, приглашаю вас обсудить детали и дальнейшее сотрудничество.
-
7 дней96 851 UAH
263 7 дней96 851 UAHДобрый день, Jakub S, к сожалению, я не говорю по-польски, но обладаю всеми навыками, которые вам нужны.
Есть опыт в автоматизации и парсинге, а также программировании на Python, также знаком с технологией создания проектов на Wordpress.
-
14 дней96 851 UAH
580 14 2 14 дней96 851 UAHДобрый день, было бы здорово, если бы Вы написали, какие страницы нужно скрапировать, потому что это не всегда тривиальная задача. BeautifulSoup или Scrapy не всегда справляются, потому что есть блокировки cloudflare, что усложняет задачу. Плюс нужно спланировать архитектуру, чтобы парсинг не сломался при первой же возможности. Приглашаю к контакту, если Вы еще не выбрали исполнителя. Обсудим технические детали и сроки, потому что бюджет +- известен.
-
1 день96 839 UAH
1984 25 1 1 день96 839 UAHЗдравствуйте, к сожалению, я не говорю по-польски, но есть коллега, который поможет с этим. Мне знакомы все необходимые вам технологии, поэтому считаю, что справиться с этой задачей будет не трудно. У меня большой опыт парсинга различных ресурсов, от очень простых до сложных. Пишите, все обсудим, думаю, и цену сделаем ниже.
-
7 дней96 851 UAH
1993 12 0 7 дней96 851 UAHДобрый день
У меня есть готовый новостной скрейпер с автоматической публикацией
Без проблем реализую для вас такой, под ваши требования
Напишите мне
-
30 дней96 851 UAH
329 6 0 30 дней96 851 UAHДобрый день, меня заинтересовал ваш заказ. У меня большой опыт в создании парсеров для веб-сайтов и API. Я хорошо знаком с библиотеками для парсинга, sqlite3, git и работал с облачными сервисами. Я могу выполнить ваш заказ на высоком уровне. Если у вас есть вопросы, пожалуйста, пишите.
-
7 дней96 851 UAH
852 15 4 7 дней96 851 UAHПривет,
Я разработчик с трехлетним стажем. Я решу твои задачи, связанные с парсингом данных. Я использую Python (bs4, requests и selenium). Также я работаю на других языках. Можешь написать, поговорим.
С уважением, Максим.
-
10 дней96 851 UAH
4097 5 1 10 дней96 851 UAHПривет, Якуб.
Спасибо за детали.
Я внимательно прочитал твои требования и всё понял.
Как старший full stack разработчик с 10-летним опытом работы с Python и WordPress, а также веб-скрапингом с использованием этого замечательного языка, я уверен, что могу идеально реализовать твой проект и доставить его вовремя.
Кроме того, у меня большой опыт интеграции с API ChatGPT.
Я думаю, что мой последний проект очень похож на твой.
Его цель - просто веб-скрапинг и анализ содержимого HTML и CSS, а также выбор необходимых данных, а затем отправка запроса к ChatGPT через API и получение в формате JSON.
Это как бот и он поддерживает системы Windows и MacOS.
Я присоединился к этому проекту как старший full stack разработчик и управлял всеми аспектами процесса разработки, включая управление версиями Git.
… Я согласен с твоим мнением о использовании Heroku.
Я могу идеально реализовать твой проект.
Я хотел бы обсудить это с тобой.
Спасибо.
-
14 дней96 851 UAH
602 7 0 14 дней96 851 UAHЗдравствуйте,
У меня есть навыки в области скрапинга данных с использованием beautifulsoup4 на Python и Node.js (работает одинаково), а также в базах данных и автоматизации скриптов.
Я предпочитаю сохранять данные в базе данных, но это вопрос гибкий, и практика показывает, что лучше всего в данной ситуации.
Чтобы точно определить цену, нам нужно поговорить и обсудить детали.
Проект, судя по всему, многоэтапный, поэтому платежи будут производиться также поэтапно.
Польский язык является моим родным.
…
Приглашаю к контакту.
С уважением,
Корнелия
-
Dzień dobry, z czego wynika budżet 8000zł, czy jest to celowe, i projekt jest na tyle skomplikowany, czy przypadek ?
-
tak go wyceniliśmy, to według Ciebie za mało czy za dużo?
-
Wszystko zależy od ilości stron do scrapowania oraz ich poziomu skomplikowania.
Cena może być dobra jeżeli jest faktycznie dużo pracy.
Pytam ponieważ jest wiele projektów z losowo wpisanymi cenami projektów -
do scrapowania byłoby 5 stron w pierwszej fazie projektu. Jeśli wszystko będzie działać będzie praca do powielenia na następnie około 20 stron.
-
Rozumiem, dziękuję
-
W takim razie, zapraszam do współpracy. Skoro jest tak dużo podstron, wtedy praca wykonywana była by przeze mnie oraz drugiego programistę z Polski z którym współpracuję.
-
Актуальные фриланс-проекты в категории PHP
Нужна интеграция KeyCRM → ПРРО Кашалот |
Сайт на WordPress с использованием темы Kadence и Kadence Blocks.
10 000 UAH
Нам нужно создать сайт на WordPress с использованием темы Kadence и Kadence Blocks. Интернет-магазина не будет (хотя, вероятно, он будет добавлен в будущем). Нужна главная страница и несколько внутренних страниц. Графика уже готова, структура макета в основном определена,… CMS, PHP ∙ 2 дня 18 часов назад ∙ 38 ставок |
Разработка 2 SEO-ориентированных сайтов по продаже запчастей (квадроциклы и спецтехника)Разработка двух специализированных сайтов по продаже запчастейОбщая информация Необходимо разработать два специализированных сайта: Запчасти для квадроциклов, UTV, SSV и другой подобной техники. Запчасти для специальной техники. Существующий сайт компании:… PHP, Веб-программирование ∙ 3 дня 16 часов назад ∙ 77 ставок |
Разработка веб-сайта WordPress
1002 UAH
|
Парсер expireddomains.net
5000 UAH
Нужен парсер expireddomains.net на сайте нужно сначала залогиниться, проблема в том что блокирует ИП при попытке парсить данные, нужно парсить тематические домены по списку ключевых слов, кто не уверен в своих силах не пишите PHP, Веб-программирование ∙ 8 дней 15 часов назад ∙ 52 ставки |
Польша