Нижче наведені вимоги можуть бути надмірними. Після прочитання плану та вашого бачення цього проекту ми відкриті до пропозицій, ідей та інших можливостей створення цього проекту.
Загальні вимоги
1. Знання мови Python та способів скрапінгу веб-сайтів
2. Основи HTML та CSS
3. Знання або готовність вивчати бібліотеки, такі як: requests, sqlite, beautifulsoup4, selenium
4. Основи системи контролю версій git
5. Основи хмарних технологій
Специфічні вимоги:
1. Підготовка скраперів на мові Python (боти, що читають новини) для зазначених порталів з використанням бібліотеки BeautifulSoup4 або подібної
2. Збереження завантаженого контенту у форматі JSON (або в базі даних SQLite)
3. Автоматизація передачі вищезазначеного контенту до ChatGPT через API з відповідним запитом. Запит має бути параметризований так, щоб модель повернула лише змінений контент без додаткового виходу.
4. Збереження згенерованого контенту у форматі JSON або в базі даних SQLite
5. Автоматизація передачі контенту через API на веб-сайт на базі Wordpress (зі статусом запису як чернетка)
6. Автоматизація роботи програми через cron/Windows Tasks Scheduler/launchd або інший планувальник
7. За бажанням: контейнеризація програми в Docker
8. У майбутньому: розгортання програми в хмарному сервісі (Heroku, AWS, GCP або іншому)
План
Це виключно бачення дій, ми відкриті до змін, пропозицій та ідей. Все починається зі скрипту на Python, який завантажує новини з веб-сайтів (скрапінг). Це не складно технічно, але може бути неприємно, оскільки потрібно копирсатися в коді цих сайтів, іноді щось змінюється на сайті (наприклад, назва розділу або класу, який у коді сайту містить цей контент). Тож, окрім написання цих скраперів, їх потрібно буде підтримувати потім - підтримка час від часу у разі проблем.
Коли скрапер вже завантажить контент, добре, щоб він зберігав його у файлі або в якійсь простій базі даних (SQLite) у стандартному форматі - JSON підходить, оскільки буде легше надіслати дані до Чата або якогось іншого AI. Дані надсилаються через API, і я підозрюю, що JSON буде найзручнішим. З того, що я бачив, тут немає нічого складного, потрібно лише в налаштуваннях запиту, що надсилається до Чата, визначити, щоб він не додавав своїх вступів, а просто видав підсумок контенту. Він також, напевно, зробить це у формі JSON, і цю відповідь також добре було б зберегти в якому-небудь файлі.
Останній крок - надіслати це до Wordpress через API. Я бачив, що можна встановити статус запису (наприклад, чернетка), що, на мою думку, є хорошим варіантом, оскільки перед публікацією ви можете переглянути, чи немає там жодних дурниць. Але якщо все буде працювати, можна змінити статус так, щоб публікував автоматично.
Що стосується автоматизації, спочатку я б запропонував запускати це вручну раз на день або запланувати на ноутбуці - і Windows, і macOS мають такі планувальники, тому ви можете запускати це раз на день. Я думаю, що варто буде завантажити це в хмару після перевірки, як це працює, щоб не накопичити витрати занадто рано. З швидкого дослідження Heroku може бути хорошим варіантом, оскільки вони мають багато полегшень для таких простих програм.
-
28 днів97 510 UAH28 днів97 510 UAH
Доброго дня. Я маю всі необхідні навички, про які йдеться в технічній специфікації. Гарантую якість виконання замовлення. Я буду задоволений співпрацею.
Буду радий співпраці! -
7 днів97 510 UAH
350 12 1 1 7 днів97 510 UAHПривіт! Я розробник Python з 5-річним досвідом. Маю досвід роботи з бібліотеками такими як requests, BeautifulSoup4 та Selenium, а також у налаштуванні автоматизації через cron і Docker. AWS, ChatGPT, Langchain. Ціна становить близько 30$ за годину, а складність завдання залежить від труднощів веб-сайту. Крім того, моя дівчина є вчителем польської мови з рівнем C1 і нещодавно почала вивчати Python. Вона охоче допоможе в цьому проекті, завдяки чому ти отримаєш досвідченого програміста та відмінне розуміння польської мови одночасно.
Очікую технічне завдання і сподіваюся на тривалу співпрацю!
-
7 днів97 510 UAH
603 4 0 7 днів97 510 UAHЧудово, у мене є досвід роботи зі скреперами Python (один є в моєму портфоліо). Django, Selenium, Beautiful Soup, Postgres, Mongo DB - це мої технології, також маю досвід обходу обмежень швидкості на сайтах. Готовий до роботи. Ми можемо детальніше обговорити умови та ціну, запевняю в подальшій підтримці проекту, я відкритий до тривалої співпраці. Я не говорю польською, але читаю, маю англійську на рівні B1.
-
7 днів97 510 UAH
1296 26 1 1 7 днів97 510 UAHДоброго дня.
У мене питання, чи є використання мови Python обов'язковим у цьому проекті?
Я реалізую скрепери, використовуючи Node.js + Puppeteer. Якщо це буде прийнятно, можу запропонувати реалізацію в цьому стеку.
У мене досить багато досвіду в скрепінгу багатьох різних сайтів. Загальний стаж у веб-програмуванні становить близько 8 років.
Окрім самого скрепера, я також можу запропонувати реалізувати тут невеликий веб-додаток для управління скрепером та, наприклад, перегляду результатів, логів тощо. Веб-додаток можна зробити на React.js або Vue.js і запускати його разом зі скрепером. Він буде однаково добре працювати на Linux, Windows, MacOs.
Отже, запрошую до обговорення деталей і подальшої співпраці.
-
7 днів97 510 UAH
263 7 днів97 510 UAHДоброго дня Jakub S, не розмовляю польською мовою нажаль, але володію всіма навичками, які вам потрібні
Є досвід в автоматизації і парсингу та программуванню на Python, також ознайомленний з технологією створення проєктів на Wordpress
-
14 днів97 510 UAH
580 14 2 14 днів97 510 UAHДоброго дня, було б добре, якби Ви написали, які саме сторінки потрібно скрапити, бо це не завжди тривіальна справа. BeautifulSoup чи Scrapy не завжди справляються, бо є блокування cloudflare, що ускладнює справу. Плюс потрібно спланувати архітектуру, щоб парсинг не зламався при першій можливій нагоді. Запрошую до контакту, якщо Ви ще не обрали виконавця. Обговоримо технічні деталі та терміни, бо бюджет +- відомий.
-
1 день97 498 UAH
1970 25 1 1 день97 498 UAHВітаю, нажаль польською не розмовляю, проте є коллега, що допоможе з цим. Мені знайомі всі необхідні вам технології, тому вважаю що впоратись з цією задачею буде не важко. Маю великий досвід парсингу різних ресурсів, від дуже простих до складних. Пишіть, все обговоримо, думаю і ціну зробимо нижче.
-
7 днів97 510 UAH
1993 12 0 7 днів97 510 UAHДоброго дня
Маю готовий скрейпер новин з автоматичною публікацією
Без проблем реалізую для Вас такий,під Ваші вимоги
Напишіть мені
-
30 днів97 510 UAH
329 6 0 30 днів97 510 UAHДоброго дня, мене зацікавило ваше замовлення. Я маю великий досвід у створенні парсерів для веб-сайтів та API. Добре знаю бібліотеки для парсингу, sqlite3, git і працював з хмарними сервісами. Можу виконати ваше замовлення на високому рівні. У разі питань, будь ласка, пишіть.
-
7 днів97 510 UAH
852 15 4 7 днів97 510 UAHПривіт,
Я розробник з трирічним стажем. Виконаю твої завдання, пов'язані зі збором даних. Використовую Python (bs4, requests та selenium). Також працюю з іншими мовами. Можеш написати, поговоримо.
З повагою, Максим.
-
10 днів97 510 UAH
4097 5 1 10 днів97 510 UAHПривіт, Якубе.
Дякую за деталі.
Я уважно прочитав твої вимоги і все зрозумів.
Як старший програміст full stack з 10-річним досвідом у Python та WordPress, а також веб-скрапінгу за допомогою цієї чудової мови, я впевнений, що можу ідеально реалізувати твій проект і доставити його вчасно.
Крім того, у мене великий досвід інтеграції з API ChatGPT.
Думаю, що мій останній проект дуже схожий на твій.
Його мета - це просто веб-скрапінг і аналіз вмісту HTML та CSS, а також вибір необхідних даних, а потім надсилання запиту до ChatGPT через API та отримання у форматі JSON.
Це як бот і підтримує системи Windows та MacOS.
Я приєднався до цього розвитку як старший програміст full stack і керував усіма аспектами процесу розробки, включаючи управління версією Git.
… Я згоден з твоєю думкою щодо використання Heroku.
Я можу ідеально реалізувати твій проект.
Хотів би обговорити це з тобою.
Дякую.
-
14 днів97 510 UAH
577 7 0 14 днів97 510 UAHВітаю,
Я маю навички в області збору даних за допомогою beautifulsoup4 з рівня python та nodejs (працює так само), а також баз даних і автоматизації скриптів.
Запис надаю в базі даних, але це питання рухоме, і практика показує, що найкраще в даній ситуації.
Щоб точно визначити ціну, нам потрібно поговорити та обговорити деталі.
Проект, з того, що я бачу, є багатоступеневим, тому платежі відбуватимуться так само етапно.
Польська мова є моєю рідною.
…
Запрошую до контакту.
З повагою
Корнелія
-
Dzień dobry, z czego wynika budżet 8000zł, czy jest to celowe, i projekt jest na tyle skomplikowany, czy przypadek ?
-
tak go wyceniliśmy, to według Ciebie za mało czy za dużo?
-
Wszystko zależy od ilości stron do scrapowania oraz ich poziomu skomplikowania.
Cena może być dobra jeżeli jest faktycznie dużo pracy.
Pytam ponieważ jest wiele projektów z losowo wpisanymi cenami projektów -
do scrapowania byłoby 5 stron w pierwszej fazie projektu. Jeśli wszystko będzie działać będzie praca do powielenia na następnie około 20 stron.
-
Rozumiem, dziękuję
-
W takim razie, zapraszam do współpracy. Skoro jest tak dużo podstron, wtedy praca wykonywana była by przeze mnie oraz drugiego programistę z Polski z którym współpracuję.
-
Актуальні фриланс-проєкти в категорії PHP
Виконання робіт після SEO- аудиту
15 000 UAH
Потрібен досвідчений OpenCart-розробник для виконання SEO та технічних доопрацювань інтернет-магазину. Основні завдання: Виправлення структури внутрішніх посилань та меню. Додавання посилань у футер. Реалізація хлібних крихт з мікророзміткою Schema.org. Виправлення генерації… PHP, Супровід сайтів ∙ 2 дні 7 годин тому ∙ 58 ставок |
В модулі OpenCart пофіксити проблеми з Facebook APIВ OpenCart є модуль інтеграції Facebook та Instagram через API, OAuth та Webhook. Після відкриття сторінки модуля в браузері - в Фейсбук починає рости кількість АПІ запитів до Фейсбук і росте кількість помилок gr:get:InvalidID. Потрібно знайти що викликає проблеми і… PHP, Веб-програмування ∙ 2 дні 8 годин тому ∙ 39 ставок |
Потрібна інтеграція KeyCRM → ПРРО Кашалот |
Сайт на WordPress з використанням теми Kadence та Kadence Blocks.
10 000 UAH
Нам потрібно створити сайт на WordPress з використанням теми Kadence та Kadence Blocks. Інтернет-магазину не буде (хоча, ймовірно, він буде доданий у майбутньому). Потрібна головна сторінка та кілька внутрішніх сторінок. Графіка вже готова, структура макета здебільшого… CMS, PHP ∙ 6 днів 13 годин тому ∙ 38 ставок |
Розробка 2 SEO-орієнтованих сайтів з продажу запчастин (квадроцикли та спецтехніка)Розробка двох спеціалізованих сайтів з продажу запчастинЗагальна інформація Потрібно розробити два спеціалізовані сайти: Запчастини для квадроциклів, UTV, SSV та іншої подібної техніки. Запчастини для спеціальної техніки. Існуючий сайт компанії: https://kiaparts.com.ua/ Нові… PHP, Веб-програмування ∙ 7 днів 10 годин тому ∙ 77 ставок |
Польща