Poniższe wymagania mogą być nad wyrost. Po przeczytaniu planu i Twojej wizji na ten projekt jesteśmy otwarci na sugestie, propozycje i inne możliwości stworzenia tego projektu.
Wymagania ogólne
1. Znajomość języka Python oraz sposobów scrapowania witryn internetowych
2. Podstawowa znajomość HTML i CSS
3. Znajomość lub gotowość nauki bibliotek takich jak: requests, sqlite, beautifulsoup4, selenium
4. Podstawowa znajomość systemu kontroli wersji git
5. Podstawowa znajomość technologii chmurowych
Wymagania szczegółowe:
1. Przygotowanie scraperów w języku Python (boty czytające strony z newsami) dla wymienionych portali z wykorzystaniem biblioteki BeautifulSoup4 lub podobnej
2. Zapis pobranych treści w formacie JSON (lub w bazie danych SQLite)
3. Automatyzacja przesyłania ww. treści do ChatGPT poprzez API wraz z odpowiednim promptem. Zapytanie powinno być sparametryzowane tak, aby model zwrócił jedynie zmienioną treść bez dodatkowego outputu.
4. Zapis wygenerowanych treści w formacie JSON lub w bazie danych SQLite
5. Automatyzacja przesyłania treści poprzez API do strony internetowej opartej na Wordpressie (ze statusem wpisu jako draft)
6. Zautomatyzowanie działania programu poprzez cron/Windows Tasks Scheduler/launchd lub inny scheduler
7. Opcjonalnie: konteneryzacja programu w Dockerze
8. W przyszłości: zdeployowanie aplikacji w serwisie chmurowym (Heroku, AWS, GCP lub innym)
Plan
To jest wyłączne wizja działania, jesteśmy otwarcie na zmiany, propozycje i sugestie. Zaczyna się od skryptu w Pythonie, który pobiera newsy ze stron internetowych (scrapowanie). To nie jest trudne technicznie ale może być upierdliwe bo trzeba pogrzebać w kodzie tych stron, czasami cos się zmieni na stronie (np. nazwa działu albo klasy która w kodzie strony trzyma tę treść). Więc oprócz napisania tych scraperów, trzeba będzie je utrzymywać potem - support od czasu do czasu w razie problemów.
Jak scraper już pobierze treść, to dobrze żeby zapisał w pliku albo jakiejś prostej bazie danych (SQLite) ją w jakimś w standardowym formacie - JSON jest spoko, bo będzie łatwiej wysłać dane do Chata albo jakiegoś innego AI. Dane wysyła się przez API i podejrzewam że JSON będzie najwygodniejszy. Z tego co patrzyłem to nie ma tu nic trudnego, trzeba tylko w ustawieniach requesta wysyłanego do Chata zdefiniować, żeby nie dodawał tych swoich wstępów tylko wypluł samo podsumowanie treści. Też zrobi to w postaci JSONa raczej i tę odpowiedź też dobrze by zapisać w jakimś pliku.
Ostatni krok to wysłanie tego do Wordpressa przez API. Widziałem, że można ustawić status wpisu (np. draft) co myślę że jest spoko opcją, bo przed publikacją możecie przejrzeć czy nie ma tam żadnych głupot. Ale jak będzie śmigało, to można zmienić status tak, żeby publikował automatycznie.
Jeśli o automatyzację chodzi, na początek bym sugerował odpalać to z łapy raz dziennie albo zaschedulować sobie na lapku - i Windows i macOS mają takie schedulery, więc możecie to puszczać raz dziennie. Myślę, że na chmurę warto to będzie wrzucić po weryfikacji jak to śmiga, żeby nie nabiło wam za wcześnie kosztów. Z szybkiego researchu Heroku może być spoko opcją, bo mają dużo ułatwień dla takich prostych programów.
-
28 dni8000 PLN28 dni8000 PLN
Dzień dobry. Posiadam wszystkie niezbędne umiejętności, o których mowa w specyfikacji technicznej. Gwarantuję jakość wykonania zamówienia. Będę zadowolony z współpracy.
-
7 dni8000 PLN
350 12 1 1 7 dni8000 PLNCześć! Jestem deweloperem Python z 5-letnim doświadczeniem. Posiadam doświadczenie z bibliotekami takimi jak requests, BeautifulSoup4 oraz Selenium, a także w konfigurowaniu automatyzacji przez cron i Docker. AWS, ChatGPT, Langchain. Cena wynosi około 30$ za godzinę, a złożoność zadania zależy od trudności strony internetowej. Oprócz tego, moja dziewczyna jest nauczycielką języka polskiego posiadając poziom C1 i niedawno zaczęła uczyć się Pythona. Chętnie pomoże przy tym projekcie, dzięki czemu zyskasz doświadczonego programistę i doskonałe zrozumienie języka polskiego jednocześnie.
Очікую технічне завдання і сподіваюся на тривалу співпрацю!
-
7 dni8000 PLN
603 4 0 7 dni8000 PLNŚwietnie, mam po prostu doświadczenie ze skraperami Pythona (jeden jest w moim portfolio). Django, Selenium, Beatiful Soup, Postgres, Mongo DB to są moje technologie, mam też doświadczenie w omijaniu ograniczeń szybkości na stronach. Gotowy do pracy. Możemy dogadać się bardziej szczegółowo o warunkach i cenie, zapewniam dalsze wsparcie projektu, jestem otwarty na dłuższą współpracę. Nie mówię po polsku, ale czytam, mam angielski na poziomie B1.
-
7 dni8000 PLN
1296 26 1 1 7 dni8000 PLNDzień dobry.
Mam pytanie, czy wykorzystanie języka Python jest konieczne w tym projekcie?
Realizuję scrapery, używając Node.js + Puppeteer. Jeśli to było by OK, mogę Panu zaproponować realizację w tym stacku.
Mam dość dużo doświadzenia w scrapowaniu wielu różnych stron. Ogólny staż w web-programowaniu jest około 8 lat.
Oprócz właśnie scrapera mogę także zaporoponować zrealizować tu niewielki web-application dla zarządzania scraperem oraz naprzykład przeglądu rezultatów, logów itp. Web-app można zrobić na React.js lub Vue.js i uruchamiać to razem ze scraperem. Będzię jednakowo dobrze pracować na Linux, Windows, MacOs.
Więc, zapraszam do omówienia szczegołow i podalszej współpracy.
-
7 dni8000 PLN
263 7 dni8000 PLNDzień dobry Jakub S, niestety nie mówię po polsku, ale posiadam wszystkie umiejętności, których potrzebujesz
Mam doświadczenie w automatyzacji i parsowaniu oraz programowaniu w Pythonie, a także jestem zaznajomiony z technologią tworzenia projektów na Wordpress
-
14 dni8000 PLN
580 14 2 14 dni8000 PLNDzień dobry, fajnie by było, by Pan napisał jakie to strony trzeba scrapować, bo to nie jest zawsze trywialna sprawa, BeautifulSoup czy Scrapy nie zawsze dają radę, bo są blokady cloudflare, co utrudnia sprawę. Plus trzeba zaplanować architekturę, by sie nie wykrzaczyl sie parsing przy pierwszej mozliwej okazji. Zapraszam do kontaktu, jesli Pan jeszcze nie wybral wykonawcy. Omówimy technikalia i terminy, bo budzet +- wiadomo jaki jest.
-
1 dzień7999 PLN
1984 25 1 1 dzień7999 PLNWitam, niestety nie mówię po polsku, ale mam kolegę, który pomoże w tej sprawie. Znam wszystkie potrzebne technologie, więc uważam, że poradzę sobie z tym zadaniem bez problemu. Mam duże doświadczenie w parsowaniu różnych zasobów, od bardzo prostych do skomplikowanych. Piszcie, wszystko omówimy, myślę, że cenę zrobimy niższą.
-
7 dni8000 PLN
1993 12 0 7 dni8000 PLNDzień dobry
Mam gotowego skrypera wiadomości z automatyczną publikacją
Bez problemu zrealizuję dla Ciebie taki, pod Twoje wymagania
Napisz do mnie
-
30 dni8000 PLN
329 6 0 30 dni8000 PLNDzień dobry, zainteresowało mnie Państwa zlecenie. Mam duże doświadczenie w tworzeniu parserów do stron internetowych i API. Dobrze znam biblioteki do parsowania, sqlite3, git i pracowałem z usługami chmurowymi. Mogę wykonać Państwa zlecenie na wysokim poziomie. W razie pytań, proszę pisać.
-
7 dni8000 PLN
852 15 4 7 dni8000 PLNHej,
Jestem developerem ze stażem od 3 lat. Załatwie twoje taski zwązanę ze scrapowaniem danych. Używam Pythona(bs4, requests oraz selenium). Też pracuję w innych językach. Możesz napisać, porozmawiamy.
Pozdrawiam, Maksim.
-
10 dni8000 PLN
4097 5 1 10 dni8000 PLNCześć, Jakub.
Dziękuję za szczegóły.
Przeczytałem uważnie Twoje wymagania i wszystko zrozumiałem.
Jako starszy programista full stack z 10-letnim doświadczeniem w Pythonie i WordPressie oraz web scrappingu przy użyciu tego świetnego języka, jestem pewien, że mogę perfekcyjnie zrealizować Twój projekt i dostarczyć go na czas.
Ponadto mam duże doświadczenie w integracji z API ChatGPT.
Myślę, że mój ostatni projekt jest bardzo podobny do Twojego.
Jego celem jest po prostu web scraping i analiza zawartości HTML i CSS oraz wybieranie potrzebnych danych, a następnie wysyłanie zapytania do ChatGPT za pośrednictwem API i pobieranie w formacie JSON.
To jest jak bot i obsługuje systemy Windows i MacOS.
Dołączyłem do tego rozwoju jako starszy programista full stack i zarządzałem wszystkimi aspektami procesu rozwoju, w tym zarządzaniem wersją Git.
… Zgadzam się z Twoją opinią dotyczącą korzystania z Heroku.
Mogę perfekcyjnie zrealizować Twój projekt.
Chciałbym z Tobą omówić.
Dziękuję.
-
14 dni8000 PLN
602 7 0 14 dni8000 PLNWitam,
Posiadam umiejętności z zakresu scrapowania danych za pomocą beautifulsoup4 z poziomu pythona i nodejs (działa tak samo) jak i również baz danych i automatyzacji skryptów.
Zapis preferuję w bazie danych, ale to jest kwestia ruchoma i praktyka pokazuje co najlepsze w danej sytuacji.
Aby określić dokładnie cenę musimy porozmawiać i omówić szczegóły.
Projekt z tego, co widzę jest wieloetapowy więc płatności obywały by się tak samo etapowo.
Język polski jest moim ojczystym.
…
Zapraszam do kontaktu.
Pozdrawiam
Korneliia
-
Dzień dobry, z czego wynika budżet 8000zł, czy jest to celowe, i projekt jest na tyle skomplikowany, czy przypadek ?
-
tak go wyceniliśmy, to według Ciebie za mało czy za dużo?
-
Wszystko zależy od ilości stron do scrapowania oraz ich poziomu skomplikowania.
Cena może być dobra jeżeli jest faktycznie dużo pracy.
Pytam ponieważ jest wiele projektów z losowo wpisanymi cenami projektów -
do scrapowania byłoby 5 stron w pierwszej fazie projektu. Jeśli wszystko będzie działać będzie praca do powielenia na następnie około 20 stron.
-
Rozumiem, dziękuję
-
W takim razie, zapraszam do współpracy. Skoro jest tak dużo podstron, wtedy praca wykonywana była by przeze mnie oraz drugiego programistę z Polski z którym współpracuję.
-
Aktualne zlecenia dla freelancerów w kategorii PHP
Wykonanie prac po audycie SEO
1231 PLN
Potrzebny doświadczony programista OpenCart do wykonania SEO i technicznych poprawek sklepu internetowego. Główne zadania: Poprawa struktury wewnętrznych linków i menu. Dodanie linków w stopce. Realizacja okruszków z mikroformatowaniem Schema.org. Poprawa generacji sitemap.xml… PHP, Obsługa stron internetowych ∙ 9 godzin 59 minut temu ∙ 44 oferty |
W module OpenCart naprawić problemy z Facebook APIW OpenCart jest moduł integracji Facebook i Instagram przez API, OAuth i Webhook. Po otwarciu strony modułu w przeglądarce - w Facebooku zaczyna rosnąć liczba zapytań API do Facebooka i rośnie liczba błędów gr:get:InvalidID. Należy znaleźć, co powoduje problemy i naprawić… PHP, Programowanie stron internetowych ∙ 11 godzin 13 minut temu ∙ 32 oferty |
Zrobić wtyczkę WordPress do ankiety (quizu)
820 PLN
Potrzebujemy opracować wtyczkę WordPress, która będzie potrafiła - przechowywać bank pytań, wszystkie w tym samym formacie - pytanie i 4 odpowiedzi, 1 poprawna - pokazywać 12 pytań w losowej kolejności, liczyć czas - zbierać dane użytkownika - pokazywać końcowy wynik z… PHP, Programowanie stron internetowych ∙ 18 godzin 42 minuty temu ∙ 88 ofert |
Potrzebna integracja KeyCRM → PRRO KaszalotTrzeba skonfigurować integrację między KeyCRM a PRRO Kaszalot. Podczas składania zamówienia w KeyCRM dane mają być automatycznie przesyłane do Kaszalota: • informacje o zamówieniu • towary, asortyment • ceny • ilość Szczegóły w wiadomości prywatnej. Content Management Systems, PHP ∙ 3 dni 6 godzin temu ∙ 28 ofert |
Strona na WordPressie z wykorzystaniem motywu Kadence i Kadence Blocks.
820 PLN
Musimy stworzyć stronę na WordPressie z wykorzystaniem motywu Kadence oraz Kadence Blocks. Sklepu internetowego nie będzie (chociaż prawdopodobnie zostanie dodany w przyszłości). Potrzebna jest strona główna oraz kilka stron wewnętrznych. Grafika jest już gotowa, struktura… Content Management Systems, PHP ∙ 4 dni 16 godzin temu ∙ 38 ofert |
Polska