Написать парсер для сайта.
Будет список доменов в базе
вот пример tvpager.ru
Парсер заходит на
https://www.similarweb.com/website/tvpager.ru
Берет
Global Rank
Country Rank
Category Rank
Total Visits
Avg. Visit Duration
Pages per Visit
Bounce Rate
ИЗ Traffic Sources
пишет тоже в базу эти проценты
Direct
Referrals
Search
и тд
между запросами нужны задержки
Так же писать в базу где мало трафика
https://www.similarweb.com/website/wmos.ru
пример
"Traffic Overview
We’re sorry but...
We currently lack sufficient data to show complete estimations for this website. Rest assured, we are working tirelessly to provide the world with the most reliable data about every website and every app. If you are the owner of wmos.ru, you can connect your site’s Google Analytics, to present your data on SimilarWeb."
Это надо как то в базе помечать, что статитстики на сайте мало.
Так же нужно учесть, если парсить обычными средствами php сайт банет через 5-10 запросов.
Самому с компьютера через браузер, без лимит запросов.
-
160 13 1 Доброго времени суток. Готов выполнить ваш заказ. Сделаю все быстро и качественно. Писать буду на Python (библиотека requests для запросов и BeautifulSoup для парсинга).
-
111 Здравствуйте!
Могу реализовать на Python. На счёт банов можете не беспокоиться. Вывод в любой удобный для вас формат. Срок обсудим конкретно договариваясь об выполнении.
Примеры последних парсеров:
1) Парсинг электронных адресов и имён в несколько процессов с выводом в формат .csv:
https://github.com/RomanKhudobei/Journal-Parser
2) Парсинг транзакций криптовалюты с выводом в базу данных MySQL:
https://github.com/RomanKhudobei/CryptoProject
…
Надеюсь на сотрудничество
С уважением, Роман.
-
700 19 0 Сам парсер на NodeJS. Вызов откуда удобно, даже из PHP. База - MySQL или другая, детали можно обговаривать.
С обходом блокировок проблем не будет. Количество одновременных запросов будет зависеть от железа, на котором парсер будет запущен.
Скайп wfoojjaec, прочие контакты и реквизиты:
https://wfoojjaec.eu.org/ru/contacts.html
-
1309 32 0 Добрый день, сделаю используя Python + Selenium если нужно то + прокси.
Есть масса аналогичных проектов
Спасибо
-
273 15 0 1 Добрый день. Готов реализовать на python. Срок указан с запасом.
-
143 Готов взяться за выполнение.
Пишите, обсудим детали
в личку или сюда:
[email protected]
-
322 22 0 1 Пишите обсудим подробнее в Skype: casper6132
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Aktualne zlecenia dla freelancerów w kategorii Aplikacje desktopowe
Potrzebny architekt Airtable do zbudowania schematu relacyjnego i nowej czystej bazy AirtablePotrzebna pomoc w przemyśleniu i zbudowaniu czystiej schemy relacyjnej dla wewnętrznego systemu operacyjnego w Airtable. Obecna baza jest już używana przez zespół, ale rozwinęła się organicznie: struktura jest częściowo płaska, część tabel/widoków jest używana aktywnie, część… Bazy danych i SQL, Aplikacje desktopowe ∙ 4 dni 22 godziny temu ∙ 10 ofert |
Tworzenie oprogramowania do generowania plików cięcia drewnianych puzzliSzukamy programisty do stworzenia oprogramowania, które automatyzuje proces tworzenia plików cięcia dla drewnianych figurkowych puzzli. Aktualny proces Obecnie każdy plik jest tworzony ręcznie przez projektanta w Adobe Illustrator. Plik zawiera: zewnętrzny kontur puzzla o… Aplikacje desktopowe ∙ 5 dni 3 godziny temu ∙ 14 ofert |
Mała poprawka na stronie
59 PLN
Trzeba zaktualizować umowę ofertową w stopce na nową, w firmie zmieniły się zasady Zadanie na 20 minut Programowanie stron internetowych, Aplikacje desktopowe ∙ 6 dni 4 godziny temu ∙ 112 ofert |
Narzędzie do porównywania rachunków z bankiem, kartami i księgowymZadanie techniczne: narzędzie do porównywania rachunków z bankiem, kartami i księgowymOgólny cel Potrzebne jest lokalne narzędzie (skrypt/mała aplikacja w Pythonie), które uruchamiane ręcznie co 1-2 miesiące na moim komputerze i dokonuje porównania między: Rachunkami, które… Python, Aplikacje desktopowe ∙ 8 dni 12 godzin temu ∙ 44 oferty |