Написать парсер для сайта.
Будет список доменов в базе
вот пример tvpager.ru
Парсер заходит на
https://www.similarweb.com/website/tvpager.ru
Берет
Global Rank
Country Rank
Category Rank
Total Visits
Avg. Visit Duration
Pages per Visit
Bounce Rate
ИЗ Traffic Sources
пишет тоже в базу эти проценты
Direct
Referrals
Search
и тд
между запросами нужны задержки
Так же писать в базу где мало трафика
https://www.similarweb.com/website/wmos.ru
пример
"Traffic Overview
We’re sorry but...
We currently lack sufficient data to show complete estimations for this website. Rest assured, we are working tirelessly to provide the world with the most reliable data about every website and every app. If you are the owner of wmos.ru, you can connect your site’s Google Analytics, to present your data on SimilarWeb."
Это надо как то в базе помечать, что статитстики на сайте мало.
Так же нужно учесть, если парсить обычными средствами php сайт банет через 5-10 запросов.
Самому с компьютера через браузер, без лимит запросов.
-
72 13 1 Доброго времени суток. Готов выполнить ваш заказ. Сделаю все быстро и качественно. Писать буду на Python (библиотека requests для запросов и BeautifulSoup для парсинга).
-
111 Здравствуйте!
Могу реализовать на Python. На счёт банов можете не беспокоиться. Вывод в любой удобный для вас формат. Срок обсудим конкретно договариваясь об выполнении.
Примеры последних парсеров:
1) Парсинг электронных адресов и имён в несколько процессов с выводом в формат .csv:
https://github.com/RomanKhudobei/Journal-Parser
2) Парсинг транзакций криптовалюты с выводом в базу данных MySQL:
https://github.com/RomanKhudobei/CryptoProject
…
Надеюсь на сотрудничество
С уважением, Роман.
-
700 19 0 Сам парсер на NodeJS. Вызов откуда удобно, даже из PHP. База - MySQL или другая, детали можно обговаривать.
С обходом блокировок проблем не будет. Количество одновременных запросов будет зависеть от железа, на котором парсер будет запущен.
Скайп wfoojjaec, прочие контакты и реквизиты:
https://wfoojjaec.eu.org/ru/contacts.html
-
1333 32 0 Добрый день, сделаю используя Python + Selenium если нужно то + прокси.
Есть масса аналогичных проектов
Спасибо
-
273 15 0 1 Добрый день. Готов реализовать на python. Срок указан с запасом.
-
143 Готов взяться за выполнение.
Пишите, обсудим детали
в личку или сюда:
[email protected]
-
322 22 0 1 Пишите обсудим подробнее в Skype: casper6132
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Aktualne zlecenia dla freelancerów w kategorii Aplikacje desktopowe
Modyfikacja w pracy emulatora
164 PLN
Witaj. Ściągnąłem z Internetu emulator automatu do gier gaminator cf final. Bardzo mi się podoba, ale są tam niedociągnięcia. Jest panel administracyjny, ale otwiera się swobodnie, a nie zamyka w ogóle. Zamyka się tylko razem z aplikacją. A dane po zmianach w panelu… Aplikacje desktopowe ∙ 1 dzień 17 godzin temu ∙ 10 ofert |
Opracowanie niestandardowego oprogramowania (aplikacja na Androida + CMS) dla kiosków samoobsługowych SUNMI K2 (fast food)
82 PLN
Szukamy doświadczonego zespołu lub programisty Android na poziomie średnim/zaawansowanym (możliwe, że z umiejętnościami Full-stack) do stworzenia własnego oprogramowania dla kiosków samoobsługowych sieci fast food. Obecnie nasze terminale działają na bazie gotowego chmurowego… Content Management Systems, Aplikacje desktopowe ∙ 6 dni 13 godzin temu ∙ 23 oferty |
Należy przeprowadzić migrację obecnego programu roboczego z foxpro na C#Cześć wszystkim! Mamy program na foxpro (ma kilka modułów, program do ewidencji), mamy źródła programu, w razie pilnej potrzeby można skonsultować się z osobami zajmującymi się wsparciem bieżącego programu. Co należy zrobić: 1. Analiza, co i jak działa, sporządzenie listy… C#, Aplikacje desktopowe ∙ 11 dni 21 godzin temu ∙ 19 ofert |