Добрый день,
Нужна простенькая и быстрая программа которая будет определять сколько страниц на сайте.
Тем самым, я хочу определить, какие сайты новостные. Если там публикуют новости и статьи, то страницу должно быть много.
Например список 10 000 сайтов и нужно найти новостные. Если есть другие идеи, то буду рад.
Спасибо
Также как идея, определять по микроразметке и датам. Не знаю на сколько это реально
Или еще можно отсечь сайты:
last-modifed . когда были последние изменения.
если давно, значит точно не новостной. новости публикуют каждый день или реже неделю.
-
1 день1700 UAH
893 11 0 1 день1700 UAH
Здравствуйте, меня заинтересовал ваш проект.
Работаю на языке python и если понадобиться сделаю интерфейс в виде Телеграм бота
Сделаю все в кратчайшие сроки и за приемлемую плату
Буду ждать вашего сообщения для того что бы пообщаться по поводу тз!!!
-
2 дня1200 UAH
160 2 дня1200 UAH
Добрый день, ознакомился с вашим заданием и готов его выполнить по всем условиям. Пишите обсудим и приступлю к работе. Буду рад сотрудничать.
-
1 день500 UAH
83 1 день500 UAH
Готов выполнить работу в кротчайшие сроки. Много опыта в создании парсеров.
-
1 день1500 UAH
796 25 4 2 1 день1500 UAH
Добрый день, выполню за сегодня. Делал парсеры, опыт есть. Могу показать мои работы. Задача не сложная, обращайтесь. По цене договоримся в ЛС
-
4 дня8000 UAH
2491 37 0 4 дня8000 UAH
Здравствуйте!
Готов взяться за Ваш проект!
PHP, .NET, NODEJS, UNITY.
Большой опыт в Opencart, Laravel и WordPress.
Пишите, буду рад ответить.
-
1 день400 UAH
114 1 0 1 день400 UAH
Добрый вечер, готова выполнить за несколько часов. Есть опыт в парсинге
-
Добрый день, не могли бы скинуть в лс примеры сайтов? (2-3 достаточно)
-
например список:
zroadster.com
tv-kult.com
transodra-online.net
nitter.poast.org
openbiblio.social
deutsche-stimme.de
nitter.moooi.jp
evolution-mensch.de
nitter.grimneko.de
climatejustice.global
rtde.tech
filmvorfuehrer.de
sozialhilfe24.de
grillsportverein.de
http://www.tv-kult.com/
https://nitter.poast.org/
Они не новостные, там не публикуют тексты и статьи. Они нам не интересны.
Вот пример другие сайты:
https://deutsche-stimme.de/
https://www.sozialhilfe24.de/
тут новости и статьи, они нам нужны.
-
Магазины, маркет плейсы, всякие форумы тоже будут иметь множество ссылок.
Думаю нужен алгоритм не просто искать ссылки. Как вариант у большинства новостных сайтов ссылки имеют определенную структуру. Тогда, думаю, достаточно получить десяток ссылок, которые будут вписываться в шаблон. Тогда можно будет предположить что сайт новостной.
-
Да, в этом тоже есть логика. Но если я хотя бы даже на 50-70% очищу список, а другие будут маркетплейсы магазины , то это не такая и проблема.
Но если мы еще лучше очистим список, то вообще супер. -
буду рад всем предложениям
-
вот еще вариант -
С датами сложности. Формат, язык разный. Некоторые новостные сайты не пишут даты статей.
В общем, нужен какой-то алгоритм, который будет по структуре ссылок разбирать.
Итого. Имеется несколько вариантов решения. Можно сделать несколько вариантов. Каждый из которых будет записывать в csv файл результаты. Типа "сайт";"да/нет".
Для каждого метода получим по файлу. Затем ещё одной программой надо объединить результаты. Если сайт более половины методов считают новостным, принимать его таковым.
Но проблема в выборе исполнителя. Для каждого метода свой исполнитель.
-
Вы можете что то из этого реализовать?
-
Да. Могу написать программу которая попытается определить является ли сайт новостным и написать программу объединяющую результаты других программ
-
Актуальные фриланс-проекты в категории PHP
Специалист по HoroshopНужен специалист, который сможет правильно настроить товарный Feed. Проблема: Сейчас более 13 000 товаров выгружаются с одинаковым значением типа (например, «все для маникюра и педикюра»). Из-за этого в Google Ads невозможно разделить товары на сегменты и задать разные… PHP, Сопровождение сайтов ∙ 13 минут назад ∙ 5 ставок |
Сделать так, чтобы письма о заказах из магазина не попадали в спамСейчас есть магазин на опенкарт, письма о заказах попадают в спам, нужно сделать так, чтобы они попадали во Входящие (ukr.net gmail), проверьте. Хостинг написал: Плохая доставка электронной почты может быть связана с низкой репутацией отправителя - IP или домена. В таком… PHP, Веб-программирование ∙ 1 день 1 час назад ∙ 46 ставок |
Перенести полностью готовую адаптивную HTML5-структуру в WordPress.
12 000 UAH
Я ищу опытного WordPress-разработчика, который сможет преобразовать наш тщательно подготовленный статический HTML5/CSS3 код в высокопроизводимую кастомную WordPress-тему. Фронтенд уже практически готов (примерно 99%): семантическая разметка, метаданные и мультиязычная структура… CMS, PHP ∙ 4 дня 3 часа назад ∙ 69 ставок |
Интеграция GoPosПривет, делал кто нибудь интеграцию GoPos с кастомным сайтом для ресторана в Польше? Нужна помощь, у них очень скудная документация, есть только swagger и тот без описаний https://app.gopos.io/doc/swagger-ui/index.html Суть такая, использовали от них сайт для онлайн заказов,… PHP, Веб-программирование ∙ 4 дня 19 часов назад ∙ 26 ставок |
Прописать мета данные АЛЬТ при помощи ИИСайт на Laravel , на сайте много изображений, для которых нужно прописать корректные по семантики и релевантные для странице АЛЬТ описание изображения в автоматическом режиме, с возможностью проверки AI и машинное обучение, PHP ∙ 5 дней 16 часов назад ∙ 35 ставок |
Бишкек