You need a simple and fast program that will determine how many pages on the site.
Thus, I want to determine which websites are news. If there are news and articles published there, the page should be a lot.
For example, a list of 10,000 sites and you need to find news. If there are other ideas, I will be happy.
thank you
Также как идея, определять по микроразметке и датам. Не знаю на сколько это реально
last modified . When the last changes were.
If it’s long, it’s not news. The news is published every day or less a week.
Или еще можно отсечь сайты:
last-modifed . когда были последние изменения.
если давно, значит точно не новостной. новости публикуют каждый день или реже неделю.
-
1 day38 USD
873 11 0 1 day38 USD
Hello, I was interested in your project.
I work in Python and if necessary I make an interface in the form of a telegram bot.
I will do everything in the shortest time and at an acceptable fee.
I'm waiting for your message to talk about tz!!The !
-
2 days27 USD
160 2 days27 USD
Good afternoon, I am familiar with your task and ready to fulfill it under all conditions. Let’s write and I’ll go to work. I will be happy to cooperate.
-
1 day11 USD
83 1 day11 USD
Ready to perform the work in the shortest time possible. A lot of experience in the creation of parks.
-
1 day33 USD
796 25 4 2 1 day33 USD
Good day, I will do it for today. I’ve done parsers, there’s experience. I can show my work. The task is not difficult, ask me. The price will be agreed at LS.
-
4 days178 USD
2491 37 0 4 days178 USD
Hello to you!
Ready to take your project!
PHP, .NET, NODEJS and UNITY.
Great experience in Opencart, Laravel and WordPress.
Write, I’ll be glad to answer.
-
1 day9 USD
114 1 0 1 day9 USD
Good night, ready to do in a few hours. Experience in Parsons.
-
Добрый день, не могли бы скинуть в лс примеры сайтов? (2-3 достаточно)
-
например список:
zroadster.com
tv-kult.com
transodra-online.net
nitter.poast.org
openbiblio.social
deutsche-stimme.de
nitter.moooi.jp
evolution-mensch.de
nitter.grimneko.de
climatejustice.global
rtde.tech
filmvorfuehrer.de
sozialhilfe24.de
grillsportverein.de
http://www.tv-kult.com/
https://nitter.poast.org/
Они не новостные, там не публикуют тексты и статьи. Они нам не интересны.
Вот пример другие сайты:
https://deutsche-stimme.de/
https://www.sozialhilfe24.de/
тут новости и статьи, они нам нужны.
-
Магазины, маркет плейсы, всякие форумы тоже будут иметь множество ссылок.
Думаю нужен алгоритм не просто искать ссылки. Как вариант у большинства новостных сайтов ссылки имеют определенную структуру. Тогда, думаю, достаточно получить десяток ссылок, которые будут вписываться в шаблон. Тогда можно будет предположить что сайт новостной.
-
Да, в этом тоже есть логика. Но если я хотя бы даже на 50-70% очищу список, а другие будут маркетплейсы магазины , то это не такая и проблема.
Но если мы еще лучше очистим список, то вообще супер. -
буду рад всем предложениям
-
вот еще вариант -
С датами сложности. Формат, язык разный. Некоторые новостные сайты не пишут даты статей.
В общем, нужен какой-то алгоритм, который будет по структуре ссылок разбирать.
Итого. Имеется несколько вариантов решения. Можно сделать несколько вариантов. Каждый из которых будет записывать в csv файл результаты. Типа "сайт";"да/нет".
Для каждого метода получим по файлу. Затем ещё одной программой надо объединить результаты. Если сайт более половины методов считают новостным, принимать его таковым.
Но проблема в выборе исполнителя. Для каждого метода свой исполнитель.
-
Вы можете что то из этого реализовать?
-
Да. Могу написать программу которая попытается определить является ли сайт новостным и написать программу объединяющую результаты других программ
-
Current freelance projects in the category PHP
Improvement of the website https://koleso-center.com/ on OpenCart
223 USD
Add categories to the online store websiteUsed disksSpare tiresFastenersData is taken from the 1C database.A few more questions Type of performer: single Backend developer (OpenCart/PHP) at the Middle levelThe modifications must meet all requirementsSEO + AI promotion AI… PHP ∙ 4 hours 27 minutes back ∙ 27 proposals |
Module for OpenCart: mass creation of products from folders with imagesDevelopment of a mass product creation module for OpenCart (ocStore 3.x) A backend module for OpenCart / ocStore 3.x needs to be developed that automatically creates products from a pre-prepared folder structure with images.Main functionality: mass creation of products from… Content Management Systems, PHP ∙ 1 day 10 hours back ∙ 46 proposals |
Looking for a Bitrix24 specialist / CRM integrator to set up automation.Our company works with CRM Bitrix24. We need a specialist who can set up automatic addition of phone numbers to leads/orders in two formats. Automation must be correctly configured for two countries: the Republic of Moldova and Romania. Task: When creating a lead or order in… PHP, Web Programming ∙ 4 days 13 hours back ∙ 24 proposals |
Website optimization
Optimization of the website jdgreta.co.uk on Shopify. SEO audit attached to the project. Main tasks - - Fix all meta data - Complete the technical specifications for the programmer (since this project combines tasks for both the programmer and SEO, if you are not a company -… HTML & CSS, PHP ∙ 5 days 9 hours back ∙ 33 proposals |
Horoshop SpecialistNeed a specialist who can correctly set up the product Feed. Problem: Currently, over 13,000 products are being uploaded with the same type value (e.g., "everything for manicure and pedicure"). Because of this, it is impossible to segment products in Google Ads and set different… PHP, Website Maintenance ∙ 6 days 11 hours back ∙ 21 proposals |
Бишкек