Уточнения:
1. Прозапас берется 11 статей, поэтому в границе <item></item> их может быть больше 10, кол-во статей в границе можно посчитать по заголовкам h1, сколько заголовков, столько и статей.
2. Заголовки без текста:
Пример:
<h2>Можно ли перевести деньги с Payeer на QIWI</h2>
<h2>Необходимые условия</h2>
Можно поставить условие, что если между </h2> и <h2> нет ничего, то удалить <h2>Можно ли перевести деньги с Payeer на QIWI</h2>, а лучше поставить под ним видео из Ютуба, спаршенное по одноименному запросу.
Пособирал руками и пришло понимание h1 с текстом удаляем до первого h2, и так у каждой статьи, можно брать первые 2 h2 с текстом, но если они не привышают 2-3к символов, заголовки с нумервоаными маркерованными списками в приоритете, но ставить их нужно после чистки второго сайта.
H2 заголовки лучше забирать с наследуемыми h3 заголовками, пример:
<h2>Особенности пополнения с карты Сбербанка</h2>
текст
<h3>Пополнение с карты Тинькофф</h3>
текст
<h3>Пополнение счета ПейПал с телефона</h3>
текст
<h3>Как пополнить счет PayPal с банковской карты</h3>
текст
<h3>Как положить деньги на PayPal через терминал</h3>
текст
<h3>Перевод на PayPal с другого аккаунта PayPal</h3>
текст
Тут обрезаем
___________________________________________________
<h2>Особенности пополнения с карты Альфабанка</h2>
3. Так как я эти статьи заливаю на ВордПРесс, я пользуюсь импортом в формате xml, поэтому в файле который приложен к задаче есть теги для импорта, их нужно тоже оставить ,я потом переведу файл из txt в xml и загружу на сайт (если вам удобно работать в txt).
4. Файл xml может содержать в себе 10000 статей, и каждые 7-11 статей обрамлены в тег <item></item> и вся операция для 1 статьи должна происходить внутри этих тегов, потом в этом же файле идет следующий пул статей и такая же операция и так далее.
10 статей, из каждой мне надо по 1-2к контента, проще это взять заголовком и текстом под ним (или маркированными нумерованными списками), с каждого сайта по кусочку, если возьмем с первых 2 ух или 5 то уникальность будет ниже и такая статья не даст трафика, если соберем из 7-10 по кусочку, то можно на что то расчитывать, поэтому размер может быть больше 20к, но содержать по кусочку контента с каждого источника.
Момент еще связанный с изображениями:
изображений в папке тоже для 7-11 статей, и их надо как то почистить, так как руками разбираться что там остается в статье ,а что нет, то надо как то вычленить непригодные картинки и удалить или перенести их в отдельную папку.
5. Лишние теги
Попадаются лишние теги, их нужно удалить, можно использовать простые регулярные выражения.
<p style="clear: both">
исправлять на
<p>
<p><ul>
исправлять на
<ul>
</ul></p>
исправлять на
</ul>
<p><ol>
исправлять на
<ol>
</ol></p>
исправлять на
</ol></
Пустые <p> </p> просто удалить
6. Ссылка на большой тестовый файл:
https://cloud.mail.ru/public/3LnA/2XhsJQ8D1
