Поисковой паук по магазинам

Главная критерия, чтобы понять, подходить ли нам сайт или нет, это наявности в html страницы ценика (price).

Сначала мы находим, есть ли в html страницы цена, если есть, вытягиваем остальную инфу и добавляем в БД, если нету, пролистиваем сайт и идем дальше.

Если в пауке написаны уже, как собирать названия страницы, описания и тд, то нам остается просто добавить что не хватает в нем.

Price
itemprop=”price”
<div itemprop=”price”>100</div>
<span
itemprop=”price”>$19.95</span>

1) <span class="price-value" itemprop="price" content="4799"

2) <span class="actual-price-amount">4&nbsp;999</span> (где &nbsp; определяется как код для поисковиков ). Их надо взять, убрать и 4 999 это цена.

3) <span class="price">     4&nbsp;999                        </span>

4) <span>4 999</span>

5) <span class="price">4&nbsp;799&nbsp; грн</span>

6) <span data-qaid="product_price">4&nbsp;699</span>

7) <span class="product-price__value" data-product-price--main="data-product-price--main">449</span>
8) <span itemprop=”price” 159 </span>

Дальше нам нужны 4 показателя, названия страницы(tittle), названия товара(name), описания(description) и регион(location), ссылка на сайт(link).
По большой мере, паук уже будет иметь в своем распоряжении названия страницы, названия товара, описания, ссылки на сайт. Если они есть у паука с самого начала, не менять их. Если нету, то дописать.

Названия страницы (tittle)

< head>
< title>Содержимое мета-тега «title»< /title>
< /head>

Названия товара(name)

 <h1 itemprop="name">Avatar</h1>
<div itemscope>

  <h1>Avatar</h1>

<h1 itemprop="name">Avatar</h1>

<div itemprop="name">Spinal Tap</div>

<div class="product-card__name">

                Смартфон Samsung Galaxy J6+ Black (SM-J610)            </div>

<h1 itemprop="name" class="tovar_title__name">Смартфон Samsung Galaxy J6+ (2018) J610F Black</h1>


<h1 class="product-title " itemprop="name" id="product-title-h1">

        Samsung Galaxy J6 Plus 2018 Black (SM-J610FZKNSEK)    </h1>


<h1 itemprop="name" class="ng-star-inserted">Samsung Galaxy J6+ 3/32GB SM-J610 Red + карта памяти Samsung 64GB в подарок!</h1>

<span data-qaid="product_name">Смартфон Samsung J6+ 2018 (SM-J610) Red</span>

<h1 class="content__title">                                Чехол Samsung J6+ WITS Clear Hard Case (GP-J610WSCPAAA) Transparent                            </h1>

Описания(description)

  <span itemprop="description">One of the loudest bands ever reunites for an unforgettable two-day show.</span>

  <meta name="description" content="Сайт об HTML и CSS">

Регион (location)

<div itemprop="address" itemscope itemtype="http://schema.org/PostalAddress">

Main address:

<span itemprop="streetAddress">38 avenue de l'Opera</span>

<span itemprop="postalCode">F-75002</span>

<span itemprop="addressLocality">Paris, France</span>

,

</div>

Tel:<span itemprop="telephone">( 33 1) 42 68 53 00 </span>,

Fax:<span itemprop="faxNumber">( 33 1) 42 68 53 01 </span>,

E-mail: <span itemprop="email">secretariat(at)google.org</span>

<div itemprop="address" itemscope itemtype="http://schema.org/PostalAddress">

<span itemprop="addressLocality">Philadelphia</span>,

<span itemprop="addressRegion">PA</span>

<div itemprop="location" itemscope itemtype="http://schema.org/Place">

<a itemprop="url" href="wells-fargo-center.html">

<span itemprop="streetAddress">

20341 Whitworth Institute

405 N. Whitworth

</span>

</span>

<span itemprop="addressLocality">Seattle</span>,

<span itemprop="addressRegion">WA</span>

<span itemprop="postalCode">98052</span>

<span itemprop="streetAddress">3102 Highway 98</span>

<span itemprop="addressLocality">Mexico Beach</span>,

<span itemprop="addressRegion">FL</span>

Ссылка(link)

<div itemscope itemtype="http://schema.org/Person">

  <a href="alice.html" itemprop="url">Alice Jones</a>

</div>

<div itemscope itemtype="http://schema.org/Person">

  <a href="bob.html" itemprop="url">Bob Smith</a>

</div>

Будет использоваться 3 вида ресурсов для решения и надо будет их подключить. Солир мы подключили и БД сделали. Надо доподключать
http://www.norconex.com/collectors/ -паук
http://www.norconex.com/collectors/committer-solr/ - объединения паука и солр
https://lucene.apache.org/solr/features.html - апачи поисковик

Проект будет считаться успешным выполненным, когда мы получим полную инструкцию по выполненной работе и мой программист попробует это восстановить на чистом сервере, чтобы проверить, получается ли у него. И когда паук начнет собирать ссылки и мы увидим что он собирает нужные ссылки. 

Работа будет идти через репозиторию

Ссылки для запуска паука
https://ru.wikipedia.org/wiki/Категория:Сайты_США

https://rozetka.com.ua/?gclid=EAIaIQobChMIrabQlqye4wIVFKaaCh053gR7EAAYASAAEgJLhPD_BwE

https://www.olx.ua/kha/?gclid=EAIaIQobChMI78brrKye4wIVRKqaCh04nAJ2EAAYASAAEgIwl_D_BwE

https://ru.wikipedia.org/wiki/Категория:Сайты_России

https://catalog.online.ua/shops/

Проект считается выполним, когда мы увидим записи в БД и когда получим полную инструкцию по работе с пауком. Мой программист проверить.