Запустить паука по магазинам

Главная критерия, чтобы понять, подходить ли нам сайт или нет, это наявности в html страницы ценика (price).

Сначала мы находим, есть ли в html страницы цена, если есть, вытягиваем остальную инфу и добавляем в БД, если нету, пролистиваем сайт и идем дальше.

Price
itemprop=”price”
<div itemprop=”price”>100</div>
<span
itemprop=”price”>$19.95</span>

Дальше нам нужны 4 показателя, названия страницы(tittle), названия товара(name), описания(description) и регион(location), ссылка на сайт(link).
По большой мере, паук уже будет иметь в своем распоряжении названия страницы, названия товара, описания, ссылки на сайт. Если они есть у паука с самого начала, не менять их. Если нету, то дописать.

Названия страницы (tittle)

< head>
< title>Содержимое мета-тега «title»< /title>
< /head>

Названия товара(name)

 <h1 itemprop="name">Avatar</h1>

<div itemscope>

  <h1>Avatar</h1>

<h1 itemprop="name">Avatar</h1>

<div itemprop="name">Spinal Tap</div>

Описания(description)

  <span itemprop="description">One of the loudest bands ever reunites for an unforgettable two-day show.</span>

  <meta name="description" content="Сайт об HTML и CSS">

Регион (location)

<div itemprop="address" itemscope itemtype="http://schema.org/PostalAddress">

Main address:

<span itemprop="streetAddress">38 avenue de l'Opera</span>

<span itemprop="postalCode">F-75002</span>

<span itemprop="addressLocality">Paris, France</span>

,

</div>

Tel:<span itemprop="telephone">( 33 1) 42 68 53 00 </span>,

Fax:<span itemprop="faxNumber">( 33 1) 42 68 53 01 </span>,

E-mail: <span itemprop="email">secretariat(at)google.org</span>

<div itemprop="address" itemscope itemtype="http://schema.org/PostalAddress">

<span itemprop="addressLocality">Philadelphia</span>,

<span itemprop="addressRegion">PA</span>

<div itemprop="location" itemscope itemtype="http://schema.org/Place">

<a itemprop="url" href="wells-fargo-center.html">

<span itemprop="streetAddress">

20341 Whitworth Institute

405 N. Whitworth

</span>

</span>

<span itemprop="addressLocality">Seattle</span>,

<span itemprop="addressRegion">WA</span>

<span itemprop="postalCode">98052</span>

<span itemprop="streetAddress">3102 Highway 98</span>

<span itemprop="addressLocality">Mexico Beach</span>,

<span itemprop="addressRegion">FL</span>

Ссылка(link)

<div itemscope itemtype="http://schema.org/Person">

  <a href="alice.html" itemprop="url">Alice Jones</a>

</div>

<div itemscope itemtype="http://schema.org/Person">

  <a href="bob.html" itemprop="url">Bob Smith</a>

</div>

Будет использоваться 3 вида ресурсов для решения и надо будет их подключить. Солир мы подключили и БД сделали. Надо доподключать
http://www.norconex.com/collectors/ -паук
http://www.norconex.com/collectors/committer-solr/ - объединения паука и солр
https://lucene.apache.org/solr/features.html - апачи поисковик

Проект будет считаться успешным выполненным, когда мы получим полную инструкцию по выполненной работе и мой программист попробует это восстановить на чистом сервере, чтобы проверить, получается ли у него. И когда паук начнет собирать ссылки и мы увидим что он собирает нужные ссылки. 

Работа будет идти через репозиторию