Простой php парсер 2

у вас есть список подобных ссылок ? " https://www.bloomberg.com/profiles/companies/0003530D:US-united-grinding-north-america-inc " или на сайте есть каталог фирм ?

Roma Govtvyan 28 October 2018

от вас нужна только 1 (одна) эта ссылка и всё.  

Насколько я понимаю, предложение написано очень хитро. Надо спарсить профайлы всех компаний и ссылок на них нет. В описании проекта показана ссылка только на одну случайную компанию. И создается впечатление, что надо спарсить только эту страницу.

Roma Govtvyan 28 October 2018

ваше впечатление полностью поравдано. нужно спарсить только 1 (одну) страницу. из которой получить только 1 (один)  блок (даже не разбирая его по структуре

Сомневаюсь, что аж целых два фрилансера не смогли этого сделать

Roma Govtvyan 28 October 2018

А вы спросите фрилансеров. Я же ссылки на профили прикрепил. Зачем мне обманывать?

Только что скачал профиль в сторонней программе. Если не передумали, давайте я вам сделаю, но не за 100 грн, конечно

У меня скачался, сделал на php )

Если надо будет обращайтесь )

там защита стоит мудрёная )

Какая защита? Страница скачалась без проблем с нужным сожержимым. Или я где-то не так?

при попытке зайти через курл выдаёт вот это ))

А пошаманить хедерами пробовали? User-Agent поставить приличный?

 curl_setopt($ursl, CURLOPT_HTTPHEADER, [

            'Host: www.bloomberg.com',

            'Accept: */*',

            'Accept-Language: uk,ru;q=0.8,en-US;q=0.5,en;q=0.3',

            'Accept-Encoding: gzip, deflate, br',

            'Connection: keep-alive',

            'X-Requested-With: XMLHttpRequest'

        ]);

  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

  curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

  curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);

  curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);

  curl_setopt($curl, CURLOPT_COOKIEFILE, $cookie_path);

  curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie_path);

с куками тож игрался - хитровые....ный сайт короч )))

Скачал, работает!!!! )))))

кинь код в личку - интересно )

У меня страница скачалась, не через curl, но автономно

Roma Govtvyan 29 October 2018

ну если селениумом скачали то это не подходит. он слишком ресурсоёмкий и медлительный.

Переделал на php, сейчас скачивается через curl

Roma Govtvyan 29 October 2018

Вы код не удаляйте, скорее всего завтра у вас появиться возможность его продать.  )

Хорошо. Честно говоря, я несколько обескуражен тем, что именитые с дипломами фрилансеры не могут решить эту задачку. Я даже стал комплексовать по этому поводу и всё время проверяю, а работает ли у меня программа, не иллюзия ли это ))) Перепробовал разные варианты и настройки (жалко нет возможности разместить не на локальной машине, а где-то на стороннем хостинге) - работает. Блин! ) 

* просто задача поставлена сделать на php