Фриланс-проекты › Срочно! Нужно разработать API на django Срочно! Нужно разработать API на django

Срочный проект

Проект из категории "На вчера"

Приступаем в ближайшее время

Категория:

API для парсинга страниц двух сайтов.

Короткое описание:

www.api.com - наш апи

www.site1.com - сайт с которого надо парсить №1

www.site2.com - сайт с которого надо парсить №2

www.myapp.com - приложение которое через www.api.com будет получать данные с сайтов www.site1.com и www.site2.com 

Механика проекта такая - на www.myapp.com пользователь делает запрос к ww.api.com , www.api.com перенаправляет запрос на нужный сайт www.site1.com или www.site2.com подставляя данные запроса, забирает содержимое страницы и отдает назад в приложение в виде html страницы (со стилями, скриптами, картинками) и PDF файл спарсеной страницы.  В процессе www.api.com удаляет некоторые html элементы со страницы и отдает результат уже без этих элементов.

Границы проекта:

Разработать www.api.com 

Особенность парсинга с www.site1.com - супер просто, есть url, подставляем в него параметр - все готово! 

Особенность парсинга с www.site2.com - этот сайт работает только из США. Этот сайт требует авторизации. На сайте есть проверка на роботов. После авторизации все просто как в случае с www.site1.com

Требования:

Сегодня нужно отдать в формате "хоть как-то, но работает"

Разработчик должен располагать временем, что бы продолжить доработку проекта в более спокойном режиме в течении след. недели.

Делаем на AWS, настройка вашими силами на нашем аккаунте.

Ключевые требования: Опыт в парсинге, эмуляция web клиента, опыт с API

Старт и финиш сегодня

Критерии приемки:

Я могу из www.myapp.com сделать запрос на www.api.com и получить данные в html/pdf формате с www.site1.com + www.site2.com