Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!

5 скриптов работающих с одной БД

истекло время актуальности


- Первый скрипт, который:
1. Скачивает конкретную страницу с сайта с поддержкой куки
2. Разбирает HTML код на ссылки с анкорами и другие признаки (дать мне возможность удобной самостоятельной реализации этого)
3. Сохраняет полный HTML в файл ./домен/md5(uri+timeshtamp)
4. Сохраняет в БД MySQL: домен, uri, анкор, домен на кого сослались, uri на кого сослались, немного текста слева от ссылки, немного текста справа от ссылки, title, h1, другие важные показатели, код ответа (2хх, 3хх, 4хх...) timeshtamp
5. Это код ответа 3хх, то за писать в БД куда отправляет. Если средствами HTML, то так же оформить ибо мне без разницы способ.
6. UPDATE что страница обработана с timeshtamp


- Второй скрипт, который:
1. Работает с очередью созданной первым скриптом
2. Берет из БД несколько записей, помечает их, что они в работе + timeshtamp и запускает не более Х одновременных процессов, передав Первому скрипту в параметре URL
3. Бесконечный Цикл
4. Этих скриптов я могу запустить несколько на разных машинах. БД одна.
5. Не качает сайты:
  - в которых есть запрещенные слова перечисленные в файле
  - которые находятся в файле запрета

- Третий скрипт:
1. CRON 1 раз в час обновляет таблицу доменов + timeshtamp

- Четвертый скрипт:
1. Получает из 1 стороннего источника информацию по домену и записывает в БД для каждого домена + timeshtamp
ТИЦ:  https://bar-navig.yandex.ru/u?ver=2&url=http%3A%2F%2Ffreelancehunt.com&show=1
2. Чтобы не возникала каптча выдерживает паузу указанную заранее + rand(от, до)
3. По прошествии Х дней получает эту информацию вновь
4. Этих скриптов я могу запустить несколько на разных машинах. БД одна.


- Пятый скрипт это копия 4-ого скрипта настроенный на другой сервис:
1. Получает из 1 стороннего источника информацию по домену и записывает в БД для каждого домена + timeshtamp
Любые 1-3 параметра для примера отсюда: https://www.linkpad.ru/default.aspx?r=3&i=freelancehunt.com , другие я настрою сам
2. Чтобы не возникала каптча выдерживает паузу указанную заранее + rand(от, до)
3. По прошествии Х дней получает эту информацию вновь
4. Этих скриптов я могу запустить несколько на разных машинах. БД одна.


- Консольную утилиту в зачаточном состоянии:

- на входе несколько условий и какие столбцы нужны
- на выходе получаю поток, который могу дальше например grep использовать и с колонками работать



Скрипты запускаются сами с помощью cron 1 раз в 30 минут. Далее, скрипт запущенный по cron видит, что запуск уже произведен и выходит.


Админку делать не надо, сайт делать не надо.


Я сам буду дорабатывать эти скрипты. А так как я по большей части умею писать лишь "говнокод" и читать, то прошу вас писать скрипты просто и приземленно.


Для меня подходит любой распространенный язык программирования. PHP, PERL, BASH, NODE.JS ...

К примеру, что-то можно на bash реализовать, что-то на php


Не давайте высокую цену этому проекту. Я прошу сделать в зачаточном состоянии, но что бы работало.



  1. 10 днейскрыта
    Сергей Фрилансер
     575   18   0

    Здравствуйте
    Обращайтесь, сделаю все в лучшем виде
    Будут рад сотрудничеству

    Украина Украина | 18 августа в 18:59 |
  2. ставка скрыта фрилансером
  3.  960 
    17   14   0

    15 днейскрыта
    Антон Б. проверен 

    Здравствуйте !
    Обращайтесь.
    Skype: netwixell
    Telegram: @netwixell
    Email: [email protected]
    Tel: +380 63 183 38 13
    Tel: +380 96 921 48 48

    Украина Черкассы | 18 августа в 12:39 |
  4.  308 
       4   0

    15 днейскрыта

    Добрый день.
    Задача не из простых, но радует факт что вы согласны на приземленные скрипты и позволяете использовать php.
    Надеюсь с вами будет легко связаться если нужно будет уточнить рабочие моменты.
    Сумма думаю не крайне высокая, но если что можем договориться 😉

    Россия Россия | 18 августа в 13:44 |
  5. 1 деньскрыта
    Олег Мельник
     150 

    Добрый день

    Большой опыт Программирования. Как в разработке сайтов с нуля, так и в поддержке и развитии уже существующих проектов.
    Работаем со всеми популярными CMS и Фреймворками. Также без труда сможем разобраться в самописном коде.
    Готовы грамотно реализовать любые задачи по Вашему проекту

    Стоимость 1 часа работы - 20 дол. Работаем быстро и качественно. Всегда на связи
    Оценка сроков - после обсуждения всех вопросов
    Работаем по схеме Time and Materials. Работаем БЕЗ предоплат. Оплата поэтапная, по мере выполнения задачи.

    Пишите. Рады будем сотрудничать. Сделаем качественно
    Решаем задачи, за которые другие не берутся!

    Украина Киев | 18 августа в 16:04 |
  6. 5 днейскрыта
    Dima Morgunov
     354   7   4

    Интересует подробное ТЗ. Готов выполнить на php. Пишите в лс

    Украина Харьков | 18 августа в 19:32 |
  7. 24 дняскрыта
    Veys Aliyev
     292   1   1

    ку. Я тут опытный по этому делу. Цена договорна. Усли у вас "гавнокод" не бойтесь. я это тоже могу сделать по красевее. если нужен буду
    Whatsapp: +994705069324

    Азербайджан Баку | 22 августа в 19:33 |

Заказчик
Дмитрий Кир
Россия Россия  5   0
Проект опубликован
18 августа в 11:16
144 просмотра