Бюджет: 200 UAH Термін: 1 день
Есть опыт в парсинге. Есть проект который парсил вот этот сайт "http://www.vstup.info/". Готов помочь.
Добрый день! Пишу дипломную по сбору и обработке данных в интернете. Столкнулся со сложностью получения номера телефона в объявлении олх средствами пайтон (могу через селениум, но нужно увеличить скорость).
Кто разбирается нужна ваша консультация (кусочек кода и возможно пояснение). Как я вижу это: нужен скрипт которые получает ссылку на объявление а возвращает номер телефона.
Внимание: если вы не знаете как это делать не нужно делать ставку. Авось получится --не получится.
В приложении скрипт который возвращает номер где все заголовки взяты вручную из диспетчера браузера.
Бюджет: 200 UAH Термін: 1 день
Есть опыт в парсинге. Есть проект который парсил вот этот сайт "http://www.vstup.info/". Готов помочь.
Бюджет: 800 UAH Термін: 1 день
Сделать можно через библиотеку requests
Скайп pancho_sanches
телеграм @alexpancho
Бюджет: 200 UAH Термін: 1 день
Привет могу помочь, если что пиши в лс, там обсудим, спасибо
за указанный бюджет могу пару анекдотов рассказать. как-раз около трех минут и займет.
А если серьезно - не стоит обманывать, что это дипломка :)
:), уважаемый это спокойно реализуется на php. а я сижу над пайтоном именно в учебных целях.
если вы можете только делать умный вид, а по сути ноль, проходите мимо пожалуйста.
ну ну. и в каком тогда это ВУЗе подобные задачи (вытащить телефоны с olx)? Не смешите народ.
Проблема в бюджете 200 грн. ноль добавьте в конце - будет вам и токен и номер телефона.
думаю проблема не в цене. если бы это в комерцию я бы сделал на php.
суть в том что это учебный проэкт, нужен именно пайтон и тот кто разбирается именно в пайтон
Ну так напишите на php и попросите перенести исходник на питон. в чем проблема то?
вы меня заинтриговали, что значит перенести исходник с php на питон??? вы еще предложите дизасемблировать :). В php есть готовые библиотеки для парсинга, их средствами можно очень многое. В питоне я таких не нашел (те что нашел очень примитивные). Вы предлагаете мне все библиотеки переписать?
Какие библиотеки, которые помогут выдернуть телефон с OLX? Очень интересно.
уважаемый вы уверены что вам место в этом разделе? я начал подозревать что ваш уровень это школьные задачки
Больше ответить нечего? Бывает. Удачи Вам. Не вижу смысла дальше что-то писать. И так все ясно.
я не вижу смысла вам было начинать писать, если вы все равно не разбираетесь в данном вопросе.
Да смысл других исполнителей навести на мысль, что это совсем не дипломка. Удачи "защититься"
вам видно вообще нечем заняться :), какое это значение имеет для исполнителей? вы правда думаете если я уберу из задания слово дипломная это поможет? ведь тогда начнут предлагать рабочие решения не соответстующие условию. например решения на php.
Некоторые могут "сжалиться" чтоль и выполнить работу в 10-15 раз дешевле её стоимости. Не более. Простите, у меня такое чувство, что именного этого Вы и хотите.
Я в пайтоні нічого не понімаю канешно, ну токен би спарсив з цими методами https://pythonworld.ru/tipy-dannyx-v-python/stroki-funkcii-i-metody-strok.html
У меня как раз на питоне код.
Но мне как бы особой разницы нет - учебный проект у вас или коммерческий.
Так что именно в цене и проблема)
вы код сами писали (сторонние библиотеки только питон)? как давно проверяли (была обнова)? что именно делает ваш код? сколько и за что конкретно вы хотите7
В обсуждении проекта запрещены ставки, так что если интересно - можем обсудить все детали в другом формате.
Не только ставки, но и:
В обсуждении проекта или конкурса не место:
- сообщениям, содержащим предложения и контакты для обратной связи с заказчиком – для этой цели можно использовать только ставки в проекте;
- просьбам или требованиям ответить в личной переписке;
- тестовым результатам работ – для этих целей существуют ставки в конкурсах;
А я и не предлагаю писать мне в лс или еще куда то.
Обсудить в другом формате - это например если заказчик поставит адекватный бюджет проекта. В таком формате можно и обсуждать)
А за 200 грн. хоть здесь обсуждать хоть в лс смысла не вижу.
заголовки не правильные, кук и реферер должен быть заполнен.
если не возвращает значит токен неверный
спасибо, я так уже сделал и все работает прекрасно, но задание использовать чистый пайтон а силениум как то смущает
Есть ghost в который используется phantomjs
ghost.evaluate("document.getElementsByClassName('button')[0].click()Вот пример клика
я не против отдать вознаграждение, просто фантом жс вместо селениума. шило на мыло, вы не находите?
Selemium более сложно устроен
Там webdriver
Вы попросили несложный вариант я подкинул
А завтра а завтра ты встретишься с ней
Не надо печалиться
Вся жизнь впереди
Вся жизнь впереди
Надейся и жди(с)
Selemium chrome нужен имитировать клик
Поэтому с ghost скорость парсинга выше
Уважаемые коллеги. Но что-же тут непонятного? Человек пишет, что дипломка. Есть задача, которую, как он говорит может сам решить используя как минимум два подхода. В чем проблема сдать дипломку используя их? А только в том, что "нужно увеличить скорость парсинга". Впервые встречаюсь с таким требованием. Второе. Связанный профиль у заказчика (профиль исполнителя) специализируется на парсинге. Никому не приходит мысль, что человек просто взял проект, наткнулся на момент, который сам решить не может и за копейки пытается найти решение? У меня, как выразился заказчик, пьяного существа такая мысль возникает.
В чем проблема сдать дипломку используя их? капризики заказчика.
так и есть я взял написать скрипты, по заданию для авито, прома и розетки написал, а с олх проблема с номером. проблема что общая сумма заказа не велика. Заказчик говорит что хочет на защиту без селениума.
Так в этом и суть. Сразу написать нет? А то прикрываетесь "дипломкой". Бюджет все-же конкретно занижен. Пересмотрите свою позицию в этом плане. То, что первоначальный заказчик платит мало - лучше отдать весь бюджет другому исполнителю (если сами не справляетесь). Лучше в карму минус не получить :)
Появилась минутка для "лирического" ответа :)
А разве это меняет суть задания? Мой заказчик сказал что это дипломная и я ему верю. если бы его интересовал результат то у меня есть на пхп, но он сказал что нужен именно пайтон через гет запрос.
по поводу боджета: рабочее решение на пхп было найдено абсолютно бесплатно на спец форумах.
я вижу проблему в отсутствии высоко квалифицированных пайтонистах. на сегодняшний день большинство задач можно решить на пхп, пайтон только входит (в ру кластере)
Есть почти готовый (работает, но следить за ним еще нужно) парсер. Все делает. Скорость около 13-15 тыс. объявлений в час (1 поток).
Сумма решения ниже суммы этого проекта, как минимум на два порядка.
П.С. Что-то много развелось дипломников специализирующихся на олх. ) Всем добра.
я дал консультацию и обосновал решение
и скинул пример как работает клик
я думаю этот совет стоит 200грн
это не шило на мыло променять
без применения headless browser (selenium, phantomjs whatever) задачу решить не удастся, т.к. нужен js runtime и DOM Model
готов с вами докопаться на сути, есть модель решения на пхп через гет запрос
может мы недостаточно знаем пайтон???
на пхп токен из текста токен из заголовка другой, вся проблема в куке его часть формируется дополнительным запросом
проблема не в знании/незнании python ИМХО. выполнять запросы к API можно даже из консольки curl'ом без языка программирования. какая-то часть логики запроса на получение номера телефона выполняется на клиенте. используя headless browser (или jsdom) можно сымитировать клик на dom-элемент и не беспокоится о том, что разработчики нагородили в качестве защиты от crawling'а
Потрібно розробити бота (бажано на Python), який автоматично перевірятиме сайт на появу нових вакансій. Вимоги: Моніторинг офіційного сайту деталі будуть додані Перевірка кожні 1–2 хвилини. Відстеження лише таких локацій певних локації і міст Якщо з’являється нова вакансія, бот повинен одразу надіслати повідомлення в Telegram Повідомлення має містити: назву вакансії; локацію; посилання на вакансію; час виявлення. Бот не повинен надсилати повторні повідомлення про ту саму вакансію. Потрібна інструкція з налаштування та запуску бота після завершення роботи. Бажано: Можливість легко додавати або прибирати локації. Можливість відстежувати лише вакансії певного типу Стабільна робота 24/7. Бюджет: від 3000 до 6000 тисяч гривень Прошу вказати термін виконання, кінцеву вартість та приклади схожих проєктів (якщо є).
Необхідно розробити додаток або скрипт, який буде автоматично конвертувати файли з форматів YML або JSON у формат XLS, з подальшою генерацією посилання на вихідний XLS файл для промо Вимоги: Вхідні дані: Файл у форматі YML (посилання будуть надані) або Файл у форматі JSON (посилання будуть надані, JSON не містить дерева категорій, але кожен товар знаходиться в окремому масиві). Вихідні дані: Файл у форматі XLS з доступом через пряму посилання. Файл має оновлюватися автоматично за розкладом, наприклад, щоденно. Функціональні вимоги: Можливість вказання кількості днів для Наявності Під замовлення для кожного вхідного посилання. Додаток має стабільно працювати в умовах обмеженого за ресурсами хостингу. Бажано інтуїтивно зрозумілий веб-інтерфейс для управління налаштуваннями.
Потрібно внести невелику правку в програму, яка формує замовлення для друку. Завдання: Ми додали в асортиментм'яке скло з принтом. У замовленнях назва принта буде виділена символами#...# для коректного розпізнавання. Приклад: Мяке скло, #Абстракція біла# 2.0mm, Форма: Прямокутник... Необхідно: якщо в тексті замовлення присутній фрагмент між символами#...#, програма повинна розпізнати його як замовлення з принтом; при формуванні PDF або аркуша для друку таке замовлення потрібновиділити окремим кольором (будь-яким помітним, узгодимо під час виконання); решта логіки роботи програми має залишитися без змін. Приклад замовлення додаю нижче для тестування.
Проект: Ми запускаємо B2B-сервіс наскрізної аналітики та управління рекламними кампаніями для таргетологів і медіабайерів. Продукт працюватиме з офіційним Meta API. Головна технічна складність і фокус проекту — віртуозна робота з лімітами Facebook, маршрутизація трафіку між пулом наших додатків і жорстка система захисту інфраструктури від блокувань сірих рекламних акаунтів. У нас вже є детальне технічне завдання, описана архітектура баз даних, логіка балансувальника та вимоги до інтерфейсів. Шукаємо виконавця, який візьме це в реалізацію під ключ (бекенд + фронтенд дашбордів). Що потрібно зробити (Ключові завдання): Інтеграція з Meta API: Налаштувати авторизацію користувачів та регулярний асинхронний парсинг статистики рекламних кабінетів. Запити повинні надсилатися виключно пакетами для економії лімітів. Система авто-відізвання кабінетів: Написати модуль, який безперервно моніторить статуси рекламних акаунтів. Якщо кабінет потрапляє в бан, система повинна автоматично відкликати токен доступу протягом 60 секунд, щоб захистити наше додаток від санкцій Meta. Інфраструктура проксі: Реалізувати тунелювання всіх запитів до API через пул SOCKS5. Обов'язкова жорстка прив'язка конкретного токена користувача до статичного IP-адреси. Розумна маршрутизація: Створити алгоритм, який буде розподіляти прив'язані рекламні кабінети між кількома нашими додатками Facebook у заданих пропорціях для зниження ризиків. Розробка інтерфейсів: Створити клієнтський дашборд зі зведеною таблицею статистики та просунуту адмін-панель для ручного управління лімітами користувачів, прив'язками до додатків і пулом проксі. Очікуваний стек технологій: Бекенд: Python, FastAPI. Асинхронні задачі: Celery, Redis. Бази даних: PostgreSQL (або ClickHouse для статистики, на ваш розсуд). Фронтенд: Vue.js або React (можна використовувати готові UI-бібліотеки та шаблони дашбордів, акцент на функціональність, а не складний дизайн). Вимоги до виконавця: Упевнений досвід роботи з Meta Graph API та Marketing API. Ви повинні розуміти, як працюють ковзаючі ліміти, як читати заголовки завантаженості та як працювати з токенами. Розуміння специфіки арбітражу трафіку. Слова «білінг», «бан рекламного кабінету», «бізнес-менеджер» і «фарм» не повинні викликати у вас запитань. Досвід побудови асинхронних парсерів і роботи з проксі-серверами на рівні мережевих запитів. Готовність працювати за чітким технічним завданням і здавати проект поетапно. Умови: Формат співпраці: Проектна робота Бюджет: Обговорюється індивідуально на основі вашої оцінки технічного завдання. Оплата: Поетапна, прив'язана до контрольних точок. Як відгукнутися: У супровідному листі обов'язково вкажіть ваш досвід роботи з Meta API, прикріпіть посилання на схожі проекти (або опишіть їх функціонал, якщо вони під NDA) і напишіть орієнтовну вилку цін і термінів на розробку подібної системи з нуля. Відгуки без опису релевантного досвіду роботи з Facebook API розглядатися не будуть.
Коротко Потрібна програма на Python, яка запускається у мене на ПК (Windows) і робить faceless-відео формату «закадровий голос + змінюваний відеоряд з фото та кліпів» — як історичні документалки на YouTube (приклад прикріплю окремо). Я вводжу тему → програма пише сценарій, озвучує, підбирає під кожен шматок тексту відео/фото з безкоштовних архівів, склеює → видає готовий MP4. Тільки для мене. Без сайту, без користувачів, без продажу. Один користувач — я. Як працює (по кроках) 1. Введення. Відкривається просте вікно. Я вводжу тему ролика і вибираю голос озвучення зі списку (**список голосів підтягується автоматично з ElevenLabs по API** — доступні на моєму акаунті). Натискаю «Створити». (Другий режим: вставити готовий сценарій замість генерації.) 2. Сценарій. Програма через LLM API (OpenAI/Anthropic, ключ в налаштуваннях) пише сценарій за темою, заданої довжини. 3. Розбивка на сцени. LLM ділить сценарій на сцени і для кожної повертає: текст сцени; тип візуалу: відео або фото; пошуковий запит (розгорнута фраза, що повинно бути в кадрі); позначку «highlight» + оцінку важливості 1-10 (для інтро, див. нижче). 4. Озвучення. Текст відправляється в ElevenLabs API обраним голосом → аудіо. Під довжину аудіо кожної сцени обрізається відеоряд. 5. Підбір відео/фото — з безкоштовних джерел по API (див. список нижче). Під кожне джерело запит формується по-своєму (для точності). Якщо в одному не знайшлося — пробує наступний. 6. Перевірка (максимум 3 кроки на сцену). Крок 1: програма бере перший знайдений варіант (відео/фото) за запитом. Крок 2: відправляє кадр в LLM — «підходить під сцену?». Підходить → стоп. Крок 3 (якщо не підходить): програма переключається на пошук фото (по точному запиту фото знайти простіше, ніж відео, — так гарантовано потрапляємо по сенсу) і бере його з посиленим рухом (зум + панорама). Більше 3 кроків на одну сцену не робити — це економить бюджет LLM і гарантує, що кадр в тему. 7. Збірка через ffmpeg/moviepy: кліпи і фото під таймінг озвучення, фото оживляються зумом (ефект Кена Бернса), голос поверх, прості переходи. Вихід: MP4 1920×1080. Правила відеоряду (важливо — за це відповідає програма) Перші 60 секунд — інтро-тизер: нарізка найефектніших кліпів з усього ролика (беруться сцени з вищою оцінкою важливості, де є відео) під окремий текст-вступлення від LLM («в цьому відео ви дізнаєтеся…»), кадри без пояснень, як інтрига. Потім перехід і основна частина. Чередування: відео-вставка мінімум кожні ~6 секунд, не можна багато фото підряд. Доля відео: не менше ~40% часу — живі кліпи, решта — фото з зумом. Довжина кадру: 4-6 секунд (і фото, і відео). Не мельтешити, не тримати статику довго. Для чисто історичних тем, де відео немає — фото з посиленим рухом (зум + панорама). Джерела (всі безкоштовні, з API) Сучасне відео+фото: Pexels, Pixabay. Історичне / архівне (public domain): Wikimedia Commons, Archive.org,Library of Congress, Europeana, NASA, Smithsonian Open Access,Flickr Commons, openverse. Кожне джерело — окремий модуль, легко додати новий. Використовувати тільки public domain / вільні ліцензії з правом комерційного використання. Жодного парсингу чужих YouTube/сайтів, шматків фільмів, картинок «з гугла».Унікальність підбору Щоб відео не співпадали з чужими: брати випадковий кліп з топ-видачі (не перший), вести базу вже використаних (не повторювати), опціонально — легка обробка кліпа (кроп/дзеркало/ швидкість). Опції (вкл/викл в налаштуваннях) Тільки фото — якщо включено, відео збирається ЧИСТО з фото, без відео-кліпів. Кожне фото ОБОВ'ЯЗКОВО з рухом (зум і/або панорама, ефект Кена Бернса) — навіть в цьому режимі не повинно бути статичних «мертвих» кадрів, мінімальна динаміка завжди. Якщо вимкнено — стандартний режим (фото + відео-кліпи з чергуванням, як в правилах відеоряду). Без озвучення — якщо включено, відео збирається по тексту БЕЗ генерації голосу: код НЕ звертається до ElevenLabs і не накладає озвучення (відеоряд підбирається по тексту сцен, таймінг кадрів — по правилам/параметрам, без прив'язки до аудіо). Якщо вимкнено — автоматично робить озвучення по тексту через ElevenLabs, як зазвичай. Атмосферний оверлей — якщо включено, поверх всього відеоряду накладається напівпрозорий шар з плаваючими частинками / пилом / світними боке / легким туманом (particle / dust / bokeh / fog overlay, режим накладення screen/add), щоб кадри виглядали живими і кінематографічними. При установці програми кладеться набір з 5-8 популярних оверлеїв (частинки, пил,copyбоке, туман, легке кінематографічне «зерно») в локальну папку — я вибираю потрібний зі списку. Регульована прозорість/яскравість оверлея (повзунок 0-100%), щоб ефект не був ніcopyзанадто тьмяним, ні занадто вираженим — я сам налаштовую силу. Бажано, щоб оверлей можна було накладати і на ВЖЕ готове відео окремоcopy(постобробка: взяти готовий MP4 → вибрати оверлей → задати прозорість → зберегти), а не тільки при зборці. Звідки взяти оверлеї для комплектації (вільна ліцензія): Pexels, Pixabay (запитиcopy«particle overlay», «bokeh overlay», «dust overlay», «light leaks», «film grain»), Mixkit, Videezy. Виконавець підбирає 5-8 штук і кладе в папку програми. Субтитри (вшити або окремим .srt). Обробка кліпів для унікальності. Роздільна здатність/формат, довжина відео, доля відео, глибина пошуку.Технічні вимоги Python. Модульна структура (джерела і LLM — через змінні модулі, щоб легко замінити або додати). Всі API-ключі — в файлі налаштувань, не в коді. Просте вікно (GUI на вибір виконавця — Tkinter/PyQt), запуск подвійним кліком. README з інструкцією, зрозумілі логи, коментарі в коді.Що даю я API-ключі (ElevenLabs, LLM, де потрібна реєстрація — оформлю). Платне оплачую сам. Приклади відео-референсів (прикріплю) і приклади тем для тестів.Приймання (готово, якщо) Запускаю → вікно → ввожу тему, вибираю голос → «Створити» → отримую готовий MP4. Відеоряд по сенсу тексту, чергування відео/фото, інтро-тизер 60 сек, озвучення поверх. Працює мінімум з 6 безкоштовними джерелами, з fallback між ними. Перевірка кадрів через LLM: макс. 3 кроки на сцену (знайшли → LLM перевірив → якщо немає, фото з рухом як вірняк). Унікальність: рандомізація + база використаного. Тільки легальні джерела. Є README, запускається з нуля.Передача результату Весь вихідний код — в відкритому вигляді (всі файли), без обфускації + зібрана робоча версія. Я можу сам запустити з вихідників за інструкцією (README: установка, ключі, запуск). Код повинен бути чистим, прокоментованим і зрозумілим, щоб **будь-який інший програміст міг продовжити роботу** над ним, якщо знадобиться (не прив'язка до автора). **Вся повсякденна робота — через інтерфейс (кнопки, поля, повзунки, випадаючі списки), БЕЗ необхідності торкатися коду.** Усі налаштування (тема, голос, опції, оверлей, папки, довжина, формати) змінюються у вікні програми, а не редагуванням файлів. Код на руках — тільки як моя власність і страховка, а не як спосіб управління програмою. Усі права на код після оплати — мої.Управління місцем на диску (важливо) Програма не повинна забивати диск. Реалізувати: Після зборки відео всі проміжні файли (завантажені кліпи, тимчасові шматки, аудіо-нарізки) автоматично видаляються — на диску залишається тільки готовий MP4. Ліміт на кеш (параметр в налаштуваннях, напр. 5 ГБ): при перевищенні старі завантажені файли видаляються автоматично (спочатку найстаріші). Папку для готових відео і для тимчасових файлів я задаю в налаштуваннях. Показувати, скільки місця зайнято, і кнопка «очистити кеш» вручну.Прошу вказати в відгуку Приклади схожих робіт (ffmpeg/moviepy, робота зі стоковими/архівними API, ElevenLabs/LLM). Пропозиція по GUI. Використовує чи рішення базу даних (яку і навіщо) — або вистачає локальних файлів. Термін і вартість.