Бюджет: 1000 UAH Термін: 1 день
Доброго вечора. Виконую парсинг різними методами. З завданням ознайомився. Звертайтесь, розглянемо вашу проблему.
Вітаю. Задача для тих, хто мав досвід з кодом відповіді сервера 403, 503. Код дам вам особисто, в лс. Як що напишете, в ставці, що взагалі вирішували такі проблеми. Знаю, що скільки коштує. Ставки понад 1000 грн не пишемо.
Парсю дані. Проблем з текстом, з самими сторінками немає. Маю проблему при парсингу картинок. Не часто, но 1 раз на 5 різних сайтів буває. Парсинг відбувається, що в одному випадку, що в іншому по одній логіці.
Виконання HTTPS-запитів (без підгрузки JavaScript) - Асинхронний процес, через рекевести.
В обох випадках. Є чистий куплений індивідуальний проксі, ліміти, повторні спроби, паузи, і інші речі.
Приклад. З сайту, з самої сторінки текст парситься. Код відповіді: 200. Коли виконується інша функція яка відповідає за скачування картинки з цього самого сайту. Відповідь сервера: 403 або 503. Я знаю, що ці помилки значать. В браузері картинки доступні. Замість реквестів пробував через selenium запускати. Но з селеніума дуже довго викачувати наприклад 100 картинок. Бо для кожної картинки потрібно відкривати нове вікно. А також дістати з нього скачані картинки взагалі не варіант, почті не можливо. Короче, через нього не підходить. Як що точно мали з таким проблему. І знаєте, що ще можна зробити. Тоді очікую пропозицію. Основа в коді, уже до вас написана. Писати вам щось з нуля не потрібно.
Бюджет: 1000 UAH Термін: 1 день
Доброго вечора. Виконую парсинг різними методами. З завданням ознайомився. Звертайтесь, розглянемо вашу проблему.
Бюджет: 1000 UAH Термін: 1 день
Привіт! Взагалі помилка 403 - це заборона доступу до ресурсу.
Передивись запити чи усі потрібні кукі, та заголовки ти надаєшь?
Можливо потрібен буде токен
Бюджет: 1000 UAH Термін: 1 день
Треба дивитись вебсайт і як він робить, скорше-всього кукі, може не те посилання
Бюджет: 1100 UAH Термін: 1 день
Доброго дня. Треба дивитися, як Ви використовуєте код. Але найчастіше, або потрібні куки, або збільшити паузу між завантаженнями на одному проксі ip
Бюджет: 1100 UAH Термін: 3 дні
Доброго дня! Ознайомившись з вашим проектом, я готовий приступити до його виконання. Давайте обговоримо деталі для найкращого результату.
ну що панове фрілансери - за 1 хв я викачав ті всі малюнки з проблемного сайту.
АЛЕ !!!
Проблема в тому зо пан Замовник хоче універсвльний "викачувач" )))) з будь якого сайту )))
ну зрозуміло що такого не існує ))))
наприклад з того проблемного сайту то я мусів задати специфічні проксі, хедери та звичвайно що замінити урл на той, за яким і можна було б скачати малюнок, а не той урл, що вказував на пряме посилання на малбнок.
Я надав Замовнику найбільш універсальний зразок коду, який підійде для тих сайтів, які без проблем віддають малюнки.
АЛЕ ж це не вирішить проблеми з сайтами замовника, де він хоче викачувати малюнки.
ТОму що під кожний ПРОБЛЕМНИЙ сайт треба свій парсер = і тільки так.
ТАКИМ чином - в такому ТЗ, що пан Замовник хоче знайти пана Фрілансера - це нереальний проект ))))))))))
Ну що панове фрілансери. Бачите ставку залишив фахівець який зі мною працював. І таких тут багато. Я не про Івана. Все зробить. І я не сумніваюсь. Бо мав діло з ним. Іван це гуру профі який думає, що зі своїм 20 річним досвідом знає все, то це не так, і такого не може бути. Скільки працюю стільки і бачу, як молоді специ, без прокачаного профілю деруть одне місце, продвинутим фахівцям які все знають=) А також хто готовий поспорити! Є один факт! Який я замітив. У кожного фахівця, рано чи пізно закінчується рівень знань. Я стільки разів це чув, де людина працювала. А потім, ой тут я уже не можу. І це нормально! Підключався інший, і зробив те що не зміг попередній. А самовпевнені топи і гуру, в сторонці говорять це не можливо. Бо! Чи розвиватись не хочуть, чи просто не їхня тема. Наприклад Іван, він крутий напевно фахівець, щось випарсити з високою точністю з якихось неприступних сайтів. Но загальний парсинг, це уже не для нього. І це нормально! Мені не підходить те що він вміє. І є фахівці, які роблять те що мені потрібно, і вони не роблять, те що робить Іван. Ось уся проблема, гуру і топів, з великим досвідом. Він не може, то думає що не можливо! Мені давно говорили слово НЕРЕАЛЬНО! Універсальний не можливо! Але хто працював зі мною з цієї біржі. Прекрасно знає, бо сам бачив, як я викачував потрібну інфу з різних сайтів. Не лізучи кожен раз в код за заголовками, clas, id, xpath і іншою єрундою. В мене все працює на автоматі. На рівні як у штучного інтелекту. Тільки якість парсингу краща, бо штучний інтелект багато мусору всерівно потягне. Но звісно це не парсер написаний за 1 день і одною людиною, в ньому багато різних функцій. І багато різних бібліотек, які багато чого обробляють що на вході, що на виході. Його я розробляв більше чим з 10 розробниками, в нього є як фронтенд так і бекенд. Вкладено багато коштів, часу і сил. Щас по факту! Можу з гугла на автоматі, наприклад статі, по одному якомусь запиті за 1 хв. Качну пачку статей. Звісно найдуться із цих сайтів які не по силах. Наприклад з 10 візьму інфу тільки з 8 сайтів. Так це по одному слову ПАНОВЕ! Мені і 8 це уже багато! Бо я з цих 8, взагалі інфу вибрав з 1 сайту. На виході інфа буде з почті чистою html розміткою. Потім парсер її ще пережує. І взагалі буде повна інформаційна стаття з чистою Html розміткою з форматуванням. Де заголовок це заголовок, відступи, абзаци, списки і так далі. І дістану я все це. Навіть при тому, що у всіх цих сайтів буде різне як ви любите казати під капотом. А вам Іван з 20 річним досвідом не потрібно було сюди писати. Ви мені колись і за звуки на Windows писали, що на pythone вони будуть глючити, але я і цю проблему вирішив. А як що вас би послухав, то не вирішив би цієї проблеми. Ви дуже самовпевнений. Но ваше мислення в парсингу заточене під конкретику. І ніхто не каже що це погано. Но багато в чому ви помиляєтесь. Я і з картинками розберусь. З більшої половини сайтів, я і так їх качаю, бувають такі неприступні якийсь там процент. І як що потрібно буде, буде автоматом підбирати всю ту потрібну інфу з сайта, яку ви вручну підбирали. І буде працювати всерівно на автоматі. Фігня все це. Я з розробниками важкіші речі робив. Вам вчора скинув відео, де один із розробників, взагалі просто на одному толковому проксі, без всьої тої інфи що ви дописували, качнув за 1 хв, з парою строчок кода, все те саме що і ви. По більше пишіть слово не можливо. Мені це тільки настрій підіймає. Ви навіть в голові собі не уявляєте, скільки я такого не можливого давно зробив. Відписувати не потрібно, бо виключу цю функцію, в проекті. Не розводимо тут безтолкові діалоги!
Якщо хочете універсальний викачувать, зробіть його по схемі шаблонів. Те що зробив Іван додайте як один із шаблонів. Проведіть дослідження з іншими сайтами, та поповнюйте бібліотеку шаблонів викачувача. Парсінг це безкінечна бородьба двох сил де кожна із сторін лише тимчасово може назвати себе переможцем.
Ось оце правильне мислення. Ось в такому напрямку при розробці кожної нової функції, я і рухаюсь, якраз зараз це і робимо. Це і є універсальність. Колись і штучний інтелект це було щось не реально! А зараз це нічого, дивовижного. Куди його тільки не впихують відомі світові компанії. Жаль, що не всі це розуміють!
Усе вірно. Але ж шаблони - це теж потрібно збирати щоб хоча б якийсь підійш для сайту. А це теж не є та універсальність, про яку говоримо ) )) щоб раз , одним реквест з тими ж параметрами і для всіх сайтів - ось це універсальність.
А якщо вже є шаблони - то це уже інша річ.
Уже все зробили. І шаблон не супер якийсь особливий. У разі помилок підключаємо спеціальну бібліотеку. Вона відкриває такі силки які мають такі помилки, і картинки на автоматі качаються. А також спец код прописаний. В браузер кожен раз за заголовками та іншою інфою не бігаю. Короче питання закрите.
Ми шукаємо досвідченого веб-розробника для перепроектування та виправлення критичних помилок в існуючому веб-додатку. Додаток був розроблений з використанням чистого JavaScript (Vanilla JS), без фреймворків, і розгорнутий на Vercel. Наразі додаток функціонує, але зазнає періодичних збоїв і зависань у певних функціональностях, які потребують термінової уваги. Технічний стек додатку включає: - Фронтенд: HTML5, CSS3, ES6+ JavaScript. - Бекенд/Дані: Supabase (з використанням PostgreSQL, Auth та Realtime) та Upstash (для Redis). - Розгортання: Vercel. Основна мета цього проекту полягає в тому, щоб виявити та усунути корінні причини проблем, а також оптимізувати код для покращення стабільності та продуктивності. Ключові завдання включають: 1. Ретельний аналіз мережевих помилок та журналів, доступних у Supabase та Upstash, для визначення джерела збоїв. 2. Рефакторинг JavaScript коду для забезпечення надійної обробки станів завантаження та помилок. 3. Оптимізація збереження стану на фронтенді. 4. Поліпшення комунікації між клієнтом та сервісами Supabase/Upstash, включаючи ефективність запитів та безпечну інтеграцію API. Поточний код, хоча й згенерований за допомогою AI (Claude Code), має логічну та модульну структуру, але потребує людського перегляду та експертизи для досягнення необхідних стандартів якості та надійності. Від розробника очікується солідне розуміння сучасного JavaScript, реляційних та нереляційних баз даних, а також платформ для хмарного розгортання.
Шукаю розробника для створення AI-асистента на базі OpenAI GPT-5.5 з інтеграцією Tourvisor API (Пошук турів).Що необхідно реалізуватиBackend Бажано: Python (FastAPI) або Node.js Backend повинен мати REST API для інтеграції з зовнішніми сервісами.Інтеграція з OpenAI Необхідно використовувати OpenAI API (GPT-5.5). ИИ повинен: вести діалог з клієнтом; пам'ятати історію переписки; автоматично визначати мову (російська/казахська); відповідати як менеджер туристичного агентства; використовувати системний промпт і базу знань.Інтеграція з Tourvisor На першому етапі буде використовуватися тільки: API "Пошук турів" Після отримання даних від клієнта backend повинен звертатися до Tourvisor API і отримувати реальні пропозиції. Архітектура повинна передбачати можливість подальшого підключення: API "Гарячі тури"; API "Описання готелів"; без суттєвої переробки проекту.Логіка роботи ИИ повинен самостійно вести діалог. Наприклад: Клієнт: Хочу в Туреччину ИИ уточнює: місто вильоту; дати; кількість дорослих; кількість дітей; вік дітей; бюджет; побажання. Після отримання необхідних даних backend виконує запит до Tourvisor API. Отримані результати передаються GPT для формування красивої відповіді клієнту.Важливі вимоги ИИ не повинен: вигадувати ціни; вигадувати наявність місць; вигадувати тури. Використовувати тільки інформацію, отриману з Tourvisor API.Бажано використовувати Function Calling (Tools) Потрібно реалізувати окремі функції: searchTours() В майбутньому будуть додані: searchHotTours() getHotelInfo()Панель адміністратора Потрібна проста веб-панель, де можна: змінити системний промпт; завантажити/змінити базу знань; переглянути історію діалогів; переглянути логи та помилки.Технології Python FastAPI (бажано) Docker PostgreSQL Swagger/OpenAPIЩо повинно бути передано по завершенні джерельний код проекту; інструкція по установці; Docker-конфігурація; документація API; допомога з першим запуском.Будуть перевагою досвід роботи з OpenAI API; досвід інтеграції з Tourvisor API; досвід створення AI-асистентів для WhatsApp, Telegram або інших месенджерів.Додаткове побажання Проект повинен бути написаний модульно, щоб в майбутньому можна було без переробки підключити: WhatsApp (Talk Me або інший сервіс); Telegram; Instagram Direct; сайт компанії. Важливо: передбачити можливість підключення API "Гарячі тури" та "Описання готелів" в майбутньому без зміни основної логіки додатку.
Використовуючи мої API-дані та гаманець, зробіть Python-скрипт, який успішно розміщує одне тестове замовлення на біржі.
Потрібен досвідчений Python-розробник для створення програми автоматизації роботи із сайтом. Що має робити бот: Авторизуватися в моєму акаунті на сайті. Постійно (24/7) відстежувати появу новихWork Orders. Після появи нового замовлення відкривати його картку. Аналізувати інформацію про замовлення (тип робіт, місто, відстань, опис). Автоматично приймати замовлення, які відповідають заданим умовам. Якщо замовлення не відповідає умовам, пропускати його. Надсилати сповіщення в Telegram про прийняті та пропущені замовлення. Вимоги: Python. Playwright (бажано) або Selenium. Робота через звичайний браузер. Передача повного вихідного коду після завершення проєкту. Надання інструкції зі встановлення та запуску. Обов’язковий досвід розробки подібних систем автоматизації. Під час відгуку, будь ласка, надішліть приклади аналогічних проєктів.
Потрібно реалізувати проєкт зі збору та структурування великого масиву зображень із відкритих вебджерел (на першому етапі 2000 зображень). Задача включає: - автоматизований збір зображень; - завантаження файлів у максимально доступній якості; - класифікацію зображень за категоріями. Очікуваний результат: - структурована база зображень; - зрозуміла система каталогізації; - передача результату через Google Drive або інший погоджений спосіб;