Бюджет: 1000 UAH Срок: 1 день
Добрый вечер. Выполняю парсинг различными методами. С заданием ознакомился. Обращайтесь, рассмотрим вашу проблему.
Здравствуйте. Задача для тех, кто имел опыт с кодами ответа сервера 403, 503. Код дам вам лично, в лс. Если напишете, в ставке, что вообще решали такие проблемы. Знаю, сколько это стоит. Ставки выше 1000 грн не пишем.
Парсю данные. Проблем с текстом, с самими страницами нет. У меня проблема при парсинге картинок. Не часто, но 1 раз на 5 разных сайтов бывает. Парсинг происходит, что в одном случае, что в другом по одной логике.
Выполнение HTTPS-запросов (без подгрузки JavaScript) - Асинхронный процесс, через реквесты.
В обоих случаях. Есть чистый купленный индивидуальный прокси, лимиты, повторные попытки, паузы и другие вещи.
Пример. С сайта, с самой страницы текст парсится. Код ответа: 200. Когда выполняется другая функция, которая отвечает за скачивание картинки с этого самого сайта. Ответ сервера: 403 или 503. Я знаю, что эти ошибки значат. В браузере картинки доступны. Вместо реквестов пробовал запускать через selenium. Но с selenium очень долго скачивать, например, 100 картинок. Потому что для каждой картинки нужно открывать новое окно. А также достать из него скачанные картинки вообще не вариант, почти невозможно. Короче, через него не подходит. Если точно имели с этим проблему. И знаете, что еще можно сделать. Тогда жду предложение. Основа в коде, уже к вам написана. Писать вам что-то с нуля не нужно.
Бюджет: 1000 UAH Срок: 1 день
Добрый вечер. Выполняю парсинг различными методами. С заданием ознакомился. Обращайтесь, рассмотрим вашу проблему.
Бюджет: 1000 UAH Срок: 1 день
Привет! В общем, ошибка 403 - это запрет доступа к ресурсу.
Пересмотри запросы, все ли нужные куки и заголовки ты предоставляешь?
Возможно, понадобится токен.
Бюджет: 1000 UAH Срок: 1 день
Нужно смотреть вебсайт и как он работает, скорее всего куки, может не то ссылка
Бюджет: 1100 UAH Срок: 1 день
Добрый день. Надо смотреть как Вы используете код. Но чаще всего, либо куки нужны, либо увеличить паузу между загрузками на одном прокси ip
Бюджет: 1100 UAH Срок: 3 дня
Добрый день! Ознакомившись с вашим проектом, я готов приступить к его выполнению. Давайте обсудим детали для наилучшего результата.
ну що панове фрілансери - за 1 хв я викачав ті всі малюнки з проблемного сайту.
АЛЕ !!!
Проблема в тому зо пан Замовник хоче універсвльний "викачувач" )))) з будь якого сайту )))
ну зрозуміло що такого не існує ))))
наприклад з того проблемного сайту то я мусів задати специфічні проксі, хедери та звичвайно що замінити урл на той, за яким і можна було б скачати малюнок, а не той урл, що вказував на пряме посилання на малбнок.
Я надав Замовнику найбільш універсальний зразок коду, який підійде для тих сайтів, які без проблем віддають малюнки.
АЛЕ ж це не вирішить проблеми з сайтами замовника, де він хоче викачувати малюнки.
ТОму що під кожний ПРОБЛЕМНИЙ сайт треба свій парсер = і тільки так.
ТАКИМ чином - в такому ТЗ, що пан Замовник хоче знайти пана Фрілансера - це нереальний проект ))))))))))
Ну що панове фрілансери. Бачите ставку залишив фахівець який зі мною працював. І таких тут багато. Я не про Івана. Все зробить. І я не сумніваюсь. Бо мав діло з ним. Іван це гуру профі який думає, що зі своїм 20 річним досвідом знає все, то це не так, і такого не може бути. Скільки працюю стільки і бачу, як молоді специ, без прокачаного профілю деруть одне місце, продвинутим фахівцям які все знають=) А також хто готовий поспорити! Є один факт! Який я замітив. У кожного фахівця, рано чи пізно закінчується рівень знань. Я стільки разів це чув, де людина працювала. А потім, ой тут я уже не можу. І це нормально! Підключався інший, і зробив те що не зміг попередній. А самовпевнені топи і гуру, в сторонці говорять це не можливо. Бо! Чи розвиватись не хочуть, чи просто не їхня тема. Наприклад Іван, він крутий напевно фахівець, щось випарсити з високою точністю з якихось неприступних сайтів. Но загальний парсинг, це уже не для нього. І це нормально! Мені не підходить те що він вміє. І є фахівці, які роблять те що мені потрібно, і вони не роблять, те що робить Іван. Ось уся проблема, гуру і топів, з великим досвідом. Він не може, то думає що не можливо! Мені давно говорили слово НЕРЕАЛЬНО! Універсальний не можливо! Але хто працював зі мною з цієї біржі. Прекрасно знає, бо сам бачив, як я викачував потрібну інфу з різних сайтів. Не лізучи кожен раз в код за заголовками, clas, id, xpath і іншою єрундою. В мене все працює на автоматі. На рівні як у штучного інтелекту. Тільки якість парсингу краща, бо штучний інтелект багато мусору всерівно потягне. Но звісно це не парсер написаний за 1 день і одною людиною, в ньому багато різних функцій. І багато різних бібліотек, які багато чого обробляють що на вході, що на виході. Його я розробляв більше чим з 10 розробниками, в нього є як фронтенд так і бекенд. Вкладено багато коштів, часу і сил. Щас по факту! Можу з гугла на автоматі, наприклад статі, по одному якомусь запиті за 1 хв. Качну пачку статей. Звісно найдуться із цих сайтів які не по силах. Наприклад з 10 візьму інфу тільки з 8 сайтів. Так це по одному слову ПАНОВЕ! Мені і 8 це уже багато! Бо я з цих 8, взагалі інфу вибрав з 1 сайту. На виході інфа буде з почті чистою html розміткою. Потім парсер її ще пережує. І взагалі буде повна інформаційна стаття з чистою Html розміткою з форматуванням. Де заголовок це заголовок, відступи, абзаци, списки і так далі. І дістану я все це. Навіть при тому, що у всіх цих сайтів буде різне як ви любите казати під капотом. А вам Іван з 20 річним досвідом не потрібно було сюди писати. Ви мені колись і за звуки на Windows писали, що на pythone вони будуть глючити, але я і цю проблему вирішив. А як що вас би послухав, то не вирішив би цієї проблеми. Ви дуже самовпевнений. Но ваше мислення в парсингу заточене під конкретику. І ніхто не каже що це погано. Но багато в чому ви помиляєтесь. Я і з картинками розберусь. З більшої половини сайтів, я і так їх качаю, бувають такі неприступні якийсь там процент. І як що потрібно буде, буде автоматом підбирати всю ту потрібну інфу з сайта, яку ви вручну підбирали. І буде працювати всерівно на автоматі. Фігня все це. Я з розробниками важкіші речі робив. Вам вчора скинув відео, де один із розробників, взагалі просто на одному толковому проксі, без всьої тої інфи що ви дописували, качнув за 1 хв, з парою строчок кода, все те саме що і ви. По більше пишіть слово не можливо. Мені це тільки настрій підіймає. Ви навіть в голові собі не уявляєте, скільки я такого не можливого давно зробив. Відписувати не потрібно, бо виключу цю функцію, в проекті. Не розводимо тут безтолкові діалоги!
Якщо хочете універсальний викачувать, зробіть його по схемі шаблонів. Те що зробив Іван додайте як один із шаблонів. Проведіть дослідження з іншими сайтами, та поповнюйте бібліотеку шаблонів викачувача. Парсінг це безкінечна бородьба двох сил де кожна із сторін лише тимчасово може назвати себе переможцем.
Ось оце правильне мислення. Ось в такому напрямку при розробці кожної нової функції, я і рухаюсь, якраз зараз це і робимо. Це і є універсальність. Колись і штучний інтелект це було щось не реально! А зараз це нічого, дивовижного. Куди його тільки не впихують відомі світові компанії. Жаль, що не всі це розуміють!
Усе вірно. Але ж шаблони - це теж потрібно збирати щоб хоча б якийсь підійш для сайту. А це теж не є та універсальність, про яку говоримо ) )) щоб раз , одним реквест з тими ж параметрами і для всіх сайтів - ось це універсальність.
А якщо вже є шаблони - то це уже інша річ.
Уже все зробили. І шаблон не супер якийсь особливий. У разі помилок підключаємо спеціальну бібліотеку. Вона відкриває такі силки які мають такі помилки, і картинки на автоматі качаються. А також спец код прописаний. В браузер кожен раз за заголовками та іншою інфою не бігаю. Короче питання закрите.
Ищем 3D GenAI Engineer / AI 3D Pipeline Developer Необходимо создать решение, которое сможет качественно генерировать 3D-модели из одного изображения или нескольких изображений. Важно, чтобы это был не просто готовый демо-продукт, а понятный и воспроизводимый процесс: от входного изображения до полноценного 3D-актива с mesh, геометрией, текстурами и возможностью дальнейшего использования. Что нужно сделать: - протестировать современные модели image-to-3D и подходы; - определить, какой вариант лучше всего подходит для нашей задачи; - использовать Trellis, Hunyuan3D или аналогичные решения; - при необходимости использовать Gaussian Splatting в 3D-пайплайне; - настроить преобразование Gaussian Splat / splat-представления в 3D mesh; - получить пригодную для использования геометрию; - сгенерировать текстуры высокого качества; - довести результат до состояния usable 3D asset; - подобрать оптимальный баланс между качеством, скоростью генерации и сложностью пайплайна; - построить понятный процесс, который можно будет повторять для различных изображений; - выполнить fine-tuning, LoRA или другие адаптации моделей под конкретный тип объектов.
Необходимо подключить форму заявки на лендинге к keycrm. Все необходимые доступы предоставлю. Пишите, сколько времени и средств займет такая задача.
Необходимо разработать программу для Windows, которая позволяет подключать iPhone с jailbreak через USB-кабель и управлять им с компьютера. Основной функционал: Подключение iPhone через USB. Программа должна быстро распознавать подключенный iPhone и работать через кабель, чтобы минимизировать задержки и лаги. Трансляция экрана iPhone на компьютер. (На компьютере должен отображаться экран телефона в реальном времени) Управление телефоном с помощью мыши. Пользователь должен иметь возможность кликать, свайпать, прокручивать и управлять экраном iPhone с помощью мыши с компьютера. Ввод текста с компьютера. Должен быть общий буфер обмена между компьютером и iPhone. Передача файлов с компьютера на iPhone. Нужно добавить функцию загрузки файлов с компьютера в память телефона или в нужные папки/приложения. Стабильная работа. Программа должна работать плавно, без значительных задержек, зависаний и обрывов соединения. Совместимость: поддержка «взломанного» iPhone, rootless jailbreak, iOS 16.7.12, подключение через USB.
Проект уже есть и он работает - задача решить вопрос по ограничению фб, при количестве постов в час более 3-4 (с 7 утра до 12 ночи) аккаунты клиентов ограничиваются фб. сайт - https://buzzpost.co.il/ Также поискать дыры в логике и в самом проекте и поправить их, опять же логика и сам проект уже работают, но так или иначе дыры скорее всего есть. Самая главная задача - решить проблему с ограничением постинга фейсбука.
Необходимо улучшить уже существующий макрос. Сам макрос, возможно, простой, не знаю, потому что мне его передал предыдущий сотрудник. Используется макрос для создания спецификаций. Так как я работаю в розничной торговле, то для каждой операции с поставщиком, а именно поставками, мы делаем спецификации. Но он не заполняет все поля, которые нужны. Прилагаю макрос и файл, который использует макрос. Желтым выделил то, что нужно выполнять макросу.