Парсинг метаданних сайтів
Є великий список сайтів.
Потрібно відрізати з них метадані для навчання NLP моделей з метою визначення ніші.
Дані, такі як:
У верхній меню:
Тематика
Категорії
author name Meta Data (Meta Tag)CategoriesAuhtor InformationHeadings and SubheadingsBlog Post TitlesPublication DateContent StructureAbout Us PageArchivesHTML TagsStructured Data MarkupWebsite NavigationFooter TextRSS feedmain-navigation__item menuAdvertising та інша релевантна інформація для нашої мети.
Зберігання в Монго БД в хмарі.
Робота під Убунту 22.04
Коментарі та інструкції англійською мовою.
Контроль версій через Гитхаб
-
4 дні4444 UAH
151 4 дні4444 UAH
Привітання ! Готова допомогти з парсингом метаданних з великого списку сайтів для навчання NLP моделей і визначення ниші. Однак, через відсутність конкретних сайтів і деталей про структуру даних, важко дати точну оцінку проекту.
З урахуванням мого досвіду веб-розробки та роботи з Python та різними базами даних, я розробляю ефективний парсер для вилучення даних, таких як теми, категорії та імена авторів з веб-сайтів.
Давайте обговоримо додаткові деталі та вимоги для більш точної оцінки та успішної реалізації проекту. Будемо раді співпраці!
-
4 дні4000 UAH
194 4 дні4000 UAH
Привітання !
Як фуллстек розробник з досвідом в Python (Flask, Django) і базах даних (MySQL, PostgreSQL, MongoDB), зацікавився вашим проектом по парсингу метаданних з великого списку сайтів для навчання NLP моделей і збереження в хмарній MongoDB. Я розумію, що для точної оцінки проекту необхідно уточнити деталі, такі як обсяг даних, структура і розподіл сайтів. Готов обговорювати проект і оптимальні рішення для його реалізації. Я буду працювати під Ubuntu 22.04, контролюючи версію через GitHub. Інструкції та коментарі надамо англійською мовою. Зв'яжіться і почнемо роботу над проектом!
-
3 дні3000 UAH
294 3 1 3 дні3000 UAH
Великий досвід парсингу. Django, Flask, FastAPI
Робота із будь-якими базами даних (mySQL, PostgreSQL, Oracle, MongoDB) та типами файлів.
Кваліфікований BS, Selenium and RestAPI.
Чистий код відповідно до всіх інструкцій PEP8.
Кінцева вартість та терміни залежать від кількості та структури сайтів, яких треба парсити
-
2 дні2000 UAH
266 2 дні2000 UAH
Добрий день . Я Senior WEB developer з досвідом в галузі з 1998 року. Ваша задача в цілому зрозуміла, але не можна дати конкретну? Наприклад, чи є багато сайтів однієї структури? "Footer text" завжди в одному місці або є ознака його знаходження? Те ж саме стосується навігації, наприклад і іншого. Це одноразова операція чи ви хочете у своєму проекті це сервісом? Що в стеку технологій проекту зараз? Ви не могли б дати відповіді на запитання?
-
Який конкретно список сайтів? Скільки там сайтів і які вони по структурі/складності. Які саме сторінки на цих сайтах парсити і де там шукати вказані дані? Ціна строки сильно буде залежити від всіх цих даних.
-
Сайтів багато. Можна почати з першого - https://www.togetherprice.com/us/.
Де брати дані Ви самі повинні знайти, якихось може не бути - звісно якщо даних немає, то і взяти нема звідки. Я дав загальних список полів, які потрібні. -
10 ? 100 ? 100 ?
-
Звідки розробнику знати де ці дані на сайтах лежать?
-
Дивитися на код сайту, досліджувати та розбирати його у пошуку потрібних даних. Якщо Ви не розумієте цього, то задача не для Вас.
-
Я про те що постановка задачі абстрактна. Це так само як казати що буде коштувати багато грошей, але почніть з суми ... $
-
Тут перше питання не про ціну, а про розуміння задачі.
-
Так немає розуміння що саме парсити. Весь сайт або тільки певні сторінки? Треба авторизовуватися на сайтах або ні.
-
З опису проекту повинно бути зрозуміло, що парсити. Я вже дав лінк сайту. Описав поля для інфо яка потрібна. Можливо, Вам просто не вистачає досвіду для розуміння задачі.
-
Якого досвіду? Читання думок ? 🙂
-
Тикати пальцем на кожне поле і де воно знаходиться я не збираюсь. Поля необхідні є, лінк є. Достатньо, щоб знайти те, що необхідно.
Ви сайт хоч дивились? Пробували знайти необхідну інфо?
-
Ок. Якщо все таки надумаєте, пояснювати нормально пишіть.
-
Задача в дійсності не є складною - треба робити раз за разом пошук по сторінкам сайту на наявні значення, знаходити їх і записувати. Підходів до вирішення такої задачі є масса, стронг джуніор розробник справиться.
Питання тільки в тому, що на фрілансханті дуже мало толкових людей залишилось (навіть джунів). Осталися в більшості "самоучки", які дуже хочуть гроші, а знань відповідних немають. Решта - або на війні, або закордоном.
Олександр, шукайте на upwork або fiver. На останньому десь ніби бачив вже готові парсери для вашої задачі.
-
Дякую за пораду, але хотілося б давати можливість заробляти нашим - українським програмістам, а не закордонним.
-
Ну так я про Українців і говорю, добра частина перейшла на американські, європейські портали, тому що на фрілансхант демплять ціни.
-
Чому стронг джуніор сам не береться?
Питання як раз до самих значеннь, що мається на увазі і у якому форматі це зберігати. І звісно до об'ємів. Великі об'єми викл. інші проблеми.
Крім того це фріланс якост дивно скарджитися на самоучек.
-
Актуальні фриланс-проєкти в категорії Javascript та Typescript
Шукаю досвідченого Full Stack розробника для створення SaaS-сервісу для інтернет-магазинів.Ідея сервісу: Клієнт завантажує посилання на свій товарний фід (XML або CSV). Сервіс автоматично отримує товари, бере їхні фотографії та створює нові рекламні зображення за готовими шаблонами: ціна, знижка, логотип, акційні плашки тощо. Також у сервісі має бути простий редактор… Javascript та Typescript, Веб-програмування ∙ 1 день 18 годин тому ∙ 82 ставки |
Розробка WebGL/Three.js сцени з генерацією та експортом 3D (снапшот) з анімованого шейдераОпис об'єкта:Проект являє собою дизайнерський стіл, виконаний у формі реалістичного, глибокого водовороту (центральна воронка, яка плавно переходить з широкої горизонтальної стільниці в тонку витончену ніжку). Суть задачі:Потрібен WebGL / Creative Coding розробник для створення… Javascript та Typescript, Веб-програмування ∙ 2 дні 14 годин тому ∙ 30 ставок |
Підтримка та розвиток сайту клінінгової компанії
906 UAH
Шукаю веб-розробника / вебмайстра для довгострокової підтримки та розвитку сайту клінінгової компанії. Сайт: https://donely.ca Про проєкт DoneLy Home Services — компанія з надання послуг прибирання в Канаді, яка активно розвивається та розширює географію роботи. Шукаю… Javascript та Typescript, Веб-програмування ∙ 4 дні 16 годин тому ∙ 64 ставки |
Розробка сайту по ТЗ на FramerПотрібно зробити сайт по цим параметрам що в тз https://docs.google.com/document/d/1ODO2C9Krb4AaMiJz9wfbNzWlAyA2FwCCHL8r0biajUY/edit?usp=sharing Називайте реальний рейт на основі цього дизайну HTML та CSS верстання, Javascript та Typescript ∙ 5 днів 17 годин тому ∙ 29 ставок |
Розробка інтерактивної карти Palworld для сайтуПотрібно розробити інтерактивну карту Palworld за прикладом: https://palworld.gg/map Нам потрібна не просто статична картинка, а повноцінна інтерактивна карта, де користувач може дивитися локації, вмикати / вимикати категорії об’єктів, шукати потрібні точки та взаємодіяти з… HTML та CSS верстання, Javascript та Typescript ∙ 7 днів 8 годин тому ∙ 36 ставок |
Харків