Парсинг миллиона записей
7000 UAH
є цсв файл з асортиментом на 200к записів з 10+ колонок
одна з колонок це посилання - при відкритті посилання там JSON на фото 20+ шт
тобто ми маємо асортимент на 200к позицій з 20фото на кожну, тобто сумарно 4 000 000 фото
Задача:
1. Загрузити оригінальний цсв як є в таблицу Mysql бд + колонка "дата оновленря запису"
2. Загрузити в окрему таблицю з посианнями на фото (2млн записів) + ключ з таблиці п.1
3. Оновлювати таблиці 5 разів на день новим файлом (доступ к файлу буде організован за посиланням)
В тз прописана основна задача і не прописан фукнціонал логування і перевірки коректної роботи парсера - цю частину прописує для себе спеціаліст самостійно.
Шукаємо людину з досвідом роботи з аналогічними проектами де потрібно швидко обрбляти млни записів.
П.С. прохання не писати без досвіду та тих хто спожівається на "силу ШІ". Дякую
Отзыв заказчика о сотрудничестве с Іллею Василенком
Парсинг миллиона записейхорошая работа, ответственное лицо!
Отзыв фрилансера о сотрудничестве с Дмитро П.
Парсинг миллиона записейИнтересный проект, много данных) Заказчик четкий и структурированный. Всегда на связи. Четко формирует ТЗ и понимает свои потребности. Рекомендую!
-
3 дня1600 UAH
3 дня1600 UAH
Добрый день. Не проблема так сделать, но все же хотел бы сначала посмотреть на таблицу и на JSON. Опыт работы можете посмотреть в истории отзывов.
-
2 дня3000 UAH
2 дня3000 UAH
Здравствуйте! Более 3 лет занимаюсь парсингом данных. Реализовывал похожий проект, но там вместо изображений мы работали с архивами.
Смогу реализовать все быстро и качественно! Как только обсудим детали - начинаю работать.
-
3 дня3000 UAH
414 3 дня3000 UAH
Здравствуйте! 👋
У меня есть опыт разработки систем обработки больших объемов данных (миллионы записей), включая импорт CSV, работу с JSON, оптимизацию MySQL и автоматическое обновление данных по расписанию. Смогу реализовать стабильный процесс обработки вашего файла с ассортиментом и фотографиями.
Как я это реализую:
импорт оригинального CSV (200k записей) в таблицу MySQL с сохранением структуры + поле дата обновления;
обработка JSON по ссылке и извлечение URL всех фото;
…
запись фото в отдельную таблицу (до 4 млн записей) с привязкой к товару;
оптимизация структуры БД (индексы, пакетные вставки, обработка чанков);
автоматическое обновление данных 5 раз в день через cron;
система логирования, проверки корректности импорта и контроля ошибок;
оптимизация скорости обработки больших объемов данных.
Работал с задачами, где нужно обрабатывать миллионы записей и большие массивы данных, поэтому уделяю особое внимание производительности и стабильности процесса.
Готов обсудить детали структуры CSV и JSON, после чего смогу оценить сроки и бюджет.
-
3 дня3000 UAH
511 3 0 3 дня3000 UAH
Здравствуйте. Есть опыт с парсингом csv и json. Готов сделать структурированную бд, но сначала хотелось бы увидеть структуру csv, также смогу предоставить скрипт, если в csv с этой структурой будет добавляться информация.
-
2 дня5000 UAH
2187 31 0 2 дня5000 UAH
Добрый день, Дмитрий
У меня углубленные знания MySQL и работы с подобным парсингом.
Обращайтесь, помогу сделать решение, которое работает быстро и надежно.
Жду обратной связи.
-
3 дня5000 UAH
10123 117 0 3 дня5000 UAH
Здравствуйте.
Разрабатываю ботов и парсеры на NodeJS. Готов взяться. Пишите, обсудим.
-
3 дня5000 UAH
727 6 0 3 дня5000 UAH
реализую без проблем, цена с условием что не будет никаких блоков, обращайтесь реализую в удобном для вас стеке
-
2 дня700 UAH
3392 84 0 2 дня700 UAH
Готов взять на себя.
Но нужно уточнить детали заказа, пишите!
Реализую скриптом на python.
-
3 дня5000 UAH
3356 70 1 3 дня5000 UAH
Здравствуйте, Дмитрий. У меня есть соответствующий опыт для реализации данного проекта.
-
3 дня3000 UAH
3700 17 0 3 дня3000 UAH
Здравствуйте! 🚀
У меня есть опыт работы с большими объемами данных: импорт CSV на сотни тысяч записей, обработка JSON по ссылкам, загрузка миллионов строк в MySQL, построение стабильных ETL/парсинг pipeline с обновлением по расписанию, логированием, механизмом повторной попытки и контролем целостности данных. Для вашей задачи я могу реализовать быструю систему загрузки ассортимента, вынесение фото в отдельную таблицу, обновление 5 раз в день.
Стек, который я буду использовать:
Backend: Python, MySQL, asyncio / aiohttp, multiprocessing
Интеграции: CSV импорт pipeline, JSON парсинг, cron / планировщик, логирование, повторная попытка / мониторинг
Инфраструктура: Docker, VPS / сервер, Redis (по необходимости), CI/CD
…
Готов обсудить детали проекта в личных сообщениях и готов приступить к работе.
С уважением, Андрей!
-
2 дня1500 UAH
6935 109 4 1 2 дня1500 UAH
Добрый день. Буду рад сотрудничеству. У меня хороший опыт в парсинге данных из файлов.
-
2 дня3000 UAH
368 2 дня3000 UAH
Доброго дня, Дмитрий!
У нас есть опыт работы с большими массивами данных — парсинг Google Maps на 200K+ записей с обработкой JSON-ответов, загрузка в PostgreSQL с дедупликацией и инкрементальным обновлением.
По вашей задаче:
1. Импорт CSV (200K строк, 10+ колонок) в MySQL с индексами для быстрого поиска + колонка даты обновления
2. Парсинг JSON с ссылок → отдельная таблица фото (2-4 млн записей) с FK на основную таблицу
3. Автоматическое обновление 5 раз/день по расписанию (cron) с логированием и проверкой целостности
… Для быстрой обработки миллионов записей используем batch-insert (LOAD DATA / bulk insert), параллельную обработку JSON и мониторинг процесса.
Готовы показать пример подхода после просмотра CSV и JSON. Предлагаем работу через Сейф.
-
1 день4000 UAH
172 1 1 1 день4000 UAH
Добрый день. Готов выполнить данный проект, имею большой опыт разработки приложений.
-
3 дня1500 UAH
6325 74 1 3 дня1500 UAH
Добрый день. У меня есть опыт выполнения подобных задач по обработке csv и json. Желательно посмотреть образец данных. Буду рад помочь.
-
3 дня3000 UAH
1328 35 1 3 дня3000 UAH
Здравствуйте. Большой опыт работы с базами данных mysql. Весь проект сделаю на пхп, обращайтесь
-
3 дня1000 UAH
5011 41 4 1 3 дня1000 UAH
Добрый день!
У меня значительный опыт работы с проектами, которые требуют быстрой обработки миллионов записей, включая эффективный парсинг данных из API и работу с MySQL. Готов реализовать ваше задание по обновлению ассортимента и фото.
Напишите мне в личные сообщения, уточним детали.
-
2 дня3000 UAH
9009 367 0 2 дня3000 UAH
Добрый день
Заинтересовал ваш проект.
Хотелось бы обсудить все более детально.
-
Я правильно зрозуів:
Беремо рядок CSV.
Витягуємо URL до JSON.
Робимо HTTP-запит до цього JSON (200,000 запитів!).
Парсимо масив (20+ лінків).
Записуємо в БД.
-
Актуальные фриланс-проекты в категории Парсинг данных
Парсинг данных через мобильное APIИщу человека с опытом парсинга данных через мобильное API, для парсинга e-commerce, rozetka и аналоги Задачи: 1. Перехват трафика мобильного приложения (Android) настройка прокси, анализ запросов 2. Определение нужных API endpoints куда идут запросы, какие headers… Python, Парсинг данных ∙ 7 часов 16 минут назад ∙ 18 ставок |
Ищу программиста или вайб кодинг Автоматизация scraping данных 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я нечаянно на ту ссылку послал Веб-программирование, Парсинг данных ∙ 9 часов 38 минут назад ∙ 26 ставок |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 5 дней 4 часа назад ∙ 19 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 5 дней 8 часов назад ∙ 36 ставок |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 5 дней 11 часов назад ∙ 41 ставка |
Киев