Парсинг млн записів

Вітаю! 👋

Маю досвід розробки систем обробки великих обсягів даних (мільйони записів), включаючи імпорт CSV, роботу з JSON, оптимізацію MySQL та автоматичне оновлення даних по розкладу. Зможу реалізувати стабільний процес обробки вашого файлу з асортиментом та фотографіями.

Як це реалізую:

імпорт оригінального CSV (200k записів) у таблицю MySQL зі збереженням структури + поле дата оновлення;

обробка JSON по посиланню та витягування URL усіх фото;
…
запис фото у окрему таблицю (до 4 млн записів) з прив’язкою до товару;

оптимізація структури БД (індекси, batch inserts, chunk processing);

автоматичне оновлення даних 5 разів на день через cron;

система логування, перевірки коректності імпорту та контролю помилок;

оптимізація швидкості обробки великих обсягів даних.

Працював з задачами, де потрібно обробляти мільйони записів і великі масиви даних, тому приділяю особливу увагу продуктивності та стабільності процесу.

Готовий обговорити деталі структури CSV та JSON, після чого зможу оцінити терміни та бюджет.

Вітаю. Є досвід з парсингом csv та json. Готовий зробити структуровану бд, але спочатку хотілося би побачити структуру цсв, також зможу надати скрипт, якщо в цсв з цьою структурою буде додаватись інформація.

Добрий день, Дмитро
Маю поглибленні зання MySQL та роботи з подібним парсингом.
Звертайтесь, допоможу зробити рішення яке працює швидко та надійно
Чекаю на feedback

Вітаю.

Розробляю ботів та парсери на NodeJS. Готовий взятися. Пишіть, обговоримо.

реалізую без проблем, ціна з умовою що не буде ніякихз блоків, звертайтесь реалізую в зручному для вас стеку

Готовий взятися.
Але треба уточнити деталі замовлення, пишіть!
Реалізую скриптом на python.

Вітаю, Дмитро.
Маю відповідний досвід для реалізації даного проекту

Вітаю! 🚀

Маю досвід роботи з великими обсягами даних: імпорт CSV на сотні тисяч записів, обробка JSON по посиланнях, завантаження мільйонів рядків у MySQL, побудова стабільних ETL/парсинг pipeline з оновленням по розкладу, логуванням, retry-механікою та контролем цілісності даних. Для вашої задачі можу реалізувати швидку систему завантаження асортименту, винесення фото в окрему таблицю, оновлення 5 разів на день.

Стек який я буду використовувати:

Backend: Python, MySQL, asyncio / aiohttp, multiprocessing
Integrations: CSV import pipeline, JSON parsing, cron / scheduler, логування, retry / monitoring
Infrastructure: Docker, VPS / server, Redis (за потреби), CI/CD
…
Готовий обговорити деталі проєкту в особистих та готовий приступати до роботи.

З повагою, Андрій!

Доброго дня. Буду радий співпраці. Маю гарний досвід у парсінгу данних з файлів.

Доброго дня, Дмитро!

Маємо досвід роботи з великими масивами даних — парсинг Google Maps на 200K+ записів з обробкою JSON-відповідей, завантаження в PostgreSQL з дедуплікацією та інкрементальним оновленням.

По вашій задачі:
1. Імпорт CSV (200K рядків, 10+ колонок) в MySQL з індексами для швидкого пошуку + колонка дати оновлення
2. Парсинг JSON з посилань → окрема таблиця фото (2-4 млн записів) з FK на основну таблицю
3. Автоматичне оновлення 5 разів/день за розкладом (cron) з логуванням та перевіркою цілісності

… Для швидкої обробки мільйонів записів використовуємо batch-insert (LOAD DATA / bulk insert), паралельну обробку JSON, та моніторинг процесу.

Готові показати приклад підходу після перегляду CSV та JSON. Пропонуємо роботу через Сейф.

Доброго дня. Готов виконати даний проект маю великий досвiд розробки додаткiв

Доброго дня. Маю досвід подібних завдань в обробці csv та json.
Бажано подивитись примірник даних.
Буду радий допомоти.

Доброго дня. Великий досвід роботи з базами даних mysql. Весь проект зроблю на пхп, звертайтеся.

Показати оригінал

Перекласти

Доброго дня!

Маю значний досвід роботи з проектами, що вимагають швидкої обробки мільйонів записів, включаючи ефективний парсинг даних з API та роботу з MySQL. Готовий реалізувати ваше завдання з оновленням асортименту та фото.

Напишіть мені в лс, уточнимо деталі.

Доброго дня
Зацікавив ваш проект.
Хотілося би обговорити все більш детально.