Створити програму або скрипт для питона /notepad++ або іншого додатку для фільтрації даних
є багато файлів csv.в яких в кожному приблизно по 10-20 млн рядків
sublime text не справляється з відкриттям такої кількості
а от notepad++ швидко відкриває
також повинен вміти відкривати txt
розгляну ваші пропозиції, можливо скрипт для подібної програми за допомогою питона
або окремий додаток
головне завдання - щоб додаток зміг відкривати такі великі файли, працювати не зависаючи
після того як файл відкрито, мені потрібна можливість фільтрації даних
по місту, віку, даті народження або інших даних, які я вкажу
також з вказівкою, скільки рядків мені потрібно зібрати, наприклад 500
софт повинен зібрати ці 500 рядків (потрібна можливість вказати збір по порядку або в розкид) за потрібними фільтрами, я повинен мати можливість зберегти його в ексель або csv
після того як я відфільтрував рядки, ті, які відфільтрувалися - повинні позначатися, і при наступній фільтрації не використовуватися
АЛЕ, якщо після фільтрації софт зібрав недостатню кількість номерів з вказаними фільтрами, він може мені запропонувати використати попередні рядки, які вже позначені як використані, з можливістю вказати скільки додати до файлу
після цього він створює ексель або csv файл з вказаною кількістю номерів.
-
3 дні4000 UAH
3 дні4000 UAH
Маю досвід у подібних DataScience проектах де потрібно читати та опрацьовувати мільйони рядків. Спеціалізуюсь на Python розробці, готовий розробити вам програму для читання + GUI інтерфейс для фільтрації та відображення даних. Можу працювати з різними форматами файлів чи то txt, csv, xlsx, json чи інші.
Готовий запропонувати наступне рішення:
- самописна Python програма для швидкого читання файлів csv чи txt за допомогою pandas/polars;
- можемо розглянути варіанти зміни формату файлів перед обробкою для пришвидшення читання чи обробки (у csv, чи імпорт у базу даних);
- зручний GUI інтерфейс через PyQT/tkinter з фільтрацією та візуалізацією даних;
- експорт у будь-який формат при завершенні обробки;
Пишіть, можемо обговорити що незрозуміло та приступати до розробки!
-
3 дні5000 UAH
3 дні5000 UAH
Привіт! Це дуже цікаве і класичне завдання в області обробки даних. Ви абсолютно праві: текстові редактори, навіть такі потужні, як Notepad++, не призначені для обробки та фільтрації даних. Вони можуть відобразити файл, швидко прочитавши його частинами, але будь-яка операція "Знайти" або "Відфільтрувати" викличе зависання.
Проблема, з якою ви зіткнулися, — це нестача оперативної пам'яті (ОП). 20 мільйонів рядків — це занадто багато, щоб завантажити їх у пам'ять цілком для аналізу.
Рішення, яке я пропоную, не буде зависати і впорається з цим завданням.
-
1 день5000 UAH
1 день5000 UAH
Я уважно прочитав Ваше ТЗ і рекомендую Вам всі дані з csv файлів перенести в базу даних тому що там буде найпростіше робити все що Вам потрібно. Або потрібно писати Python скрипти для цієї задачі
Ще дуже важко оцінити роботу не бачачи структуру файлів. У всіх структура однакова чи різна ? Можете скинути пару файлів для ознайомлення ?
Готовий якісно все виконати
Звертайтесь
-
3 дні4500 UAH
1345 4 0 3 дні4500 UAH
Чудовий запит — у мене є готовий технічний підхід, який без зависань обробляє 10–20 млн рядків і надає швидкі фільтри + вивантаження.
Що зроблю
Відкрию величезні CSV/TXT без зависань: по рядках/по стовпцях завантаження та ліниве читання (без повного читання в пам'ять).
Миттєва фільтрація за: містом, віком, датою народження, будь-якими полями (мульти-фільтри, AND/OR, містить/дорівнює/діапазони).
Відбір N рядків (по порядку або випадково) — наприклад, рівно 500.
Експорт у CSV або Excel (XLSX).
Маркування “використаних” рядків: повторно не беремо; якщо не вистачає — запропоную «додати» з уже використаних з вказівкою, скільки додати.
Дуже швидкий перегляд великих файлів з пагінацією (віртуальна таблиця, що не блокує UI).
…
Як це буде працювати (під капотом)
Python + Polars/DuckDB для обробки 10–20 млн рядків зі стрімінгом і предикатним пушдауном.
Десктопний додаток (PySide6/Qt): таблиця з віртуальним підвантаженням сторінок, миттєві фільтри, збережені пресети.
Індекс “використаних” рядків — окрема легка БД (SQLite) з ключами по файлу та зміщенням/хешам: не переписуємо величезний файл, але пам'ятаємо, що вже віддали.
Випадковий відбір — детерміноване/по-справжньому випадкове семплювання (на вибір).
TXT — розбираємо за роздільником або за шаблоном (задам за замовчуванням, можна змінити в налаштуваннях).
Плюси мого підходу
Не падає на файлах 10–20 млн рядків (стрімінг/ліниве завантаження).
Фільтри дуже швидкі (читання тільки потрібних стовпців).
“Використані” рядки маркуються без перезапису вихідника.
Готове до зростання: пізніше можна додати індекси, перехід у Parquet для надшвидкості.
Що отримаєте
.exe/.app (портативна збірка) + вихідні коди.
Простий інтерфейс:
1) Відкрити файл - 2) Вибрати фільтри - 3) Вказати “500, порядок/випадково” - 4) Зберегти CSV/XLSX.
Журнал дій і повтор запуску останнього сценарію.
Коротко про мене
Python-розробник, роблю швидкі data-інструменти та боти. Є досвід з Flask/інтеграціями та обробкою великих даних.
Готовий одразу приступити. Якщо надішлете приклад одного великого CSV/TXT (або схему стовпців) — зберу тестову демо-збірку під ваші кейси.
-
3 дні4500 UAH
2264 18 3 3 дні4500 UAH
Добрий день. Займаюсь розробкою на Python. Можу розробити для Вас програму для зручної і швидкої обробки великих cvs файлів, стек: Python + Pandas + SQLite + графічний інтерфейс через Streamlit (ідеально підходить для обробки даних). Пишіть - обговоримо деталі та одразу приступлю до роботи.
-
3 дні5000 UAH
316 1 0 3 дні5000 UAH
Доброго дня. Готовий виконати Ваш проект. Напишіть мені, і ми обговоримо деталі.
-
12 днів5000 UAH
82 12 днів5000 UAH
Доброго дня, можна буде створити невелику програму з можливістю графічної оболонки і при виборі будь-якого файлу та фільтрації, можу оформити Вам на Python+PyQt5.
-
7 днів5000 UAH
1337 25 0 7 днів5000 UAH
Зроблю на с++, буде працювати незалежно від sublime, notepad чи будь чого. Звертайтесь для обговорення деталей завдання.
-
3 дні5000 UAH
3355 11 0 3 дні5000 UAH
Привіт 👋🏻
Готова розробити програму на Python для обробки великих CSV та TXT-файлів (до десятків мільйонів рядків) без зависань.
Скрипт буде відкривати файли по рядках, фільтрувати дані за потрібними критеріями (місто, вік, дата народження тощо), враховувати ліміти рядків (наприклад, 500), позначати вже використані записи та пропонувати добір при нестачі.
Результати зберігаються в Excel або CSV, з можливістю повторної фільтрації без перетинів.
Використовую потокову обробку та оптимізацію пам'яті (pandas/polars, chunksize), щоб усе працювало швидко навіть на слабкому ПК.
Термін виконання — 3–5 днів, вартість — 5 000 грн.
Готова обговорити деталі та показати демо-приклад. 💻
-
5 днів5000 UAH
357 5 днів5000 UAH
Вітаю! Готовий реалізувати ваш проєкт на Python.
Можу створити застосунок, який без зависань відкриває великі CSV/TXT файли (10–20 млн рядків), підтримує фільтрацію за містом, віком, датою народження тощо, з можливістю вибору кількості рядків (по порядку або у випадковому порядку).
Також реалізую позначення використаних рядків, повторне використання при нестачі даних та збереження у CSV або Excel.
Хотів би уточнити деталі — формат файлів, приклади даних та бажаний інтерфейс
-
2 дні1200 UAH
690 5 0 2 дні1200 UAH
Привіт, Ігорю!
Хотілося б задати вам пару цікавих мені питань для роботи з таким ТЗ. Також було б добре побачити приблизну структуру файлів, почути, які типи файлів вам потрібні і інше.
Буду чекати!
-
1 день2000 UAH
656 9 0 1 день2000 UAH
Добрий вечір, Ігорю!
В цілому завдання зрозуміле, для точного відповіді по термінам і ціні, хотілося б уточнити деякі питання, які у мене виникли після аналізу вашого завдання.
Пишіть в приватні повідомлення — обговоримо деталі та ваші побажання.
-
1 день4000 UAH
172 1 1 1 день4000 UAH
Привіт! Готовий виконати цей проект, маю великий досвід розробки різних додатків.
-
30 днів3000 UAH
691 8 0 30 днів3000 UAH
можу написати на python або bash, можливо з веб інтерфейсом,
багаторічний досвід обробки текстових файлів, і інших,
-
2 дні777 UAH
5911 345 0 2 дні777 UAH
Розгляну приклад файлу, запропоную конкретну програмну реалізацію
-
2 дні1500 UAH
6325 74 1 2 дні1500 UAH
Доброго дня. Маю великий досвід таких завдань. Зроблю фільтри та збереження в будь який формат. Треба детальніше ТЗ та зразок даних.
Буду радий допомогти.
-
1 день1000 UAH
573 5 0 1 день1000 UAH
Привіт, я працював над Проектом "Folder" : обробляв файли CSV з понад 15 мільйонами рядків, оптимізував фільтрацію та експорт у XLSX.
Як ви хочете пріоритетно обробляти строки: за порядком чи вибірково, щоб забезпечити швидкість і зручність?
Пропоную зв'язатися, я безкоштовно проконсультую вас з технічної сторони та складемо план розробки + розповім про мою команду!
-
1 день995 UAH
1595 7 0 1 день995 UAH
Мене звати Роман, і я входжу до топ-5 розробників у категорії «Штучний інтелект і машинне навчання» серед ~1600 фахівців на платформі.
Гарантую:
- Швидке та якісне виконання завдання
- Чітке дотримання дедлайнів
- Регулярний зв'язок протягом усього процесу
Буду радий обговорити деталі вашого проекту у приватних повідомленнях.
-
Добрый день, а взять что-то готовое? Может гит уже может что-то предложить?
-
Доброго дня!
Якщо я правильно зрозумів, то Вам необхідна утиліта для швидкого опрацювання великих файлів таблиць csv з функціонаом фільтрації, редагування та експорту в Excel/csv?
Задачка цікава, але хотілося б поглянути на файл прикладу, щоб зрозуміти деякі технічні нюанси... -
Можно увидеть образец файла для понимания? Выполнить не проблема, нужно более детальное описание задачи.
-
Актуальні фриланс-проєкти в категорії Python
Створення бота багато фунціонального бота в телеграм
1000 UAH
(Всі матеріали предоставлю в приватні повідомлення) Ось детальний опис проєкту: Псіля натискання кнопки /start Бот присилає текст з правилми та умови користування (під текстом, кнопка ‘ознакомлен’) Після натискання на кнопку, наступне повідомлення ʼпроверка на подпискуʼ Три… Python, Розробка ботів ∙ 1 день 13 годин тому ∙ 88 ставок |
Знайти товарний фід (Google Merchant XML) для сайту на OpenCart
700 UAH
Необхідно знайти пряме посилання на діючий товарний фід (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Знайти оригінальний фідВимоги до результату: Робоче посилання на XML-файл Python, Парсинг даних ∙ 4 дні 2 години тому ∙ 25 ставок |
Розробка Тік-Ток ферми (контент-завод)Необхідно розробити систему для централізованого управління кількома TikTok-акаунтами з автоматичною публікацією контенту, використанням індивідуальних проксі та імітацією природної активності акаунтів. Функціональні вимоги1. Управління акаунтами Додавання та видалення… Python, Розробка ботів ∙ 4 дні 14 годин тому ∙ 19 ставок |
Покращити роботу Claude Code та роботу з написанням програмного забезпеченняЗараз розробляю СРМ та Аналітику, софт. Роблю через Клод Код, але розумію, що результати не найкращі в плані змін. Є 2 задачі - Потрібно допомогти зробити пресет по навичкам, мд і так далі, щоб покращити якість. Взяти перевірені, з якими працювали, а не з інтернету перші. - В… AI та машинне навчання, Python ∙ 4 дні 20 годин тому ∙ 25 ставок |
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 5 днів тому ∙ 28 ставок |
Київ