Написать программу, для сортировки и обновления данных с парсера
2461 PLNНужно написать Программу, для сортировки и обновления данных с парсера
Напишите пожалуйста:
1) Был ли у вас опыт работы с подобными проектами (может частично)
2) Стоимость работы месяц/день/стоимость всего проекта
3) Сроки реализации
В файлах ТЗ прилагается только схема и вид базы данных. В каком формате данные поступают (Формат Базы или таблицы входящие Данные из Парсера(6 в схеме желтым) и в каком формате расположены дополненные данные для выгрузки (Таблицы для загрузки на сайт (14 в схеме желтым).
Полное ТЗ включает в себя расписанный с примерами ,каждый блок программы. Полное ТЗ предоставляется при выботе испольнителя.
Общая идея:
Объединить данные с разных сайтов и получить таблицу(или базу данных) для загрузки на свой сайт с максимально
наполненными описаниями, отзывами и т.д товаров и списком цен и информации про продавцов как на hotline.ua
1)Есть парсер который синхронизируется и обновляет данные с программой сортировки
2)Данные с парсера поступают в программу с разных сайтов в определенном не меняющимся формате
3)Программа сортировки обработав данные формирует таблицу в заданном формате для синхронизации с сайтом например на OpenCart
4)Программа сортировки это локальная программа на мощном сервере которая должна как можно быстрее
обрабатывать данные и не перегружаться:
4.1) Объем данных для обработки программой написанно по максимуму. Это 100 милионов и товаров и более с данными о товаре с интернет рынка Украины (название, цена, описание, тех характеристики, отзывы и т.д что есть)
4.2) В программе работают фильтры по разным направлениям, категориям и брендам (Строительные материалы, Сантехника, Телевизоры, Спорт и т.д )
4.3) Программа определят и объединяет одинаковые товары (название, цена, описание, тех характеристики, отзывы и т.д
по заданным параметрам)
4.4) Программа формирует списки цен и продавцов по одинаковым товарам
4.5) Программа имеет функцию ручного указания что товары одинаковы
4.6) Программа определяет наибольший ассортимент товаров по каждому Бренду(торговой марке)
т.е выбирает у какой фирмы по заданной торговой марке больший ассортимент и его использует как базовый для
наполнения и поиска одинаковых товаров
5) Созданные настройки в программе и саму программу можно переносить на другие сервера и подключать к парсеру
заново
5.1) После переноса программы можно стереть (обнульть) все данные по логам и товарам. Оставив только настройки
6) Программа имеет авторизацию админ или менеджер
6.1) Админ полный доступ
6.2) Менеджер, доступ только к сортировке в ручную
Заранне благодарен за ответы! с уважением Гончарук Андрей
Напишите пожалуйста:
1) Был ли у вас опыт работы с подобными проектами (может частично)
2) Стоимость работы месяц/день/стоимость всего проекта
3) Сроки реализации
В файлах ТЗ прилагается только схема и вид базы данных. В каком формате данные поступают (Формат Базы или таблицы входящие Данные из Парсера(6 в схеме желтым) и в каком формате расположены дополненные данные для выгрузки (Таблицы для загрузки на сайт (14 в схеме желтым).
Полное ТЗ включает в себя расписанный с примерами ,каждый блок программы. Полное ТЗ предоставляется при выботе испольнителя.
Общая идея:
Объединить данные с разных сайтов и получить таблицу(или базу данных) для загрузки на свой сайт с максимально
наполненными описаниями, отзывами и т.д товаров и списком цен и информации про продавцов как на hotline.ua
1)Есть парсер который синхронизируется и обновляет данные с программой сортировки
2)Данные с парсера поступают в программу с разных сайтов в определенном не меняющимся формате
3)Программа сортировки обработав данные формирует таблицу в заданном формате для синхронизации с сайтом например на OpenCart
4)Программа сортировки это локальная программа на мощном сервере которая должна как можно быстрее
обрабатывать данные и не перегружаться:
4.1) Объем данных для обработки программой написанно по максимуму. Это 100 милионов и товаров и более с данными о товаре с интернет рынка Украины (название, цена, описание, тех характеристики, отзывы и т.д что есть)
4.2) В программе работают фильтры по разным направлениям, категориям и брендам (Строительные материалы, Сантехника, Телевизоры, Спорт и т.д )
4.3) Программа определят и объединяет одинаковые товары (название, цена, описание, тех характеристики, отзывы и т.д
по заданным параметрам)
4.4) Программа формирует списки цен и продавцов по одинаковым товарам
4.5) Программа имеет функцию ручного указания что товары одинаковы
4.6) Программа определяет наибольший ассортимент товаров по каждому Бренду(торговой марке)
т.е выбирает у какой фирмы по заданной торговой марке больший ассортимент и его использует как базовый для
наполнения и поиска одинаковых товаров
5) Созданные настройки в программе и саму программу можно переносить на другие сервера и подключать к парсеру
заново
5.1) После переноса программы можно стереть (обнульть) все данные по логам и товарам. Оставив только настройки
6) Программа имеет авторизацию админ или менеджер
6.1) Админ полный доступ
6.2) Менеджер, доступ только к сортировке в ручную
Заранне благодарен за ответы! с уважением Гончарук Андрей
Załączniki 3
-
164 Здравствуйте. У меня есть опыт работы как с базами данных так и с приложениями для C#, использующими сложную логику, в том числе и парсеры, и я готов помочь Вам с написанием Вашего проекта.
Уточните пожалуйста будет ли это исключительно информационный портал или нужно будет реализовать возможность продажи через него. Также собираетесь ли вы делать веб приложение или приложение для пк - советую первое, поскольку оно поможет Вам увеличить охват Вашего приложения.
Готов ответить на Ваши вопросы касательно Вашего проекта. Жду вашего письма для дальнейшего обсуждения.
-
17 1. Имею длительный опыт работы с большими массивами данных, оптимизации БД, повышение скорости обработки данных. (MSSQL Server)
2. Стоимость проекта 30 тыс.
3. Срок реализации 1 мес.
Вариантов решения может быть несколько. Парсеру не обязательно че-то передавать в программу, достаточно писать или в отдельную таблицу на сервере из которой программа будет забирать данные и раскладывать как нужно.
-
309 8 0 1) Был ли у вас опыт работы с подобными проектами (может частично)
Разработка разной сложности и логики парсеров декстоп на C# и веб на PHP. Имею большой опыт разного вида интеграций между базами данных и или файлами.
2) Стоимость работы месяц/день/стоимость всего проекта
Для полного понимания необходимо живое общение хотя бы в чате. Из того что вы написали, я предполагаю стоимость до 30 000, срок месяц. Писать планирую десктоп приложение на C#, БД для приложение MS SQL. Стоимость может быть значительно ниже, иногда заказчик через чур путает краски и запутывает тривиальную задачу :).
3) Сроки реализации
Месяц.
-
95 Есть опыт работы с большими объемами данных и разными поставщиками информации (парсеры и прайс листы). Обработка такая:
1. группировка подобных товаров.
2. Дополнение информации (был опыт с авто товарами)
3. схожесть данных ( с примеру "Эл. чайник" = "Электо чайник")
Физически нахожусь в Николаевской области (60 км от города)
-
1245 15 1 Добрый день. Есть опыт реализации подобных проектов. Можно как под Windows так и под Linux. С радостью отвечу на любые вопросы.
-
75 1 0 Более чем двадцатилетний опыт работы в данном направлении.
Предложил бы написать дестктоп-приложение на Delphi\Free Pascal, а также, по желанию, добавить возможность хранения базы на стороннем хосте - это даст возможность работать с любого рабочего места. Естественно, экспорт в любой указанный вами формат.
Срок - две недели на основу и по 2-3 дня на каждый парсер. Количество парсеров зависит от источников, с которых вы хотите импортировать данные.
О, я смотрю ТЗ сильно обновилось, и как раз в моем направлении. У меня есть ряд готовых решений по автоматической сортировке товаров, можем применить их для вашей задачи.
-
2141 51 0 Здравствуйте, Андрей.
Имеется опыт разработки C# приложений - более 3.5 лет.
Более того, чистый парсинг, проектирование баз данных, работа с SQL Server, Access и SQL Lite - более 3х лет.
Не пропадаю, всегда на связи, отвечаю в течении получаса.
Готов реализовать этот проект в течении 30 дней.
В результате нашей работы Вы получите полностью рабочее, оптимизированное и протестированное приложение.
Ваши вопросы:
1. Более 30-40 мелких парсеров и 1 крупный, всё это - работы за последние 3 года.
… 2. Проект оцениваю предварительно в 100 часов, 12$ \ час, 50$ \ день, весь проект - ~28-30K.
Жду Вашего сообщения, надеюсь на сотрудничество.
-
2070 115 4 6 Здравствуйте.
Могу реализовать Ваш проект.
Опыт разработки огромный, примеры работ в портфолио.
Обращайтесь, выполню качественно и в сроки.
-
129 Добрый день!
Меня очень заинтересовал проект, потому что мне нравится работать с базами данных.
Ранее реализовывала парсеры, которые обрабатывают данные(сортируют медикаменты, данные о земельных участках) и после обработанные данные помещают в таблицы(.xlsx), либо в pdf файлы, либо в xml.
Такую программу можно сделать в виде десктопного приложения на С# Windows Forms или веб-приложения(сайта) на C# MVC - выбор зависит от того, что Вам нужно: запустить программу, она отработала и Вы ее закрыли или, чтобы она работала постоянно. Оба вида смогут обрабатывать большие данные, данное требование учтено!
Мне было бы интересно реализовать программу, потому что занимаюсь разработкой именно баз данных, их моделей(концептуальных, физических) и внедряю в системы написанные на С#, Java...
Сроки примерные - зависит то того, какой вид приложения нужен: десктопное или веб-приложение, а также время внедрения проекта.
-

Добрый день
есть опыт работы в разработке подобных приложений, в частности сортировка и формирования выписок из базы предприятий, формирование отчётов из данных полученых из параметров рейса, программа - обработчик БД склада и т д, территориально нахожусь в Николаеве
-
Добрый день!
Занимаюсь подобными задачами (обработка больших потоков данных в реальном времени). Задачу можем обсудить в скайпе roman.ghost
С уважением,
Роман.
-
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
Usunąć problem niepełnego importu danych z plików Excel specyfikacji Nowej Poczty do 1C:
164 PLN
Cel: Istnieje przetwarzanie w 1C dotyczące ładowania specyfikacji Nowej Poczty. Z nieznanych powodów przestało ładować niektóre dane tabelaryczne. Należy znaleźć przyczynę i usunąć problem niepełnego importu danych z plików Excel specyfikacji Nowej Poczty do 1C: Mały Biznes.… Administracja systemem i siecią, Bazy danych i SQL ∙ 2 dni 7 godzin temu ∙ 16 ofert |
System ewidencji, planowania i sprzedaży dla farmy grzybowej
2215 PLN
Oto pełny, finalny tekst Technicznego Zadania (TZ). Łączy on wszystkie Twoje wymagania: 16 komór, 20 kontrahentów, harmonogram po dniach, ewidencja opakowań, obliczenie rentowności oraz obowiązkowy podział na trzy gatunki grzybów. Możesz całkowicie skopiować ten tekst i wysłać… Bazy danych i SQL, Zarządzanie klientami i CRM ∙ 4 dni 11 godzin temu ∙ 55 ofert |
Zewnętrzny raport 1C 8.3 — prognoza stanów towarów
82 PLN
Potrzebny zewnętrzny raport (.erf) dla 1C:Enterprise 8.3 (konfiguracja do ustalenia). Co ma robić: Wyciągać stany towarów z bazy Analizować historię sprzedaży za ostatnie 30 dni Liczyć średni tempo sprzedaży dla każdego towaru Określać, po ilu dniach towar się skończy Oznaczać… Bazy danych i SQL, Zarządzanie klientami i CRM ∙ 4 dni 11 godzin temu ∙ 13 ofert |
Audyt bezpieczeństwa aplikacji internetowej i bazy danych dla niestandardowego CRM — specjalista BaaS / Database-as-API (PenetrPrzegląd projektu Obsługujemy platformę zarządzania relacjami z klientami (CRM) stworzoną na zamówienie, która prowadzi dwa biznesy usługowe w jednym systemie. Jest to nowoczesna aplikacja internetowa JavaScript wspierana przez bazę danych jako usługa (BaaS) i wdrożona na… Bazy danych i SQL, Testowanie i kontrola jakości ∙ 5 dni temu ∙ 10 ofert |
Synchronizacja baz danychSynchronizacja programów Microsoft Access i CRM SalesDrive. Przekazywanie danych z CRM do Microsoft Access na pierwszym etapie (zmiana statusu lejka). Przekazywanie danych z Microsoft Access do CRM na drugim etapie (zmiana statusu w programie). Bazy danych i SQL ∙ 5 dni 6 godzin temu ∙ 13 ofert |