Добавить в парсер на python сохранение результатов в mysql
Есть парсер который парсит сайт на предмет нахождения рандомных кодов и пишет все найденные в текстовый файл что со временем стало заметно неудобно. Надо аккуратно дописать 2 короткие функции к текущему функционалу.
Хочется все текущие коды загрузить в таблицу mysql - там 2 колонки и в дальнейшем работать через mysql.
При старте выгружаем всю таблицу в память, в массив, при получении рандомного кода проверяем его наличие в массиве, если нет - парсим, при удачном нахождении добавляем в массив и в mysql.
Заодно должно получиться решение для распределенного парсинга.
-
1 day14 USD
166 2 0 1 day14 USD
Здравствуйте, без проблем выполню ваш заказ.
----------------------------------------------------------
-
1 day6 USD
853 11 0 1 day6 USD
Здравствуйте
Есть опыт работы с Msql сделаю все быстро и ефективно
Юуду ждать вашего сообщения для детального обсуждения
-
1 day23 USD
445 28 1 1 day23 USD
Здравствуйте, готов сделать, обращайтесь!
Работа будет выполнена качественно!
Буду рад сотрудничать!
-
1 day11 USD
495 1 0 1 day11 USD
Добрый день! Пишите - буду рад помочь. Реализовывал подобные фунционлы
-
1 day6 USD
192 1 day6 USD
Добрий день, зацікавив ваш проект. Маю великий досвід роботи з БД.
-
1 day7 USD
403 1 day7 USD
Смогу сделать хоть сегодня, работа на 30 минут, хорошо знаю как сделать ваш запрос в бд, так что пишите, буду ждать
-
2 days9 USD
674 24 0 2 days9 USD
Добрый день, Антон
Есть небольшое предложение: можно вместо загрузки всей таблицы в память проверять наличие кода прямо в таблице, через sql запрос
Это и меньше кода займет, и будет быстрее
Давайте обсудим детали в лс, напишите мне
С уважением, Александр
-
Зачем при старте выгружать таблицу всю в память? Это же не эффективно по памяти.
-
Current freelance projects in the category Data Parsing
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 1 hour 43 minutes back ∙ 20 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 18 hours 10 minutes back ∙ 44 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
47 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 22 hours 2 minutes back ∙ 25 proposals |
Parsing and classification of a large array of imagesIt is necessary to implement a project for collecting and structuring a large array of architectural images from open web sources.The task includes: automated collection of images; uploading files in the highest available quality; classification of images by categories:… Python, Data Parsing ∙ 22 hours 30 minutes back ∙ 30 proposals |
Website parsingImplementation of 4 parsers (directory websites) is required. There is a technical specification, and there is a code example as a reference. The tasks include: Writing a parser Integrating a proxy Deduplication logic (transfer the logic from the example) Hashing logic based… Data Parsing ∙ 2 days 14 hours back ∙ 42 proposals |
Praha