Добавить в парсер на python сохранение результатов в mysql
Есть парсер который парсит сайт на предмет нахождения рандомных кодов и пишет все найденные в текстовый файл что со временем стало заметно неудобно. Надо аккуратно дописать 2 короткие функции к текущему функционалу.
Хочется все текущие коды загрузить в таблицу mysql - там 2 колонки и в дальнейшем работать через mysql.
При старте выгружаем всю таблицу в память, в массив, при получении рандомного кода проверяем его наличие в массиве, если нет - парсим, при удачном нахождении добавляем в массив и в mysql.
Заодно должно получиться решение для распределенного парсинга.
-
1 dzień50 PLN
166 2 0 1 dzień50 PLN
Здравствуйте, без проблем выполню ваш заказ.
----------------------------------------------------------
-
1 dzień21 PLN
893 11 0 1 dzień21 PLN
Здравствуйте
Есть опыт работы с Msql сделаю все быстро и ефективно
Юуду ждать вашего сообщения для детального обсуждения
-
1 dzień83 PLN
431 28 1 1 dzień83 PLN
Здравствуйте, готов сделать, обращайтесь!
Работа будет выполнена качественно!
Буду рад сотрудничать!
-
1 dzień42 PLN
495 1 0 1 dzień42 PLN
Добрый день! Пишите - буду рад помочь. Реализовывал подобные фунционлы
-
1 dzień22 PLN
192 1 dzień22 PLN
Добрий день, зацікавив ваш проект. Маю великий досвід роботи з БД.
-
1 dzień25 PLN
379 1 dzień25 PLN
Смогу сделать хоть сегодня, работа на 30 минут, хорошо знаю как сделать ваш запрос в бд, так что пишите, буду ждать
-
2 dni33 PLN
674 24 0 2 dni33 PLN
Добрый день, Антон
Есть небольшое предложение: можно вместо загрузки всей таблицы в память проверять наличие кода прямо в таблице, через sql запрос
Это и меньше кода займет, и будет быстрее
Давайте обсудим детали в лс, напишите мне
С уважением, Александр
-
Зачем при старте выгружать таблицу всю в память? Это же не эффективно по памяти.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Wymagany specjalista ds. promocji w Telegramie.
107 PLN
Zadania: zapraszanie rzeczywistych użytkowników z bazy nazw użytkowników do nowych czatów oraz wysyłanie wiadomości do docelowej bazy. Interesuje nas tylko jakościowy ruch i praca z żywą publicznością — wykonawców korzystających z botów, sztucznego zwiększania lub niskiej… Parsowanie danych, Promocja w sieciach społecznościowych (SMM) ∙ 4 dni temu ∙ 8 ofert |
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 7 dni 19 godzin temu ∙ 13 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 7 dni 23 godziny temu ∙ 21 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 8 dni 5 godzin temu ∙ 28 ofert |
Parsowanie i klasyfikacja danych
Szukamy dewelopera do realizacji systemu zbierania i strukturyzacji danych z otwartych źródeł. Posiadamy bazę właścicieli małych firm w USA, która zawiera imię i nazwisko, nazwę firmy, adres oraz stan. Należy zbudować proces wzbogacania tych rekordów dodatkowymi informacjami z… Programowanie stron internetowych, Parsowanie danych ∙ 8 dni 6 godzin temu ∙ 45 ofert |
Praga