Zlecenia dla freelancerów

Zlecenia dla freelancerów

Помощь в решении задач в Python

Python — podano nieprawidłowe kategorie?

Oferty 8 Dyskusje 6

Andrey Korobenko

8 3

Zlecenia 8
Ocena -
Ranking 86

Budżet: 200 UAH Termin: 1 dzień

Есть два года опыта программирования на Python и в разработке ПО! Год опыта работы в области машинного обучения и нейронных сетей.

Dmitry Abba

16 0

Zlecenia 16
Ocena -
Ranking 1 442

Budżet: 200 UAH Termin: 1 dzień

Здравствуйте, опыт разработки на питоне 3 года, занимался всем перечисленным. С радостью помогу.

Dmitro Kinal

0 0

Zlecenia -
Ocena -
Ranking 58

Budżet: 200 UAH Termin: 1 dzień

Доброго дня!
По завданнях бачу що ви навчаєтеся в Шагу!
Можу допомогти із завданнями.

Denys S.

183 2

Zlecenia 186
Ocena -
Ranking 10 178

Budżet: 400 UAH Termin: 10 dni

Добрый день!
Готовпомочь с каждым таском, минимальная помощь за код/проект - 100 грн.

В Python 3+ лет!
Пигите в лс

Dmytro Kernel

0 0

Zlecenia -
Ocena -
Ranking 30

Budżet: 500 UAH Termin: 1 dzień

Здраствуйте, готов выполнить. Пишите - обсудим детали проекта.

Dmitry Levchenko 9 października 2020

Usunięte przez moderatora

Aleksandr Karasev

9 października 2020

Задание 1
Выполните парсинг сайта Marvel.
Соберите следующую информацию о героях Marvel:
name,
link,
universe,
other aliases,
education,
place of origin,
identity,
known relatives.
Создайте dataset и сохраните его в CSV-файл методами
Python.

Задание 2
В описании некоторых персонажей содержатся следующие
характеристики:
durability,
energy,
fighting skills,
intelligence,
speed,
strength.
Выполните парсинг страниц и создайте dataset, в котором
для каждого персонажа будут указаны его показатели

п.с. есть набранный код, но не работает...

Dmitry Levchenko 9 października 2020

Пришли код, с парсингом хоть сейчас помогу,а там дальше определимся

Aleksandr Karasev

9 października 2020

from bs4 import BeautifulSoup
import requests
import pandas
import glob
from collections import OrderedDict

pages_csv = 'characters_pages.csv'
characters_csv = 'characters_dataset.csv'


def get_all_links():
    page = requests.get('https://www.marvel.com/characters')
    soup = BeautifulSoup(page.content, 'html.parser')

    pages = []
    mvl_cards = soup.find('div', {'class': 'full-content'}).find_all('div', {'class': 'mvl-card mvl-card--explore'})
    for i in range(len(mvl_cards)-1):
        link = mvl_cards[i]
        page = link.find('a')
        print(i, page['href'], page.text)
        pages.append(page['href'])

    df = pandas.DataFrame({'Link': pages})
    write_csv_file(df, pages_csv)


def create_characters_df():
    base_url = 'https://www.marvel.com'
    pages = pandas.read_csv(pages_csv)
    links = pages['Link']
    marvel_list = []
    columns = []

    for link in links:
        marvel_characters = OrderedDict()
        request = requests.get(base_url + str(link))

        content = request.content
        soup = BeautifulSoup(content, 'html.parser')

        marvel_characters['Name'] = soup.find("h1").text.replace("\n", "").strip()
        marvel_characters['Link'] = link
        print(soup.find('h1').text.replace("\n", "").strip(), base_url + str(link))

        label = soup.findAll('p', {'class': 'bioheader__label'})
        stat = soup.findAll('p', {'class': 'bioheader__stat'})

        for i in range(len(label)):
            column = label[i].text.title()
            if column not in columns:
                columns.append(column)
            try:
                marvel_characters[column] = stat[i].text.replace('\n', '').strip()
            except:
                marvel_characters[column] = ''

        marvel_list.append(marvel_characters)
    df = pandas.DataFrame(marvel_list)
    write_csv_file(df, characters_csv)


def write_csv_file(df, name):
    df.to_csv(name, index=False)
    print('Success \n')


def read_csv_file(name):
    df = pandas.read_csv(name)
    return df


def main():
    files = glob.glob('*.csv')

    if characters_csv not in files:
        if pages_csv not in files:
            print('Create characters_pages.csv')
            get_all_links()
        print('Create characters_dataset.csv')
        create_characters_df()

    df = read_csv_file(characters_csv)
    df = df.fillna('')
    print('Columns: ', df.columns.values)
    print(df[['Link', 'Eyes']])


if __name__ == '__main__':
    main()

Dmitry Levchenko 10 października 2020

при запросе через requests блок с карточками героев просто отсутствует, он потом подгружается скриптом, это другие инструменты надо использовать

Kirill Klinchenkov 9 października 2020

Гидра исходники гитхаб

Dodaj komentarz

Aleksandr Karasev
Kamieńskie, Ukraina

Zleceń 4
Ocena -
Ranking 64

Помощь в решении задач в Python

Andrey Korobenko

Dmitry Abba

Dmitro Kinal

Denys S.

Dmytro Kernel

Oferty ukryte

Aktualnie brak ofert

Aktualne zlecenia dla freelancerów w kategorii Python

Parsowanie danych

Mikroserwis generacji dynamicznych raportów PDF na podstawie szablonów

Bot do lustrzenia pozycji futures (Hyperliquid / Bitget → Binance Futures)

Głęboka weryfikacja 3 plików PDF pod kątem autentyczności

Wskaźnik dla Tradingview