Фриланс-проєкти

Фриланс-проєкти

Помощь в решении задач в Python

Python — неправильно зазначені категорії?

Ставки 8 Обговорення 6

Andrey Korobenko

8 3

Проєкти 8
Оцінка -
Рейтинг 86

Бюджет: 200 UAH Термін: 1 день

Есть два года опыта программирования на Python и в разработке ПО! Год опыта работы в области машинного обучения и нейронных сетей.

Дмитрий Абба

16 0

Проєкти 16
Оцінка -
Рейтинг 1 442

Бюджет: 200 UAH Термін: 1 день

Здравствуйте, опыт разработки на питоне 3 года, занимался всем перечисленным. С радостью помогу.

Дмитро Киналь

0 0

Проєкти -
Оцінка -
Рейтинг 58

Бюджет: 200 UAH Термін: 1 день

Доброго дня!
По завданнях бачу що ви навчаєтеся в Шагу!
Можу допомогти із завданнями.

Denys S.

183 2

Проєкти 186
Оцінка -
Рейтинг 10 178

Бюджет: 400 UAH Термін: 10 днів

Добрый день!
Готовпомочь с каждым таском, минимальная помощь за код/проект - 100 грн.

В Python 3+ лет!
Пигите в лс

Dmytro Kernel

0 0

Проєкти -
Оцінка -
Рейтинг 30

Бюджет: 500 UAH Термін: 1 день

Здраствуйте, готов выполнить. Пишите - обсудим детали проекта.

Дмитрий Левченко 9 жовтня 2020

Видалено модератором

Александр Карасев

9 жовтня 2020

Задание 1
Выполните парсинг сайта Marvel.
Соберите следующую информацию о героях Marvel:
name,
link,
universe,
other aliases,
education,
place of origin,
identity,
known relatives.
Создайте dataset и сохраните его в CSV-файл методами
Python.

Задание 2
В описании некоторых персонажей содержатся следующие
характеристики:
durability,
energy,
fighting skills,
intelligence,
speed,
strength.
Выполните парсинг страниц и создайте dataset, в котором
для каждого персонажа будут указаны его показатели

п.с. есть набранный код, но не работает...

Дмитрий Левченко 9 жовтня 2020

Пришли код, с парсингом хоть сейчас помогу,а там дальше определимся

Александр Карасев

9 жовтня 2020

from bs4 import BeautifulSoup
import requests
import pandas
import glob
from collections import OrderedDict

pages_csv = 'characters_pages.csv'
characters_csv = 'characters_dataset.csv'


def get_all_links():
    page = requests.get('https://www.marvel.com/characters')
    soup = BeautifulSoup(page.content, 'html.parser')

    pages = []
    mvl_cards = soup.find('div', {'class': 'full-content'}).find_all('div', {'class': 'mvl-card mvl-card--explore'})
    for i in range(len(mvl_cards)-1):
        link = mvl_cards[i]
        page = link.find('a')
        print(i, page['href'], page.text)
        pages.append(page['href'])

    df = pandas.DataFrame({'Link': pages})
    write_csv_file(df, pages_csv)


def create_characters_df():
    base_url = 'https://www.marvel.com'
    pages = pandas.read_csv(pages_csv)
    links = pages['Link']
    marvel_list = []
    columns = []

    for link in links:
        marvel_characters = OrderedDict()
        request = requests.get(base_url + str(link))

        content = request.content
        soup = BeautifulSoup(content, 'html.parser')

        marvel_characters['Name'] = soup.find("h1").text.replace("\n", "").strip()
        marvel_characters['Link'] = link
        print(soup.find('h1').text.replace("\n", "").strip(), base_url + str(link))

        label = soup.findAll('p', {'class': 'bioheader__label'})
        stat = soup.findAll('p', {'class': 'bioheader__stat'})

        for i in range(len(label)):
            column = label[i].text.title()
            if column not in columns:
                columns.append(column)
            try:
                marvel_characters[column] = stat[i].text.replace('\n', '').strip()
            except:
                marvel_characters[column] = ''

        marvel_list.append(marvel_characters)
    df = pandas.DataFrame(marvel_list)
    write_csv_file(df, characters_csv)


def write_csv_file(df, name):
    df.to_csv(name, index=False)
    print('Success \n')


def read_csv_file(name):
    df = pandas.read_csv(name)
    return df


def main():
    files = glob.glob('*.csv')

    if characters_csv not in files:
        if pages_csv not in files:
            print('Create characters_pages.csv')
            get_all_links()
        print('Create characters_dataset.csv')
        create_characters_df()

    df = read_csv_file(characters_csv)
    df = df.fillna('')
    print('Columns: ', df.columns.values)
    print(df[['Link', 'Eyes']])


if __name__ == '__main__':
    main()

Дмитрий Левченко 10 жовтня 2020

при запросе через requests блок с карточками героев просто отсутствует, он потом подгружается скриптом, это другие инструменты надо использовать

Kirill Klinchenkov 9 жовтня 2020

Гидра исходники гитхаб

Додати коментар

Александр Карасев
Кам'янське, Україна

Проєктів 4
Оцінка -
Рейтинг 64

Помощь в решении задач в Python

Andrey Korobenko

Дмитрий Абба

Дмитро Киналь

Denys S.

Dmytro Kernel

Ставки приховані

Ставки поки відсутні

Актуальні фриланс-проєкти в категорії Python

Парсинг даних

Мікросервіс генерації динамічних PDF-звітів за шаблонами

Бот для дзеркалювання ф’ючерсних позицій (Hyperliquid / Bitget → Binance Futures)

Глибока перевірка 3 PDF-файлів на достовірність

Індикатор для Tradingview