从东方财富爬取财务数据并进行数据可视化

Question

从东方财富网爬取中国A股上市企业近11年（2013-12-31至2023-12-31）的年度财务报表数据（资产负债表、利润表、现金流量表、业绩报表），对数据进行预处理，合并数据并分别存储至4个文件中（如，zcfzb.xlsx、lrb. xlsx、xjllb. xlsx、yjbb.xlsx）、从每个文件中选择感兴趣的数据（如资产负债率、净利润增长率、净利润率、现金流量、净资产收益率等）进行可视化展示。在展示过程中，请用文字或可视化图片展示主要代码的功能。要求每个文件存储所有上市企业相关财务数据，并将每个文件的Sheetname按企业名进行命名。基于财务报表数据分析结果，选择你认为最有潜力的1只股票，再结合SVM、ARIMA算法预测该股票未来一年的价格走势。正文应包括主要分析思路、分析代码、分析结果与相关启示等。在展示过程中，请用文字或可视化图片展示主要代码的功能。

Answer 1

引自免费微信小程序：皆我百晓生

要解决这个问题，我们可以分步骤来进行：

步骤 1: 爬取财务数据

首先，我们需要使用Python的requests库来抓取东方财富网的网页内容。然后，我们利用BeautifulSoup解析HTML，提取所需的财务报表数据。

import requests
from bs4 import BeautifulSoup

def fetch_financial_data(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取表格数据
    table = soup.find('table', {'class': 'data-table'})
    financial_tables = []
    for row in table.find_all(['tr']):
        data = [cell.get_text(strip=True) for cell in row.find_all(['td', 'th'])]
        if len(data) > 1:
            financial_tables.append(data)

    return financial_tables

# 示例：获取一个公司的财务报表数据
url = "https://finance.sina.com.cn/corp/go.php/vMall/stockinfo/1"
financial_data = fetch_financial_data(url)

步骤 2: 数据清洗和预处理

接下来，我们将清理数据，确保格式正确，去除重复项，并计算必要的财务指标。

def clean_and_process_data(financial_data):
    cleaned_data = []

    for company in financial_data:
        try:
            balance_sheet = [
                float(val.replace(',', '')) for val in company[6].split(',')
            ]
            income_statement = [
                float(val.replace(',', '')) for val in company[7].split(',')
            ]
            cash_flow_statement = [
                float(val.replace(',', '')) for val in company[8].split(',')
            ]

            # 计算财务指标
            net_profit_growth = (income_statement[-1] - income_statement[0]) / income_statement[0]
            net_profit_ratio = income_statement[-1] / balance_sheet[1]

            # 按照企业名称命名Excel文件
            filename = f"{company[0]}_{company[1]}"
            excel_writer.writerow([filename])
            
            # 存储到excel文件中
            df = pd.DataFrame({'公司名称': [company[0]], '财务指标': [net_profit_growth, net_profit_ratio]})
            df.to_excel(f"zcfzb/{filename}.xlsx", index=False)
        except Exception as e:
            print(f"Error processing {company[0]}: {e}")

    return cleaned_data

# 示例：处理一个企业的财务数据
cleaned_data = clean_and_process_data(financial_data)

步骤 3: 分析和可视化

对于每个Excel文件，我们将在Excel中创建一个新的工作表，用于保存特定的企业数据。此外，我们可以使用图表工具（如matplotlib）来可视化这些数据。

import matplotlib.pyplot as plt

def plot_financial_metrics(excel_file_path, metric):
    fig, ax = plt.subplots()
    df = pd.read_excel(excel_file_path, sheet_name=None)
    df.plot(kind='bar', x=df.columns[1], y=metric)
    ax.set_title(metric + " of " + excel_file_path.split('/')[-1])
    plt.show()

# 示例：绘制净利润增长的柱状图
plot_financial_metrics("zcfzb/zcfzb.xlsx", "净利增长率")

步骤 4: SVM 和 ARIMA 预测

为了预测股票价格走势，我们可以使用Python的scikit-learn库中的支持向量机(SVM)和ARIMA模型。

from sklearn.linear_model import LinearRegression
from statsmodels.tsa.arima.model import ARIMA
from sklearn.metrics import mean_squared_error

def train_svm(model, X_train, y_train):
    model.fit(X_train, y_train)
    return model

def predict_price(model, X_test):
    predictions = model.predict(X_test)
    return predictions

def evaluate_regression(y_true, y_pred):
    rmse = np.sqrt(mean_squared_error(y_true, y_pred))
    r2_score = r2_score(y_true, y_pred)
    return rmse, r2_score

def arima_forecast(series, n_periods, model_type="ARIMA"):
    if model_type == "ARIMA":
        model = ARIMA(series, order=(5,1,0))
    else:
        raise ValueError("Unsupported model type")

    model_fit = model.fit(disp=-1)
    forecast = model_fit.forecast(steps=n_periods)[0]

    return forecast.tolist()

# 示例：使用ARIMA模型预测股票价格
n_periods = 12
forecast = arima_forecast(zcfzb['zcfzb'], n_periods)
print(f"Forecasted price for the next year: ${forecast}")

结论与启示

通过上述步骤，我们可以有效地从东方财富网站上爬取财务数据，并对其进行清洗、预处理、可视化和预测。这不仅可以帮助投资者更好地了解公司的财务状况，还可以为投资决策提供依据。同时，通过SVM和ARIMA这样的机器学习技术，可以更深入地分析和预测股市趋势。

注意事项

1. 网络请求：确保您的脚本能正常连接到东方财富网站。
2. 错误处理：在处理数据时，可能会遇到各种错误，比如找不到指定的表格元素等。要使用异常处理机制来捕获这类错误。
3. 安全性和隐私：请遵守相关法律法规，确保爬虫不会侵犯任何个人或组织的权利。

以上是基本的步骤和示例代码，您可以根据具体需求调整和优化。希望这个方案能帮您解决问题。如果您有其他疑问或需要进一步的帮助，请随时提问。