import pandas as pd
from selenium import webdriver
import re
#设置无界面浏览器模式，不弹出模拟浏览器窗口，让程序在后台运行
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(options=chrome_options)
data_all = pd.DataFrame() # 创建一个空列表用来汇总所有的表格数据
for pg in range(1,60): # 可以将页码数调小进行快速尝试
url = 'http://yanbao.stock.hexun.com/ybsj5_' + str(pg)+ '.shtml'
browser.get(url) # 通过Selenium库访问网页
data = browser.page_source # 获取网页源码
table = pd.read_html(data)[0] # 通过pandas库提取表格数据
#print(table)
# 添加股票代码
p_code = '<a href="yb_(.*?).shtml'
code = re.findall(p_code, data)
# print(code)
# print(len(table))
# print(len(code))
# print(table['股票名称'])
table['股票代码'] = code
# 通过concat()函数将各页的表格纵向拼接成一个总的DataFrame
data_all = pd.concat([data_all, table], join='outer', ignore_index=True)
data_all.to_excel('分析师评级报告.xlsx', index=False)
访问网页并获取网页源代码
url = 'http://yanbao.stock.hexun.com/ybsj.aspx?type=5'
browser.get(url)
data = browser.page_source
