wy777808
wy777808
2020-04-07 15:55

请问如何将第一行dataframe数据设置为列索引?而不使用默认索引

  • python
  • 数据挖掘

import pandas as pd
from selenium import webdriver
import re

#设置无界面浏览器模式,不弹出模拟浏览器窗口,让程序在后台运行
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(options=chrome_options)

data_all = pd.DataFrame() # 创建一个空列表用来汇总所有的表格数据
for pg in range(1,60): # 可以将页码数调小进行快速尝试
url = 'http://yanbao.stock.hexun.com/ybsj5_' + str(pg)+ '.shtml'
browser.get(url) # 通过Selenium库访问网页
data = browser.page_source # 获取网页源码
table = pd.read_html(data)[0] # 通过pandas库提取表格数据
#print(table)

# 添加股票代码
p_code = '<a href="yb_(.*?).shtml'
code = re.findall(p_code, data)
# print(code)
# print(len(table))
# print(len(code))
# print(table['股票名称'])
table['股票代码'] = code

# 通过concat()函数将各页的表格纵向拼接成一个总的DataFrame
data_all = pd.concat([data_all, table], join='outer', ignore_index=True)

data_all.to_excel('分析师评级报告.xlsx', index=False)

访问网页并获取网页源代码

url = 'http://yanbao.stock.hexun.com/ybsj.aspx?type=5'
browser.get(url)
data = browser.page_source
图片说明

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答