wu~~ 2022-11-19 19:13 采纳率: 55.6%
浏览 26
已结题

爬虫时显示报错:IndexError: list index out of range

ulist.append([tds[0].text,tds[1].text,tds[2].text,tds[3].text,tds[4].text,tds[5].text,tds[6].text,tds[7].text])

IndexError: list index out of range

尝试打印了ulit显示的是0

用代码块功能插入代码,请勿粘贴截图
def getHTMLText(url):#爬取网站数据
    try:
        r = requests.get(url, timeout = 30,verify=False)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '爬取失败'

def fillUnivlist(ulist,html):#解析网站数据
    soup = BeautifulSoup(html,"html.parser") 
    for tr in soup.find('body').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            print(len(tds))
            ulist.append([tds[0].text,tds[1].text,tds[2].text,tds[3].text,tds[4].text,tds[5].text,tds[6].text,tds[7].text])

def writeUlistfile(ulist,dataname):#将网站存入csv文件
    with open(dataname,'w',encoding = 'utf-8',newline='') as fout:
        writer = csv.writer(fout)
        for row in ulist:
            writer.writerow(row)

uinfo1 =[]
url1 = 'https://www.chyxx.com/industry/202105/953391.html'
html1 = getHTMLText(url1)
fillUnivlist(uinfo1,html1)
writeUlistfile(uinfo1,'各种油产量初.csv')
运行结果及报错内容

img

我的解答思路和尝试过的方法

试着打印了一下,结果显示为0,减少了tds还是不行。
是爬取方式出错了吗?

我想要达到的结果

可以爬到数据

  • 写回答

2条回答 默认 最新

  • GaspardR 2022-11-19 21:20
    关注

    这一行:for tr in soup.find('body').children: 中的 'body' 改为 'tbody'.

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 11月28日
  • 已采纳回答 11月20日
  • 创建了问题 11月19日

悬赏问题

  • ¥15 怎么改成输入一个要删除的数后现实剩余的数再输入一个删除的数再现实剩余的数用yes表示继续no结束程序
  • ¥15 在启动roslaunch时出现如下问题
  • ¥15 汇编语言实现加减法计算器的功能
  • ¥20 关于多单片机模块化的一些问题
  • ¥30 seata使用出现报错,其他服务找不到seata
  • ¥35 引用csv数据文件(4列1800行),通过高斯-赛德尔法拟合曲线,在选取(每五十点取1点)数据,求该数据点的曲率中心。
  • ¥20 程序只发送0X01,串口助手显示不正确,配置看了没有问题115200-8-1-no,如何解决?
  • ¥15 Google speech command 数据集获取
  • ¥15 vue3+element-plus页面崩溃
  • ¥15 像这种代码要怎么跑起来?