Song200301090015 2023-01-04 04:32 采纳率: 100%
浏览 22
已结题

关于#python#的问题:用Python爬取网页时,直接运行for语句下的代码可正常运行,加入for语句进行循环则报错

用Python爬取网页时,直接运行for语句下的代码可正常运行,加入for语句进行循环则报错
遇到的现象和发生背景,请写出第一个错误信息
def getHTMLText(url_):
    try:
        r = requests.get(url_, timeout=30)
        r.raise_for_status()  # 如果状态不是200,引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


def getSoup(url_):
    html_ = getHTMLText(url_)
    soup_ = BeautifulSoup(html_, 'lxml')
    return soup_


if __name__ == "__main__":
    year = '23'
    month = '01'
    day = '04'
    page = '01'
    for page in range(1, 9): # 注释掉本行则可正常运行
        target = f"http://paper.people.com.cn/rmrb/html/20{year}-{month}/{day}/nbs.D110000renmrb_{page}.htm"
        soup = getSoup(target)
        title_list = soup.find('ul',class_='news-list')
        title_list = title_list.find_all('a')
        for title in title_list:
            print(title.string)

运行结果及详细报错内容Traceback (most recent call last):
  File "C:\Users\songz\PycharmProjects\pythonProject1\spiders\spiderNews.py", line 47, in <module>
    title_list = title_list.find_all('a')
AttributeError: 'NoneType' object has no attribute 'find_all'

如何能通过for语句循环运行?

展开全部

  • 写回答

3条回答 默认 最新

  • 於黾 2023-01-04 06:08
    关注

    01.html和1.html很显然不是同一个网址,你在错误的网址下当然抓不到东西,是空的
    改成

    target = f"http://paper.people.com.cn/rmrb/html/20{year}-{month}/{day}/nbs.D110000renmrb_{page:02d}.htm"
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(2条)
编辑
预览

报告相同问题?

问题事件

  • 系统已结题 1月11日
  • 已采纳回答 1月4日
  • 创建了问题 1月4日

悬赏问题

  • ¥15 爱快路由器端口更改错误导致无法访问
  • ¥20 安装catkin时遇到了如下问题请问该如何解决呢
  • ¥15 VAE模型如何输出结果
  • ¥15 编译python程序为pyd文件报错:{"source code string cannot contain null bytes"
  • ¥20 关于#r语言#的问题:广义加行模型拟合曲线后如何求拐点
  • ¥15 fluent设置了自动保存后,会有几个时间点不保存
  • ¥20 激光照射到四象线探测器,通过液晶屏显示X、Y值
  • ¥50 数据库开发问题求解答
  • ¥15 安装anaconda时报错
  • ¥15 小程序有个导出到插件方式,我是在分包下引入的插件,这个export的路径对吗,我看官方文档上写的是相对路径
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部