君轶79 2022-08-15 15:47 采纳率: 100%
浏览 37
已结题

使用爬虫解析网页下载文件失败

问题遇到的现象和发生背景 、

在使用Python进行网络爬虫下载部分资源的时候,发现有些网的附件无法解析出ip地址。

附件在解析元素时,显示如下,

img

问题相关代码,请勿粘贴截图
    url = ‘http://www.ccgp.gov.cn/cggg/dfgg/qtgg/202207/t20220715_18271681.htm’
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'lxml')
    main_info = soup.find('div', class_='vF_detail_content')
    att_info =   main_info.find_all('table')
    if not att_info:  # 没有附件,返回真
        return []
    att_file_list = []
    for tmp in att_info:
        detail_list = tmp.find_all('td')
        for detail in detail_list:
            if not detail:
                continue
            try:
                for con in detail.contents:
                    ip = con.attrs['href']
                    attach_file_name = con.text.strip()
                    if ip and attach_file_name:
                        att_file_list.append({'ip': ip, 'filename': attach_file_name})
                    else:
                        LogUtils.error(f"查找 ip:{ip}, file_name:{attach_file_name} 失败")
            except IndexError:
                continue
            except KeyError:
                continue
            except Exception as err:
                LogUtils.notset(f"{err}")
                continue
    return att_file_list
运行结果及报错内容

最终解析出的结果如下href为空,
<class 'dict'>: {'class': ['bizDownload'], 'href': '', 'id': 'E8D516E2245A268E4CFCF6190FB44A', 'title': '点击下载'}

我想要达到的结果

如何能够解析出正确的地址
href="//download.ccgp.gov.cn/oss/download?uuid=E8D516E2245A268E4CFCF6190FB44A"

  • 写回答

2条回答 默认 最新

  • honestman_ 2022-08-15 17:42
    关注

    可以在循环时候做一次判断:
    如果解析出的 href 为空,那么手动拼接一个 href = "//download.ccgp.gov.cn/oss/download?uuid=" + id
    如果不为空,那么 href 就是正确的地址

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月24日
  • 已采纳回答 8月16日
  • 修改了问题 8月15日
  • 修改了问题 8月15日
  • 展开全部

悬赏问题

  • ¥20 机器学习能否像多层线性模型一样处理嵌套数据
  • ¥20 西门子S7-Graph,S7-300,梯形图
  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改,求解答!!
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗?在Android studio上该如何部署?
  • ¥20 docker里部署springboot项目,访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效