君轶79 2022-08-15 15:47 采纳率: 100%
浏览 37
已结题

使用爬虫解析网页下载文件失败

问题遇到的现象和发生背景 、

在使用Python进行网络爬虫下载部分资源的时候,发现有些网的附件无法解析出ip地址。

附件在解析元素时,显示如下,

img

问题相关代码,请勿粘贴截图
    url = ‘http://www.ccgp.gov.cn/cggg/dfgg/qtgg/202207/t20220715_18271681.htm’
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'lxml')
    main_info = soup.find('div', class_='vF_detail_content')
    att_info =   main_info.find_all('table')
    if not att_info:  # 没有附件,返回真
        return []
    att_file_list = []
    for tmp in att_info:
        detail_list = tmp.find_all('td')
        for detail in detail_list:
            if not detail:
                continue
            try:
                for con in detail.contents:
                    ip = con.attrs['href']
                    attach_file_name = con.text.strip()
                    if ip and attach_file_name:
                        att_file_list.append({'ip': ip, 'filename': attach_file_name})
                    else:
                        LogUtils.error(f"查找 ip:{ip}, file_name:{attach_file_name} 失败")
            except IndexError:
                continue
            except KeyError:
                continue
            except Exception as err:
                LogUtils.notset(f"{err}")
                continue
    return att_file_list
运行结果及报错内容

最终解析出的结果如下href为空,
<class 'dict'>: {'class': ['bizDownload'], 'href': '', 'id': 'E8D516E2245A268E4CFCF6190FB44A', 'title': '点击下载'}

我想要达到的结果

如何能够解析出正确的地址
href="//download.ccgp.gov.cn/oss/download?uuid=E8D516E2245A268E4CFCF6190FB44A"

  • 写回答

2条回答 默认 最新

  • honestman_ 2022-08-15 17:42
    关注

    可以在循环时候做一次判断:
    如果解析出的 href 为空,那么手动拼接一个 href = "//download.ccgp.gov.cn/oss/download?uuid=" + id
    如果不为空,那么 href 就是正确的地址

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月24日
  • 已采纳回答 8月16日
  • 修改了问题 8月15日
  • 修改了问题 8月15日
  • 展开全部

悬赏问题

  • ¥15 用verilog实现tanh函数和softplus函数
  • ¥15 求京东批量付款能替代天诚
  • ¥15 slaris 系统断电后,重新开机后一直自动重启
  • ¥15 谁能帮我看看这拒稿理由啥意思啊阿啊
  • ¥15 关于vue2中methods使用call修改this指向的问题
  • ¥15 idea自动补全键位冲突
  • ¥15 请教一下写代码,代码好难
  • ¥15 iis10中如何阻止别人网站重定向到我的网站
  • ¥15 滑块验证码移动速度不一致问题
  • ¥15 Utunbu中vscode下cern root工作台中写的程序root的头文件无法包含