weixin_44680262
不停下脚步的乌龟
采纳率76.9%
2019-09-30 14:21 阅读 527

python利用正则表达式爬取网页的问题

我在利用python正则表达式爬取网页内文本时(如下图所示)遇到了一些问题:
图片说明

比如爬取250平方米吧,实现代码如下:

area = re.findall(r'<dd class="dd-item size">.*?<span>.*?</span>.*?<span class="item-line">.*?</span>.*?<span>(.*?)</span>', resp, re.DOTALL)

但是如果想按照上面的思路继续追加正则表达式爬取“南北向”这个文本就爬取不出来了:

area = re.findall(r'<dd class="dd-item size">.*?<span>.*?</span>.*?<span class="item-line">.*?</span>.*?<span>.*?</span>.*?<span class="item-line">.*?</span><span>(.*?)</span>', resp, re.DOTALL)

请问问题出在哪里啊?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

3条回答 默认 最新

  • 已采纳
    SpiritedAway1106 积跬步以至千里。 2019-09-30 16:37
    resp = '''
        <dd class="dd-item size">
            <span>4室2厅4卫</span>
            <span class="item-line"></span>
            <span>250平</span>
            <span class="item-line"></span>
            <span>南北向</span>
            <span class="item-line"></span>
            <span class="last">豪华装修</span>
        </dd>
        '''
        area = re.findall(r'<dd class="dd-item size">.*?<span>.*?</span>.*?<span class="item-line">.*?</span>.*?<span>(.*?)</span>', resp,
            re.DOTALL)
        print(area)
    
        area = re.findall(r'<dd class="dd-item size">.*?<span>.*?</span>.*?<span class="item-line">.*?</span>.*?<span>.*?</span>.*?<span class="item-line">.*?</span>.*?<span>(.*?)</span>',
            resp, re.DOTALL)
        print(area)
    
    

    这个是按照你的方式,修改之后的可用代码,区别你看图片就明白了,最后一组span标签前,少了任意匹配规则 '.*?'

    图片说明

    点赞 评论 复制链接分享
  • xiaotian127 xiaotian127 2019-09-30 14:33

    可以不用正则,直接获取dd标签下的所有文本内容,这样就能提取出‘4室2厅4卫’‘250m2’‘南北向’‘豪华装修’,然后再清洗一下就行

    点赞 1 评论 复制链接分享
  • caozhy 从今以后生命中的每一秒都属于我爱的人 2019-09-30 14:34
    前面就不对,你的<>=这些都没有\\转义。
    如果要多行,需要在开头加上(?is)表示多行匹配。
    
    点赞 1 评论 复制链接分享

相关推荐