weixin_44680262
不停下脚步的乌龟
2019-10-18 08:20
采纳率: 76.9%
浏览 1.1k
已采纳

关于python爬虫利用正则表达式爬取不到内容的问题

我在用正则表达式爬取豆瓣电影里面的电影演员信息。
网页演员信息的位置如下：

图片说明

那么要爬取其中的这些演员名不就是下面的代码吗？

actors = re.findall(r'<div class="meta abstract_2">(.*?)</div>', resp, re.DOTALL)

其中resp是前面获取到的网页代码

可是print(actors)输出结果为空，请问是哪里不对呀？
有没有大佬就用正则表达式帮忙解答一下？因为我用爬虫只会用正则表达式匹配。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • wojiushiwo945you
    毕小宝 2019-10-18 09:01
    已采纳

    爬虫内容解析比较方便的不是正则而是 xpath ，语法也很容易，建议试试这种：

    from lxml import etree  # 解析页面的模块
html = etree.HTML(top_page)# top_page 你的代码中的页面 text
result = html.xpath('//div[@class="meta abstract_2"]text()') # 得到 div 的文本内容。
    点赞 评论
  • wwchen
    远方的雪山 2019-10-18 08:58

    你确定resp是网页文本内容？

    点赞 评论
  • atila123
    碧池阿蒂拉 2021-06-24 02:31

    不是语法的问题，是你获得的请求里压根没有你想要的数据，那些演员等等数据不是你第一次get的页面里的，是后续用js传的

    点赞 评论
提交

相关推荐