逍遥俊子 2020-05-05 22:24 采纳率: 0%
浏览 727
已结题

python scrapy: xpath循环取子节点数据时一直取的第一个节点数据。

使用xpath循环取post_nodes 的子节点post_node 数据时,一直取的是第一个节点数据,为什么?要怎么修改才正常?

class XpathSpider(scrapy.Spider):
    name = 'xpath'
    allowed_domains = ['news.cnblogs.com']
    start_urls = ['http://news.cnblogs.com/']

    def parse(self, response):
        post_nodes = response.xpath('//div[@id="news_list"]/div[@class="news_block"]')
        for post_node in post_nodes:
            image_url = post_node.xpath('//div[@class="entry_summary"]/a/img/@src').extract_first("")
            post_url = post_node.xpath('//h2/a/@href').extract_first("")
            print(image_url)
            print(post_url)

打印结果:

图片说明

  • 写回答

2条回答 默认 最新

  • MFine 2020-05-07 14:37
    关注

    xpath写错了,要写相对路径,也就是在最前面加一个点。

    image_url = post_node.xpath('.//div[@class="entry_summary"]/a/img/@src').extract_first("")
    post_url = post_node.xpath('.//h2/a/@href').extract_first("")

    评论

报告相同问题?

悬赏问题

  • ¥15 树莓派与pix飞控通信
  • ¥15 自动转发微信群信息到另外一个微信群
  • ¥15 outlook无法配置成功
  • ¥30 这是哪个作者做的宝宝起名网站
  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题