派大星敲代码 2022-02-17 10:28 采纳率: 75%
浏览 52
已结题

scrapy 爬取商品视频url,详情失败

问题遇到的现象和发生背景

img

img

问题相关代码,请勿粘贴截图
import scrapy
 
 
class LegoSpider(scrapy.Spider):
    name = 'lego'
    allowed_domains = ['www.lego.com']
    start_urls = ['https://www.lego.com/en-gb/product/ferrari-488-gte-af-corse-51-42125']
 
    def parse(self, response):
        #获取所有图片集合
        images = response.css(".ThumbnailsTrackstyles__TrackContainer-sc-141n2vw-3.hSgYMJ img::attr(src)").getall()
        #所有视频url链接
        print(response.css(".rh5v-DefaultPlayer_video source::attr(src)").getall())
        #商品详情
        print(response.css(".Markup__StyledMarkup-ar1l9g-0.hlipzx p::text").getall())
        return {"images":images}
 

运行结果及报错内容

运行之后返回的空集合

我的解答思路和尝试过的方法

我尝试用xpath获取结果以及css的方式获取都获取不到,不知道为什么

我想要达到的结果
  • 写回答

3条回答 默认 最新

  • pppsso 2022-02-17 11:23
    关注

    js加载的,先打印看下获取的整个网页。我试了下,在下图这个位置可以找到视频链接,可以用正则或者别的方法取出来

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 2月25日
  • 已采纳回答 2月17日
  • 创建了问题 2月17日

悬赏问题

  • ¥20 如何让程序ab.eXe自已删除干净硬盘里的本文件自己的ab.eXe文件
  • ¥50 爬虫预算充足,跪巨佬
  • ¥15 滑块验证码拖动问题悬赏
  • ¥15 Wanted but not invoked:Actually, there were zero interactions with this moc
  • ¥20 怎么驱动tb6612
  • ¥15 Arcgis 3D效果点要素
  • ¥15 在执行yolo训练脚本的时候,没有报错,在扫描val这一步后就推出执行了
  • ¥15 delphi开发的WEBSERVER改用HTTPS协议
  • ¥15 pic16f877A单片机的计数器proteus仿真失效
  • ¥100 调查 Vitis AI 中验证 .xmodel 量化后的正确性