zhushu4685 2017-10-12 09:42 采纳率: 0%
浏览 632

python3的srcapy百度知道中的数据为什么显示不出来

我的代码

 # -*- coding:utf-8 -*-
from scrapy.spiders import  CrawlSpider
from scrapy.selector import Selector

class TestSrc(CrawlSpider):
    name = "testSrcapy"
    start_urls = ['https://zhidao.baidu.com/question/1993068880203051627.html']

    def parse(self, response):
        selector = Selector(response)
        UrlData = selector.xpath('//html/body/div[7]/div/section/article/div[1]/h1/span/text()').extract()
        print(UrlData)

settings.py已经设置了USER_AGENT 和 ROBOTSTXT_OBEY
我只想把标题的文本尝试打印出来。也试过其他网站也不行(教程的豆瓣却百试百灵)
xpath路径是firefox中复制下来的

  • 写回答

1条回答 默认 最新

  • 星期墨 2017-10-15 14:26
    关注

    可以用python+selenium

    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题