zhushu4685
2017-10-12 09:42python3的srcapy百度知道中的数据为什么显示不出来
我的代码
# -*- coding:utf-8 -*-
from scrapy.spiders import CrawlSpider
from scrapy.selector import Selector
class TestSrc(CrawlSpider):
name = "testSrcapy"
start_urls = ['https://zhidao.baidu.com/question/1993068880203051627.html']
def parse(self, response):
selector = Selector(response)
UrlData = selector.xpath('//html/body/div[7]/div/section/article/div[1]/h1/span/text()').extract()
print(UrlData)
settings.py已经设置了USER_AGENT 和 ROBOTSTXT_OBEY
我只想把标题的文本尝试打印出来。也试过其他网站也不行(教程的豆瓣却百试百灵)
xpath路径是firefox中复制下来的
- 点赞
- 回答
- 收藏
- 复制链接分享
1条回答
为你推荐
- python3爬虫出现文字乱码以及抓取不了全部数据
- python
- 2个回答
- 为什么python使用线程池会丢失部分数据?
- python
- 1个回答
- 关于Python 网络数据爬虫爬取不到数据
- python
- 1个回答
- python为什么使用sorted和sort输出结果不一样
- django
- flask
- python
- tornado
- list
- 1个回答
- 为什么python中while不能使用全局变量呢??
- python
- 开发语言
- 1个回答
换一换