如图：如果你完整的看完scrapy的日志（第一张图），根本原因：你设置了robotstxt服从为真，直接原因：目标网站的robot限制了你的访问
1条回答
相关推荐
- 回答 1 已采纳   这是运行结果，我对比了成功的程序。发现就是没有运行结果，也看不到报错  不应该是页面链接的问题吧？
- 1年前回答 1 已采纳 import scrapy import bs4 from ..items import DoubanItem # 需要引用DoubanItem，它在items里面。因为是items在top250.py的上一级目录，所以要用..items，这是一个固定用法。 class DoubanSpider(scrapy.Spider): #定义一个爬虫类DoubanSpider name = 'douban' allower_domains = ['book.douban.com'] #定义允许爬虫爬取的网址域名 start_urls = [] for x in range(3): url = 'https://book.douban.com/top250?start=' + str(x * 25) #定义起始网址 start_urls.append(url) def parse(self,response): #parse是默认处理response的方法。 bs = bs4.BeautifulSoup(response.text,'html.parse') #用BeautifulSoup解析response。 datas = bs.find_all('tr',class_="item") #用find_all提取元素，这个元素里含有书籍信息。 for data in datas: #遍历data。 item = doubanItem() #实例化DoubanItem这个类。 item['title'] = data.find_all('a')[1]['title'] #提取出书名，并把这个数据放回DoubanItem类的title属性里。 item['publish'] = data.find('p',class_='pl').text #提取出出版信息，并把这个数据放回DoubanItem类的publish里。 item['score'] = data.find('span',class_='rating_nums').text #提取出评分，并把这个数据放回DoubanItem类的score属性里。 print(item['title']) #打印书名。 yield item #yield item是把获得的item传递给引擎。 Traceback (most recent call last): File "D:\hello-world.py\pythoncode\douban\douban\spiders\top250.py", line 3, in from ..items import DoubanItem ValueError: attempted relative import beyond top-level package 网上的办法试了几种都w'x，不知道是我搞错了还是什么问题，求解！！！
- 回答 1 已采纳 ## 问题描述：使用scrapy框架爬取ajax网页，以中国地震台网——历史查询为例，我想爬取某个时间段内所有的数据，但是我的代码并不能实现，找了一些相关问题参考，最终代码如下，未能实现，请问大哥大佬们能支个招吗。。。（scrapy框架，已测试过代码其他配置等没有问题） #spider文件： ``` # -*- coding: utf-8 -*- import scrapy from EarthquakeScrapy.items import EarthquakescrapyItem class TestScrapy(scrapy.Spider): name = 'test' # 爬虫的名字 allowed_domains = ['ceic.ac.cn/search'] start_urls = 'http://www.ceic.ac.cn/ajax/search?page=&&start=&&end=&&jingdu1=&&jingdu2=&&weidu1=&&weidu2=&&height1=&&height2=&&zhenji1=&&zhenji2=' # 爬取页码循环次数，一共57页 all_page = 3 def start_requests(self): # 遍历各页 for i in range(1, self.all_page + 1): # 从前端获取的页面[1,57+1），循环1到57页 yield scrapy.FormRequest(self.start_urls, formdata={'page': 'i', 'start': '2019-03-25','end': '2020-03-25', 'jingdu1': '', 'jingdu2': '','weidu1': '', 'weidu2': '', 'height1': '','height2': '', 'zhenji1': '', 'zhenji2': '','callback': ''}, callback=self.parse, dont_filter=True) # 请求对应的内容 def parse(self, response): result = eval(response.body.decode('utf-8')) records = result['shuju'] item = EarthquakescrapyItem() print("**")#测试用 for record in records: item['level'] = record['M'] item['time'] = record['O_TIME'] item['longitude'] = record['EPI_LON'] item['latitude'] = record['EPI_LAT'] item['depth'] = record['EPI_DEPTH'] item['address'] = record['LOCATION_C'] print(record['M'])#测试爬取数据情况 # yield item ```
- 回答 2 已采纳 参照了此链接:https://www.cnblogs.com/derek1184405959/p/8450457.html 一模一样，但是一直报错 但是我的spider文件如下.  tencentPosition.py中name为 main文件：  想问下是什么问题 
- 回答 3 已采纳  前几天还一直正常，后来不知怎么就出现这个错误，产生的原因是什么，我该如何解决呢？ Python版本是：Anaconda3
- 回答 2 已采纳 ``` #引入文件 import scrapy class MySpider(scrapy.Spider): #用于区别Spider name = "MySpider" #允许访问的域 allowed_domains = [] #爬取的地址 start_urls = [] #爬取方法 def parse(self, response): pass class NewsItem(scrapy.Item): #新闻标题 title = scrapy.Field() #新闻url url = scrapy.Field() #发布时间 time = scrapy.Field() #新闻内容 introduction = scrapy.Field() #定义一个item news = NewsItem() #赋值 news['title'] = "第六届年会在我校成功举办" #取值 news['title'] news.get('title') #获取全部键 news.keys() #获取全部值 news.items() import scrapy #引入容器 from scrapytest.NewsItems import NewsItem class MySpider(scrapy.Spider): #设置name name = "MySpider" #设定域名 allowed_domains = ["xgxy.hbue.edu.cn"] #填写爬取地址 start_urls = ["http://xgxy.hbue.edu.cn/2627/list.htm"] #编写爬取方法 def parse(self, response): #实例一个容器保存爬取的信息 item = NewsItem() ``` 显示错误为： ModuleNotFoundError Traceback (most recent call last) in 1 import scrapy 2 #引入容器 ----> 3 from scrapytest.NewsItems import NewsItem 4 5 class MySpider(scrapy.Spider): ModuleNotFoundError: No module named 'scrapytest.NewsItems' 希望大佬帮忙看一下，出了什么问题，万分感谢！
- 回答 3 已采纳 刚刚开始学习爬虫，现在已经可以通过scrapy crawl myscrapy的方式启动一个爬虫， 现在我想实现这样一个功能：用flask定义一个接口，别人调用这个接口的时候传递一个 url参数，拿到这个参数之后自动启动爬虫进行爬取数据，爬取到的数据以json数组的形式 返回给调用接口的人。想问下大家有什么实现思路吗？拜托了，感谢各位。
- 回答 1 已采纳 想要的效果： ``` 爬取的网站：https://music.163.com/ [图片说明](https://img-ask.csdn.net/upload/202007/13/1594641205_40756.png) 要求返回有多少个dl标签 ``` 自己的代码 ``` import scrapy class music_spider(scrapy.Spider): name = "music" start_urls = ['https://music.163.com/'] def parse(self,response): dl = response.xpath('//body//div[contains(@class,"n-bilst") and contains(@id,"top-flag")]/dl') print('=' * 20) print(response.url) print(len(dl)) print('=' * 20) 输出的dl为空数组，正确的是在列表中应有三个元素 ``` 问题： ``` dl = response.xpath('//body//div[contains(@class,"n-bilst") and contains(@id,"top-flag")]/dl') 返回的dl为空列表 但是把 //body//div[contains(@class,"n-bilst") and contains(@id,"top-flag")]/dl 放在网页源码中搜索会得到三个结果  这是为什么？求解！！！ ```
- 回答 23 已采纳 What is the difference between a function decorated with @staticmethod and one decorated with @classmethod? 转载于:https://stackoverflow.com/questions/136097/what-is-the-difference-between-staticmethod-and-classmethod
- 13年前回答 10 已采纳 What is the best way to go about calling a function given a string with the function's name in a Python program. For example, let's say that I have a module foo, and I have a string whose contents are "bar". What is the best way to go about calling foo.bar()? I need to get the return value of the function, which is why I don't just use eval. I figured out how to do it by using eval to define a temp function that returns the result of that function call, but I'm hoping that there is a more elegant way to do this. 转载于:https://stackoverflow.com/questions/3061/calling-a-function-of-a-module-by-using-its-name-a-string
- gz-郭小敏的博客 碍于我英文实在是烂，然后我学习新技术我一般优先找中文文档，而在网上的Scrapy框架的中文档好像都已经有点历史了，各种运行不上，然后好不容易找到相对较新的：http://www.scrapyd.cn/doc/ 下面则是我按着文档上...
- weixin_39873356的博客 Scrapy在Ubuntu安装Scrapy的步骤为：打开终端 >> 在终端输入命令：pip install scrapy >> 在终端输入命令：scrapy version >> 成功输出 Scrapy版本号则证明成功安装。 2. Redis（Ubuntu）打开...
- Ayuesss的博客 scrapy可以成功运行不报错但不能返回要爬取的文字内容
- 瀚忄的博客 defsetmodule(self,module,priority='project'):"""Storesettingsfromamodulewithagivenpriority.Thisisahelperfunctionthatcalls:meth:`~scrapy.settings.BaseSettings.set`foreverygloballydeclareduppercasevaria...
- 心中藏着一个猛兽的博客 在爬取当当网书籍信息的时候，我想把数据写入文件和数据库啊，但是那些数据都能显示在命令行中但是无法写入文件和数据库中，后来发现是在settings.py中没有将Pipeline打开，即如下图所示： 这里把ITEM_PIPELINES...
- weixin_39542514的博客 本节是 《Python爬虫从入门到进阶》课程中的一节，课程购买链接(PC访问需要微信扫码) ，目前已更新80% 课程...使用Scrapy框架编写的抓取代码，可读性很强，非常利于维护，是现在最流行的抓取框架。安装pip instal...
- 异域拾荒人的博客 1、通过Python爬取旅游网站上数据，并存储到数据库2、通过Echart/FineReport/Superset等数据分析工具对数据展示环境：Win10Python：3.7Scrapy：1.5.1使用Pycharm开发Scrapy文档教程中有Scrapy的安装指导，不过在...
- weixin_39738251的博客 Traceback(mostrecentcalllast):File"E:\moving\Python_script\selenium_s\zuanzhan\main.py",line46,indf['pic_url']=pic_urlsFile"C:\Python27\lib\site-packages\pandas\c...Traceback (most recent call last):F...
- Damionew的博客 时隔数月，国庆期间想做个假期旅游的分析展示。 1、通过Python爬取旅游网站上数据，并存储到数据库 ...Scrapy文档教程中有Scrapy的安装指导，不过在Windows下安装当初确实遇到许多坑 使用方法...
- baidu_252253的博客 如图：利用xpath解析结果： imgs_href = response.xpath('//div[@class="box picblock col3 masonry-brick"]/div/a')如上图：网页源代码中解析结果： imgs_href = response.xpath('//div[@class="...