pycharm的scrapy包爬虫时重复获取同一条数据

Question

请问这种问题该怎么解决啊？

pycharm的scrapy包爬虫时重复获取同一条数据，
用yield传输之后
csv文件里除了第一行为列名以外，所有行的内容都是一样的，重复该网页目标区的某一条消息（多次运行生成的不同），比该网页目标区的此条信息总量还多

运行语句为：

scrapy crawl eshouse -o eshouse.csv

以下为我的主代码与补充代码

import scrapy
from scrapy import Selector,Request
from zhihuSpider.items import eshouseItem 
 #Item的class放在下一个代码块


class EshousespiderSpider(scrapy.Spider):
    name = "eshouse"
    allowed_domains = ["cd.esf.fang.com"]
    start_urls = ["https://cd.esf.fang.com/"]

    def parse(self, response):
        sel=Selector(response)
        list_items=sel.css('body > div.main1200.clearfix > div.main945.floatl > div.shop_list.shop_list_4 > dl')
        for list_item in list_items:
            item=eshouseItem()
            a=sel.css('dl > dd:nth-child(2) > h4 > a > span::text').extract_first()
            item['title']=a.replace('\n\t\t\t\t\t\t\t\t\t\t\t\t','')
            item['price']=sel.css('dl > dd.price_right > span.red > b::text').extract_first()
            item['priceper']=sel.css('dl > dd.price_right > span:nth-child(2)::text').extract_first()
            item['jiegou']=sel.css('dl > dd:nth-child(2) > p.tel_shop >a::text').extract_first()
            item['transfer'] = sel.css('dl > dd:nth-child(2) > p.clearfix.label > span::text').extract_first()
            item['positive'] = sel.css('dl > dd:nth-child(2) > p.clearfix.label > span::text').extract_first()
            item["url"] = list_item.css("dl > dd:nth-child(2) > h4 > a::attr(href)").extract_first()
            print('\n\n\n\n\n\n\n\n\n\n',item['title'])
            yield item

class eshouseItem(scrapy.Item):
    title=scrapy.Field()
    price=scrapy.Field()
    priceper=scrapy.Field()
    jiegou=scrapy.Field()
    transfer=scrapy.Field()
    positive=scrapy.Field()
    url=scrapy.Field()

```

Answer 1

在使用Scrapy框架进行爬虫时，重复获取同一条数据通常是由于爬虫逻辑或配置问题引起的。以下是一些可能导致重复获取数据的常见原因和解决方法：

• 爬虫逻辑问题：检查您的爬虫代码，确保您的爬虫逻辑正确处理了重复数据的情况。您可以使用yield语句返回爬取的数据，并在parse方法中使用Request对象设置回调函数来处理下一页的请求。

• 去重过滤器配置：Scrapy提供了去重过滤器来防止重复爬取相同的URL。确保您正确配置了去重过滤器，以避免重复获取相同的数据。在settings.py文件中，确保以下配置项正确设置：

DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'

• 数据库或存储方式问题：如果您将爬取的数据存储到数据库或其他存储方式中，确保您的存储逻辑正确处理了重复数据的情况。您可以在存储之前检查数据是否已存在，并根据需要进行更新或忽略。

• 请求参数问题：如果您的请求参数不正确或不完整，可能会导致重复获取相同的数据。确保您的请求参数正确设置，并且每个请求都具有唯一的标识符，以便服务器正确响应。

• 日志调试：使用Scrapy的日志功能进行调试，查看爬虫运行时的日志输出，以确定重复获取数据的具体原因。您可以在settings.py文件中设置日志级别，以便更详细地查看日志信息。

通过检查上述问题，并根据具体情况进行调试和修改，您应该能够解决重复获取同一条数据的问题。