Python爬虫出现的问题

Question

Python爬虫运行成功了，但打开文件确显示了这些东西，是什么原因，怎么改

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

【您想要解决的问题】： 您想要解决的问题是Python爬虫运行成功后，打开生成的文件却显示了一些不期望的内容，您希望了解造成这种情况的原因，并寻求解决方案。

【图片内容】： 第一张图片显示了一个警告信息，提示在Scrapy的selector模块中存在用户警告，并且列出了一些作者的名字，这些名字似乎是从某个网页上爬取下来的数据。 第二张图片包含了一些文件和文件夹的列表，看起来像是Scrapy项目的结构，包括items.py, middlewares.py, pipelines.py, settings.py等文件，以及一些与Python编程和数据相关的注释。

【问题出现原因】： 根据您提供的信息，问题可能出现在以下几个方面：

1. 警告信息表明在爬虫的选择器（selector）模块中可能存在一些不规范或者不推荐的做法，但这通常不会导致爬取结果出现问题。
2. 打开的文件显示的内容可能是爬虫输出的结果，如果这些内容不符合您的预期，可能是因为爬虫的解析逻辑或者输出格式设置不正确。

【问题解决方案】：

1. 检查爬虫的选择器是否正确地定位到了需要爬取的数据。
2. 检查items.py文件中定义的爬取结果的字段是否正确。
3. 检查pipelines.py文件，确保数据处理和存储的逻辑是按照您的预期进行的。

【提供代码】： 由于我无法直接修改您上传的图片中的代码，我将提供一个基本的Scrapy爬虫结构作为参考：

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 假设我们要爬取的是书籍的标题和作者
        for book in response.css('div.book'):
            yield {
                'title': book.css('h3::text').get(),
                'author': book.css('p.author::text').get()
            }

【代码运行方式】：

1. 确保您的环境中已安装Scrapy。
2. 创建一个新的Scrapy项目，或者在现有项目中创建一个新的spider。
3. 将上述代码保存到spider文件中。
4. 在项目根目录下运行scrapy crawl my_spider来启动爬虫。

【代码预期运行结果】： 爬虫将访问http://example.com，找到所有div标签为book的元素，并提取其中的标题和作者信息，然后将这些信息以字典的形式输出。

【推荐相关链接】：

• Scrapy官方文档：https://docs.scrapy.org/en/latest/
• Scrapy入门教程：https://www.dataquest.io/blog/scrapy-tutorial/
• Scrapy中文社区：https://scrapy-chinese-docs.readthedocs.io/zh_CN/latest/intro/tutorial.html

请注意，以上链接仅供参考，具体内容需要根据实际情况进行调整。