m0_49938637 2021-09-05 17:22 采纳率: 100%
浏览 13
已结题

使用scrapy shell https://网站地址 后响应代码是空值

import json

import scrapy

from news.items import NewsItem


class AbcSpider(scrapy.Spider):
    name = 'abc'
    allowed_domains = ['gelonghui.com']
    start_urls = ['https://www.gelonghui.com/api/channels/web_home_page/articles/v8']

    def parse(self, response):
        item = NewsItem()
        dict = json.loads(response)
        item['title'] = dict['result'][0]['data'][0]['title']
        yield item


使用print(response),结果是[].已经设置了
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/93.0.4577.63 Safari/537.36'

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 9月13日
    • 创建了问题 9月5日

    悬赏问题

    • ¥15 征集Python提取PDF文字属性的代码
    • ¥15 如何联系真正的开发者而非公司
    • ¥15 有偿求苍穹外卖环境配置
    • ¥15 代码在keil5里变成了这样怎么办啊,文件图像也变了,
    • ¥20 Ue4.26打包win64bit报错,如何解决?(语言-c++)
    • ¥15 clousx6整点报时指令怎么写
    • ¥30 远程帮我安装软件及库文件
    • ¥15 关于#自动化#的问题:如何通过电脑控制多相机同步拍照或摄影(相机或者摄影模组数量大于60),并将所有采集的照片或视频以一定编码规则存放至规定电脑文件夹内
    • ¥20 深信服vpn-2050这台设备如何配置才能成功联网?
    • ¥15 Arduino的wifi连接,如何关闭低功耗模式?