fengse_1988 2020-08-03 13:28 采纳率: 0%
浏览 379

scrapy爬虫 504报错。#python

非常简单的爬虫,静态网站没问题,但是在动态加载的网站中,请求每次超市报错。如下:
2020-08-03 13:19:45 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying (failed 1 times): 504 Gateway Time-out

代码如下
import scrapy
import time
import json
from movies.items import MoviesItem

class YiqingSpider(scrapy.Spider):
name = 'yiqing'
allowed_domains = ['view.inews.qq.com']
start_urls = ['https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5']

def parse(self, response):
    text=response.text
    print(text)

  • 写回答

2条回答 默认 最新

  • threenewbee 2020-08-03 14:00
    关注

    可能是服务器有反爬的机制,或者服务器不稳定,你浏览器访问,抓包对照看看。排除下你的参数提交是否有问题。

    评论

报告相同问题?

悬赏问题

  • ¥50 NT4.0系统 STOP:0X0000007B
  • ¥15 想问一下stata17中这段代码哪里有问题呀
  • ¥15 flink cdc无法实时同步mysql数据
  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。