具体情况是爬取某个gps平台的数据,先用selenium驱动网页,然后具体数据使用requests获取。以下是请求的代码片段:
问题是Requests请求返回后header的content_length与实际的不一样,小了很多,因此返回包body中的数据有缺失。下图是调试过程中的content_length的返回值
只有769个字节。这769个字节数据为表格的表头,没有实际数据。
而使用浏览器代理工具对相同url下载,返回的content_length却多很多,有26855字节(表头和实际数据都有),相应地在返回包的body中数据也多了很多,如下图。
post的data参数较多,但仔细对过了,应该没有什么问题,否则服务器也不会正常响应,但就是不返回主要数据。
有没有达人知道,为什么会出现上述问题?在哪些情况下,页面能正常返回,但影响返回数据的大小?