scrapy与requests发包差异点有哪些？

Question

环境

python3
scrapy最新版
requests最新版

问题现象

无抓包环境下

1. requests可以直接请求url成功
2. postman和scrapy怎么处理都没法成功，返回412被检测了

抓包环境下

1. scrapy和requests无法成功，返回412被检测了
2. postman在fillder可以成功，但是在charles无法成功

尝试操作

scrapy对齐请求头、关闭cookie、修改请求头大小写都没法解决，感觉requests啥都不传都能成功，会不会是检测点或者发包方式有哪里差异

咨询

各位佬日常开发时遇到scrapy与requests请求差异除了以上尝试操作外还有其它尝试方案吗？

Answer 1

从现象看是Tls指纹
scrapy参考这篇文章加个组件就可以了
【Scrapy突破JA3指纹(附完整代码) - CSDN App】http://t.csdnimg.cn/M430C