问下大家这种网页结构是不是动态的，如何去分析并zhua qu 数据保存呢？

Question

问下大家这种网页结构是不是动态的，如何去分析并zhua qu 数据保存呢？
python3.8 pycharm

期待大家能给出一个解决方法！

Answer 1

一般都是动态的，抓取数据有2种途径，一是看看有无接口返回数据，有接口优先考虑接口爬取；二是解析网页html文档，从html标签抓取数据。抓取的重点是得考虑好IP代理，因为对方可能会有反爬机制，你被标识后有可能会被拉入黑名单。通过接口爬取很简单，直接发个远程调用，调用它的接口即可。通过网页解析得知道待抓取的dom节点路径。思路大概是这样，相信网上会有较多的代码例子。