爬虫，通用规则，怎么弄？

Question

最近负责一个爬虫，爬取一号店，国美，京东，苏宁，天猫，
爬取手机相关信息，但是这些网站规则总是改，
代码比较老，过不了几天，写的规则就不能用了，有没有通用的代码，爬取数据？

Answer 1

没有通用的规则，但是可以把规则写成脚本或者配置文件，主程序就不用变了。

实际上有这种通用的抓取程序，你要做的就是定义规则，比如火车头、按键精灵之类的。