请教各位大拿，现在流行的网络爬虫有什么用

Question

请教各位大拿，现在流行的网络爬虫有什么用，比如python开发的网络爬虫，通过检索电商页面的物品信息、价格、介绍，拿过来有什么实际应用价值吗？

1.不清楚为什么python爬虫那么火？

2.不清楚爬虫的真正目的是什么？难道就是为了生成个历史趋势图吗？

3.它的应用场景是什么？

请认真说明，喷子勿喷！

Answer 1

(1)爬虫有什么用，主要有两个，一个是抓取数据，下载文件；一个是机器人，模拟人对网站操作。
前者你已经基本知道了，后者，比如12306刷票，水军刷评论，操作一些没有提供api接口的网站，比如查询快递进度（现在有接口了，以前没有）

(2)抓取电商数据有什么用，自动比价，分析，研判。做数据挖掘和分析。
比如说，商品定价贵了，销量比较少，定价便宜了，单品获利少，那么定价多少才能收益最大化？这个定价策略对于个别商品来说，人工可以去估计，但是对于大型电商来说，需要机器学习去分析吧。怎么分析，首先要数据啊。
还有，你要知道哪些商品是爆款吧，哪些商品在短时间内销量大增吧。比如说，12月一到，电暖器销量增加，9月1日，文具销量增加，情人节，鲜花、情趣用品销量增加，这个销量到底增加多少？备货多了，挤压资金，占用场地，备货烧了，供不应求，眼看对手赚钱干着急。那么又需要机器学习了吧。
场景太多了，我只是举例。