刚学爬虫,今天练习糗百的段子抓取,事先嫌麻烦没有使用代理,后面ip被封了(很可能被反爬了)。
然后我就发现了一个问题:
- 不使用代理,抓取的内容为空,抓到一半我保存数据的文件夹被删了
- 使用代理,直接语法报错,如下图所示
第18行的print是我的调试代码,控制台显示是module类型啊,为什么会给我报错set object has not attribute 'get'呢?
图例是我昨天写的豆瓣爬虫,我现在不能使用代理了,我的爬虫学习刚开始就要结束了吗,oh,难受
刚学爬虫,今天练习糗百的段子抓取,事先嫌麻烦没有使用代理,后面ip被封了(很可能被反爬了)。
然后我就发现了一个问题: