想要设计一个网络爬虫，功能是我给定很多网站，它都能从这些网站上抓取我想要的数据，比如法律法规之类的，本人对网络爬虫了解不深，以前都是针对一个网站做爬虫，有没有什么办法对不同的网站都能实现抓取的，不需要每一个网站都写一个正则去匹配抓取呢？求帮助
3条回答 默认 最新
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2022-04-29 11:12回答 1 已采纳 我给你改了一下，你对比看看吧： from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel
- 2023-01-22 10:36回答 4 已采纳 1、初学者好好学就是了，基本不可能爬得到什么有风险的东西，因为你技术不够2、就算有了一定技术爬到了有一定风险的东西，基本上不盈利/不把人网站搞崩也没啥事3、学到后面知道的知识多了，自然也不会有什么所谓
- 2023-02-13 15:57会振刀的程序员的博客 如果需要将爬虫做成工程的话，比如做数据维护这类的长期需求，建议用这个 数据解析用Beautifulsoup、re正则、pyquery，lxml都是没有问题的。本人基本是结合使用，我相比更喜欢正则 fiddle：网络数据抓包，可以查看...
- 2022-03-21 17:17回答 3 已采纳 response.encoding=utf-8放上来 import requests url='https://www.baidu.com/' r=requests.get(url) r.encod
- 2022-02-26 20:51回答 2 已采纳 这个接口返回的是jsonp数据，不是json，要获取text替换掉回调函数名称和前后的括号后才是json数据
- 2022-10-09 11:41回答 2 已采纳
- 2020-12-02 06:17weixin_39861920的博客 本文来源于公众号...举个例子来说，比如你想每天看到自己喜欢的新闻内容，而不是各类新闻平台给你推送的各种各样的信息，你就可以写一个爬虫去爬取这些关键词的内容，使自己能够按时获得自己感兴趣的内容，等等...
- 2022-03-12 23:06回答 1 已采纳 如果你确定soup没问题的话，那就是你的soup.find_all那里出了问题，你可以单独打印一下看看，应该是你写的条件没有匹配到
- 2022-08-15 09:11回答 1 已采纳 应该是css选择器里面的规则不够明确，可改成href = selectors.css('div.container div div div ul li a::attr(href)').getall()
- 2022-07-20 16:54回答 3 已采纳 首先，你这里写错了divs = query(".cm-content-box").items()
- 2023-11-09 13:31吴秋霖的博客 多年爬虫领域老工程师深度总结反爬虫技术原理与场景，带你快速了解并掌握反爬虫技术栈知识
- 2021-07-01 21:05回答 3 已采纳 with open('./name.txt', encoding='utf-8') as file:
- 2021-07-05 10:39steamone的博客 它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。 优点： 1.极其灵活的定制化爬取。 2.社区人
- 2024-02-29 09:00吴秋霖的博客 这里大家需要知道的一点就是（尤其新手小白），但凡这种情况，尽管它的网络传输都是通过密文在传输，但前端是一定有相应解密算法的，最终我们看到的页面正常数据都是通过算法解密再渲染到HTML中呈现给用户浏览的 3....
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 鸿业暖通修改详细负荷时闪退
- ¥15 有偿求码，CNN+LSTM实现单通道脑电信号EEG的睡眠分期评估
- ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站
- ¥50 成都蓉城足球俱乐部小程序抢票
- ¥15 yolov7训练自己的数据集
- ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)（相关搜索：51单片机|单片机|测试代码）
- ¥15 电力市场出清matlab yalmip kkt 双层优化问题
- ¥30 ros小车路径规划实现不了，如何解决？(操作系统-ubuntu)
- ¥20 matlab yalmip kkt 双层优化问题
- ¥15 如何在3D高斯飞溅的渲染的场景中获得一个可控的旋转物体