想要设计一个网络爬虫，功能是我给定很多网站，它都能从这些网站上抓取我想要的数据，比如法律法规之类的，本人对网络爬虫了解不深，以前都是针对一个网站做爬虫，有没有什么办法对不同的网站都能实现抓取的，不需要每一个网站都写一个正则去匹配抓取呢？求帮助
3条回答 默认 最新
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2022-04-29 11:12回答 1 已采纳 我给你改了一下，你对比看看吧： from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel
- 2022-03-21 17:17回答 3 已采纳 response.encoding=utf-8放上来 import requests url='https://www.baidu.com/' r=requests.get(url) r.encod
- 2022-08-08 19:075. **多线程和网络编程**：在爬虫开发中，多线程技术可以提高爬取速度，同时理解和运用TCP/IP网络协议是必要的，因为爬虫需要处理网络连接、超时等问题。 6. **爬虫框架的使用**：如pyspider和scrapy，这些框架提供...
- 2023-01-22 10:36回答 4 已采纳 1、初学者好好学就是了，基本不可能爬得到什么有风险的东西，因为你技术不够2、就算有了一定技术爬到了有一定风险的东西，基本上不盈利/不把人网站搞崩也没啥事3、学到后面知道的知识多了，自然也不会有什么所谓
- 2022-02-26 20:51回答 2 已采纳 这个接口返回的是jsonp数据，不是json，要获取text替换掉回调函数名称和前后的括号后才是json数据
- 2022-10-09 11:41回答 2 已采纳
- 2024-09-17 16:00AGI八零后的博客 网络爬虫是LangChain中的一项关键功能，允许用户自动从互联网上收集信息。这项功能对于研究和数据收集尤其有价值，因为它可以大幅减少手动搜索和信息整理的工作量。
- 2022-03-12 23:06回答 1 已采纳 如果你确定soup没问题的话，那就是你的soup.find_all那里出了问题，你可以单独打印一下看看，应该是你写的条件没有匹配到
- 2022-08-15 09:11回答 1 已采纳 应该是css选择器里面的规则不够明确，可改成href = selectors.css('div.container div div div ul li a::attr(href)').getall()
- 2022-07-20 16:54回答 3 已采纳 首先，你这里写错了divs = query(".cm-content-box").items()
- 2023-02-13 15:57会振刀的程序员的博客 如果需要将爬虫做成工程的话，比如做数据维护这类的长期需求，建议用这个 数据解析用Beautifulsoup、re正则、pyquery，lxml都是没有问题的。本人基本是结合使用，我相比更喜欢正则 fiddle：网络数据抓包，可以查看...
- 2021-07-01 21:05回答 3 已采纳 with open('./name.txt', encoding='utf-8') as file:
- 2020-12-02 06:17weixin_39861920的博客 本文来源于公众号...举个例子来说，比如你想每天看到自己喜欢的新闻内容，而不是各类新闻平台给你推送的各种各样的信息，你就可以写一个爬虫去爬取这些关键词的内容，使自己能够按时获得自己感兴趣的内容，等等...
- 2023-08-09 14:42`新手必读.url`可能是一个链接到新手指南或教程的快捷方式，帮助初次使用者快速上手。 `application`、`template`和`data`可能是文件夹，分别存储着应用程序逻辑、界面样式和可能的数据库数据。`error`文件夹可能...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 如何让企业微信机器人实现消息汇总整合
- ¥50 关于#ui#的问题：做yolov8的ui界面出现的问题
- ¥15 如何用Python爬取各高校教师公开的教育和工作经历
- ¥15 TLE9879QXA40 电机驱动
- ¥20 对于工程问题的非线性数学模型进行线性化
- ¥15 Mirare PLUS 进行密钥认证？（详解）
- ¥15 物体双站RCS和其组成阵列后的双站RCS关系验证
- ¥20 想用ollama做一个自己的AI数据库
- ¥15 关于qualoth编辑及缝合服装领子的问题解决方案探寻
- ¥15 请问怎么才能复现这样的图呀