项目要求是抓取其他网站的文章信息，包括点击量，回复量等，可这些数据一般都是动态的，如果指定抓取某一个网站的数据我还可以搞定，分析一下js代码或是用firebug类的工具看一下页面生成过程中请求和响应信息等，然后再模拟http请求，解析一下响应基本就搞定了。 但是现在要求是随便输个网站 ，只要有文章 、帖子什么的就可以抓下来，这样就不能挨个去分析代码了，这种情况改怎么实现呢？求大神给个思路，实在想不到办法了。
另外负责采集信息的操作人员可以承担一些工作，不一定做成全自动的，比如可以提供待抓取网站的一些信息，但不能太多太复杂。
抓取其他网站动态数据
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
jinnianshilongnian 2012-09-24 19:16关注这个做不到。。 除非大家都是discuz等
如果网站是自家写的 连人可能都不知道点击量/回复量在哪 机器怎么知道 还有些可能不显示点击/回复量。 不可能这么智能
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2024-02-06 12:22智能抓取沙箱的抓取数据集 数据说明： 在Shadow Robot，我们是机器人抓取和操作的领导者。作为智能抓取系统开发的一部分，我们正在使用机器学习开发不同的算法。 这个第一个公共数据集的创建是为了研究使用机器学习...
- 2025-02-09 22:37需要注意的是，在进行数据抓取时，应遵守相关法律法规，尊重网站的robots.txt文件规定，合理设置爬虫的抓取频率，避免对目标网站造成过大的访问压力，或者触发反爬机制。同时，对于获取到的图片数据，也要注意版权...
- 2020-09-16 09:24标题中的“浅谈如何使用python抓取网页中的动态数据实现”是指使用Python编程语言来抓取网页中由JavaScript动态生成的数据。在描述中提到，由于许多网页的...同时，尊重网站的robots.txt规则，合法、合理地抓取数据。
- 2020-08-27 04:14Java 实现登录后抓取数据是指使用 Java 语言来实现在登录网站后抓取网站数据的技术。在这个技术中，我们需要使用 Jsoup 库来解析 HTML 文档，并使用 HttpURLConnection 来发送 HTTP 请求和获取响应数据。 在这个...
- 2013-06-06 17:352. Selenium：一个自动化测试工具，可以模拟浏览器行为，非常适合处理需要用户交互的动态网站。 3. Splash：是一个轻量级的HTTP服务器，用于渲染JavaScript，与Scrapy结合使用，可以在服务器端处理动态内容。 二、...
- 2020-11-11 09:54在实际操作中，"网站抓取精灵 v3.0"可能提供了各种高级功能，例如自定义抓取规则、过滤不必要的内容（如广告或重复页）、设置爬行速度以避免对目标服务器造成过大压力，甚至可能支持处理JavaScript动态加载的内容。...
- 2023-04-13 16:34Python网络数据抓取代码可以用于自动化采集数据，包括网站内容、电商产品信息、股票行情、新闻报道等，也可以用于建立垂直搜索引擎、舆情监测、市场调研、信息挖掘等多个领域。 其他说明： Python网络数据抓取代码...
- 2025-07-21 16:04测试与使用：用户可以通过运行目录中的 list.php 页面来生成要抓取的页面列表（默认为微博收藏页面），并通过 save.php 页面定义抓取数据的处理方式（默认为保存为文件）。 此外，CatGate 提供了安装选项，用户可以...
- 2025-01-16 16:08Bright Data的博客 Bright Data除了是爬取网络公开数据的专家，同时还提供现成的数据集，内容含盖全球各大电商、社交媒体、商业信息平台等网站，现在就可以点击亮数据主页的。最后，它将抓取的数据保存到pandas DataFrame中，并将数据...
- 2025-07-17 10:08内容概要：本文档详细介绍了Python爬虫抓取动态数据的实战方法，分为前置准备、核心实施步骤、完整流程图展示、常见问题解决方案和注意事项五个部分。首先，文档阐述了安装核心依赖和准备浏览器驱动等前置准备工作。...
- 没有解决我的问题, 去提问
