a499538194 2012-09-24 18:32
浏览 212
已采纳

抓取其他网站动态数据

项目要求是抓取其他网站的文章信息，包括点击量，回复量等，可这些数据一般都是动态的，如果指定抓取某一个网站的数据我还可以搞定，分析一下js代码或是用firebug类的工具看一下页面生成过程中请求和响应信息等，然后再模拟http请求，解析一下响应基本就搞定了。 但是现在要求是随便输个网站 ，只要有文章 、帖子什么的就可以抓下来，这样就不能挨个去分析代码了，这种情况改怎么实现呢？求大神给个思路，实在想不到办法了。
另外负责采集信息的操作人员可以承担一些工作，不一定做成全自动的，比如可以提供待抓取网站的一些信息，但不能太多太复杂。

  • 写回答

2条回答 默认 最新

  • jinnianshilongnian 2012-09-24 19:16
    关注

    这个做不到。。 除非大家都是discuz等

    如果网站是自家写的 连人可能都不知道点击量/回复量在哪 机器怎么知道 还有些可能不显示点击/回复量。 不可能这么智能

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • 抓取其他网站动态数据
    2012-09-24 18:32
    回答 2 已采纳 这个做不到。。 除非大家都是discuz等 如果网站是自家写的 连人可能都不知道点击量/回复量在哪 机器怎么知道 还有些可能不显示点击/回复量。 不可能这么智能
  • 如何用java抓取各大医疗网站的数据 java
    2021-11-30 21:23
    回答 3 已采纳 短一点的JSOUP等.长一点的用框JAVA的爬虫框架WebMagic.哪几个网站.瞅一眼
  • 正则表达式 数据抓取 正则表达式
    2013-03-22 02:07
    回答 4 已采纳 jsoup 神器..百度一下就可以..不用正则了
  • 对python抓取需要登录网站数据的方法详解
    2020-09-20 11:48
    今天小编就为大家分享一篇对python抓取需要登录网站数据的方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
  • 如何进行八爪鱼抓取数据 爬虫
    2022-05-02 21:14
    回答 2 已采纳 大众点评可以当作一个参考，数据算是相对多的。还有百度地图，也是可以拿到一些数据。
  • ffmpeg抓取音频流数据失败 arm linux tcp/ip
    2022-09-03 16:31
    回答 5 已采纳 1，-buffer_size 102400，你这设置的缓冲区才100K，对音视频数据来说，太小了。你看下海康摄像机视频参数码流，设置的是多少，如下图设置的是2M 2，将缓冲区设置成8M试试，即8x1
  • api接开奖数据抓取 python
    2023-03-04 16:43
    回答 3 已采纳 完全可以做
  • 智能抓取沙箱的抓取数据集
    2024-02-06 12:22
    智能抓取沙箱的抓取数据集 数据说明： 在Shadow Robot，我们是机器人抓取和操作的领导者。作为智能抓取系统开发的一部分，我们正在使用机器学习开发不同的算法。 这个第一个公共数据集的创建是为了研究使用机器学习...
  • 抓取aqi网页数据出错 显示403 爬虫
    2023-02-19 11:13
    回答 1 已采纳 这个问题通常是因为请求被服务器禁止或者无权访问而导致的。HTTP响应状态码403表示服务器理解客户端的请求，但是服务器拒绝执行该请求。 一种可能的原因是你的请求缺少必要的身份验证信息，例如 API k
  • 数据抓取都用什么工具好些？ python
    2020-04-10 12:09
    回答 1 已采纳 使用selenium吧 字数补丁
  • 请教python xpath抓取数据问题 python
    2020-11-13 13:54
    回答 2 已采纳 看了一下，很明显这些数据都是通过js向后台获取的数据 接口是http://sia.sseinfo.com/noc.gif?WS=10000042&RD=record&SWS=&SWSID=&SWSP
  • C# 从需要登录的网站上抓取数据
    2023-06-29 13:15
    C# 从需要登录的网站上抓取数据 模拟登录 数据抓取 C# C#数据抓取源码与思路
  • 快速抓取网页数据入库 数据结构
    2012-12-05 14:51
    回答 3 已采纳 考虑使用下jsoup吧 类似于css/jquery语法
  • 浅谈如何使用python抓取网页中的动态数据实现
    2020-12-17 02:32
    今天，我们就在这里简单聊一聊如何用python来抓取页面中的JS动态加载的数据。 给出一个网页：豆瓣电影排行榜，其中的所有电影信息都是动态加载的。我们无法直接从页面中获得每个电影的信息。 如下图所示，我们无法...
  • Python网络数据爬虫抓取代码
    2023-04-13 16:34
    Python网络数据抓取代码可以用于自动化采集数据，包括网站内容、电商产品信息、股票行情、新闻报道等，也可以用于建立垂直搜索引擎、舆情监测、市场调研、信息挖掘等多个领域。 其他说明： Python网络数据抓取代码...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥20 西门子S7-Graph,S7-300，梯形图
  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改，求解答！！
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗？在Android studio上该如何部署？
  • ¥20 docker里部署springboot项目，访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏！微信开发者工具报错，求帮改