德布德 2021-08-06 16:51 采纳率: 76.2%
浏览 51
已结题

能否实现绕开反爬获取网页元素并发送给python

网页反爬机制比较厉害,尝试selenium+mitmproxy也破不了。网页是socket发送信息的。
逻辑很简单,我的目标是直接获取网页加载完毕后某个时点的页面信息然后发送到python中处理。

现在通过chrome的 web scraper插件,可以获取到相关信息,但是爬到的数据只能下载到电脑中再进行处理。有没有办法能直接发送至python中?
此外,通过mitmproxy可以获取到socket发送的信息,但是解析太困难了,有没有办法通过mitmproxy或其他工具直接获取页面elements,就是最表明的东西,不需要深层次的socket信息。

  • 写回答

2条回答 默认 最新

  • 咕泡-三木 2021-08-06 17:24
    关注

    python监听个服务,比如HTTP啥的
    然后其他程序获取到数据通过HTTP发生给python,python就可以继续处理了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月16日
  • 已采纳回答 8月8日
  • 创建了问题 8月6日

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥15 c++头文件不能识别CDialog