德布德 2021-08-06 16:51 采纳率: 76.2%
浏览 51
已结题

能否实现绕开反爬获取网页元素并发送给python

网页反爬机制比较厉害,尝试selenium+mitmproxy也破不了。网页是socket发送信息的。
逻辑很简单,我的目标是直接获取网页加载完毕后某个时点的页面信息然后发送到python中处理。

现在通过chrome的 web scraper插件,可以获取到相关信息,但是爬到的数据只能下载到电脑中再进行处理。有没有办法能直接发送至python中?
此外,通过mitmproxy可以获取到socket发送的信息,但是解析太困难了,有没有办法通过mitmproxy或其他工具直接获取页面elements,就是最表明的东西,不需要深层次的socket信息。

  • 写回答

2条回答 默认 最新

  • 咕泡-三木 2021-08-06 17:24
    关注

    python监听个服务,比如HTTP啥的
    然后其他程序获取到数据通过HTTP发生给python,python就可以继续处理了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 8月16日
  • 已采纳回答 8月8日
  • 创建了问题 8月6日

悬赏问题

  • ¥20 机器学习能否像多层线性模型一样处理嵌套数据
  • ¥20 西门子S7-Graph,S7-300,梯形图
  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改,求解答!!
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗?在Android studio上该如何部署?
  • ¥20 docker里部署springboot项目,访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效