目前公司观察了下天眼查，说是准备在天眼查上抓取一小部分数据，让我调研一下，本来我就想这以selenium方法进行抓取，虽然慢一些，但是比较稳妥，毕竟天眼查的反爬还是比较厉害，但是当我利用selenium+chrome进行抓取的时候我发现网页上的真实数据竟然用selenium获取不下来：
我以为可能js里面会有，或者接口中有，但是都没有发现，那位大神来指点一下。
关于近期抓取天眼查的问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
yujiabian 2018-03-30 07:39关注添加参数 --ignore-ssl-errors=true --ssl-protocol=any 就好了
解决 无用评论 打赏举报 分享
- 2020-11-13 13:54回答 2 已采纳 看了一下，很明显这些数据都是通过js向后台获取的数据 接口是http://sia.sseinfo.com/noc.gif?WS=10000042&RD=record&SWS=&SWSID=&SWSP
- 2021-04-21 08:19回答 7 已采纳 这个长的字符串, 前面后面各加一个[ ], 就成了'[[],[]]'' 这种格式, 可以用eval()再转换一下, 就成了[[],[]] 可以生成数组或者dataframe,dataframe可转成
- 2022-04-09 22:19回答 2 已采纳 用pypy,namba（需重构，加装饰器）,cython（需重构，显式声明类型）用正则表达式更快，但适用性会降低灵活运用异步减少中间值的使用少用for循环控制线程数量，考虑协程、多进程，因为有GIL的
- 2021-11-21 23:33六点水有点水的博客 近期根据领导布置工作，改了改自己的T眼查爬虫代码，通过Xpath来寻找企业工商变更信息，亲测比较好用，但是需要提前拿VIP账号登录（手动狗头），分享给大家，有改进的地方请大家指教。 输入是通过excel读取企业list...
- 2022-01-07 16:37回答 2 已采纳 建议使用requests,添加参数headers,cookies，params,这样试一下。
- 2022-06-04 10:47回答 1 已采纳 import sqlite3 import re import requests from lxml import html findlink = re.compile(r'<a href=
- 2018-05-08 01:30回答 2 已采纳 ``` from selenium import webdriver d= webdriver.PhantomJS() d.set_page_load_timeout(10)
- 2020-12-10 09:29LHZ5388015210的博客 Python TKinter如何自动关闭主窗口Tkinter 是 Python 的标准 GUI 库。Python 使用 Tkinter 可以快速的创建 GUI 应用程序。由于 Tkinter 是内置到 python 的安装包中、只要安装好 Python 之后就能 import Tkinter 库...
- 2022-11-18 12:59回答 2 已采纳 感觉可以初始化两个cap执行 camera0 cap0= cv2.VideoCapture(0) camera1 cap1= cv2.VideoCapture(1)
- 2021-10-08 22:10回答 1 已采纳 首先看你的数据对象不是json类型呀，报错说他是text类型,至于携程方面知识的我也好久没看了，看样子，携程方面应该没问题
- 2021-11-27 22:00回答 2 已采纳 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用selenium 来爬取。 或者是通
- 2019-05-05 17:47BC_COM的博客 1、微信好友的爬虫，了解一下你的好友全国分布，男女比例，听起来似乎是一个不错的想法，当然你还可以识别一下你的好友有多少人是用自己照片作为头像的，详细的内容可以点击这里：Python对微信好友进行简单统计分析 ...
- 2021-03-06 19:08回答 1 已采纳 import os import requests import re import time import random if __name__ == "__main__" : # 创
- 2023-11-09 12:08amingMM的博客 这个日志文件中会记录Linux系统的绝大多数重要信息，如果系统出现问题时，首先要检查的就应该是这个日志文件 /var/log/btmp 记录错误登录日志，这个文件是二进制文件，不能直接vi查看，而要使用lastb命令查看 /var/...
- 2023-07-12 15:57安全攻防渗透的博客 【红队攻击】文章系列第【3】篇：《初始访问》
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 idea右下角设置编码是灰色的
- ¥15 全志H618ROM新增分区
- ¥20 jupyter保存图像功能的实现
- ¥15 在grasshopper里DrawViewportWires更改预览后，禁用电池仍然显示
- ¥15 NAO机器人的录音程序保存问题
- ¥15 C#读写EXCEL文件，不同编译
- ¥15 MapReduce结果输出到HBase，一直连接不上MySQL
- ¥15 扩散模型sd.webui使用时报错“Nonetype”
- ¥15 stm32流水灯＋呼吸灯＋外部中断按键
- ¥15 将二维数组，按照假设的规定，如0/1/0 == "4"，把对应列位置写成一个字符并打印输出该字符