babyjustsaidyes 2019-09-25 18:07 采纳率: 0%
浏览 679
已采纳

请问下面的题答案是?以及为什么?

1)下面哪种方式可以让爬虫合理、合法地抓取当日尽可能多的数据?

A. 通过漏洞进入他人计算机系统,把数据库dump出来。

B. 用大量低频关键词在目标站点上搜索,获得当日更全数据。

C. 找到热门的hub页,热门的话题,热门的账号,获取当日更全数据。

D. 用热门关键词在百度等搜索引擎上,用site:www.website.com

  • 关键词 查询,从而发现新数据

2)以下所列出的方法中,浏览器web数据抓取效率最高的方法是?

A. selenium + phantomjs

B. 使用chrome或者chrome内核抓取

C. 模拟web协议直接用wget或curl抓取

3)下面哪项是手机端抓取app数据相比web端的优势(多选):

A. 手机端协议简单容易分析

B. 手机端可以使用模拟点击

C. 手机端就算出新版了旧版还是可以继续使用,不会立即停掉

D. 通常来说,手机端抓取同样信息量的数据,下载量更低

4)下面哪些代理支持rawsocket连接(多选)?

A. HTTP代理

B. HTTPS代理

C. SOCKS4代理

D. SOCKS5代理

5)下面代码请求实际访问地址url是什么?

url = "https://test.cn/test"

params = {

"xxxx":"1234"

}

headers = {

"Host": "www.test.cn",

"Accept-Encoding": "gzip,deflate",

"Connection": "Keep-Alive"

}

requests.get(url, params, headers =headers, allow_redirects = False,

verify = False)

假设http://test.cn/test?xxxx=1234返回的状态码302且response header里有Location:http://www.test.cn/dpool/ttt/domain.php?d=test&xxxx=1234

A. https://test.cn/test

B. https://test.cn/test?xxxx=1234

C. https://www.test.cn/test?xxxx=1234

D.http://www.test.cn/dpool/ttt/domain.php?d=test&xxxx=1234

6)假如你要爬大量youtube视频的二进制内容,存储在本地,最佳的办法是?

A. Mysql数据库存储

B. Redis存储

C. Mongodb存储

D. 文件系统

7)如果想爬自己手机应用上的HTTPS的数据,获得明文,下面哪个说法是正确的?

A. 自己搭建一个HTTPS代理,让手机设置为这个代理,即可获得明文

B. 任何HTTPS明文都是可以获取的

C. 在PC上建立一个无线热点,让手机连这个热点,并使用Wireshare软件分析出HTTPS的明文数据

D. 通过让手机系统信任根证书,使用Man-in-the-middle中间人攻击技术,就可以获取任何HTTPS明文

8)以下哪个功能chromedriver协议不支持?

A. 注入js文件

B. 模拟鼠标滑动

C. 网络请求的响应式处理

D. 同个实例可以同时操作多个页面

9)爬取数据过程中,哪个情况是最不可容忍的?

A. 爬取的数据不完整,有部分数据遗失

B. 爬取程序非法关闭,内存泄露

C. 爬取的数据部分出错,手动修改

D. 不同版本的数据合并在一起

10)爬虫开发不会涉及到的技术或者知识有?

A. tcp,udp传输协议

B. 反汇编技术

C. 数据库存储

D. 音视频流解析

E. 网络路由协议

F. 以上都会涉及

  • 写回答

1条回答

  • threenewbee 2019-09-25 22:07
    关注

    1b
    2c
    3cd
    4cd
    5a
    6d
    7d
    8d
    9c
    10f
    采纳后可以给你解释。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 基于卷积神经网络的声纹识别
  • ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
  • ¥100 为什么这个恒流源电路不能恒流?
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 CSAPPattacklab
  • ¥15 一直显示正在等待HID—ISP
  • ¥15 Python turtle 画图
  • ¥15 stm32开发clion时遇到的编译问题