2 navi szt navi_szt 于 2015.07.17 17:23 提问

如何爬取 某些网页,返回一些奇怪的东西?

连接都是我使用fidder 抓包手机App得到的,可是我明明看到的是 刷新出的是页面,可是连接 却返回这么个东西,没有jison什么的

这是个什么玩意,怎么搞?

1.

http://data.howbuy.com/hws/news/listbytype.protobuf?newestVer=0&pageCount=25&currentPage=1&basicType=&newsType=129013&channelId=102401532&token=7504457408dabb842645746b07a906a8&coopId=A20131205&actionId=HD0001&parPhoneModel=android&subPhoneModel=MI+3&iVer=4.2.2&deviceId=7FED7E7CDEB099D78294E284A0225245&corpId=000004&productId=28294488&version=4.2.2

可以 看到连接的路径 说的都是 新闻的列表 ,可是 返回个 文件。。。

2.

http://quotes.66zhang.com:8888/query?q=inst&s=sha-600313&t=all&f=pb&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

这个好歹有数值,虽然不知道乱码 是怎么回事?

3.
http://apiv2.66zhang.com/content/hold?stock=sha-600313&offset=0&view_cnt=20&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

刷新页面 看到的是 用户操作列表,可以实际 返回确实 一串 什么码,这个怎么抓?

5个回答

navi_szt
navi_szt   2015.07.17 17:25

第1个 是个app,叫掌上基金

第2.3个是个app,叫 股票雷达

caozhy
caozhy   Ds   Rxr 2015.07.17 19:00

看下是不是第一次返回了301/302跳转,那么你需要带上cookie带上referer,继续访问跳转后的网页。

oyljerry
oyljerry   Ds   Rxr 2015.07.17 21:23

有些乱码等是可能数据编码了,或加密了。
有些数据是自定义数据,app自己知道怎么解析处理。

zuishikonghuan
zuishikonghuan   2015.07.17 22:15

乱码是编码问题,你应该先确定采用的什么编码,gbk还是utf8,或者utf16等等
app可能加密数据再发送,因此你抓到的是密文,这种情况下应逆向app

Evankaka
Evankaka   Ds   Rxr 2015.07.17 23:15

数据是加密了的,没有解密的方法你无法知道其含义。
或者可以用常用的解密的方法试试看

Csdn user default icon
上传中...
上传图片
插入图片