在帮老师爬取好专家网页时,
第一发现应该使用了和携程类似的ajax网页技术吧,小白不太了解,点击下一页时,url不改变。
第二网页源代码中没有网页信息如何爬取,网页中的专家姓名等信息在网页源代码中压根找不到
附上网址http://hzj.tech110.net/expert/expsearch.jspx?expcode=1&flag=2#
谢谢啦
在帮老师爬取好专家网页时,
第一发现应该使用了和携程类似的ajax网页技术吧,小白不太了解,点击下一页时,url不改变。
第二网页源代码中没有网页信息如何爬取,网页中的专家姓名等信息在网页源代码中压根找不到
附上网址http://hzj.tech110.net/expert/expsearch.jspx?expcode=1&flag=2#
谢谢啦
是ajax方式异步提交的,抓包看了下
POST到 http://hzj.tech110.net/expert/search_Search_searchByCondition.jspx
参数
condition.keyword=&condition.selectedType=0&condition.typeService=&condition.typeArea=&condition.typeAge=&condition.typeProtitle=&condition.typeEdu=&condition.typeOrg=&condition.typeOrder=0&condition.typeExpert=&condition.ifsigned=1&pageSize=12¤tNo=2
condition.keyword:
condition.selectedType:0
condition.typeService:
condition.typeArea:
condition.typeAge:
condition.typeProtitle:
condition.typeEdu:
condition.typeOrg:
condition.typeOrder:0
condition.typeExpert:
condition.ifsigned:1
pageSize:12 //每页12条
currentNo:2 //第2页