Python 并发爬取网页问题,逐一爬取没问题,并发爬取网页不完整 5C

用python爬取内部某一个系统的页面,发现逐一爬取没问题,并发爬取网页不完整。

方法1:request,没问题

代码就不列出来了

方法2:grequests设置size=1时,没问题。

for page_index in range(1, page_count + 1):
    url_query = r"http://***/SP/SlstxSearch.jsp"
    url_query += r"?ACTION=getPage&PAGE={}"
    request = grequests.post(
        url=url_query.format(page_index),
    )

    request_list.append(request)

response_list = grequests.map(
    requests=request_list,
    size=1
)




方法3:grequests设置size=2时,网页开始不完整

for page_index in range(1, page_count + 1):
    url_query = r"http://***/SP/SlstxSearch.jsp"
    url_query += r"?ACTION=getPage&PAGE={}"
    request = grequests.post(
        url=url_query.format(page_index),
    )

    request_list.append(request)

response_list = grequests.map(
    requests=request_list,
    size=2
)



方法4:多线程+request,网页还是不完整,和方法3一样。




不完整的情况:每一页都有一个表格,内部行数都10,逐一取的时候都能取下来,但是并发的状态,有时就取不到完整的10行。

在网上找资料,逐一能取到说明不是AJAX或是JS的问题吧,为什么会这样,请高手路过支招。

1个回答

jyh_jack
jyh_jack 麻烦仔细看下我发的方法2、3已经用的这个方法的
6 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问