想问一下大家,我在爬虫的时候发现我能爬取页面,但是页面下的子标签爬取后返回为空是为什么?
希望爬取的标签为:
代码:
如图a可以输出,结果为:
但b输出结果为空:
想问一下这是为什么
源代码如下:
from bs4 import BeautifulSoup
import requests
import pandas as pd
import requests
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
#测试样例
link_href2="http://ipr.mofcom.gov.cn/hwwq_2/chn_eu_gi/dlbzSearchList.html?name=阿克苏苹果&area_ids=&pro_type_one=&pro_type_two="
# 定制请求,发送请求并返回响应对象和html文档
request2 = requests.get(link_href2)
request2.encoding=request2.apparent_encoding#显示中文
html=request2.text
soup2=BeautifulSoup(html,'html.parser')#解析网页内容,指定BeautifulSoup解析器为'html.parser'
a=soup2.find(attrs={"id":"dataList"})
b=a.find_all('p')
#c=soup2.select('#dataList > ul > li > p:nth-child(2) > span')
#soup2.xpath('//*[@id="dataList"]/ul/li/p[1]/span')
print(a)