python入门爬虫时的问题

在爬取csdn论坛页面时,发现有些节点 取不到:

图片说明

这就是我想要获取的节点,这一列li标签

当我想用children便利div子节点时,发现什么也没有:
图片说明

然后我尝试去获取其中一个节点,也发现没有:
图片说明

这是为什么呢

2个回答

这是一种反爬手段,只有在浏览器打开,或者模拟浏览器打开,才能看到这些内容。
可以学一下selenium库,专门针对动态页面的爬取

异步ajax加载的,你用浏览器的f12的抓包功能看下,然后直接对照着去请求数据

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问