禁赌毒 2022-02-23 18:00 采纳率: 50%
浏览 40
已结题

python爬虫中如何解码

看了下代码都是正确的,表达式也无误,但就是爬不到东西,爬取显示为0,感觉是keyword解码的问题

keyword="江苏"

def ip(ippools):
    thisip=random.choice(ippools)

def ua(uapools):
    thisua=random.choice(uapools)

for i in range(0,2):
    url='https://xxxxxxxxxxxx?q='+keyword+'&s=44'
    res=requests.get(url,headers=ua(uapools),proxies=ip(ippools))
    pat='"pic_url":"//(.*?)"'
    imglist=re.findall(pat,res.text)
    print(len(imglist))

  • 写回答

2条回答 默认 最新

  • grizzly00 2022-02-23 18:08
    关注

    你的网页是否是静态的?动态网页直接用url是获取不到的

    使用ctrl+u 打开网页源代码,若需要的内容不在,则说明你这个网页是动态的,需要使用动态的方法爬取。

    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 3月14日
  • 创建了问题 2月23日

悬赏问题

  • ¥100 栈回溯相关,模块加载后KiExceptionDispatch无法正常回溯了
  • ¥15 麒麟V10桌面版SP1如何配置bonding
  • ¥15 Marscode IDE 如何预览新建的 HTML 文件
  • ¥15 K8S部署二进制集群过程中calico一直报错
  • ¥15 java python或者任何一种编程语言复刻一个网页
  • ¥20 如何通过代码传输视频到亚马逊平台
  • ¥15 php查询mysql数据库并显示至下拉列表中
  • ¥15 freertos下使用外部中断失效
  • ¥15 输入的char字符转为int类型,不是对应的ascall码,如何才能使之转换为对应ascall码?或者使输入的char字符可以正常与其他字符比较?
  • ¥15 devserver配置完 启动服务 无法访问static上的资源