cc9542 2022-10-26 16:35 采纳率: 96.7%
浏览 94
已结题

爬虫 POST请求 获取网页标题内容

网上搜索使用requests.post() 方法 的案例都是 教你 如何爬取翻译的内容
请问怎么使用 requests.post() 方法 向搜索引擎 提交搜索内容 并获取到搜索的数据呢?

使用requests.get()方法 搜索内容 并获取 是学会了 如果换成post() 方法 又如何操作? 下面是我写的get()方法

from unittest import result
import requests
import re

url = "https://www.必应.com/search?q=蔷薇花墙纸"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.37"
}

resp = requests.get(url=url, headers=headers)
resp.encoding = 'utf-8'

# 正则表达式准备
obj1 = re.compile(
    r'<li class=".*?">.*?<h2><a target="_blank" .*?">(?P<a>.*?)</a>.*?<div class=".*?">.*?<cite>(?P<z>.*?)</cite>', re.S)

result = obj1.finditer(resp.text)

for it in result:
    ii = it.group("a")
    i1 = re.sub("[A-Za-z<>/]", "", ii)  # 去除<strong>和</strong>
    print(i1)
    print(it.group("z"))

resp.close()  # 关闭resp

运行结果:

img

如果换成post() 方法怎么样写才能获取 搜索 蔷薇花墙纸 的网站标题和网址呢?

#这个post() 方法 不会写了
from urllib import response
import requests

url = "https://www.必应.com"
search = {"qry": "蔷薇花墙纸"}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.37"
}

response_1 = requests.post(url,data=search,headers=headers)
response_1.encoding = 'utf-8'
print(response_1.text)


想要达到的结果: post() 方法 获取

img

  • 写回答

1条回答 默认 最新

  • 二九筒 2022-10-26 17:01
    关注

    post和get方法的使用不是你决定的,二十接口使用的是什么请求方式,如果它是get请求那就只能用get请求,是post就只能用post

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 11月1日
  • 已采纳回答 10月26日
  • 修改了问题 10月26日
  • 修改了问题 10月26日
  • 展开全部

悬赏问题

  • ¥15 Stata链式中介效应代码修改
  • ¥15 latex投稿显示click download
  • ¥15 请问读取环境变量文件失败是什么原因?
  • ¥15 在若依框架下实现人脸识别
  • ¥15 网络科学导论,网络控制
  • ¥100 安卓tv程序连接SQLSERVER2008问题
  • ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比,为什么Snetinel-2计算的结果最小值特别小,而Lansat8就很平均
  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错