京东商品好评率获取爬取

Question

怎么扒取或者爬取京东商品好评率 可以批量的那种 通过读取表格里的商品编号 一行一个 然后来爬取

有没有成品啥的

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

回答： 针对该问题，可以通过编写Python爬虫程序来实现批量获取京东商品的好评率。具体步骤如下：

1. 首先需要了解京东商品页面的网页结构，主要是商品页面的URL和页面中展示商品名称、价格、评价数量、好评率等信息的HTML标签和类名。
2. 按照读取表格的要求，可以使用Python的pandas包读取表格数据，将每一行的商品编号存储在一个列表中。
3. 编写Python爬虫程序，将每个商品编号拼接到京东商品页面的URL中，再利用requests包发送请求，获取页面HTML内容。
4. 利用BeautifulSoup包解析HTML内容，获取商品的名称、价格、评价数量、好评率等信息。
5. 将获取到的商品信息存储在一个列表或字典中，并输出到一个文件中，以便后续处理或分析。
6. 如果需要批量获取，可以设置循环语句遍历所有的商品编号，实现自动化批量爬取。 以下是一个简单的示例代码，仅供参考：

import requests
from bs4 import BeautifulSoup
import pandas as pd
# 读取表格数据
df = pd.read_excel('商品编号表格.xlsx')
num_list = df['商品编号'].tolist()
# 定义URL
url_template = "https://item.jd.com/{}.html"
# 定义请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 循环遍历商品编号
for num in num_list:
    # 拼接URL
    url = url_template.format(num)
    # 发送请求
    response = requests.get(url, headers=headers)
    html_text = response.text
    # 解析HTML内容
    soup = BeautifulSoup(html_text, 'html.parser')
    name = soup.find('div', class_='sku-name').text.strip()
    price = soup.find('span', class_='price J-p-{}').text.strip()
    eval_num = soup.find('span', class_='comment-count').text.strip()
    good_rate = soup.find('strong', class_='percent-con').text.strip()
    # 存储商品信息
    product = {'商品编号': num, '商品名称': name, '商品价格': price, '评价数量': eval_num, '好评率': good_rate}
    print(product)

该程序可以根据商品编号生成对应的URL，爬取对应的商品页，获取商品的名称、价格、评价数量、好评率等信息，并将这些信息存储在一个字典中。如果需要批量获取多个商品的信息，可以在循环语句中遍历所有的商品编号，实现自动化批量爬取。最终，可以将获取到的商品信息输出到一个文件中，以便后续处理或分析。