如何在百度地图上爬取蜜雪冰城门店分布啊，怎么爬取数据然后转成CSV格式呢

Question

试了好多次都有问题，也试了好多方法，都爬取不到，想爬取蜜雪冰城门店分布数据，做数据可视化 ，数据分析

Answer 1

地图设置全国。再搜索关键字。
获取提交的参数,F12开发者模式-network，筛选newmap关键字

import requests

url='https://map.baidu.com'

parameters ={
'newmap': 1,
'reqflag': 'pcmap',
'biz': 1,
'from': 'webmap',
'da_par': 'direct',
'pcevaname': 'pc4.1',
'qt': 's',
'da_src': 'searchBox.button',
'wd': '密雪冰城',
'c': 1,
'src': 0,
'wd2': '',
'pn': 0,
'sug': 0,
'l': 5,
'b': '(3201449.9600000177,4334164.749999968;19978665.960000016,6234708.749999968)',
'from': 'webmap',
'biz_forward': {"scaler":1,"styles":"pl"},
'sug_forward': '',
'device_ratio': 1,
'tn': 'B_NORMAL_MAP',
'nn': 0,
'u_loc': '12631092,2636503',
'ie': 'utf-8',
't': 1700018779380,
'newfrom': 'zhuzhan_webmap'
}

headers={
    'Host':'map.baidu.com',
    'Referer':'https://map.baidu.com/@11590057.960000018,4489812.749999968,5z',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'

}

response=requests.get(url, headers=headers,params=parameters)
citydata=response.json().get('more_city')

print(citydata)