from DrissionPage import ChromiumPage
##import time
实例化浏览器对象
dp = ChromiumPage()
监听数据包(要长一些)
dp.listen.start('api.m.jd.com/?appid=item-v3&functionId=pc_club_productPageComments&client=pc')
访问网站(网站网址要加上#comment)如:https://item.jd.com/100039640726.html#comment
dp.get("https://item.jd.com/100193504508.html#comment")
下滑页面
dp.scroll.to_bottom()
点击评论
#dp.ele('css:#detail > div.tab-main.large > ul > li:nth-child(5)').click()
print(json_data
print("正在爬取第%d页" % page)
list1 = json_data.get("comments")
for item1 in list1:
print(item1.get("content"))
print("时间:", item1.get("creationTime"), "地区:", item1.get("location"))
print("---------------")
# 模拟点击
dp.ele("css:.ui-pager-next").click()
time.sleep(0.5)
源码是这样的,在网上自己学了一点爬虫
报错情况C:\Users\Lenovo\PyCharmMiscProject.venv\Scripts\python.exe C:\Users\Lenovo\PyCharmMiscProject.venv\第二.py
Traceback (most recent call last):
File "C:\Users\Lenovo\PyCharmMiscProject.venv\第二.py", line 13, in
dp.ele('css:#detail > div.tab-main.large > ul > li:nth-child(5)').click()
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Lenovo\PyCharmMiscProject.venv\Lib\site-packages\DrissionPage_elements\none_element.py", line 37, in getattr
raise ElementNotFoundError(METHOD=self.method, ARGS=self.args)
DrissionPage.errors.ElementNotFoundError:
没有找到元素。
方法: ele()
参数: {'locator': 'css:#detail > div.tab-main.large > ul > li:nth-child(5)', 'index': 1, 'timeout': 10}
版本: 4.1.0.18
进程已结束,退出代码为 1