袅袅的烟 2021-12-22 09:33 采纳率: 50%
浏览 1446
已结题

Python爬虫配合VPN爬取出现报错


```python

def get_url():
    url_list = []
    for a in range(1,3): #页数
        url = 'xxxxx/page/{}/'.format(a)
        html = requests.get(url,headers=headers).text
        soup = BeautifulSoup(html, 'lxml')
        soup = soup.find_all('div', class_='gridhub-posts gridhub-posts-grid')[0]
        for i in range(0,10): 
            data = soup.find_all('div',class_= 'gridhub-grid-post gridhub-5-col')[i]
            url = data.find_all('a',class_= 'gridhub-grid-post-thumbnail-link')[0].get('href')
            url = url + '1/'
            if len(url)>6 and url not in url_list:
                url_list.append(url)
            else:
                pass
    print('页数数据获取完毕')
    return url_list
 

```

运行结果及报错内容

```显示如下报错:
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='xx', port=443): Max retries exceeded with url: xxx (Caused by SSLError(SSLEOFError(8, 'EOF occurred in violation of protocol (_ssl.c:1124)')))

requests.exceptions.SSLError: HTTPSConnectionPool(host='xxx', port=443): Max retries exceeded with url:xxx (Caused by SSLError(SSLEOFError(8, 'EOF occurred in violation of protocol (_ssl.c:1124)')))

我的解答思路和尝试过的方法

{pip install cryptography
pip install pyOpenSSL
pip install certifi -- 无效}

我想要达到的结果

若关闭VPN爬取其他网站(国内)就无报错?
如何解决VPN配合爬虫报错的问题?百度之后给予的方案(如下)无效

展开全部

  • 写回答

1条回答 默认 最新

  • 星空下0516 2021-12-22 11:23
    关注

    你这个是VPN代理问题,你可以将VPN设置成部分代理,不要全部代理你的网络。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
编辑
预览

报告相同问题?

问题事件

  • 系统已结题 1月5日
  • 已采纳回答 12月29日
  • 创建了问题 12月22日

悬赏问题

  • ¥15 文本数据挖掘分析报告
  • ¥15 代写uni代码,app唤醒
  • ¥15 全志t113i启动qt应用程序提示internal error
  • ¥15 ensp可以看看嘛.
  • ¥80 51单片机C语言代码解决单片机为AT89C52是清翔单片机
  • ¥60 优博讯DT50高通安卓11系统刷完机自动进去fastboot模式
  • ¥15 minist数字识别
  • ¥15 在安装gym库的pygame时遇到问题,不知道如何解决
  • ¥20 uniapp中的webview 使用的是本地的vue页面,在模拟器上显示无法打开
  • ¥15 网上下载的3DMAX模型,不显示贴图怎么办
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部