使用 selenium 自动操作浏览器，如何避开 CloudFlare 5秒盾的检测

Question

1、运行环境：Java + selenium + chrome浏览器108版本 + chromedriver

注：如果Java不能避开检测，也可以使用Python，只求正确方法

2、问题

公司业务：需要自动操作浏览器进行“登陆账号”和“商品库存数量的增加”

问题发生背景：selenium 自动操作浏览器访问 https://www.kickstarter.com/，会被 CloudFlare 检测到，特别在点击登陆之后

错误图片：

解答思路和尝试过的方法：

• 修改谷歌浏览器启动参数
• 更改访问ip

附代码

public static void main(String[] args) {
    WebDriver webDriver = null;
    try {
        // 设置 chromedirver 的存放位置
        System.getProperties().setProperty("webdriver.chrome.driver", CHROME_DRIVER);
        ChromeOptions chromeOptions = new ChromeOptions();
        //chrome添加参数
        addArguments(chromeOptions);
        // 实例化
        webDriver = new ChromeDriver(chromeOptions);
        // 1.模拟打开登陆页面
        webDriver.get(WEB_URL);

        /**
         * TODO:CloudFlare拦截有几种触发方式
         * 1、打开页面便会被检测 CloudFlare 到并拦截
         * 2、点击登陆或点击其他按钮跳转到其他页面都会被拦截
         */
        
        // 显式等待
        // 2.等10秒钟响应后再操作，不然内容可能还没有返回
        WebDriverWait wait = new WebDriverWait(webDriver, 10);
        // 查找id为“kw"的元素是否加载出来了（已经在页面DOM中存在）
        wait.until(ExpectedConditions.presenceOfElementLocated(By.id("user_session_email"))); // 在设定时间内找到后就返回，超时直接抛异常

        // ......

    } catch (Exception e) {
        e.printStackTrace();
        assert webDriver != null;
        File srcFile = ((TakesScreenshot)webDriver).getScreenshotAs(OutputType.FILE);
        //图片名称加时间戳
        String dateString = getDateFormat();
        // 需要指定图片的保存路径及文件名
        try {
            FileUtils.copyFile(srcFile, new File("D:\\selenium\\" + dateString + ".png"));
        } catch (IOException ioException) {
            ioException.printStackTrace();
        }
    } finally {
        if (webDriver != null) {
            webDriver.quit();
        }
    }
}

/**
 * chrome添加参数
 */
public static void addArguments(ChromeOptions options){
    // 不加载图片, 提升速度
    // 关闭界面上的---Chrome正在受到自动软件的控制
    options.addArguments("disable-infobars");
    // 浏览器不提供可视化页面. linux下不支持可视化不加这条会启动失败
    //options.addArguments("--headless");
    // 启动无沙盒模式运行，以最高权限运行
    options.addArguments("--no-sandbox");
    // 优化参数
    // 不加载图片, 提升速度
    options.addArguments("blink-settings=imagesEnabled=false");
    // 禁用gpu渲染
    options.addArguments("--disable-gpu");
    options.setExperimentalOption("excludeSwitches", new String[]{"enable-automation"});
    //设置为开发者模式
    options.addArguments("--disable-blink-features=AutomationControlled");
    options.addArguments("--user-agent=Mozilla/5.0 HAHA");
    //  隐藏滚动条, 应对一些特殊页面
    options.addArguments("--hide-scrollbars");
    // 优化参数
    // 指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区
    options.addArguments("--user-data-dir=D:\\selenium\\ChromeProfile");
    //chrome.exe --remote-debugging-port=9333 --user-data-dir="D:\selenium\ChromeProfile"
    //options.setExperimentalOption("debuggerAddress", "127.0.0.1:9333");

    //设置访问的ip
    options.addArguments("--proxy-server=http://36.26.106.179:4223");

}

Answer 1

参考gpt和自己的思路，CloudFlare 5秒盾是一种用于防止机器人攻击的安全机制，如果您使用 Selenium 自动化操作浏览器，很可能会被 CloudFlare 5秒盾检测到并阻止您的操作。为了避开 CloudFlare 5秒盾的检测，您可以尝试以下几种方法：

使用随机 User-Agent：CloudFlare 5秒盾通常会检测请求中的 User-Agent 字段，如果检测到 User-Agent 是自动化工具或者脚本，就会阻止请求。因此，您可以尝试使用随机的 User-Agent 来模拟真实的浏览器请求，避免被 CloudFlare 5秒盾检测到。例如，您可以使用 Python 的 Faker 库生成随机的 User-Agent。
使用代理 IP：CloudFlare 5秒盾通常会检测请求的 IP 地址，如果检测到同一 IP 发送大量请求，就会阻止请求。因此，您可以尝试使用代理 IP 来模拟不同的 IP 地址发送请求，避免被 CloudFlare 5秒盾检测到。例如，您可以使用 Python 的 requests 库配合代理 IP 发送请求。
使用 CloudFlare 的解决方案：CloudFlare 提供了一些解决方案，例如 CloudFlare Access 和 CloudFlare Workers，可以帮助您避开 CloudFlare 5秒盾的检测。其中，CloudFlare Access 是一种身份验证服务，可以帮助您验证用户身份并允许他们访问您的网站；而 CloudFlare Workers 是一种无服务器计算平台，可以帮助您自定义请求处理逻辑。
总之，为了避开 CloudFlare 5秒盾的检测，您需要模拟真实的浏览器请求，并使用一些技巧避免被检测到。如果您无法避免被检测到，可以考虑使用 CloudFlare 的解决方案来解决问题。
一个能够避开 CloudFlare 的 Python 代码示例。以下是一个示例代码：

import requests
from fake_useragent import UserAgent

url = "https://www.example.com/"

# 设置随机 User-Agent
headers = {'User-Agent': UserAgent().random}

# 设置代理 IP
proxies = {'https': 'https://IP_ADDRESS:PORT'}

# 发送 GET 请求
response = requests.get(url, headers=headers, proxies=proxies)

# 打印响应内容
print(response.text)

在这个示例中，我们使用了 Python 的 requests 库来发送 GET 请求，同时设置了随机的 User-Agent 和代理 IP。其中，User-Agent 使用了 fake_useragent 库来生成随机的 User-Agent，而代理 IP 则需要替换成您自己的代理 IP 地址和端口。通过这种方式，我们可以模拟真实的浏览器请求，并使用代理 IP 避免被 CloudFlare 检测到。

注意：使用代理 IP 的时候，需要确保代理 IP 是可用的，并且没有被 CloudFlare 封锁。否则，即使使用了代理 IP，仍然会被 CloudFlare 检测到。另外，如果您的请求被 CloudFlare 拦截，您需要查看 CloudFlare 返回的响应内容，根据响应内容来调整请求策略。