BigTop编译时如何指定Hadoop版本及跳过特定组件？

Question

在使用 Apache BigTop 构建大数据发行版时，开发者常遇到：**如何在编译阶段精准指定 Hadoop 版本（如 3.3.6 而非默认的 3.3.4），同时跳过无需构建的组件（如 Hive、Tez 或 Accumulo）以缩短构建时间、规避依赖冲突？** 具体表现为：执行 `gradle clean rpm` 后仍拉取旧版 Hadoop 源码或触发被禁用组件的编译；尝试修改 `bigtop.bom` 或 `gradle.properties` 未生效；跳过组件时因模块间强依赖导致 Gradle 报 `project not found` 或 `dependency resolution failed` 错误。此外，部分文档未明确区分 `BIGTOP_VERSION`、`HADOOP_VERSION` 与 BOM 中 `hadoop.version` 的优先级关系，也未说明 `SKIP_COMPONENTS` 环境变量与 `gradle -x` 任务排除的适用边界。该问题直接影响定制化发行版交付效率与构建稳定性。

Answer 1

```html

一、问题本质解析：BigTop 构建系统的三层依赖控制模型

Apache BigTop 并非传统单体构建项目，其采用“BOM（Bill of Materials）驱动 + Gradle 多项目复合构建 + 组件级源码拉取”三位一体架构。核心矛盾源于三类配置源的优先级未被显式声明：

• BIGTOP_VERSION：定义 BigTop 自身发行版代号（如 3.4.0），仅影响打包元数据与 RPM 包名，不参与组件版本解析；
• HADOOP_VERSION（环境变量或 gradle.properties）：仅在 bigtop-packages/src/common/hadoop/ 等少数 legacy 脚本中被硬编码读取，已被 BOM 机制逐步弃用；
• BOM 中 hadoop.version（位于 bigtop.bom）：由 Gradle's dependencyManagement 插件注入，是 唯一权威的组件版本控制入口，覆盖所有子项目依赖解析。

二、精准指定 Hadoop 3.3.6 的四步实操法

1. 定位并编辑 bigtop.bom（路径：bigtop-project/bigtop-bom/）；
2. 搜索 hadoop 段落，将 version = "3.3.4" 替换为 version = "3.3.6"；
3. 同步更新 checksum 与 source URL（关键！否则 gradle clean rpm 仍会 fallback 到旧版）：

4. hadoop = [
       version: "3.3.6",
       tarball: "https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz",
       sha512: "a1b2c3...f8e9d0" // 从官网下载页获取真实值
     ]

三、安全跳过 Hive/Tez/Accumulo 的双模排除策略

排除方式	适用场景	是否解耦依赖	命令示例
SKIP_COMPONENTS 环境变量	全局禁用组件源码拉取与构建任务注册	✅ 彻底移除项目模块（Gradle 不识别其存在）	Skip_COMPONENTS="hive,tez,accumulo" gradle clean rpm
gradle -x 任务排除	临时跳过已注册任务（如 buildHive），但模块仍在构建图中	❌ 无法解决 project not found 或 dependency resolution failed	gradle clean rpm -x buildHive -x buildTez

四、依赖冲突根因与修复流程图

graph TD
  A[执行 gradle clean rpm] --> B{SKIP_COMPONENTS 是否设置？}
  B -- 否 --> C[加载所有子项目 settings.gradle]
  B -- 是 --> D[动态过滤 projects/ 目录，仅注册未跳过组件]
  C --> E[触发 hadoop 依赖解析]
  D --> F[跳过 hive/tez/accumulo 的 settings inclusion]
  E --> G[BOM 中 hadoop.version 生效]
  F --> H[无 hive-tez 传递依赖注入]
  G --> I[正确拉取 3.3.6 源码]
  H --> J[避免 project not found 错误]

五、验证与调试黄金组合命令

以下命令链可逐层验证配置生效性（建议在 clean workspace 下执行）：

# 1. 确认 BOM 解析结果
./gradlew -q printBomVersions

# 2. 查看实际参与构建的项目列表（验证 SKIP_COMPONENTS）
./gradlew -q projects | grep -E '^\+.*hadoop|^\+.*hive'

# 3. 强制刷新依赖并输出解析树（定位冲突源头）
./gradlew :bigtop-packages:buildHadoop --refresh-dependencies --configuration compileClasspath --debug 2>&1 | grep -A5 -B5 'hadoop.*3\.3\.6'

六、高级陷阱规避指南

• ⚠️ 不要修改 gradle.properties 中的 HADOOP_VERSION：该变量仅用于旧版 Ant 构建脚本兼容，Gradle 构建完全忽略它；
• ⚠️ bigtop.bom 必须与 bigtop-project/bigtop-bom/build.gradle 中的 dependencyManagement 插件版本匹配，否则 BOM 解析失败将静默回退至默认值；
• ✅ 推荐启用 --no-daemon --configure-on-demand：避免 Gradle 守护进程缓存过期 BOM 配置，确保每次构建都重新解析。

```