DS海豚调度器bug

Question

DolphinScheduler工作流定义页面报错，分页查询工作流定义列表错误，导致工作流定义页面一直加载，历史的工作流定义也消失了，有无解决办法

Answer 1

中午好🌞🌞🌞
本答案参考通义千问

在使用 DolphinScheduler 时，如果遇到“工作流定义页面报错，分页查询工作流定义列表错误”，导致页面一直加载、历史工作流定义消失等问题，这通常与数据库操作异常或分页逻辑错误有关。以下是详细分析和解决办法：

---

一、问题原因分析

1. 数据库连接问题

   • 可能是数据库连接池配置不当，导致查询超时或失败。

2. 分页查询逻辑错误

   • DolphinScheduler 的分页查询可能没有正确处理偏移量（offset）或分页参数，导致查询失败。

3. 表结构不一致或数据损坏

   • 工作流定义相关的表（如 t_ds_project、t_ds_process_definition 等）可能存在数据异常或索引缺失。

4. 版本兼容性问题

   • 使用的 DolphinScheduler 版本可能存在已知 bug，建议升级到最新稳定版本。

5. 日志中存在错误信息

   • 查看 DolphinScheduler 的日志文件（一般位于 logs/dolphinscheduler.log），可以定位具体的错误信息。

---

二、解决方案

1. 检查并修复数据库连接

• 检查数据库连接池配置
  修改 conf/application.properties 文件中的数据库连接参数，确保连接正常。

  spring.datasource.url=jdbc:mysql://localhost:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  spring.datasource.username=root
  spring.datasource.password=your_password
  spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
  

• 优化连接池参数
  增加最大连接数和超时时间：

  spring.datasource.max-active=100
  spring.datasource.max-idle=50
  spring.datasource.min-idle=10
  spring.datasource.initial-size=10
  spring.datasource.max-wait=60000
  

2. 排查分页查询逻辑

• 查看 SQL 查询语句
  在日志中找到分页查询的 SQL 语句，例如：

  SELECT * FROM t_ds_process_definition WHERE project_id = ? ORDER BY id DESC LIMIT ? OFFSET ?
  

• 检查分页参数是否合理
  如果 LIMIT 或 OFFSET 参数过大，可能导致查询性能下降甚至失败。

  建议：将分页改为基于 id 的游标分页（Cursor Pagination）以提高性能。

3. 修复表结构或数据异常

• 检查表是否存在主键或索引缺失
  确保 t_ds_process_definition 表有主键（如 id）和必要的索引。

• 执行数据校验脚本
  如果发现数据异常，可以使用如下 SQL 检查：

  SELECT COUNT(*) FROM t_ds_process_definition;
  SELECT * FROM t_ds_process_definition WHERE name IS NULL OR project_id IS NULL;
  

• 清理无效数据
  如果发现大量无效数据，可以手动清理或编写脚本进行修复。

4. 升级 DolphinScheduler 版本

• 推荐使用 3.x 或 2.x 最新稳定版本

  • 当前最新稳定版本为 3.1.4，可从 GitHub 下载。

• 升级步骤：

  1. 备份现有数据库和配置文件。
  2. 停止当前服务。
  3. 替换为新版本的安装包。
  4. 更新数据库 schema（如有需要）。
  5. 启动服务并测试功能。

5. 修改分页查询代码（如有权限）

如果你有开发权限，可以修改 DolphinScheduler 的分页逻辑，避免 LIMIT 和 OFFSET 过大带来的性能问题。

示例：修改分页查询方式（基于 ID 游标）

public List<ProcessDefinition> queryByProjectIdWithCursor(long projectId, long lastId, int limit) {
    String sql = "SELECT * FROM t_ds_process_definition WHERE project_id = ? AND id < ? ORDER BY id DESC LIMIT ?";
    return jdbcTemplate.query(sql, new Object[]{projectId, lastId, limit}, new ProcessDefinitionRowMapper());
}

说明：使用 id < ? 替代 OFFSET，可以有效提升大数据量下的查询效率。

---

三、恢复历史工作流定义

如果历史工作流定义已经消失，可以通过以下方式恢复：

1. 从数据库中恢复数据

   • 找到 t_ds_process_definition 表中被删除的数据，重新插入即可。

2. 使用备份恢复

   • 如果你有定期备份数据库的习惯，可以从备份中恢复数据。

3. 联系管理员或开发人员

   • 如果无法自行恢复，建议联系系统管理员或开发团队协助。

---

四、总结

| 步骤 | 内容 | |------|------| | 1 | 检查数据库连接和连接池配置 | | 2 | 排查分页查询逻辑及参数合理性 | | 3 | 检查并修复表结构或数据异常 | | 4 | 升级 DolphinScheduler 到最新稳定版本 | | 5 | 修改分页逻辑为基于 ID 的游标分页（如需） | | 6 | 从数据库恢复历史工作流定义 |

---

五、参考链接

• DolphinScheduler 官方文档
• MySQL 分页优化指南
• DolphinScheduler GitHub 项目

---

如需进一步帮助，请提供以下信息：

• DolphinScheduler 版本
• 数据库类型及版本
• 相关日志片段
• 具体错误提示

我会根据这些信息为你提供更精确的解决方案。