GTX-cat变异检测运行报错

Question

请问用gtx做变异检测，合并gvcf文件前的GenomicsDBImport建库报错问题怎么解决呀

[TileDB::FileSystem] Error: (write_to_file) Cannot write to file; File writing error; path=/public/home/wufucun/20240122/raw2/bam/my_database_fei/cgiscf10$29997751$31997750/.__4057acce-6a24-4264-903d-c7bc80e4c52447733435516672_1718619592810/MIN_DP.tdb; errno=110(Connection timed out)
[TileDB::WriteState] Error: Cannot write segment to file.
18:42:38.119 erro NativeGenomicsDB - pid=46610 tid=113526 VariantStorageManagerException exception : Error while writing to TileDB array
TileDB error message : [TileDB::WriteState] Error: Cannot write segment to file
[TileDB::FileSystem] Error: (write_to_file) Cannot write to file; File writing error; path=/public/home/wufucun/20240122/raw2/bam/my_database_fei/cgiscf10$29997751$31997750/.__4057acce-6a24-4264-903d-c7bc80e4c52447733435516672_1718619592810/MIN_DP.tdb; errno=110(Connection timed out)
[2024-06-17 18:48:27.457] [genomicsdb_import] [info] gtx_import - cgiscf1$39997001$41997000 has completed !
[TileDB::FileSystem] Error: (write_to_file) Cannot write to file; File writing error; path=/public/home/wufucun/20240122/raw2/bam/my_database_fei/cgiscf4$47996401$49996400/.__3edc5f63-641e-483a-8012-ddaf2b7b98b847733427119872_1718618971940/PID.tdb; errno=110(Connection timed out)
[TileDB::WriteState] Error: Cannot write segment to file.
19:35:22.771 erro NativeGenomicsDB - pid=46610 tid=113524 VariantStorageManagerException exception : Error while writing to TileDB array
TileDB error message : [TileDB::WriteState] Error: Cannot write segment to file
[TileDB::FileSystem] Error: (write_to_file) Cannot write to file; File writing error; path=/public/home/wufucun/20240122/raw2/bam/my_database_fei/cgiscf4$47996401$49996400/.__3edc5f63-641e-483a-8012-ddaf2b7b98b847733427119872_1718618971940/PID.tdb; errno=110(Connection timed out)
[2024-06-17 19:46:15.954] [genomicsdb_import] [info] gtx_import - cgiscf2$29997751$31997750 has completed !
[2024-06-17 20:14:28.681] [genomicsdb_import] [info] gtx_import - cgiscf1$77994151$79994150 has completed !
[2024-06-17 20:40:07.449] [genomicsdb_import] [info] gtx_import - cgiscf1$3999701$5999700 has completed !
[2024-06-17 20:40:08.524] [genomicsdb_import] [error] VariantStorageManagerException exception : Error while writing to TileDB array
TileDB error message : [TileDB::WriteState] Error: Cannot write segment to file
[TileDB::FileSystem] Error: (write_to_file) Cannot write to file; File writing error; path=/public/home/wufucun/20240122/raw2/bam/my_database_fei/cgiscf10$29997751$31997750/.__4057acce-6a24-4264-903d-c7bc80e4c52447733435516672_1718619592810/MIN_DP.tdb; errno=110(Connection timed out)
[2024-06-17 20:40:08.524] [genomicsdb_import] [error] exiting ...
[2024-06-17 20:40:08.800] [genomicsdb_import] [error] import exited abnormally.
[2024-06-17 20:40:08.800] [genomicsdb_import] [error] clean temporary files, please waiting...
[2024-06-17 20:40:08.800] [genomicsdb_import] [error] clean up finished.

Answer 1

引自免费微信小程序：皆我百晓生

遇到在使用GATK的GenomicsDBImport工具时出现的错误，特别是与TileDB相关的文件写入错误（如Connection timed out），通常意味着存在网络或存储系统的问题。这可能是因为文件系统响应慢、网络延迟高、或是文件系统权限设置不当等原因造成的。以下是几个排查和解决此类问题的步骤：

1. 检查存储系统状态

• 确认存储系统健康状况：检查磁盘是否有足够的空间，文件系统是否正常工作。
• 网络状况检查：如果数据存储在远程服务器上，确保网络连接稳定，没有丢包或延迟过高的情况。

2. 调整TileDB配置

TileDB是GenomicsDBImport使用的底层存储引擎。调整其配置可能有助于缓解问题：

• 增加超时时间：尝试修改TileDB的超时设置。可以通过环境变量TILEDB_VFS_S3_CONNECT_TIMEOUT和TILEDB_VFS_S3_REQUEST_TIMEOUT来调整S3连接和请求的超时时间。例如：

  export TILEDB_VFS_S3_CONNECT_TIMEOUT=600
  export TILEDB_VFS_S3_REQUEST_TIMEOUT=600
  

• 减少并发度：降低并发写入的数量可以减轻存储系统的压力。在运行GenomicsDBImport时，可以通过参数--num-samples-per-task控制每个任务处理的样本数量，从而间接调整并发度。

3. 检查文件系统权限

• 确保执行GenomicsDBImport的用户对目标目录有写入权限。

4. 分批处理

• 如果处理的文件或样本量非常大，尝试分批进行处理，而不是一次性导入所有数据。

5. 日志分析

• 仔细查看错误日志，查找是否有更详细的错误信息或提示，这些信息可能会指向具体的问题所在。

6. 升级软件版本

• 确认使用的GATK和TileDB版本是最新的，有时候问题可能是已知的bug，在新版本中已被修复。

7. 咨询社区或官方支持

• 如果上述方法都无法解决问题，可以考虑在GATK的官方论坛或GitHub Issue页面寻求帮助，那里有经验丰富的用户和开发者可以提供进一步的指导。

如果问题依然存在，建议深入检查存储系统和网络基础设施的健康状态，或联系系统管理员获取更多技术支持。