怎么下载GATK里面的HapMap、OMNI、1000G、Mill、dbSNP

Question

求问：怎么下载GATK里面的HapMap、OMNI、1000G、Mill、dbSNP生物资源库，试了好多办法都没办法下载，有没有生信朋友可以帮帮我，崩溃了

Answer 1

下午好🌅🌅🌅
本答案参考通义千问

你提到的 HapMap、OMNI、1000G、Mill、dbSNP 都是常用的基因组数据资源，通常用于 GATK（Genome Analysis Toolkit） 的分析流程中。这些数据在 GATK 官方文档中被提及为“标准参考数据”，但它们并不直接由 GATK 提供，而是需要从其他官方或可信的数据库下载。

以下是详细的下载方法和步骤，帮助你顺利获取这些数据资源：

---

✅ 一、确认数据来源

| 数据名称 | 来源网站 | 说明 | |----------|-----------|------| | HapMap | https://www.ncbi.nlm.nih.gov/variation/hapmap/ | 人类基因组单体型图谱 | | OMNI | https://bochet.gcc.bcm.edu/omni/ | 用于 SNP 基因型的参考数据 | | 1000G | https://www.internationalgenome.org/ | 1000个全基因组测序样本 | | Mill | https://www.nature.com/articles/ng.3576 | Millenium Dataset，包含约 2.4M SNPs | | dbSNP | https://www.ncbi.nlm.nih.gov/snp/ | 基因组中已知的 SNPs 数据库 |

---

✅ 二、详细下载步骤

1. HapMap

• 网址: https://www.ncbi.nlm.nih.gov/variation/hapmap/
• 下载方式:
  • 进入网页后选择你所需的版本（如 HapMap 3 或 HapMap 2）
  • 点击 “Download” 按钮
  • 可以下载 VCF 格式或 BED 格式文件
  • 注意: HapMap 数据已经不再更新，建议优先使用 1000G 数据

2. OMNI

• 网址: https://bochet.gcc.bcm.edu/omni/
• 下载方式:
  • 找到最新的 OMNI 文件（如 Omni2.5M）
  • 使用 wget 或浏览器下载 .bed, .bim, .fam 文件
  • 示例命令：

    wget https://bochet.gcc.bcm.edu/omni/omni2.5M/omni2.5M.20120920.bed.gz
    wget https://bochet.gcc.bcm.edu/omni/omni2.5M/omni2.5M.20120920.bim.gz
    wget https://bochet.gcc.bcm.edu/omni/omni2.5M/omni2.5M.20120920.fam.gz
    

  • 解压后可使用 plink 工具处理

3. 1000G（1000 Genomes Project）

• 网址: https://www.internationalgenome.org/
• 下载方式:
  • 选择你感兴趣的区域（如 ALL.chr1.phase3.v5.20130502.genotypes.vcf.gz）
  • 下载 VCF 文件
  • 推荐使用 AWS S3 或 FTP 服务器下载（速度更快）

    # 示例：从 AWS S3 下载
    aws s3 cp s3://1000genomes/phase3/data/NA12878/alignment/NA12878.bam .
    

4. Mill（Millenium Dataset）

• 网址: https://www.nature.com/articles/ng.3576
• 下载方式:
  • 访问文章页面，查看是否提供下载链接
  • 一般需要注册账号才能下载
  • 也可以通过 FTP 服务器下载：

    ftp://ftp.sanger.ac.uk/pub/resources/datasets/Millennium/
    

5. dbSNP

• 网址: https://www.ncbi.nlm.nih.gov/snp/
• 下载方式:
  • 在搜索栏输入 snp，选择 Build 153 或最新版本
  • 下载 .vcf.gz 文件（如 snp153.vcf.gz）
  • 使用 tabix 压缩并索引：

    bgzip snp153.vcf
    tabix -p vcf snp153.vcf.gz
    

---

✅ 三、GATK 中如何使用这些数据？

GATK 会自动识别以下格式的数据：

• VCF（如 dbSNP、1000G）
• BAM（如 1000G 的比对结果）
• BED/BIM/FAM（如 OMNI、Mill）

示例：使用 dbSNP 数据进行变异注释

gatk BaseRecalibrator \
  -R reference.fa \
  -I input.bam \
  --known-sites snp153.vcf.gz \
  -O recal_data.table

---

✅ 四、常见问题与解决办法

| 问题 | 解决方案 | |------|----------| | 下载速度慢 | 使用 wget 或 curl + 多线程工具（如 aria2） | | 文件损坏 | 使用 md5sum 校验文件完整性 | | 无法访问官网 | 使用代理或镜像站点（如 GitHub、Google Drive） | | 文件格式不兼容 | 转换为 VCF 或 BAM 格式（使用 bcftools, samtools） |

---

✅ 五、推荐工具与脚本

1. 自动下载脚本（Python 示例）：

import requests

url = "https://bochet.gcc.bcm.edu/omni/omni2.5M/omni2.5M.20120920.bed.gz"
response = requests.get(url)
with open("omni.bed.gz", "wb") as f:
    f.write(response.content)

2. 使用 wget 批量下载：

wget -i urls.txt

其中 urls.txt 包含多个 URL 地址。

---

✅ 六、总结

重点总结如下：

1. HapMap、OMNI、1000G、Mill、dbSNP 是常用基因组数据资源，不是 GATK 官方提供的。
2. 每个数据都有自己的下载地址，需根据需求选择合适的版本。
3. 建议使用命令行工具（如 wget, curl）批量下载，提高效率。
4. 下载后需检查文件完整性，并转换为 GATK 支持的格式（如 VCF、BAM）。
5. GATK 使用这些数据时需指定 --known-sites 或 --interval 参数。

---

如果你仍然遇到下载问题，可以告诉我你具体想下载哪个数据，我可以提供更具体的下载链接和代码示例！