请问如何批量下载文献，请求帮助

Question

目前市面上的批量下载文献，通过CROSSREF获取DOI,通过SCIHUB，各种期刊，校园网VPN下载 还有很多博主批量下载代码复现，下载率都非常低。我现在研究课题是批量下载文献建立海量数据库来机器学习。已经研三了还没有任何进展。有什么办法可以批量下载文献 要哭了

Answer 1

让 “紫雾凌寒” 来帮你回答,本回答结合 DeepSeek

如果还有问题，请评论或点击头像私信，如果有帮助到您, 请关注、采纳、点赞

1. 关键点分析：
   - 批量下载文献面临下载率低的问题。
   - 涉及通过CROSSREF获取DOI，利用SCIHUB、期刊网站及校园网VPN等多种途径下载文献。
   - 提到代码复现但下载率不理想，目标是建立海量文献数据库用于机器学习。
2. 解决方案：
   - 优化DOI获取：
   • 确保CROSSREF的使用方式正确。例如，通过合适的API或工具来获取DOI列表。可以使用一些专门的文献检索API库，如pybliometrics（Python库）。以下是一个简单示例：

from pybliometrics.scopus import ScopusSearch
s = ScopusSearch('TITLE - "Your search query"', max_entries=100)
doi_list = [paper.doi for paper in s.results]

 - 定期更新获取DOI的来源，因为有些DOI可能会失效。

• 多途径下载策略：
  • SCIHUB：SCIHUB的访问可能会受到限制，并且经常更换网址。可以通过一些代理服务器或VPN来尝试访问。同时，关注SCIHUB的替代网站，如libgen.rs等，它们可能在不同时期能提供更稳定的下载。
  • 期刊网站：对于一些特定期刊，可以直接登录其官方网站，利用网站提供的下载功能。如果期刊支持批量下载（有些可能有特定格式要求），可以编写脚本实现。例如，对于支持XML格式批量下载的期刊，可以使用Python的requests库发送请求获取批量XML文件：

import requests

url = 'https://example.com/journal/articles/batch_download.xml'
response = requests.get(url)
if response.status_code == 200:
    with open('batch_articles.xml', 'wb') as f:
        f.write(response.content)

 - **校园网VPN**：充分利用校园网VPN的稳定连接优势。在下载前，检查VPN是否正常连接，并且确保网络速度足够快，避免因网络问题导致下载中断。

• 代码复现优化：
  • 检查下载代码的逻辑。例如，是否正确处理了文献链接的跳转、验证码（有些网站可能有）等问题。对于下载率低的情况，可以分析代码在哪些环节出现了失败，比如在请求文献链接时是否被目标网站识别为异常请求。
  • 可以增加重试机制。当下载失败时，代码自动重试一定次数。例如，使用Python的try - except语句结合time.sleep来实现重试：

import requests
import time

doi = '10.1001/jama.2023.0001'
max_retries = 3
for attempt in range(max_retries):
    try:
        response = requests.get(f'https://scihub.example.com/download/{doi}')
        if response.status_code == 200:
            with open(f'{doi}.pdf', 'wb') as f:
                f.write(response.content)
            break
    except requests.RequestException as e:
        print(f'Attempt {attempt +  1} failed: {e}')
        time.sleep(5)

1. 不同方案优缺点：
   - CROSSREF获取DOI：
   • 优点：能获取大量相关文献的DOI，为后续下载提供基础。
   • 缺点：可能获取到的DOI存在部分无效或不可用的情况。
   • SCIHUB：
   • 优点：能直接从该平台下载文献，资源丰富。
   • 缺点：访问不稳定，随时可能无法访问，并且其行为可能涉及版权问题。
   • 期刊网站：
   • 优点：能获取最原始、高质量的文献版本，且可能支持批量下载。
   • 缺点：不同期刊网站的操作方式和限制不同，需要针对每个期刊进行适配。
   • 校园网VPN：
   • 优点：连接相对稳定，速度可能较快。
   • 缺点：依赖校园网环境，不是随时随地都能使用。
2. 总结：
   要提高文献批量下载率，需综合优化各个环节。从获取DOI的准确性和更新频率，到多途径下载的策略运用，再到代码复现的优化，每个步骤都很关键。通过不断调整和改进这些方法，逐步建立起稳定高效的文献批量下载流程，以满足建立海量文献数据库用于机器学习的需求。同时，要注意遵守相关法律法规和学术道德规范，避免因不当操作带来的风险。

希望以上解答对您有所帮助。如果您有任何疑问，欢迎在评论区提出。