关于每日定时增量抽取数据

Question

现有a，b两个系统， a系统每日会从b系统按照开始时间，结束时间抽取数据，每次的结束时间记录在数据库中，用来作为下次的开始时间。b系统有每次响应数据不超过1000条限制，现在a系统准备是从头开始同步数据，目前是5分钟同步对方一天的数据，如果超1000条，跨度缩短5分钟继续递归同步。 如果b系统不解除限制的情况下，请问一下各位a系统有没有好的解决方案，万分感谢！！！

Answer 1

用数据说话可能比较清晰。
1.今天晚上，b系统当天的数据已经全部收集完毕，不会有新数据了。23：55分，a系统开始发送请求同步数据
2.a系统自动发送请求，第一个请求的参数 开始时间=2021-10-12 00：00，结束时间=2021-10-12 00：05.第二个请求的参数是 开始时间=2021-10-12 00：05，结束时间=2021-10-12 00：10.如此类推，一直到2021-10-12 23：55.一共发送了287个请求
3.一个有287个返回结果。有一些是少于1000的，直接保存。有一些等于1000，特别处理。
比如开始时间=2021-10-12 22：00，结束时间=2021-10-12 22：05，这个请求是1000个结果。
那就进一步切分，发送5个请求
开始时间=2021-10-12 22：00，结束时间=2021-10-12 22：01，
开始时间=2021-10-12 22：01，结束时间=2021-10-12 22：02，
……
开始时间=2021-10-12 22：04，结束时间=2021-10-12 22：05，
一系列操作下来，其实就是两次请求的时间。第一次是287个线程，每个线程请求一段数据。第二次是数据超出1000的线程，进一步发送请求。