上游每秒100万的请求量，下游每秒10万的处理量，怎么承接上游请求转发给下游，并把结果返回给上游

Question

该问题来自社区帖: https://bbs.csdn.net/topics/617268154.

要做一个请求透传SDK，

要求是：

上游每秒100万的请求量，

下游每秒10万的处理量，

怎么承接上游请求转发给下游，并把结果返回给上游。

Answer 1

引用 皆我百晓生 小程序回复内容作答：

要实现上游请求转发和结果返回的功能，可以考虑以下步骤：

1. 构建一个请求透传SDK，该SDK可以接收上游的请求，并将其转发给下游进行处理。

2. 使用多线程或者异步处理的方式，提高请求转发的效率。可以使用线程池或消息队列等技术，将上游请求放入队列中，然后使用多个消费者线程从队列中取出请求并转发给下游进行处理。

3. 为了保证请求转发的速度不超过下游的处理能力，可以设置一个并发限制，比如同时只能有一定数量的请求在转发。

4. 下游处理完请求后，将处理结果返回给SDK。可以使用回调函数或者消息队列等机制，将结果返回给SDK。

5. SDK接收到下游的处理结果后，再将结果返回给上游。可以提供一个接口供上游调用，上游通过该接口获取下游处理的结果。

6. 为了防止请求积压，可以使用流量控制的技术，比如令牌桶算法或漏桶算法，限制上游的请求速率，保证下游能够稳定处理。

7. 如果上游和下游的处理能力差距很大，可以考虑使用多台下游服务器来处理请求，从而提高处理能力。

需要注意的是，上述方案只是一种思路，具体实现需要根据实际情况进行调整和优化。同时还需要考虑系统的稳定性、可靠性和安全性等因素。