HTTP抓包发现请求建链，为什么服务端回应了上一个会话序号的ACK包？

服务端采用的是haproxy做代理，服务器是LIUNX系统的。

我在服务器前端抓包，发现11.168.218.23使用的源端口55462在之前14:48:33已经使用过，而该会话结束后，11.168.192.31并未将该源端口立即释放；
所以11.168.218.23在14:50:14再次使用源端口55462发送SYN包请求建链时，11.168.192.31并未正常回应SYN+ACK，而是延续上一个会话的序号，回应了一个ACK报文，导致会话建立失败，具体交互如下图：

搞不懂是服务器没释放端口，还是haproxy代理有问题。