java socket多线程的时间问题

各位大神你们好, 我正在用java写一个接收服务器数据并进行统计的程序, 我用的是多线程socket.
该程序要求能够每秒钟接收几千条数据, 数据中包含value和timestamp以及其他字段. 每个数据通过单独的连接发送, 接收之后统计每秒的钟数据的最大值与平均值(指的是数据中所含有的"value"字段的值), 并将其存储到本地.
但是使用多线程时我有个疑问, 就是怎么判断是否到了1秒. 如果使用本地时钟计算肯定会与服务器有出入, 每秒几千条差别肯定不小; 后来我想从接受到的数据时间戳来判断, 但是又想到多线程可能会存在数据到达的顺序与时间顺序不一致的问题, 有可能时间比较晚的反而早到, 这样就可能漏掉一些数据.
求各位高手大神哥哥姐姐们指点我一下, 不胜感激, 挺急的, 在线等 :)