qq_40580931 2021-09-28 03:50 采纳率: 100%
浏览 97
已结题

百万到千万级数据量比对如何提高效率

需求是要拿一条数据和缓存的数据做比对,得到结果,但是数据量很大导致速度很慢
目前解决方案是下面代码这样,OneCompareTaskCount 是开启的线程数量,onceCompareCount每个线程处理数据量,newList是总的数据集
大概400万条数据计算了有4分钟,请问有没有更好的方法提高效率
for (int i = 0; i < OneCompareTaskCount ; i++)
                    {
                        int temp_i = i;
                        ManualResetEvent mre = new ManualResetEvent(false);
                        manualEvents.Add(mre);
                        ThreadPool.QueueUserWorkItem((object obj) =>
                        {
                            int _start = temp_i * onceCompareCount,
                        _end = temp_i == OneCompareTaskCount - 1 ? newList.Count : (temp_i + 1) * onceCompareCount;
                            Parallel.For(_start, _end, (j) =>
                            {
                                // 计算并保存结果
                            });
                            mre.Set();
                        }, mre);
                    }
                    WaitHandle.WaitAll(manualEvents.ToArray());

  • 写回答

3条回答 默认 最新

  • wanghui0380 2021-09-28 08:27
    关注

    这问题不好回答,因为我估计任何人的回答都不会让你满意
    原因:数据结构问题

    你能看到所有数据库选型都是hash,B tree,链表,跳表,索引,这样的描述。甚至还可能又bloom过滤器这样的说法(主要目的,利用数据结构快速定位目标,避免全扫描)
    因为如果你说几百万和几千万,你就啥都不做,单纯2个循环,他都不会有啥高性能的说法
    所以需要根据你的具体需求去确定一个合适数据结构,但是这样的方式是你绝对不想看的

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
    qq_40580931 2021-09-28 09:07

    简单的说,一个简单的int数据集合list 里面有400万个数(内存中已经存在,不需要另外查询),现在我要用1去和所有的数相加,结果保存到另一个List里面,单纯的多开几个线程循环计算速度达不到要求,所以想问一下各位大佬有没有好点的解决方案,而且我对线程的运行规则也不是很清楚,只要电脑能带动是开的越多越好吗?

    回复
    wanghui0380 回复 qq_40580931 2021-09-28 09:28

    我说了,需要根据具体需求确定,如果你只是说400w个数据,挨个加1,我个人说这不是问题

      var list = Enumerable.Range(1, 4000000).ToList();
                var list2 = list.AsQueryable().Select(p => p + 1).ToList();
    
    

    就这么两句话几秒中的事情,可见你要做的事情肯定不是这样的

    回复
    qq_40580931 回复 wanghui0380 2021-09-29 05:39

    感谢你的回答,我出发点错了,是应该从算法着手,我太执着于追求在外面利用电脑性能提高速度了,优化算法里面数据处理的代码确实效果好多了

    回复
查看更多回答(2条)
编辑
预览

报告相同问题?

问题事件

  • 系统已结题 10月6日
  • 已采纳回答 9月29日
  • 创建了问题 9月28日

悬赏问题

  • ¥15 PADS Logic 原理图
  • ¥15 PADS Logic 图标
  • ¥15 电脑和power bi环境都是英文如何将日期层次结构转换成英文
  • ¥20 气象站点数据求取中~
  • ¥15 如何获取APP内弹出的网址链接
  • ¥15 wifi 图标不见了 不知道怎么办 上不了网 变成小地球了
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部