有一个数据每天多的就会有好百多万条数据，但这些数据又不能丢失，我就想问如果存入
mysql数据库中是否合适，或者还有其他处理方法（例如存入XML），希望大神们能指引一下
数据量大如何存放数据的问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
4条回答 默认 最新
- 2023-02-24 15:51回答 1 已采纳 是的，Apache Hive的分层就是指把不同维度的数据抽取出来，并根据不同的维度进行分类存放。通过这种方式，可以更好的管理数据，便于后续的查询和分析处理。
- 2022-03-31 17:24回答 5 已采纳 其实没有实际的标准明确定义多少数据量算大数据，不过阿里开发手册中建议，表数据超过500万条时，建议考虑分表，以防影响查询效率，不过我们公司也有单表超过几千万条的数据，效率确实不高，所以理论上百万级别以
- 2017-08-24 01:38回答 2 已采纳 交叉连接由于其返回的结果为被连接的两个数据表的乘积，因此当有WHERE, ON或USING条件的时候一般不建议使用，因为当数据表项目太多的时候，会非常慢。一般使用LEFT [OUTER] JOIN或者
- 2022-10-24 18:50王知无(import_bigdata)的博客 数据模型方法，以便在性能、成本、效率之间取得最佳平衡成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户...
- 2018-07-09 04:20回答 5 已采纳 运行内存是可以设置的，以运行一个spark作业为例，提交作业时可以执行本次作业所需要的总共cpu核心数和总共的内存数，作业提交后spark 的 sparkContext 会向集群申请分配资源，集群会最
- 2017-08-29 02:52回答 10 已采纳 建议改用post请求 post接收的数据会大很多
- 2019-12-06 16:53回答 1 已采纳 如果你的程序没有使用多线程，那么你应该选择主频比较高的处理器，而多个内核的服务器意义不大。 数据量大概是百万，这个无法判断你内存是否足够，因为一个数据可能是一个整数（4个字节）也可能是一段视频达到1
- 2020-12-18 13:40weixin_39681486的博客 Python作为一门程序设计语言，在易读、易维护方面有独特优势，越来越多的人使用 Python 进行数据分析和处理，而 ...但是 Pandas 是个内存的类库，用于处理小数据(能放入内存)没问题，对于大数据(内存放不下)就没有那...
- 2015-03-16 08:09回答 4 已采纳 最好的办法是把文件组织成CSV格式，然后用LOAD DATA infile导入mysql，适合批量。性能也好
- 2018-01-07 12:34回答 5 已采纳 http://blog.csdn.net/fjssharpsword/article/details/64919412
- 2017-11-09 03:01回答 3 已采纳 http://blog.csdn.net/panjican/article/details/52523410这个里面有相关讲解，看对你是否有帮助
- 2023-02-20 08:51海星？海欣！的博客 大数据开发-数据仓库介绍
- 2017-05-26 12:49回答 8 已采纳 select sum(tt.file_size) from (select distinct(file_name),file_size from data_source) tt
- 2023-04-08 17:08三月枫火的博客 大数据项目之电商数据仓库系统
- 2020-12-31 16:34C语言实现大数据文件的内存映射机制 摘要 本文主要讲述大量数据的文件的...使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。 2
- 没有解决我的问题, 去提问
