程序会不定时产生一条数据(都是字符串),我想把产生的数据压缩后存起来,当程序全部完成以后再进行压缩后的字符串合并操作。但是另外又想到,如果事先不压缩数据,直接保存,最后合并以后再压缩。这两个方法,哪个好,那个在程序完成以后占用内存小?使用的是zlib压缩方法,主要是在数据大小方面考虑,不用考虑性能,因为产生一条数据时间间隔还是很长的,也不考虑运行时内存,只考虑最后的大小
关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
已结题
请问zlib压缩 很多数据分开压缩后合并 与 一起压缩 结果有什么区别
收起
- 写回答
- 好问题 0 提建议
- 关注问题
微信扫一扫点击复制链接分享
- 邀请回答
- 编辑 收藏 删除
- 收藏 举报
1条回答 默认 最新
- 关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
花下泥 2017-09-01 09:27关注我觉得实际去尝试两种方式,然后做一下对比效果会比较好。这个针对不同情况可能会有不同的结果
本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
微信扫一扫点击复制链接分享
评论按下Enter换行,Ctrl+Enter发表内容
报告相同问题?
提交
- 2021-09-13 19:41CodeLuweir的博客 然而,随着要压缩的数据集变大,统计编码的结果与熵的偏差也会越来越大,这是因为数据集的不同部分有着不同的概率特征。如果处理的是流数据,比如视频流或音频流,由于整个数据集没有“结尾”,因此就不能“遍历两次...
- 2024-09-24 23:59johnny233的博客 自适应统计编码:位置对熵的重要性、自适应VLC编码、自适应算术编码、自适应哈夫曼编码; 字典转换:基本字典转换、LZ算法、尽可能了解数据; 上下文数据转换:RLE、增量编码、...换个话题:多媒体数据压缩、通用压缩;
- 2020-06-20 16:36cuyi7076的博客 许多Internet应用程序以动态生成HTML形式提供数据和内容。 HTML动态内容由Web或应用程序服务器使用Java Servlet,JavaServer Pages,Personal Home Pages(PHP),Perl脚本或Active Server Pages(ASP)等技术生成。...
- 2022-11-21 22:46kuntagang的博客 ffmpeg是一种开源的视频处理工具,此处我们使用ffmpeg.exe文件对视频文件进行压缩,通过crf参数,来实现文件的压缩功能。crf越小,压缩比越大,视频质量越差。通常来说我们设置18-28的区间,认为认为无法发现太大的...
- 2022-05-16 11:39皮蛋很白的博客 请求和响应优化 **目的:**更快的内容到达时间。 核心思路: 更好的连接传输效率 更少的请求数控i昂 更小的资源大小 合适的缓存策略 最佳实践: ...压缩传输的资源:比如 Gzip、图片压缩。 使用缓
- 2021-09-17 09:23KG大数据的博客 ORC相比较 RCFile 的优点4.2-ORC的基本结构4.3-ORC的数据类型4.4-ORC 的 ACID 事务的支持4.5-ORC 相关的 Hive 配置5-Parquet5.1-Parquet基本结构5.2-Parquet 的相关配置:5.3-使用Spark引擎时 Parquet 表的压缩格式...
- 2024-10-07 21:38五分钟学大数据的博客 因为它们以其高效的数据存储和数据处理性能得以在实际的生产环境中大量运用。
- 2023-03-16 15:10一个写湿的程序猿的博客 Parquet 在存储数据时,也同 ORC 一样记录这些数据的元数据,这些元数据也同 Parquet 的文件结构一样,被分成多层文件级别的元数据、列块级别的元数据及页级别的元数据。Hive 是面向 OLAP 的,所以它的事务也和 ...
- 2024-07-06 02:09墨尔本、晴的博客 G:\Bigdata\Projects\电商数仓4.0数据仓库( Data Warehouse ),是为企业制定决策,提供数据支持的。可以帮助企业,改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站...
- 2021-07-21 00:00Austindatabases的博客 为什么最近一直在看分布式数据库,因为第六感给我的指示是,分布式数据库是国产数据库下一个要发力的点,为什么. 如果作为一个产品经理,首先一个产品要有用户的画像, 那么什么数据库是可以...
- 2023-02-16 09:40工作变成艺术的博客 Hive优化篇-Hive数据存储格式
- 2022-11-24 11:09波波烤鸭的博客 MyISAM引擎是5.1版本之前的默认引擎,支持全文检索、压缩、空间函数等,但是不支持事务和行级锁,所以一般用于有大量查询少量插入的场景来使用,而且MyISAM不支持外键,并且索引和数据是分开存储的。...
- 2010-07-09 18:10刘华世(Moments)的博客 支持固实压缩模式 对存在很多重复相似之处的文件的压缩比率是比较理想的 3.支持分卷压缩 它们比起 ZIP 的“跨磁盘”压缩文件更加便利和简易 但是RAR不支持ZIP的"跨磁盘"压缩方式 4.RAR格式也有一些在ZIP中所缺乏...
- 2025-05-12 18:33纪元A梦的博客 Python字典大规模数据处理性能优化深度指南
- 2024-10-18 16:10jiaque2015的博客 (2)方案上,有很大的区别,MR的shuffle是基于合并排序的思想,在数据进入reduce端之前,都会进行sort,为了方便后续的reduce端的全局排序,而Spark的shuffle是可选择的聚合,特别是1.2之后,需要通过调用特定的...
- 2022-03-10 11:51民工哥技术之路的博客 点击关注公众号,回复“1024”获取2TB学习资源!对于Git,相信大多数程序员并不会感到陌生。但是运用自如可不是一日之功,这可不,上次面阿里,就卡在了对 Git的各种理论理解与实际应用上...
- 2023-03-10 20:41redvelvets的博客 mysql数据存储格式,innodb存储引擎会有不同的文件格式和组织形式,Row Format(行记录格式)计算数据长度,COMPACT行记录格式、REDUNDANT、DYNAMIC、COMPRESSED
- 2020-10-21 22:26weixin_39901077的博客 column的数据类型要求是stringhive 基础知识的总结回顾 内含我收集的几个sql题目, 用来回顾练手的包括一些优化相关的总结是什么为Hadoop上的任务提供一个sql的接口 hive适用于数据仓库应用程序...
- 2022-01-24 09:57民工哥技术之路的博客 因为 Git 是分布式的,所以 Git 支持离线工作,在本地可以进行很多操作,包括接下来将要重磅推出的分支功能。而 SVN 必须联网才能正常工作。 Git复杂概念多,SVN简单易上手 所有同时掌握 Git 和 SVN 的开发者都必须...
- 没有解决我的问题, 去提问