namedajipai 2016-09-18 14:02 采纳率: 94.4%
浏览 2749
已采纳

海量大数据（大约1000万数据每天）要求按照时间排序后存入dat文件

海量大数据（大约1000万数据每天）要求按照时间排序后存入dat文件，用什么语句可以实现？怎么样做才能做到性能最高？

  • 写回答

2条回答 默认 最新

  • threenewbee 2016-10-11 11:16
    关注

    http://blog.csdn.net/lixam/article/details/8845310

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • 大数据， 海量数据算法
    2016-03-23 17:34
    c54514331的博客 第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP...
  • 大数据开发面试知识点复习2
    2022-04-26 20:40
    爱敲代码的小黑的博客 1.4、Hadoop主要的配置文件1.5、Hadoop集群重要命令1.6、HDFS的垃圾桶机制1.7、HDFS写数据流程1.8、Hadoop读数据流程1.9、SecondaryNameNode的作用1.10、HDFS的扩容、缩容（面试）1．动态扩容1.1． 基础准备1.2． ...
  • 【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之ClickHouse篇
    2021-08-10 23:21
    王知无(import_bigdata)的博客 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家...
  • 大数据量的算法面试题
    2016-08-19 15:16
    「已注销」的博客 何谓海量数据处理？...何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。  那解决办法呢?针对时间，我们可以采用巧妙的算法搭配合适的数据结构
  • about云大数据面试宝典 大公司面试一般用不到
    2020-10-19 16:33
    okbin1991的博客 7 Java 开发能力 7.1 写代码实现 1G 大小的文本文件，行分隔符为\x01\x02,统计一下该文件中的总行数，要求注意边界情 况的处理 7.2 请描述一下在开发中如何对上面的程序进行性能分析，对性能进行优化的过程 回帖中...
  • 一个小兔子的大数据见解1
    2019-02-20 14:00
    会武术的科学家的博客  刚去公司的时候，做数据的迁移，写sqoop脚本，（注意：这里可能会问到sqoop增量导入数据的方式式，一般会用到append追加的模式）把数据从oracle数据库导入到hive当中（注意：  a.这里我们使用是shell脚本的方式...
  • 教你如何迅速秒杀99%的海量数据处理面试题
    2015-04-10 22:08
    共勉的博客 标题有“秒杀”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试...
  • 【面试题----排序算法】
    2019-04-26 14:08
    Sunny3096的博客 1.十大经典排序算法 排序算法说明 （1）排序的定义：对一序列对象根据某个关键字进行排序； 输入：n个数：a1,a2,a3,…,an 输出：n个数的排列:a1’,a2’,a3’,…,an’，使得a1’<=a2’<=a3’<=…<=an...
  • 最新| ClickHouse入门、调优、实战一条龙全解秘籍
    2021-12-24 08:30
    小晨说数据的博客 Clickhouse 是一个高性能且开源的数据库管理系统，主要用于在线分析处理 (OLAP) 业务。它采用列式存储结构，可使用 SQL 语句实时生成数据分析报告，另外它还支持索引，分布式查...
  • 海量处理题目
    2015-05-01 00:10
    lifushan123的博客  所谓海量数据处理，其实很简单，海量，海量，何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。  那解决办法呢?针对时间，我们可以采用巧妙的算法...
  • 【Java-排序算法】
    2018-03-11 17:44
    weixin_33978016的博客 （1）排序的定义：对一序列对象根据某个关键字进行排序； 输入：n个数：a1,a2,a3,…,an 输出：n个数的排列:a1’,a2’,a3’,…,an’，使得a1’&lt;=a2’&lt;=a3’&lt;=…&lt;=an’。 再讲的形象点...
  • 海量处理面试题
    2016-07-30 16:42
    weixin_30367543的博客 所谓海量数据处理，其实很简单，海量，海量，何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。 那解决办法呢?针对时间，我们可以采用巧妙的算法...
  • Hadoop
    2019-12-12 11:28
    付_心的博客 Hadoop 一、引言 什么是大数据 （大数据的概述） 大数据是指需要新处理模式才能具有更...数据的分析 ： 单节点服务器的计算能力有限，无法在合理的时间内对数据进行成本运算 大数据的特点 # 大数据的4V特性 1. Vo...
  • 从头到尾彻底解析Hash 表算法--大数据面试题
    2014-04-22 11:01
    爱佳男士的博客  本方法相比算法1：在时间复杂度上提高了一个数量级，为O（N），但不仅仅是时间复杂度上的优化，该方法只需要IO数据文件一次，而算法1的IO次数较多的，因此该算法2比算法1在工程上有更好的可操作性。 第二...
  • ClickHouse详解
    2021-10-27 15:33
    夏虫不可语冰★的博客 Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 ClickHouse的全称是Click Stream，Data ...
  • 没有解决我的问题, 去提问