Cloudera Impala & Facebook Presto & Hive

Question

Hive将SQL语言映射为MapReduce进而实现查询，但往往相应较慢，在实时性上有欠缺。而Cloudera公司的Impala和Facebook提出的Presto同样支持SQL语言，但都没有使用MapReduce框架，查询的实时性很好。
我想请问一下Impala和Presto工作的具体原理是什么？

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

Cloudera Impala和Facebook Presto都是基于Apache Hadoop生态系统中的MapReduce技术开发的，但是它们的工作原理有所不同。

1. Cloudera Impala：Impala是Cloudera公司推出的一个高性能、可扩展的数据分析工具，它使用内存进行数据处理，而不是传统的磁盘I/O操作。Impala使用了自定义的SQL解析器来执行SQL语句，并且可以实时地从内存中读取结果。Impala的主要优点在于它的性能和易用性，它可以快速响应用户查询请求，而且不需要频繁的磁盘IO操作。

2. Facebook Presto：Presto是Facebook开源的一种分布式计算引擎，它主要使用内存来进行数据处理，而不是传统的磁盘I/O操作。Presto使用了自定义的SQL解析器来执行SQL语句，并且可以实时地从内存中读取结果。Presto的主要优点在于它的性能和灵活性，它可以在不同的硬件平台上运行，并且可以处理大规模的数据集。

总的来说，Cloudera Impala和Facebook Presto都采用了内存计算的方式，但是它们在工作原理上有所区别。Impala使用了自定义的SQL解析器，而Presto则使用了自定义的SQL解析器。此外，Impala还可以直接访问HDFS文件系统，而Presto只能通过网络连接到外部存储设备。