Data吴彦祖 2022-11-29 23:12 采纳率: 90%
浏览 18
已结题

dataframe，rdd相关语法懂得了的话在开发的过程中又有什么用途呢，或者有什么优势呢？

最近学习了spark的相关内容，其中spark是具有分布式数据集RDD的，在RDD的基础上又可以生成DataFrame，DataFrame相比RDD它抽象成传统的二维表结构，同时还具有schema元数据信息方便管理和使用。如果要使用spark.sql查询的话需要将df预注册为临时表才能使用sql形式查询。但是在完成了spark和hive的集成后(spark on hive)元数据可以由metastore来管理，sparksql可以直接查询表格，无需将df预注册为临时表。而紧接着又有spark Thriftserver，通过启动该服务，可以直接免去创建dataframe等一系列的操作，仅仅按照sql操作即可。那么dataframe，rdd相关语法懂得了的话在开发的过程中又有什么用途呢，或者有什么优势呢？

  • 写回答

1条回答 默认 最新

  • Hub-Link 2022-11-30 11:23
    关注

    那么dataframe，rdd相关语法懂得了的话在开发的过程中又有什么用途呢，或者有什么优势呢？----- 这些懂了可以更加清楚spark的数据转换过程，知道的底层更对多对写代码的优化会更加好

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 2月2日
  • 已采纳回答 1月25日
  • 创建了问题 11月29日

悬赏问题

  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改，求解答！！
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗？在Android studio上该如何部署？
  • ¥20 docker里部署springboot项目，访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏！微信开发者工具报错，求帮改
  • ¥20 wireshark抓不到vlan