rpmdeb 2019-09-19 17:58 采纳率: 0%
浏览 621

spark的rdd 可以看做数组吗？那么 可以随机取里面的数据吗？

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.3.1
      /_/

Using Python version 2.7.9 (default, Sep 25 2018 20:42:16)
SparkSession available as 'spark'.
>>> sc=spark.read.text('/tmp/temp_file_5.part.gz')
>>> sc.count()
19839
>>> 

我想将这个文件分成4分， 0-5000,5000-10000,15000-19839

怎么将这个rrd分成4份了？
我想取 第h行的数据，能有好的办法吗？
  • 写回答

1条回答 默认 最新

  • 蔡能教授，网站特聘专家 2019-10-02 18:15
    关注

    https://www.cnblogs.com/qingyunzong/p/8899715.html

    评论

报告相同问题？

悬赏问题

  • ¥50 永磁型步进电机PID算法
  • ¥15 sqlite 附加（attach database）加密数据库时，返回26是什么原因呢？
  • ¥88 找成都本地经验丰富懂小程序开发的技术大咖
  • ¥15 如何处理复杂数据表格的除法运算
  • ¥15 如何用stc8h1k08的片子做485数据透传的功能？(关键词-串口)
  • ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗？
  • ¥200 uniapp长期运行卡死问题解决
  • ¥15 latex怎么处理论文引理引用参考文献
  • ¥15 请教：如何用postman调用本地虚拟机区块链接上的合约？
  • ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？