pyspark 逐行读取本地csv文件。 10C

本人新手,第一次接触spark。

希望大哥们可以提供下代码让我学习一下。非常感谢。

 import pyspark
sc = pyspark.SparkContext()
sql = SQLContext(sc)

df = (sql.read
         .format("com.databricks.spark.csv")
         .option("header", "true")
         .load("FireData-Part2.csv"))
df.show()

逐行读取df的数据。一秒读一条。希望会的大哥指导一下。

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问