pyspark 逐行读取本地csv文件。

Question

本人新手，第一次接触spark。

希望大哥们可以提供下代码让我学习一下。非常感谢。

 import pyspark
sc = pyspark.SparkContext()
sql = SQLContext(sc)

df = (sql.read
         .format("com.databricks.spark.csv")
         .option("header", "true")
         .load("FireData-Part2.csv"))
df.show()

逐行读取df的数据。一秒读一条。希望会的大哥指导一下。

Answer 1

https://blog.csdn.net/qq_36603091/article/details/79626675