scala常用操作

共计 329 个字符，预计需要花费 1 分钟才能阅读完成。

scala 常用操作
版本信息 python3.7pyspark2.4.0
from pyspark import SQLContext,SparkContext,SparkConf

conf = SparkConf()
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
#加载 csv 文件
data = sqlContext.read.format(“csv”).option(“header”,”true”).load(“union_order_user”)
#按字段降序排序
sorted=data.sort(“created_at”,ascending = False)
#展示前 100 条记录 默认展示 20 条
sorted.show(100)