标签： spark
-
Spark应用开发上
Spark架构：关键名词：masterworkerexecutortaskdriverSpark集群启动之后，…
-
Spark系列从零学习Scala并发编程
][6] （文章转载自黑马程序员广州中心官方论坛，发布已获得授权）
-
Spark-Streaming的优化之路从Receiver到Direct模式
随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要…
-
大数据系列Spark学习笔记之Spark中的RDD
1. Spark中的RDD Resilient Distributed Datasets(弹性分布式数据集) …
-
大数据系列Spark学习笔记之初识Spark
2009年，Spark诞生于伯克利大学的AMPLab实验室。最出Spark只是一个实验性的项目，代码量非常少，…
-
大数据系列Spark学习笔记之-Spark-SQL
1. Spark SQL是什么? 处理结构化数据的一个spark的模块 它提供了一个编程抽象叫做DataFra…
-
使用Spark跨集群同步Hive数据
比较常用的场景是从MySQL等RDB同步到Hive、Hbase或者将Hive、Hbase的数据导出到MySQL
-
利用spark进行机器学习时模型序列化存储到hive解决方案
机器学习模型的训练和预测经常是在不同的时间点进行，在工程实现中，一般训练和预测都是在不同的子工程里面进行，训练…
-
王真催的面试题
hive中shuffle的优化 压缩压缩可以使磁盘上存储的数据量变小，通过降低I/O来提高查询速度。 对hiv…
-
漫谈分布式计算框架
如果问 mapreduce 和 spark 什么关系，或者说有什么共同属性，你可能会回答他们都是大数据处理引擎…