如果说对于的大数据处理最有奉献的当属Hadoop的三招绝学，HDFS、YARN、MapReduce，而Spark师从Hadoop，青出于蓝而胜于蓝，创立的Spark Core改良了Hadoop基于…

近几年随着B站业务高速倒退，数据量一直减少，离线计算集群规模从最后的两百台倒退到目前近万台，从单机房倒退到多机房架构。在离线计算引擎上目前咱们次要使…

Spark SQL中用户自定义函数，用法和Spark SQL中的内置函数相似；是saprk SQL中内置函数无奈满足要求，用户依据业务需要自定义的函数。首先定义一个UDF函数：

一、滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行平均切片的划分形式。窗口之间没有重叠，也不会有距离，是“首尾相接”的状态。滚动…

前不久，在 6月29日 Databricks 举办的 Data + AI Summit 上，火山引擎向大家首次介绍了 UIMeta，一款致力于监控、剖析和优化的新型云原生 Spark History Ser…

Spark Streaming是构建在Spark Core的RDD根底之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，示意间断不…

本文作者： 朱亮堂，观远数据计算引擎开发工程师，13 年毕业于湖南大学，有七年多的大数据研发教训。曾就任于出名互联网公司数据研发专家岗位，负责打造服务…

年初咱们接到了一个客户反馈，示意服务器 cpu 占用异样，于是咱们近程连贯到服务器下面排查，发现是 Spark driver 占用了大部分 cpu。对于 cpu 占用问题，用 …

java.io.IOException: (null) entry in command string: null ls -F+一个文件门路：解决办法运行环境为idea，本地运行scala编写的WordCount实例时，呈现了jav…

验证框架次要分为两种，即分层验证与JavaBean验证分层验证模型传统的校验模式，即每一层都增加数据验证。然而其验证逻辑重复性大，会呈现冗余代码过多的状况