随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架，他提供了动…

在闲鱼生态里，用户之间会有很多种关系。其中大部分关系是由买家触发，联系到卖家，比如买家通过搜索、收藏、聊天等动作与卖家产生联系；另外一部分是平台与用户之间的关系。对这些关系分析之后我们发现这些关系…

随着数据量的爆发，AI走上风口，典型的大数据业务场景下数据业务最通用的做法是：选用批计算的技术处理全量数据，采用流计算的技术处理实时增量数据。在生产环境中，用户通常采用批处理和流处理两套计算引擎来支…

顾名思义就是在命令行调用scala的基础环境，我们在第一篇演示的命令行输出Hello,World!即是。当然Scala在交互模式下能够做很多的事情。在这里我们只做简单的输出演示。 CTRL+C退出交互模式

安全是个“无底洞”，没有一个企业的安全负责人会说自己的系统是百分百安全的，安全也不是特别好衡量和量化，尤其是定量地评估出谁比谁做得好、好多少。有时候也会反思，或者说迷茫，“上了那么多防护手段、到底能不…

真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？真的是心累不已，整整把搜索引擎还有youtube翻来覆去…

在本文中优酷数据中台的数据技术专家门德亮分享了优酷从Hadoop迁移到阿里云MaxCompute后对业务及平台的价值。

本文从数据传输和数据可靠性的角度出发，对比测试了 Storm 与 Flink 在流处理上的性能，并对测试结果进行分析，给出在使用 Flink 时提高性能的建议。

导读：宜信结合自己的实际情况，实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。本文重点介绍一下流沙平台的架构，相比于OpenSOC做了哪些优化及改进的地方以及流沙平台在落地过程中的经验总结。

在本文中优酷数据中台的数据技术专家门德亮分享了优酷从Hadoop迁移到阿里云MaxCompute后对业务及平台的价值。