Kafka 大数据开发最火技术Kafka背后的黑科技 Kafka是由Apache软件基金会开发的一个开源流处理平台,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于其他常见消息系统,Kafka在保障了大部分功能特性的同时,还在高吞吐、低延迟等方面有很突出的表现。这篇文章不同于其他介绍Kafka使用或实现的文章,只是谈谈Kafka用了什么“黑科技”使他在性能…
Kafka Knative-实战基于阿里云-Kafka-实现消息推送 在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势。
无分类 开放计算架构蚂蚁金服是如何用一套架构容纳所有计算的 蚂蚁金服在过去十五年重塑支付改变生活,为全球超过十二亿人提供服务,这些背后离不开技术的支撑。在 2019 杭州云栖大会上,蚂蚁金服将十五年来的技术沉淀,以及面向未来的金融技术创新和参会者分享。
无分类 数据存储检索之B树和LSMTree 作为一名应用系统开发人员,为什么要关注数据内部的存储和检索呢?首先,你不太可能从头开始实现一套自己的存储引擎,往往需要从众多现有的存储引擎中选择一个适合自己应用的存储引擎。因此,为了针对你特定的工作负载而对数据库调优时,最好对存储引擎的底层机制有一个大概的了解。
无分类 Java-Security-介绍 Java平台设计的重点是安全性。在其核心,java语言本身是类型安全的并且提供了垃圾自动回收,这使其增加了应用程序代码的健壮性。安全的类加载以及验证机制确保了只有合法的代码才能够执行。初期的java平台为不信任的代码创建了一个安全的独立运行的安全环境,例如从公网下载的java applets。随着平台的增长以及部署范围…
无分类 Kafka-介绍 Apache Kafka是一个分布式流式平台。 流平台有三个关键的能力: 发布和订阅记录流,类似于消息队列或企业消息传递系统。 使用容错耐用的方式存储记录流。 记录产生时处理数据。 Kafka主要是用在两类应用中: 在收数端和实时计算或批处理计算框架之间做数据通道 作为处理流式数据的应用 为了解kafka怎么处理这些事情,需…
无分类 清理-Mysql-generallog 方法1: {代码…} 这种方法需要的时间比较长 方法2: {代码…} 找到general_log的文件执行 {代码…} 发现也将大小释放了,比上一个快很多 方法3: 可以在配置文件my.conf 中添加: {代码…} 将文件放到更大的磁盘 本文由博客一文多发平台 OpenWrite 发布!
无分类 大数据基础 第一步:VMware workstation网络设置第二步:虚拟机网络设置一、设置VMware Network AdapterVMnet8的IP1、打开“网络和Internet”设置选择“更改适配器选项”
无分类 Flink入门宝典 本文基于java构建Flink1.9版本入门程序,需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。这里简述安装过程,并使用IDEA进行开发一个简单流处理程序,本地调试或者提交到Flink上运行,Maven与JDK安装这里不做说明。一、Flink简介
无分类 Kylin构建Cube过程详解 在使用Kylin的时候,最重要的一步就是创建cube的模型定义,即指定度量和维度以及一些附加信息,然后对cube进行build,当然我们也可以根据原始表中的某一个string字段(这个字段的格式必须是日期格式,表示日期的含义)设定分区字段,这样一个cube就可以进行多次build,每一次的build会生成一个segment,每一个segment对…