本文转载自 Jark’s Blog ，作者伍翀（云邪），Apache Flink Committer，阿里巴巴高级开发工程师。本文将从开发环境准备、创建 Maven 项目，编写 Flink 程序、运行程序等方面讲述如何迅速搭建第一个 Flink 应用。…

本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战，以及平台构建化流程。主要内容如下： 爱奇艺在实时计算方面的的演化和遇到的一些挑战 爱奇艺使用F…

Kafka发送消息大小问题 ⚠️ 本文实验的Kafka版本为2.11版本. 消息概述 kafka中的消息指的就是一条ProducerRecord,里面除了携带发送的数据之外,还包含: topic 发往的Topic partition 发往的分区 headers 头信息 key…

简介 hbase是大数据hadoop的数据库 存储数据 {代码…} 检索数据 {代码…} 已经有RDBMS数据库为什么还需要hbase这种hadoop数据库？（什么时候需要选择hbase） 要存储的数据为海量的数据 {代码…} 要存储的数据…

​ hive介绍 由Facebook开源的,用于解决海量结构化日志的数据统计的项目 本质: 将HQL转化为MapReduce程序 Hive的其实时HDFS上的目录和文件 ​ Hive的安装模式 嵌入模式元数据信息被保存在自带的Deybe数据库中 只允…

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅…

Zomato 是一家食品订购、外卖及餐馆发现平台，被称为印度版的“大众点评”。目前，该公司的业务覆盖全球24个国家（主要是印度，东南亚和中东市场）。本文将介绍该公司的 Food Feed 业务是如何从 Redis 迁移到 Cassa…

再和很多想进入数据科学行业的小白们聊天的时候，在谈到为什么要进入这个行业的时候，他们都认为未来，将会是数据为王的时代，他们之中有很多已经工作多年已经了解到行业内数据的发展变化，有一些是还处于校园内…

作者 | 张俊本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。本文主要内容如下：

有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商…