flume简介 cloudera 公司开源的，贡献给Apache基金会 [链接] [链接] 只能运行在linux系统上 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving lar…

【宜信技术沙龙】是由宜信技术学院主办的系列技术分享活动，活动包括线上和线下两种形式，每期技术沙龙都将邀请宜信及其他互联网公司的技术专家分享来自一线的实践经验，分享内容覆盖金融科技及软件研发等主要技…

作者介绍：韩锋：宜信数据库开发与管理主任工程师ACMUG主席团成员，CCIA（中国计算机行业协会）常务理事，Oracle ACE，DBAplus联合创始人，ODF 顾问团成员，ACOUG,ACMUG,DBGeek撰稿人，著有《SQL优化最佳实践》一…

一、数据就是生产力。笔者两年前在袋鼠云做的国内某省一个交警项目上，面对着海量的车辆轨迹数据时，第一次感受到什么是数据的力量。

在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢？ 为…

高可用（HA） — ZooKeeper ZooKeeper 一个开源的分布式的,为分布式应用提供服务的项目 提供原语集合以便分布式应用可以在它之上构建更高层次的同步服务 角色 {代码…} 安装 伪分布模式 {代码…} 完全分布模式 …

有这么一个场景，我们有两个Hive集群，Hive集群1（后面成为1号集群）是一直专享于数据计算平台的，而Hive集群2（后面成为2号集群）是用于其他团队使用的，比如特征，广告等。而由此存在两个主要问题：a) 两个Hive…

我们在《Apache Cassandra 简介》文章中介绍了 Cassandra 的数据模型类似于 Google 的 Bigtable，对应的开源实现为 Apache HBase，而且我们在 《HBase基本知识介绍及典型案例分析》 文章中简单介绍了 Apache HBas…

摘要：在本文中，我们将从零开始，教您如何构建第一个Apache Flink （以下简称Flink）应用程序。

摘要： 在 Instagram （Instagram是Facebook公司旗下一款免费提供在线图片及视频分享的社交应用软件，于2010年10月发布。）上，我们拥有世界上最大的 Apache Cassandra 数据库部署。