作者:不周
关键词:Kafka ETL,高弹性、免运维、低成本
阿里云音讯队列 Kafka 版提供兼容 Apache Kafka 生态的全托管服务,彻底解决开源产品长期的痛点,是大数据生态中不可或缺的产品之一。随着 Kafka 越来越风行,最后只是作为简略的音讯总线,起初逐步成为数据集成系统,Kafka 牢靠的传递能力让它成为流式解决零碎完满的数据起源。在大数据工程畛域,Kafka 在承接上下游、串联数据流管道方面施展了重要作用,Kafka 利用流式框架解决音讯也逐步成为趋势。
说到流计算,罕用的便是 Storm、Spark Streaming、Flink 和 Kafka Streams,目前这些框架都绝对成熟,并且都有相应的应用案例,但这些框架应用起来门槛较高,首先要学习框架和各种技术、标准的应用,而后要将业务迁徙到这些框架中,最初线上应用并运维这些流计算框架。尤其在面对 70% 以上简略流解决场景的需要,传统计划的弊病会被一直放大,客户依然须要投入较大的人力老本和较高的资源,同时整个架构也比较复杂。总结来说,次要遇到的问题蕴含以下四个方面:
一是运维老本较高,研发团队自行编写代码,前期须要继续保护,会带来较大的运维老本;
二是技术老本较大,对于很多轻量或简略计算需要,须要进行技术选型,而引入一个全新的组件会带来较高的技术老本;
三是学习老本不可预期,在某组件选定后,须要研发团队进行学习并继续保护,这就带来了不可预期的学习老本;
四是开发人员自行选用开源组件之后,可靠性和可用性并不能失去很好的保障。
为了更好的解决传统流式计算在面对简略流解决场景需要时遇到的种种问题,阿里云音讯队列 Kafka 版也推出了相应的解决方案:Kafka ETL。
那么阿里云 Kafka ETL 具体是如何解决以上问题的呢?
2 月 18 日下午 14:00,云计算情报局直播间将为您答疑解惑。
点击此处,立刻返回云计算情报局直播间!