对于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。

GitHub 地址：http://github.com/apache/pulsar/

对于 ApacheCon Asia

ApacheCon Asia 是 ApacheCon 组委会首次针对亚太地区举办的 ApacheCon 在线会议，次要指标在于更好地服务亚太地区快速增长的 Apache 用户和贡献者。ApacheCon Asia 2021 将于 2021 年 8 月 6-8 日在线举办。

近期 ApacheCon Asia 2021 团队正式颁布了大会日程，Apache Pulsar 社区积极参与本次年度开源盛会，你在音讯零碎、大数据、流解决等专场都能看到 Apache Pulsar 社区成员的议题，内容丰盛，欢送关注。上面将相干技术议题列出，不便参考。

大数据

2021-08-08 13:30

应用 Hashicorp Vault 建设一个认证和受权零碎

议题简介：学习如何应用 Hashicorp Vault 为 Apache Pulsar 建设一个认证和受权零碎。Vault 提供了一种平安的形式来生成令牌和存储敏感数据，而 Pulsar 有一个可插拔的架构用于认证、受权和密钥治理。本讲座将介绍如何基于 Vault 为 Pulsar 建设一个认证和验证零碎，次要包含以下几点：

• 基于 Vault 构建灵便的认证，确保 Pulsar 集群能够轻松拜访各种零碎，如 LDAP
• 如何实现基于 Vault 的利用角色的服务账户

分享嘉宾：俄广宁，Apache Pulsar Committer，Apache Pulsar IO 和 Apache Pulsar Manager 次要贡献者和维护者，目前在 StreamNative 公司负责高级软件工程师，专门从事云平台、云计算和大数据相干畛域的工作。

流解决

2021-08-08 14:10

结构化的数据流

议题简介：类型平安在任何围绕流 / 队列构建的应用程序中都是极其重要的。类型定义和演变能够在应用程序中构建，也能够依赖数据层来反对，从而使得应用程序只关注业务逻辑，而无需关注数据存储和演变的形式。正是这种个性使得传统关系型数据库在古代 NoSQL 数据库的挑战中仍然耸立不倒。在古代软件架构中，异步通信（通过流 / 队列）是必不可少的。当数据存储和查问设计随着异步通信而扭转时，类型平安仍然十分重要。

在本次演讲中，咱们将探讨在流数据上建设构造（schema）的办法，并以 Apache Pulsar 作为示例。Apache Pulsar 为结构化流解决提供服务器端和客户端反对。咱们曾经在生产中应用 Pulsar 在微服务之间进行异步通信超过 1.5 年。

此次演讲介绍什么是 Schema、如何示意 Schema、Apache Pulsar 服务器和客户端提供了什么、咱们如何应用 Pulsar 的 Schema 反对构建咱们的用例以及从中取得的教训和技术细节。

分享嘉宾：Shivji Kumar Jha，Shiv 是 Nutanix 的高级软件开发人员，在 beam 团队工作，帮忙 Nutanix 客户将混合云应用的云老本和平安危险降到最低。Shiv 喜爱花工夫在数据存储（数据库、数据流、剖析等）上，并为 MySQL 和 Pulsar 代码库做出了奉献。Shiv 是一个狂热的读者（科技、小说、经济学等），并始终在寻找简化软件架构的办法。

2021-08-08 15:30

应用 Pulsar Functions 解决实时机器学习

议题简介：在这次演讲中，我将介绍一种应用 Apache Pulsar Functions 部署机器学习模型以提供实时预测的技术。为了提供实时预测，该模型通常从调用者那里接管一个数据点，并冀望在几毫秒内提供一个精确的预测。在整个分享中，我将展现制作一个齐全训练过的 ML 所需的步骤，它能够依据实时交通信息、客户的地位和将要实现订单的餐厅来预测送餐服务的工夫。

分享嘉宾：David Kjerrumgaard，《Pulsar in Action》的作者，也是 Splunk 音讯团队的首席软件工程师，负责 Splunk 外部的 Pulsar-as-a-Service 平台。在退出 Splunk 之前，他是 Streamlio 的解决方案架构总监，负责开发基于 Apache Pulsar 的最佳实际和解决方案。

音讯零碎

2021-08-06 13:30

Apache BookKeeper (作为 Key-value 存储) 及其利用案例

议题简介：为了充分利用流后端技术的最佳性能特色，理解流解决服务器服如何存储数据的细枝末节是很重要的。如果充沛理解这一点，你就能够设计对应场景解决方案，充分利用好手头的资源，并为手头资源获得最佳的一致性、可用性、提早和吞吐量。

在该演讲中，咱们将探讨 Apache Pulsar 的存储层（Apache BookKeeper），BookKeeper 存储语义的根本状况，它是如何用于不同的场景（甚至是 Pulsar 以外的状况），理解 Pulsar 的存储对象模型，不同类型的数据结构和 Pulsar 在其中应用的算法，以及如何映射到 Pulsar 默认提供的存储类语义。当然，你也能够通过一些额定的代码来扭转存储的后端。本演讲将为你提供相干背景常识，使你能用 Pulsar 正确地解决数据。本演讲重点将放在存储后端上，这样除了 Pulsar，也能将相干原理和常识利用于不同的数据存储或流零碎。

分享嘉宾：Shivji Kumar Jha，Nutanix 高级软件开发人员，在 beam 团队工作，帮忙 Nutanix 客户最大限度地升高混合云应用的云老本和平安危险。Shiv 的工作内容包含 Nutanix 的所有 Pulsar，治理 4 个 Pulsar 集群（30 个节点）和围绕它的应用案例。Shiv 喜爱花工夫在数据存储（数据库、数据流、剖析等）上，并为 MySQL 和 Pulsar 代码库做出了奉献。Shiv 是一个狂热的读者（科技、小说、经济学等），并始终在寻找简化软件架构的办法。

2021-08-06 14:50

BIGO 的 Apache Pulsar 最佳实际

议题简介：在人工智能技术的反对下，BIGO 推出的视频产品和服务曾经取得了微小人气，用户遍布寰球 150 多个国家地区，如 Bigo Live（直播）和 Likee（短视频）等。Bigo Live 在 150 多个国家地区提供服务，Likee 有 1 亿多用户，在 Z 世代中很受欢迎。在过来的几年里，咱们部署了大量 Kafka 集群来进行反对实时 ETL 和短视频举荐。Apache Pulsar 的分层架构和诸多新个性如低提早、程度扩大、多租户等帮忙咱们解决了生产中的很多问题。咱们曾经采纳 Apache Pulsar 构建音讯解决零碎，特地是在实时 ETL、短视频举荐和实时数据报告方面。

在这个演讲中，我将分享咱们应用 KoP（Kafka-on-Pulsar）的教训，探讨如何从 Kafka 无缝迁徙到 Pulsar，特地是在进步性能和稳定性方面。我还将分享 Apache Pulsar 在 BIGO 的其余次要利用场景，比方数百万量级主题、实时机器学习，以及与 Flink 和 Flink SQL 的集成。

分享嘉宾：陈航，Apache Pulsar Committer，BIGO 音讯平台团队的负责人，负责创立一个集中的 pub-sub 音讯平台，该平台提供大量的服务 / 利用流量。他将 Apache Pulsar 引入 BIGO 音讯平台，并与上游和上游零碎如 Flink、ClickHouse 和其余外部系统集成，进行实时举荐和剖析。他专一于 Pulsar 的性能调整，新性能开发和 Pulsar 生态系统的整合。

2021-08-06 15:30

从 Apache Kafka 到 Apache Pulsar – 零碎迁徙生存指南

议题简介：在本次演讲中，在首先对 Kafka 和 Pulsar 进行简要的、高层次的架构比拟之后，咱们把重点放在比照 Kafka 和 Pulsar 之间的音讯公布 / 应用模型，它们之间的异同之处，以及绝对应的对利用程序设计和实现的影响。最初咱们将介绍可用的不同迁徙选项，模式和工具，以实现从 Kafka 到 Pulsar 的无缝应用程序迁徙门路。

分享嘉宾：孟亚斌，DataStax 领衔架构师。近年来，他的重点次要是大型、分布式数据库和流解决零碎解决方案的设计和征询。退出 DataStax 之前，他的职业生涯大部分工夫都集中在关系型数据库、数据仓库、商业智能以及 NoSQL 数据库畛域中的零碎设计、实现和征询。

2021-08-06 16:10

Apache Pulsar 在联邦学习的案例详解

议题简介：联邦学习（FL）是一种机器学习技术，它使多个扩散的组织在不裸露本地数据样本的状况下训练一个模型。在联邦学习训练过程中，参与者之间也会替换大量的加密信息，以汇总造成全局模型。因为音讯的重要性，以及对实时性和程序性的要求，它带来了一些传输上的挑战。在本演讲环节，咱们将探讨如何用 Apache Pulsar 我的项目解决上述挑战，并具体介绍在风行的联邦学习我的项目 FATE(https://github.com/FederatedA… 中如何应用 Pulsar 做联结训练。

分享嘉宾：陈家豪，VMware 工程师

2021-08-08 13:30

Apache Pulsar 在日志场景的最佳实际

议题简介：ELK+Apache Kafka 是一种常见的日志场景的架构。然而，现在状况产生了变动，云原生变得风行，微服务架构被到处采纳。这带来了更多的服务，日志数量和类别也越来越多。Apache Kafka 不能满足云原生日志场景的所有要求，如操作简略、百万主题治理、租赁资源隔离等。Apache Pulsar 是一个更好的解决方案，具备云原生架构和更好的性能。本演讲重点介绍了 Apache Pulsar 作为一种新的日志音讯解决方案，包含对日志音讯零碎的要求、Kafka 与 Pulsar 解决方案比照、Pulsar 最佳实际和 Pulsar Functions/ 连接器介绍。

分享嘉宾：魏彬，StreamNative 解决方案工程师，他在 ELK、Apache Kafka、Apache Pulsar、Prometheus 等大数据技术方面经验丰富。

2021-08-08 14:10

Apache Pulsar —— 云原生音讯队列在腾讯云的实际

议题简介：
Apache Pulsar 目前在腾讯云上曾经大规模应用，音讯队列在云原生环境面临了诸多挑战，Pulsar 是一个更好的解决方案。本次演讲咱们将介绍 Pulsar 在云原生环境上的一些实践经验，如：如何疾速动静扩缩容，如何晋升集群资源的利用率，集群状态等等。

分享嘉宾：林琳，腾讯云高级工程师，Apache Pulsar Commiter，专一于中间件畛域，对音讯队列、微服务等方面有丰盛的教训。2019 年退出腾讯，现负责腾讯云 TDMQ 的建设，致力于打造稳固、高效、可扩大的底层根底组件与服务。

2021-08-08 14:50

Apache Pulsar 在腾讯百万级 Topic 下的利用与实际

议题简介：Apache Pulsar 作为下一代云原生分布式音讯流平台，集音讯、存储和函数式计算为一体，并采纳存储与计算拆散的架构。Apache Pulsar 目前在腾讯云外部曾经胜利反对大量数据和流量业务场景，本议题将分享腾讯云在 Apache Pulsar 百万量级 Topic 下最佳实际以及运维教训。

分享嘉宾：冉小龙，2020 年退出腾讯，现负责腾讯云 TDMQ 的建设，致力于打造稳固、高效、可扩大的底层根底组件和服务。

2021-08-08 15:30

Apache Pulsar 的 RBAC 受权

议题简介：RBAC(Role-based access control) 是一种基于单个用户的角色来控制系统拜访的办法。RBAC 应用用户和角色之间的映射关系以及每个角色对应的权限，来决定每个用户是否能够对某些资源进行操作。Apache Pulsar 应用 Casbin 来实现 RBAC 受权办法。通过启用 RBAC 受权办法，你能够治理用户属于哪个角色，以及该角色对某一资源有哪些权限。本演讲次要介绍 Apache Pulsar 中的 RBAC 受权。我将阐明根本的 RBAC 概念和 Casbin 的原理，介绍如何应用 Casbin Provider 为 Pulsar 启用 RBAC 受权，如何在 Pulsar 中应用 RBAC 设置和管理权限，以及如何在 Pulsar 中应用 Zookeeper Adapter 进行 RBAC。

分享嘉宾：杨子棵，在 StreamNative 负责软件工程师。他从 2020 年开始参加 Pulsar 社区的工作。

2021-08-08 16:10

Apache Pulsar 在华为云物联网平台之旅

议题简介 ：华为云物联网平台是以后中国第一个具备竞争力的 IoT 平台，目前治理着超过 3 亿台设施。本演讲将介绍：
为什么华为云物联网将音讯队列从 Kafka 改为 Pulsar？
华为云物联网如何应用 Pulsar，以及在应用过程中遇到的相干问题和对应的解决方案。

分享嘉宾：贺张俭，2017 年毕业于西安电子科技大学，2017 年至今就任于华为公司物联网部门。

报名 ApacheCon Asia 2021

目前 ApacheCon Asia 2021 流动已凋谢报名，可点击「链接：http://hdxu.cn/Q7LkI」报名哟！