关于pulsar:助力社区|StreamNative-Hub-升级助你快速高效开发-Pulsar-Connector

56次阅读

共计 2920 个字符,预计需要花费 8 分钟才能阅读完成。

对于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级我的项目,是下一代云原生分布式音讯流平台,集音讯、存储、轻量化函数式计算为一体,采纳计算与存储拆散架构设计,反对多租户、长久化存储、多机房跨区域数据复制,具备强一致性、高吞吐以及低延时的高可扩大流数据存储个性。

为什么抉择 Pulsar Connector?

Pulsar 通过 connector[1] 可与内部零碎轻松、疾速集成。依据 2021 Pulsar 用户调查报告(将于本月内公布),30% 的 Pulsar 用户应用 connector,connector 是 Pulsar 最罕用的性能之一。
为了促成 connector 的开发并进步其易用性,咱们于 2020 年推出了 StreamNative Hub[2],反对查找、下载、应用、存储和共享 Pulsar 相干插件等多项操作,并提供宽泛的 Pulsar 集成。Hub 自上线以来,新增了大量的 connector,广受欢迎的 Pulsar Connector 插件包含 AWS SQS connector[3]、AWS Lambda connector[4]、AMQP1_0 connector[5]、IoTDB connector[6] 等。
相比于 Hub 推出初期,Pulsar connector 的开发和应用更易上手,本文次要介绍 StreamNative Hub 近期的更新,让你能够更容易地开发和应用 connector!

对于 StreamNative Hub

StreamNative Hub[7] 是一个应用程序商店,提供大量 Pulsar 插件和集成,用于开发事件流应用程序。 其要害组件包含:

  • Connector:容许用户将流数据迁入和迁出 Pulsar,助力企业更轻松地将 Pulsar 引入其现有基础架构,简化系统集成。StreamNative Hub 反对用户应用 Pulsar 的全副内置 connector。
  • Offloader:容许用户将历史数据从 BookKeeper 卸载到内部近程存储,节约数据存储老本,且能够随数据量轻松扩大。
  • 协定处理程序:容许用户在运行 Pulsar 时原生并动静反对其余音讯协定(例如,Kafka、AMQP 和 MQTT)。在无需批改代码即可应用 Pulsar 的企业级性能,极大地简化了操作。。

本文次要介绍对于 connector 的最新动静,以及这些改良如何简化了 Pulsar connector 的开发和应用。
随着 Pulsar Connector 使用者和贡献者数量的一直减少,咱们得以依据用户需要进步 StreamNative Hub 的易用性,以下章节具体介绍了 StreamNative Hub 的相干改良。

Pulsar Connector 新版开发手册

为了简化 Pulsar 与内部零碎的集成,咱们编写了新版开发指南—— Pulsar Connector 开发手册[8],为开发者的 connector 开发工作提供参考。

  • 开发新 Connector:如果你须要在 Pulsar 和其它零碎之间传输数据(这些零碎临时没有 Pulsar connector),举荐你浏览 Pulsar connector 开发手册[9]!你将理解如何开发 connector、如何奉献 connector 到 StreamNative Hub 等其它详细信息。为了简化开发,手册中也提供了代码和文档的模板。
  • 宣传推广现有 Connector:如果你想奉献 connector 给社区,你能够将其托管在任意公共仓库,并在 StreamNative Hub 上显示。依照 Pulsar connector 开发手册 [10] 中的阐明,仅需一行代码,即可将文档同步到 StreamNative Hub。

StreamNative Hub 将来打算

咱们始终在寻找改良 StreamNative Hub 的新办法,也在尝试进行其余降级,例如,增加更全面的测试,进步 connector 的可用性、可靠性和性能;反对通过 GUI 工具在云上部署和应用 connector 等。敬请关注!

奉献 Connector

如果你是 connector 开发者,咱们举荐你将 connector 增加到 StreamNative Hub!在 StreamNative Hub 中,你的 connector 将会被更多人理解和应用,放慢其开发过程,与此同时,你也将为日益壮大的 Pulsar 生态系统做出奉献。

退出 Pulsar 社区

除了增加 connector 之外,你还能够通过其余形式做出奉献,如:

  • 改良文档!StreamNative Hub 上所有 connector 文档 [11] 已开源。你能够随时通过 GitHub 提交批改(更正拼写错误、增加阐明等)。
  • 报告 bug。
  • 审阅 PR。
  • 对提议的性能、改良或设计做出反馈。
  • 提议新性能。
  • 答复 GitHub issue 或微信群中的问题。

当初参加

点击查看疾速入门指南[12],赶快参加吧!

相干浏览

  • StreamNative 发表开源 Function Mesh:简化云上的简单流工作
  • 产品动静 | StreamNative 发表开源 AMQP 1.0 Connector
  • 产品动静 | StreamNative 发表开源 AWS SQS Connector

援用链接
[1] connector: https://pulsar.apache.org/doc…
[2] StreamNative Hub: https://streamnative.io/en/bl…
[3] AWS SQS connector: https://streamnative.io/en/bl…
[4] AWS Lambda connector: https://github.com/streamnati…
[5] AMQP1_0 connector: https://streamnative.io/en/bl…
[6] IoTDB connector: https://github.com/streamnati…
[7] StreamNative Hub: https://streamnative.io/en/bl…
[8] Pulsar Connector 开发手册: https://github.com/streamnati…
[9] Pulsar connector 开发手册: https://github.com/streamnati…
[10] Pulsar connector 开发手册: https://github.com/streamnati…
[11] connector 文档: https://github.com/streamnati…
[12] 疾速入门指南: https://github.com/streamnati…

对于 StreamNativeStreamNative 是一家开源根底软件公司,由 Apache 软件基金会顶级我的项目 Apache Pulsar 开创团队组建而成,围绕 Pulsar 打造下一代云原生批流交融数据平台。StreamNative 作为 Apache Pulsar 商业化公司,专一于开源生态和社区构建,致力于前沿技术畛域的翻新,开创团队成员曾就任于 Yahoo、Twitter、Splunk、EMC 等出名大公司。

关注 StreamNative 公众号,理解 Pulsar 周边生态与 StreamNative 产品

正文完
 0