关于pulsar:助力社区｜StreamNative-Hub-升级助你快速高效开发-Pulsar-Connector

13次阅读

共计 2920 个字符，预计需要花费 8 分钟才能阅读完成。

Apache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐以及低延时的高可扩大流数据存储个性。

Pulsar 通过 connector[1] 可与内部零碎轻松、疾速集成。依据 2021 Pulsar 用户调查报告（将于本月内公布），30% 的 Pulsar 用户应用 connector，connector 是 Pulsar 最罕用的性能之一。
为了促成 connector 的开发并进步其易用性，咱们于 2020 年推出了 StreamNative Hub[2]，反对查找、下载、应用、存储和共享 Pulsar 相干插件等多项操作，并提供宽泛的 Pulsar 集成。Hub 自上线以来，新增了大量的 connector，广受欢迎的 Pulsar Connector 插件包含 AWS SQS connector[3]、AWS Lambda connector[4]、AMQP1_0 connector[5]、IoTDB connector[6] 等。
相比于 Hub 推出初期，Pulsar connector 的开发和应用更易上手，本文次要介绍 StreamNative Hub 近期的更新，让你能够更容易地开发和应用 connector！

StreamNative Hub[7] 是一个应用程序商店，提供大量 Pulsar 插件和集成，用于开发事件流应用程序。 其要害组件包含：

Connector：容许用户将流数据迁入和迁出 Pulsar，助力企业更轻松地将 Pulsar 引入其现有基础架构，简化系统集成。StreamNative Hub 反对用户应用 Pulsar 的全副内置 connector。
Offloader：容许用户将历史数据从 BookKeeper 卸载到内部近程存储，节约数据存储老本，且能够随数据量轻松扩大。
协定处理程序：容许用户在运行 Pulsar 时原生并动静反对其余音讯协定（例如，Kafka、AMQP 和 MQTT）。在无需批改代码即可应用 Pulsar 的企业级性能，极大地简化了操作。。

本文次要介绍对于 connector 的最新动静，以及这些改良如何简化了 Pulsar connector 的开发和应用。
随着 Pulsar Connector 使用者和贡献者数量的一直减少，咱们得以依据用户需要进步 StreamNative Hub 的易用性，以下章节具体介绍了 StreamNative Hub 的相干改良。

为了简化 Pulsar 与内部零碎的集成，咱们编写了新版开发指南—— Pulsar Connector 开发手册[8]，为开发者的 connector 开发工作提供参考。

开发新 Connector：如果你须要在 Pulsar 和其它零碎之间传输数据（这些零碎临时没有 Pulsar connector），举荐你浏览 Pulsar connector 开发手册[9]！你将理解如何开发 connector、如何奉献 connector 到 StreamNative Hub 等其它详细信息。为了简化开发，手册中也提供了代码和文档的模板。
宣传推广现有 Connector：如果你想奉献 connector 给社区，你能够将其托管在任意公共仓库，并在 StreamNative Hub 上显示。依照 Pulsar connector 开发手册 [10] 中的阐明，仅需一行代码，即可将文档同步到 StreamNative Hub。

咱们始终在寻找改良 StreamNative Hub 的新办法，也在尝试进行其余降级，例如，增加更全面的测试，进步 connector 的可用性、可靠性和性能；反对通过 GUI 工具在云上部署和应用 connector 等。敬请关注！

如果你是 connector 开发者，咱们举荐你将 connector 增加到 StreamNative Hub！在 StreamNative Hub 中，你的 connector 将会被更多人理解和应用，放慢其开发过程，与此同时，你也将为日益壮大的 Pulsar 生态系统做出奉献。

除了增加 connector 之外，你还能够通过其余形式做出奉献，如：

改良文档！StreamNative Hub 上所有 connector 文档 [11] 已开源。你能够随时通过 GitHub 提交批改（更正拼写错误、增加阐明等）。
报告 bug。
审阅 PR。
对提议的性能、改良或设计做出反馈。
提议新性能。
答复 GitHub issue 或微信群中的问题。

点击查看疾速入门指南[12]，赶快参加吧！

StreamNative 发表开源 Function Mesh：简化云上的简单流工作
产品动静 | StreamNative 发表开源 AMQP 1.0 Connector
产品动静 | StreamNative 发表开源 AWS SQS Connector

援用链接
[1] connector: https://pulsar.apache.org/doc…
[2] StreamNative Hub: https://streamnative.io/en/bl…
[3] AWS SQS connector: https://streamnative.io/en/bl…
[4] AWS Lambda connector: https://github.com/streamnati…
[5] AMQP1_0 connector: https://streamnative.io/en/bl…
[6] IoTDB connector: https://github.com/streamnati…
[7] StreamNative Hub: https://streamnative.io/en/bl…
[8] Pulsar Connector 开发手册: https://github.com/streamnati…
[9] Pulsar connector 开发手册: https://github.com/streamnati…
[10] Pulsar connector 开发手册: https://github.com/streamnati…
[11] connector 文档: https://github.com/streamnati…
[12] 疾速入门指南: https://github.com/streamnati…

对于 StreamNativeStreamNative 是一家开源根底软件公司，由 Apache 软件基金会顶级我的项目 Apache Pulsar 开创团队组建而成，围绕 Pulsar 打造下一代云原生批流交融数据平台。StreamNative 作为 Apache Pulsar 商业化公司，专一于开源生态和社区构建，致力于前沿技术畛域的翻新，开创团队成员曾就任于 Yahoo、Twitter、Splunk、EMC 等出名大公司。

关注 StreamNative 公众号，理解 Pulsar 周边生态与 StreamNative 产品

正文完