Apache

对于Apache Dubbo3Apache Dubbo 是一款易用、高性能的 WEB 和 RPC 框架，同时为构建企业级微服务提供服务发现、流量治理、可观测、认证鉴权等能力、工具与最佳实际。通过近几年倒退，Dubbo3 已在阿里巴巴团体各条业务线实现全面推广，胜利取代运行多年的 HSF 框架，同时 Dubbo3 的多语言体系也有了疾速倒退，目前涵盖的多语言体系有 apache/dubbo[1] (java)apache/dubbo-go[2]apache/dubbo-js[3] (web、node.js)apache/dubbo-rust[4]基于 Dubbo3 定义的 Triple 协定，你能够轻松编写浏览器、挪动端、gRPC 兼容的 RPC 服务，并让这些服务同时运行在 HTTP/1 和 HTTP/2 上。Dubbo Node.js SDK 反对应用 IDL 或编程语言特有的形式定义服务，并提供一套轻量的 API 来公布或调用这些服务。 对于 Dubbo3 Node.js 首个公布版Dubbo-js 我的项目于 9 月份刚刚公布了反对 Dubbo3 协定的首个 alpha 版本，该我的项目是 Dubbo3 的 Typescript 版本实现，提供了 Web、Node.js 两种公布包。其中，Web 框架能让开发者间接在浏览器页面拜访后端服务，Node.js 则进一步丰盛了后端微服务技术栈的抉择。以后 Node.js 版本次要是实现了 Triple 协定的残缺反对，接下来的版本中，社区将持续欠缺地址发现、负载平衡等服务治理能力。 Node.js 微服务开发残缺示例本示例基于最新公布的 Node.js 版本，演示了基于 Triple 协定的 RPC 通信模式，示例应用 Protocol Buffer 定义 RPC 服务，并演示了代码生成、服务公布和服务拜访等过程。 ...

往年是 SegmentFault 和 Apache 亚洲大会同行的第三年，2021 年咱们第一次与 ApacheCon Asia 结缘，和 ALC Beijing 的核心成员们一起组织了首次针对亚太时区的 ApacheCon 在线会议，而往年又是一个第一次，咱们第一次把在中国的阿帕奇亚洲大会搬到了线下来举办。 正如往年大会的新名称 “CommunityOverCode”，3 天工夫，160 多个议题，面对面的亲切交换，让咱们切身感受到了 Apache 开发者们的激情和社区的无穷力量，也让我生出不少感叹，在此一一记录。 几个泪目霎时往年的大会有几个让我很难忘的泪目霎时 —— 第一个霎时是大会前一天早晨，现场曾经全副就绪，我来到大会主会场的门外，看到议程板后的打动 —— 满满当当 160 多个议题，用的是勉强大家能看清的、曾经不能再小的字号严密排列。团队通知我，议程板本来布局的地位并不在这里，而是长期调大了尺寸，才换到了这个地位。这是一个议题征集、议题评审、讲师 PPT 收集、行程告诉简直全副依附 Track Chair 们作为志愿者实现的。他们大多是公司中的研发主力，且无大型流动举办教训，能在忙碌的工作之余，组织起如此数量泛滥、品质突出的演讲，真的是实现了一个看似不可能实现的工作。 第二个霎时是 8 月 18 日 Craig 的首场演讲，Craig 70 多岁的高龄、搭乘了 19 个小时的飞机远渡重洋来到中国，而我在他的脸上看不到丝毫的疲惫感。他的热情洋溢，他在分享 Apache 理念时眼神中的动摇，能够让咱们疏忽他的年龄，也突破本人的年龄焦虑。实际上这个打动是贯通大会始终的，Craig 的神采飞扬不仅仅是在台上，还有在台下更多的无数个霎时。没有演讲的工夫，他大多都抉择认真凝听其余讲者的发言，或者凋谢本人的工夫和参会者们交换。帮忙咱们突破年龄焦虑的还有组织了 20 多年 ApacheCon NA 的 Rich 和人见人爱（合影）的 Justin。酷爱可抵岁月漫长，但能够帮忙咱们穿梭周期的绝不仅仅是酷爱，还有动摇的信念，和对一件事件继续的、足够多的投入。 第三个霎时是讲师晚宴上的切蛋糕环节。这是 8 月 18 日下午 17:00 左右谭中意老师长期起意，心愿安顿的环节，咱们长期预订蛋糕，蛋糕店也特地给力地安顿了 5 位徒弟同时制作，才在 19:00 前将蛋糕送到现场。因为是长期安顿的环节，没有特地的策动，作为晚宴环节的主持人，邀请几位 Apache 的 Board Member 和 ALC Beijing 的成员们下台后，我甚至感觉有点 “drama”，但大家很好地化解了我那一刻的难堪。一人一刀分享蛋糕的动作，就仿若咱们在社区中集众智众力的过程，很好地具象化诠释了蛋糕上微小的文字 “Apache Success in China”。作为不善表白但心田流动无比饱满的小 i 人，通过疯狂的脑补居然在那一刻无比打动。 ...

申明：本文是 Apache 基金会所著文章《ASF GENERATIVE TOOLING GUIDANCE》的中文译文。 原文链接：https://www.apache.org/legal/generative-tooling.html 版本 1.0 章节（目录） 对 ASF 我的项目的奉献是否包含人工智能生成的内容？文档如何解决？图像如何解决？如果奉献中蕴含人工智能生成的内容，而该内容被辨认出剽窃或复制的资料，咱们该怎么办？对 ASF 我的项目的奉献是否包含人工智能生成的内容Apache-2.0 许可协定和 Apache 集体奉献许可协定（ICLA）都揭示贡献者，他们有责任披露所提交奉献中任何非其自己原创且受版权保护的资料。在应用生成式人工智能工具时，以及在应用来自公共网站的材料或其余开源我的项目的代码时，这一点同样实用。 在披露这些资料时，投稿人还应阐明这些资料的许可协定状况。ASF 制订了《第三方许可政策》，就可承受的许可协定提供领导意见，并阐明如何解决第三方作品。 尽管一般来说，非人类（如机器或猴子)生成的内容不具备版权，但如果内容由人工智能生成的局部和人类撰写的其余局部组成，则人类撰写的局部可能具备版权。 正如以下美国版权局注册指南(3/16/2023）所解释的那样： "例如，人类能够抉择或安顿人工智能生成的资料，使其具备足够的创造性，"由此产生的作品整体上形成原创作品"。 或者，艺术家能够对人工智能技术最后生成的资料进行批改，使批改达到版权保护的规范。在这些状况下，版权将只爱护作品中人类创作的局部，这些局部'独立于'人工智能生成的资料自身，并且'不影响'其版权位置"。这些由人类撰写的局部可能仅仅来自人类提供的提醒或随后做出的批改。不过，生成式人工智能的一个突出问题是有可能复制其所训练的资料的局部内容，其中一些可能是受版权保护的主题。因而，在应用生成式人工智能工具时，倡议应用具备以下性能的工具：辨认任何与工具训练数据类似的内容，以及该内容的许可证。 鉴于以上所述，如果贡献者能确保全副或局部应用人工智能生成的代码能够被用于奉献： 1、生成式人工智能工具的条款和条件没有对输入后果的应用施加任何与开源定义（OSI - Open Source Definition）不统一的限度（例如，ChatGPT 的条款就不统一）。 2、至多满足以下条件之一：     ① 输入不受版权保护的主题（即便由人制作也不属于可受版权保护的主题）；     ② 输入后果中不包含第三方资料；     ③ 输入后果中蕴含的任何第三方资料都是在第三方版权持有者的许可下（例如，在兼容的开源许可协定下）应用的，并恪守了实用的许可条款。 3、如果人工智能工具自身提供了对于可能已被复制的资料的足够信息，或从代码扫描后果中取得了足够的信息，那么贡献者就能够正当地确定条件 2.2 或 2.3 曾经满足。 例如，AWS CodeWhisperer 最近减少了一项性能，提供告诉和归属。在提供应用生成式人工智能工具撰写的奉献时，举荐的做法是贡献者注明创立奉献时应用的工具。这应作为一个标记蕴含在源代码管制提交信息中，例如蕴含 "Generated-by: " 短语。这样就能够思考在将来公布工具时，将这些内容提取到一个机器可解析的工具证明文件中。 最初，请留神，只管上述内容在 2023 年 6 月看来是一套正当的指导方针，但这是一个疾速倒退的畛域。无论咱们明天向项目管理委员会（PMC）倡议什么，相干政策都须要适时从新评估和更新，以适应以下状况： 法律的变动人工智能技术和相干工具的变动（例如，随着人工智能模型的倒退，(1) 可能在复制其训练所根据的局部材料时发出通知，或 (2) 可能依据批示复制通过许可（或以其余形式兼容 Apache 许可协定 2.0）的受权源资料开源软件使用者对危险和模糊性容忍度的变动咱们将持续与项目管理委员会（PMC）和 ASF 成员沟通，探讨以及更新常见问题（FAQ）的内容。 文档如何解决？上述内容同样实用于文档。不过，最风行的文档工具 ChatGPT 有限制性许可，因而应审慎应用。 图像如何解决？与文档一样，上述准则依然实用。只管图像是一种非文本模式，但其细节很快就会变得复杂。咱们预计这将持续是一个疾速倒退的畛域。 如果奉献中蕴含人工智能生成的内容，而该内容被辨认出剽窃或复制的资料，咱们该怎么办？与其余任何奉献一样，请参考第三方许可政策。 开源雨林围绕开源通识、开源应用、开源奉献三大方面构建常识体系，愿把长期积攒的教训系统化分享给企业，在团队、机制、我的项目三方面提供单干，推动各企业更高效地应用开源、奉献开源，晋升全行业开源技术与利用程度。  开源雨林的内容已开源，并托管在 https://github.com/opensource-rainforest/osr ，欢送通过 Pull Request 的模式奉献内容，通过 Issue 的模式展开讨论，独特保护开源雨林的内容。 ...

hi，社区的敌人们，ShardingSphere 5.4.0 重磅公布啦～社区在此正式感激在新版本中，为社区做出奉献的所有开发者们！ 「扫码浏览发版文章」，详览「新版细则」，欢送“码友”们「上手试用」，顺手提 issue ，谢谢大家的反对 ❤️

盘点2021年Apache年报中呈现的国产我的项目：ShardingSphere, IoTDB, Carbon Data, Eagle, Kylin, Apisix, DolphinScheduler and Echarts.1、引言2021年8 月 31 日，Apache 软件基金会公布 2021 财年（2020 年 5 月 1 日 - 2021 年 4 月 30 日）年度报告，报告内容由 Apache 软件基金会概览、基金会主席报告、财务主管报告、财务报表、资金募集、法律事务、基础设施、平安方面、数据隐衷、营销宣传、品牌治理、会议、社区倒退、多元化与容纳、我的项目及代码、奉献方面、基金会成员、联系方式等十八个局部组成。 Apache 基金会成立于 1999 年，是世界上最大的开源基金会，治理着 2.27 亿行以上的代码，并且 100% 收费向公众提供价值约 220 亿美元的软件，这些软件简直是每个用户计算设施上不可或缺的一部分，而凋谢敌对的 Apache License v2 是开源行业标准，帮忙了总价值超过数十亿美元的公司，并使寰球有数用户受害。报告中指出，统计周期内共有来自228个国家的用户共4095908 次访问，其中来自于中国的用户数量最多，国内用户成为了Apache我的项目的次要使用者。此外，在2020年7 月 15 日，由中国开源软件推动联盟（COPU）主办的2020 第十五届“开源中国开源世界”高峰论坛上，Apache 基金会副主席 Shane Curcuru示意，在过来的 20 年里，Apache 基金会曾经从最后的 21 位创始人倒退到了 800 多位 Apache 会员，我的项目提交数量稳步增长，当初已有近 8000 名提交者，这些 Apache 我的项目中的提交者曾经公布了超过 2 亿行代码。尤其值得关注的是，来自中国的新社区和贡献者退出 Apache 我的项目的速度增长惊人，Shane Curcuru 这样说道：“令人兴奋的是，中国的技术专家和公司如此迅速地采纳寰球开源技术。当初，不仅帮忙 Apache 建设新我的项目，而且改善开源自身的工作形式，来自中国的整个 Apache 新我的项目的倒退也让人印象粗浅。咱们目前有 10 个源于中国的顶级我的项目，其中几个我的项目十分有名，当初还有 9 个来自中国的 Apache 孵化器我的项目正在致力成为顶级我的项目。重要的是，这些 Apache 我的项目涵盖了从大数据、流媒体到物联网，再到所有波及云治理的技术畛域。” ...

在 6 月 18-23 日召开的 ACM SIGMOD 2023 峰会上，Apache Flink 荣获了本年度的零碎奖（Systems Award）。 SIGMOD 大会由美国计算机协会（ACM）数据管理业余委员会（SIGMOD）发动，是数据管理、数据处理和数据存储畛域最具影响力的国际性学术会议之一，所收录学术成绩代表了行业内最高程度。SIGMOD 零碎奖是颁发给软硬件零碎开发者的奖项，以表彰其技术奉献在世界范畴内对大规模数据管理系统的实践与实际所产生的重大影响。自 2015 年设立以来，该奖项每年仅颁发给一个零碎的开发者集体或团队。本次 Apache Flink 获此殊荣，体现了学术界对 Flink 技术先进性与业界影响力的高度认可，也再度印证了 Flink 是当下实时流解决畛域的事实标准。 作为一个开源我的项目，Apache Flink 的胜利离不开整个开源社区整体开发者和用户的反对，尤其是来自中国的开发者和用户为此作出了突出的奉献。在 Apache Flink 项目管理委员会（PMC）的积极争取下，SIGMOD 首次将获奖我的项目的整体 PMC 成员和 Committer （共 101 人）列入了获奖名单，同时向未能全副列入名单的 1400 余名我的项目历史上的贡献者表白尊重与感激。 荣誉是对过来的必定，更是对将来的期许。目前 Apache Flink 社区正在踊跃筹备 2.0 版本，预计将会在明年公布，也将标记着 Flink 迈入全新的篇章。将来，Apache Flink 将持续携手社区，继续翻新，开辟前行。 Apache Flink PMCApache Flink 中文社区2023 年 6 月 25 日 附：以下为获奖名单，同时再次向未能全副列入名单的 1400 余名 Apache Flink 我的项目历史上的贡献者表白尊重与感激。 Aljoscha Krettek, Andrey Zagrebin, Anton Kalashnikov, Arvid Heise, Asterios Katsifodimos, Jiangji (Becket) Qin, Benchao Li, Bowen Li, Caizhi Weng, ChengXiang Li, Chesnay Schepler, Chiwan Park, Congxian Qiu, Daniel Warneke, Danny Cranmer, David Anderson, David Morávek, Dawid Wysakowicz, Dian Fu, Dong Lin, Eron Wright, Etienne Chauchot, Fabian Hueske, Fabian Paul, Feng Wang, Gabor Somogyi, Gary Yao, Godfrey He, Greg Hogan, Guowei Ma, Gyula Fora, Haohui Mai, Henry Saputra, Hequn Cheng, Igal Shilman, Ingo Bürk, Jamie Grier, Jark Wu, Jincheng Sun, Jing Ge, Jing Zhang, Jingsong Lee, Junhan Yang, Konstantin Knauf, Kostas Kloudas, Kostas Tzoumas, Kete (Kurt) Young, Leonard Xu, Lijie Wang, Lincoln Lee, Lungu Andra, Martijn Visser, Marton Balassi, Matthias J. Sax, Matthias Pohl, Matyas Orhidi, Maximilian Michels, Nico Kruber, Niels Basjes, Paris Carbone, Piotr Nowojski, Qingsheng Ren, Robert Metzger, Roman Khachatryan, Rong Rong, Rui Fan, Rui Li, Sebastian Schelter, Seif Haridi, Sergey Nuyanzin, Seth Wiesman, Shaoxuan Wang, Shengkai Fang, Shuyi Chen, Sihua Zhou, Stefan Richter, Stephan Ewen, Theodore Vasiloudis, Thomas Weise, Till Rohrmann, Timo Walther, Tzu-Li (Gordon) Tai, Ufuk Celebi, Vasiliki Kalavri, Volker Markl, Wei Zhong, Weijie Guo, Xiaogang Shi, Xiaowei Jiang, Xingbo Huang, Xingcan Cui, Xintong Song, Yang Wang, Yangze Guo, Yingjie Cao, Yu Li, Yuan Mei, Yun Gao, Yun Tang, Yuxia Luo, Zhijiang Wang, Zhipeng Zhang, Zhu Zhu, Zili Chen ...

前言事件驱动，这个词在局部人印象中，它是一个过期的技术——没什么新意。从工夫上看，的确也是这样，上世纪 60 年代，事件驱动就曾经被正式提出，常常会被利用在 GUI 编程中。然而在有些人印象中，事件驱动又是一个十分生疏，十分新鲜的技术。 不论怎么样，事实是曾经有越来越多的公司，开始或则经把事件驱动架构利用到企业的外围业务中，包含：阿里巴巴、喜力、联合利华、美国联邦航空管理局、银行资本市场等等。市场上，也有很多公司推出了本人的产品或解决方案，比方阿里云、AWS、Google，Solace。行业里也孕育出了事件的规范：CloudEvents。Gartener，则把事件驱动定义为将来十大趋势之一。 这个时候，咱们就要问了，事件驱动架构到底是什么呢？为什么当初被越来越多的人，开始关注事件驱动架构了呢？ 5 月 28 日，GOTC 2023 寰球开源技术峰会上，阿里云智能技术专家沈林发表主题演讲：Apache RocketMQ 事件驱动引擎。 $$阿里云智能技术专家：沈林$$ 什么是事件？说到事件驱动架构，大家第一印象往往会把重点放在“架构”这两个字上，然而，事件驱动架构很大的魅力其实来源于后面“事件”两个字，所以明天，咱们先一起看下什么是事件。RocketMQ 之前始终给人的印象是一个音讯引擎，那为什么咱们在前段时间公布的 5.0 版本中，引入了事件？音讯跟事件，又有什么区别呢？ 事件，如果咱们查阅字典，他会给你这样一个解释：事件是指过来曾经产生的事，尤其是比拟重要的事。 这个很好了解啊。比方，GOTC 大会明天在上海正式揭幕了；方才我的手机铃声响了；这些都是过来曾经产生的事件。 然而，如果咱们接着方才的问题问：事件跟音讯有什么区别呢？这个时候，大家是不是感觉事件这个定义，如同又不那么清晰了？方才咱们说的那些事件，是不是也能够了解为音讯？如果这个时候，老张给我发送了一条短信，那这个短信，算是事件，还是音讯呢？ 咱们能够通过这张图，来简略了解音讯和事件的关系。音讯蕴含两类，一类是 Command 音讯，另一类就是 Event 音讯。 1、Command 音讯是什么？咱们看上面右边这张图，内部零碎发送给本零碎的一条操作命令，就是Command音讯； 2、那什么是 Event 音讯呢？再看上面左边这张图，本零碎收到内部 Command 操作申请，零碎外部产生扭转之后，就产生了 Event； 所以，事件和音讯略微有些不同。事件，能够了解为是一种非凡的音讯，那事件非凡在什么中央呢？次要蕴含 4 个方面： 事件的个性 1：已产生且不可变的事件，肯定是“已发的”。“已产生”的代表什么呢？不可变的。咱们不可能扭转过来，除非你有超能力。这个个性十分重要，在咱们处理事件、剖析事件的时候，这就意味着，咱们相对能够置信这些事件，只有是收到的事件，肯定是零碎实在产生过的行为，而且是 Immutable，不可批改。 比照 Command 音讯，Command 的中文是什么？命令！很显然，它还是没有产生的，而是表白了一种冀望。咱们晓得，“冀望的”不肯定会胜利产生。比方： 把厨房的灯关上；去按下门铃；转给 A 账户 10w；这些都是 Commond，都是冀望产生的行为。然而，最终有没有产生呢？并不知道。 Event 则是明确曾经产生的事件。比方： 厨房灯被关上了；有人按了门铃；A 账户收到了 10w事件的个性 2：无冀望的事件的第二个个性是：无冀望的。事件是主观的形容一个事物的状态或属性值的变动，但对于如何处理事件自身并没有做任何冀望。相比之下，Commond 则是有冀望的，它心愿零碎做出扭转；然而 Event，它只是主观形容零碎的一个变动。咱们举一个例子：交通信号灯从绿灯变成红灯，它就是一个事件。事件自身并没有任何冀望，说要求行人或汽车禁止通行，而是交通法规须要红绿灯，并赋予了其规定。 所以，零碎，个别不会定向的、独自向一个指定的零碎发送事件，而是对立的通知“事件核心”。“事件核心”那外面有各个系统上报上来的，各式各样的事件。零碎会向事件核心阐明：本人这个零碎，会产生哪些事件，这些事件的格局是怎么样的；别的零碎如果感兴趣，就能够来被动订阅这些事件；真正赋予事件价值的，是事件消费者。事件消费者想看看，某个零碎产生了什么变动？OK，那他就去订阅这些事件，所以事件是消费者驱动的。 这跟音讯有什么区别呢？Commond 音讯的发送和订阅，是单方约定好的，外人不晓得，往往是以文档或代码的模式，大家按约定好的协定，发送和订阅生产，这个过程往往是生产者驱动的。 打个比喻，事件就像市场经济，商品被生产进去，具体有什么价值，有多大价值，很大水平上看其消费者。咱们能看到零碎中各种各样的事件，就像橱窗里摆放了各种各样的商品；而 Commond 音讯，有点像计划经济，一出世就带着很强的目的性，“我”就是要“调配”给谁生产。 ...

2023 年 4 月 21 日，由中国信通院主办的 OSCAR 开源生态建设论坛在北京胜利召开。本次论坛，中国信通院公布了可信开源我的项目星云象限。星云象限依靠于可信开源我的项目指数中风行度、参与度、响应度、平安能力和法律合规五个指标，从我的项目可持续性与可信性两个维度，将可信开源共同体我的项目分为四个阶段，别离为孵化型、成长型、挑战型、领导型，选取人工智能、数据库、中间件、操作系统、大数据、云原生平台6个热门技术畛域中的 16 个我的项目进行测评。其中，Apache RocketMQ 凭借团队在开源畛域的继续投入与卓越的产品力，入选星云象限领导型象限。 残缺内容请点击下方链接查看： https://developer.aliyun.com/article/1207236?utm_content=g_10... 版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。

摘要：本文次要介绍巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。咱们基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的落地实际次要分为三期：第一期是在调研验证的根底上进行数仓分层，并且上线一些简略的业务验证成果；第二期是实现流式数仓的基础设施建设，以便优先替换以后基于 Apache Kafka 构建的实时数仓；第三期次要是欠缺 Paimon 的生态建设，包含数据资产、数据服务等平台服务建设，次要指标是提供残缺的基于 Apache Paimon(Incubating) 端到端的平台服务能力。目前根本实现第一期的数仓分层，同时进行数据品质验证，根本能够满足业务需要。咱们基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的落地实际次要分为三期：第一期是在调研验证的根底上进行数仓分层，并且上线一些简略的业务验证成果；第二期是实现流式数仓的基础设施建设，以便优先替换以后基于 Apache Kafka 构建的实时数仓；第三期次要是欠缺 Paimon 的生态建设，包含数据资产、数据服务等平台服务建设，次要指标是提供残缺的基于 Apache Paimon(Incubating) 端到端的平台服务能力。目前根本实现第一期的数仓分层，同时进行数据品质验证，根本能够满足业务需要。 残缺内容请点击下方链接查看： https://developer.aliyun.com/article/1202715?utm_content=g_10... 版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。

Apache Flink 社区很荣幸地发表 Apache Flink ML 2.2.0 版本正式公布！本次公布的版本重点增加了 Flink ML 中的特色工程算法。当初 Flink ML 蕴含了 33 个开箱可用的特色工程算法，能够反对很多常见的特色工程工作。随着这些算法的增加，咱们置信 Flink ML 曾经筹备好用于须要特色工程的生产作业，例如预处理离线和在线机器学习工作的输出数据。咱们激励您下载该版本 [1] 并通过 Flink 邮件列表 [2] 或 JIRA [3] 与社区分享您的反馈！咱们心愿您喜爱新版本，并且咱们期待理解您的应用体验。 重要个性1. 引入在线推理服务须要的接口和基础设施在机器学习中，模型训练的次要指标之一是将已训练好的模型部署并反对在线推理。在线推理服务须要以毫秒级提早响应传入申请。之前公布的 Flink ML 算子仅反对应用 Flink 流解决引擎进行近线推理，提早性能无奈满足在线推理的须要。 残缺内容请点击下方链接查看： https://developer.aliyun.com/article/1196575?utm_content=g_10... 版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。

摘要：当零碎呈现大量或者重大的谬误却不被人感知，将会对业务产生影响，从而导致资产损失。当竞争对手施行了新战术，却无奈及时感知，跟不上竞争对手的节奏，总是追着对方尾巴走。当要做决策的时候，海量的业务数据增长却无奈实时看到聚合后果，决策总是凭借过往教训或者过期的数据分析之上。能够看到如果没有数据分析，咱们的零碎大部分工夫处于黑盒状态，对业务的决策也只能凭借过往教训。实时与批量的数据分析能够帮忙企业洞察谬误，改善服务，进行决策。数据分析也是营销、运维、决策的重要撑持，越来越多的企业和部门曾经意识到实时与批量数据的剖析价值，开始进行数据分析系统的建设。 而在做数据分析时候要思考数据的时效性，须要依据场景来抉择离线数据分析或者是实时数据分析。 离线数据分析个别是依据固定的周期，比方每天统计一次，每周统计一次等相似于定时工作执行的场景，个别大家称为“批处理” 。 实时数据分析个别基于数据事件，数据产生了就立刻解决，数据在源源不断的产生，计算也在不停地运行，就像是始终流动的水流一样通过层层的管道计算解决，个别大家称为”流解决“。 批处理和流解决各有优缺点批处理更有利于对历史数据，最终数据状态等场景的解决，可无效的计算出比拟精确的后果，然而数据分析后果的实时性不太好。批处理的场景：例如咱们的微信静止排名、信用卡的月账单等。 流解决的数据实时性是十分好的，数据所见即所得，不过实时的数据分析与计算对资源耗费比拟大，如果后续数据产生了扭转后期无奈计算数据的最终状态。流解决的场景：例如小视频的实时个性化举荐、双十一实时金额的滚动大盘等。 能够看到个别状况下批处理更关注的是海量离线数据的完整性和对海量数据疾速计算解决的能力，流解决更关注的是数据的时效性和疾速计算解决能力。不过一个齐备的大数据批处理和流解决中间件不仅仅须要关注高吞吐量、低提早这样的根底性能相干的性能，更须要反对状态和故障复原等高可用的能力 。 Apache Flink 正是一个具备高性能和高可用的批流解决大数据中间件，同时还具备批流一体的解决能力，流解决也在业界处于领先水平。被宽广互联网公司应用，上面咱们就来进入正题看下对于 Apache Flink 的一些内容吧。 Apache Flink 是什么？依据官网的介绍：Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算的分布式解决引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。上面两个图是来自官网首页的Flink 批流解决的架构图，能够整体来看一下。 整体来看Flink这样的流批零碎次要蕴含了采集数据（source)，解决数据(process)，导出数据(sink) 三个局部。采集数据形式蕴含了实时数据的流解决和历史数据的批处理形式。数据源能够来源于利用、设施、日志，数据库等其余数据，导出数据与导入数据一样能够将数据导出到各种类别的接收数据的服务。除了采集数据和导出数据，Flink中最外围的内容还有两头通过流式计算来解决有状态和无状态的数据这一部分，上面就来看一看。 在 Flink 中，应用程序由用户自定义算子转换而来的流式 dataflows 所组成。这些流式 dataflows 造成了有向图，以一个或多个源（source）开始，并以一个或多个汇（sink）完结，如下图所示。 其中 Flink 的流解决在业界处于领先水平，对于流解决的一些概念有必要再深刻理解一下。 流后面曾经简略介绍过流解决的一些概念上面就来看下与流相干的其余名词。 有界和无界的数据流无界流 有定义流的开始，但没有定义流的完结。它们会无休止地产生数据。无界流的数据必须继续解决，即数据被摄取后须要立即解决。咱们不能等到所有数据都达到再解决。 有界流 有定义流的开始，也有定义流的完结。有界流能够在摄取所有数据后再进行计算。有界流所有数据能够被排序，所以并不需要有序摄取。有界流解决通常被称为批处理。 流能够是无界的，也能够是有界的，例如固定大小的数据集Flink 在无界的数据流解决上领有诸多功能强大的个性，同时也针对有界的数据流开发了专用的高效算子。 实时和历史记录的数据流所有的数据都是以流的形式产生，但用户通常会应用两种截然不同的办法解决数据。或是在数据生成时进行实时的解决；亦或是先将数据流长久化到存储系统中——例如文件系统或对象存储，而后再进行批处理。Flink 的利用可能同时反对解决实时以及历史记录数据流。 状态状态这个词语 ChatGPT 的解释如下： 在计算机科学中，状态是指在特定工夫点上，零碎或程序的所有变量和值的汇合。 Flink 官网是这样解释的如下： 任何运行根本业务逻辑的流解决利用都须要在肯定工夫内存储所接管的事件或两头后果，以供后续的某个工夫点（例如收到下一个事件或者通过一段特定工夫）进行拜访并进行后续解决。 对于状态治理是十分实用的，个别状况下咱们都冀望咱们的利用是无状态的随时能够重启或者扩容，然而理论场景很多时候咱们计算的数据须要有肯定的记录来保障幂等或者数据处理的地位。Fink曾经为咱们提供了这样的状态管理机制间接应用即可。 工夫工夫是流解决利用另一个重要的组成部分。因为事件总是在特定工夫点产生，所以大多数的事件流都领有事件自身所固有的工夫语义。例如窗口聚合、会话计算、模式检测和基于工夫的 join。流解决的一个重要方面是应用程序如何掂量工夫，即辨别事件工夫（event-time）和解决工夫（processing-time）。 三种工夫语义： 事件工夫(event time)： 事件产生的工夫，记录的是设施生产(或者存储)事件的工夫。摄取工夫(ingestion time)： Flink 读取事件时记录的工夫。解决工夫(processing time)： Flink pipeline 中具体算子处理事件的工夫。Flink 提供了 watermarks 机制 — 它们定义何时进行期待较早的事件。 watermarks 给了开发者流解决的一种抉择，它们使开发人员在开发应用程序时能够管制提早和完整性之间的衡量。 ...

所有的资源管理零碎都须要解决资源的无效利用、工作的无效响应、调度策略的灵便配置这三个最根本问题。那么在分布式的场景下，YARN和Kubernetes是怎么解决的呢？本篇进行介绍。 — Apache YARN —YARN全称为（Yet Another Resource Negotiator），是一个集群共享的调度框架，有良好的可伸缩性，以及调度器自身有十分高的可靠性。YARN的架构如下图所示，其中ResourceManager管制整个集群，并管理应用程序对根底计算资源的调配。它将各个资源局部（计算、内存、带宽等）安顿给根底NodeManager（YARN 的每节点代理）。ResourceManager还与 Application Master一起分配资源，与NodeManager一起启动和监督它们的根底应用程序。在此上下文中，Application Master承当了以前的TaskTracker的一些职责，ResourceManager承当了 JobTracker 的角色。 Application Master治理一个在YARN内运行的应用程序的每个实例，并负责协调来ResourceManager的资源，并通过 NodeManager监督容器的执行和资源应用（CPU、内存等的资源分配）。从YARN 角度讲，Application Master 是用户代码，因而存在潜在的平安问题。NodeManager治理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务，从监督对一个容器的终生治理到监督资源和跟踪节点衰弱。NodeManager治理形象容器，这些容器代表着可供一个特定应用程序应用的针对每个节点的资源。Container是YARN中资源的形象，封装了某节点上一定量的资源（内存，CPU），Container的运行由Application Master向资源所在的NodeManager发动。 一个MapReduce Job的调度过程如下图所示，个别会蕴含提交Job、启动Application Master、申请资源需要、通过后通过Container来进行数据处理这四步。这个流程也同样实用于Spark、Flink等计算引擎。通过YARN的这套资源管理体系，所有的中短期的计算工作都能够无效的失去对立的治理与调度。 调度能力是YARN的外围能力，YARN社区一共提供了FIFO、Fair和Capacity三种调度模型，用户也能够继承ResourceScheduler的接口实现自定义的调度器。FIFO Scheduler顾名思义是最简略的调度器，提交的作业依照提交工夫先后顺序或者依据优先级秩序将其放入线性队列相应的地位，在资源调度时，依照队列的先后顺序、先进先出地进行调度和资源分配。这种调度器过于简略，在理论的生产中，利用不是很多，毕竟须要调度的作业是有不同的优先级的。 在一些多用户的场景下，如大型团体每天夜间通过不同用户运行不同利用须要的批处理数据加工工作，利用的数量可能是数十个之多，集群资源在用户之间调配的公平性就比拟重要。为了应答多租户的需要，社区推出了Capacity Scheduler，让不同的组织应用各自的资源，相互之间不影响，同时进步整个集群的利用率和吞吐量。Capacity Scheduler将资源分为多个队列，每个队列调配一部分资源，不同组织或用户的利用运行在其各自的队列中，从而做到资源隔离。在一个状况容许的状况下，为了晋升集群吞吐，也容许队列之间的资源抢占。 Fair Scheduler将资源划分到多个资源池中，每个资源池设定资源分配最低保障和最高下限，管理员也能够指定资源池的优先级，优先级高的资源池将会被调配更多的资源，当一个资源池有残余时，能够长期将残余资源共享给其余资源池。Fair Scheduler先将用户的工作挂载到如下图的树形队列的叶子节点上，期待后续的资源调度。每个调度周期开始后，Scheduler抉择集群中的一个节点，从树形队列的根节点登程，每层队列都依照依照作业的优先级或者依据偏心策略来抉择一个子队列，最初在叶子节点上依照偏心策略来抉择一个App，而后为这个App在对应的节点上调配适配的资源从而开始计算工作。 为了更好的反对生产需要，Fair Scheduler还反对抢占式调度，如果某个资源池长时间未能调配到偏心共享量的资源，调度器则会杀死过多分配资源的资源池的工作，以腾出资源并调配到这个资源池中供对应的任务调度。此外，它还提供了一个基于工作数目的负载平衡机制，从而将零碎工作尽可能平衡的调配到各个节点上。 — Google Kubernetes —Kubernetes是Google的开源我的项目，用来治理Docker集群, 继承了Borg的长处，实现了编排、部署、运行以及治理容器利用，下图是Kubernetes的总体架构。Kubernetes提供资源池化治理，能够将整个集群内的CPU、GPU、内存、网络和硬盘等资源形象为一个资源池，能够依据利用的资源需要灵便的依据资源池中的实时资源状况进行调度；Kubernetes蕴含一个对立的调度框架，能够治理最多数千个服务器和数万个容器，同时提供插件化的接口让第三方来定制和扩大新的调度零碎；此外Kubernetes反对通过ConfigMap等形式来动静的调整利用配置，从而具备动静调配的根底能力。咱们将基于这些根底技术来开发反对简单利用平台的调度零碎。 对于Kubernetes的具体介绍，能够查看往期文章：Docker和Kubernetes的前世今生（下） — 小结—本篇介绍了两个分布式资源管理技术YARN和Kubernetes。开源社区从2018年开始，多个我的项目如Spark、Flink、Tensorflow等都开始从YARN转向基于Kubernetes的治理和调度。长期上看，作为Hadoop集群的资源管理零碎，YARN十分无效的实现了其技术价值，但受限于其架构设计，很难往一个通用的数据中心调度零碎演进。星环科技在2017年曾经实现外部大数据平台从YARN切换到Kubernetes，下一篇将从存储、计算、资源调度等方面介绍星环大数据技术体系。

教程简介Apache Commons DBUtils入门教程 - 从根本到高级概念的简略简略步骤相熟Apache Commons DBUtils，其中包含概述，环境设置，第一个应用程序，根本CRUD示例，创立，读取，更新，删除查问，DBUtils对象，QueryRunner ，AsyncQueryRunner，ResultSetHandler，BeanHandler，ArrayListHandler，BeanListHandler，MapListHandler，高级DBUtils示例，自定义处理程序，自定义行处理器，应用DataSource。 Apache Commons DbUtils是Apache组织提供的一个对JDBC进行简略封装的开源工具类库，应用它可能简化JDBC应用程序的开发，同时也不会影响程序的性能。 教程目录Apache Commons DBUtils教程Apache Commons DBUtils - 概述Commons DBUtils - 环境设置Apache Commons DBUtils - 第一个应用程序Apache Commons DBUtils - 创立查问Apache Commons DBUtils - 读取查问Apache Commons DBUtils - 更新查问Apache Commons DBUtils - 删除查问Commons DBUtils - QueryRunner接口AsyncQueryRunner接口ResultSetHandler接口Commons DBUtils - BeanHandler类Commons DBUtils - BeanListHandler类Commons DBUtils - ArrayListHandler类Commons DBUtils - MapListHandler类Apache Commons DBUtils - 自定义处理程序Commons DBUtils - 自定义行处理器Commons DBUtils - 应用DataSourceApache Commons DBUtils - 有用的资源

配置须要批改apache httpd加载配置文件httpd-info.conf 须要凋谢拜访server-info和server-status的权限 docker实现创立Dockerfile如下 FROM httpd:2.4-alpine# 启用httpd info 模块RUN sed -i "s|#Include conf/extra/httpd-info.conf|Include conf/extra/httpd-info.conf|g" /usr/local/apache2/conf/httpd.conf# 加载mod info 凋谢拜访server info 信息RUN sed -i "s|#LoadModule info_module modules/mod_info.so|LoadModule info_module modules/mod_info.so|g" /usr/local/apache2/conf/httpd.conf# 配置容许近程拜访，防止403谬误RUN sed -i "s/Require host .example.com/Order deny,allow/g" /usr/local/apache2/conf/extra/httpd-info.confRUN sed -i "s/Require ip 127/Allow from all/g" /usr/local/apache2/conf/extra/httpd-info.conf创立compose.yaml services: apache: container_name: demo-apache image: demo-apache build: . restart: always ports: - "80:80"构建镜像 $ docker compose build服务启动 $ docker compose up -d查看拜访配置信息 $ docker exec demo-apache cat /usr/local/apache2/conf/extra/httpd-info.conf....<Location /server-status> SetHandler server-status Order deny,allow Allow from all</Location>....<Location /server-info> SetHandler server-info Order deny,allow Allow from all</Location>验证后果浏览器拜访地址http://127.0.0.1/server-status获取服务状态信息 ...

作者：京东物流 康琪本文综合Apache Flink原理与京东实时计算平台（JRC）的背景，具体讲述了大规模Flink流作业的调优办法。通过浏览本文，读者可理解Flink流作业的通用调优措施，并利用于生产环境。 写在后面Apache Flink作为Google Dataflow Model的工业级实现，通过多年的倒退，现在曾经成为流式计算开源畛域的事实标准。它具备高吞吐、低时延、原生流批一体、高一致性、高可用性、高伸缩性的特色，同时提供丰盛的层级化API、工夫窗口、状态化计算等语义，不便用户疾速入门实时开发，构建实时计算体系。 古语有云，工欲善其事，必先利其器。要想让大规模、大流量的Flink作业高效运行，就必然要进行调优，并且了解其背地的原理。本文是笔者依据过往教训以及调优实际，联合京东实时计算平台（JRC）背景产出的面向业余人员的Flink流作业调优指南。次要蕴含以下四个方面： TaskManager内存模型调优网络栈调优RocksDB与状态调优其余调优项本文基于Flink 1.12版本。浏览之前，倡议读者对Flink根底组件、编程模型和运行时有较深刻的理解。 01 *TaskManager内存模型调优1.1 TaskManager内存模型与参数目前的Flink TaskManager内存模型是1.10版本确定下来的，官网文档中给出的图示如下。在高版本Flink的Web UI中，也能够看到这张图。 图1 TaskManager内存模型 上面来看图谈话，分区域给出比官网文档具体一些的介绍。t.m.即为taskmanager. memory.前缀的缩写。 1.2 平台特定参数除了TaskManager内存模型相干的参数之外，还有一些平台提供的其余参数，列举如下。 1.3 TM/平台参数与JVM的关系上述参数与TaskManager JVM自身的参数有如下的对应关系： -Xms | -Xmx → t. m. framework. heap. size + t. m. task. heap. size-Xmn → -Xmx * apus. taskmanager. heap. newsize. ratio-XX: Max Direct Memory Size → t. m. framework. off- heap. size + t. m. task. off- heap. size + $network-XX: Max Metaspace Size → t. m. jvm- metaspace. size另外，还能够通过env.java.opts.{jobmanager | taskmanager}配置项来别离设定JM和TM JVM的附加参数。 ...

3 月 10 日凌晨，Apache 软件基金会（下称 ASF ）举办了一年一度的寰球成员会议，并选举出了新的董事会成员，开源雨林大咖姜宁连任 2023 年度 Apache 软件基金会董事。 图源：Apache 软件基金会官网博客 内容译文在这周 Apache 软件基金会（下称 ASF ）举办了一年一度的成员会议，并选举出了新的董事会成员： Rich Bowen （连任董事）Bertrand Delacretaz（连任董事）Shane Curcuru（原董事）Sharan Foga（连任董事）Christofer Dutz（连任董事）Willem Jiang（连任董事：姜宁，开源雨林大咖）Justin Mclean（原董事）Craig Russell（原董事）Sander Striker （连任董事）同时，ASF 非常感谢去年的董事成员：Roy Fielding、Sam Ruby，以及Roman Shaposhnik， 感激他们卓越的服务。 让咱们再次欢送新任的董事，以及回归的董事们！ 无关 ASF 治理的概述以及 ASF 董事会、执行官和我的项目/委员会副总裁的残缺列表，请拜访 http://apache.org/foundation/ 更多对于 Apache 基金会的组织构造和运行形式，请参阅 ：http://apache.org/foundation/how-it-works.html#structure 开源雨林大咖 姜宁 姜宁，开源雨林大咖，字节跳动开源办公室首席布道师，前华为开源管理中心技术专家，Apache 软件基金会 2022 年董事，前红帽软件首席软件工程师，Apache 本地北京社群（ALC Beijing）发起人，有十余年企业级开源中间件开发教训，有丰盛的 Java 开发和应用教训，函数式编程爱好者。从 2006 年开始始终从事 Apache 软基金会开源中间件我的项目的开发工作，先后参加 Apache CXF， Apache Camel，Apache ServiceMix，Apache ServiceComb 的开发。对微服务架构，WebServices，Enterprise Integration Pattern，SOA， OSGi 有比拟深刻的钻研。 ...

在刚刚完结的 ASF Annual Meeting 上，2023 年新任董事会成员诞生了。Apache 软件基金会通过官网 blog 向大家颁布了新一任董事的选举成绩。 图源：Apache 软件基金会官网博客 局部内容译文： 在这周 Apache 软件基金会（下称 ASF ）举办了一年一度的成员会议，并选举出了新的董事会成员： Rich Bowen （连任董事）Bertrand Delacretaz（连任董事）Shane Curcuru （原董事）Christofer Dutz（连任董事）Sharan Foga（连任董事）Willem Jiang（连任董事）Justin Mclean（原董事）Craig L Russell（原董事）Sander Striker （连任董事）同时，ASF 非常感谢去年的董事成员：Roy Fielding, Sam Ruby，以及 Roman Shaposhnik， 感激他们卓越的服务。 让咱们再次欢送新任的董事，以及回归的董事们！ 继姜宁入选 2022 Apache 软件基金会新任董事后，在往年，姜宁再次入选 Apache 软件基金会董事，成为首位连任 Apache 基金会董事的华人。 姜宁此前是 Apache 软件基金会 Member 和 Apache Local Community （ALC） Beijing 的发起人，前华为开源管理中心技术专家、红帽软件首席软件工程师，有十五年以上企业级开源中间件开发教训，有丰盛的 Java 开发和应用教训，函数式编程爱好者。 从 2006 年开始始终从事 Apache软件基金会 （ASF） 开源中间件我的项目的开发工做，前后参加 Apache CXF， Apache Camel，Apache ServiceMix，以及 Apache ServiceComb 的开发。2015 年开始负责 ASF 孵化器导师，先后参加孵化了 Apache Rocket，Apache Weex (retired)，Apache Skywalking，Apache ShardingSphere， Apache IoTDB，Apache Doris(Incubating)，Apache APISIX，Apache Shenyu (Incubating)，Apache Kyuubi（Incubating) 。 ...

以 standalone 模式启动 Aapche Pulsarstandalone 模式罕用于开发测试阶段，请勿在生产环境应用。[TOC] 下载 Pulsar： wget https://archive.apache.org/dist/pulsar/pulsar-2.11.0/apache-pulsar-2.11.0-bin.tar.gz解压： tar -xzvf apache-pulsar-2.11.0-bin.tar.gz运行： # 前台运行./apache-pulsar-2.11.0/bin/pulsar standalone# 后盾运行./apache-pulsar-2.11.0/bin/pulsar-daemon start standalone最初，应用 Pulsar Assistant 连贯测试： 常见问题内存小于4GB，导致无奈启动 Pulsar如果你的服务器可用内存有余4GB，可能会在启动Pulsar时失败，在启动Pulsar之前设置内存： export PULSAR_EXTRA_OPTS="-Xms512m -Xmx512m"./apache-pulsar-2.11.0/bin/pulsar standalone在 standalone 模式下启动 Zookeeper最新版的 Pulsar 对 standalone 模式的优化（PIP-117），应用 standalone 模式启动时不在启动 Zookeeper。 如果你想启动Zookeeper，能够通过设置 `PULSAR_STANDALONE_USE_ZOOKEEPER` 环境变量防止 PIP-117 的优化，启动 Zookeeper 存储 Pulsar 集群的元数据：export PULSAR_STANDALONE_USE_ZOOKEEPER=1./apache-pulsar-2.11.0/bin/pulsar standalone在云上或虚拟机内运行 Pulsar编辑 /etc/hosts 文件，增加： 10.0.16.11 node1其中 10.0.16.11 改成你的服务器地址，对于云上服务器，可用内网地址。 批改 apache-pulsar-2.11.0/conf/standalone.conf 文件： # 批改服务向外界颁布的主机名或 IP 地址advertisedAddress=node1# 敞开主动删除非流动主题brokerDeleteInactiveTopicsEnabled=false重新启动Pulsar： ./apache-pulsar-2.11.0/bin/pulsar standalone

该指令容许 Apache httpd 调整 HTTP 重定向响应(HTTP redirect response) Location、Content-Location 和 URI 标头中的 URL。 当 Apache httpd 用作反向代理（或网关）以防止绕过反向代理时，这是必不可少的，因为后端服务器上的 HTTP 重定向位于反向代理之后。 只有下面特地提到的 HTTP 响应头会被重写。 Apache httpd 不会重写其余响应标头，默认状况下也不会重写 HTML 页面内的 URL 援用。 这意味着如果代理内容蕴含相对 URL 援用，它们将绕过代理。 要重写 HTML 内容以匹配代理，您必须加载并启用 mod_proxy_html. 语法： ProxyPassReverse [path] url [interpolate]path 是本地虚构门路的名称； url 是近程服务器的局部 URL。 这些参数的应用形式与 ProxyPass 指令雷同。 例如，假如本地服务器的地址为 http://example.com/； 而后有上面的 proxy 配置： ProxyPass "/mirror/foo/" "http://backend.example.com/"ProxyPassReverse "/mirror/foo/" "http://backend.example.com/"ProxyPassReverseCookieDomain "backend.example.com" "public.example.com"ProxyPassReverseCookiePath "/" "/mirror/foo/"下面的配置不仅会导致对 http://example.com/mirror/foo... 的本地申请在外部转换为对 http://backend.example.com/bar 的代理申请（ProxyPass 在这里提供的性能）. 它还负责在将 http://backend.example.com/bar 重定向到 http://backend.example.com/quux 时服务器 backend.example.com 发送的重定向。 Apache httpd 在将 HTTP 重定向响应转发给客户端之前将其调整为 http://example.com/mirror/foo...。 请留神，用于构建 URL 的主机名是依据 UseCanonicalName 指令的设置抉择的。 ...

导语 Apache Pulsar 是一个多租户、高性能的服务间音讯传输解决方案，反对多租户、低延时、读写拆散、跨地区复制、疾速扩容、灵便容错等个性。其原生反对了跨洲际级别的跨地区复制的解决方案，并联合其本身的 Tenant 和 Namespace 级别的形象，能够灵便的反对不多品种，不同场景下的跨地区复制解决方案。 需要背景目前腾讯公司外部业务在应用 Pulsar 的过程中，综合业务是否是在线影响用户体检，是否产生营收影响，以及在降本增效趋势下的老本思考，会抉择不同级别的容灾策略，上面从业务场景以及保障水平形容 Pulsar 以及客户端的容灾部署和策略配置。 Pulsar 多正本机制以及强一致性在一致性方面，Pulsar 采纳 Quorum 算法，通过 Write Quorum 和 Ack Quorum 来保障分布式音讯队列的正本数和强统一写入的应答数(A>W/2)。在性能方面，Pulsar 采纳 Pipeline 形式生产音讯，通过程序写和条带化写入升高磁盘 IO 压力，多种缓存缩小网络申请放慢生产效率。 另一方面，在单个 Bookie 写入数据的时候能够配置强制刷盘写 Journal 即 Wal. 这个 Journals 文件里存储的相当于 BookKeeper 的事务 Log 或者说是写前 Log, 在任何针对 Ledger 的更新产生前，都会先将这个更新的形容信息长久化到这个 Journal 文件中。 Bookeeper 提供有独自的 Sync 线程依据以后 Journal 文件的大小来作 Journal 文件的 Rolling;               写入的 EntryLog 和 Index 都是先缓存在内存中，再依据肯定的条件周期性的 Flush 到磁盘，这就造成了从内存到长久化到磁盘的工夫距离，如果在这距离内 BookKeeper 过程解体，在重启后，咱们须要依据 Journal 文件内容来复原，这个 LastLogMark 就记录了从 Journal 中什么地位开始复原; ...

2022 年 11 月 26-27 日，Flink Forward Asia（FFA）峰会胜利举办。Flink Forward Asia 是由 Apache 软件基金会官网受权、由阿里云承办的技术峰会，是目前国内最大的 Apache 顶级我的项目会议之一，也是 Flink 开发者和使用者的年度盛会。因为疫情起因，本届峰会仍采纳线上模式。此外，本次峰会上还举办了第四届天池实时计算 Flink 挑战赛的颁奖仪式，4346 支参赛队伍中共有 11 支队伍通过层层角逐怀才不遇，最终播种了奖项。 FFA 大会照例总结了 Apache Flink 过来一年的倒退状况。2022 年，Apache Flink 社区持续放弃疾速倒退：Github Star 数冲破 2 万；代码贡献者总人数超过 1,600 人；单月下载量冲破 1,400 万次。其中，Apache Flink 中文社区的倒退尤为蓬勃：据 ossinsight.io 统计截至目前 Apache Flink 我的项目所有 PR 中有 45% 来自中国开发者；由 Apache 软件基金会受权、Apache Flink PMC 治理的官网微信公众号，2022年 共公布了 130+ 篇技术分享文章，累计订阅用户数冲破 6 万；新开通的微信视频号公布了36 篇视频，目前已有近 4,000 订阅用户。 咱们欣慰地看到，Apache Flink 已成为实时流计算寰球范畴事实标准。Flink 凭借弱小的实时化大数据计算能力，与泛滥开源社区生态我的项目的强强联合，造成了实时大屏展现、实时数据集成、实时湖仓剖析、实时个性化举荐、实时风控监控等一系列实时化大数据场景的解决方案，成为了推动各行各业数据分析实时化降级的外围推动力。 本文接下来将对本次 FFA 峰会主论坛几个 Keynotes 议题进行简略的演绎总结，感兴趣的小伙伴能够到官网 https://flink-forward.org.cn/ 观看大会全副议题的视频回放。 ...

作者：容鑫，Apache APISIX Committer在 K8s 中为什么会遇到上千个 Pod 正本的利用场景？在 Kubernetes 中，Pod 是最小的调度单元。应用程序理论是以 Pod 在运行的，通常状况下出于可扩展性和升高爆炸半径等方面的思考，只会给 Pod 设置无限的资源。那么对于大流量的场景，个别都是通过程度扩容的形式进行应答。 例如电商行业在进行促销流动或秒杀抢购流动时，业务流量绝对较大。为了应答这种场景，通常会设置弹性扩容。在流动进行时，服务会进行弹性伸缩直到可能承载流量，这时会基于弹性扩容的策略，为业务减少正本数，也就是 Pod 会变多。 每个 Pod 都有各自惟一的 IP ，但同时 Pod 的 IP 也不是固定的。为了及时追踪 Pod IP 的变动，从而进行负载平衡，Endpoints API 提供了在 Kubernetes 中跟踪网络端点的一种简略而间接的办法。但随着 Kubernetes 集群和服务逐步开始为更多的后端 Pod 进行解决和发送申请，比方上文提到大流量场景下，Pod 数量会被一直扩容，Endpoints API 也将变得越大。这种状况下，Endpoints API 局限性变得越来越显著，甚至成为性能瓶颈。 为了解决这个局限性问题，在 Kubernetes v1.21 的版本中引入了对 Endpointslice API 的反对，解决了 Endpoints API 解决大量网络端点带来的性能问题，同时提供了可扩大和可伸缩的能力。通过下图咱们能够显著看到它们之间的区别： Endpoints 在流量顶峰时的变动：Endpointslices 在流量顶峰时的变动：在 Kubernetes 中，利用之间是如何进行互相拜访的呢？Endpoints 和 Endpointslice 具体区别又是什么？和 Pod 有着什么样的关系？APISIX Ingress 中为什么要反对这些个性，以及如何进行装置和应用？本文将着重介绍这些问题。 Kubernetes 中如何拜访利用在 Kubernetes 中，每个 Pod 都有其本人惟一的 IP 地址。通常状况下，Service 通过 selector 和一组 Pod 建设关联，并提供了雷同的 DNS 名，并能够在它之间进行负载平衡。Kubernetes 集群内不同利用之间可通过 DNS 进行互相拜访。 ...

作者 刘维这段时间在 Reddit 看到一个探讨，为什么 NGINX 不反对热加载？乍看之下很反常识，作为世界第一大 Web 服务器，不反对热加载？难道大家都在应用的 nginx -s reload 命令都用错了？ 带着这个疑难，让咱们开始这次探索之旅，一起聊聊热加载和 NGINX 的故事。 NGINX 相干介绍NGINX 是一个跨平台的开源 Web 服务器，应用 C 语言开发。据统计，全世界流量最高的前 1000 名网站中，有超过 40% 的网站都在应用 NGINX 解决海量申请。 NGINX 有什么劣势，导致它从泛滥的 Web 服务器中怀才不遇，并始终放弃高使用量呢？ 我感觉外围起因在于，NGINX 天生长于解决高并发，能在高并发申请的同时放弃高效的服务。相比于同时代的其余竞争对手例如 Apache、Tomcat 等，其当先的事件驱动型设计和全异步的网络 I/O 解决机制，以及极致的内存调配治理等泛滥优良设计，将服务器硬件资源压缩到了极致。使得 NGINX 成为高性能 Web 服务器的代名词。 当然，除此之外还有一些其余起因，比方： 高度模块化的设计，使得 NGINX 领有无数个功能丰富的官网模块和第三方拓展模块。最自在的 BSD 许可协定，使得有数开发者违心为 NGINX 奉献本人的想法。反对热加载，能保障 NGINX 提供 7x24h 不间断的服务。对于热加载大家冀望的热加载性能是什么样的？我集体认为，首先应该是用户端无感知的，在保障用户申请失常和连接不断的状况下，实现服务端或上游的动静更新。 那什么状况下须要热加载？在现在云原生时代下，微服务架构流行，越来越多的利用场景有了更加频繁的服务变更需要。包含反向代理域名高低线、上游地址变更、IP 黑白名单更新等，这些都和热加载非亲非故。 那么 NGINX 是如何实现热加载的？ NGINX 热加载的原理执行 nginx -s reload 热加载命令，就等同于向 NGINX 的 master 过程发送 HUP 信号。在 master 过程收到 HUP 信号后，会顺次关上新的监听端口，而后启动新的 worker 过程。 ...

2022 年 12 月 1 日，Apache DolphinScheduler&Apache Linkis(Incubating) 线上Meetup流动行将来袭！来自 Apache DolphinScheduler 和 Apache Linkis(Incubating)两个社区的外围贡献者将带来我的项目整合的技术分享，聚焦解决计算治理难题的办法，干货满满！ 在大数据平台的建设中，计算引擎能力的构建是极其重要的，DolphinScheduler 整合了越来越多的计算中间件，帮忙中间件串行工作，进步大数据计算能力，晋升效率。Linkis 是由微众银行开源的计算中间件产品，其设计理念补救了开源社区中这类软件的空白，在底层平台和下层利用之间建设起了标准化、可复用的转换模式。 更多内容请到 linkis.apache.org 理解 DolphinScheduler 是可视化易操作的任务调度零碎，两者相结合，能够大幅提高大数据计算能力和解决能力。强强联合之下，将会碰撞出怎么的火花呢？敬请期待！ 流动工夫2022年 12 月 1 日（星期四） 晚 8:00-9:30 流动模式线上多平台直播（海豚调度视频号、DolphinScheduler 哔哩哔哩、SegmentFault 思否、开源中国、开源根底软件社区视频号、CSDN） 报名通道点击链接或扫描二维码报名https://www.slidestalk.com/m/... 预约报名 直播交换群 增加小助手Leonard-ds入交换群 流动精彩议程 多轮抽奖炸不停！本次流动为大家筹备了超多福利，直播间多轮抽奖送豪礼，想要搂几件DolphinScheduler 和 Linkis 周边礼物做留念的的小伙伴，别错过这次机会哦！ 奖品由白鲸开源资助的 DolphinScheduler 留念钥匙扣、定制大尺寸鼠标垫、定制数据线、定制口罩，以及 WeDataSphere 资助的 Linkis 定制功夫茶杯，定制静止水杯、定制鸭舌帽，以及可恶的定制冰箱贴。 在此感激白鲸开源和 WeDataSphere 的资助！ 心动不如口头，干货满满的技术分享和诚意满满的社区福利回馈给社区的小伙伴，心愿大家多多反对，点击链接收费报名加入吧！

本文次要介绍以下问题：1.Apache工作模式介绍 2.Apache过程模型剖析 3.Apache与Nginx有什么区别 Apache是世界上使用最宽泛的Web服务器，同时也是一个基于多过程的Http服务器。跟Nginx相比，Apache在解决申请的形式是同步阻塞形式，也就是说Apache在面对高并发申请时会呈现阻塞。 一、Apache工作模式Apache的运行形式有prefork、worker、event三种模式。 1.prefork这种模式叫做预派生模式，在Apache启动的时候，就事后派生了一些子过程，期待客户端连贯。这样做有个益处是能够缩小在运行过程中频繁创立和销毁过程，升高零碎开销。每个派生进去的子过程只有一个线程，再同一时间内只能解决一个申请。这种模式不适宜高并发的利用场景，过程开的太多了，过程之间切换会耗费大量CPU工夫；过程太少，大并发量申请会呈现期待的情景。 2.workerworker模式应用多个子过程，每个子过程有多个线程、因为应用的是线程去解决申请，耗费内存小，适宜高流量的申请，然而如果某个过程呈现问题，那么这个过程下的线程都会呈现问题，即稳定性不是很好。3.eventevent模式为了解决keep-alive放弃长连贯呈现的一种工作模式，应用keep-alive长连贯的时候，某个线程会始终被占用，即便两头没有申请，须要等到超时才会被开释，所以这个时候就呈现了event的工作模式。 二、Apache过程模型剖析 apache解决申请是同步阻塞形式，所以面对高并发时，apache没有任何劣势。每一个申请达到，apache都会去fork一个子过程去解决这个申请，直到这个申请处理完毕。低并发时，这种模式没有什么问题。然而在高并发时，这种模式就成为鸡肋。高并发时，一个客户端占用一个过程，过程数量有多少，并发解决能力就有多少。然而操作系统能够创立的过程数量是无限的。多过程就会存在过程间的切换问题，而过程间的切换调度势必会造成CPU的额定耗费。当过程数量达到成千上万的时候，过程间的切换就占了CPU大部分的工夫片，而真正的过程的执行反而占了CPU的一小部分，造成系统资源的节约。 三、Apache与Nginx有什么区别对于Nginx过程模型能够看Nginx实现高并发的原理剖析这边文章，比照会发现：两者最外围的区别在于 apache 是同步多过程模型，一个连贯对应一个过程，而 nginx 是异步的，多个连贯能够对应一个过程。 Nginx绝对于Apache的长处： 轻量级，同样起web 服务，比apache 占用更少的内存及资源抗并发，Nginx 解决申请是异步非阻塞的，而Apache 则是同步阻塞型的，在高并发下Nginx 能放弃低资源低消耗高性能高度模块化的设计，编写模块绝对简略社区沉闷，各种高性能模块出品迅速啊 Apache 绝对于Nginx 的长处：rewrite ，比 Nginx 的 rewrite 弱小模块超多，根本想到的都能够找到bug 绝对比拟少，比较稳定。Nginx 的 bug 绝对较多

作者 | 冉小龙 Apache Pulsar 作为云原生时代音讯流零碎，采纳存储计算拆散架构，反对大集群、多租户、百万级 Topic、跨地区数据复制、长久化存储、分层存储、高可扩展性等企业级和金融级性能。Apache Pulsar 提供了对立的生产模型，反对音讯队列和流两种场景，既能为队列场景提供企业级读写服务质量和强一致性保障，又能为流场景提供高吞吐、低提早。 Apache Pulsar 在腾讯云中曾经失去大规模的生产实践，在过来一年中承接了诸多行业生态中不同的应用场景。在理论的生产实践中，腾讯云针对 Apache Pulsar 做了一系列的性能优化和稳定性性能方面的工作，来保障用户在不同的场景下零碎的稳固高效的运行。本文围绕腾讯云近一年在 Pulsar 稳定性和性能方面优化最佳实际。  Pulsar 在腾讯云百万级 Topic 上的利用为什么抉择在生产环境中应用 Pulsar？ 此前该用户应用 Kafka 集群来承载业务，因为业务的特定场景，集群的整体流量绝对不大，然而须要应用的 Topic 较多。此前应用 Kafka 集群时，因为 Kafka 本身架构的限定，用户不能在一套集群中创立较多的 Topic，所以为了满足业务多 Topic 的应用场景，须要部署多套 Kafka 集群来满足业务的应用，导致业务应用的老本较大。  Pulsar 自身除了具备 Pub-Sub 的传统 MQ 性能外，其底层架构计算存储拆散，在存储层分层分片，能够很容易地把 BookKeeper 中的数据 offload 到便宜存储上。Pulsar Functions 是 Serverless 的轻量化计算框架，为用户提供了 Topic 之间直达的能力。在开源之前，Pulsar 已在 Yahoo! 的生产环境中经验 5 年的打磨，并且能够轻松扩缩容，撑持多 Topic 场景。为了升高应用的老本，同时满足多 Topic 的业务场景，该用户切换到了 Pulsar 的集群上。  以后该用户的一套 Pulsar 集群能够承载 60W 左右的 Topic，在很好地满足了业务应用的场景的同时升高了应用老本。  ...

需要虚拟主机没有服务器那么多玩法，也没方法通过命令行等形式去批改一些配置，根本只有一个控制面板去配置一下根本的货色。如果想将多个域名解析到这台虚拟主机，使每个二级目录成为以后域名的根目录，其实是能够做到的。 步骤1、失常解析域名，保障域名能失常拜访根目录2、在虚拟主机根目录下创立一个 .htaccess 文件 .htaccess文件规定.htaccess文件是Apache主机的配置文件，咱们能够通过这个文件去实现一些转发规定。上面这个规定就间接复制进.htaccess文件外面，保留即可。 这个规定就是绑定weixin.qq.com到二级目录下的weixin目录 <IfModule mod_rewrite.c>RewriteEngine OnRewriteBase /# 绑定weixin.qq.com到二级目录weixinRewriteCond %{HTTP_HOST} ^weixin\.qq\.com$ [NC]RewriteCond %{REQUEST_URI} !^/weixin/RewriteRule ^(.*)$ weixin/$1?Rewrite [L,QSA]</IfModule>如果想绑定多个域名，就复制一层配置就行了，例如： <IfModule mod_rewrite.c>RewriteEngine OnRewriteBase /# 绑定weixin.qq.com到二级目录weixinRewriteCond %{HTTP_HOST} ^weixin\.qq\.com$ [NC]RewriteCond %{REQUEST_URI} !^/weixin/RewriteRule ^(.*)$ weixin/$1?Rewrite [L,QSA]# 绑定tieba.baidu.com到二级目录tiebaRewriteCond %{HTTP_HOST} ^tieba\.baidu\.com$ [NC]RewriteCond %{REQUEST_URI} !^/tieba/RewriteRule ^(.*)$ tieba/$1?Rewrite [L,QSA]# 绑定www.taobao.com到二级目录taobaoRewriteCond %{HTTP_HOST} ^www\.taobao\.com$ [NC]RewriteCond %{REQUEST_URI} !^/taobao/RewriteRule ^(.*)$ taobao/$1?Rewrite [L,QSA]</IfModule>作者TANKING

背景Apache Bookkeeper 是基于日志的一个长久化零碎，所有的数据会以日志的模式存储到 Ledger 磁盘的 Entry Log 文件中，之后通过后盾异步回收的模式来将 EntryLog 文件回收掉。然而在咱们理论的应用场景中，发现很久之前的 EntryLog 文件无奈被删除掉，对 Entry Log 文件存在的工夫进行监控，具体如下： 咱们能够看到，假如从 Broker 侧设置的 Retention 策略最大为 5 天，即很久之前的 EntryLog 文件仍然存在于对应的 Ledger 数据盘中，导致磁盘的占用率较高。尽管Bookie 的 GC 回收机制是后盾异步回收的，当 Broker 侧认为某条音讯能够删除时，Bookie 并不会立刻从磁盘中将该数据删除掉，而是利用 Bookie 的 GC 线程周期性的触发回收的逻辑。然而数据的删除操作居然滞后了半年多，于是萌发了搞懂 Bookie GC 回收机制的想法，到底是什么起因导致了该景象的产生。 Bookie GC 介绍在 Apache Bookkeeper 中，数据的写入，读取以及回收（压缩）操作是互相隔离的。为了防止过多碎片文件的产生，在 Bookies 中不同 Ledgers 中的 Entrys 会聚合存储到一个 EntryLog 文件中。Bookie 能够通过运行 GC 线程（GarbageCollectorThread）来删除未关联的 Entry 条目来达到回收磁盘空间的目标。在以后的 EntryLog 文件中，如果某一个 Ledger 中蕴含无奈删除的 Entry，那么这个 EntryLog 文件将始终保留在数据盘（Ledger 盘）中无奈被删除。因为业务场景的限定，咱们没方法要求一个 EntryLog 文件中所有 Ledgers 的 Entries 都能在近乎雷同的工夫内满足可删除的条件。为了防止该景象，Bookie 引入了数据压缩的概念，即通过扫描 EntryLog 文件断定哪些 Entry 是能够删除的，能够删除的 Entry 持续保留在原始的 EntryLog 文件中，不可删除的 Entry 写入新的 EntryLog 文件中，扫描实现之后将原始的 EntryLog 文件删除掉。 ...

title: has been blocked by CORS policy跨域问题解决 咱们在前端调用接口时，浏览器有时候会报错： XXXX form XXXX Xhas been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is XXXX 这时候就是因为CORS爱护问题阻止了咱们的拜访 一、什么是跨域 出于浏览器的同源策略限度。同源策略（Sameoriginpolicy）是一种约定，它是浏览器最外围也最根本的平安性能，如果短少了同源策略，则浏览器的失常性能可能都会受到影响。能够说Web是构建在同源策略根底之上的，浏览器只是针对同源策略的一种实现。同源策略会阻止一个域的。javascript脚本和另外一个域的内容进行交互。所谓同源（即指在同一个域）就是两个页面具备雷同的协定（protocol），主机（host）和端口号（port)。 当一个申请url的协定、域名、端口三者之间任意一个与以后页面url不同即为跨域。 二、如何解决返回header头Access-Control-Allow-Origin 咱们须要服务端返回 access-control-allow-origin: 你的URLAccess-Control-Allow-Origin是HTML5中定义的一种解决资源跨域的策略。 这里的URL为你的拜访端，能够设置*作为通配符，即所有域名都能够拜访 Access-Control-Allow-Origin: *Nginx配置跨域间接全局配置，在server{}里间接增加一行   `nginx    add_header access-control-allow-origin *;    ` 为指定URL配置   `nginx    location /api {        add_header access-control-allow-origin *;        if ($request_method = 'OPTIONS') {                return 204;        } ...

最近在部署一个网站，服务器是Apache的，须要用到伪动态URL重写，所以本文就简略写一下这个伪动态的规定，顺便介绍一些各种URL重写的状况。 URL重写规定假如网站域名为 www.qq.com 我想要实现的成果是拜访 www.qq.com/artcle/12548789954115 即可关上文章页面。 实际上 www.qq.com/artcle/index.php?id=12548789954115 才是实在的拜访门路咱们通过URL重写规定去将链接重写为 www.qq.com/artcle/12548789954115 。 规定写法RewriteEngine onRewriteRule ^artcle/([0-9]*)$ artcle/index.php?id=$1^指的是从这里开始，artcle指的是从这里开始的一个目录，如果是根目录，那么间接就是一个斜杠即可，([0-9]*)$ 是一个正则匹配规定，这里匹配的是只能传入数字。artcle/index.php?id=$1 很显著看出是原来的实在门路，其中$1指的是匹配第一个参数。 晓得URL重写规定的意思就好办了，上面就是一些常见的URL重写规定。 1、www.qq.com/artcle/s.php?id=12345 重写为 www.qq.com/artcle/12345.html RewriteEngine onRewriteRule ^artcle/([0-9]*).html$ artcle/s.php?id=$12、www.qq.com/artcle/s.php?id=12345 重写为 www.qq.com/artcle/12345-1-1.html RewriteEngine onRewriteRule ^artcle/([0-9]*)-1-1.html$ artcle/s.php?id=$13、www.qq.com/artcle/s.php?id=abcdefg 重写为 www.qq.com/artcle/abcdefg RewriteEngine onRewriteRule ^artcle/(w+)$ artcle/s.php?id=$1其实依照其实理解了规定的写法，就容易去DIY本人的伪动态URL重写规定了！ 作者TANKING 博客https://www.likeyunba.com 原文https://www.likeyunba.com/art...

对于作者鲍明宇 腾讯高级软件工程师，目前就任于腾讯 TEG 数据平台部，负责 Apache Pulsar、Apache Inlong、DB 数据采集等我的项目的开发工作。目前专一于大数据畛域，消息中间件、大数据数据接入等方向，领有 10 年 Java 相干开发教训。 张大伟 腾讯高级软件工程师，Apache Pulsar Committer，目前就任于腾讯 TEG 数据平台部，次要负责 Apache Pulsar 我的项目相干工作。目前专一于 MQ 和数据实时处理等畛域，领有 6 年大数据平台相干开发教训。 对于 Apache Pulsar云原生时代音讯队列和流交融零碎，提供对立的生产模型，反对音讯队列和流两种场景，既能为队列场景提供企业级读写服务质量和强一致性保障，又能为流场景提供高吞吐、低提早；采纳存储计算拆散架构，反对大集群、多租户、百万级 Topic、跨地区数据复制、长久化存储、分层存储、高可扩展性等企业级和金融级性能。 GitHub 地址：http://github.com/apache/pulsar/ 导读近期，腾讯 TEG 数据平部 MQ 团队开发部署了一套底层运维指标性能剖析零碎（本文简称 Data 我的项目） ，目前作为通用基础设施服务整个腾讯团体。该零碎旨在收集性能指标、上报数据以用于业务的运维监控，后续也将延用至前后端实时剖析场景。 腾讯 Data 我的项目选用 Apache Pulsar 作为音讯零碎，其服务端采纳 CVM 服务器（Cloud Virtual Machine，CVM）部署，并将生产者和消费者部署在 Kubernetes 上，该我的项目 Pulsar 集群是腾讯数据平台部 MQ 团队接入的音讯量最大的 Pulsar 集群。在整个我的项目中，咱们在 Apache Pulsar 大规模集群运维过程中遇到了一些问题和挑战。本文将对这些问题开展形容剖析，并分享对应解决计划，同时也会解析波及到的相干 Apache Pulsar 设计原理。 心愿本文可能对面临同类场景的用户与开发者提供参考。 业务音讯量大，对生产与生产耗时指标敏感Data 我的项目的业务场景，具备非常明显的特点。首先，业务零碎运行过程中，音讯的生产、消费量都十分大，而且生产音讯的 QPS（每秒查问率）波动性不显著，即业务会在近乎固定的 QPS 生产和生产数据。 ...

Apache HTTP服务器是一个模块化的服务器，源于NCSAhttpd服务器，通过屡次批改，成为世界应用排名第一的Web服务器软件。 上面介绍如何在centos7下源码装置Apache 1、首先去Apache的官网下载安装包链接：http://httpd.apache.org/downl...http://apr.apache.org/downloa... 下载这三个包，版本下最新的就行 2、将压缩包导入零碎如果没有rz命令，yum装置yum install lrzsz -y 3、开始解压 tar xf apr-1.6.3.tar.bz2tar xf apr-util-1.6.1.tar.bz2tar xf httpd-2.4.34.tar.bz2mv apr-1.6.3 httpd-2.4.34/srclib/aprmv apr-util-1.6.1 httpd-2.4.34/srclib/apr-util4、yum装置须要的环境 yum -y install \gcc \gcc-c++ \make \pcre-devel \expat-devel \perl 5、切换目录开始编译cd httpd-2.4.34 ./configure \--prefix=/usr/local/httpd \--enable-so \--enable-rewrite \--enable-charset-lite \--enable-cgimake && make install过程很慢，急躁期待 6、复制配置文件并批改 cp /usr/local/httpd/bin/apachectl /etc/init.d/httpdvi /etc/init.d/httpd # chkconfig: 35 85 21 //35级别主动运行 第85个启动 第21个敞开# description: Apache is a World Wide Web server 解释：chkconfig:前面定义的使启动服务的运行级别(例子中使35启动该服务),以及 敞开和启动服务的程序(上例中启动服务的程序是85,敞开的程序是21)。插入到任意行 7、执行命令 chkconfig --add httpd //将httpd退出到SERVICE管理器 ...

如破绽遭利用，可导致攻击者不仅拜访受谷歌管制的环境，还能够高权限拜访50多个外部主机。平安研究员在 VirusTotal 平台上发现了一个重大破绽，可被用于实现近程代码执行 (RCE)。 该破绽已修复。研究员指出，该破绽可被用于“VirusTotal 平台上近程执行命令，并取得对其多种扫描能力的拜访权限”。 VirusTotal 是谷歌 Chronicle 平安子机构的组成部分，是一款恶意软件扫描服务，可能通过70多款第三方反病毒产品剖析可疑文件和URLs 并查看病毒。 该高危破绽的编号为CVE-2021-22204（CVSS 7.8分），是因ExifTool 对DjVu文件的不当解决引发的任意代码执行破绽。该攻打办法通过平台的 web 用户接口上传 DjVu 文件，触发 ExifTool 中的高危近程代码执行缺点的 exploit。ExifTool 是一款开源工具，用于读取和编辑图片和PDF文件中的EXIF元数据信息。目前保护人员已在2021年4月13日公布的安全更新中修复该破绽。 谷歌VirusTotal开源组件曝高危破绽，可获取内网拜访权限谷歌VirusTotal开源组件曝高危破绽，可获取内网拜访权限 钻研人员指出，如破绽遭利用，可导致攻击者不仅拜访受谷歌管制的环境，还能够高权限拜访50多个外部主机。 谷歌VirusTotal开源组件曝高危破绽，可获取内网拜访权限谷歌VirusTotal开源组件曝高危破绽，可获取内网拜访权限 钻研人员指出，“回味无穷的是，每当咱们上传蕴含新payload 的哈希的文件时，VirusTotal 就会将payload 转给其它主机。因而，咱们不仅取得RCE，它还被谷歌服务器转发给谷歌内网、客户以及合作伙伴。” 钻研人员指出，已在2021年4月13日通过谷歌的破绽处分打算报告该破绽，随后破绽修复。 这并非ExifTool 缺点首次成为达成RCE的直达。去年，GitLab 修复一个重大破绽CVE-2021-22205（CVSS：10分），因对用户提供图片验证不当而导致任意代码执行。

6 月 29 日，工业物联网时序数据库管理系统及相干服务的提供商天谋科技（Timecho） 官网发表实现近亿元人民币天使轮融资。本轮融资由红杉中国领投，考拉基金、戈壁创投、云智慧独特跟投。本轮资金将次要用于开源产品研发、开源社区建设，以及核心技术团队打造与裁减等。 天谋科技成立于2021年10月，是一家基于国内顶级开源时序数据库 Apache IoTDB 成立的公司，旨在为各行业用户，尤其是工业用户提供寰球范畴内性能全面与性能突出的时序数据库产品，让企业用更低的老本开掘更大的数据价值。开创团队由 Apache（国内最大开源软件基金会）旗下 IoTDB、PLC4X 两大开源物联网我的项目的发起人和外围开发者组成，会集了来自清华大学、UC Berkeley、微软、德国弗劳恩霍夫协会（Fraunhofer-Gesellschaft）、德国法兰克福能源团体等一批数据库核心技术科学家和工业资深专家，领有十几年钻研和服务工业用户的教训。在时序数据管理畛域，团队成员领有中国、美国、欧洲等发明专利30余项，并在 ICDE, SIGMOD, VLDB 等数据库顶级会议上发表论文多篇。公司所围绕的 Apache IoTDB 是 Apache 基金会迄今为止惟一一个时序数据库我的项目，自2018年进入 Apache 孵化器以来，社区倒退迅速，IoTDB 社区代码提交次数在2021年的 Apache 年报中位居寰球第七。 近年来，时序数据管理已成为业界与钻研界关注焦点，物联网（IoT）尤其是工业物联网（IIoT 与Industry 4.0）的倒退进一步激发了时序数据管理技术的市场需求，使其进而成为该畛域重要的软件基础设施。次要起因在于，以往人们次要集中在信息化数据的治理，因而罕用关系数据库来治理数据，而随着工业物联网的倒退，对机器设备产生数据的治理成为工业生产提质增效、精益求精的重要伎俩。但工业机器设备所产生的数据具备产生频率快、重大依赖采集工夫、测点多、信息量大等特点，传统数据库难以实现对工夫序列数据的无效存储、解决和查问，因而天谋科技聚焦的时序数据库治理的需要被迅速点燃。 Apache IoTDB 社区主席黄向东示意，作为一款反对端边云协同架构的物联网原生时序数据库，IoTDB 在写入性能、数据压缩比、查问效率、查问丰盛度、内存空间占用、可扩大时序计算等方面领有远超同类产品的突出表现。此外，IoTDB 还具备轻量级、开箱即用的个性，并能与现有大数据生态进行深度集成。 “IoTDB 是一个‘物联网原生’时序数据库。称之为‘原生’，是因为咱们在设计和编写 IoTDB 第一行代码的时候，就携带着咱们和许多龙头工业用户在工业物联网畛域近十年的数据管理需要和教训。例如，咱们察看到物联网场景下的数据乱序景象，就带来了乱序解决能力；咱们察看到设施的可监测指标会随着设施降级而变动，就提出了数据库主动保护、无需用户手动批改的时序数据模型；咱们在2018年就提出聚合操作与降采样是时序数据的一等公民。这些性能起初也都陆续在其余同类产品中失去体现，进一步印证了咱们的察看和办法是正确的。此外，在时序数据库畛域，IoTDB 应该也是第一个提出端边云协同架构的。将来，置信该架构将帮忙工业用户更好地解决边缘侧和云侧的时序数据协同治理问题。”代码贡献度排名第一的 Apache IoTDB 社区 PMC （项目管理委员会）成员乔嘉林说。 目前，天谋科技已着眼寰球业务拓展，公司始终在放弃和国内外公司的单干研发过程。天谋科技已陆续拿到能源、航天、智能制作、电网等畛域的商业化单干订单，同时还聚焦钢铁、车联网、石油化工、气象、金融、新能源汽车等行业。 天谋科技联结创始人&欧洲事务负责人郑鹏程介绍说到，“IoTDB起源于国内自主研发，并在寰球范畴内失去广泛应用。在国内，曾经在中航成飞、中车、大唐电力、金风科技、国家电网、华为、长安汽车等多个工业龙头企业落地利用；国内上，IoTDB 还被试用和利用于德国博世、宝马、西门子等国内工业龙头用户的生产制作与产品中。咱们留神到，随着 IoTDB 用户的增多，仅基于开源社区的技术支持曾经难以齐全满足所有人的生产需要。因而，天谋科技的成立是开源社区倒退的天然后果。天谋科技在为用户提供反对的同时，又判若两人地参加开源社区建设，这将极大地减速 IoTDB 的研发，为寰球用户带来更业余、更稳固的技术服务。” 与仅开源“外围代码” （open core only）的理念不同，天谋科技团队专一于更彻底的开源。因领有多名 Apache 基金会委员、以及多个开源社区（IoTDB、PLC4X等） PMC，团队开源文化氛围浓重，会用凋谢的形式将更好的代码与产品带给寰球用户。 本轮领投方红杉中国董事总经理王昊示意：“咱们始终十分关注时序数据库市场，尽管仍在倒退晚期，但咱们认为随着寰球工业物联网的疾速倒退，将来这个市场有微小的增长空间。Apache IoTDB 开源我的项目在国内外都有比拟强的影响力， Timecho 团队之前在这个畛域耕耘多年，有十分扎实的科研积攒和工程教训，心愿公司将来继续为寰球客户带来更业余更稳固的产品和服务。” 本轮投资方考拉基金合伙人赵山利示意：“数据的属性和数据的值，同样具备策略价值。随着万物互联的更迭，时序数据将建设新的数据根基，以及基于此根基的新的范式和利用。Timecho 团队，数年，潜心积攒，初心即从数据的根基登程；明天，审时度势，将原创技术推向落地。咱们十分期待 IoTDB 产品给社会带来原生价值。” ...

2002 年 3 月 11 日，代号为 Homer 的 Arch Linux 公布了 v0.1 版本，过后应用的是 Linux kernel 2.4.18。Arch Linux诞生20年了，你用过吗？Arch Linux诞生20年了，你用过吗？ 现在，Arch Linux 已满 20周岁，是当下最热门的 Linux 发行版之一。 Arch Linux是一个滚动公布的前沿操作系统，次要由高级 Linux 用户应用。从装置到治理，Arch Linux 可让您解决所有事件，为您提供所需的所有性能和管制。 这可能是 Arch 在 Linux 社区领有狂热追随者的起因之一。 在 Arch Linux 的 v0.1 版本，发布页面对其作出如下介绍： Arch Linux 是一个 i686 优化的 Linux 发行版，基于 CRUX 的想法，CRUX 是 Per Lidén 开发的杰出的 Linux 发行版。它是轻量级的，蕴含最新的稳固版本的软件，它的包为 .tar.gz 格局，并由包管理器跟踪，该包管理器旨在容许轻松升级包。 与其余一些发行版相比，Arch 十分精简，不会保留一些相对来说不罕用的货色）。 默认的 Arch 装置提供了松软的根底；您能够增加包来创立您正在寻找的自定义装置。 Arch 有一个包构建零碎，容许您轻松创立本人的包，这使得应用本人的自定义配置从新构建包变得非常容易。 Arch 还旨在应用 linux 用户可用的较新性能，例如 reiserfs/ext3 和 devfs。 ...

VirtualBox 6.1.34 开源和跨平台虚拟化软件现已公布，该版本初步反对 Linux 内核 5.17，以及各种其余改良和谬误修复,这意味着当初能够在虚拟机中运行由 Linux 内核 5.17 提供反对的 GNU/Linux 发行版。VirtualBox 6.1.34 公布VirtualBox 6.1.34 公布 VirtualBox 6.1.34 为 Linux 来宾和主机引入了对最新的 Linux 5.17 内核系列的初步反对，这意味着当初能够在虚拟机中运行由 Linux 内核 5.17 提供反对的 GNU/Linux 发行版。 其次，该版本在 Linux Guest Additions 中引入了对 Red Hat Enterprise Linux 8.6 内核的初始反对，改良了对 Linux 5.14 内核系列的反对，并修复了可能产生的 Linux 客户机屏幕大小调整问题。 其余更新 修复了“cmpxchg16b”的指令仿真，改良了 EHCI 接口中短数据包的解决，修复了在主机 I/O 磁盘 I/O 期间，可能产生的潜在挂起缓存被禁用的问题改良了 E1000 的描述符解决改良了 virtio-scsi 驱动程序修复了驱动器未连贯任何内容时的 NVMe 加载状态此版本还改良了 VBoxManage 组件，能够更好地解决带有不残缺引号的命令行参数。Solaris、FreeBSD、macOS 和 Windows 来宾/主机也有各种改良，残缺更新内容可查看官网布告。

近日，企业级开源解决方案供应商红帽推出视频号直播栏目《八点一“课”，红帽企业开源讲堂》，第二期邀请到红帽首席架构师张家驹，解读了CentOS Stream代码起源、编译构建、继续集成和测试验证等诸多细节，解说如何应用容器根底镜像RHUBI，并答复了一些业界广泛关怀的CentOS相干疑难。张家驹示意，CentOS Stream取代CentOS是技术、社区以及生态倒退的必然趋势。 CentOS Stream是红帽在2019年9月推出的企业Linux（RHEL）的上游开源开发平台。红帽称这一版本可缩短生态系统开发人员的反馈回路，使开发者领先体验到RHEL新版本，加强迭代时效性，以及下一个小版本RHEL做奉献。红帽首席架构师称CentOS Stream才是将来红帽首席架构师称CentOS Stream才是将来 张家驹示意，红帽最早提出企业级Linux的概念，企业级Linux的一大特点是要实现一个操作系统长生命周期的保护治理，也就是说在上游社区，没有历史包袱、一直向前倒退、能够自主的实现新性能，而不必过多思考与老版本的兼容性的状况下，企业级产品既要保障听从上游社区，同时又要思考兼容性、长期稳固的利用程序接口安全性等等。 Fedora是一个纯社区版本，因为短少技术支持，它的用户集中在操作系统的开发者层面。Red Hat Enterprise Linux（RHEL）是红帽发行并提供技术支持的付费版本。CentOS Linux在Red Hat Enterprise Linux上游，因此被许多用户认为是更为稳固的版本。红帽推出CentOS Stream之后，它被安顿在RHEL的上游，更为凑近社区，也被用户称为是一个居于中游的版本，因此不足稳定性。 “Fedora就是上游，更多面向桌面或个人用户场景，有很多炫酷的个性，开源社区有一些新的个性呈现，咱们就会在Fedora上最先看到。RHEL是上游，CentOS Stream 是RHEL的继续交付版本。CentOS Stream和RHEL的功能集是雷同的，只是CentOS Stream 向社区凋谢了，提供了宽广开源社区向RHEL奉献的门路。同时，RHEL的全职开发者也会把代码提交到CentOS Stream 。无论是CentOS Stream还是RHEL ,它们都要通过雷同的品质保证体系，能力被公布。”张家驹说道。 张家驹还认为，相比中游，CentOS Stream更靠近于上游，将它称作“滚动更新的版本”的表述也是不精确的。 他解释说，“咱们能够看下其余滚动更新的发行版，比方Ubuntu，每半年出一个版本，每次出新版本，都是从上游社区拿最新的代码下来，每次滚动都意味着新版本和老版本不肯定100%兼容。在红帽，Fedora用的是这种更新策略。” 此外，对于CentOS不再更新的问题上，还存在着很大争议。有人认为，红帽对CentOS进行保护，是因为它曾经领有相当数量的用户，当初能够割韭菜了。也有人放心，CentOS停服后，相干用户是否存在断供。 张家驹回应称：“不存在断供，CentOS Stream的稳定性实际上是跟RHEL是统一的。CentOS Stream和RHEL代码最后是从Fedora外面拿下来，晚期bootstrap阶段两条线交织，到pre-release阶段就变成两条平行线了，此时代码完全一致。” 在张家驹看来，CentOS Stream和RHEL走过了雷同的质量保证步骤，因而它们的品质、稳定性、可靠性是统一的。

采访整顿：SegmentFault 思否采访嘉宾：百度 PALO 团队（杨政国、缪翎、李昊鹏、朱小力、龚政、张志强、仲毅、张东进等）2022 年 6 月 16 日，Apache 软件基金会发表博文，发表 Doris 正式毕业，正式成为 Apache 顶级我的项目（TLP）。（相干浏览：Apache 官网 blog 地址）。 从 2008 年诞生到明天，Doris 曾经走过了十四个年头。这十四年间，Doris 经验了诞生、推广、倒退、开源、捐献、凋敝，成长的旅程中也历经了诸多艰苦和挫折。 SegmentFault 思否独家专访了百度 PALO 团队，为你出现这背地鲜为人知的故事与波折。 以下内容整顿自访谈实录。 为数据分析而生，Doris 的“前世今生”SegmentFault：回顾 Doris 14 年发展史，Doris 的都经验了哪几个我的项目里程碑？百度 PALO 团队：说起 Doris 的历史，它最后诞生于百度，目标是解决过后百度外部高并发，高实时的在线报表需要，不觉间 Doris 曾经走过了十四年。 •2008 年，Doris 在百度诞生，定位为高性能剖析型数据库，大幅晋升了百度凤巢业务的数据分析时效性。•2009 年，Doris 开始反对百度外部其余报表零碎，并助力百度统计成为国内当先的中文网站剖析工具。•2012 年，Doris成长为百度首个公司级 OLAP 剖析平台并正式改名 PALO（OLAP 的反写）。•2013 年，PALO 降级新一代 MPP 分布式架构及高性能数据模型，各项外围技术指标大幅晋升。•2017 年，PALO 正式对外开源。•2018 年，百度将 PALO 的外围引擎捐献给 Apache 软件基金会，并命名 ApacheDoris，百度 PALO 团队开始全力推动 Doris 社区倒退。•2020 年，在百度 PALO 团队与社区搭档的共同努力下，ApacheDoris 社区走上倒退快车道。•2021 年，Doris 各项外围能力大幅加强，行业影响力进一步晋升，成为中国信通院 2021 年“OSCAR 尖峰开源我的项目及社区”，取得“首批可信开源社区共同体（TWOS）”正式成员认证。•2022 年，百度正式实现商标捐献，推动 ApacheDoris 实现毕业，成为 Apache 软件基金会顶级我的项目。 ...

寰球最大的开源软件基金会 Apache 软件基金会（以下简称 Apache）于美国工夫 2022 年 6 月 16 日 发表，Apache Doris 胜利从 Apache 孵化器毕业，正式成为 Apache 顶级我的项目（Top-Level Project，TLP）。 以下内容译自Apache Doris 官网Apache Doris 是一个基于 MPP 的现代化、高性能、实时的剖析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应工夫即可返回海量数据下的查问后果，不仅能够反对高并发的点查问场景，也能反对高吞吐的简单剖析场景。基于此，Apache Doris 在多维报表、用户画像、即席查问、实时大屏等诸多业务畛域都能失去很好利用。 Apache Doris 最早是诞生于百度外部广告报表业务的 Palo 我的项目，2017 年正式对外开源，2018 年 7 月由百度捐献给 Apache 基金会进行孵化，之后在 Apache 导师的领导下由孵化器项目管理委员会成员进行孵化和经营。 “咱们很骄傲 Doris 可能顺利从 Apache 孵化器毕业，这是一个重要的里程碑。在整个孵化阶段，依附 Apache 理念的领导和孵化器导师的帮忙，咱们学会了如何以 Apache 的形式去倒退咱们的我的项目与社区，也在这一过程中取得了微小的成长。” Apache Doris VP 陈明雨说道。 目前 Apache Doris 社区曾经汇集了来自不同行业近百家企业的 300 余位贡献者，并且每月沉闷贡献者人数也靠近 100 位。在孵化期间，Apache Doris 一共公布了 8 个重要版本，实现了包含存储引擎降级、向量化执行引擎等诸多重大性能，并正式公布了 1.0 版本。正是依附这些来自开源贡献者的力量，才使得 Apache Doris 获得了明天的问题。 ...

抉择操作系统时须要思考许多因素，最要害的因素之一就是安全性。专家们的广泛共识是，Linux 是设计上最平安的操作系统之一，这一令人印象粗浅可归因于多种因素，包含其通明的开源代码、严格的用户权限模型、多样性、内置的内核平安进攻和在其上运行的应用程序的安全性。企业信息安全应用Linux会比拟好吗？企业信息安全应用Linux会比拟好吗？ Linux 提供的高级别的安全性、定制性、兼容性和老本效益使其成为寻求爱护高价值数据的企业和组织的热门抉择。Linux 已被包含 IBM、谷歌和亚马逊在内的寰球政府和科技巨头采纳，目前为寰球前 100 万个域名中的 97% 提供反对。当今所有最风行的编程语言最后都是在 Linux 上开发的，当初能够在任何操作系统上运行。 本文将探讨为什么 Linux 能够说是寻求灵便、经济高效、极其平安的操作系统的企业的最佳抉择。为了帮忙您衡量您的抉择，咱们将探讨 Linux 与 Windows 在隐衷级别以及它可能为所有企业和组织提供的针对破绽和攻打的爱护方面的比拟。 开源劣势因为 Linux 是一个开源操作系统，通过开源社区参加和反对它提供的安全级别大大提高。Linux 源代码由寰球充满热情的用户开发人员进行继续、彻底的审查，他们为本人的利益和社区的利益投入了大量精力。因为这种审查，通常在攻击者有机会利用它们之前，Linux 安全漏洞通常会很快被发现和打消 。 通过严格的用户权限实现卓越的安全性Linux 通过严格的用户权限模型极大地限度了 root 拜访。在这个模型中，超级用户领有所有的权限，普通用户只被授予足够的权限来实现常见的工作。因为 Linux 用户的主动拜访权限较低，并且须要额定的权限能力关上附件、拜访文件或调整内核选项，因而在 Linux 零碎上流传恶意软件和 rootkit 比在运行其余操作系统的零碎上更难。 只管能够在 Windows 零碎上施行最低权限治理模型，然而很少组织采取这种预防措施，实际上，在大多数 Windows 零碎上“每个人都是管理员”。因而，恶意软件和病毒在运行 Windows 的零碎上比在运行 Linux 的零碎上更容易流传。 多样性带来的平安Linux 用户能够应用多种发行版，它们具备不同的零碎架构和组件。因而，Linux 环境中可能存在的高度多样性不仅有助于满足用户的不同需要，它还使 Linux 在攻击者中的吸引力升高，因为 Linux 环境中多样性存在的，使得难以无效地制作对宽泛的 Linux 零碎能够应用的破绽工具。 只管 Linux 被认为是一种高度平安的操作系统，但存在各种专门的平安 Linux 发行版，供具备高级平安和隐衷问题的集体应用，如浸透测试人员、逆向工程师和平安钻研人员。这些发行版十分重视爱护用户的在线隐衷和匿名性。 Linux 内核平安Linux 内核提供了一些杰出的内置平安进攻，包含 UEFI 平安启动固件验证机制、Linux 内核锁定配置选项和 SELinux 或 AppArmor 强制访问控制 (MAC) 平安加强零碎。通过启用这些性能并配置它们为Linux 内核自我爱护提供最高级别的安全性 ，管理员能够为其零碎增加一个有价值的平安层。 ...

以易于应用著称的 Linux 发行版我的项目 elementary OS 面临解体，确切的说是我的项目背地的开发商面临瓦解。elementary OS 开发商面临瓦解elementary OS 开发商面临瓦解 起初，从大风行开始，elementary OS 团队就开始遇到财务艰难。该操作系统是收费散发的，但在下载之前，用户能够捐献任意金额。因为工作和支出艰难，用户留给开发的资金开始越来越少。 该公司试图解决这个问题，吸引新用户，开发社交网络，但最终得出的论断是有必要削减老本。分析表明，最大的收入我的项目是员工的工资。今年年初，管理层与员工批准将付款缩小 5%。 2022 年 2 月初，打算召开下一次会议，他们正筹备探讨削减经理的工资。丹尼尔指出，为了公司的利益，她筹备放弃局部支出。但几天后，elementary OS 的联结创始人 Cassidy James Blaede 发表来到公司。他还示意心愿不放弃本人的股份并持续留在董事会。Danielle 强调，这样的步骤对于小学来说是不可承受的，因为从历史上看，只有那些在产品上工作的人才能做出决定。 在此基础上，创始人不批准，通过探讨，他们决定卡西迪拿走公司一半的资产，回绝为丹妮尔治理。文件曾经在律师手中，但此时卡西迪的律师发表，他的委托人心愿一次取得 30,000 美元，将来 10 年每年取得 70,000 美元，并持有公司 5% 的股份。 与卡西迪的谈话没有帮忙，他保持本人的立场，不想退让。到目前为止，单方未能达成协议，丹妮尔指出，公司每天都在亏损。创始人谈到她是如何尽所有可能援救小学的，但如果公司无奈援救，她筹备从 Linux 中劳动并转移到其余我的项目。 最新版本的elementary OS 6.1 Jólnir于去年12 月底推出。该操作系统始终致力于提高效率，扩大兼容硬件列表并依据用户投诉增加修复程序。

三星正在增强打算部署以超过苹果的iOS零碎，这家韩国公司发表曾经退出Linux联盟并享有该联盟最高级别白金会员的待遇，这使三星在Linux联盟董事会领有了一席之地。Linux是造成谷歌安卓操作系统的根底，然而始终以来Linux联盟也在创立另一个叫做Tizen的挪动操作系统，没有人给予Tizen太多关注，仿佛全世界的人都对iOS和安卓零碎很称心，即便Windows Phone都不能突破这种场面。 三星是Tizen的一个弱小支持者，这是一次试图波动这种场面的尝试，三星想领有更多的控制权，这样Tizen才可能真正地代替安卓零碎，更重要的是代替苹果的iOS，正如媒体报道的那样，安卓仿佛在与苹果的平台大战中得胜了，而三星并不满足于金石为开地让这样的事件产生，三星有本人的备份打算。三星投资50万美元退出Linux联盟三星投资50万美元退出Linux联盟Linux联盟开掘了8000多家公司和8000多名开发者，其中很多人都对Linux和开源形式很狂热，这是一个开发者帮忙创立另一个手机操作系统及其相应应用程序的宏大基地。会员每年须要向Linux联盟捐资50万美元，才可成为白金会员，目前除了三星公司只有6家公司是Linux联盟的白金会员，这6家公司别离为IBM、甲骨文、英特尔、富士通、NEC和高通翻新核心(Qualcomm Innovation Center)，连寰球最大的Linux开发厂商红帽(Red Hat)也未在该联盟董事会领有席位。

简介： 本文介绍了如何通过 Apache ShenYu 网关拜访 Dubbo 服务，次要内容包含从简略示例到外围调用流程剖析，并对设计原理进行了总结。作者：刘良 Apache Dubbo 在去年公布了下一代的云原生微服务版本 Dubbo3，目前最新版本 Dubbo3 已在阿里经济体实现对 HSF2 框架的全面替换与降级，Dubbo3 目前已成为社区企业实际举荐版本。Apache Shenyu 网关在这个背景下公布了对 Dubbo3 服务代理的反对。 本文介绍了如何通过 Apache ShenYu 网关拜访 Dubbo 服务，次要内容包含从简略示例到外围调用流程剖析，并对设计原理进行了总结。 1.png 介绍 Apache ShenYu 2.png Apache ShenYu（Incubating）是一个异步的，高性能的，跨语言的，响应式的 API 网关。兼容各种支流框架体系，反对热插拔，用户能够定制化开发，满足用户各种场景的现状和将来需要，经验过大规模场景的锻炼。 2021 年 5 月，ShenYu 募捐给 Apache 软件基金会，Apache 基金会全票通过，顺利进入孵化器。 Apache Dubbo Dubbo3 是下一代的云原生微服务框架，全面降级了包含下一代 RPC 协定、利用级服务发现、Dubbo Mesh、对立服务治理等外围能力，多语言 Java、Golang 同步公布 3.0 个性。目前最新版本 Dubbo3 已在阿里经济体实现对 HSF2 框架的全面替换与降级，包含阿里外围电商、阿里云、活饿了么、钉钉、考拉等都曾经全面降级 Dubbo3，2022 双 11 大促外围零碎将跑在 Dubbo3 之上，社区用户包含工商银行、小米、安全衰弱等也已胜利降级 Dubbo3 外围性能。 Dubbo 疾速开始 本大节介绍如何将 Dubbo 服务接入到 ShenYu 网关，您能够间接在工程下找到本大节的示例代码 。 ...

Red Hat 首席技术官 Chris Wright 和 CentOS 社区经理 Rich Bowen 各自发表了 CentOS Linux 的将来和性能的巨大变化。展望未来，将不再有 CentOS Linux ——取而代之的是CentOS Stream。概述CentOS Stream 成立于 2019 年，是“RHEL 下一步的滚动预览”。Red Hat 首席技术官 Chris Wright 和 CentOS 社区经理 Rich Bowen 各自发表了 CentOS Linux 的将来和性能的巨大变化。展望未来，将不再有 CentOS Linux ——取而代之的是CentOS Stream。 CentOS已死:RedHat称Stream不是替代品CentOS已死:RedHat称Stream不是替代品 到底什么是 CentOS?CentOS(Community Enterprise Linux Operating System 的缩写)成立于 2004 年。CentOS 2004 年的第一个版本被命名为版本 2——与过后的 RHEL 2.1 相吻合。从那时起，每个 RHEL 次要版本的增量都会导致相应的 CentOS 新的次要版本，遵循雷同的版本控制计划并在很大水平上从雷同的源构建。 传统的 CentOS 是对 Red Hat Enterprise Linux (RHEL) 操作系统的收费重建，由 RHEL 本人的源代码构建，但移除了 Red Hat 的专有品牌，并且没有 Red Hat 商业反对。这使得 CentOS 能够享受与RHEL 的二进制兼容性。 ...

简介： 本文为大家介绍了如何借助 Apache APISIX 实现 Dubbo Service 的代理，通过引入 dubbo-proxy 插件便可为 Dubbo 框架的后端系统构建更简略更高效的流量链路。作者：APISIX社区 本文为大家介绍了如何借助 Apache APISIX 实现 Dubbo Service 的代理，通过引入 dubbo-proxy 插件便可为 Dubbo 框架的后端系统构建更简略更高效的流量链路。 背景 Apache Dubbo 是由阿里巴巴开源并捐献给 Apache 的微服务开发框架，它提供了 RPC 通信与微服务治理两大要害能力。不仅通过了阿里电商场景中海量流量的验证，也在国内的技术公司中被宽泛落地。 在理论利用场景中，Apache Dubbo 个别会作为后端系统间 RPC 调用的实现框架，当须要提供 HTTP 接口给到前端时，会通过一个「胶水层」将 Dubbo Service 包装成 HTTP 接口，再交付到前端零碎。 Apache APISIX 是 Apache 软件基金会的顶级开源我的项目，也是以后最沉闷的开源网关我的项目。作为一个动静、实时、高性能的开源 API 网关，Apache APISIX 提供了负载平衡、动静上游、灰度公布、服务熔断、身份认证、可观测性等丰盛的流量治理性能。 得益于 Apache Dubbo 的利用场景劣势，Apache APISIX 基于开源我的项目 tengine/mod_dubbo 模块为 Apache Dubbo 服务装备了HTTP 网关能力。通过 dubbo-proxy 插件，能够轻松地将 Dubbo Service 公布为 HTTP 服务。 ...

对于Debian 12 “Bookworm的探讨表明Debian 12 “Bookworm” 无望在 2023 年中公布。Debian 11 曾经在去年公布，至今曾经半年，而邮件列表中曾经有对于 Debian 12 “Bookworm（中文翻译成书呆子？）” 的开发里程碑日期的探讨：Debian 12 可能会在 2023 年中公布。 Debian 12 可能会在 2023 年中公布Debian 12 可能会在 2023 年中公布 Debian 公布团队已提议在 2023 年 1 月 12 日左右进行过渡和工具链解冻，在 2 月 12 日左右进行 Debian 12.0 软解冻(Soft Freeze，软解冻默认软件的性能已残缺，团队将进行性能开发，仅提交 Bug 修复)，在 3 月 12 日左右进行全面硬解冻（硬解冻期间，要害软件包和没有自动化测试的软件包禁止主动迁徙，须要公布团队手动勾销限度软件包以进行迁徙）。 Debian 的次要版本以两年为周期，比方从 19 年 7 月的 Debian 10 “buster” 到 21 年 8 月的 Debian 11 “Bullseye”，而 Debian 12 “Bookworm” 应该也是在 2023 的 7-8 月公布，具体取决于个性解冻后的 Bug 修复状况。 ...

Nitrux OS 是一个基于 Debian 的乏味的 Linux 发行版。还没有试过吗？我认为你应该试试。尝试 Nitrux 零碎的六大理由尝试 Nitrux 零碎的六大理由 Nitrux 零碎兴许算不上 Linux 的支流发行版本之一，但它相对是一款极其独特的产品。 2019 年，咱们 采访了 Nitrux 的创始人 Uri Herrera，理解到 Herrera 等人开发这款零碎的初衷：超过传统的 Linux 发行版。 自那之后，过了许久，咱们终于迎来了 Nitrux 2.0 版本。 不要忘了，Nitrux 在去年 放弃基于 Ubuntu，而抉择了 Debian。 思考到自 Nitrux 发行以来的数年间，也产生了许多变动，你应该尝试一下这款零碎。 这里，我要分享一些体验 Nitrux 零碎 的理由： 1、Nitrux 不再基于 Ubuntu尝试 Nitrux 零碎的六大理由尝试 Nitrux 零碎的六大理由 人们个别都会举荐基于 Ubuntu 的 Linux 发行版本，来满足日常所需。 当然，在咱们 为老手举荐的 Linux 零碎 中，也次要是许多基于 Ubuntu 的版本，然而请不要误会。 咱们之所以举荐基于 Ubuntu 的发行版本，惟一的理由在于它们简略易用，反对大量的商业软件。 所以，如果你不是刚开始应用 Linux 零碎，同时也想尝试既能让你耳目一新，又不至于使你感到生疏，而且非常稳固的发行版，基于 Debian 的 Nirtux 是一个不错的抉择。 ...

咱们正处于技术改革的时代，数字化力量（挪动互联网、SaaS、云计算、大数据，物联网和社交媒体）的聚合正在扭转市场，并扭转消费者的期望值。 随着云计算、大数据、人工智能等技术的蓬勃发展，挪动互联网、物联网产业减速翻新，挪动设施持有量一直减少，Web 利用、挪动利用已融入生产生存的各个领域。这一过程中，API 作为数据传输流转的重要通道施展着无足轻重的作用，承当着不同简单零碎环境、组织机构之间的数据交互、传输的重任。 Apache APISIX 是一个动静、实时、高性能的 API 网关， 提供负载平衡、动静上游、灰度公布、精细化路由、限流限速、服务降级、服务熔断、身份认证、可观测性等数百项性能。助力企业解决传统单体架构转型的艰难，从而实现业务和产品的疾速迭代。 在云原生时代，动静和可观测性成为掂量 API 网关的规范之一。Apache APISIX 不仅笼罩了传统网关的根底性能，在可观测性上也和其余社区等进行深度单干，大大晋升了服务治理能力。作为中国毕业最快的 Apache 顶级我的项目和寰球最沉闷的开源 API 网关我的项目，APISIX 目前在寰球已有数百家企业用户，波及金融、互联网、制作、批发、运营商等多个行业。 2022 年 5 月 20-21 日，Apache APISIX 社区通过线上直播的形式，举办了首届年度盛会——Apache APISIX Summit ASIA 2022。在为期两天的技术盛典中，来自各大开源社区及行业头部企业的顶尖技术专家们，分享了他们各自在业务场景或开源视角下的一些认知与想法。不止在技术角度带来了丰盛的实战与利用场景，也在认知角度带来了更多对开源我的项目和社区的畅想与探讨，为与会者送上了一场干货十足但又回味无穷的技术盛宴。 聚焦当下，畅想将来：开源摸索即刻开启作为 Apache APISIX 的 PMC 主席，温铭用「API 是连贯数字世界的基石」开启了这场技术盛典的第一幕。2020 年 7 月， APISIX 从 Apache 软件基金会毕业，成为 Apache 软件基金会的顶级我的项目。作为为云原生架构而设计的 API 网关，APISIX 能够解决南北向的 API 申请和服务网格的东西向流量，曾经成为必不可少的底层中间件之一。 APISIX 我的项目诞生于社区，成长于社区也从社区走向更多企业的业务场景利用中。好的产品肯定是来自于使用者的一直摸索从而爆发有限可能，Apache APISIX 的将来，仍将由所有参加 Apache APISIX 社区的贡献者一起谱写。 回到开源层面，来自经纬创投的熊飞则从 toB 视角讲述了「开源产品通过社区走向全球化」的观点。开源使得底层架构的产品翻新能够来自于全世界各个角落，同时开源我的项目能够用极低的获客老本，通过分阶段投入，逐步从社区走向市场。 而在走向全球化的过程中，开源产品仍要以「Product First」为指标，产品永远是第一驱动力，切忌好高骛远。也要继续察看大环境下的动态变化，做好持久战筹备的信心。 在接下来的工夫里，Apache SkyWalking 创始人吴晟持续从「开源」话题角度分享了企业应如何对待开源。什么是开源？凋谢局部代码不代表开源。成为开源我的项目后，如何进行自我评估与优化也是在开源过程中重要的一环。除了关注我的项目自身的关注指标外，在产品方面则须要关注我的项目的周边生态，深刻用户侧理解用户更感兴趣的个性。只有这样，能力保障开源我的项目在进行迭代的过程中，呈现出直击需要的性能个性。 在主会场的收尾分享中，Apache APISIX PMC 成员王院生则是从开发者角度讲述了 APISIX 当初与将来的性能与实现打算。 ...

Linux 中的sleep和wait命令容许你以选定的速度运行命令或在期待工作实现后捕捉并显示工作的退出状态。sleep只是在命令之间插入一个定时暂停。wait命令在实现后才告诉它已实现。Sleep命令sleep 命令会暂停指定的工夫。它通常用于脚本中，但也实用于命令行。在上面的示例中， sleep 在两个 date 命令之间暂停30秒。 [root@localhost ~]# date ; sleep 30 ; dateThu Nov 11 05:06:44 EST 2021Thu Nov 11 05:07:14 EST 2021Linux中Sleep和Wait命令的应用形式Linux中Sleep和Wait命令的应用形式sleep 命令将数字参数作为秒数。但也能够通过在参数中增加一个字符来让它休眠不同的工夫： 10s = 10 seconds1m = 1 minute2h = 2 hours3d = 3 days[root@localhost ~]# date ; sleep 10s ; dateThu Nov 11 05:11:09 EST 2021Thu Nov 11 05:11:19 EST 2021睡眠工夫也能够小于1秒钟，就是在数字后面加一个.. .1 = 十分之一秒.01 = 百分之一秒.001 = 千分之一秒[root@localhost ~]# date ; sleep .1 ; dateThu Nov 11 05:14:03 EST 2021Thu Nov 11 05:14:03 EST 2021sleep 命令通常用于定期运行命令，例如每 10 秒或每分钟一次，当你想要监督某些流动时。例如，可能正在期待共事登录文件服务器。您可能会运行这样的命令： ...

有些状况下，因为一些平安起因Ubuntu机器没有连贯到互联网。在这种状况中，你能够设置本人的本地APT软件包仓库，并在Ubuntu机器上装置软件包。零碎环境Ubuntu 20.04 LTS 装置dpkg-dev须要装置dpkg-dev软件包，能力为本地APT仓库创立软件包元数据。 bob@ubuntu-20-04:~$ sudo apt install -y dpkg-dev装置http服务如果该软件仓库须要为其余ubuntu 20.04服务器应用，能够装置web服务器为其余ubuntu 20.04服务器提供软件仓库。 bob@ubuntu-20-04:~$ sudo apt install -y apache2创立本地仓库的存储目录创立/var/www/html/repo目录，用来寄存软件包： bob@ubuntu-20-04:~$ sudo mkdir /var/www/html/repo创立挂载点，并挂载ubuntu 20.04的光盘到/mnt/cdrom目录。 bob@ubuntu-20-04:~$ sudo mkdir /mnt/cdrombob@ubuntu-20-04:~$ sudo mount /dev/cdrom /mnt/cdrommount: /mnt/cdrom: WARNING: device write-protected, mounted read-only.查找/mnt/cdrom外面所有deb软件包并将其复制到咱们的本地APT仓库目录中。 bob@ubuntu-20-04:~$ sudo find /mnt/cdrom -iname "*.deb" -exec cp {} /var/www/html/repo \;Ubuntu 20.04中创立本地APT软件包仓库Ubuntu 20.04中创立本地APT软件包仓库 编写一个脚本来更新Package.gz文件创立一个脚本文件以扫描更新Packages.gz文件因为你可能会不断的在本地APT仓库中增加新的deb软件包。因而，每次在repo目录中增加新的deb软件包之后，都须要更新Packages.gz文件。 bob@ubuntu-20-04:~$ sudo vim /bin/update-debs !/bin/bashcd /var/www/html/repodpkg-scanpackages . /dev/null | gzip -9c > Packages.gz给update-debs脚本文件增加可执行权限： bob@ubuntu-20-04:~$ sudo chmod +x /bin/update-debs当初执行此脚本以创立Packages.gz文件： ...

在编写 shell 脚本时，有时须要生成数字或字符串序列。这种序列数据的一种常见用处是用于循环迭代。尽管能够应用 seq 之类的专用工具来生成一系列数字，但 bash 自身提供大括号扩大，实际上没有必要在 bash 脚本中增加此类内部依赖项。在本教程中，让咱们理解如何应用大括号扩大在 shell 脚本中生成数据序列和一些有用的大括号扩大示例。 {}花括号应用阐明Bash 内置的 range 函数是通过所谓的{}大括号扩大实现的。简而言之，大括号扩大容许依据提供的字符串和数字数据生成字符串序列。大括号扩大的语法如下。 {<string1>,<string2>,...,<stringN>}{<start-number>..<end-number>}{<start-number>..<end-number>..<increment>}<prefix-string>{......}{......}<suffix-string><prefix-string>{......}<suffix-string>实例一：列出字符串序列大括号扩大的第一个用例是一个简略的字符串列表，它是大括号内以逗号分隔的字符串列表。这里是简略地列出预约义的字符串数据。 上面应用for循环，列出大括号中的字符串，如下所示。 [root@localhost ~]# for fruit in {apple,orange,lemon}; do echo $fruit ; doneappleorangelemon如何在bash中应用{}范畴表达式如何在bash中应用{}范畴表达式上面实例是同时创立多个子目录： [root@localhost ~]# mkdir -p /tmp/users/{dan,john,alex,michael,emma}[root@localhost ~]# ls -l /tmp/users/total 0drwxr-xr-x 2 root root 6 Aug 6 16:23 alexdrwxr-xr-x 2 root root 6 Aug 6 16:23 dandrwxr-xr-x 2 root root 6 Aug 6 16:23 emmadrwxr-xr-x 2 root root 6 Aug 6 16:23 johndrwxr-xr-x 2 root root 6 Aug 6 16:23 michael如何在bash中应用{}范畴表达式如何在bash中应用{}范畴表达式上面是创立多个空文件： ...

scp 命令是用于通过 SSH 协定平安地将文件复制到近程零碎和从近程零碎复制文件到本地的命令。应用 SSH 意味着它享有与 SSH 雷同级别的数据加密，因而被认为是跨两个近程主机传输文件的平安形式。根本语法上面提供了 SCP 命令的根本语法： $ scp [option] /path/to/source/file user@server-ip:/path/to/destination/directory/path/to/source/file – 这是打算复制到近程主机的源文件。 user@server-IP: – 这是近程零碎的用户名和 IP 地址。请留神 IP 地址前面加冒号。 /path/to/destination/directory – 这是文件将复制到的近程零碎上的目标目录。 以下是scp命令罕用的几个选项： -C - 这会在复制过程中压缩文件或目录。-P - 如果默认 SSH 端口不是 22，则应用此选项指定 SSH 端口。-r - 此选项递归复制目录及其内容。-p - 保留文件的拜访和批改工夫。将文件复制到近程 Linux 服务器在上面的示例中，我将logs.tar.gz 复制到近程主机的/root目录下。主机IP为192.168.43.137，用户名为root。 [root@server1 ~]# scp logs.tar.gz root@192.168.43.137:/rootscp命令应用办法scp命令应用办法如果要复制目录，请应用-r选项，如下所示。在这里，咱们将 /root/syslog目录复制到近程节点的/root目录中。 [root@server1 ~]# scp -r syslog root@192.168.43.137:/rootscp命令应用办法scp命令应用办法如果不增加-r选项复制目录，会提醒如下谬误。 [root@server1 ~]# scp syslog root@192.168.43.137:/rootroot@192.168.43.137's password: syslog: not a regular filescp命令应用办法scp命令应用办法 将文件从近程零碎复制到本地零碎能够将文件从近程节点复制到本地零碎，如下所示： ...

随着互联网技术和信息技术的倒退，信息的数据化产生了许多无奈用惯例工具量化、解决和捕获的数字信息。面对多元的数据类型，海量的信息价值，如何无效地对大数据进行开掘剖析，对大数据工作流进行调度，是保障企业大数据工作高效运行的根底。 有了数据平台和数据仓库，抉择什么零碎来调度和治理数仓工作就显得尤为重要。Apache DolphinScheduler作为新一代的大数据任务调度零碎，致力于让调度变得更加容易。身为一款专门针对于大数据平台的工作调度零碎，具备本土化格调和多样化的部署形式。同时，Apache DolphinScheduler还领有非常沉闷的社区与定期的交流会。 2022年4月30日将迎来Apache DolphinScheduler四月线上Meetup，Apache DolphinScheduler社区邀请了来自新网银行、联通软研院、中国移动云能力核心等企业的资深大数据工程师与开发者，分享他们在亲自应用、优化与革新Apache DolphinScheduler过程中遭逢的问题与挑战。 话题将围绕Apache DolphinScheduler作为企业离线调度平台的应用场景，针对企业外部场景的优化、革新以及实际过程中遇到的问题，工作拓展、工作血统耦合，大数据业务组件的连通构建以及Apache DolphinScheduler各个服务启动流程等开展。无论你是Apache DolphinScheduler的开发工程师还是集体爱好者，来到本次Meetup，你肯定能听到一手的分享，失去一手的播种！ 01 报名通道Apache DolphinScheduler Meetup | 4 月线上直播报名通道已开启，赶快预约吧！ 工夫：2022-4-30 14:00-17:00 模式：线上直播 点击链接或扫码预约报名（收费）：https://www.slidestalk.com/m/781 扫码观看直播 扫码入直播群 02 议程介绍 陈卫 新网银行 大数据中心 高级大数据工程师 11 年工作教训，晚期从事数据仓库建设，后转向大数据根底平台、调度零碎等建设，有传统金融行业、互联网数据仓库、数据集市建设教训，多年的调度零碎建设教训，咪咕文化剖析云调度零碎设计，报表平台设计，目前次要负责新网银行 DataOps 体系相干零碎建设(离线开发，指标零碎，标签零碎)。 演讲工夫：14:00-14:40 演讲题目：Apache DolphinScheduler 在新网银行的实际利用 演讲概要：新网银行抉择 Apache DolphinScheduler 作为其离线调度平台的背景，场景，针对新网外部场景的优化、革新以及实际过程中遇到的问题等。 张柏强 大数据根底平台开发 从事大数据根底平台开发以及底层组件运维 演讲工夫：14:40-15:20 演讲题目：Apache DolphinScheduler 利用实际以及扩大开发 演讲概要：分享基于 Apache DolphinScheduler 的工作扩大，工作血统耦合，调度元数据革新，工作日志优化。 15:20-15:30 抽奖和直播间福袋环节 柏雪松 联通软研院 大数据工程师 毕业于中国农业大学，从事于大数据平台构建和 AI 平台构建，为 Apache DolphinScheduler 奉献 Apache SeaTunnel(Incubating) 插件，并为 Apache SeaTunnel(Incubating) 共享 alluxio 插件。 ...

一、POI简介（Apache POI）1、什么是POIApache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格局档案读和写的性能。 HSSF － 提供读写Microsoft Excel格局档案的性能。（.xls）XSSF － 提供读写Microsoft Excel OOXML格局档案的性能。（.xlsx）HWPF － 提供读写Microsoft Word格局档案的性能。HSLF － 提供读写Microsoft PowerPoint格局档案的性能。HDGF － 提供读写Microsoft Visio格局档案的性能。 2、官网poi.apache.org/ 官网能够找到文档和每个版本的下载地址 java全套视频学习材料：http://www.atguigu.com/downlo... 二、创立案例我的项目 1、创立一个一般的maven我的项目我的项目名：excel-poi2、pom中引入xml相干依赖 org.apache.poipoi3.9 org.apache.poipoi-ooxml3.9 joda-timejoda-time2.10.1 junitjunit4.12 三、xls写-03和07的区别1、03版本 package com.atguigu.excelpoi;public class ExcelWriteTest {@Testpublic void testWrite03() throws IOException {// 创立新的Excel 工作簿Workbook workbook = new HSSFWorkbook();// 在Excel工作簿中建一工作表，其名为缺省值 Sheet0//Sheet sheet = workbook.createSheet();// 如要新建一名为"会员登录统计"的工作表，其语句为：Sheet sheet = workbook.createSheet("会员登录统计");// 创立行（row 1）Row row1 = sheet.createRow(0);// 创立单元格（col 1-1）Cell cell11 = row1.createCell(0);cell11.setCellValue("今日人数");// 创立单元格（col 1-2）Cell cell12 = row1.createCell(1);cell12.setCellValue(666);// 创立行（row 2）Row row2 = sheet.createRow(1);// 创立单元格（col 2-1）Cell cell21 = row2.createCell(0);cell21.setCellValue("统计工夫");//创立单元格（第三列）Cell cell22 = row2.createCell(1);String dateTime = new DateTime().toString("yyyy-MM-dd HH:mm:ss");cell22.setCellValue(dateTime);// 新建一输入文件流（留神：要先创立文件夹）FileOutputStream out = new FileOutputStream("d:/excel-poi/test-write03.xls");// 把相应的Excel 工作簿存盘workbook.write(out);// 操作完结，敞开文件out.close();System.out.println("文件生成胜利");}} ...

浏览本文理解组合简略命令以创立更弱小命令的可能性。1.同时创立不同名称的文件夹shell 的{} 运算符非常适合此操作。上面是用{} 创立三个子目录的示例： [root@localhost ~]# mkdir -p /tmp/users/{dir1,another,third} 就地编辑文件在不应用编辑器的状况下替换一个或多个文件上的字符串，能够应用sed 来操作：[root@localhost ~]# sed -i 's/SELINUX=disabled/SELINUX=enforcing/g' /etc/selinux/config 应用web服务器疾速共享文件上面能够应用python的http.server搭建一个繁难的web网站，来显示当前目录的文件，以不便下载：[root@localhost ~]# cd /root && python3 -m http.server 8080Serving HTTP on 0.0.0.0 port 8080 (http://0.0.0.0:8080/) ...Linux中11个比拟实用的命令行Linux中11个比拟实用的命令行Linux中11个比拟实用的命令行Linux中11个比拟实用的命令行 应用 journalctl 查问谬误日志能够应用 journalctl 以及 sort 和 uniq 的组合来查找最近的谬误：[root@localhost ~]# journalctl --no-pager --grep 'fail|error|fatal' --output json| jq '._EXE'| sort| uniq -c | sort --numeric --reverse --key 1 45 null 14 "/usr/bin/cat" 6 "/usr/lib/systemd/systemd" 6 "/usr/libexec/platform-python3.6" 6 "/usr/bin/bash" 5 "/usr/sbin/useradd" 3 "/usr/sbin/rngd" 2 "/usr/sbin/groupadd" 1 "/usr/sbin/rsyslogd"5.命令行中向文件写入内容当须要编写多行文档时，而后应用自定义的字符EOL来完结写入，这是一个很好的技巧： ...

在上一篇文章中，咱们从组件、线程、读写流程三个方面解说了 bookie 服务端原理。在这篇文章中，咱们将具体介绍写操作是如何通过各组件和线程模型的配合高效写入和疾速落盘的。咱们尽量还是在架构层面分析。 本系列文章基于 Apache Pulsar 中配置的 BookKeeper 4.14 版本。写操作中有很多线程调用 Journal 和 LedgerStorage 的 API。在上一篇文章中，咱们曾经晓得写操作中 Journal 为同步操作，DbLedgerStorage 为异步操作。 图一：各线程是如何解决写操作的 咱们晓得能够配置多个 Journal 实例和 DbLedgerStorage 实例，每个实例都有本人的线程、队列和缓存。因而当讲到某些线程、缓存和队列的时候，它们可能是并行存在的。 Netty 线程Netty 线程解决所有的 TCP 连贯和这些连贯中的所有申请。并将这些写申请转发到写线程池，其中包含要写入的 entry 申请、解决申请完结时的回调、发送响应到客户端。 写线程池写线程池要做的事件不多，因而不须要很多的线程（默认值是 1）。每个写申请增加 Entry 到 DbLedgerStorage 的 Write Cache，如果胜利，则将写申请增加到 Journal 的内存队列（BlockingQueue）中。此时写线程的工作就实现了，剩下的工作就交给其余线程解决。 每个 DbLedgerStorage 实例有两个写缓存，一个是沉闷的，一个是闲暇的，闲暇的这个缓存能够在后盾将数据刷到磁盘。当 DbLedgerStorage 须要将数据刷到磁盘时（沉闷写缓存写满后），两个写缓存就会产生替换。当闲暇状态的写缓存将数据刷到磁盘的同时，能够应用一个空的写缓存持续提供写服务。只有在沉闷写缓存被写满之前，将闲暇写缓存中的数据刷到磁盘，就不会呈现什么问题。 DbLedgerStorage 的刷盘操作能够通过同步线程（Sync Thread）定时执行检查点（checkpoint）机制或通过 DbStorage 线程（DbStorage Thread，每个 DbLedgerStorage 实例对应一个 DbStorage 线程）触发。 如果写线程尝试向写缓存中增加 Entry 时，写缓存曾经满了，则写线程将刷盘操作提交到 DbStorage 线程；如果换出的写缓存曾经实现了刷盘操作，那么两个写缓存将立刻执行替换操作（swap），而后写线程将这个 Entry 增加到新替换进去的写缓存中，这部分的写操作也就实现了。 然而，如果沉闷状态的写缓存被写满了，同时替换出的写缓存依然在刷盘，那么写线程将期待一段时间，最终回绝写申请。期待写缓存的工夫由配置文件中的参数 dbStorage_maxThrottleTimeMs 管制，默认值为 10000（10 秒）。 默认状况下，写线程池中只有一个线程，如果刷盘操作过长的话这将导致写线程阻塞 10 秒钟，这将导致写线程池的工作队列被写申请迅速填满，从而回绝额定的写申请。这就是 DbLedgerStorage 的背压机制。一旦刷新的写缓存再次能写入之后，写线程池的阻塞状态才会被解除。 ...

人不知;鬼不觉，Apache DolphinScheduler 曾经从 Apache 软件基金会（以下简称 ASF）孵化器毕业一年啦！ 北京工夫 2021 年 4 月 9 日，ASF 官网发表 Apache DolphinScheduler 毕业成为 Apache 顶级我的项目，让首个由国人主导并奉献到 Apache 的大数据工作流调度畛域的顶级我的项目进入更多人的视线。 现在一年过来，Apache DolphinScheduler 也在众人注目和基金会的帮忙之下，放慢了奔跑的步调，力争在 DataOps 畛域更好地发光发热。 时值 Apache DolphinScheduler 从 ASF 孵化器毕业一周年，咱们在这里向大家汇报一下在这段无限的工夫内，我的项目在 ASF 和社区帮忙下获得的问题。 放弃疾速迭代，衰弱状态良好依据 ASF Project Statistics 显示，Apache DolphinScheduler 社区衰弱评分为 9.19，这阐明社区运行状态良好。 目前，社区共有 45 位 Committer 和 19 位 PMC，Committer-to-PMC 比例为 2:1。 01 我的项目流动软件开发：2021 年至今，咱们公布了 11 个版本，实现了 70% 的代码重构，使得性能晋升20 倍。新增 Python SDK 反对，上线了 WorkflowAsCode 性能，并实现了插件化、一键降级等社区呼声极高的性能优化。目前最新版本为 2.0.5。 Meetup 和会议：2021 年 11 月 27 日举办的 Apache DolphinScheduler 线上 meetup，约 4000 人次观看；2022 年 2 月 26 日举办的 Apache DolphinScheduler 线上 meetup，约 5000 人次观看；2022 年 3 月 26 日和 Apache ShenYu(Incubating)联结举办线上 Meetup，约 6000 人次观看；2022 年 4 月之后，将定期举办一次 Meetup（包含海内联结 Meetup）......02 社区衰弱状态dev@dolphinscheduler.apache.org 流量较上季度减少了 64%297 封电子邮件，上季度为 181 封上季度共 972 次 commits（增长 123%）上季度有 88 位代码贡献者（增长 25%）上季度在 GitHub 上新开 824 个 PR（增长 89%）上季度在 GitHub 上敞开了 818 个 PR（增长 100%）上季度在 GitHub 上新开 593 个 issue（增长 90%）上季度在 GitHub 上敞开了 608 个 issue（增长 155%）Contributor 新增至 300+最沉闷的 GitHub issues/PRs:dolphinscheduler/issues/8790 [Bug] [Process Definition] Duplicate key TaskDefinition (31 comments)dolphinscheduler/issues/9068 [Bug] [API server] could not get flow in exists project after upgrade from 2.0.1 to 2.0.5 (27 comments)dolphinscheduler/pull/8340 Feature-8222 move examples into the scope of source package (17 comments)dolphinscheduler/pull/8246 Feature-8245 Add Alert Plugin Telegram (14 comments)dolphinscheduler/pull/9246 [Fix-9221] [alert-server] optimization and gracefully close (14 comments)dolphinscheduler-website/pull/713 Feature-8023 Add example and notice about task type Python (13 comments)dolphinscheduler/pull/8747 Fix-8744 start standalone server failed (13 comments)dolphinscheduler-website/pull/667 Feature-8020 Add example and notice about task type SQL (12 comments)dolphinscheduler/issues/7992 Feature Support PagerDuty Plugin && Alert module judging strategy (11 comments)dolphinscheduler/pull/9336 Improvement-9338 show more create datasource exception message (11 comments)自成立以来，Apache DolphinScheduler 历经数次迭代，性能不断完善，性能继续晋升，一直优化以合乎开发者习惯的开发方式，为用户提供了通过生产实践环境测验的成熟工作流调度解决方案。 目前，Apache DolphinScheduler 也开启了国际化的步调，尝试减少了 Python，AWS，以及时区反对等，以接轨国际化的开发应用形式。 ...

云原生时代音讯队列和流交融零碎，提供对立的生产模型，反对音讯队列和流两种场景，既能为队列场景提供企业级读写服务质量和强一致性保障，又能为流场景提供高吞吐、低提早；采纳存储计算拆散架构，反对大集群、多租户、百万级 Topic、跨地区数据复制、长久化存储、分层存储、高可扩展性等企业级和金融级性能。  GitHub 地址：http://github.com/apache/pulsar/ 场景关键词： 异步解耦 削峰填谷 跨城同步 音讯总线  流存储  批流交融  实时数仓  金融风控 2022 年 5 月 20-21 日，Apache APISIX Summit Asia 2022 将通过「线上直播」的形式举办。本次大会邀请到了多位来自出名开源社区及行业头部企业的顶尖技术专家，围绕基础架构、利用实际、开源生态三大主题方向，分享 Apache APISIX 的前沿技术、最佳实际及技术干货，独特探讨开源生态探索之旅。 作为本次盛会的单干社区，Apache Pulsar 中文社区也将反对本次大会的举办。StreamNative 联结创始人翟佳将缺席本次大会的圆桌会议独特探讨开源生态治理，多家一线互联网公司的技术人员也将会参加本次大会的分享与探讨。 扫描下方二维码即可报名预约观看直播！ 关注公众号「Apache Pulsar」获取更多技术干货 退出 Apache Pulsar 中文交换群

全新 Apache Pulsar 周边生态 OpenMLDB Pulsar Connector 来袭！本周日（4 月 17 日） 10:00-12:00，StreamNative 与 Apache Pulsar 社区工程师加盟 OpenMLDB Meetup 线上直播。买通上下游数据生态，从开发原理到实战演练，解析 OpenMLDB 与 Apache Pulsar 集成。 本次 Meetup 次要内容：面向 OpenMLDB 的上游数据生态，深度解析云原生音讯平台 Apache Pulsar；针对实时特色计算场景，介绍基于 OpenMLDB 的特色开发流程，以及机器学习特色计算平台架构；OpenMLDB Pulsar Connector 实战演练，高效买通实时数据到特色工程。 （辨认二维码入群观看直播） 流动详情流动工夫： 04月16日 10:00-12:00  流动模式： 线上直播  合作伙伴： StreamNative 议题介绍OpenMLDB Pulsar Connector 实战演练 云原生音讯流平台 Apache Pulsar 深度解析 云原生时代音讯队列和流交融零碎，提供对立的生产模型，反对音讯队列和流两种场景，既能为队列场景提供企业级读写服务质量和强一致性保障，又能为流场景提供高吞吐、低提早；采纳存储计算拆散架构，反对大集群、多租户、百万级 Topic、跨地区数据复制、长久化存储、分层存储、高可扩展性等企业级和金融级性能。  GitHub 地址：http://github.com/apache/pulsar/ 场景关键词： 异步解耦 削峰填谷 跨城同步 音讯总线  流存储  批流交融  实时数仓  金融风控 关注公众号「Apache Pulsar」获取更多技术干货 退出 Apache Pulsar 中文交换群 ...

云原生时代音讯队列和流交融零碎，提供对立的生产模型，反对音讯队列和流两种场景，既能为队列场景提供企业级读写服务质量和强一致性保障，又能为流场景提供高吞吐、低提早；采纳存储计算拆散架构，反对大集群、多租户、百万级 Topic、跨地区数据复制、长久化存储、分层存储、高可扩展性等企业级和金融级性能。  GitHub 地址：http://github.com/apache/pulsar/ 场景关键词：异步解耦 削峰填谷 跨城同步 音讯总线 流存储  批流交融  实时数仓 实时 ETL 金融风控 摘要：2022 年初，Apache Pulsar 社区迎来了一位新晋 Committer——李理（GitHub 地址: @urfreespace）。来自 StreamNative 的李理是一名全栈工程师，他的社区次要奉献方向为 Pulsar 官方网站与文档零碎建设。非 Pulsar 我的项目开发者如何参加开源？全栈工程师在开源我的项目里能够承当什么角色？李理将以亲自体验给大家带来参加开源我的项目、取得开源社区认证的“新”思路。\本文策动：鸡排，海绮“为什么倡议大家做开源——除能够晋升自我外，开源我的项目自身就是一个品牌，为你的能力背书。”“文档写的好，用起来才好，体验感才好，大家才违心用，才有助于一个我的项目的推广与遍及。”“好的开源产品在网站和文档方面肯定要欠缺和强壮，有人去保护的文档和网站的用户体验才是敌对的。”———— 李理 用一个字概括李理的格调，“杂”仿佛最为适合。此处的“杂”是贬义的，是李理职业生涯和日常生活的缩影：在职业生涯中，李理曾从事研发工作，各个领域都有涉猎，如 Java/Pyhton/Go 服务端、Web 前端、iOS 客户端、ELK 运维和研发等工作，当初是一名全栈工程师；在生活中，李理喜好宽泛：爬山、做木工、做各种手工小玩意儿、读书等等，浏览也涉猎宽泛。 （上面让咱们从李理的第一视角走进他的开源世界） From Kafka to Pulsar，从用户到开发者退出 Pulsar 社区前，我做了一年多的 ELK 相干技术栈运维和研发工作；在应用 Kafka 的过程中遇到一些运维上的痛点，于是开始调研 Pulsar，我也是从那时开始逐渐深刻理解 Pulsar。 此外，进入社区前，我始终以用户角色接触和调研 Pulsar 我的项目，并没有参加任何 Pulsar 主我的项目的奉献。当初作为全栈工程师，我一直接触 Pulsar 多个方面。从用户向开发者角色转变，一点点向 Apache Pulsar 奔赴。 两个 PIP 的诞生：打造更好的我的项目体验我在 Pulsar 的次要奉献围绕 PIP - 87 和 PIP - 112 开展： 降级 Pulsar 网站，改版根底框架；优化 Release Note 自动化脚本；降级 Pulsar 文档，实现自动化解决。最近拜访 Pulsar 官网的小伙伴会发现，目前 Pulsar 新网站 Beta 版本曾经进入 Review 阶段，大家可在以后 Pulsar 网站找到相干链接点击进入查看。新版网站是我的奉献成绩之一。 ...

对于 StreamNativeStreamNative 是一家开源根底软件公司，由 Apache 软件基金会顶级我的项目 Apache Pulsar 开创团队组建而成，围绕 Pulsar 打造下一代云原生批流交融数据平台。StreamNative 作为 Apache Pulsar 商业化公司，专一于开源生态和社区构建，致力于前沿技术畛域的翻新，开创团队成员曾就任于 Yahoo、Twitter、Splunk、EMC 等出名大公司。 导语：本文是 Apache Pulsar PMC 成员，StreamNative 首席架构师李鹏辉在 TGIP-CN 037 直播流动的文字整顿版本。Pulsar 2.10.0 版本行将公布，本场直播为大家带来 Apache Pulsar 2.10.0 的次要新个性及版本解读，解答大家对新版本对于技术细节的疑难。点击 查看回顾视频 Pulsar 2.10.0 蕴含来自于 99 位贡献者的 1000+ commits，其中诸多奉献来自于国内的贡献者，感激大家对 Pulsar 的反对与奉献。 本次版本公布是一次新的里程碑，如此多的 commit 数量也为文档带来了降级；Apache Pulsar 网站降级中，新网站 Beta 版本对文档进行了从新归档与欠缺，欢送大家试用并提出宝贵意见。 Apache Pulsar 2.10.0 版本新个性内容包含： 去除对 ZooKeeper 的强依赖；新的生产类型 TableView；多集群主动故障转移；Producer Lazy Loading + Partial RoundRobin；Redeliver Backoff；Init Subscription for DLQ；引入多集群全局 Topic Policy 设置反对以及 Topic 级别的跨地区复制配置；ChunkMessageId；减少批量操作 Metadata 服务的反对：能够在大量 Topic 的场景下晋升 Pulsar 稳定性；...去除对 ZooKeeper API 强依赖ZooKeeper 是 Pulsar 中应用十分宽泛的一个 API，旧版对该 API 的依赖无处不在，但这种依赖不利于用户抉择其余类型的元数据服务。为了解决这一问题，Pulsar 通过多个版本的迭代，做了大量筹备和测试工作后终于在 2.10.0 版本去除了对 ZooKeeper 的强依赖。 ...

本文翻译自《A Guide to the BookKeeper Replication Protocol (TLA+ Series Part 2)》，作者 Jack Vanlightly。原文链接：https://medium.com/splunk-maa...。译者简介王嘉凌@中国移动云能力核心，挪动云Pulsar产品负责人，Apache Pulsar Contributor，沉闷于 Apache Pulsar 等开源我的项目和社区 咱们晓得关系型数据库中的数据是按表构造来存储，客户端能够将数据存储到表中以及从表中读取数据。Apache BookKeeper 中的数据是按日志构造来存储，客户端以日志的模式读写数据。日志构造是一种只反对数据追加操作的简略数据结构，反对多个客户端同时读取，以及非破坏性读取。 作为数据结构，日志和队列的性能十分类似，区别在于日志反对多个客户端同时独立地从不同地位读取残缺的数据。因而，日志必须反对非破坏性读取。而队列则是破坏性读取， 队列的头部元素被读取后会被删除。这意味着队列中的每个元素只会被一个客户端读取到。 作为 Apache Pulsar 数据存储层的 Apache BookKeeper，自身也是一个简单的分布式系统。BookKeeper 利用多正本机制来实现数据的平安和高可用。多正本指的是每一份 entry 数据都会被复制到多个节点保留，以便在产生局部节点故障时依然能够提供读写服务，并且保障已保留的数据不会失落。BookKeeper 应用一套独有的多正本协定，这个协定规定了多个服务节点之间如何协同来实现服务的高可用以及保证数据的平安。 基于分片的日志数据结构诸如 Apache Kafka 和 RabbitMQ 这样应用基于队列和日志的音讯队列，都是将每个队列或分区的数据视为一个整体来存储，这样一来整个数据必须全副存储在同一个存储节点。BookKeeper 应用了一套基于分片的日志数据结构，每个日志数据由一系列的分片数据（Segment）串联组成。Pulsar 的一个 Topic 分区 数据实际上是分为多个数据分片来保留。 咱们晓得每个 Pulsar Topic 都有一个惟一的 Pulsar broker 作为 owner，这个 broker 负责给所属的 Topic 创立数据分片，并将这些数据分片进行串联以便在逻辑上组成一个残缺的日志数据。 图1：Pulsar Topic 的数据由一组数据分片串联组成 BookKeeper 将这些数据分片称为 Ledger，并将它们保留在 BookKeeper server 节点（称为 bookie 节点）。 图2：Pulsar broker 将 topic 数据存储到多个 Bookie 节点 ...

本文翻译自《Pulsar Isolation Part III: Separate Pulsar Clusters Sharing a Single BookKeeper Cluster》，原文链接：https://streamnative.io/blog/...。作者 David Kjerrumgaard，Apache Pulsar Committer，StreamNative 布道师。译者简介李文奇，就任于微软 STCA，业余时间喜爱钻研各类中间件技术及分布式系统。 首次！无 ZooKeeper 也能运行 PulsarApache Pulsar™ 有时被视为一个较简单的零碎，有一部分起因是因为 Pulsar 应用了 Apache ZooKeeper™ 存储元数据。从设计之初，Plusar 就应用 ZooKeeper 存储调配给 topic 的 broker 信息、topic 的平安和数据留存策略等要害元数据信息。ZooKeeper 这个额定组件便加深了大家对于 Pulsar 是一个简单零碎的印象。 为了简化 Pulsar 的部署，社区发动了一项打算——Pulsar 改良布局 PIP-45 来加重对 ZooKeeper 的依赖，同时用可插拔的框架来代替。这种可插拔的框架反对用户依照理论的部署环境抉择可替换的元数据及协调系统，从而缩小了 Pulsar 在基础设施层面的必须依赖。 PIP- 45 的实现与将来打算PIP-45 的代码曾经被提交到了主分支上，并行将于 Pulsar 2.10 版本公布。Apache Pulsar 用户首次能够在没有 ZooKeeper 的状况下运行 Pulsar。 与 Apache Kafka 的 ZooKeeper 替换策略不同，PIP-45 的目标不是内部化 Apache Pulsar 平台自身的分布式协调性能。相同，它容许用户依据本身环境选用适合的技术组件来替换 ZooKeeper。 ...

之前文章咱们解说了Apache Shiro的一些基础知识，明天咱们会进行Shiro Realm实战以及对Shiro认证受权源码进行解读。 Shiro平安数据起源之Realm实战从之前章节的解说咱们理解到理论进行权限信息验证的是咱们的 Realm，Shiro 从 Realm 获取平安数据，Shiro 框架外部默认提供了两种实现，一种是查问.ini文件的IniRealm，另一种是查询数据库的JdbcRealm，除此之外，咱们还能够依据本身的需要进行自定义Realm，这其中有两个概念须要先理解一下： principal : 主体的标示，能够有多个，然而须要具备唯一性，常见的有用户名，手机号，邮箱等 credential：凭证, 个别就是明码 接下来咱们别离来看如何应用Shiro默认实现的realm以及如何自定义realm： 尚硅谷Java开发培训全新体系 尚硅谷2020Java全新课程体系，我的项目实战，造就Java开发实战人才！ 尚硅谷IT培训 查看 1.1 Shiro默认实现的realm实操和常见应用办法 1.1.1 Shiro内置realm之IniRealm实操 1）首先咱们须要创立一个.ini配置文件，并依照相应的语法格局进行配置： 格局 username=password,role1,role2,...roleN[users] atguigu=123456,user tom=456789,root,admin 格局 role=permission1,permission2...permissionN 也能够用通配符上面配置user角色的权限为所有video:find,video:buy，如果须要配置video全副操作crud 则user=video:*权限都是自行配置，个别格局是：资源名:操作，比方对视频的更新操作能够定义为：video:update[roles] user = video:find,video:buy admin = video:update,video:delete,comment:* root角色有所有的权限，能够用通配符*来示意root=* 2）新建一个【IniRealmTest】测试类： package com.atguigu.shiro.demo; import org.apache.shiro.SecurityUtils; import org.apache.shiro.authc.UsernamePasswordToken; import org.apache.shiro.config.IniSecurityManagerFactory; import org.apache.shiro.mgt.SecurityManager; import org.apache.shiro.subject.Subject; import org.apache.shiro.util.Factory; import org.junit.Test; public class IniRealmTest {@Test public void test() {//创立SecurityManager工厂，并且读取配置文件shiro.ini Factory<SecurityManager> factory = new IniSecurityManagerFactory("classpath:shiro.ini"); ...

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。 GitHub 地址：http://github.com/apache/pulsar/ 本系列由 StreamNative 负责整顿保护，如需转载请后盾留言。2022 年 03 月新一期「Pulsar 职位广场」来啦！近期又有很多公司推出 Apache Pulsar 相干职位招聘需要，特此举荐，心愿本期推送可能帮忙到你(下述岗位举荐不分先后)。咱们在 [Pulsar local community 仓库]()建设了招聘专栏，欢送有 Pulsar 相干招聘需要的企业/组织自行投递。 StreamNativePlatform Engineer（Serverless）工作地点：anywhere，咱们近程办公，无论你在地球的哪个角落都能够退出咱们 简历投递邮箱：cn_recruiting@streamnative.io 岗位职责布局、开发和打造基于 Apache Pulsar/BookKeeper 的 Serverless 商业化产品；设计、开发和优化 Pulsar Functions/Pulsar Connectors 的外围组件；打造围绕 Apache Pulsar/BookKeeper 的生态系统；构建 Apache Pulsar/BookKeeper 的开发者社区，进行 Apache Pulsar/BookKeeper 技术布道；编写粗疏的代码和设计文档，并对其余共事的代码进行审查。岗位要求优良的发现和解决问题能力，良好的沟通能力和团队单干精力；相熟 Java/Python/Go/C++/Rust 中至多一种语言，有扎实的编程能力；相熟分布式系统的原理和关键技术，对分布式消息中间件零碎（比方 Pulsar/Kafka/RabbitMQ）的原理和实现有肯定钻研优先；有 Docker，Kubernetes 等教训优先。有数据或相干从业者优先，理解/相熟并应用过 Pulsar Functions、AWS Lambda、Google Function、Azure Function 等产品优先。文化是 StreamNative 的重要组成部分，咱们正在寻找最优良的人，这些人不仅要施展本人的作用，还要为公司的衰弱和成长做出奉献。因而咱们心愿本人的小伙伴： 聪慧、有同理心；自我驱动、乐于承担责任；业余，心愿成为某一畛域的专家。Solution Engineer工作地点：北京/上海 简历投递邮箱：cn_recruiting@streamnative.io 工作职责反对销售经理与客户进行需要沟通，技术类交换，并依据需要搭建产品演示、设计并解说 Pulsar 的解决方案、编写相干文档等；参加并实现 POC 阶段的技术交换、施行部署、文档编写及总结汇报等工作，确保技术层面能够满足客户的预期；负责客户的技术支持工作，包含 Pulsar 的部署、降级、配置变更、生态组件（Function/Connector 等）等的应用形式介绍、原理解说、最佳实际、故障定位剖析等；了解客户的产品性能需要或 Bug 的反馈，与研发团队、文档团队等协同推动相干产品的优化降级；依据日常的技术支持工作，撰写知识库文章，定期为团队分享相干教训。任职要求本科以上学历，计算机专业有加分，3 年以上工作教训，有云产品服务教训的有加分；有良好的学习和钻研能力，面对一个新产品或者个性时，能够在较快的工夫内把握；有良好的沟通和表达能力，善于聆听客户的问题并疾速找到解决问题的关键点，心愿通过与客户的互动帮忙客户胜利；相熟 Linux 操作系统，如常用命令、文件系统、系统配置等，具备较强的故障定位和问题解决能力，有丰盛解决重大故障的经验；至多相熟一个支流分布式系统（例如 Kafka，Elasticsearch，HBase 等），乐于学习音讯流技术并期待成为 Apache Pulsar 的领域专家；常常加入 Pulsar 线下流动有加分，常常参加社区探讨问题的有加分；有 K8s 应用教训的有加分，有 Flink 应用教训的有加分。中国联通智网翻新核心 - 网络数据室大数据 SRE 运维研发工程师工作地点：北京海淀区白石桥南 ...

对于 Pulsar 中文开发者与用户组会议Pulsar 中文开发者与用户组会议是由 StreamNative 发动的交换会议，在每月最初一个周三早晨举办。本会议聚焦 Pulsar 中文开发者与用户，同步 Pulsar 我的项目与周边生态停顿，探讨调研、部署、运维 Pulsar 中遇到的疑难，展现集体或团队在 Pulsar 上作出的成绩并分享 Pulsar 测试、运维教训等等。 又到了每月的最初一个周三，Pulsar 中文开发者与用户组会议如期而至。欢送社区小伙伴们入会，与咱们一起探讨疑难问题、共建社区。以下为本次会议信息，3 月 30 日周三晚 8-9 点，不见不散！ 3 月 Pulsar 中文开发者与用户组会议会议工夫：3 月 30 日周三晚 8-9 点组织方：StreamNative主持人：李鹏辉（Apache Pulsar PMC 成员，StreamNative 首席架构师）会议文档：请大家提前在腾讯文档内留言昵称和须要探讨的问题，届时优先解答文档内问题。请留言的同学确保参会，当面形容问题细节。如不不便参会，可日常在交换群中交换。会议预约：https://meeting.tencent.com/d...会议 ID：341-451-034会议明码：1234 参会形式途经一：在电脑/手机上关上会议链接即可间接拉起腾讯会议利用/微信小程序入会；路径二：关上腾讯会议客户端，输出会议 ID 及明码入会。会议礼仪发言开始，欢送先做个人简介，不便社区成员更好地意识你；如果你有发言（请先点击举手按钮示意主持人），倡议戴上耳机、选取宁静场合，发言期间放弃集体环境无噪音、声音清晰；在别人发言期间，请放弃集体麦克风敞开以防止烦扰；提前准备好集体问题，在会议文档留言，以晋升会议效率；咱们激励现场碰撞更多的火花，但请防止语言攻打，独特营造融洽的交换气氛。相干材料观看往期开发者与用户组会议2022 年 2 月 Pulsar 用户与开发者会议回顾与 Q&A 文档2021 年 12 月 Pulsar 用户与开发者会议回顾与 Q&A 文档关注公众号「Apache Pulsar」，获取更多技术干货 退出 Apache Pulsar 中文交换群 点击立刻报名会议

一、Impala介绍 Impala是Cloudera公司主导开发的新型查问零碎，它提供SQL语义，能查问存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive零碎尽管也提供了SQL语义，但因为Hive底层执行应用的是MapReduce引擎，依然是一个批处理过程，难以满足查问的交互性。相比之下，Impala的最大特点也是最大特点就是它的疾速。 Impala是用于解决存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查问引擎。 它是一个用C ++和Java编写的开源软件。 与其余Hadoop的SQL引擎相比，它提供了高性能和低提早。换句话说，Impala是性能最高的SQL引擎（提供相似RDBMS的体验），它提供了拜访存储在Hadoop分布式文件系统中的数据的最快办法。 二、Impala架构解析 从上图（援用自Apache Impala官网）中看出，能够首先大体上形容下一个SQL从提交到获取查问后果是经验了哪些步骤（上面的步骤和上图中步骤不一一对应）： 1、客户端提交工作：客户端通过beeswax或者HiveServer2接口发送一个SQL查问申请到Impalad节点，查问包含一条SQL和相干的configuration信息（只对本次查问失效），查问接口提供同步和异步的形式执行，两种接口都会返回一个queryId用于之后的客户端操作。 2、查问解析和剖析： SQL提交到Impalad节点之后交由FE模块解决，由Analyser顺次执行SQL的词法剖析、语法分析、语义剖析、查问重写等操作，生成该SQL的Statement信息。 3、单机执行打算生成：依据上一步生成的Statement信息，由Planner生成单机的执行打算，该执行打算是有PlanNode组成的一棵树，这个过程中也会执行一些SQL优化，例如Join程序扭转、谓词下推等。 4、分布式执行打算生成：由Planner将单机执行打算转换成分布式并行物理执行打算，物理执行打算由一个个的Fragment组成，Fragment之间有数据依赖关系，处理过程中须要在原有的执行打算之上退出一些ExchangeNode和DataStreamSink信息等。 5、任务调度和散发：由BE解决生成的分布式物理执行打算，将Fragment依据数据分区信息发配到不同的Impalad节点上执行。Impalad节点接管到执行Fragment申请交由Backend模块解决Fragment的执行。 6、子工作执行：每一个Fragment的执行输入通过DataStreamSink发送到下一个Fragment，由下一个Fragment的ExchangeNode接管，Fragment运行过程中一直向coordinator节点汇报以后运行状态。 7、后果汇总：查问的SQL通常状况下须要有一个独自的Fragment用于后果的汇总，它只在coordinator节点运行，将多个backend的最终执行后果汇总，转换成ResultSet信息。 8、客户端查问后果：客户端调用获取ResultSet的接口，读取查问后果。 9、敞开查问：客户端调用CloseOperation敞开本次查问，标记着本次查问的完结。 三、Impala组件 Impala Daemon组件　Impalad是Impala的外围过程，运行在所有的数据节点上，能够读写数据，并接管客户端的查问申请，并行执行来自集群中其余节点的查问申请，将两头后果返回给调度节点。调用节点将后果返回给客户端。用户在Impala集群上的某个节点提交数据处理申请 则该节点称为coordinator node（协调器节点）,其余的集群节点传输其中的解决的局部数据到该coordinator node，coordinator node负责构建最终的后果数据返回给用户。Impala 反对在提交工作的时候(采纳JDBC ,ODBC 形式) 采纳round-robin算法来实现负载平衡,将工作提交到不同的节点上Impalad 过程通过继续的和statestore 通信来确认本人所在的节点是否衰弱 和是否能够承受新的工作申请 Impala Statestore（次要优化点，线程数）　状态治理过程，定时查看The Impala Daemon的健康状况，协调各个运行Impalad的实例之间的信息关系，Impala正是通过这些信息去定位查问申请所要的数据，过程名叫作 statestored，在集群中只须要启动一个这样的过程，如果Impala节点因为物理起因、网络起因、软件起因或者其余起因而下线，Statestore会告诉其余节点，防止查问工作散发到不可用的节点上。 Impala Catalog Service（元数据管理和元存储）　元数据管理服务，过程名叫做catalogd，将数据表变动的信息分发给各个过程。接管来自statestore的所有申请 ，每个Impala节点在本地缓存所有元数据。 当解决极大量的数据和/或许多分区时，取得表特定的元数据可能须要大量的工夫。 因而，本地存储的元数据缓存有助于立刻提供这样的信息。当表定义或表数据更新时，其余Impala后盾过程必须通过检索最新元数据来更新其元数据缓存，而后对相干表收回新查问。 其余组件列表Impala client：将HiveQL申请送给Impalad，并期待后果返回给用户Impalad： Planner > FE(JAVA)：负责解析查问申请，并生成执行打算树（Query Plan Tree）。 Coordinator > BE(C++)：拆解申请（Fragment），负责定位数据地位，并发送申请到Exec Engine，汇聚申请后果上报。 Exec Engine > BE(C++)：执行Fragment子查问，比方scan，Aggregation，Merge etc。statestore server：保护Impalad的伙伴关系，负责告诉伙伴关系变动，相似于仪表盘的zk的故障监控性能。 meta server： Hive Meta Storage：用户保护表的schema信息等元数据（存在于一个关系型数据库）。 ...

2022 年 3 月 26 日，第二届 DataFunSummit 大数据存储架构峰会行将于线上举办，StreamNative 联结创始人、Apache Pulsar PMC 成员、Apache BookKeeper PMC 成员翟佳受邀缺席本次大数据存储架构峰会。 据悉，本次峰会将由 6 位主席，联结 7 位出品人，邀请业界 50 余位一线技术专家缺席并进行主题报告分享。 去年，第一届 DataFunSummit 吸引了超过 4500 的受众来参会；往年，第二届 DataFunSummit 线上峰会全面降级了各论坛设置，覆盖面更广，也将受到泛滥关注。 在本次大数据存储架构峰会上，翟佳的 《 BookKeeper：Apache Pulsar 的高可用/强统一/低提早的存储实现》 将深刻介绍 Pulsar 的存储层 BookKeeper，阐述 BookKeeper 一致性的具体实现过程，并将解析基于 BookKeeper 作为存储层的其它分布式系统的实际过程。 Apache BookKeeper 是 Apache 软件基金会顶级我的项目，是一种优化实时工作负载的存储服务，旨在保障高持久性、一致性与低提早等个性。BookKeeper 具备多种企业级存储平台性能，如： 反对长久、统一、容错地存储数据，无效地存储、拜访历史数据与实时数据等，并广泛应用于多种业务场景，例如为分布式系统提供高可用性或多正本；在单个集群中或多个集群间（多个数据中心）提供跨机器复制；为公布/订阅（pub-sub）音讯零碎提供存储服务（如 Apache Pulsar）；为流工作存储不可变对象（例如：检查点数据的快照）等。 目前，咱们开明创立了 BookKeeper 的特地趣味，如果你对 BookKeeper 感兴趣，请增加 Bot 为好友，回复关键词 BookKeeper 即可退出：

对于 TGIPTGIP 是 Thank God It’s Pulsar 的缩写，灵感来自于谷歌团队的 Thank God It’s Friday，示意工作周快完结了，很快又会有一个欢快的周末。TGIP 次要是向大家科普对于 Pulsar 的一些根底概念，不论是它的架构模式，还是音讯之间的传递动静等，你都能够从 TGIP 的直播中获取到。TGIP 的直播通常会安顿在周日，不会占用大家太多的工夫。利用周末来理解一下 Apache Pulsar，岂不快哉？ 新一期 TGIP-CN 来啦！上一期 TGIP-CN，翟佳为大家带来了 2022 年 Apache Pulsar 技术停顿与社区动静介绍，置信很多小伙伴曾经根本理解整体技术停顿及社区动静布局。 在上一期 TGIP-CN 的技术停顿中，最受注目的就是 Apache Pulsar 2.10.0 版本。2.10.0 蕴含来自于 99 位贡献者的 1000 个 commit，引入了多达 300 项重要的更新，新的个性反对和稳定性加强之多，是 Apache Pulsar 前所未有的里程碑。 3 月 27 日，即本周日上午 11:00，由 Apache Pulsar PMC 成员，StreamNative 首席架构师李鹏辉特地为大家带来《Apache Pulsar 2.10.0 新个性解析》，分享版本解读，解答大家对于技术细节的疑难。本次新个性介绍内容包含以下三个方向： 新个性除对 ZooKeeper 的强依赖；引入 TableView 升高用户构建键值对视图的老本；在客户端增加多集群主动故障转移策略；减少音讯重试指数退却提早策略。Pulsar 运维引入多集群全局 Topic Policy 设置反对以及 Topic 级别的跨地区复制配置；诸多的 Topic 级别策略配置。稳定性将默认的 ZooKeeper Sesssion 过期策略批改为重连：在呈现 ZooKeeper Session 过期的情况下保障 Broker 不会宕机；减少批量操作 Metadata 服务的反对：能够在大量 Topic 的场景下晋升 Pulsar 的稳定性。Pulsar 2.10.0 版本行将公布，想要提前理解 Apache Pulsar 2.10.0 这些令人激动的新个性吗？扫描下方海报二维码立刻报名本次 TGIP-CN 吧！ ...

在 3 月 13 日举办的 TGIP 流动上，Apache Pulsar PMC 成员、StreamNative 联结创始人翟佳与大家一起回顾了 Apache Pulsar 在 2021 年所获得的问题和停顿，并深刻解读了 2022 年 Pulsar 的技术倒退方向和社区动静。本文为该期 TGIP《预感 2022！Apache Pulsar 技术停顿与社区动静》直播文字整顿版本。 回顾视频可扫码 回顾 2021──Apache Pulsar 问题丰硕2021 年是 Apache Pulsar 成为 ASF 顶级我的项目的第三周年，Apache Pulsar 在 2021 年飞速发展：社区迎来了第 400 位贡献者，月度沉闷贡献者超过 Kafka，在 GitHub Star 的 Star 冲破 10,000+。 Apache Pulsar GitHub 主仓库 Star 数量增长图 Apache Pulsar 月度沉闷贡献者数量赶超 Kafka 这 10,000+ 名关注者扩散在寰球 5700 多个地区，其中欧洲和北美较多，非洲、南美洲也都有散布。 Apache Pulsar 的关注者来自世界各地 而在 Apache 社区中，Pulsar 的体现同样十分沉闷，在 Apache 基金会年度沉闷 Commit 我的项目中排名前五。 ...

本文翻译自《Event Streaming with Apache Pulsar and Scala》，作者 Giannis 。译者信息：姚余钱@深圳觉行科技有限公司，致力于医疗大数据畛域。热衷开源，沉闷于 Apache Pulsar 社区。 本文作者 Giannis Polyzos，StreamNative 高级工程师，主攻 Apache Pulsar 方向。Apache Pulsar 是云原生音讯流平台，领有广大前景。在本文中，他将介绍 Pulsar 是什么以及它杰出的性能，而后通过疾速教程以帮忙读者入门 Scala 语言运行 Pulsar。 文章摘要在古代数据时代，对尽可能快地提供数据洞察的需要一直减少。“以后正在”产生的事件在几分钟甚至几秒钟后就可能变得无关紧要，因而越来越须要尽可能快地接管和处理事件——无论是为了改善业务使其在要求刻薄的市场中更具竞争力，还是为了使一个零碎能依据其所受到的环境刺激而自我成长和适应。 随着容器和云基础设施的倒退，公司在寻求利用和采纳云原生的方法。迁徙到云端并在零碎中采纳容器意味着咱们很可能会利用 Kubernetes 等技术来实现其所有惊人的性能。将基础架构搁置云端并采纳云原生解决方案意味着很多用户也心愿其消息传递和流解决方案合乎这些准则。 在这篇文章中，咱们将介绍如何应用 Apache Pulsar 和 Scala 实现云原生事件流解决。咱们将回顾 Apache Pulsar 在这个古代数据时代须具备的能力，是什么让它怀才不遇，以及如何通过应用 Scala 和 pulsar4s 库创立一些简略的生产者和消费者来运行它。 1. 什么是 Apache Pulsar如文档中所述， Apache Pulsar 是一个云原生、分布式音讯和流平台，每天治理数千亿个事件。它最后是在 2013 年由 Yahoo 创立的，以满足其微小的扩大需要 - 工程团队过后也审查了相似 Apache Kafka 等解决方案（只管这些零碎尔后有了很大的倒退），但并没有齐全满足他们的需要。 其它零碎短少跨地区复制、多租户和偏移量治理等个性，以及解决音讯积压状况下的性能，因而 Apache Pulsar 诞生了。 让咱们认真看看是什么让它怀才不遇： 对立音讯和流两种场景：对于 Apache Pulsar，您应该留神的第一件事是，它是音讯和流的对立平台。音讯和流这两个术语常常被一概而论，理论存在基本差别。例如在消息传递的场景中，用户心愿音讯一到就立即生产它，而后将该音讯删除；然而，对于流解决的场景，用户可能心愿保留音讯并可能重现它们。多租户：Apache Pulsar 从一开始就被设计成一个多租户零碎。您能够将多租户视为不同的用户组，每个用户组都在本人的隔离环境中运行。Pulsar 的逻辑架构由租户、命名空间和主题组成。命名空间是租户内主题的逻辑分组。您能够应用定义的层次结构轻松映射组织的需要，并提供隔离、身份验证、受权、配额以及在命名空间和主题级别利用不同的策略。电子商务业务的多租户示例如下，将 WebBanking 和 Marketing 等不同部门作为租户，而后这些部门成员能够在租户内进行操作。 ...

对于 TGIPTGIP 是 Thank God It’s Pulsar 的缩写，灵感来自于谷歌团队的 Thank God It’s Friday，示意工作周快完结了，很快又会有一个欢快的周末。TGIP 次要是向大家科普对于 Pulsar 的一些根底概念，不论是它的架构模式，还是音讯之间的传递动静等，你都能够从 TGIP 的直播中获取到。TGIP 的直播通常会安顿在周日，不会占用大家太多的工夫。利用周末来理解一下 Apache Pulsar，岂不快哉？ 新一期 TGIP-CN 来啦！上一期 TGIP-CN，翟佳为大家带来了 2022 年 Apache Pulsar 技术停顿与社区动静介绍，置信很多小伙伴曾经根本理解整体技术停顿及社区动静布局。 在上一期 TGIP-CN 的技术停顿中，最受注目的就是 Apache Pulsar 2.10.0 版本。2.10.0 蕴含来自于 99 位贡献者的 1000 个 commit，引入了多达 300 项重要的更新，新的个性反对和稳定性加强之多，是 Apache Pulsar 前所未有的里程碑。 3 月 27 日，即本周日上午 11:00，由 Apache Pulsar PMC 成员，StreamNative 首席架构师李鹏辉特地为大家带来《Apache Pulsar 2.10.0 新个性解析》，分享版本解读，解答大家对于技术细节的疑难。本次新个性介绍内容包含以下三个方向： 新个性去除对 ZooKeeper 的强依赖；引入 TableView 升高用户构建键值对视图的老本；在客户端增加多集群主动故障转移策略；减少音讯重试指数退却提早策略。Pulsar 运维引入多集群全局 Topic Policy 设置反对以及 Topic 级别的跨地区复制配置；诸多的 Topic 级别策略配置。稳定性将默认的 ZooKeeper Sesssion 过期策略批改为重连：在呈现 ZooKeeper Session 过期的情况下保障 Broker 不会宕机；减少批量操作 Metadata 服务的反对：能够在大量 Topic 的场景下晋升 Pulsar 的稳定性。Pulsar 2.10.0 版本行将公布，想要提前理解 Apache Pulsar 2.10.0 这些令人激动的新个性吗？扫描下方海报二维码立刻报名本次 TGIP-CN 吧！ ...

2002 年 3 月 11 日，代号为 Homer 的 Arch Linux 公布了 v0.1 版本，过后应用的是 Linux kernel 2.4.18。Arch Linux诞生20年了，你用过吗？Arch Linux诞生20年了，你用过吗？ 现在，Arch Linux 已满 20周岁，是当下最热门的 Linux 发行版之一。 Arch Linux是一个滚动公布的前沿操作系统，次要由高级 Linux 用户应用。从装置到治理，Arch Linux 可让您解决所有事件，为您提供所需的所有性能和管制。 这可能是 Arch 在 Linux 社区领有狂热追随者的起因之一。 在 Arch Linux 的 v0.1 版本，发布页面对其作出如下介绍： Arch Linux 是一个 i686 优化的 Linux 发行版，基于 CRUX 的想法，CRUX 是 Per Lidén 开发的杰出的 Linux 发行版。它是轻量级的，蕴含最新的稳固版本的软件，它的包为 .tar.gz 格局，并由包管理器跟踪，该包管理器旨在容许轻松升级包。 与其余一些发行版相比，Arch 十分精简，不会保留一些相对来说不罕用的货色）。 默认的 Arch 装置提供了松软的根底；您能够增加包来创立您正在寻找的自定义装置。 Arch 有一个包构建零碎，容许您轻松创立本人的包，这使得应用本人的自定义配置从新构建包变得非常容易。 Arch 还旨在应用 linux 用户可用的较新性能，例如 reiserfs/ext3 和 devfs。 ...

近日，StreamNative 和 Cloudera 官网发表独特开源 Apache NiFi 和 Apache Pulsar 联结解决方案，将二者集成打造成残缺的边缘到云数据的流平台。 StreamNative 由 Apache Pulsar 开创团队组建，专一于 Apache Pulsar 社区和生态构建，并围绕 Apache Pulsar 打造批流一体的云原生解决方案；Cloudera 团队包含一些 Apache NiFi 的原始开发人员，并通过 Apache NiFi 打造数据流。通过将 NiFi 与 Pulsar 集成，企业可能创立一个云原生、可扩大的实时流数据平台，来摄取、转换和剖析海量数据。 本文将介绍该处理器的开源背景，以及如何通过简略配置设置 Apache NiFi 来大规模地生产生产来自 Pulsar 主题的音讯。Cloudera 为 Data Hub 7.2.14 和更高版本的 CDF 提供开箱即用的处理器。 对于 Apache NiFiApache NiFi 初始的项目名称是 Niagara Files，是由美国国家安全局(NSA)奉献给 Apache 软件基金会的开源我的项目，其设计初衷是自动化零碎间的数据流。2015 年 7 月，NiFi 从 Apache 软件基金会毕业并成为 Apache 软件基金会的顶级我的项目。 NiFi 实现了基于流编程的一种可视化工具，用户能够通过 NiFi 构建将数据从一个平台（如数据库、云存储和音讯零碎）挪动到另一个平台的数据流。 NiFi 可帮忙用户主动在不同数据源和零碎之间挪动数据，保证数据摄取的疾速、简略和平安；NiFi 提供实时控制来轻松治理任何起源和任何目的地之间的数据挪动；它还提供事件级别的数据溯源和可追溯性，用户能够将每条数据追溯到其源头。 ...

Apache Pulsar 社区的倒退离不开社区小伙伴们的长时间辛苦付出和贡献，在此向所有社区小伙伴示意由衷的感激！ 随着 Pulsar 中文社区的倒退，越来越多酷爱、应用 Pulsar 的小伙伴退出了 Pulsar 技术交换群，并在群内进行技术交换、分享 Pulsar 技术内容。随同社群规模越来越大，咱们也心愿更多的小伙伴深度参加社群建设，独特助力社群成员用好 Pulsar，充分发挥 Pulsar 给大家带来的价值。 基于这个目标，现面向大家公开招募以下成员： 社群互助组成员文档翻译/流动志愿者话不多说，接下来为大家介绍中文开发者与用户组的意愿服务岗位分类： 社群互助组成员意愿内容负责 1-2 个 Pulsar 技术交换群的日常答疑，包含： 踊跃疏导与回应群内成员的发言或发问；参加社区知识库构建，帮助整顿社群 FAQ，并与 StreamNative 与社区工程师合作筛选解答，定期公布；保护社群外部秩序，偏心公正；报名条件把握 Apache Pulsar 架构与局部模块原理，相熟局部常见 Pulsar 问题及解决思路；心愿随同社区独特成长，有“久久为功”的心态；有些许碎片工夫与急躁；违心分享，酷爱沟通，不做潜水党；咱们心愿找到符合条件的小伙伴： 咱们不要求每天 24 小时在线，在你的碎片工夫参加即可；如果没有很强的 Pulsar 根底但也很想参加，同样欢送，咱们能够提供 StreamNative 外部 Pulsar 培训资料与书籍，与咱们边学习边助力与社区一起成长！文档翻译/流动志愿者文档翻译志愿者翻译内容以后，社区文档翻译工作分为三种： Apache Pulsar 官网文档翻译：次要工作是将 Apache Pulsar 网站上的英文文档翻译为中文，让更多中文用户更加容易浏览。翻译平台应用 Crowdin 进行翻译提交、治理和审核；Apache Pulsar 英文博客翻译：内容范畴较广，次要聚焦技术原理、案例等方向，英文文章翻译在开释给社区成员翻译之前，咱们均已获得原文作者受权；Apache Pulsar Weekly（周报）翻译：内容次要聚焦 Apache Pulsar 社区当周的亮点、重要个性、重要 bug 修复、流动和新闻、技术博文举荐几个板块。想要更具体理解具体的意愿内容，能够点击文档翻译志愿者指南进行查看。 根本要求具备良好的英语浏览能力，领有肯定的翻译技巧和素质，逻辑思维能力强；翻译要保证质量，力求精确残缺，语法通顺，要达到在 Pulsar 社区发表的程度。 流动相干志愿者除此之外咱们也正在面向社区招募一些志愿者小伙伴负责保护社区的日常治理。 具体分类如果你有以下技能或教训： 经营：负责 Pulsar 社区社区活动计划的策动及顺利开展、微信群的治理，有丰盛公众号经营、流动举办教训善于写文案的优先；视频：负责 Pulsar 社区活动的视频制作编辑。如果您没有上述相干教训，但酷爱 Pulsar，想要为 Pulsar 社区奉献本人的一份力量，能够参考下方内容：非专业技能要求区域辅助咱们落地各类型流动（比方：Pulsar Tea Party、Contributor Club、Meetup 等...）；Pulsar 技术交换群的日常治理；保护所在当地的 Pulsar 区域交换群及策动组织一些日常流动（区域&流动管理员）。成员福利在这里，你能够有机会： ...

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：http://github.com/apache/pulsar/ Apache Pulsar 中文开发者与用户组正在推动社群架构优化，针对局部风行的我的项目比方 KoP、MoP 等多个周边我的项目构建 SIG（特地兴趣小组），让大家更好地聚焦每个我的项目探讨问题、交换开发事项；将更多用户、开发者汇集到其中，共建社区。 什么是 SIG？SIG 全称 Special Interest Group，即特地兴趣小组，专一一个特定我的项目。每个人都能够自在参加本人最感兴趣、最善于的 SIG。 参加 SIG 有什么帮忙？社区小伙伴们能够更深度地参加 Apache Pulsar 的生态建设研发。同时，作为 SIG 中坚的后勤保障力量，StreamNative 会踊跃提供多元化反对： Apache Pulsar 社区对应畛域技术专家将参加小组讨论，与大家独特合作；SIG 的介绍与重大进展都将在 Apache Pulsar 社区公众号展现；优良的工作成绩、突出贡献成员风采等内容将以专题采访等模式流传；更聚焦于 Apache Pulsar 的每个我的项目的周边生态，与大家独特解决平时遇到的难点。……如何退出 SIG目前，已设立以下 SIG： AMQP-on-Pulsar(AoP)MQTT-on-Pulsar(MoP）Kafka-on-Pulsar(KoP)RocketMQ-on-Pulsar(RoP)Apache BookKeeperFunction MeshPulsar-Flink ConnectorPulsar Go Client扫描下方 Pulsar Bot 二维码，私聊回复关键词「sig」获取退出各 SIG 小组的具体形式： 关注公众号「Apache Pulsar」，获取更多技术干货

依据 Linux 内核邮件列表的音讯，社区近日探讨了是否要为内核采纳古代 C 语言规范。尽管 Linux 内核在疾速倒退，但它同时依赖着一些十分古老的工具，其中之一就是内核代码仍在应用1989年版本的 C 语言规范——此规范在30多年前内核我的项目启动之前就曾经编写实现。从探讨后果来看，这一状况无望在5.18版本内核中扭转。 Jakob Koschel 在向 Linus Torvalds 递交的补丁（https://lkml.org/lkml/2022/2/...）中修复了内核链表相干的预测执行破绽。 Linux内核C语言将降级Linux内核C语言将降级 起因是 Jakob 发现了一个问题，Linux 内核宽泛应用由 struct list_head 定义的双向链表: structlist_head{ structlist_headnext，prev;};这种构造体通常被嵌入到其余构造体中，通过这种形式，开发者能够应用任何感兴趣的构造类型制作链表。除此之外，内核还提供了大量可用于遍历和操作链表的函数和宏。其中之一是 list_for_each_entry（），这是一个伪装成控制结构的宏。要理解如何应用此宏，请假如内核蕴含如下构造: structfoo{intfooness;structlist_headlist;};list 成员可用于创立 foo 构造体的双向链表，假如咱们有一个叫做 foo_list 的构造申明作为此类链表的头，应用以下代码能够遍历此列表: struct foo *iterator;list_for_each_entry（iterator， &foo_list， list） {do_something_with（iterator）;}/ Should not use iterator here /list 参数通知宏在 foo 构造中 list_head 构造体的名称。此循环将为列表中的每个元素执行一次，迭代器指向该元素。由此导致了 USB 子系统中的一个 bug:传递给该宏的迭代器在退出宏后还能被应用。 Koschel 通过从新编写有问题的代码，以在循环后停止使用迭代器来解决问题。 不过 Linus 却对补丁修复的问题示意不解，也没有看到它与预测执行破绽的关系。Koschel 对此进行了进一步解释，对此 Linus 认为这只是一个一般的 bug。但不久之后 Linus 发现了问题的本源所在:传递给列表遍历宏的迭代器，必须在循环自身之外的范畴内申明。 随后，Linus 认为兴许能够采纳更间接的修复如块级变量申明。但 C89不反对，而1999年公布的 C99规范反对。所以 Linux 内核兴许是时候转向应用 C99规范了。 ...

平时在 Pulsar 交换群中，咱们发现大家在接触和应用 Pulsar 的过程中，会重复遇到相相似的问题。为了更高效地解决大家这些“高频疑难”，同时也对提出优质问题的敌人表示感谢，咱们特地建设了 FAQ 知识库，以便于收集及解答大家的疑难。 咱们将定期收集筛选社群内提出的高频问题，由社区专家甄别筛选出其中优质的发问进行答复，整合优化后分享给社区的小伙伴们作为遇到问题时的优先参考，心愿能够帮忙大家解决应用 Pulsar 过程中的问题。 上面来看看本次收集的问题吧： Broker 重启、Topic 调配问题 1：Broker 重启，原来绑定的 Topic 会主动复原还是会调配到其余 Broker 上？ 解答：当生产者/消费者客户端须要持续向某个 Topic 发送/接管音讯时，会首先执行 lookup 申请，lookup 会依照 loadbalance 策略找到指标 Broker 节点（以后是 load 最低的节点），将对应 bundle onLoad 到指标 Broker。待 onLoad 实现后，这个 Broker 就能够持续为 Topic 提供读写服务了。 对应的源码为： ServerCnx#handleLookup。 ZooKeeper 端口问题 2：Pulsar 默认应用的 ZooKeeper 配置文件中 metrics 端口设成了 8000，而非 ZooKeeper 默认的 7000。ZooKeeper 和 BooKkeeper metrics 端口抵触。 解答：从 Pulsar 开始裸露 ZooKeeper metric 开始，应用的默认端口就是 8000， 所以当应用最新版本（3.6.3）的 ZooKeeper 时，为了和之前的端口保持一致，就将 ZooKeeper metric 的端口从默认 7000 改为 8000。 ...

对于 TGIPTGIP 是 Thank God It’s Pulsar 的缩写，灵感来自于谷歌团队的 Thank God It’s Friday，示意工作周快完结了，很快又会有一个欢快的周末。TGIP 次要是向大家科普对于 Pulsar 的一些根底概念，不论是它的架构模式，还是音讯之间的传递动静等，你都能够从 TGIP 的直播中获取到。TGIP 的直播通常会安顿在周日，不会占用大家太多的工夫。利用周末来理解一下 Apache Pulsar，岂不快哉？ 新的一年，你可能对 Pulsar 我的项目与社区有诸多疑难： Apache Pulsar 主我的项目会有哪些新动向？Apache Pulsar 周边生态有哪些更新打算？Apache Pulsar 去 ZooKeeper 打算停顿如何？社区有没有流动安顿？最新的稳固版本什么时候公布？Pulsar 和数据湖集成有打算吗？……咱们近期看到社区成员对 2022 年 Apache Pulsar 各种停顿抱有很大激情，这正体现了 Apache Pulsar 社区弱小的生机和凝聚力，Pulsar 也正失去越来越多的关注。2021 年，Apache Pulsar 问题丰硕；2022 年，满满新气象！ 本周末，2022 年新一期 TGIP-CN 带着所有问题的答案来啦！3 月 13 日（本周日）上午 11:00，由 Apache Pulsar PMC 成员、StreamNative 联结创始人翟佳将为大家带来《预感 2022 · Apache Pulsar 技术停顿与社区动静》分享，为大家解疑答惑。 本期 TGIP-CN 要点2021 年 Apache Pulsar 简要回顾Apache Pulsar 2.10 新版本个性打消 ZooKeeper 依赖自动化集群故障转移Topic 策略反对跨集群复制……周边生态布局数据湖集成Function Mesh……2022 Apache Pulsar 社区活动打算Pulsar Summit 2022线上 Webinar 与线下 Meetup 打算参加社区新动向....想要提前理解这些令人激动的新个性、新流动、新生态吗？与翟佳独特“预感 2022”，报名本次 TGIP-CN 吧！扫描下方二维码，报名预约本期直播 ...

明天咱们介绍了如何应用pipeline在 Apache Beam 中的文件中读取、写入数据，其中“Employees.csv”文件被读取/过滤/写入新文件。 介绍本文通过适当的pipeline示例解释了如何在Apache Beam中读取和写入文件中的数据。从文件中读取数据是通过“ReadFromText”转换实现的，写入新文件是通过“WriteToText”转换实现的。开始咱们解释了如何从文件中读取数据以及如何写入文件，在、后半部通过创立一个pipeline，其中读取“Employees.csv”文件，依据年龄过滤，提取员工的名字，姓氏和年龄pipeline入新文件。总体而言，pipeline如下所示： 从文件中读取在本文中，咱们应用来自数据源的文件，咱们下载了一个 100 条记录文件并将其命名为“Employees.csv”，通过“ReadFromText”将从磁盘读取文件。上面的代码展现了雷同的内容： 输入 写入文件“WriteToText”转换用于将数据写入文件，上面的程序从文件中读取数据并写入“out.csv”文件。 输入 pipelinepipeline代码蕴含两个函数，一个用于过滤员工年龄大于 40 的行，第二个用于仅映射员工的名字、姓氏和年龄。 在这两个函数中，咱们都基于索引拜访记录。残缺的流程代码如下： 生成文件的内容 概括在文章中，咱们探讨了如何从文件中读取、写入数据，咱们还解释了执行过滤、映射数据并将其写入新文件的残缺pipeline代码。

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：http://github.com/apache/pulsar/ 2021 年，Apache Pulsar 一共迎来了 14 位 Committer，咱们将通过系列采访为大家介绍各位 Committer 的故事。其中一位就是明天的主人公 —— 蔡正昕。蔡正昕次要的奉献围绕 admit API、streaming dispatcher、Rest produce 与 consume、Modernizr 插件等方向。上面就一起理解下他的故事吧！ 邂逅 Pulsar蔡正昕曾在亚马逊工作，偶尔在领英上看到 Apache Pulsar 的相干推送，并引起了他的趣味，随后退出 Pulsar Slack，开始了社区的交换。因为之前的工作次要是偏一般的后端服务，所以他想要系统地学习分布式的相干常识。在 GitHub 上翻看本人力不从心的 issue 后，他提交了对于 Pulsar 文档的第一个 PR，正式开启本人的 Pulsar 贡献者之旅。 开源人看社区作为一名工程师，蔡正昕建设社区的倡议与工程师不尽相同，他的关注点更在于文档和治理。目前社区须要减少一整套系统化的“上手”文档，如环境搭建、组件介绍、Pulsar 介绍、相干流程等指南，以升高新人退出社区的门槛。 同时，针对以后 Pulsar 社区现状，蔡正昕提出以下两点优化倡议： 欠缺 issue 的跟踪和管理机制。 能够尝试通过引入 bot 来及时跟进揭示或敞开长期搁置的 issue。一个 issue 提出来，如果长时间没人更新很容易就被忘记，产生沉积。一个无效的 issue 治理跟进机制，能够进步社区活跃度、关注度，实现高效率、高质量开源。减少设计文档存档工作。 在 Pulsar 官网和 GitHub 上难以找到过来设计文档的问题，应重视保留设计文档，如 Pulsar 整体设计文档，对起初参与者理解我的项目十分重要。怯懦迈出第一步，做开源没有设想那么难依据本人的经验，蔡正昕对想要退出开源以及 Pulsar 社区的小伙伴提出了本人的倡议： 做开源没有设想的那么“高大上”，每个人都应有机会参加进来，不论是文档翻译还是 文字拼写错误（typo）修复，只有有勇气去开始，逐渐加深本人的参与度，从易到难，配之以保持和致力，均有可能成为 Committer， 甚至是外围贡献者。在此期间，作为集体在社区作出贡献所取得的成就感是无可比拟的。退出 Apache Pulsar 社区参加开源，能够取得公司及社区内外的认可，结交来自各个领域、气味相投的小伙伴；同时也能够进步集体影响力，促成集体倒退。参加开源不是码农的专属，社区、文档等各个方面都能够让大家施展一技之长。 ...

明天，世界迎来第 112 个“三八” 国际妇女节（IWD）。联合国妇女署在网站上公布，2022 年的妇女节的主题是 “Gender equality today for a sustainable tomorrow”，即“性别平等共创可继续将来”。 大家相熟的 Apache Pulsar 社区的几位“老熟人”独特庆贺女神节，感激大家对社区的奉献，并呐喊更多女性退出开源的洪流，独特面对“开源潮流带来的时机与挑战，为 Apache Pulsar 以及更多的开源社区注入女性力量、共创可继续倒退的将来。 刘昱，Apache Pulsar PMC 成员 过来的一年咱们很欣慰地看到，在 Pulsar 社区，女性力量正随 Pulsar 一起成长！越来越多的女性工作者沉闷在社区的方方面面，致力于打造更优良的产品和更棒的内容体验。  明天是女神节，在此向 Pulsar 社区中各位小姐姐致谢，感激你们收回的每一束光，即使是萤火也汇聚成了河汉。愿你有日月相伴、星辰为友，愿你被这世界温顺以待。 孟焕丽，Apache Pulsar Committer 首先，祝愿社区里所有的女神，节日快乐，男神同乐！在妇女能顶半边天的时代里，很开心看到社区里女性力量越来约壮大。心愿在当前的日子里，越来越多的女程序员们退出到 Pulsar 代码开发、功能测试、文档奉献的队伍里。祝福 Pulsar 社区的小伙伴们都能判若两人地该吃吃，该喝喝，啥事不往心里搁，开心高兴每一天。 Pulsar Bot 人工·智能也来凑热闹啦！作为混迹 Apache Pulsar 社区的老人了，Bot 堪称是 Pulsar 中文开发者与用户圈子里的交际花。从几百人到几千人，Bot 有幸结识了越来越多的开源人，从开发者、用户到经营、设计、文档工程师，其中不乏女性的身影。在国内开源许多流动上能够看到，有很多女性扮演着社区文档工程师和经营、开发等诸多重磅角色。  心愿能够见证越来越多的社区女性角色，在此呐喊男生们也踊跃地向身边女性布道开源。作为 Apache Pulsar 社区百事通，Bot 鼎力欢送大家来理解开源、拥抱开源，一起退出有爱的小家庭～ 李鹏辉，Apache Pulsar PMC 成员 退出开源社区几年来，咱们在社区的方方面面都看到了卓越女性的身影。感激大家以细腻、多维的视角，为社区添砖加瓦。祝 Apache Pulsar 社区以及所有开源社区的女性，女神节高兴！在此也呐喊越来越多的女生退出咱们，独特打造 Apache Pulsar 的将来。 Tango，StreamNative 社区经营 ...

在刚刚完结的 ASF Annual Meeting 上，2022 年新任 ASF Member 及董事会成员诞生了。Apache 软件基金会通过官网 blog 向大家颁布了新一任董事的选举成绩。 图源：Apache 软件基金会官网博客 局部内容译文： 在本周 Apache 软件基金会（下称 ASF ）举办了一年一度的成员会议，并选举出了新的董事会： Rich Bowen （原董事）Bertrand Delacretaz（连任董事）Christofer Dutz（新任董事）Roy Fielding（连任董事）Sharan Foga（连任董事）Willem Jiang（新任董事）Sam Ruby（连任董事）Roman Shaposhnik（连任董事）Sander Striker （连任董事） 同时，ASF 非常感谢去年的董事成员：Justin Mclean, Craig Russell, 以及 Sheng Wu， 感激他们卓越的服务。让咱们再次欢送新任的董事，以及回归的董事们！ 继 2021 年首位中国人吴晟入选 Apache 软件基金会新一任董事后，2022 年 Apache 软件基金会孵化器导师，ALC Beijing 发起人，华为开源能力专家姜宁成为 Apache 软件基金会新任董事。 姜宁此前是 Apache 软件基金会 Member 和 Apache Local Community （ALC） Beijing 的发起人，现任华为开源管理中心技术专家，前红帽软件首席软件工程师，有十五年以上企业级开源中间件开发教训，有丰盛的 Java 开发和应用教训，函数式编程爱好者。 从 2006 年开始始终从事 Apache软件基金会 （ASF） 开源中间件我的项目的开发工做，前后参加 Apache CXF， Apache Camel，Apache ServiceMix，以及 Apache ServiceComb 的开发。2015 年开始负责 ASF 孵化器导师，先后参加孵化了 Apache Rocket，Apache Weex (retired)，Apache Skywalking，Apache ShardingSphere， Apache IoTDB，Apache Doris(Incubating)，Apache APISIX，Apache Shenyu (Incubating)，Apache Kyuubi（Incubating) 。 ...

本文由 StreamNative 组织 Apache Pulsar 中文社区志愿者翻译。原文来自 StreamNative 英文博客《Building Edge Applications With Apache Pulsar》，作者 Tim Spann，StreamNative 布道师。 译者：YOLO，就任于 BSC BOMC ORP 的 bomc 团队。原文链接：https://streamnative.io/blog/...近年来，近程连贯设施的爆炸性增长为集中式计算范式带来了挑战。受到网络和基础设施的限度，企业越来越难以在不呈现提早或性能问题的状况下，在数据中心或云中挪动和解决所有设施生成的数据。因而，边缘应用程序逐步衰亡。据 Gartner预计，到 2025 年，企业将在数据中心或云之外创立和解决 75% 的数据。 那么什么是边缘应用程序？边缘利用程序运行在数据源上或其左近，如物联网设施、本地边缘服务器、边缘执行。边缘计算使计算、存储、缓存、治理、告警、机器学习和路由都可能在数据中心和云之外进行。批发、农业、制作、运输、医疗和电信等行业通过采纳边缘应用程序，从而实现更低的提早、更好的带宽、更低的基础设施老本和更高效的决策。 本文将为大家介绍开发边缘应用程序所面临的一些挑战，以及 Apache Pulsar 利用于边缘应用程序的解决方案。本文还将分享一个示例，逐渐展现如何应用 Pulsar 构建边缘应用程序。 要害挑战边缘计算的分散性在带来许多益处的同时也带来了挑战，其中次要包含： 边缘应用程序通常须要反对各种设施、协定、语言和数据格式。来自边缘应用程序的通信须要与来自传感器、日志和应用程序的事件流以疾速但不平均的速度进行异步。数据的边缘生产者依据设计要求须要部署不同的消息传递集群。从设计上看，边缘应用程序在天文上具备分散性和多样性的特点。解决办法须要一个适应性强、混合、反对天文复制且可扩大的开源解决方案，以可能解决构建边缘应用程序所面临的问题。领有泛滥用户的开源我的项目能够提供宽泛的社区反对，以及边缘应用程序所需的丰盛生态系统，包含适配器、连接器和扩大等。在过来二十年中，基于我与不同技术和开源我的项目的单干教训，我置信 Apache Pulsar 满足了边缘应用程序的需要。 Apache Pulsar 是一个开源、云原生、分布式音讯流平台。自 2018 年 Pulsar 成为 Apache 软件基金会顶级我的项目以来，它的社区参加、周边生态增长和寰球使用率都飞速增长。Pulsar 之所以可能解决边缘计算中存在的诸多挑战，归功于以下几点： Apache Pulsar 反对多种 Schema 下的疾速消息传递、元数据和多种数据格式。Pulsar 反对 Go、C++、Java、Node.js、Websockets 和 Python 等多语言客户端。此外，还有社区开发者提供的 Haskell、Scala、Rust 和.Net 开源客户端，以及 Apache Flink 和 Apache Spark 的流解决库。Pulsar 反对多种音讯协定，包含 MQTT、Kafka、AMQP 和 JMS。Pulsar 的跨地区复制性能解决了分布式设施的地位问题。Pulsar 云原生的架构让其能够在多云、本地或 Kubernetes 环境中运行。它还能够适配小型边缘网关，以及像 NVIDIA Jetson Xavier NX 这样弱小的设施。在本示例中，咱们在 NVIDIA Jetson Xavier NX 上构建边缘应用程序，它为咱们运行边缘 Apache Pulsar 单机 broker、多个 web 摄像头和深度学习边缘应用程序提供了足够的能力。我的边缘设施蕴含 384 个 NVIDIA CUDA® 内核和 48 个 Tensor 内核、6 个 64 位 ARM 内核和 8 GB 128 位 LPDDR4x RAM。在后续博客中，我将向大家展现，即便在 Raspberry PI 4s 和 NVIDIA Jetson Nano 等更为简略的设施上运行 Pulsar，依然能够满足疾速边缘事件流的须要。 ...

对于 Pulsar 中文开发者与用户组会议Pulsar 中文开发者与用户组会议是由 StreamNative 发动的交换会议，在每月最初一个周三早晨举办。本会议聚焦 Pulsar 中文用户组，会集 Pulsar 开发者与用户，同步 Pulsar 我的项目与周边生态停顿，探讨调研、部署、运维 Pulsar 中遇到的疑难，展现集体或团队在 Pulsar 上作出的成绩并分享 Pulsar 测试、运维教训等等。，展现集体或团队在 Pulsar 上作出的成绩并分享 Pulsar 测试、运维教训等等。 行将走出正月，大家的工作也复原了原有的轨迹。两个月不见，你是否积攒了一些疑难与点子与大家分享、探讨？开年第一次碰面，Pulsar 中文开发者与用户组会议行将在明晚（周三）8-9 点举办。欢送社区小伙伴们入会，与咱们一起探讨疑难问题、共建社区。 2 月 Pulsar 中文开发者与用户组会议主持人：Apache Pulsar PMC 成员，StreamNative 首席架构师李鹏辉 组织方：StreamNative参会小伙伴请在 issue 里盖楼留言。请大家提前在腾讯文档内留言昵称和须要探讨的问题，届时优先解答文档内问题。（请留言的同学确保参会，当面形容问题细节。如不不便参会，可日常在交换群中交换。）参会形式腾讯会议 途经一：在电脑/手机上关上会议链接即可间接拉起腾讯会议利用/微信小程序入会；路径二：关上腾讯会议客户端，输出会议 ID入会。会议信息 会议主题：Pulsar 中文开发者与用户组会议会议工夫：2022/03/02 20:00-21:00 (GMT+08:00) 中国规范工夫 - 北京复制链接入会，或增加至会议列表会议 ID：721-186-350相干材料扫码观看往期开发者与用户组会议 11 月 Pulsar 用户与开发者会议回顾与 Q&A 文档12 月 Pulsar 用户与开发者会议回顾与 Q&A 文档关注公众号「Apache Pulsar」，获取更多技术干货 退出 Apache Pulsar 中文交换群 点击链接预约腾讯会议

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：http://github.com/apache/pulsar/ 文章转自公众号：Apache InLong，原文地址：https://mp.weixin.qq.com/s/Wg...Apache InLong 减少了通过 Apache Pulsar 接入数据的能力，充分利用了 Pulsar 不同于其它 MQ 的技术劣势，为金融、计费等数据品质要求更高的数据接入场景，提供残缺的解决方案。在上面的内容中，咱们将通过一个残缺的示例介绍如何通过 Apache InLong 应用 Apache Pulsar 接入数据。 Apache InLong（incubating）简介Apache InLong（应龙 https://inlong.apache.org）是腾讯募捐给 Apache 社区的一站式数据流接入服务平台，提供主动、平安、牢靠和高性能的数据传输能力，不便业务构建基于流式的数据分析、建模和利用。InLong 我的项目原名 TubeMQ ，专一于高性能、低成本的音讯队列服务。为了进一步开释 TubeMQ 周边的生态能力，咱们将我的项目降级为 InLong，专一打造一站式数据流接入服务平台。Apache InLong 以腾讯外部应用的 TDBank 为原型，依靠万亿级别的数据接入和解决能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，领有简略易用、灵便扩大、稳固牢靠等个性。 Apache InLong 服务于数据采集到落地的整个生命周期，按数据的不同阶段提供不同的解决模块，次要包含： inlong-agent，数据采集 Agent，反对从指定目录或文件读取惯例日志、逐条上报。后续也将扩大 DB 采集、HTTP 上报等能力；inlong-dataproxy，一个基于 Flume-ng 的 Proxy 组件，反对数据发送阻塞和落盘重发，领有将接管到的数据转发到不同 MQ（音讯队列）的能力；inlong-tubemq，腾讯自研的音讯队列服务，专一于大数据场景下海量数据的高性能存储和传输，在海量实际和低成本方面有着良好的外围劣势；inlong-sort，对从不同的 MQ 生产到的数据进行 ETL 解决，而后汇聚并写入 Hive、ClickHouse、Hbase、Iceberg 等存储系统；inlong-manager，提供残缺的数据服务管控能力，包含元数据、工作流、权限，OpenAPI 等；inlong-website，用于治理数据接入的前端页面，简化整个 InLong 管控平台的应用。对于 Apache Pulsar Apache Pulsar 是 Pub/Sub 模型的音讯零碎，并且从设计上做了存储和计算的拆散。Apache Pulsar 计算与存储拆散的架构，以及分片存储的设计为 Apache Pulsar 带来了相比于传统基于分区存储 MQ 的一些劣势: ...

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：http://github.com/apache/pulsar/本文翻译自：《Using Apache Pulsar With Kotlin》，作者 Gilles Barbier。原文链接：https://gillesbarbier.medium....译者简介宋博，就任于北京百观科技有限公司，高级开发工程师，专一于微服务，云计算，大数据畛域。Apache Pulsar 通常被形容为下一代 Kafka，是开发人员工具集中一颗冉冉升起的新星。Pulsar 是用于 server-to-server 消息传递的多租户、高性能解决方案，通常用作可扩大应用程序的外围。 Pulsar 能够与 Kotlin 一起应用，因为它是用 Java 编写的。不过，它的 API 并没有思考 Kotlin 带来的弱小性能，例如数据类、协程或无反射序列化。 在这篇文章中，我将探讨如何通过 Kotlin 来应用 Pulsar。 为音讯体应用原生序列化在 Kotlin 中定义音讯的一种默认形式是应用数据类，这些类的次要目标是保留数据。对于此类数据类，Kotlin 会主动提供 equals()、toString()、copy()等办法 ，从而缩短代码长度并升高呈现谬误的危险。 应用 Java 创立一个 Pulsar 生产者: Producer<MyAvro> avroProducer = client .newProducer(Schema.AVRO(MyAvro.class)) .topic(“some-avro-topic”) .create();该 Schema.AVRO(MyAvro.class) 指令将内省 MyAvro Java 类并从中推断出一个 Schema。这须要校验新的生产者是否会产生与现有消费者理论兼容的音讯。然而 Kotlin 数据类的 Java 实现不能很好地与 Pulsar 应用的默认序列化器配合应用。但侥幸的是，从 2.7.0 版本开始，Pulsar 容许您对生产者和消费者应用自定义序列化程序。 首先，您须要装置官网 Kotlin 序列化插件。应用它能够创立一个如下的音讯类： ...

以下文章来源于人人都学大数据 ，作者Cassie对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：http://github.com/apache/pulsar/ 文章转自：人人都学大数据，作者：王嘉凌文章内容整顿自：中国移动云能力核心，挪动云 Pulsar 产品负责人王嘉凌在 Pulsar Summit Asia 2021 的视频分享内容。Pulsar Summit Aisa 2021 已在 2022 年 1 月 15-16 日于线上举办。会上，30 位嘉宾围绕 26 个议题，分享了最前沿的 Apache Pulsar 实践经验、场景案例、技术探索和运维故事。 上面咱们将回顾来自挪动云的王嘉凌工程师分享的 Apache Pulsar 在挪动云智能运维平台的利用实际。 扫描下方图片查看完整版视频回顾： 挪动云智能运维平台挪动云智能运维平台是集资源配置、告警指标、性能监控、日志治理、故障解决等性能为一体的企业级 DevOPS 平台，帮忙运维、研发工作者疾速把握集群最新态势，提取要害信息，让运维工作更便捷。 平台旨在打造 N+31+X 的资源布局，面对近 5 万台物理机、9000 多网络设备，搭建这样一个零碎会存在很多事实的问题包含： 物理机在哪个机房、哪个机柜、哪个机架？物理机有多少核、多少内存、多少存储？这么多设施告警、性能数据怎么办？如何采集、解决？设施出了故障，如何疾速定位，如何调度故障解决人员？大部分服务是分布式的，日志散落在不同的节点，如何疾速检索日志去定位问题？而这些问题都是须要挪动云智能运维平台去解决或者摸索的，智维平台肩负着智能化集中运维的重大使命。 挪动云智能运维平台的总体架构如下： 其中起到承前启后作用的是运维数据平台。运维数据平台上层对接根底运维平台接管采集数据，下层对接运维能力层提供数据查问和剖析的接口。 挪动云团队抉择 Pulsar 作为运维数据平台的核心技术，利用 Pulsar 作为数据管道实现数据接入、数据加工，数据生产和数据投递的能力。基于 Pulsar 的计算存储拆散个性提供了可扩大的数据管道；基于 Pulsar Function 计算框架构建对立运维数据加工 DSL，实现高效数据集成；基于 Pulsar Sink 革新实现了运维数据投递性能，同时基于 PrestoDB 构建对立 SQL，实现 Elasticsearch、ClickHouse 的对立查问剖析，并且通过 DSL 畛域翻译服务提供运维专用查问剖析语法，进步运维查问效率。 简而言之，Pulsar 在运维数据平台中的作用就是接管日志数据，进行加工后投递到 Elasticsearch 和 ClickHouse 中。后者再给下层提供数据查问和数据分析的能力。 ...

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：http://github.com/apache/pulsar/ 本系列由 StreamNative 负责整顿保护，如需转载请后盾留言。2022 年新一期「Pulsar 职位广场」来啦！近期又有很多公司推出 Apache Pulsar 相干职位招聘需要，特此举荐，心愿本期推送可能帮忙到你(下述岗位举荐不分先后)。咱们在 Pulsar local community 仓库 建设了招聘专栏，欢送有 Pulsar 相干招聘需要的企业/组织自行投递。 StreamNativePlatform Engineer（Serverless）工作地点：anywhere，咱们近程办公，无论你在地球的哪个角落都能够退出咱们。 简历投递邮箱：cn_recruiting@streamnative.io 岗位职责布局、开发和打造基于 Apache Pulsar/BookKeeper的 Serverless 商业化产品；设计、开发和优化 Pulsar Functions/Pulsar Connectors 的外围组件；打造围绕 Apache Pulsar/BookKeeper 的生态系统；构建 Apache Pulsar/BookKeeper 的开发者社区，进行 Apache Pulsar/BookKeeper 技术布道；编写粗疏的代码和设计文档，并对其余共事的代码进行审查。岗位要求优良的发现和解决问题能力，良好的沟通能力和团队单干精力；相熟 Java/Python/Go/C++/Rust 中至多一种语言，有扎实的编程能力；相熟分布式系统的原理和关键技术，对分布式消息中间件零碎（比方 Pulsar/Kafka/RabbitMQ）的原理和实现有肯定钻研优先；有 Docker，Kubernetes 等教训优先。有数据或相干从业者优先，理解/相熟并应用过 Pulsar Functions、AWS Lambda、Google Function、Azure Function 等产品优先。文化是 StreamNative 的重要组成部分，咱们正在寻找最优良的人，这些人不仅要施展本人的作用，还要为公司的衰弱和成长做出奉献。因而咱们心愿本人的小伙伴： 聪慧、有同理心；自我驱动、乐于承担责任；业余，心愿成为某一畛域的专家。Solution Engineer工作地点：北京/全国 简历投递邮箱：cn_recruiting@streamnative.io 工作职责反对销售经理与客户进行需要沟通，技术类交换，并依据需要搭建产品演示、设计并解说 Pulsar 的解决方案、编写相干文档等；参加并实现 POC 阶段的技术交换、施行部署、文档编写及总结汇报等工作，确保技术层面能够满足客户的预期；负责客户的技术支持工作，包含 Pulsar 的部署、降级、配置变更、生态组件（Function/Connector 等）等的应用形式介绍、原理解说、最佳实际、故障定位剖析等；了解客户的产品性能需要或 Bug 的反馈，与研发团队、文档团队等协同推动相干产品的优化降级；依据日常的技术支持工作，撰写知识库文章，定期为团队分享相干教训。任职要求本科以上学历，计算机专业有加分，3 年以上工作教训，有云产品服务教训的有加分；有良好的学习和钻研能力，面对一个新产品或者个性时，能够在较快的工夫内把握；有良好的沟通和表达能力，善于聆听客户的问题并疾速找到解决问题的关键点，心愿通过与客户的互动帮忙客户胜利；相熟 Linux 操作系统，如常用命令、文件系统、系统配置等，具备较强的故障定位和问题解决能力，有丰盛解决重大故障的经验；至多相熟一个支流分布式系统（例如Kafka，Elasticsearch，HBase 等），乐于学习音讯流技术并期待成为 Apache Pulsar 的领域专家；常常加入 Pulsar 线下流动有加分，常常参加社区探讨问题的有加分；有 K8s 应用教训的有加分，有 Flink 应用教训的有加分。众安保险根底平台-消息中间件方向工作地点：上海黄浦区 ...

Pulsar Summit 是 Apache Pulsar 社区年度盛会，它将散布在世界各地的 Apache Pulsar 我的项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及音讯和流计算社区的精英招集在一起。于此盛会，大家分享实践经验、交换想法、探讨对于 Pulsar 我的项目和社区的常识，切磋互动。Pulsar Summit Aisa 2021 已在 2022 年 1 月 15-16 日于线上举办。大会在 CSDN、InfoQ 等多个频道进行直播，共吸引了 4 万余名观众。会上，30 位嘉宾围绕 26 个议题，分享了最前沿的 Apache Pulsar 实践经验、场景案例、技术探索和运维故事。 扫描下方图片，观看回顾视频： 主题演讲收场致辞：Apache Pulsar 社区动静 刘昱，Apache Pulsar PMC 成员视频看点：回顾 Apache Pulsar 我的项目与社区历程。 Apache Pulsar：对立音讯流的将来 翟佳，Apache Pulsar PMC 成员，StreamNative 联结创始人视频看点：云原生与多样化业务需要下，音讯与流零碎的技术趋势。 Apache Pulsar 2.9 版本新个性解说 李鹏辉，Apache Pulsar PMC 成员，StreamNative 首席架构师视频看点：Pulsar 2.9 新个性解说，新增插件化元数据接口、增强 transaction 性能...... 拥抱云原生新范式，构建企业级音讯流数据平台 贾肖好晟，DaoCloud 技术专家，Kubeadm 社区维护者Eric Shen，StreamNative 解决方案工程师视频看点：云原生数字之旅与架构保障。 ...

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：https://github.com/apache/pul...为 Apache Pulsar 社区和我的项目提倡议的最好机会，不容错过！在 2021 年，Apache Pulsar 的利用、技术倒退和社区活跃度都产生了突飞猛进的变动。11 月，Apache Pulsar GitHub 主仓库关注度冲破 10K+ Star，Fork 数在一年内翻倍为 2.6K；Apache Pulsar 主仓库月度沉闷贡献者赶超 Kafka；9 月 Pulsar Flink Connector 被合并进 Apache Flink 仓库并在 Flink 1.14 版本公布；往年别离在北美、欧洲、亚洲举办三场 Pulsar Summit，数十位专家分享各自在案例、技术探索等方向的教训......这些问题，是全副社区成员共同努力的后果，2021，感激有你！ 为了打造更好的 Pulsar 我的项目与社区，进一步优化开发者与用户的体验，快来共建我的项目、共建社区，一起打造 Pulsar 2022 吧！ 2022 Apache Pulsar 用户考察问卷将于 3 月 1 日前敞开！欢送大家填写并流传 2022 Apache Pulsar 用户考察问卷。心愿通过这份问卷，综合大家的倡议，咱们能够更好地建设 Apache Pulsar 社区，打造更欠缺的 Apache Pulsar 技术生态。还有机会取得丰富的抽奖礼品，赶快扫描下方二维码填写问卷吧 相干浏览完整版 | 2021 年 Apache Pulsar 用户调查报告关注公众号「ApachePulsar」，获取干货与动静 ...

观看了年前完结的 Pulsar Summit Asia 2021 的观众会发现，在第一天收场演讲中，有一个女生温声细语地为大家介绍 Apache Pulsar 我的项目与社区，这个女生就是来自 StreamNative 的新晋 Apache Pulsar PMC 成员刘昱，也是 Apache Pulsar 的第二位女性 PMC 成员。 人生当砥砺前行与大部分 PMC 成员不同的是，刘昱是一名非代码贡献者。作为一名 Technical Writer（技术文档工程师），刘昱的主攻方向是为我的项目写“说明书”，形容技术开发的内容。凭借杰出的文档品质和社区影响力，刘昱目前曾经是两个 Apache 顶级我的项目的 Committer。 从与刘昱的接触中即可发现，她乐于挑战自我、乐于学习。尽管当初有越来越多的女性退出开源行业，然而几年前的开源行业堪称小众。2016 年，刘昱开始加入开源我的项目，那个时候国内开源行业尚未起步，她也曾犹豫过是否要做一个“吃螃蟹”的人，最终决定迎接挑战，从硬件转型软件，一直和程序员交换、学习，空虚本人在这个行业的常识储备，融入新的职业生涯。Pulsar 官网上能够看到的文档以及一些 Pulsar 生态的文档，都有刘昱的奉献成绩体现。 女生看开源家喻户晓，成为一个 Apache 我的项目的 Committer 足以阐明一个人在该项目标业余度和投入度。为什么刘昱在曾经成为一个我的项目的 Committer 后转而退出 Pulsar 呢？刘昱示意本人看好这项技术，在云原生潮流下，存储拆散合乎企业需要。 从数据库（DB）到音讯零碎，刘昱示意 DB 更好玩更有互动、更偏差基础架构，然而 Pulsar 社区更沉闷。以一个女性的视角，她充沛在社区施展了女性的人造劣势：聆听、共情能力，高容错率和强柔韧性。刘昱是一个十分沉闷的开源人：与其余具备影响力的社区交换；在社区发动 PIP；与来自寰球各地的社区贡献者沟通；组织技术文档工程师分享教训；参加社区经营......女性参加开源曾经不是小概率，GitHub COO 是女性，在国内开源年会和许多流动上也能够看到，有很多女性扮演着社区文档工程师和经营的角色。当初的开源社区更加多元化、乏味，带来更加欠缺的开源向善体验。非代码人员也能够去参加社区并带来很大影响力。 建设社区，大展宏图作为始终踊跃建设社区的 PMC 成员，刘昱也对社区多元化倒退有很多的倡议和考虑。Apache 社区有一个主旨 “Community over code”，刘昱带来了这样的解读： 第一层含意：开源社区不只众筹代码，也不是集体英雄。很多人只置信技术，不在意社区经营；很多人只看书不种树，实践和实际拆散。一个好的社区体现在内容经营和流动经营等方方面面。第二层含意：开源社区不只一亩三分地。开源自身是高效的生产关系，为了让更多人去散发应用好的技术，于是有了开源许可、有了商业化公司；为了打造更好的社区和生态，不仅仅要培养人才、优化开发，还要造就良好的开源理念和环境。第三层含意：非码农也是参加社区的主力之一。很多非代码人员仍在观望不前那不如 “get your hands dirty”，多多接触、多多锤炼。实际出真知，只有迈出第一步能力走向质的飞跃。从一个业余文档奉献的角度来看，不只是产品经理、产品经营等职业适宜做文档奉献，任何人都能够。作为用户，不管业余与否都有本人的视角，issue 和倡议都有很大的价值与意义。开源社区都有来自寰球各地的用户与开发者，因而大家会通过邮件列表、用英文探讨。咱们不止一次听到很多人示意难以逾越语言障碍，然而刘昱恰好是一个反例。英语不好、胆小是人之常态，“对本人不要要求那么高，大胆参加，实际上他人对你的要求不会有你对本人那么刻薄”。也有人示意不关怀或者不想参加，对此，刘昱也有不一样的认识：“咱们要多多思考工作带来价值而非仅仅去实现它，你会发现在社区有很多值得和他人交换的事件，并且会获益匪浅”。 当初国内的开源社区都在踊跃地吸纳女性力量，从不同的性别视角来优化我的项目。打造社区多元化，触达更多女性，刘昱倡议大家先致力开掘本人善于的方向，同时社区也能够发动女性流动，比方建设女性论坛、设立女性流动基金等等，激励女性参加开源。 建设 Pulsar 文档最初，刘昱呐喊大家进行文档奉献。新的一年，她会同社区踊跃造就 “documentation first” 的文化、制度和观点。目前社区曾经发动几个 PIP，来打造更好的文档体验，让它像字典更加自助：PIP 98、PIP 116 是 Pulsar 文档写作指南；PIP 112 旨在主动生成 release note；PIP 87 是对于更新降级 Pulsar 网站的框架的提案。在文档上也会按角色进行分类：初学者、开发者、管理人员（用户）等等。欢送大家在应用过程中为文档提倡议，集思广益，独特优化文档体验。 ...

感激在过来的一年里大家的反对与陪伴，回顾群星闪耀的 Apache Pulsar 2021，2022 咱们仍旧奋勇向前！祝大家身体健康、合家欢乐！ 点击链接 https://link.segmentfault.com...观看视频，快来承受社区的美妙祝愿吧～ Apache Pulsar 社区新年福袋如下：后盾回复 抽奖 / 扫描下方小程序码即可抽取 Apache Pulsar 限量周边 新年壁纸供大家下载应用

Apache Pulsar 祝大家 2022 年新春大吉！点击链接 https://mp.weixin.qq.com/s/5i...观看视频，快来承受社区的美妙祝愿吧～

Apache Pulsar 社区亚洲峰会 Pulsar Summit Asia 2021 已在 2022 年 1 月 15-16 日于线上胜利举办。此次峰会是第二届亚洲峰会，汇集 30+  嘉宾分享 Apache Pulsar 最新进展、最佳实际和场景案例。 尽管因为疫情流动延期、由线下转为线上，但相比 2020 年峰会，咱们仍获得多个冲破——峰会报名 1K+ 、直播观众 4w+ ……这些问题属于整体社区成员，也将注定成为 Apache Pulsar 我的项目成长路上又一个值得纪念的里程碑（StreamNative 正在策动设计 Apache Pulsar 2021 年成长回顾海报，也将近期公布，敬请期待）。 作为峰会重要环节，组织方 StreamNative 往年将持续联结 Apache Pulsar 技术专家严选两大奖项：Apache Pulsar 中文社区先锋奖、Apache Pulsar 中文社区优良案例，表彰先进者，以期促成 Apache Pulsar 社区更加茁壮成长。 Apache Pulsar 中文社区先锋奖（排名不分先后）翼领取 作为国内最早一批落地 Apache Pulsar 的团队，翼领取基于 Apache Pulsar 构建批流交融对立技术架构，升高零碎复杂度，并无效撑持实时风控业务，打造智慧金融。 拉卡拉 同样作为国内最早 Apache Pulsar 落地的团队之一，拉卡拉基于 Apache Pulsar 构建企业对立的音讯基础设施，利用场景宽泛，无效进步了资源应用效率，升高了系统维护老本。 Apache Pulsar 中文社区年度优良案例（排名不分先后）滴滴 作为云原生分布式音讯流零碎，Apache Pulsar 正在滴滴落地并成长。滴滴技术团队与社区专家合作，推动外部自研音讯队列零碎 DDMQ 引入 Pulsar，以此减速基础设施云原生过程，升高经营老本，摸索更多可能性。 知乎 知乎技术团队紧跟云原生技术倒退，踊跃拥抱开源，深度参加多个出名开源我的项目和技术社区建设。Apache Pulsar 作为知乎外围音讯零碎组件之一，借助 Pulsar 的云原生架构继续助力业务疾速倒退。 ...

对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。GitHub 地址：https://github.com/apache/pul... 在 2021 年，Apache Pulsar 的利用、技术倒退和社区活跃度都产生了突飞猛进的变动。11 月，Apache Pulsar GitHub 主仓库关注度冲破 10K+ Star，Fork 数在一年内翻倍为 2.6K；Apache Pulsar 主仓库月度沉闷贡献者赶超 Kafka；9 月 Pulsar Flink Connector 被合并进 Apache Flink 仓库并在 Flink 1.14 版本公布；往年别离在北美、欧洲、亚洲举办三场 Pulsar Summit，数十位专家分享各自在案例、技术探索等方向的教训......这些问题，是全副社区成员共同努力的后果，2021，感激有你！ 2022 年，咱们将持续蓬勃发展。为了打造更好的 Pulsar 我的项目与社区，进一步优化开发者与用户的体验，咱们邀您共建我的项目、共建社区，一起在新年之际为 Pulsar 开启美妙的开始！ 2022 Apache Pulsar 用户考察问卷当初正式公布！欢送大家填写并流传 2022 Apache Pulsar 用户考察问卷。心愿通过这份问卷，综合大家的倡议，咱们能够在新的一年里更好地建设 Apache Pulsar 社区，打造更欠缺的 Apache Pulsar 技术生态。问卷结尾为大家筹备了丰富的抽奖礼品，赶快扫描下方二维码填写问卷吧 相干浏览完整版 | 2021 年 Apache Pulsar 用户调查报告关注公众号「Apache Pulsar」，获取干货与动静退出 Apache Pulsar 中文交换群  点击链接，领先填写问卷抽取大奖！

Pulsar Summit Asia 2021 峰会已于 1 月 15-16 日顺利举办。在本次峰会上，StreamNative 联结传智教育旗下高端 IT 教育品牌黑马程序员推出 Apache Pulsar 中文视频教程，并面向社区用户收费凋谢。 Apache Pulsar 是 Apache 软件基金会顶级我的项目，提供了对立的生产模型，反对音讯队列和流两种场景，既能为队列场景提供企业级读写服务质量和严格一致性保障，又能为流场景提供极高带宽，是云原生时代的音讯流零碎。 Apache Pulsar 采纳存储计算拆散的云原生架构，人造反对大集群、多租户、百万级 Topic、跨地区数据复制和长久化存储、分层存储等企业级个性。企业借助 Apache Pulsar 能够打造对立的实时数据基础设施平台，突破数据隔离和数据孤岛，简化架构并升高运维复杂度。目前 Apache Pulsar 已落地国内外数百家企业，如腾讯、百度、滴滴等泛滥企业，笼罩泛滥行业。 随着越来越多企业调研并落地 Apache Pulsar，社区用户对于 Apache Pulsar 学习材料的需要也越发旺盛。除了 Apache Pulsar 官网文档、技术博文外，也亟需视频类教程帮忙社区成员学习 Apache Pulsar。由传智教育旗下子品牌黑马程序员担纲制作、StreamNative 提供技术评审的 Apache Pulsar 中文视频教程，及时满足了社区成员这一需要，在此特别感谢！ 视频教程简介教程分为三大版块：根底篇、高级篇和实战篇，其中根底篇和高级篇内容要点包含： 根底篇：Apache Pulsar 基础架构、集群装置及基本操作应用高级篇：Apache Pulsar 高阶性能及组件，包含事务、Connector 等；Apache Pulsar 架构深刻解析，包含读写流程、BookKeeper 等视频观看地址Bilibili 地址：https://www.bilibili.com/vide... 如果你发现视频有须要改良的中央，欢送返回留言。 对于传智教育传智教育是一家以待业为导向，造就科技人才的职业教育机构，2021 年 1 月 12 日在深交所主板上市，成为中国教育行业 A 股 IPO 第一股（股票代码 003032）。自成立以来，传智教育紧随国家互联网科技策略及产业倒退步调，始终与软件、互联网、智能制作等前沿技术齐头并进，已继续向社会高科技企业输送数十万名科技人才，促成了当地数字化经济的倒退及新一代信息技术行业的倒退，积极响应了党和国家“大力发展职业教育”、“新一代人工智能倒退”号召，无力配合了国家“稳待业”、“教育强国”、“信息化倒退”策略，为当地数字化经济倒退及企业数字化转型降级提供了强有力的人才撑持。 ...

历经十余年后，最近 Apache Ambari 我的项目或因没人违心参加开发而将被“雪藏”。 近日，Cloudera 工程师、Apache Ambari PMC 主席 Jayush Luniya 在发送给 Ambari 社区名为《[VOTE] Move Apache Ambari to Attic》的邮件中提议：将 Apache Ambari 我的项目移至到“Attic” —— 搁置该我的项目，不再开发。 该邮件原文： “Following the process outlined here, https://attic.apache.org/proc...,I'm calling a vote to move Apache Ambari to the Attic. Over the past 2 years we were only able to make one Ambari release (2.7.6) and most of the committers and PMC members haven't been actively involved in the project.It was great working with everyone of you and while I am sad to move upstairs to the attic, I believe it is time to move on. ...

编者荐语： StreamNative 联结创始人翟佳在本次演讲中介绍了下一代云原生音讯流平台 Apache Pulsar，并解说如何通过 Apache Pulsar 原生的存储计算拆散的架构提供批流交融的根底，以及如何与 Flink 联合，实现批流一体的计算。 对于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级我的项目，是下一代云原生分布式音讯流平台，集音讯、存储、轻量化函数式计算为一体，采纳计算与存储拆散架构设计，反对多租户、长久化存储、多机房跨区域数据复制，具备强一致性、高吞吐、低延时及高可扩展性等流数据存储个性。  GitHub 地址：http://github.com/apache/pulsar/ Apache Pulsar 绝对比拟新，它于 2017 年退出 Apache 软件基金会，2018 年从 Apache 软件基金会毕业并成为一个顶级我的项目。Pulsar 因为原生采纳了存储计算拆散的架构，并且有专门为音讯和流设计的存储引擎 BookKeeper，联合 Pulsar 自身的企业级个性，失去了越来越多开发者的关注。 Apache Pulsar 是什么下图是属于音讯畛域的开源工具，从事音讯或者基础设施的开发者对这些肯定不会生疏。尽管 Pulsar 在 2012 年开始开发，直到 2016 年才开源，但它在跟大家见面之前曾经在雅虎的线上运行了很长时间。这也是为什么它一开源就失去了很多开发者关注的起因，它曾经是一个通过线上测验的零碎。 Pulsar 跟其余音讯零碎最基本的不同在于两个方面： 一方面，Pulsar 采纳存储计算拆散的云原生架构；另一方面，Pulsar 有专门为音讯而设计的存储引擎，Apache BookKeeper。架构下图展现了 Pulsar 存储计算拆散的架构： 首先在计算层，Pulsar Broker 不保留任何状态数据、不做任何数据存储，咱们也称之为服务层。其次，Pulsar 领有一个专门为音讯和流设计的存储引擎 BookKeeper，咱们也称之为数据层。 这个分层的架构对用户的集群扩大非常不便： 如果想要反对更多的 Producer 和 Consumer，能够裁减下面无状态的 Broker 层；如果要做更多的数据存储，能够独自裁减底层存储层。这个云原生的架构有两个次要特点： 第一个是存储计算的拆散；另外一个特点是每一层都是一个节点对等的架构。从节点对等来说，Broker 层不存储数据，所以很容易实现节点对等。然而 Pulsar 在底层的存储也是节点对等状态：在存储层，BookKeeper 没有采纳 master/slave 这种主从同步的形式，而是通过 Quorum 的形式。 ...