云计算

导语近日，中共中央、国务院印发《数字中国建设整体布局布局》（以下简称《布局》）。《布局》指出，建设数字中国是数字时代推动中国式现代化的重要引擎，是构筑国家竞争新劣势的无力撑持。 党的二十大开局之年，数字中国在百年改革的关口上，创始了数字化翻新遍及和深入的重要机遇期，数字化转型成为政府和企业站在时代改革节点上的一道“必答题”。浪潮集团旗下浪潮云踊跃投身数字中国建设，助力智慧的力量自在成长，扎根广袤疆土的每一个角落。 作为中国行业云市场引领者，浪潮云以云网边端、云数智、建管运的“十字交融”方针为指引，依靠新一代行业云MEP策略，推动数字技术和实体经济深度交融，在农业、医疗、交通、能源等重点畛域，一直降级行业数字化解决方案，放慢数字技术创新利用。  数实交融助力各行业逾越“数字鸿沟” 带着对行业数字化转型的坚定信念，浪潮云直面千行百业所面临的算力散布、数据安全、数字技能三大挑战，围绕平安这一外围，从新模式、新因素、新产品三大方面登程推出新一代行业云MEP策略。 基于浪潮分布式云IaaS、PaaS、DaaS、SaaS间断体服务，浪潮云提供满足垂直行业独特且一直倒退的性能、合规和技术需要的新一代行业云全栈云服务，通过羽化买通物理和数字世界，继续推动数字技术与实体经济深度交融，助力各行业逾越“数字鸿沟”。 目前，浪潮云以分布式云ICP为外围，在全国布局7大外围云数据中心、113个区域云核心、486个分布式云节点，打造无处不在的算网体系，迎接数据浪潮。同时，依靠浪潮云寰球运行指挥核心OpsCenter实现云平台继续迭代和降级，超过2万个业务利用零碎在浪潮云上稳固运行。 一朵农村振兴云打造农村振兴样板 广阔天地在农村，浪潮云以数字化赋能农村产业倒退、农村建设和农村治理，打造一朵农村振兴云，以场景激活数据价值、以翻新撑持农村生态产业和合共生的农村振兴新模式。 在东至，在浪潮云“产业大脑”的赋能下，东至县联合县域产业劣势，基于浪潮数据云IBP搭建起数据流管道，做强特色现代农业，通过数字化联结产业链的产前、产中、产后各环节，重点推动茶叶、鳜鱼等特色产业数字化转型，促成农业企业从“工业化管理模式”向“数字化管理模式”改革。 在烟台，浪潮云依靠农村振兴数据库、一体化政务智能数据平台、数据填报等劣势产品打造农村振兴云，助力烟台市搭建镇街数据节点，横向贯通农业农村、商务、民政、市场监管等数据，纵向买通农村与市、县的数据流动，横向贯通、纵向重构，十字交融，全面撑持数字农村下层业务利用，为数字化全面融入农村倒退勾画全新蓝图。 一朵卫生衰弱云擎起衰弱行业新模式 卫生衰弱云作为行业倒退的新型基础设施，是新兴技术与衰弱医疗交融倒退，夯实行业信息化倒退底座，撑持行业集约化、智能化、高质量倒退的要害动作。 浪潮云以助力区域智慧医疗翻新倒退为建设指标，通过翻新引领、数据驱动，以数字衰弱新型基础设施建设、全方位晋升卫生衰弱信息化程度为使命，为行业用户提供了交融多层次场景的 “1+1+3+1”智慧医疗翻新利用卫生衰弱云服务体系。 浪潮云助力建设的重庆卫生衰弱云和日照卫生衰弱云为两地卫健行业用户提供了全栈云服务能力——为临床务利用、医疗技术利用、公共卫生利用、互联网医疗等业务服务提供一云多芯的“多擎”撑持。同时，作为算力中枢和数据底座，两地卫生衰弱云汇聚了卫生衰弱行业海量数据源，助力用户欠缺卫生衰弱云计算和大数据应用服务体系建设，推动各级医疗卫生机构间数据共享互认和业务协同，无效地促成卫生衰弱行业信息化高质量倒退。 一朵交通产业云，数字化高速公路畅通无阻 经济倒退，交通后行，一通百通。山西路桥团体携手浪潮云整合公路数智建造治理平台和五大业态，建设交通基建工业互联网平台“路桥云洲”，实现全因素、全周期、全链条的数据互通交融，为交通行业的管理者提供决策依据，为建设者提供教训，为交通行业的倒退积攒宏大的数据资产，打造全国交通工程数据中心。 信息技术反动突飞猛进，数字经济倒退浪潮奔涌。浪潮云以全面当先的翻新实力和深厚的行业积攒，做数字中国策略施行的推动者、赋能者，助力千行百业转变倒退形式、优化经济构造、转换增长能源，摸索出一条高质量倒退的新门路，为数字中国建设奉献浪潮力量。

如何从繁冗的数据指标中准确辨认出异常情况，是保障系统高可用的要害。 一、引言近年来，针对电商的电信欺骗层出不穷。 不法分子借助非法手段获取到消费者的个人信息，混充电商客服人员；利用“退换货”、“快递失落”、“商品质量”等借口分割消费者，通过诱导消费者转账，开明借贷平台账户等形式骗取钱财。 这类“混充客服”可能精确提供消费者姓名、电话、购买物品、购买日期等信息，导致此类欺骗防不胜防。 为了爱护个人信息权利，标准个人隐私信息的正当利用，我国在2021年8月20日正式通过《个人信息保护法》，于2021年11月1日起实施。 《个人信息保护法》细化、欠缺个人信息爱护应遵循的准则，开启了个人隐私爱护的新阶段。 淘宝作为我国的出名电商平台，在爱护消费者个人隐私方面潜心研究，力求在保障商品履约配送顺畅的前提下，实现消费者联系方式等隐衷信息的爱护。 为此淘宝与阿里云云通信团队深度单干，借助云通信号码隐衷爱护服务的底层能力，联合订单域、物流域、通信域的全链路革新，造成了一套面向电商的隐衷爱护计划——淘宝隐衷面单。 淘宝隐衷面单的外围逻辑是为消费者的每笔订单调配隐衷号。 在交易履约的全链路中，商家、物流都是通过隐衷号与消费者沟通，从而达到爱护消费者实在手机号码的目标。 消费者创立订单时，为隐衷号与消费者的实在手机号创立一组绑定关系，以商品配送过程中呼叫为例，物流配送员拨打隐衷号，隐衷号接到呼叫申请后，隐衷号借助本身转呼能力，将以后通话转接到对应消费者实在手机号上，在不泄露消费者实在号码前提下实现通信服务。 这一外围逻辑的实现就依赖于号码隐衷爱护服务，这项服务是阿里云云通信团队在2017年推出的，致力于解决陌生人通信场景中号码信息的平安。号码隐衷爱护服务以隐衷号为媒介实现通信服务及附加性能，已在外卖、打车、房产、招聘等不同行业进行了施行、推广。 自淘宝隐衷面单上线以来，云通信技术团队一直优化产品细节，晋升服务体验。与淘宝上下游团队紧密配合，不断扩大淘宝隐衷面单的灰度范畴。 为了进步客户的隐衷爱护体验、测验产品在大促场景下的可靠性，淘宝隐衷面单打算在2022年首次参加双十一的大促流动。大促数倍于平时的订单量、秒杀抢购带来的刹时洪峰，都是对号码隐衷爱护服务的微小考验。为了保障在双十一大促期间，淘宝隐衷面单解决方案安稳执行，号码隐衷爱护服务须要攻克以下技术难题： 1）大规模号码资源的调度匹配 面对淘宝海量订单、数周的长绑定周期，须要大量的隐衷号码来反对淘宝隐衷面单业务。如何为淘宝业务匹配适合的号码资源是首先须要解决的问题。 号码资源的调度匹配，不仅要思考客户的行业属性、号码用量、服务指标、特殊要求，还要思考号码品质、号码规格、平台稳定性、老本。科学合理的调度调配策略，不仅要为客户匹配合乎利用场景的优质号码资源，还要兼顾资源的最大化利用率。 2）大促流动中高并发、低延时要求 在淘宝双十一大促期间，订单量会远超日常。整点秒杀、抢购流动，最高一秒钟可创立数十万笔订单。以后淘宝隐衷面单链路中，要求零碎必须低提早、同步返回订单对应的隐衷号。因而零碎无奈通过削峰填谷、异步解决的形式，解决高并发带来的零碎压力。 面对此类刹时高并发的挑战，号码隐衷爱护服务须要在保障资源正当利用、老本不大幅减少的前提下，通过零碎架构降级、要害节点优化等伎俩，实现大促流动中高并发、低延时要求的反对。 3）长链路履约流程中的可观测性 从消费者创立订单开始，到商品配送实现，各个流程都须要号码隐衷爱护服务的参加，整个服务履约周期以周计算。在如此长的工夫周期中，当某个节点呈现问题，零碎必须及时感知。 号码隐衷爱护服务除了提供本身平台级服务外，通信过程还波及与运营商的交互，如何从繁冗的数据指标中准确辨认出异常情况，是保障系统高可用的要害。号码隐衷爱护服务整体采纳微服务架构，从大规模集群中疾速定位异样节点，也非常考验零碎的链路追踪能力。精准、智能的监控观测体系，对保护零碎高可用，保障商品顺利履约意义重大。 二、资源虚拟化与智能匹配1）隐衷号资源虚拟化 隐衷号绑定了消费者与订单，实现通信层的呼叫转接，是整个淘宝隐衷面单链路中的要害资源。号码隐衷爱护作为平台级服务，不仅为淘宝电商提供服务，还涉足外卖、打车、房产、招聘等多个行业。不同客户对隐衷号的诉求有所不同。面向供应链侧，隐衷号规格制式繁多、反对的定制化性能参差不齐。为了实现客户需要的精准匹配、隐衷号资源的正当利用，号码隐衷爱护服务对隐衷号资源进行了资源虚拟化。 隐衷号资源虚拟化，对不同的隐衷号进行了形象和标准化；通过资源池化，实现了隐衷号从物理资源到逻辑资源的转化。隐衷号资源虚拟化将隐衷号形象成线路资源、码号资源两局部。 其中，线路资源(channel)为呼叫链路所反对的行业场景、定制化性能、线路品质的汇合。某些线路能够反对多种行业的业务，一些线路只能反对特定行业类型。某些线路能够实现某些非凡性能，一些线路无奈实现。线路品质包含线路的通话接通率、故障频次等指标。上述线路的各类参数指标被称为线路的属性(attribute)，属性反馈了以后线路能够反对的业务类型和定制化性能，以及在应用隐衷号通信过程中的服务质量。 码号资源(no)是隐衷号本身的属性和参数的汇合。次要包含码号资源类型、号段信息、归属地、码号状态、老本等。上述码号的各类参数指标被称为码号的规格(spec)，通过码号的规格能够圈定符合要求的隐衷号。将某个码号归属到一条特定的线路上，则线路资源、码号资源就组装成了具备特定性能的隐衷号。不同属性线路资源与不同规格码号资源的关联组合，能够造成各种所需的隐衷号。通过将通信属性和码号规格解耦，大大提高了资源的利用率，也为客户需要与隐衷号资源的智能匹配打下基础。 2）需要与资源的智能匹配 在资源虚拟化实现后，为了实现需求与资源的智能匹配，还须要对客户需要进行标准化定义。 首先要确定客户应用号码隐衷爱护服务时所须要个性化性能，功能性需要次要来源于服务级别协定(Service Level Agreement, SLA)以及非凡性能要求(Special Function, SF)。功能性需要中一部分属于平台标准化需要(Platform Standard Requirements, PSR)，能够基于平台的标准化能力实现，如平安风控、语音转文本等，此类功能性需要只需通过平台的规范流程接入即可。一部分属于隐衷号个性化需要(SecretNo Personalized Requirements，SPR)，须要基于隐衷号的个性化能力满足，如号码制式类型，定制呼叫放音文件等，此类功能性需要须要匹配适合的隐衷号能力实现。 将隐衷号类个性化需要拆分为呼叫类个性化需要(Call Personalized Requirements，CPR)和码号类个性化需要(No Personalized Requirements，NPR)。呼叫类个性化需要与线路资源中的规格绝对应，码号类个性化需要与码号资源中的规格绝对应。通过此映射关系，即可为客户匹配到合乎需要的隐衷号资源。 明确了满足客户需要的隐衷号资源类型，依据客户的号码采购计划（SecretNo Purchase Plan，SPP）就能够进行平台的资源调拨，号码采购计划以各归属地所需隐衷号数量的模式给出。 在号码隐衷爱护零碎中，每个归属地在各平台上的隐衷号分配比例，是基于智能匹配算法求解失去的。号码隐衷爱护平台设计了一套平台服务质量的评估指标，从号码数量、平台稳定性、老本、接通率等多个维度着手，将各类指标总结演绎为老本型指标、性能型指标两类可定量分析的参数。将不同类型的参数进行归一化解决，转化为可比拟计算的平台属性信息矩阵。基于santy标度法，设置平台属性标度，求解出以后归属地在平台上的隐衷号调配权重。实现资源与需要的智能匹配，将指标资源调拨给指标客户。 三、十万级并发的零碎设计在双十一大促期间，整点秒杀、抢购流动会在霎时产生巨量订单。在无奈通过削峰填谷缓解零碎压力的状况下，如何应答这类尖峰型的刹时高并发，是零碎设计要解决的问题。晋升零碎的并发能力次要从性能、架构两个方面动手。 从性能方面动手，能够晋升单机的性能，如降级CPU、扩容内存、减少硬盘容量。也能够减少服务器数量，实现零碎性能的程度扩大。机器的升配和扩容不仅会导致IT老本水涨船高，此类形式所减少的并发量还存在边界，往往会卡在零碎的繁多瓶颈点上。 因而在进行机器性能降级的同时，号码隐衷爱护平台着重从零碎架构方面动手，通过高并发零碎设计、要害节点自主研发，在低成本前提下实现零碎的低延时、高并发。 1）隐衷号调用链路架构 下图为隐衷号调用链路架构示意图，零碎将隐衷号的应用场景辨别为外围性能与控制台数据查问两类，外围性能次要包含订单绑定、呼叫查问、话单推送等性能，控制台数据查问包含隐衷号应用状况、绑定关系数据的汇总统计。 整体零碎基于微服务进行利用拆分，利用负载平衡和RPC服务实现利用间的通信。为了解决数据库的性能瓶颈，号码隐衷爱护服务对数据库进行拆分，解决海量数据的存储和查问。针对管制台上简单数据的汇总统计，零碎采纳读写拆散的策略，通过独自的数据库反对，缩小主库的并发压力。 整个淘宝隐衷面单并发压力最大的环节，是客户下单时为订单抉择隐衷号。为了更好反对此类数据高频变动的场景，号码隐衷爱护服务基于Redis内存数据库，自研隐衷号选号引擎。 因为Redis作为撑持零碎并发的要害节点，如果呈现问题会造成全局的不可用。为防止这一状况，平台采纳了热备的形式进行兜底。设置了主、备两套Redis，主节点用于线上服务反对，备用节点实时放弃与主节点的数据同步。在线上并发压力超过下限时，能够通过流量扩散的形式，让主、备节点按比例承当局部流量，缩小Redis的压力。 2）隐衷号选号引擎 针对大促超高峰值的订单绑定并发数，号码隐衷爱护服务自研隐衷号选号引擎，实现隐衷号的存储、检索、绑定等性能。基于Redis内存数据库的个性，通过正当设计数据结构、舍弃两头态数据等多种优化伎俩，保障了特有业务逻辑施行过程的效率，进步选号并发能力。 Redis作为内存数据库，能够为选号服务提供大连接数下低提早的数据读写服务。在设计选号利用时，应充分考虑到Redis的技术特点，正当设计存储构造和选号流程。通过奇妙设计数据的存储构造，起到放大存储空间，同时进步搜寻效率的成果。 以淘宝隐衷面单中扩大码的存储为例，零碎采纳符号数的形式存储扩大码。符号数1示意该地位的扩大码失效，符号数0示意该地位的扩大码生效。在进行绑定(bind)时，随机选取一个数组的起始地位，向下遍历，找到第一个存在符号数为0的数组地位(target index)。查找该数组中，任意符号数为0的地位(target pos)。通过位运算将该位设为1，以后失效的扩大码为Ext=index*size+pos。当须要对绑定关系解绑(unbind)时，扩大码Ext能够计算出采纳符号数所在的数组下标index=Ext/size，地位下标pos=Ext%size，通过位运算将该位设为0。这种基于符号数的存储形式，相较于传统字符和数值的存储形式，能够极大的缩小存储的数据量。同时符号数的数据变更能够采纳位运算的模式，升高服务时延。 ...

从1948年的香农定律，到音视频的明天。IMMENSE、36氪｜作者 北京工夫2月28日凌晨，FIFA年度颁奖典礼在巴黎举办。梅西荣膺年度最佳球员，斯卡洛尼入选年度最佳男足主帅，马丁内斯荣获年度最佳男足门将！阿根廷因而成为FIFA史上首个在同一届颁奖礼上博得三个最佳评比的国家。毫无疑问，2022卡塔尔世界杯的冠军奖杯为此次评比削减了不少份量。 回望卡塔尔世界杯赛场，观众印象最深的不仅是“诸神傍晚”的老将谢幕、球王梅西的终极加冕，还有无数次比赛结果的逆转，而这些惊天大冷门的“参与者”——VAR，视频助理裁判（Video Assistant Referee）吸引了有数人的眼光。 在小组赛第一轮中，VAR将阿根廷的3个进球全副判为有效，以致阿根廷1:2败于沙特阿拉伯，爆出本次世界杯最大冷门，差点在小组赛中淘汰了本届冠军阿根廷。VAR的背地，是12台鹰眼摄像机，捕获球员身材29个关键点，每秒50次紧密追踪，并将这些音视频数据实时发送至云端进行解决。 在云计算时代，随着音视频技术的飞速发展，还有更多像VAR这样的新兴利用，既改写着绿茵场上的比赛结果，也扭转了咱们生存的方方面面。 01 从黑白小电视到超清4K直播在世界杯举办的近百年历史上，大多数人能够坐在家中，实时观看赛事直播的历史，只是近几十年的事件。 因为摄影摄像、音视频编解码、信号传输等种种技术限度，始终到1954年的瑞士世界杯，人类才在历史上第一次通过电视观看世界杯较量。在此之前，观众只能通过报纸、播送、甚至口口相传能力得悉赛事后果。 央视第一次转播世界杯则是1978年的阿根廷世界杯。然而很少有人晓得，彼时，还叫做“北京电视台”的央视，是由足球评论员宋世雄在香港的一间小酒店房间里实现了78年阿根廷世界杯的半决赛和总决赛赛事转播。 几十个球迷围着一台9寸黑白电视，如饥似渴地期待着进球后果，成了那个时代最具特色的一道风光。 那个时候，电视还是个稀缺物件，球迷们被迫盯着屏幕上含糊得连球员五官都看不清楚的超低分辨率画面，忍受着断断续续、时常“雪花”的信号传输。 几十年的人们大略很难设想，2023年的明天，通过云技术解决的较量转播曾经高达8K、60帧，延时缩短至1秒，运动员们纤毫毕现的赛事画面成为了日常，网络传输与边缘云技术的倒退，更是让寰球亿万观众可能轻松地通过电脑、手机、平板等多种设施晦涩无阻地观看赛事。 兴许更难设想的是，明天，云端解决的AI语音成为了赛事的播报员、视频技术让VAR成为了赛事后果的改判者，已经只存在于科幻小说里的“VR看球”更是走进了事实。 正是云计算技术的继续提高，让人类可能一直冲破音视频技术的边界，发明出更多超过想象力的全新体验。 02 「4.56亿」背地的技术奇观除了世界杯赛场上的种种利用外，各类音视频技术的翻新利用，也正扭转着咱们生存的方方面面。 首先，直播、短视频毫无疑问曾经成为了当代生存的重要组成部分。 依据中国互联网络信息中心数据，截至2022年6月，我国网民规模为10.51亿，其中短视频用户规模曾经达到了9.62亿，占网民整体的91.5％。 而依据《中国网络表演（直播）行业倒退报告（2021-2022）》数据，截至2021年12月，我国网络表演（直播）行业主播账号累计达到近1.4亿个，行业市场规模达1844.42亿元。 十年之前，仅用一台手机就能面向成千盈百、甚至上亿人次的晦涩无卡顿直播，几乎是天方夜谭。过后，视频压缩、编解码、网络传输等诸多技术都重大限度了网络直播的倒退，人们大多数还是从电视频道上观看各种大型直播，领有低廉设施与卫星转播零碎的电视台成为了惟一可能驾驭“亿”这种量级的平台机构。 然而，十年之后的明天，在云、网、边、端技术的独特倒退之下，直播从大屏走向小屏，2022年天猫双11预售首日，李佳琦一场直播的观看量就达到了惊人的4.56亿人次，同时接入观看的节点数高达千万级以上。 一方面，如此惊人的高并发流量对网络造成了微小的压力。如何保障画面清晰、晦涩、不卡顿成为了工程师们的最大挑战之一。在直播衰亡初期，“卡的宝子退出来重进一下”简直成了各大平台主播的日常用语。 另一方面，跟传统直播技术的单向流传不同，直播电商对实时互动更高，几秒钟的延时侵害的不仅仅是用户体验，还会间接影响交易达成——这可是商家的命根子。 为了升高电商直播端到端的延时，并在超高并发状况下仍旧牢靠，阿里云与淘宝技术独特攻坚，将传统的CDN内容散发网络进行革新，打造了一张寰球实时传输网GRTN（Global Real-Time Transport Network）。而基于这张网的超低延时直播技术RTS（Real-Time Streaming）更是让淘宝直播可能做到千万级大规模并发下，将延时管制在1s以内，做到真正意义上的低延时和沉迷式互动。 淘宝直播的技术升级既是一个新时代的典型利用，又是音视频行业技术倒退的一个缩影。 回望过来十年间，咱们能够看到音视频行业倒退的三大趋势： 1）超感体验 毫无疑问，人类对感触与体验的一直谋求，正是驱动音视频行业迅猛发展的最大能源。 视觉方面，更快、更清晰、更细腻、更多彩、更晦涩的观影体验始终是音视频大厦的根基。产业历经十年从1080P、走到4K、再走到了8K画质，传输数据量越来越大，每一代编码的降级复杂度以百倍计算，视频延时却由30秒急剧下降到10秒、1秒、甚至目前达到的百毫秒以内。 听觉方面，21世纪以来，音频编码技术突飞猛进，英国之宝的联结创始人Bob Stuart所开发出的MQA高格局PCM无损解决和压缩技术让网络流媒体高音频传输成为事实。杜比全景声等技术所笼罩的终端产品越来越广，手机、电脑、平板、电视、音箱、游戏主机……足以以假乱真的超感音频体验让每一个人身临其境。与此同时，DTS也推出下一代音效技术DTS：X，试图凭借这个新一代凋谢的沉迷式音编解码规范与基于声音对象的多维空间音频技术与老对手杜比平分秋色。 “2009年，你拿着最潮流的诺基亚手机，应用着刚刚遍及的3G网络，关上DVD，与家人看一场1080P分辨率的经典大片，这就是幸福。”明天，你在地铁上关上5G手机，一场杜比全景声4K超清音视频盛宴就在眼前。 以体育赛事为例，曾几何时，观众幻想着像“上帝视角”一样对运动员多方位、多角度、自在观看。 北京冬奥期间，阿里云与优酷联结，通过在体育场馆内盘绕部署多台摄像机，将现场采集的多路视频内容编排整合后回传至核心云或边缘节点，通过核心云或边缘节点部署的算力，将视频流做3D渲染重建，再将渲染后的视频流实时传送给观众。此时，观众就能够像操控游戏角色一样，平面、自在、360度地观看运动员赛事的精彩霎时，将直播体验施展到极致，赋能视频行业冲破原有业务边界。 2）极致老本 技术的遍及素来都离不开老本的升高。许多前沿音视频技术之所以鲜为人知，不是因为没有创造进去，而是因为它真的——太贵了。 举个例子，2018年，央视发表开始投建三阶段4K推动打算，其我的项目总投资85.5亿元，建成后每年运行保护及节目传输投入10.94亿元，每年4K节目制作投入约150亿元（不含人员等经费）。商业需要驱动视频技术极致化发展，也燃动着对老本的极致化谋求，而边缘云技术的倒退则为这一难题提供理解法。 以后，90%的直播业务已下沉至边缘云，基于宽泛笼罩的节点就近散布，边缘云将能力拓延至“最初一公里”，在升高传输与算力延时根底上，以更低的综合老本推动着用户的体验一直降级。 想要在保障观看体验的前提下降低成本，一种从人眼视觉模型登程，以“主观体验最好”为指标的编码和传输方式——窄带高清能够实现两者的均衡。 原始视频的数据十分微小，须要进行编码与压缩能力进行存储与传输。从某种程度来说，编解码技术的倒退正是音视频技术的倒退。传统云端转码是在用户端造成一个原始视频，通过编码之后以视频流的模式传到服务端，在服务端解码之后做转码，而后再编码通过CDN散发进来。 而窄带高清技术的“窄带”是指让视频通过窄带高清转码之后，对带宽的需要变得更小。同时，“高清”是指通过转码后的画质依然可能放弃高清、丰盛的视觉体验。 此外，在算力方面，视频编码与视频解决均为计算密集型场景，如何解决视频云赛道的算力困局，让高压缩率的视频编码算法更加普惠？ 更弱小、更高效、更多样的云端音视频解决能力离不开底层算力的反对，近年来，云计算厂商纷纷开启了多样的技术架构降级。首先，是依靠老牌厂商，一直进行硬件降级。 例如英特尔Data Center GPU Flex解决方案，内置了开源 AV1 编解码器， 显著进步了压缩效率，与AVC 和HEVC相比使带宽减少30%以上，有助于大幅升高总领有老本， 在不影响视频品质的状况下减少了云服务器反对的视频流密度。 另外一条，即是自研。作为国内云计算产业的领头玩家，阿里云也在2021年的云栖大会上推出了首款自研云原生处理器CPU——倚天710，该芯片针对云场景研发，同时兼顾了性能与易用性。 通过一年的业务验证后，基于倚天710的云计算实例在数据库、大数据、视频编解码、AI推理等外围场景中的性价比晋升30%以上，单位算力功耗（耗电量）升高了60%以上。 3）虚实交融 如果说更清晰、晦涩、低成本是音视频行业在过来半个世纪以来永不停歇的不懈谋求，那么在最近十年间，一项最具时代特色的音视频体验则非虚实交融莫属。 无论是《雪崩》中的元宇宙社区，还是《头等玩家》中的“绿洲”，人类对于突破虚构与事实界线的超次元体验始终怀有梦个别的向往。 过来，这种向往只能在科幻作品中实现，然而这十年间，SLAM技术的高速倒退让机器可能迅速定位人体地位，光学与事实技术的突飞猛进让更轻、更薄、更真切的VR/AR头显成为事实，Pancake光学计划、双眼4K屏、90Hz超高刷新率等已经难以企及的技术更是成为了虚拟现实的标配。 在音视频超感体验的一直倒退与边缘云、视频云技术的一直降本增效之下，3D网络购物成为了事实；《黑客帝国》中触目惊心的“子弹工夫”现在能够在云端实时合成；《钢铁侠》中的万能AI管家贾维斯有了自然语言解决能力，咱们甚至可能为他配上一张有着细腻喜怒哀乐表情的真切面庞。 冬奥期间，在演播室里，当谷爱凌在自由式滑雪男子大跳台的决赛中一举夺冠时，AI剪辑零碎实时提供谷爱凌精彩动作视频集锦并第一工夫成片后，这一视频迅速登上央视频首页举荐焦点位，两小时内播放量超过500万。 ...

基于云计算的大规模即时云渲染技术，让每个人都领有了“数字生命”。2023的开年爆款，非《漂泊地球2》莫属。 它开展了人类的新话题，对于平行空间，对于数字生命，对于人类文明。追随这部科幻巨作，穿梭平行空间，领略前所未有的实在视觉震撼；认知数字意识，发现生命的存在有了新的进口。能够说，“数字”将对人类产生不可估量的影响。 在震撼之外，也聊聊背地的承载。 制作者对人类将来的设想，俨然出现在恢弘的太空电梯、宇宙空间和太空舱的影像之中。超过设想的科幻奇境，其视觉特效背地，必然是非常宏大的信息数据处理，更是极其昂扬的渲染资源运行。一部影片一秒钟24帧，如果只依附特效公司的“一般渲染”，渲染1帧画面就须要半小时。 依据漂泊地球剧组走漏，这部电影有超过2600个特效镜头，须要渲染超过20800个小时——折合过去就是整整2年多。 传统影视行业时常遇到工夫紧、工作重的渲染需要，制作单位往往须要为了某个我的项目购买大量的计算设施，不仅带来了微小的老本投入，更时常因计算资源有余而导致工期缩短、甚至就义画面成果。 云的存在扭转了这所有，现在的影视巨片渲染，依靠“云”大规模分布式的高性能计算机集群，可能疾速实现简单的渲染工作和高分辨率真实感渲染的繁冗工作，极大缩短了制作周期。 当然，想要走进一个平行世界，与其实在相处，惯例的云渲染力是无奈满足的，更须要“实时渲染”的极致技能，而只有基于云计算的大规模即时云渲染技术，能力让实时交互的“平行时空”走入事实，就像让每个人都领有了数字生命。 01 数字生命的终点：实时交互随着虚拟现实与元宇宙技术的一直成熟，人们对于“数字生命”的探讨日益丰盛。其中一个重要的体验终点，就在于交互技术。 从文学到电影，人们体验另一种虚构人生的形式古已有之，可这些体验并不能被称为数字生命。 生命的体验中，一个最重要的环节之一，就在于人类与世界的交互。我的手去触碰杯子，杯子便会被我拿起来；我在你背后挥一挥手，你便能看到我的动作。 只有在与世界的交互中，人才能感触到生命的流动。 举个例子，在大年三十当晚，近百万用户在享受新春离散的事实世界时，还抉择了另一种数字生命的新体验。 在央博技术团队与阿里云联结打造的“央博新春云庙会”中，这百万名用户抉择了一齐畅游数字宇宙，在这一云端平行时空，用本人的数字分身游花车、舞狮子、踩高跷、放烟花…… 精彩的互动、趣致的游戏、灿烂的画面，为新春佳节带来了一种全新的数字体验。 然而，这种带有强交互属性的实时互动场景，对时延有着极高的要求。 失常人类的神经传输速度为50-100米/秒，认知反应速度相当迅速，约为100毫秒（0.1秒），纯视觉感知速度还要更快。一旦超出这个响应速度，人类就会显著觉察出画面的卡顿、延时，带来极差的体验。 而随着视频画面清晰度的高速晋升，画面数据量更是迎来了爆发式的增长：一方面，零碎要将提早降到毫秒级，以满足交互需要，另一方面，零碎还要实时出现高保真的画面质感，以满足元宇宙的沉迷感，这无疑对实时渲染与传输技术提出了微小的挑战。 在打造“央博新春云庙会”宇宙时，阿里云与央博团队也遇到了同样的问题。 解决方案之一，是云渲染中的“串流”技术。 串流是云游戏、元宇宙等云端大型3D渲染利用的核心技术之一，它通过数据中心将渲染场景转换成视频流，再通过传输网络推送到用户终端显示，其最低提早可能实现50-60毫秒，远低于人类100毫秒的认知工夫——这也是以后云渲染时延技术的天花板。 通过极大地升高了交互延时，云渲染可能真正让渲染画面“0时差”出现在用户终端背后。 画质的清晰与否，是用户在互动体验中最能直观感触的。然而，画质晋升和算法耗时的关系如同天平两端，为了保障体验须要在两者之间均衡。 在解决延时的体验根本需要后，窄带高清技术通过内容自适应的纹理与色调加强解决，大大晋升了画面清晰度，而其产生的算法耗时却根本能够被疏忽。 交互的优化与画面的降级是在体验上改革，可另一个更值得惊叹的点在于，用户在接入“央博新春云庙会”元宇宙时不须要任何简单低廉的设施，只须要一台普普通通的智能手机。 过来，画面实时渲染技术大量依赖于本地硬件，一般手机、甚至一般电脑的硬件能力都无奈接受高质量实时3D渲染的技术需要，从而无奈防止“卡顿”、“发烫”景象。 云渲染的呈现就是为了解决这个问题：即便终端硬件性能个别，也能体验实时渲染成果不错的3D内容。 大规模即时云渲染技术，可能将用户终端渲染硬件与算力部署拆散，大量大型沉迷式体验须要的3D渲染利用都将部署在云端，通过云端实时渲染计算，用户只须要在实时显示的图像上点击、触控、传输指令到云端，就能实时控制3D渲染利用响应，不须要高配设施，而且设施通常也不会发烫了。 明天，无需任何门槛，你能够用任何一部手机接入央博新春云庙会现场，以你的数字分身“亲”临其境，享受到同样缤纷的元宇宙体验。 尽管异彩纷呈，但新春云庙会仅仅只是泛滥“文博科技新体验”的其中一个。 早在去年6月，央视就与阿里云单干推出了国内首个大型沉迷式云考古节目《三星堆奇幻之旅》，基于大规模即时云渲染算力复刻了3000年前的人类文明，让三星堆“活过来”。 02 老本，绕不开的老本无论是《漂泊地球2》、央博新春云庙会，还是《三星堆奇幻之旅》，它们最吸引观众的特质之一，就是其粗劣、细腻的3D画面。 其实，3D画面渲染技术并非近年的产物。早在2000年前后，3D渲染技术便已突飞猛进，以《阿凡达》为首的一系列3A级影视大作陆续震撼着世人的感官。 然而，过后，这些巨作的背地是以十年计算的低廉工夫老本，以及寻常机构所难以累赘数的十亿级别渲染老本。 因而，任何一项技术的大规模落地，老本都是最绕不开的环节。 此前，实时3D渲染对计算密度要求高、耗时久，须要消耗大量CPU、GPU及存储资源，须要繁多的企业或机构在本地投入大量计算资源进行部署。 比方，《阿凡达1》在制作时，用了40000颗CPU、104TB内存、10G网络带宽，没日没夜地整整渲染了1个多月，其耗时、耗力、耗资源水平令人咋舌。 不仅资源消耗宏大，对于制作单位来说，因为渲染业务需要存在波动性，顶峰时资源紧缺，低谷时资源冗余，如果购买大量的本地计算设施，闲暇期间的资源节约更是可怕。 与此同时，本地渲染效率往往极低：基于通用服务器，一次渲染须要10+小时，集群负载过重时，提早较高，影响渲染效率。 此外，存储规格要求多样、交付效率低、运维简单、扩容难度大、灵活性有余等诸多问题都成为了限度这一技术倒退的基础设施。 这也是为什么始终以来高质量的3D数字交互空间开发成本高、周期长，延时问题重大，像央博新春云庙会这样的万人级同时在线互动与多终端互通的元宇宙，简直是不可设想的难题。 然而，近年间，随着边缘计算和GPU虚拟化技术的疾速倒退，长期妨碍3D云渲染倒退的延时问题和应用老本等外围挑战正逐渐失去解决。相比于本地部署，云渲染平台灵活性高、运维便当、高性价比，可能满足元宇宙、游戏、动画、仿真等畛域渲染需要。 云渲染平台所出现的3D高清交互空间都是在云端实时渲染实现后，将画面通过实时音视频传输技术，传输到用户终端显示，实现低成本沉迷式交互体验。 无论是图片、视频还是实时交互的场景，云渲染之上，都是对老本和效率的极致摸索。如何最大水平利用云上渲染资源？ 阿里云视频云技术团队在GPU虚拟机Windows操作系统之上，减少了虚构外设驱动层实现在一台虚拟机上部署多个渲染利用的能力，用户通过不同的虚构外设（音响、显示器、麦克风、摄像头、键盘、鼠标、手柄、触屏）拜访同一台虚拟机而不会互相烦扰，该技术能无效进步单机资源利用率，一张卡上同时运行多个渲染过程，为云渲染的大规模商业化落地奠定了根底。 同时，云渲染也在摸索更加灵便的混合渲染模式，可能更灵便、更高效地满足计算需要。 混合渲染指的是渲染过程中采纳了多种计划的混合实现，包含基于管线的混合渲染、基于数据的混合渲染、基于框架的混合渲染、基于硬件的混合渲染等。 比方，在传统的渲染计算中，独自应用CPU编码老本高、提早大；独自应用GPU编码灵活性差、画质差。通过混合渲染技术，云渲染能够交融CPU与GPU编码能力，采纳GPU为主、CPU为辅的混合渲染，实现算力资源高效使用。 与此同时，混合渲染在端、边、云上的协同发力，也可能充分利用终端及终端左近的边缘节点的计算能力，防止了全云端渲染可能会遇到的“卡顿”问题。 无论是通过云渲染带来的计算资源效率晋升，还是通过窄带高清等技术带来的经营老本升高，随着技术的不断进步，原先价格昂扬的大型元宇宙我的项目，当初不仅能够极大降低成本，还能够将原来以年为单位的开发工夫极大地压缩。 据央博数据，借助阿里云在城市大脑、数字孪生等畛域多年积攒的高精度3D模型制作平台，在云渲染等技术的加成之下，“央博新春云庙会”这一元宇宙从立项到上线仅花了50多天工夫，创下了大型元宇宙场景开发记录。 03 当生命领有不止一种可能性人的生命只有一次。在这个宇宙、这颗星球、这片大陆上，生命的可能性随着工夫的流逝被一直压缩，无论咱们违心与否，咱们能只在领有一个太阳，一个月亮，一副身躯的公历2023年中，度过咱们人生的日子。 可是明天，我想去另一个平行世界里看看。 从文字到影像，从白日梦到元宇宙，人类对另一种生命体验的谋求从未停歇，也从未进行过对“数字生命”技术的一直谋求，一直超过。 当人类超过了今生的局限，当生命领有不止一种可能性，人类所面临的将是对宇宙与存在的从新认知。 明天，数字生命赋予了咱们抉择的权力，平行宇宙给予了咱们开释的空间，而云渲染技术撑持了更多的不堪设想。从唐宋元明到2077，从李白杜甫到三体宇宙，咱们将重新认识生命的广度，从新思考人类文明的意义。 当人类优渥于一种状态，总有想象力来冲破均衡。Cloud Imagine《云想之力》是阿里云联结36氪独特打造的系列报道，旨在摸索云计算大背景下暴发的利用场景和新兴技术，以设想的高维碰撞之力，窥探“云”上的有限空间。从漂泊地球到平行世界，从三星堆到云庙会，当各行业都开始探讨下一个时代到底何为支流时，由极致云渲染驱动的“虚实共生”，未然成为了共识。 ...

作者：gfengwong原文链接KubeSphere 的 DevOps 模块介绍KubeSphere 应用可插拔的 DevOps 模块实现 DevOps 性能；DevOps 驱动 Jenkins 实现具体的操作，例如流水线等。DevOps 与 KubeSphere 的关系如下图, 具体的组件介绍。 集成的亮点DevOps 与 Jenkins 集成严密且优雅，从构建、部署到应用保护纯云原生形式实现： 一键部署；一个参数启用 DevOps 性能；一个 K8s 集群内即可实现从 Jenkins、流水线的全生命周期。具体集成阐明用户应用 KubeSphere 平台的 DevOps 性能时，调用 devops-api 发送申请，DevOps 收到申请后，局部申请间接调用 jenkins 进行操作，局部申请通过更新 devops-controller 监听的资源，通过 devops-controller 来操作 Jenkins。 运行流水线阶段，Jenkins 配置了 K8s 动静 slave： Jenkins pod 信息(镜像、卷等)发送给 K8s；K8s 启动 Jenkins slave pod 并通过近程协定与 Jenkins master 建设连贯；运行流水线；运行结束之后依据设置删除/保留创立的 pod。 Jenkins 镜像构建Jenkins 自身是一个 Java 利用，以后也没有提供官网的云原生计划，KubeSphere 通过上面几个我的项目定制了本人的镜像： custom-war-packager 定制本人的 Jenkins 并生成 Docker 镜像或者 war 镜像；formulas 通过 formula.yaml 定制本人的 Jenkins，针对中国区优化；ks-jenkins 定制了 KubeSphere 本人的 Jenkins 镜像 应用了 jcli 集成了 cwp。ks-devops 我的项目中的 formulas 装置了所有须要的 Jenkins 插件次要有 ...

一、阐明本文介绍基于 Docker 部署一套 Dubbo + Nacos 的微服务环境，并解决容器里的 IP 及端口的拜访问题。 基于上文《基于jib-maven-plugin疾速构建微服务docker镜像》 中在阿里云镜像仓库构建的镜像来进行部署。  二、部署 Nacos 注册核心拉取 nacos 注册核心镜像： docker pull nacos/nacos-server:v2.2.0启动 nacos： docker run --name nacos-quick \ -e MODE=standalone \ -p 8848:8848 \ -p 9848:9848 \ -p 9849:9849 \ -d nacos/nacos-server:v2.2.0通过指定 -e MODE 来设置单机模式启动，默认是cluster通过 -p 参数来映射容器中的端口到宿主机中  三、部署 Dubbo 服务因为服务的镜像在阿里云镜像服务中，所以须要先登录阿里云的 Docker Registry：docker login --username=[用户名] [仓库地址] 仓库地址请登录本人的阿里云镜像服务中查看：https://cr.console.aliyun.com/例如执行以下命令，并按提醒输出正确的明码： docker login --username=zltdiablo@163.com registry.cn-guangzhou.aliyuncs.com用户名为阿里云账号全名，明码为开明镜像仓库服务时设置的明码。  3.1. 部署 provider 服务拉取阿里云镜像的命令格局为：docker pull [仓库地址]/[命名空间]/[仓库名]:[镜像版本号] 拉取 provider 服务镜像： docker pull registry.cn-guangzhou.aliyuncs.com/zlt-test/nacos-provider:1.0-SNAPSHOT启动 provider 服务： ...

作者：铭杰 阿里云云通信创建于 2017 年，历经 5 年倒退曾经孵化出智能音讯、智能语音、隐衷号、号码百科等多个热门产品。目前，已成为了国内云通信市场的领头羊，在国内市场上服务范畴也笼罩了 200 多个国家。随着业务的一直壮大，云通信面临的平安危险也越来越严厉，线上每天都在产生着短信盗刷、异样流量、守法内容(黄、赌、毒、诈)等危险的入侵。 云通信风控系统的建设就是为了解决这些问题。事实上，随同着云通信业务的倒退，云通信的风控系统曾经建设得比拟成熟。晚期的风控系统仅能反对基于规定的事中拦挡，而现如今，曾经可能无死角的笼罩事先、事中、预先几十个危险场景。技术手段也从繁多的"规定模型"拓展到"规定模型+数据挖掘+人工智能"的复合伎俩。云通信风控为客户构建了一道最为松软的防火墙，让通信业务变得平安、牢靠。 云通信风控的产品状态尽管比较简单，但其背地的技术挑战十分复杂。 十万级并发，五十毫秒延时要求云通信的业务体量十分大，且因为电商类业务有大促的非凡场景，常常要面对十倍于日常的脉冲式陡增流量。而通信又是一个有高实时要求的场景，以智能短信为例，一次残缺的业务流程均匀在一秒内实现。留给风控的响应工夫只有 50 毫秒。刻薄的技术指标要求是第一个挑战。 简单的业务规定阿里云通信的业务目前曾经笼罩寰球大部分国家，波及的行业大类有 30 多个，二级行业有 200 多个。业务复杂度十分高。为达到更优的风控成果，风控必须做到精细化经营，必须可能反对一国一策、一行一策、一客一策。目前，一次风控申请最多须要反对的策略数量曾经冲破了 500 个。面对数量如此宏大的策略，技术上要保障策略的高效执行，业务上要保障策略的牢靠变更。这是第二个挑战。 高准确率、召回率要求云通信的局部场景有播送属性，一条守法内容没有被拦挡住，波及的影响范畴会十分广。所以，云通信的风控对危险辨认的召回率要求十分的高。而业务上对通信的成功率也有十分严苛的要求，不能承受过高的误拦率，这又要求风控有很高的准确率。加之风控的强反抗特色，危险特色具备变异多、变种快的个性。如何在海量流量里精准辨认出无效的危险特色，其难度犹如海底捞针，这是第三个挑战。 本文将探讨阿里云云通信风控系统的技术，从零碎、数据、算法等角度介绍咱们是如何应答技术上的各种挑战的。 零碎架构及外围组件工欲善其事，必先利其器。一个好的基础设施会给业务带来加成的成果。为解决云通信风控面对的技术挑战，咱们构建了六个外围组件: 其中，决策核心是风控系统最外围的组成部分，提供了风控场景的定义，风控策略的编辑、执行等性能，起到了中枢的作用。 决策核心在执行策略时须要依赖数据中心组件，为其提供决策所依赖的数据标签，机器辨认组件则为决策核心提供必要的算法模型。一次风控申请通过决策核心的运算后会失去通过、不通过、待定三种类型的后果。业务零碎将依据风控实时返回的后果决定业务是否执行上来。 而对于待定的申请将会送至人工辨认组件，进行人工判断再异步告诉给业务零碎。这里通过决策核心或者人工审核，最终肯定会得出这笔申请是否有危险的论断。这个论断将同步给处罚核心，由处罚核心联合处罚策略和人工判断最终决定是否要对守法的客户进行处罚动作。最初，在风控业务的运行中，风控成果的好与坏，从大盘上看各个国家、各个行业、各个客户的危险是否可控，是否须要人工染指。这类风控大盘数据的统计分析则由危险剖析组件撑持。 一个残缺的风控流程如下图: 风控系统的中枢-决策核心 决策核心作为风控的外围组件至多要解决以下的几个问题：风控场景的拓展性问题；策略执行的性能问题；简单策略的可经营问题； 为了解决上述的三个问题，决策核心中设计了四个子模块:风控场景、风控引擎、策略编排、仿真实验室来相互配合解决问题。 其中，风控场景模块负责定义接入场景所须要的相干资源：音讯源标签(业务零碎能够间接给到风控的标签)、算法模型、数据中心标签。通过此模块，风控系统做到了针对不同风控场景的个性化接入，无效的解决了风控场景的拓展问题。通过此模块的能力，线上反对的危险场景由个位数迅速扩大到几十个。 风控引擎承载着风控策略执行的工作。为保障风控策略的执行成果，咱们在风控引擎中做了大量的优化，包含自研反对简单决策树执行的线程模型，通过合并串行工作、策略剪枝等伎俩大幅度降低策略执行的线程耗费。针对算法模型工作、变量加载工作性能评级，分类管理高 IO 工作的执行，无效晋升了策略执行的稳定性。通过大量的优化，风控引擎目前在十万级 QPS 压力，单次解决上百个变量，500 个以上策略，数十个算法调用的复杂度下，可能做到均匀在 30ms 内返回后果。 策略编排和仿真实验室解决的是简单策略可经营的问题。风控是一个重经营的工作，必须把风控策略的编辑权限凋谢给懂业务、懂数据的风控经营同学。咱们构建的策略编排工具屏蔽了简单的技术细节，暗藏了零碎背地数据加载、算法模型执行等概念，给经营同学凋谢了易于了解的决策树编辑工具，给到经营同学策略编辑极高的自由度。从策略编排交维后，能够看到经营同学业务教训在风控畛域产生了微小的价值。 当然，简单的策略同时也给策略的可经营性带来了挑战。动辄数百的策略放在眼前，批改任何一条规定带来的影响都是很难评估的。于是，咱们构建了仿真实验室来解决这个问题。其中单例仿真能够帮助经营同学判断批改的逻辑是否正确。线上仿真能够借用线上的流量验证新增策略的大盘成果是否合乎预期。离线仿真则能够采样长周期的数据，在很短的工夫内验证出批改的策略大盘成果是否合乎预期。 策略核心的建成，彻底做到了云通信风控系统的交维。风控策略不再是研发手里艰涩难懂的代码，而是业务同学都可能了解的规定。更多的有业务教训的同学能够参加到云通信的风控建设中。然而，这就是咱们的最终目标么？ 数字化实际-数据驱动业务回看过来几十年的倒退，IT 零碎始终是人做业务的辅助工具。人驱动零碎做业务是规范的作业形式。然而在将来，数据将成为第一生产力。数字化是迷信的决策形式，数字化驱动人做业务将是将来的规范作业形式。这个趋势在云通信风控业务上曾经有所体现。随着风控业务复杂度越来越高，依附专家教训的模式越来越难以反对好线上业务了。面对着盘根错节的业务规定，策略构造该如何调整？参数该如何优化？背地的危险特色数据该如何治理？数字化是惟一的答案。 在数字化的方向上咱们定的准则是： 大方向的经营策略构造由专家教训制订；策略内的成果评估和参数调优由数据驱动;大量积淀危险特色数据为策略提供弹药；第一，团队内对于风控策略的通用构造整体采纳国家+行业+险等级的模式治理。对于局部大客户，case by case 的采纳定制化策略解决问题。对于通用构造须要构建大量的客户画像标签以反对对客户的分类。因为线上的客户所做行业不惟一，单纯的客户维度画像无奈解决流量级别风控策略的定义。所以，咱们下钻了行业标签的粒度。以智能音讯为例，客户的画像不再聚焦于客户上，而是签名和模版上。客户画像组件先通过算法辨认对应签名和模板的行业，再通过人工复核大客户的形式最终确定行业标签。最初，再依据信用评级积分算法评估出每个客户在不同行业的危险等级。通过以上的伎俩，风控策略能够做到了流量级的精细化治理。 第二，在策略构造明确后，对于策略内不同算法的阈值调整，危险剖析组件提供了具体的策略调优工具。咱们能够清晰的看到不同策略的流量散布，拦挡率详情，以及危险 case 覆盖率，并可能通过线上的风控成果给出举荐的策略及算法模型参数的调优倡议。通过此类工具的利用，数据能够闭口谈话，给出比专家更业余的领导意见。线上的策略调优不再是凭着教训试水了。 第三，借力云原生底座+自研危险库组件解决了海量特色数据积淀的问题。 云通信面对的危险特色数据动辄数亿，且因为业务的易变性，数据集的变动幅度十分大。须要疾速反对海量数据的导入、导出。因为风控引擎对特色数据集的应用基本上是 KV 模式的查问，所以技术选型上摈弃了关系型数据库，抉择了云原生的 Lindorm 服务。 其宽表模式非常适合危险特色库的动静扩大。然而 Lindorm 的毛病也比拟显著，只反对基于 rowKey 的查问，对于后盾经营同学须要的检索性能反对的不好。无奈反对高性能的含糊检索。对于突增高并发流量的查问冷启动会导致刹时毛刺。为了解决这些问题，云通信风控团队基于 Lindorm 的宽表模式自研了一套实用于风控场景的危险库： ...

注：本文整顿自畅销书《精益产品开发 准则、办法与施行》作者何勉在2022阿里云研发效力峰会数字化转型分论坛主题演讲。一、数字化转型的实质和能力模型数字化转型是当下的热门词汇，每个人对它都有本人的了解。比方，数字化云厂商认为数字化转型须要人工智能、大数据、云技术等基础设施；咨询机构认为数字化转型须要经验治理改革、流程再造、组织转型，须要从组织、人、思维、流程开始；施行厂商认为数字化转型能够通过API、流程自动化、数字孪生来实现，帮忙打造柔性、麻利的供应链或业务的中台。 咱们认为，数字化转型的实质应该是业务。 前工业时代大多奉行“慢工出细活”，认为品质和效率不可兼得。而工业时代实现了品质和效率的兼顾，这也带来了人类古代社会的凋敝，但就义了个性化的体验。数字化转型在品质和效率对立的根底上，又带来了个性化的体验。 能够说，数字化转型将咱们从“规模化制作”带到了“规模化定制”的时代。 现在的C2M、定制生产、个性化教育、普惠金融、精准的医疗保健、货运行业的数字化 、智能电网/虚构电厂等行业都离不开数字化，其背地独特的逻辑是品质、效率和个性化体验的对立。 为什么是数字化把咱们带到“规模化定制”的时代？ 首先是它具备数字业务能力。过来的信息化往往是对各个环节进行信息化，可能进步各个环节的效率，让各个环节的流程更加标准。而现在，咱们想要精准地响应用户需要，就必须站在用户的视角，买通价值交付的链路。端到端地连贯价值交付链路，精准获取、还原、响应、满足用户的个性化需要。 其次是数字技术能力，这也是数字化真正的不同。全链路实现数字化的运行，能力保障链路上的效率和品质，既能够买通链路，又满足个性化的需要，也能保证质量和效率。但全链路的数字化运行肯定要建设在对立的数字化模型根底上，能力让各个链路共享数据，可能双向连贯物理世界和数字世界。 数字业务能力+数字技术能力的联合称为业技交融，通过且必须用技术的伎俩解决业务的全链路问题。因而数字化背地的根底是业技交融，须要有数字业务能力和数字技术能力，在此基础上能力失去高质量的数据，能力实现数据利用以及实现智能。 第三个能力是数据利用能力。积淀和利用全量、全因素和实时的数据，保障和继续改良业务运行的效率，并承接数字化的资产，发明新的客户体验和商业模式。咱们须要连贯的不仅是企业外部，还有企业之外的生态。 因而，第四个能力为生态连贯能力。在组织充沛数字化的根底上，生态连贯能力也会失去增强。因而要以数字化的资产和数字化的平台为根底，连贯更多资源，共创客户价值，晋升全行业的效率和体验。数据利用能力和生态连贯能力的联合称为智能生态。数字化转型，业技交融是根底，智能生态是质的飞跃和降级。来到了业技交融，一切都是空谈。 SHEIN作为中国跨境电商巨头，在2022年失去了1000 亿美元的融资，它真正站在用户视角，用数字化的形式，通过全链路、高效的数字化运作，获取、还原、设计、生产、交付以及服务用户的需要，买通数字化运行的链路。最初将相干的服装生产、营销、设计以及上游供应链整合在一起，造成智能的生态。现在，很多其余企业也都在通过业技交融、智能生态来实现本人的数字化转型。 二、业技交融赋能数字化业务翻新倒退产品开发以及组织外部也须要降级，能力服务好业务。没有数字化的组织，则难以反对数字化的业务。因为数字化浪潮的冲击，业务和技术之间的墙正在消解。 然而，现如今组织上，业务和技术的关系依然是割裂的，反而落后于业务的倒退。DevOps使技术侧外部（开发和运维）的墙有所消解。 那么，业务和技术之间的墙如何突破？如何将业务和技术买通？ 发明数字化的组织，发明技术和业务有机交融、高效运行的数字化组织，是BizDevOps要解决的问题。其最终目标是赋能数字业务的继续翻新和长期倒退。 马斯克曾说，设计生产汽车的工厂，比设计和制作汽车自身要艰难十倍、一百倍。汽车的工厂相当于在数字化业务中的组织，汽车自身即数字化业务。 BizDevOps的目标在于打造业务和技术有机交融的数字化组织，即生产机器的机器，赋能数字业务的继续翻新和产生。 三、业务驱动、产品收敛和能力积淀业技协同，到底应该以业务为外围还是以技术为外围？业务和技术在过程中表演的角色不一样，咱们认为应该以业务驱动，产品收敛，能力积淀。 首先，业务会依照客户线或依照其余条线进行划分，每一条客户线会定义本人的策略或业务指标；产品依照产品线来划分，产品线也会定义本人的愿景和产品指标。愿景须要可能承接业务的战略目标，要与业务指标对齐。往往一个产品须要服务多个业务，因而并不是间接承接或对齐。产品线要积淀本人的数字化资产、数字化模型和商业能力。 数字化资产是很多企业最外围的资产，它不仅仅是数据，而是被加工后的无效数据。比方被标签化的用户能够成为数字化资产，对行业的了解也能够积淀为数字化资产。每条客户线会做出本人的业务布局，有本人的市场洞察，提出本人的需要。但需要仅仅是业务的机会，业务机会会过滤和转化成为业务专题。业务专题往往比需要大，但比我的项目小。它与我的项目的不同之处在于，它更加面向指标，而不是确定的内容。专题服务于产品指标，咱们会对每个专题定义胜利规范，由业务和产品独特定义，并由业务对胜利规范提供反馈。 专题会联合某个商业能力服务于某个业务场景。比方货运行业中，面向综合业务的过程数字化是专题，场景是综合业务，商业能力是对于运作过程的记录和监控等，而后产出场景化的能力，未来组合成为客户的解决方案。有了专题后，能够合成出一系列动作。动作能够了解为产品的需要，但它不肯定只是产品需要，也可能是不须要开发的经营类动作。动作会被调配给相应的交付或施行团队执行，持续合成为技术工作。 上述运作形式里存在三个层面：有产品的布局和积淀，有业务机会的辨认和专题的布局，有技术交付的执行和跟踪。 欠缺上述三个层面，即可帮忙企业可继续地进化数字业务和数字产品。业务驱动、产品收敛和能力积淀是BizDevOps下业务和产品之间的有机关联。 以某货运企业为例，它提供了专题的看板，将端到端的业务专题的布局、交付和反馈链路在看板进行布局，辨认业务机会，收敛业务机会，布局专题，交付专题并且进行反馈。实现前后职能拉通，真正拉通业务、产品和经营。每个专题会被合成为动作。动作可能是业务需要或产品需要，调配到不同的团队，跟踪产品需要的交付链路。产品需要的交付为不同的专题服务，形成分层的看板或分层的价值交付链路。 最上层的交付链路为专题的交付链路，专题下为产品需要的交付链路，实现交付链路买通，真正做到了业务、产品和开发经营的无效协同。不同的交付团队可能为同一个专题服务，团队指标并不是让本人交付得更快，而是推动专题下的动作，实现专题的指标。 上图蓝色为业务指标反馈环，包含业务机会的发现、专题启动、专题布局、专题反馈，该循环交付的是专题，动静实现业务指标。红色为交付效力反馈循环，面向交付效力，两头绿色循环为面向工程效力的循环。 四、总结0-1阶段：该阶段次要关注业务进化的效率，包含业务驱动、产品收敛和能力积淀。真正落地的是场景化的能力。 1-10阶段：该阶段关注可规模化的解决方案。须要将产品、能力组合为客户解决方案，制订落地的营销和经营策略。咱们须要为客户提供解决方案，且必须是可规模化的、有正当商业模式的解决方案。 10-N阶段：关注客户倒退的效率。从初始的客户变为客户的胜利，最终实现商业的胜利。 马斯克说，“真正的问题，真正的艰难，同时也是最⼤潜⼒所在，就是打造制作机器的机器（也就是⼯⼚）。我真的把⼯⼚当做产品来对待。”同样，咱们也须要将组织当成产品和业务来对待，致力于打造制作机器的机器，即数字化的组织。 作者：何勉，BizDevOps共促打算专家组组长，畅销书《精益产品开发 准则、办法与施行》作者，《必致（BizDevOps）白皮书》作者。 《必致（BizDevOps）白皮书》完整版下载：https://developer.aliyun.com/... 2022年12月22日，阿里云云效联结南京大学、Thoughtworks、极客邦、招商银行、优川信息等单位以共促打算名义正式公布《必致（BizDevOps）白皮书》，在数字化时代厘清业务产品经营协作关系，提供一体化模型和实际框架，助力企业数字化转型破局。 BizDevOps 共促打算介绍BizDevOps 共促打算（英文名称：“BizDevOps Promoting Plan”）聚焦于BizDevOps体系的欠缺、利用与推广，减速企业和组织的数字化转型，为数字经济的倒退贡献力量。是由南京大学软件研发效力实验室、北京极客邦科技有限公司、阿里云计算有限公司、思特沃克软件技术（北京）有限公司、招商银行股份有限公司、上海优川信息技术有限公司联结发动成立的专业性、全国性、非营利性的虚构社会组织，并继续面向相干企事业单位、高等院校、科研院所、社团组织凋谢共建。原文链接 本文为阿里云原创内容，未经容许不得转载。

导语：农业农村农民问题是关系国计民生的根本性问题。推动数字化，构建数字农村成为解决“三农”问题的新途径，更有利于推动农村振兴。在广袤的区县和农村，当海量数据开始服务于县域经济和社会治理，全新的变动每天都在产生。 《中共中央国务院对于做好2023年全面推动农村振兴重点工作的意见》指出，全面建设社会主义现代化国家，最艰巨最沉重的工作依然在农村。在烟台，浪潮集团旗下浪潮云扎根数字农村倒退的实在需要，以数字翻新之力，在数字化、智能化中激活数据、驾驭数据，让数据流动的翻新价值普惠“三农”。 浪潮云依靠农村振兴数据库、一体化大数据平台、数据填报等劣势产品打造农村振兴云，助力烟台市搭建镇街数据节点，横向贯通农业农村、商务、民政、市场监管等数据，纵向买通农村与市、县的数据流动，横向贯通、纵向重构，十字交融，全面撑持数字农村下层业务利用，为数字化全面融入农村倒退勾画全新蓝图。 横向贯通  “三农”数据跨部门汇聚 针对数据共享有余、数据不足统一标准、数据品质差和服务体系建设反复等问题，浪潮云通过建设农村振兴数据库、一体化政务智能数据平台，打造对立的数据平台，拉通农业农村相干部门的数据。同时，依靠统一标准进行数据梳理和治理，对平台原始数据荡涤、脱敏、归集等造成数据目录，建设人口、法人等主题库，网络文化、居民生存等专题库，为实现部门间数据共享、公共数据对外开放，筑造扎实的数据底座。招远市综合数据平台 目前，烟台市镇街数据节点已汇聚33个部门、300多项高频数据的目录清单，造成资源大屏，在数字农村建设提供更优质服务的同时，也为政府进行“三农”治理和科学决策提供重要撑持。 纵向重构  “三农”数据高低流动 基于农村信息化基础设施单薄、信息化数字化人才匮乏、信息化技术利用有余、数据性流通差等问题，浪潮云提供数据集成、数据填报等根底工具，并对农村基层人员技能培训，帮助其将半结构化、非结构化数据通过根底工具向上推送，实现农村数据上报。烟台市镇街数据节点则提供工具对上报数据的进行标准化治理造成相干库表，并将问题数据返还，便于农村疾速核实、修改数据。 农村与省、市、县数据交融，造成“三农”生产生存所需库表，并提供专门的农村数据查问接口，更好地服务“三农”生产生存。 海阳市数据填报工具 在浪潮云的参加助力之下，烟台市已在15个县级市设立百余个账户，1600余个账号，汇聚根底数据202万条，在农业补贴发放、老年人补贴发放、残疾人补贴发放、公民婚姻信息查问、公民生存状态核验等多个利用场景，帮忙工作人员解脱传统被动工作模式，进而实现对相干人员的被动摸排和帮扶，服务惠及5728万人次。 栖霞市根底数据列表 中国社会经济倒退最宽泛最深厚的根底在农村，最大的后劲和后劲也在农村。将来，浪潮云作为中国行业云市场引领者，将一直深入技术创新、拓展“三农”利用场景，助力农村振兴获得新进展，农业农村现代化迈出新步调。

作者：老 Z，中电信数智科技有限公司山东分公司运维架构师，云原生爱好者，目前专一于云原生运维，云原生畛域技术栈波及 Kubernetes、KubeSphere、DevOps、OpenStack、Ansible 等。前言 测试服务器配置主机名IPCPU内存系统盘数据盘用处zdeops-master192.168.9.92440200Ansible 运维管制节点ks-k8s-master-0192.168.9.9141640200+200KubeSphere/k8s-master/k8s-workerks-k8s-master-1192.168.9.9241640200+200KubeSphere/k8s-master/k8s-workerks-k8s-master-2192.168.9.9341640200+200KubeSphere/k8s-master/k8s-workerstorage-node-0192.168.9.952840200+200ElasticSearch/GlusterFSstorage-node-0192.168.9.962840200+200ElasticSearch/GlusterFSstorage-node-0192.168.9.972840200+200ElasticSearch/GlusterFSharbor192.168.9.892840200Harbor共计822843202800 测试环境波及软件版本信息操作系统：CentOS-7.9-x86_64Ansible：2.8.20KubeSphere：3.3.0Kubernetes：v1.24.1GlusterFS：9.5.1ElasticSearch：7.17.5Harbor：2.5.1简介生产环境 KubeSphere 3.3.0 部署的 Kubernetes 集群在平安评估的时候发现安全漏洞，其中一项破绽提醒 SSL/TLS 协定信息泄露破绽 (CVE-2016-2183)。 本文详细描述了破绽产生起因、破绽修复计划、破绽修复的操作流程以及注意事项。 破绽信息及修复计划破绽详细信息破绽报告中波及破绽 SSL/TLS 协定信息泄露破绽 (CVE-2016-2183) 的具体信息如下： 破绽剖析剖析破绽报告信息，咱们发现破绽波及以下端口和服务：端口号服务2379/2380Etcd6443kube-apiserver10250kubelet10257kube-controller10259kube-scheduler在破绽节点 (任意 Master 节点) 查看、确认端口号对应的服务：# ETCD[root@ks-k8s-master-0 ~]# ss -ntlup | grep Etcd | grep -v "127.0.0.1"tcp LISTEN 0 128 192.168.9.91:2379 *:* users:(("Etcd",pid=1341,fd=7))tcp LISTEN 0 128 192.168.9.91:2380 *:* users:(("Etcd",pid=1341,fd=5))# kube-apiserver[root@ks-k8s-master-0 ~]# ss -ntlup | grep 6443tcp LISTEN 0 128 [::]:6443 [::]:* users:(("kube-apiserver",pid=1743,fd=7))# kubelet[root@ks-k8s-master-0 ~]# ss -ntlup | grep 10250tcp LISTEN 0 128 [::]:10250 [::]:* users:(("kubelet",pid=1430,fd=24))# kube-controller[root@ks-k8s-master-0 ~]# ss -ntlup | grep 10257tcp LISTEN 0 128 [::]:10257 [::]:* users:(("kube-controller",pid=19623,fd=7))# kube-scheduler[root@ks-k8s-master-0 ~]# ss -ntlup | grep 10259tcp LISTEN 0 128 [::]:10259 [::]:* users:(("kube-scheduler",pid=1727,fd=7))破绽起因：相干服务配置文件里应用了 IDEA、DES 和 3DES 等算法。 ...

在过来几年里，社会经济环境对云服务的采纳产生了微小的影响。现在，寰球各规模公司都在减速数字化转型，包含转向基于云的应用程序，以反对近程工作人员，同时迅速推出新的云服务来更好地留住客户。在诸多经济环境不稳固因素的影响下，将业务迁徙到云端可能无效保障业务连续性。上云的劣势及其新性能，对于企业向前倒退至关重要。  然而，随着云服务和提供商的应用越来越多，企业须要面对更简单的业务和治理上的挑战，从而导致老本超支及其他问题。在明天的文章中，咱们将聊聊云业务老本的组成，现状以及治理趋势。  云计算与传统基础设施的老本组成云老本的次要组成部分云服务提供商在决定向客户收取多少费用时思考的次要因素是网络、计算和存储。 网络老本——大多数云服务依据传输到云服务（入口）、传出云服务（进口）或两者的数据量向客户免费。动态 IP、负载均衡器和网关等虚拟化网络服务可能会收取非凡费用。供应商决定必须破费多少来保护网络。因而，提供商会估算硬件、网络设置、人工和保护的老本。 计算成本——大多数云提供商提供一系列计算实例类型，每种类型都提供肯定数量的 CPU 资源、内存，在某些状况下，还提供专用硬件，例如疾速网络或图形减速。客户依据应用的实例数量、类型和应用时长付费。提供商计算 CPU 的老本——客户组织在应用 CPU 时会有本人的个性化要求。老本还包含许可费，具体取决于组织运行的操作系统。提供商计算公司应用的每 GB 虚构 RAM 的硬件购买老本。 存储老本——云提供商提供存储即服务。对于弹性存储服务，客户按理论应用的存储空间的 GB-月付费。对于托管存储服务，例如附加到计算实例的托管磁盘，客户须要为整个存储卷付费，而不论该卷上应用的存储量是多少。供应商计算经营公司存储硬件的老本或购买新硬件以满足企业存储需要的老本。 传统基础设施老本组成以下是通常与设置和保护本地基础设施相干的三大类老本： 资本老本——服务器软件、许可和硬件，以及网络基础设施、存储环境和备份零碎。 经营老本——包含对服务器和网络基础设施的反对，以及存储保修、数据中心设施、现有系统管理人工成本，以及 IT 员工培训和人员流动。 间接业务老本——包含计划外和打算内停机工夫。 通常，在计算整体云迁徙和采纳老本时，组织须要首先对现有 IT 进行全面审计，包含间接和间接费用。例如： 间接老本——包含硬件、软件、治理、保护和人员，以及任何物理设施。间接老本通常间接且易于估算。 间接成本——包含生产力损失，这可能是由多种因素造成的，例如服务器停机、客户信任度降落和名誉受损。间接成本通常更难以预测和估算。 企业的云老本窘境业内权威机构 Gartner 就“上云”对各类型企业进行调研，云业务类别包含应用软件、基础架构软件、业务流程服务和零碎基础架构市场。并预测到2025年，51% 的 IT 收入将从传统解决方案转移到私有云。随着企业对新兴业务和社会动态做出反馈，向云的迁徙在过来的两年中速度显著放慢。而那些未能适应云迁徙步调的技术和服务提供商面临越来越大的过期危险，或者充其量只能退居低增长市场。 同时 Gartner 示意，在2023年65.9%的应用软件收入将用于云技术，并预测到2025年，企业在私有云计算上的 IT 收入将超过在传统 IT 上的收入。  寰球私有云服务终端用户收入预测（单位：百万美元） 以上数据已作四舍五入解决，故总和有偏差。数据起源：Gartner  据 Gartner 预测，到 2023 年，寰球终端用户在私有云服务上的收入预计将从 2022 年的 4903 亿美元增长 20.7% 至 5918 亿美元。基础设施即服务 (IaaS) 预计将在 2023 年实现最高的终端用户收入增长 29.8%。同时预计所有私有云服务下的各类细分市场都将在 2023 年实现增长。  企业开始转向 FinOps企业将业务上云的初衷是为了在社会经济环境不稳固因素影响下尽可能保障业务不中断，同时云服务在过来具备显著的老本劣势。然而随着业务向云上迁徙，企业在云上的破费越来越高。依据 Gartner 调研显示，受访企业示意他们的私有云收入均匀超出预算 13%，并预计他们的云收入在将来 12 个月内将增长 29%。同时许多企业存在大量云收入被节约，依据调研结果显示，受访企业均匀节约32%的云业务的收入。  随着在云业务的破费越来越高，企业次要意识到把握预测老本和优化老本的重要性，这也是越来越多的企业转向 FinOps 的次要起因。依据 FinOps 基金会技术咨询委员会的定义，FinOps 是一种一直倒退的云财务管理学科和文化实际，它容许组织通过帮忙工程、财务、技术和业务团队合作制订数据驱动的收入决策，从而取得最大的商业价值。依据 FinOps 基金会钻研表明，多达 60% 到 80% 的组织正在构建 FinOps 团队，当初每个次要行业都在实际 FinOps。   ...

2019 年 1 月 21 日，KubeSphere 社区为了满足以云原生的形式治理 Fluent Bit 的需要开发了 FluentBit Operator。尔后产品一直迭代，在 2021 年 8 月 4 日 正式将 FluentBit Operator 募捐给 Fluent 社区，之后重新命名为 Fluent Operator。自此 Fluent Operator 社区吸引了来自世界各地的贡献者参加我的项目的开发和迭代。 日前，Fluent Operator v2.0（2.0.0 & 2.0.1）公布，该版本新增许多重要性能，并进行了泛滥优化，以下将重点介绍： Fluent Bit 新的部署形式: Fluent Bit CollectorFluent Operator 升高了 Fluent Bit 以及 Fluentd 的应用门槛，能高效、快捷的解决可观测性相干的各种数据。应用 Fluent Operator 能够灵便且不便地部署、配置及治理 Fluent Bit 以及 Fluentd。同时, 社区还提供反对 Fluentd 以及 Fluent Bit 的海量插件，用户能够依据理论状况进行定制化配置。 Fluent Bit 对于解决的数据始终是中立的，在 v2.0 之前 Fluent Bit 次要被用于解决日志数据。 Fluent Bit v2.0 的公布是 Fluent Bit 全面反对可观测性所有类型数据（Logs, Metrics, Tracing）的一个标记和终点。自 Fluent Bit v2.0 开始，除了持续反对解决日志数据之外，也开始反对 Metrics 和 Tracing 数据的收集和发送，即全面反对 Prometheus 和 OpenTelemetry 生态体系。 ...

KubeSphere 社区双周报次要整顿展现新增的贡献者名单和证书、新增的讲师证书以及两周内提交过 commit 的贡献者，并对近期重要的 PR 进行解析，同时还蕴含了线上/线下流动和布道推广等一系列社区动静。 本次双周报涵盖工夫为：2023.02.03-2023.02.16。 贡献者名单 新晋贡献者两周内共有 6 位新晋 contributor，包含近期在社区公布过 KubeSphere 相干文章的非代码贡献者。感激各位对 KubeSphere 社区的奉献！ 讲师证书两周内共组织一场线上直播，浅聊 K8s 存储与 CSI，诞生一位讲师邓堪文，感激邓老师的精彩分享！ 近期重要更新KubeSphere1. 降级 sigs.k8s.io/controller-runtime 到 v0.14.4相干 PR： https://github.com/kubesphere... 贡献者：wansir 2. 降级 golangci-lint 到 v1.51.1相干 PR：https://github.com/kubesphere... 贡献者：wansir 3. 更新用户明码的最小长度限度为8位字符相干 PR：https://github.com/kubesphere... 贡献者：zhou1203 4. 降级 helm.sh/helm/v3 到 3.11.1相干 PR：https://github.com/kubesphere... 贡献者：wansir 5. 更新 README 中 v3.3.2 的公布信息相干 PR：https://github.com/kubesphere... 贡献者：imjoey 6. 新增 Resource v1beta1 API相干 PR：https://github.com/kubesphere... 贡献者：zhou1203 ...

作者简介：郑建林，现任深圳市技研智联科技有限公司架构师，技术负责人。多年物联网及金融行业教训，对云计算、区块链、大数据等畛域有较深入研究及利用。现次要从事 PaaS 平台建设，为公司各业务产品线提供平台底座如技术中台，数据中台，业务中台等。公司简介深圳市技研智联科技有限公司：为佛山技研智联科技有限公司子公司，前者为三技精细和研华合资公司。提供从工控设施，网关，云平台一体化的业余印染数字化工业互联网平台。 佛山技研智联科技有限公司（以下简称“技研智联”）是由三技精细技术（广东）股份有限公司以及研华科技股份有限公司于 2020 年 8 月合资成立，是一家专一于为纺织企业提供自动化控制系统软件、工业互联网利用平台、数字化转型与智能制作整体解决方案，并为企业提供行业软件征询、施行、集成等服务的高新技术企业，专精特新中小企业。 公司倒退至今曾经是 100 多人规模业余技术产品团队，自主研发的 iTEX 智慧纺织云平台，目前曾经连贯 70 多家工厂，2000 多台设施，可能把工厂各个系统、各类跨业务的数据在同一个平台上买通，让企业实现基于数据和流程的业务协同。 公司较早就开始拥抱云原生容器化部署，反对客户在私有云 iTEX 云平台应用 SaaS 产品，同时反对用户按公有云形式私有化部署装置应用。目前 IT 和运维团队规模 5 人，次要满足本身研发上云和客户装置部署运维需要。 背景介绍自己为深圳市技研智联科技有限公司架构师和技术负责人，负责整个公司根底平台搭建设计，所在团队为整个公司产品业务提供根底 PaaS 平台，包含技术中台，数据中台，业务中台等。原先业务团队次要做 SaaS 云平台和边缘管制相干产品。应用超交融服务器上宰割部署 K8s 集群，通过 Rancher 来治理服务器集群。DevOps 用的 git 反对的脚步打 Docker 镜像形式，手动公布服务。存在服务器资源有余，扩展性欠缺，运维治理不便，技术框架差别等问题，随着业务倒退须要底层资源管理，技术框架，公共服务对立服务化火烧眉毛。 选型阐明作为公司根底服务平台团队，须要提供对立易用的容器服务公布部署治理一站式平台，期间比照了 Openshift，Rancher，KubeSphere 这几大开源 PaaS 容器治理平台，比照特点如下（心愿尽量主观，各个平台组件一直倒退，若有失正确望见谅）： 表 1 开源 PaaS 容器治理平台比照 开源 PaaSRancherOpenshiftKubeSphere开发团队Rancher红帽青云科技容器平台好好好监控好好好devops个别个别好多集群反对好个别良好利用市场反对无OperatorHelm多租户反对个别反对个别反对良好交互良好良好好装置轻重重一方面 KubeSphere 优良的交互体验一下击中了研发人员的心理，同时本着交融产品模块化开发的初衷，最终抉择了 KubeSphere，心愿能进步交互成果，另外冀望能够晋升整体产品底层设施稳定性和开发效率。 实际过程K8s 集群基于腾讯云服务器 centos7.9 零碎采纳三个 Master 节点高可用集群多个 Worker 节点计划搭建，应用稳固 K8s v1.23.5 版本。分为开发，测试，预公布和生产四个公有网络 K8s 集群。 网络计划网络采纳 Calico CNI。相比 Flannel，Calico 网络插件具备如下劣势： ...

事实世界映射其中，传统文化沉迷其境，旧时记忆交互其间。 技术作者｜仲升 内容编辑｜IMMENSE 在刚刚过温的春节，云之上，带来了一场「数字文化」新体验。 游花车、舞狮子、踩高跷、放烟花、写福字……还记得儿时的春节风俗吗？现在这些风俗被“像素级”复刻进了“央博宇宙”里。往年大年三十，由地方广播电视总台“央博”数字文化艺术博物馆（简称“央博”数字平台）打造的寰球首个元宇宙庙会——“央博新春云庙会”正式上线，为宽广网友出现了一场突破时空界线的新春云庙会，还原儿时的春节记忆。 一场由黑科技链接、发明的数字之旅，是在央视春晚演出的跨时空新春“云庙会”。事实世界映射其中，传统文化沉迷其境，旧时记忆交互其间，高复刻、零时差的全然沉迷背地，必然有一股弱小的云力撑持，这便是阿里云“大规模即时云渲染技术”。 01 技术内核：轻量化、沉迷式、低成本“大规模即时云渲染技术”是指，将大型3D沉迷式体验须要的图形算力、存储需要部署在云端，并通过实时音视频通信（串流）技术，使得玩家以极低的延时接管到实时渲染的画面，实现沉迷式交互。 其中，串流技术通过把用户终端设备上实时渲染画面的过程转化为视频流，并以高稳固、低时延的流媒体传输至玩家终端，让玩家解脱本地硬件限度，是实现终端轻量化、沉迷式、低成本交互体验的要害因子。 02 60毫秒：交互延时“天花板”《2023地方广播电视总台春节联欢晚会》21:27口播推介了“央博新春云庙会”的相干内容，全国并机频道总收视人次3.16亿次，口播后短短几分钟内，就有近百万用户涌入“央博”体验，零碎呈现显著的流量尖峰。 视频链接：https://v.youku.com/v_show/id... 面对网络流量洪峰，首要解决的是“零时差”的交互体验。对此，间接的方法是减少网络的带宽，加之从老本、经营、保护的角度思考，这对云计算的GPU弹性算力也提出了更高的要求。到底如何能力克服玩家在体验过程中的时延、网络抖动等问题，实现万人在线 “零时差”交互？ 最无效的解决方案就是利用一个“有保障”的策略对网络流量进行治理，即QoS（Quality of Service，服务质量）。对此，阿里云视频云技术团队在调度保障、提早优化和卡顿优化这三大维度着力。 QoS保障中最根底的能力就是调度能力，为用户抉择一个适合的节点来保障用户的最优网络接入，使得该用户的接入时延最低、网络抖动最小，从而获得最佳的云渲染推流体验。技术团队实现了基于运营商和地理位置的传统调度、实时测速、历史调度信息这三大维度的交融算法，保障玩家的最优网络接入。 在提早优化上，技术团队对全链路各个阶段的时延耗费做了拆解，并对每个环节做了针对性优化，通过密集布点并优化调度策略、编解码策略、媒体传输策略和指令通信策略，最终将整体时延优化到60毫秒以内，真正实现云渲染和本地渲染在体验上的一致性。 在卡顿治理上，技术团队重点优化了带宽预计算法和平滑发送策略。其中，带宽预计算法以BBR为底本并做了针对性优化，疾速、精确地估算出以后链路的带宽并反馈给编码器，以便编码器码率匹配实时的带宽。基于此算法，网络不会因数据过多导致拥塞，也不会因数据过少产生带宽节约。 在现实情况中，如果数据发送太快会对网络产生冲击，反之则会减少时延，针对这一问题，技术团队基于对实时网络状态的精准把握来动静调整平滑发送策略，并为音频、视频、重传包、冗余包等数据设置不同的优先级，确保最重要的数据优先被发送，从而实现低时延下的卡顿优化。 画质的清晰与否，是玩家在互动体验中最能直观感触的。同时，画质晋升和算法耗时的关系如同天平两端，为了保障用户体验须要在两者之间均衡。因为GPU渲染能力的差别，会存在如锯齿、渲染空洞、噪声等画质问题，在解决延时的根本体验问题后，阿里云视频云技术团队利用窄带高清技术晋升画面清晰度。通过云端GPU与客户端CPU的联动，采纳自研算法进行内容自适应的纹理与色调加强解决。该算法性能非常优越，在A10上解决1080p图像的单帧耗时小于1毫秒，对全链路延时的减少能够达到被疏忽的水平。 因为“央博新春云庙会”从立项到上线的工夫只有50多天工夫，为此技术团队采纳H5 SDK实现串流接入，解决了支流浏览器在PC和手机上的兼容性问题。因而，只有有网络覆盖，玩家在任何工夫、任何地点都能够体验。跨终端无缝切换，玩家能够在不同的设施上随便切换，而渲染过程不会产生中断。 03 云渲染的商业老本冲破体验之上，经营老本高成为云渲染商业化所面临的突出挑战。如何最大水平利用云上渲染资源？阿里云视频云技术团队在GPU虚拟机Windows操作系统之上，减少了虚构外设驱动层实现在一台虚拟机上部署多个渲染利用的能力，用户通过不同的虚构外设（音响、显示器、麦克风、摄像头、键盘、鼠标、手柄、触屏）拜访同一台虚拟机而不会互相烦扰，该技术能无效进步单机资源利用率，一张卡上同时运行多个渲染过程，为云渲染的大规模商业化落地奠定了根底。 同时，升高经营老本的另一个伎俩是升高“带宽”老本。 阿里云自研的“窄带高清”算法便能实现等同画质下更省流、在等同带宽下更高清的观看体验。传统视频压缩办法次要基于信息实践，从预测构造的角度来减小时域冗余、空间冗余、统计冗余，但视觉冗余开掘有余。 “窄带高清”算法中的JND(Just Noticeable Difference)和AQ（Adaptive Quantization）正是基于这个思路对视觉冗余进行开掘，通过空域和时域的特色计算，将图像上存在视觉冗余的局部传到编码器，再由基于MOS的自适应码控算法对QP做自适应的调配，最终达到码率节俭30%以上，但主观体验雷同的成果，实现品质、码率和老本的最优平衡。 <p align=center>（左：不开启JND/AQ，码率8858kb/s；右：开启JND/AQ，码率6027kb/s）</p> 这已不是云渲染技术在数字虚拟空间的第一次尝试了。 去年6月，央视就与阿里云单干推出了国内首个大型沉迷式云考古节目《三星堆奇幻之旅》，基于大规模即时云渲染算力复刻了3000年前的人类文明，让三星堆“活过来”。这所有有赖于云计算提供的高性能、高牢靠、且近乎有限的算力反对。 将来，云渲染技术会与现有音视频技术做深度联合，发明出更多前所未有的新形态、新玩法、新产品，而阿里云也将与“央博”摸索更多冲破空间限度的数字文化艺术模式，用数字技术力助力传承中华文明。

背景在解决数据时，当业务数据同步至MaxCompute后，会产生一些含异样字符的脏数据，比方字段中蕴含了一个不可见字符，在DataWorks中显示不进去，但在BI界面又会显示成其余字符，影响整体观感。这种状况，通常咱们的解法是，将异样的字符洗掉，上面来介绍几种常见的解决异样字符的办法。 问题形容定位如下图，能够看到“异样name”和“失常name”的 length值 不同，多了个不可见字符，然而咱们并不能看进去啥。前期做数据处理或数据展现可能成为一个难以定位的问题。 SELECT name as 异样name, LENGTH(name) as 异样name长度, '北京' as 失常name, LENGTH('北京') as 失常name长度from tbl1 where name RLIKE '北京';后果： 小技巧咱们能够通过在线Unicode编码转换工具，将数值粘贴过来，获取到对应的Unicode码。同理也能够获取其余异样字符的Unicode码，以便后续解决。输出异样 vs 失常的字符串，比照 Unicode 差别能够倒推不可见字符为“ \u200b”。 解决方案定位到问题后，回顾数据荡涤的惯例计划，想方法把消掉这种不可见字符 计划1：trim() - 替换MaxCompute的trim()函数反对通过设置参数的形式调特色字符TRIM相干文档：https://help.aliyun.com/docum...成果如下： 利用 trim() 函数将数值中的异样不可见字符替换为失常空值字符（不可见字符可通过在线Unicode编码转换工具Unicode转中文复制一下） SELECT name as 异样name, LENGTH(name) as 异样name长度, trim(name,'') as 失常name, LENGTH(trim(name,'')) as 失常name长度from tbl1 where name RLIKE '北京';后果： 计划2：replace() - 替换长处：点对点思路解决问题，方便快捷毛病：实用待替换的字符只有一个状况，如果有多个，须要再套一层replace函数，不容易保护REPLACE相干文档：https://help.aliyun.com/docum...成果如下： 利用 replace() 函数将数值中的异样不可见字符替换为失常空值字符（不可见字符可通过在线Unicode编码转换工具Unicode转中文复制一下）SELECT name as 异样name, LENGTH(name) as 异样name长度, replace(name,'','') as 失常name, LENGTH(replace(name,'','')) as 失常name长度from tbl1 where name RLIKE '北京';后果： ...

01 挑战快手容器云平台旨在为快手一直增长、一直变动和多样化的业务，提供基于容器化部署的超大规模基础设施服务。为了实现这一指标，快手工程师须要解决弹性、稳定性、效率和无服务器架构等挑战，在这些挑战中，镜像散发的稳定性和效率也是最辣手的问题之一。 解决方案为了让快手容器云平台的镜像散发更加稳固和高效，快手容器云技术团队携手阿里云、蚂蚁团体在龙蜥社区适配，优化落地解决方案。事实证明，Dragonfly 及其子项目 Nydus 是最合适的解决方案，该计划可能与现有零碎很好地兼容，在现有能力根底上平滑过渡，同时也为服务交付带来了大幅的效率晋升。 成果Dragonfly 上线后，整个集群通过 P2P 组建散发网，所有节点帮忙中心化 Harbor 缓解网络带宽压力。Harbor 的网络带宽压力均匀缓解 70% 以上，峰值压力缓解 80% 以上，镜像散发零碎变得更加稳固、牢靠、高效，零碎可能同时反对更多数量的镜像并发拉取申请，尤其是在应答 Daemonset 部署和要害、大批量实例业务服务更新的场景中，高并发镜像拉取仓库不再是瓶颈。 应用我的项目Dragonfly：https://github.com/dragonflyo...：https://github.com/dragonflyo...：https://github.com/containerd...：https://github.com/goharbor/h... 相干数据 03 为每月 10 亿用户提供稳定性和性能反对“在快手，Dragonfly 无效解决了海量文件散发问题” ——吴宏斌 快手综合经营平台负责人 快手创立于 2011 年，是中国第一个短视频平台，每月为寰球 10 亿用户提供服务，其中也有 1.8 亿多用户在海内，其寰球脚印已迅速扩大至拉丁美洲、中东和东南亚。在快手，任何用户都能够通过短视频和直播来记录和分享他们的生存经验，展现他们的才华。快手与内容创作者、企业严密单干，次要从事内容社区和社交平台的经营，提供直播服务、在线营销服务、电子商务、娱乐、在线常识共享和其余增值服务。随着快手业务的快速增长，数以万计的要害服务和中间件运行在快手容器云平台上，镜像散发零碎的稳定性和效率变得越来越重要。 对于快手的镜像散发系统升级革新来说，最大的挑战不仅仅是镜像仓库峰值压力的缓解和镜像拉取减速，如何让服务散发无缝连接平滑过渡，尽可能让业务无感、不受零碎变动影响同样重要。快手容器云平台工程师通过调研发现，Nydus 与 Dragonfly 零碎深度集成，同时也反对传统 OCI 镜像，可能以兼容敌对的形式提供疾速、稳固、平安、便捷的容器镜像拜访，非常容易地就能适配容器云平台已有工作，实现业务从已有镜像应用形式平滑过渡到新镜像格局。平台惟一要做的就是将容器运行引擎从 Docker 切换到 containerd，因为 containerd 与 Dragonlfly 的集成体验更好。在快手工程师的致力下，大规模节点的容器引擎安稳切换轻而易举，containerd 和 Dragonfly 均已被疾速全面采纳。 稳固高效的镜像散发对于稳固、高效的镜像散发，Dragonfly 给出了完满的答案。在快手，有许多重要的服务须要在短短几分钟内扩容到成千上万个实例，例如快手的 818 购物节或双 11 流动的业务扩容需要。这种缩放须要数千 GB 带宽能力间接从镜像仓库下载。在另外一些场景中，预测模型和搜寻业务须要定期更新模型参数文件和索引文件来保障举荐成果和检索成果，这在技术上意味着必须立刻将数百 GB 的文件散发到每个相干实例。 快手工程师在所有容器云主机部署了 Dragonfly 组件：Dfdaemon 和 Dfget，通过 P2P 算法拉取文件。同时，在每个 AZ 部署了独立的超级节点集群，为 Dfget 设计了 Schedule Server，抉择适合的超级节点来防止跨 AZ 或者跨 Region 的流量。更重要的是，工程师基于 Dragonfly 独特的片治理 P2P 算法实现了数据流 P2P 传输，升高了磁盘负载。得益于 Dragonfly，数以万计的实例能够同时拉取镜像或下载文件，而不会减少工夫老本和磁盘负载。 ...

Linux Fundation 公布了一份对于开源开发中的碎片化问题的报告《实现寰球合作：开源领导者如何应答碎片化挑战》，该报告由华为在美国的研发部门 Futurewei 资助。报告指出，尽管开源社区越来越国际化，但美国对开源共享和开发进行了过多的干涉。同时报告里还提到了中国，随着中国晋升其软件实力的需要越来越强烈，中国对开源我的项目的参与度将在将来几年内大幅晋升。 报告链接：https://www.linuxfoundation.o... 文章举荐应用 AWS lambda 和 ChatGPT 来主动回复邮件本文介绍了如何应用 AWS Lambda 函数 和 AWS Simple Email Service 联合 ChatGPT 来实现主动回复邮件的性能。 Exposing services in private environments with Kubernetes and OpenELB本篇文章形容了如何应用 Kubernetes 和 OpenELB 在公有环境中公开服务的办法。文章首先介绍了 Kubernetes 的基本概念和特点，而后介绍了 OpenELB 的用法和劣势。接下来，作者介绍了一个具体的实现计划，即在公有环境中应用 Kubernetes 和 OpenELB 公开服务的步骤。最初，作者总结了这种办法的劣势，并简要列举了理论利用场景。 总的来说，本篇文章具体地解说了如何应用 Kubernetes 和 OpenELB 在公有环境中公开服务的办法，对于那些对于这两个技术感兴趣的读者是很有价值的。 开源我的项目举荐Node-Latency-for-K8sNode-Latency-for-K8s 通过剖析 K8s 节点上的日志并输入时序图、Cloudwatch 指标、Prometheus 指标或 json 时序数据，并依据这些数据来剖析节点启动提早的起因，以优化 K8s 节点启动工夫。 DB WebhooksDB Webhooks 是一个实用于 Postgres 的工具，当数据库有更新或者删除时，便会触发 Webhook。能够用来发送告诉、调用 Serverless 函数、连贯到自动化平台等等。 ...

《Terraform 101 从入门到实际》这本小册在南瓜慢说官方网站和GitHub两个中央同步更新，书中的示例代码也是放在GitHub上，不便大家参考查看。简介Azure是微软的私有云，它提供了一些收费的资源，具体能够查看： https://azure.microsoft.com/e... 本章将介绍如何通过Terraform来应用Azure的云资源。 注册Azure账号首先要注册一个Azure账号，我抉择用GitHub账号登陆，省得又记多一个明码。 跳到GitHub，批准即可： 创立账号时，有一些信息要填，特地是邮箱和手机号比拟要害： 同时还须要一张Visa或Master卡，我是有一张Visa的卡，填好后会有一个0元的扣费，不要放心。上面Cardholder Name我填的中文名字，注册胜利了。 0元扣费胜利后，示意卡是失常的，就能够胜利注册了，注册后就能够到Portal查看了。 手动部署虚拟机为了体验一下Azure，咱们先手动创立一个虚拟机，操作入口如下： 须要填写一些配置信息，如主机名、区域、镜像、网络端口等，按须要我关上了22/80/443端口。 实现配置后，点击创立，提醒要下载密钥对，必须要在创立的时候下载： 创立完资源后，能够在虚拟机列表查看： 依据用户名和公网IP，咱们能够ssh连贯到服务器。须要给密钥文件批改权限，太大是不行的，会报错。 $ chmod 400 ~/Downloads/pksow-azure.pem而后通过上面命令连贯： $ ssh azureuser@20.2.85.137 -i ~/Downloads/pksow-azure.pem Welcome to Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-1030-azure x86_64) * Documentation: https://help.ubuntu.com * Management: https://landscape.canonical.com * Support: https://ubuntu.com/advantage System load: 0.01513671875 Processes: 109 Usage of /: 4.9% of 28.89GB Users logged in: 0 Memory usage: 31% IPv4 address for eth0: 10.0.0.4 Swap usage: 0%0 updates can be applied immediately.The programs included with the Ubuntu system are free software;the exact distribution terms for each program are described in theindividual files in /usr/share/doc/*/copyright.Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted byapplicable law.To run a command as administrator (user "root"), use "sudo <command>".See "man sudo_root" for details.azureuser@pkslow:~$ free total used free shared buff/cache availableMem: 928460 261816 288932 4140 377712 533872Swap: 0 0 0azureuser@pkslow:~$ df -hFilesystem Size Used Avail Use% Mounted on/dev/root 29G 1.5G 28G 5% /tmpfs 454M 0 454M 0% /dev/shmtmpfs 182M 1.1M 181M 1% /runtmpfs 5.0M 0 5.0M 0% /run/lock/dev/sda15 105M 5.3M 100M 5% /boot/efi/dev/sdb1 3.9G 28K 3.7G 1% /mnttmpfs 91M 4.0K 91M 1% /run/user/1000通过azure-cli创立虚拟机装置azure-cli我的电脑是MacOS，装置如下： ...

《Terraform 101 从入门到实际》这本小册在南瓜慢说官方网站和GitHub两个中央同步更新，书中的示例代码也是放在GitHub上，不便大家参考查看。Terraform的函数Terraform为了让大家在表达式上能够更加灵便不便地进行计算，提供了大量的内置函数（Function）。目前并不反对自定义函数，只能应用Terraform自带的。应用函数的格局也很简略，间接写函数名+参数即可。如上面的函数为取最大值： > max(34, 45, 232, 25)232这里把函数独自列成一章不是因为它很难了解，而因为它很罕用，值得把这些函数梳理一下，以便查问应用吧。 数值计算函数绝对值abs： > abs(5)5> abs(-3.1415926)3.1415926> abs(0)0返回大于等于该数值的最小整数： > ceil(3)3> ceil(3.1)4> ceil(2.9)3小于等于该数值的最大整数： > floor(6)6> floor(6.9)6> floor(5.34)5对数函数： > log(16, 2)4> log(9, 3)2.0000000000000004指数函数： > pow(6, 2)36> pow(6, 1)6> pow(6, 0)1最大值、最小值： > max(2, 98, 75, 4)98> min(2, 98, 75, 4)2字符串转换成整数，第二个参数为进制： > parseint("16", 10)16> parseint("16", 16)22> parseint("FF", 16)255> parseint("1010", 2)10信号量函数： > signum(6)1> signum(-6)-1> signum(0)0字符串函数删去换行，在从文件中读取文本时十分有用： > chomp("www.pkslow.com")"www.pkslow.com"> chomp("www.pkslow.com\n")"www.pkslow.com"> chomp("www.pkslow.com\n\n")"www.pkslow.com"> chomp("www.pkslow.com\n\n\r")"www.pkslow.com"> chomp("www.pkslow.com\n\n\ra")<<EOTwww.pkslow.comaEOT格式化输入： > format("Hi, %s!", "Larry")"Hi, Larry!"> format("My name is %s, I'm %d", "Larry", 18)"My name is Larry, I'm 18"> format("The reuslt is %.2f", 3)"The reuslt is 3.00"> format("The reuslt is %.2f", 3.1415)"The reuslt is 3.14"> format("The reuslt is %8.2f", 3.1415)"The reuslt is 3.14"遍历格式化列表： ...

作者：老Z，中电信数智科技有限公司山东分公司运维架构师，云原生爱好者，目前专一于云原生运维，云原生畛域技术栈波及 Kubernetes、KubeSphere、DevOps、OpenStack、Ansible 等。 简介生产环境 KubeSphere 3.3.0 部署的 Kubernetes 集群在平安评估的时候发现安全漏洞，其中一项破绽提醒指标可能存在 Apache Log4j2 近程代码执行破绽 (CVE-2021-44228)。 本文记录了该破绽修复的全副过程，文中介绍了修复该破绽的两种解决方案，其中波及自定义构建 KubeSphere 实用的 Jenkins Image 的具体操作。 破绽修复计划破绽详细信息破绽报告中波及破绽 指标可能存在 Apache Log4j2 近程代码执行破绽 (CVE-2021-44228) 的具体信息如下： 破绽剖析剖析破绽报告信息，发现对应的服务端口为 30180，对应的服务为 Jenkins。应用 Curl 拜访服务端口，查看返回头信息。[root@ks-k8s-master-0 ~]# curl -I http://192.168.9.91:30180HTTP/1.1 403 ForbiddenDate: Thu, 09 Feb 2023 00:36:45 GMTX-Content-Type-Options: nosniffSet-Cookie: JSESSIONID.b1c3bc24=node084x6l5z2ss0ghsb2t9tde2gl16558.node0; Path=/; HttpOnlyExpires: Thu, 01 Jan 1970 00:00:00 GMTContent-Type: text/html;charset=utf-8X-Hudson: 1.395X-Jenkins: 2.319.1X-Jenkins-Session: 1fde6067Content-Length: 541Server: Jetty(9.4.43.v20210629)阐明： 从后果中能够看到 KubeSphere 3.3.0 采纳的 Jenkins 应用的 Jetty 版本为 9.4.43.v20210629，跟漏扫报告中的后果统一。在 K8s 中查看 Jenkins 服务应用的 Image 版本。[root@ks-k8s-master-0 ~]# kubectl get deploy devops-jenkins -n kubesphere-devops-system -o wideNAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTORdevops-jenkins 1/1 1 1 101d devops-jenkins registry.cn-beijing.aliyuncs.com/kubesphereio/ks-jenkins:v3.3.0-2.319.1 component=devops-jenkins-master阐明： 从后果中能够看到 KubeSphere 3.3.0 采纳的 Jenkins 版本为 2.319.1，跟漏扫报告中的后果统一。在 K8s 中确认 Jenkins 哪些组件用到了跟 Log4j 无关的 JAR 包。查找 Jenkins 服务对应的 Pod。[root@ks-k8s-master-0 ~]# kubectl get pod -n kubesphere-devops-system -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESdevops-27930510-52tck 0/1 Completed 0 87m 10.233.116.224 ks-k8s-master-2 <none> <none>devops-27930540-6b7cz 0/1 Completed 0 57m 10.233.116.225 ks-k8s-master-2 <none> <none>devops-27930570-t5k6b 0/1 Completed 0 27m 10.233.116.226 ks-k8s-master-2 <none> <none>devops-apiserver-6b468c95cb-grx4j 1/1 Running 2 (4h30m ago) 101d 10.233.116.211 ks-k8s-master-2 <none> <none>devops-controller-667f8449d7-w8mvf 1/1 Running 2 (4h37m ago) 101d 10.233.117.173 ks-k8s-master-0 <none> <none>devops-jenkins-67fbd685bf-4jmn4 1/1 Running 7 (4h23m ago) 101d 10.233.117.162 ks-k8s-master-0 <none> <none>s2ioperator-0 1/1 Running 2 (4h36m ago) 101d 10.233.87.33 ks-k8s-master-1 <none> <none>进入 Jenkins Pod 的命令行控制台[root@ks-k8s-master-0 ~]# kubectl exec -it devops-jenkins-67fbd685bf-4jmn4 -n kubesphere-devops-system -- bashDefaulted container "devops-jenkins" out of: devops-jenkins, copy-default-config (init)root@devops-jenkins-67fbd685bf-4jmn4:/# 在 Jenkins 挂载的主目录中查找跟 Log4j 无关的 JAR 包 (所有操作都是在容器外部)。# 进入 Jenkins 数据主目录root@devops-jenkins-67fbd685bf-4jmn4:~# cd /var/jenkins_home# 查找带 log4j 关键字带所有 jar 包root@devops-jenkins-67fbd685bf-4jmn4:/var/jenkins_home# find ./ -name "*log4j*"./war/WEB-INF/lib/log4j-over-slf4j-1.7.32.jar./plugins/ssh-slaves/WEB-INF/lib/log4j-over-slf4j-1.7.26.jar./plugins/prometheus/WEB-INF/lib/log4j-over-slf4j-1.7.30.jar阐明： 并没有搜到到 log4j 的外围包，然而搜寻到了 log4j-over-slf4j，该软件包并不属于 log4j 官网 MAVEN 仓库（也可能是我没有找到），而且竟然有 3 个不同版本，Jenkins 本人用了一个版本，还有两个插件也用了两个不同的版本。 ...

本文内容整顿自「智能媒体生产」系列课程第二讲：视频AI与智能生产制作，由阿里云智能视频云高级技术专家分享视频AI原理，AI辅助媒体生产，音视频智能化能力和底层原理，以及如何利用阿里云现有资源应用音视频AI能力。课程回放见文末。 01 算法演进：视频AI原理在媒体生产的全生命周期中，AI算法辅助晋升内容生产制作效率，为创作保驾护航。 智能生产全链路智能生产全链路可分为五大部分。传统的媒体生产蕴含采集、编辑、存储、治理和散发五个流程，随着人工智能技术的衰亡，五大流程波及到越来越多的机器参加，其中最次要的便是AI技术的利用。以下举例说明： l 采集 在摄像机拍摄时同步进行绿幕抠图，这在演播室或者影视制作场景中是比拟常见的。 l 编辑 编辑过程使用到很多技术，比方横转竖、提取封面、叠加字幕等，同时这些字幕还能够通过语音辨认的形式提取进去再叠加在画面上。 l 存储 视频在采集和编辑之后，须要存储下来进行结构化分析，像智能标签就是使用在存储场景，从视频中提取出相应的标签，进行结构化的存储，并把视频库中的视频进行结构化关联。 l 治理 存储下来的视频如何治理？如何通过关键词检索到对应的视频？在治理环节，AI能够帮忙进行多模态的检索，比方人物搜寻等。 l 散发 在存储和治理之后，视频散发也使用到AI技术，比方音视频DNA、溯源水印等版权保护利用。如果通过直播流的形式对宽广用户进行直播，那么散发环节还会波及到直播审核，免得呈现直播故障。 基于智能生产全链路，媒体AI全景图应运而生，共分为四个档次： 最下面的档次表白媒体生产的利用场景，蕴含智能媒资治理、内容智能生产以及视频版权保护。 往下是产品能力，即AI组合达成的能力，比方视频分类、智能封面、智能抠图等。 再往下是AI原子能力，比方语音辨认、自然语言解决这些底层的AI能力。 最下是撑持AI能力的根底底座，如编解码和GPU减速等。以上组合起来，生成一张AI使用在智能生产中的全景图。 视频AI原理视频AI的底层原理到底是什么？ 人工智能发祥于机器学习，而机器学习最早只是一种统计伎俩，像决策树、反对向量机、随机森林等各种数学方法。 随着时代倒退，科学家提出一种人工神经网络的计算方法，或者说算法，起初发现人工神经网络能够变得更大、档次变得更深，通过进一步摸索倒退，在二十多年前提出了深度学习的观点和概念。 所谓深度学习，就是在原先的人工神经网络上，把两头的档次（咱们称之为隐含层）扩大成两个档次、三个档次，甚至倒退到当初的几十个档次，即可失去更多的输出层和输入层节点。 当神经网络变得更大、更深的时候，机器学习就演化成深度学习，也就是咱们当初俗称的AI。 随之而来产生一个问题：如何将AI使用到视频和图像中？ 如果有一个1080P的视频，视频大小为1920✖1080，此时一张图像上就存在百万个像素。如果把百万个像素点都放入神经网络中，会产生微小的计算量，远远超出惯例计算机所能达到的下限。 因而，在把图像放入神经网络前须要进行解决，钻研人员提出了卷积神经网络，而这也是当初所有图像和视频AI的根底。 在卷积神经网络的规范模型中，图像进入神经网络之前须要进行两步操作： 第一步是卷积层。所谓卷积就是拿一个卷积核（能够简略了解为一个矩阵）和原始图像的每一个卷积核大小的矩阵进行矩阵层的操作，最初失去一个特色图像。因为有多个卷积核，所以一张图片能够提取出多个特色图像。 特色图像间接放入神经网络还是太大，因而，须要进行第二步池化层操作，池化层的作用就是下采样，可采取多种形式，比方把方格中的最大值、平均值或者加权平均值作为最终输入值，造成下采样数据。 在上述例子中，一张图像的大小升高为原先的四分之一，输出到神经网络之后，极大升高了原始数据量，即可进行图像神经网络解决。由此可见，用艰深的话来讲，视频或图像的AI模型必须是由大数据喂进去的。 大数据人造地长在云上，云和AI人造的联合，能够使AI在云上失去较好的倒退与使用。 理解视频AI原理之后，如何反过来评估AI的成果？ 以典型的分类问题举例，如果有100个视频，须要找出其中呈现过人的视频，那么有两个指标能够评估AI模型的好坏：一个是精度，另一个是召回率。 所谓的精度是指，假如AI算法最终找出50个视频，然而查看之后发现，其中只有40个是真正有人的，那么精度计算为40➗50=0.8。 召回率是指，假如这100个视频中真正有人的一共有80个，而AI找出了其中40个，那么召回率计算为0.5。 能够发现，精度和召回率是一对矛盾。如果想进步精度，只有找进去的视频少一点，就能够保障每个找进去的视频都是对的，即精度回升，但此时召回率肯定会降落。 现阶段的AI并不完满，也就是说，目前AI还只能辅助视频生产，生产视频的主体还是人。 AI辅助生产AI辅助生产能够由以下两个示例进行阐明。 示例一：通过图片搜寻相干图片或视频。Demo显示，输出一张周星驰的图片后，机器尽管不意识这是谁，然而可能从图片中提取此人的外貌特色，而后在视频库里做相应搜寻，找出一堆蕴含周星驰的视频。 示例二：智能横转竖。传统电影和电视剧均为横屏播放，随着挪动互联网衰亡，这些电影和电视剧须要在手机端进行投放，由此诞生了智能横转竖这样的AI算法，将大量的横屏视频转换成竖屏视频，帮忙横屏视频在手机端散发。 电视剧横转竖成果 新闻横转竖成果 02 智能进阶：视频内容了解智能标签智能标签基于AI对于视频内容的了解，主动提取视频中的标签、关键词等信息，剖析详情会展现为四局部： 第一局部是视频标签，获取视频的类目，视频呈现过哪些人物，人物呈现的工夫点以及在视频中的地位，人物的类似度等。 第二局部是文本标签，会提炼出一些关键词，包含视频文本中呈现过的组织机构，比方央视等。 前面两局部为文字辨认和语音辨认，别离通过图片OCR技术和语音云辨认技术实现。 具体示例可在AI体验馆中进行体验，同时，也提供API接入文档进行参考。 体验核心：https://retina.aliyun.com/#/L... API接入文档：https://help.aliyun.com/docum... AI是如何从视频中提取出信息的呢？从视频标签的流程图中能够看到，输出一个视频，别离进行两局部操作： 一部分是对视频做抽帧解决，抽帧失去的图像通过人像辨认、场景辨认、物体辨认、地标辨认、OCR等图像AI辨认模型，提炼出视频标签。 另一部分是把视频中的音频提取进去，而后通过ASR失去文本后果，最初再通过NLP（自然语言解决），提取出文本标签。 智能审核视频审核的技术原理与视频标签雷同，惟一不同的是，视频标签能够了解为一个正向的视频内容了解，而视频审核是负向的，审核须要辨认出一些不合规的、有问题的内容，比方鉴黄、暴恐涉政、违规、二维码、不良场景等信息。 视频检索视频检索的核心技术点是利用标签后果进行视频的剖析和查问。 ...

在进入千禧年后，随着计算机技术的倒退和业务翻新的不断涌现，许多大公司内的 IT 计算中心也在酝酿着改革。一方面，各部门绝对独立的 IT 治理平台曾经难以满足日益增长和一直变动的计算治理需要；另一方面，IT 计算中心也越来越多的成为业务翻新的发源地，从一个老本核心向营收起源倒退。相应的，一种围绕着资源和负载治理平台的技术畛域逐步称为学术界和产业界的热点。它在不同的倒退阶段和不同的利用场景有着不同的名字，从最早的集群（Cluster），网格（Grid），到起初的数据中心操作系统（DCOS），云计算（Cloud Computing）。同时，在资源管理和负载治理这两大方面也一直的拓展着本身的边界。 目前，以 Kubernetes 为外围代表的云原生技术逐步称为这一畛域的支流。它所带来的不可变基础设施，以资源为治理对象，描述性的 API，最终一致性等等理念，不仅扭转了平台使用者的习惯，可能更好的在资源弹性变动的环境中放弃业务拜访的连续性；更扭转了服务和利用研发人员的思维模式，逐步以这种云原生的形式来设计和开发，进步翻新效率。 阿里云有“公共云”、“专有云”两种产品状态，应用同样基于飞天操作系统的技术路线，为用户提供从服务器开始一整套资源和负载的治理能力，以及运行在下面的各种服务。与此同时，也有很多客户因为种种原因无奈齐全应用私有云服务，也无奈洽购和部署一整套大专。在基于云原生的产品畛域中，这些客户或者接触了 Kubernetes 等开源我的项目，或者试用过红帽，Rancher 等厂商提供的 Openshift，Rancher 等平台产品，甚至体验了围绕这些产品形成的整个产品家族生态，如 IBM Cloud Pak 等。他们惊喜与这些云原生技术带来的麻利，凋谢，韧性等特点。同时，也心愿在此基础上取得反对不同业务场景的丰盛服务，以便疾速晋升创新能力。 应答这种需要，云原生 PaaS 团队通过长时间的技术和教训积攒，历时近半年的研发，创立了 CNStack 2.0 云原生技术中台产品。在接下来的内容里，将分享在 CNStack 2.0产品，架构，研发中次要的设计思维和心得体会。 产品指标阿里云应用云原生技术在资源和负载治理这一畛域的摸索曾经有一段历史了。在长期与解决方案团队，产品团队，内部客户的沟通单干中，发现使用者对云原生技术带来的以下特点最为关注。 麻利麻利并不简略的等同于轻量，它更多的代表灵活性和因而而带来的效率的晋升。 用户心愿平台和服务可能随着不同的利用场景和规模，提供不同的部署配置选项。既可能治理三五台服务器，提供一两种服务或者公共负载类型，也可能治理百台服务器，满足几个业务团队的不同诉求，甚至治理数千上万台服务器，逾越多个地区，反对不同行业线的简单服务。 针对这些场景和规模的差别，用户须要的只是做好资源布局，在部署平台和服务时，抉择不同的配置选项。无论场景和规模的差别，平台都会提供统一的应用体验。同时，所需的治理资源开销最好可能随着规模的增大和性能的减少，对数或者线性级别的增长。此外，用户也能够很不便的获取产品，不须要简单的硬件资源就能够部署和试用，例如私有云申请的服务器上，甚至是本人的笔记本电脑上。 麻利还体现在产品性能的组合和降级，能够依据须要，减少和缩小性能和服务，以响应一直变动的翻新诉求。 凋谢用户心愿能爱护已有的技术投资，也心愿能不便，疾速的补充开源社区或者其余厂商的技术创新。这就须要产品具备凋谢的特点。这里的凋谢次要是指采纳具备开源社区生命力的技术框架和规范的协定标准，产品本身也领有丰盛的扩大机制。 一个凋谢的产品，能够让用户 不便的获取技术材料和试用环境，升高学习门槛通过规范的协定标准和扩大机制，集成其余厂商的产品或者被其余厂商产品集成，爱护技术投资反对更多的基础设施类型和工作负载类型与开源社区一起一直倒退，放弃技术先进性生态技术中台作为业务翻新的外围，须要反对多种业务类型，涵盖业务翻新的生命周期。从微服务框架，中间件，到 AI，数据处理；从研发设计，制品治理，到利用公布，容灾高可用；从本地数据中心，到边缘，私有云。 为了反对如此丰盛的能力，须要围绕技术中台构建产品生态，创立云服务，云组件的标准规范和反对标准规范的工具链。 云服务：通过服务的模式在平台提供能力扩大，能够应用平台提供的用户，租户，鉴权，审计，许可证，多集群部署，UI 框架等根底能力，与平台既有能力或其余服务无缝的合作。和整个平台的运维一样，云服务的生命周期治理由管理员负责。云组件：通过部署申明的形式为平台用户提供软件的部署和运维，所部署的软件能够和用户自研软件一起编排实现业务流程。和用户自研软件一样，云组件的生命周期治理由具体的使用者负责。 上述是 CNStack 2.0 以后所反对的云服务一览。这些云服务与平台本身的公布齐全解耦，阿里云研发团队或者合作伙伴能够不便的针对业务场景扩大技术中台能力，独立公布云服务。须要重点强调的是，CNStack 平台本身也是以云服务形式开发，运维，治理的。 CNStack 2.0 为云服务和云组件的集成，测试和公布提供了一整套标准的工具链，它就是阿里云云原生利用交付平台（Application Delivery Platform，简称 ADP）[1]。CNStack 2.0 本身也是应用 ADP 开发和公布的。 在 ADP 平台上，开发者能够将形成云服务的组件以 helm charts 的模式上传。平台依据研发标准扫描查看后，以自有组件的模式进行版本治理。尔后，开发者能够把这些自有组件和 ADP 平台上提供的公共研发中间件，如数据库，音讯，微服务框架等一起编排为云服务，并在指定的私有云环境创立验证环境，部署 CNStack 2.0（也被称为底座）一起实现功能测试和一系列验证，如高可用等，最终打包为云服务（或者云组件）。云服务（云组件）的公布包标准遵循云原生 PaaS 团队奉献给社区的 CNCF Sealer 开源我的项目。交付时，在用户环境部署的 CNStack 2.0 平台上，管理员将云服务（云组件）公布包导入能力核心。在能力核心，管理员能够实现云服务的部署，降级，变配等一系列生命周期治理。 ...

Cloud Ace 受邀加入 GTC2022 寰球流量大会，助力中国企业扬帆出海！大会将在 2023 年 2 月 28 日-3 月 1 日举办，地点就在福田会展中心 6 号展馆。大会门票履行收费制，您能够扫码填写 Cloud Ace 的报名表（文末），有机会收费取得价值 99元 的展区通票！ 作为谷歌云全球战略合作伙伴，Cloud Ace 近日鼎力拓展寰球市场。在欧洲市场局部，已在德国首都柏林成立新的分公司，发展势头强劲。这种迅猛发展的态势背地离不开 Cloud Ace 多年来对于技术的器重和积攒，以及在 Google Cloud Platform 谷歌云服务方面的深耕。 在 2023 年的当下，寰球疫情撤退，举国上下，人头攒动，中国各大企业蓄势待发，出海业务增量迅速。Cloud Ace将通过GTC2022 寰球流量大会，为更多优质企业带来出海服务，包含谷歌云服务、谷歌地图、谷歌办公套件等。 此前，Cloud Ace 已透过谷歌云服务助力寰球2000+企业，帮忙企业晋升运维效率、无效升高企业老本，且涵盖各大支流畛域，从跨境电商到游戏，从视频直播到制造业，从交通运输到领取等。 中国企业出海，首选Cloud Ace，助力您的业务走得更远、走得更稳！即刻扫码报名收费获取展区通票，数量无限，先到先得！ 长按扫码报名Cloud Ace 展位：A04工夫：2023年2月28日-3月1日地址：福田会展中心6号馆 Cloud Ace 是谷歌云全球战略合作伙伴，领有 200 多名工程师，也是谷歌最高级别合作伙伴，屡次取得 Google Cloud 合作伙伴奖。 作为谷歌托管服务商，咱们提供谷歌云、谷歌地图、谷歌办公套件、谷歌云认证培训服务等。

《Terraform 101 从入门到实际》这本小册在南瓜慢说官方网站和GitHub两个中央同步更新，书中的示例代码也是放在GitHub上，不便大家参考查看。模块的概念模块化是Terraform实现代码重用的形式。模块能够了解为一个蕴含多个资源的容器模板。封装好之后，能够给大家应用。也能够了解为代码中的函数或办法，它接支出参，通过一些申明式的调用后，输入一些后果变量。 从Terraform的代码层面来看，模块其实就是一个蕴含多个.tf或.tf.json文件的目录。任何一个Terraform我的项目，都是一个目录，所以也都是一个模块，咱们把它称为根模块（Root Module）。而在它目录下的其它模块，都是子模块。咱们能够调用多个模块，也能够屡次调用同一个子模块。在子模块中，也能够调用其它模块。这些特点，与函数无异。 调用模块有两种形式，一种是在以后我的项目定义一个模块，另一种是引入内部的模块。而内部模块的形式也很多种，如Git的仓库、压缩文件等。 定义并应用模块咱们先来应用第一种形式，援用以后我的项目中的模块。 子模块的性能很简略，创立一个文件，文件名有随机字符串，以防止抵触。写入文件的内容能够通过参数指定。 子模块： 定义入参：创立一个文件叫variables.tf，专门用来定义入参： variable "prefix" { type = string default = "pkslow" description = "File name prefix"}variable "content" { type = string default = "www.pkslow.com" description = "File content"}这里输出有两个变量，都是字符串类型，别离是文件名前缀prefix和文件内容context。 定义模块性能，次要配置这个模块用治理的资源，个别会放在main.tf文件中，内容如下： resource "random_string" "random" { length = 6 lower = true special = false}resource "local_file" "file" { content = var.content filename = "${path.root}/${var.prefix}.${random_string.random.result}.txt"}这里定义了两个resource，第一个是生成6位的随机字符串。第二个是生成一个文件，第二个resource应用了输出参数，还应用了第一个资源生成的后果。所以第二个resource是依赖于第一个的。输出的变量援用形式为var.xxx。 定义返回值： 能够不须要返回值，也能够定义一个或多个返回值。创立一个outputs.tf文件，内容如下： output "file_name" { value = local_file.file.filename}它返回的是后面第二个resource中的值。 当初，模块random-file曾经定义实现了。当初咱们在根模块调用这个子模块。代码如下： module "local-file" { source = "./random-file" prefix = "pkslow" content = "Hi guys, this is www.pkslow.com\nBest wishes!"}这个source是被调用模块的地址。prefix和content都是入参，之前曾经定义了。 ...

本文内容整顿自 「智能媒体生产」系列课程第一讲：概念、原理和根本应用，由阿里云视频云媒体服务技术负责人分享智能媒体生产的畛域与定位、构架与服务档次、基本概念与技术原理，以及如何一站式开发接入视频制作业务。课程回放视频见文末。“超视频化”时代，云计算突破产业原有壁垒，推动技术演进产生。媒体生产制作的云端一体服务，为整个泛视频产业带来新的改革，而「智能媒体生产」就是聚焦这一畛域的企业级视频制作工具。 01 剪辑：外围且有生命力智能媒体生产在视频生产与生产过程中处于什么地位？从全链路看，视频从采集开始，历经生产制作、治理、散发和生产，而生产制作处于「制播」流程中「制」这个环节。 视频生产与生产也产生了趋势上的转变。以生产制作为例，从只有业余人员应用业余的软件，应用非编、转播车工具能力进行制作，到越来越多的人能够在挪动端应用一键美颜，在Web端应用各种剪辑工具进行内容生产。 从人工制作到AI全面参加，从业余、小众的制作团队，到普罗公众，从被动接管到共性互动，在趋势的变动过程中，互联网和云计算起到了至关重要的作用。而云上生产制作，就是智能媒体生产服务的畛域。 生产制作，在视频全链路中的比重将会减少，次要基于两点：一是短视频APP的衰亡，让一般老百姓的美学素养有了广泛晋升；二是真正优质的内容仍较少，内容的品质以及散发的效率成为各方角逐的焦点。从这两个维度来看，智能媒体生产服务施展的空间也将有所晋升。 智能媒体生产解决什么问题？ 云计算浪潮之下，云上生产制作演变为业务面临的次要场景，而智能媒体生产着力解决其中六大问题。l 云端剪辑制作合成。智能媒体生产解决的第一个外围问题就是如何在云端实现高效疾速的剪辑、制作、合成导出。 l 素材库治理与公共素材的应用。云上生产制作面临着大量素材治理的问题，以及当短少素材时，须要零碎提供公共素材供用户应用。 l 规模化剪辑制作合成。在满足剪辑制作和素材治理的根本需要后，业务可能须要疾速生产规模化视频，因为视频创作过程较为繁琐，规模化的制作可能极大地提高生产效率。 l 业余、高效剪辑制作合成。云端生产制作之前，存在大量业余非编工具，非编工具有其长处，也存在一些劣势，比方本地渲染会耗费大量资源，占用客户端时效，客户须要大量等待时间才可能失去成片，而智能媒体生产正是解决如何在云端业余、高效发挥作用这一问题。 l AI辅助生产制作。随着AI在各个领域的深刻，是否可能引入AI，进一步晋升生产制作效率，解决制作周期长的问题，成为智能媒体生产关注的问题。 l 无干涉的全智能生产制作。客户的诉求通常是很发散的，比方须要制作某种主题的视频，然而该主题对应的素材以及如何编排仍未确定，这时则存在一种高阶的生产制作需要：在无干涉的状态下，由云上生产制作零碎进行一键式全智能生产制作。 剪辑剪辑是智能媒体生产的外围。什么是剪辑？援用世界剪辑巨匠沃尔特·默奇的话，剪辑是在两个空间维度和一个工夫维度对声音和画面做马赛克式的拼接。剪辑实际上是一次创作的过程，既包含对时间轴的解决，也包含对视频画面的解决、音频的解决。 完满的剪辑须要满足六项准则，按程序，别离是剪辑的情感，故事性，剪辑编排的节奏，眼帘的走向，二维个性以及三维平面的连贯性。剪辑的外围关键点在于何时、何处将一个画面转向另一个画面。 为了更好地服务云上生产制作的客户，智能媒体生产服务解构出五种能力： 第一，提供大量的素材； 第二，提供多样化工具； 第三，可能高效地对视频素材画面进行解构，便于后续工夫线的编排； 第四，在剪辑交互操作过程中，引入丰盛的视觉和音频成果； 第五，整体的剪辑是连贯，零打碎敲的。 基于此，设计有生命力的生产制作流程，成为视频智能媒体服务须要思考的重点。 02 云端一体，协同运行工作流程智能媒体生产的流程能够分为三个局部。 输出局部的外围是内容资源库的治理和设计，既包含丰盛的起源，也领有多样化的文件类型，其中蕴含传统的音视图文等媒资，也蕴含更泛化的元数据、富文本和故事板等类型。 输入的成片以及媒体内容，也能够反过来回溯到输出局部，作为下一次创作素材的补充。 素材通过媒体预处理的环节，从视觉、声音、文本等多个维度进行智能剖析与解决，输入针对视频画面和声音的解构，用于创作者联合不同场景创作工具进行思路创作。 其中，既包含挪动端的创作工具，又包含Web端的剪辑工具，还有基于云端的模板工厂和AI辅助的规模化、批量化生产制作工具。 生产制作局部，列举了剪辑制作的各种能力，既有简略的剪切拼接，也有多轨的图像叠加和混音、图文混编，叠加智能能力的字幕、配音、集锦以及综合制作。 影像内容生产实际上是智能媒体生产制作的输入渠道，既能够输入间接用于散发的成片，可二创的素材，同时还能够输入非视频文件的故事板，用于线下精编进行二次加工，而生产体验反馈又会回到智能制作零碎的AI算法侧，促成AI的自学习。 技术架构智能媒体生产的技术架构，从下往上看，最底侧是媒体生产所依赖的媒资库，包含音视图文元数据，文件与实时流，模版，制作工程以及长期媒资文件，同时还包含以特征值为主的人物、标签、版权和镜头等类型。 两头是媒体生产的外围架构模块，可分成生产工具和生产制作服务两大模块，并通过API进行桥接。生产工具方面，次要是故事板、成果编辑和播放器三个组件，底层的内核是预览的渲染引擎。 生产制作服务方面也分为三个外围模块：最底层渲染合成的剪辑制作模块，工夫线纠错和补全的解决核心，以及用于规模化、批量化生产的模板工厂。 对于工夫线，工夫线既反对人工组织，也反对AI辅助组织，而AI辅助组织工夫线依赖于很多原子AI算法能力。 再往上两个档次别离是SaaS各种服务/页面，以及不同的生产制作场景，以上形成了智能媒体生产的技术架构。 服务档次智能媒体生产的服务档次，是提供云端一体、可分可合的PaaS云服务和PaaS+的WebSDK。如何了解云端一体？云端一体就是云跟端在协定和顶层设计上进行一体化设计，所有云服务提供的能力都能够由端上的WebSDK提供，端侧的WebSDK最终所指向调用的云端服务，跟通过API调用是截然不同的。 可分可合的意思是能够独自地应用WebSDK，或者独自地应用云服务而不受影响。 先看云服务，云服务的外围是通过OpenAPI提供服务，最初剪辑制作工作实现的告诉靠事件告诉工具来回调。 整个OpenAPI分成四大板块，一是剪辑制作，是最外围的板块，包含规范剪辑，直播剪辑，以及更简单的云剪辑工程治理。二是媒资库，即对于素材库以及输入成片的治理。三是智能工作，在剪辑制作过程中施展辅助的API作用。四是模板工厂，次要提供批量化、规模化升高门槛服务，而公共配置实际上是为事件告诉服务的。 云服务板块与下面的WebSDK一脉相承。 WebSDK提供的外围场景能力有三种，别离为规范剪辑，直播剪辑和模板工厂剪辑。 规范剪辑次要波及资源和交互两个门类，资源即各种轨道、素材、滤镜、转场、特效等成果，交互即提供各种剪辑操作方面的交互模式。 直播剪辑也是如此，不同的是，直播剪辑操作的资源是直播流，交互则采纳了双播放器以及单轨剪辑模式。 模板工厂剪辑的资源跟规范剪辑雷同，然而交互存在一些区别，能够依据工夫线的固定局部创立模板，而后将模板中可替换的素材或者是非素材局部进行参数笼罩。 WebSDK公共的两大子组件，别离是工夫线和剪辑播放器，工夫线目前反对多轨、多素材和多种成果，依照创意思路进行编排，与传统播放器相比，剪辑播放器除了反对List播放以及工夫线成果预览之外，还须要将素材叠加各种成果进行单视频播放。 WebSDK逻辑兼顾交互逻辑和UI，自带CSS款式，客户能够通过简略的十几行代码，十分快捷地创立属于本人的剪辑交互界面。 03 技术原理与设计实现基本概念l 素材 素材即用于剪辑制作的原材料，领有丰盛的类型，如视频，纯音频，图片，独立字幕等，也能够是泛文本，或者是逻辑的设计实体。 l 工夫线 工夫线是智能媒体生产最外围的概念，是音视图文多层轨道，多个素材，多类成果，依照视频创作思路编排的过程和后果，既形容创作的过程，也形容创作的后果。 同时也是剪辑合成的根据，当把后果提交到云端时，云剪辑的合成服务就会依照工夫线最终后果进行渲染和合成，因而，工夫线是智能媒体生产最重要的数据结构，也是视频生产制作的外围。 l 模板 模板是把工夫线的素材编排法则，包含转场/滤镜/特效的法则，以及其余法则进行形象，并把其中能够固定的局部进行固定化、标准化的后果。相比工夫线，应用模板会更加不便、容易地进行规模化的制作。 ...

Cloud Ace, Inc.（总部：东京都千代田区，代表：青木诚，以下简称 Cloud Ace）在2023年2月7日发表于德国设立新法人（即子公司）。  Cloud Ace 至今以在寰球设立据点为指标，全力于亚洲市场扩张事业幅员，而此次在欧洲最大经济体之一的德国设立子公司一举，也成为Cloud Ace 进军欧洲市场的立足点。云端作为声援工厂智慧化的技术与设计准则实现的开发根底，在提倡「工业4.0」的德国，今后预计会有更宏大的应用需要。  德国子公司Cloud-Ace GmbH 位处的德国首都柏林近年成为新创公司圣地，当地也诞生了泛滥独角兽企业（在股票公开发行前，达到十亿美金估值的新创公司）。为了回应这样新型事业辈出的市场需求，Cloud Ace 将提供整合了至今培养的常识与技术实力的最佳解决方案，为能对德国的企业生态系产生奉献而致力。  此次设立的子公司，将成为继日本（东京、大阪、名古屋、福冈）、越南（河内、胡志明市）、新加坡、中国台湾、印尼、泰国、中国、中国香港和印度后的第14个营业据点。 今后，Cloud Ace 也将致力于输入日本高品质的零碎整合（SI），与进一步强化蕴含所有据点一起共享技术资源的全球化体制，着手致力于进步世界级的技术实力与服务品质。  【 对于德国法人（子公司）】公司名称：Cloud Ace GmbH法人代表：吉田伦太郎（Rintaro Yoshida）地址：Akazienstraße 3a 10823 Berlin GermanyEｍail：info-de@cloud-ace.com  【对于Cloud Ace】总部：日本东京千代田区大手町2-6-2，11楼。代表：青木诚深圳公司：广东省深圳市南山曙光大厦705网站：https://cloud-ace.cn/  Cloud Ace是亚太地区领有最多据点的Google Cloud经销商，领有200多名工程师，是谷歌最高级别合作伙伴，屡次取得Google Cloud合作伙伴奖。Cloud Ace专一于提供谷歌云及相干服务，提供从云装置设计到运维的一站式反对。作为谷歌云托管服务商，咱们提供技术支持、征询、零碎开发、谷歌云认证培训。Cloud Ace在日本4个城市和越南河内胡志明, 新加坡, 印尼, 泰国, 中国台湾香港深圳等地设有办事处，服务客户超过1000家，并与120多家合作伙伴公司独特推动数据迁徙。

　在数字中国建设大势之下，数据作为新因素，驱动各行业进行数字化转型，千行百业得益于数据产业的倒退，一直开辟出新的商业空间，海量数据在不同层级、不同地区、不同业务、不同零碎、不同部门之间流动浸透。数据在手，如何开释数据价值和高效实现数据价值最大化，成为关键问题。 面对更加宏大的数据资源量和更加丰盛的业务场景需要，政企客户须要更加便捷的云上大数据管理和服务能力，实现数据的全生命周期治理，以及更高效便捷的采集、存储、计算、剖析、利用能力。在新局势、新政策和新需要的催化下，数字经济倒退和数字化转型建设减速了数据云落地。 解构改革，浪潮集团旗下浪潮云保持“云网边端交融”“云数智交融”“建管运交融”的工作方针，秉持新一代行业云MEP策略，以大数据、区块链、物联网、人工智能等核心技术减速迭代翻新，贴合政企客户实在数字化转型业务场景需要，推出自主可控、安全可靠、灵便凋谢、全生命周期治理的数据云（IBP）产品，锚定数字产业化和产业数字化过程中的云数智交融能力、数据资产平安治理能力、数据因素可信流通能力，构建新型数据基础设施。 数据云是面向数据的基础设施。浪潮数据云IBP是以数据因素为外围，交融云计算、大数据、人工智能、区块链、数据安全等技术，实现数据全生命周期的对立治理、可信治理、麻利翻新的数据基础设施。数据云作为一种新型数据基础设施，能够帮忙用户搭建数据采集、计算、应用环境，助力数据资源变为数据资产，实现数据资产的可管、可控、可经营。 针对政府数字化转型场景，数据云IBP作为数据基础设施构建全国一体化政务大数据体系，助力政务数据可信流通，打造跨层级、跨地区、跨业务、跨零碎、跨部门的数据流通网络。以山东省一体化大数据平台为例，浪潮数据云IBP纵向买通省本级节点、市级节点、区县节点，横向联通各部门数据，实现政务数据高效共享。 针对企业数字化转型场景，数据云IBP可助力企业数字化经营，减速企业数据的商业价值转化。浪潮云借助一体化大数据平台，为能源、化工、农业、园区等企业场景提供数据采集、数据存储和数据实时剖析等服务，帮忙企业用户深度开掘数据，实现基于数据驱动的数字化转型。此外，数据云的衰亡还能够催生全新的商业场景，将数据经营体系化、专门化、专业化，减速数据因素市场化配置的推动。 目前，浪潮数据云IBP已广泛应用于智慧城市、智慧园区、数字政府、智慧交通、智慧水利等千行百业，帮忙各行各业买通数据壁垒、充沛开掘数据价值，实现数字化转型。将来，浪潮云也将继续保持以云网边端交融、云数智交融、建管运交融方针为领导，锻炼外围能力，助力用户将数据因素的力量融入政府治理、城市运行、企业经营和商业繁殖之中，为数字中国建设一直奉献浪潮智慧、浪潮计划。

【本文由Cloud Ace整顿公布，谷歌云服务请拜访 Cloud Ace 官网】 灵便的应用程序架构、CI/CD 管道和容器工作负载通常运行不受信赖的代码，因而应该与敏感的基础设施隔离。一种常见的解决方案是部署纵深进攻产品（如应用gVisor的GKE Sandbox）以通过额定的保护层隔离工作负载。Google Cloud 的无服务器产品（App Engine、Cloud Run、Cloud Functions）也应用 gVisor 对应用程序工作负载进行沙箱解决。 然而，减少进攻层也会带来新的性能挑战。当 gVisor 的用户空间内核须要多个操作来遍历文件系统门路时，而后谷歌发现了一个这样的挑战。为了解决这个问题并显着进步 gVisor 的性能，编写了一个全新的文件系统层，同时思考到性能，同时放弃雷同级别的安全性。新文件系统 (VFS2) 缩小了为文件系统零碎调用提供服务所需的操作数，缩小了锁争用，更无效地分配内存，并进步了与 Linux 的兼容性。 纵深进攻和文件系统第一层进攻是在用户模式下运行的 gVisor 内核。gVisor 威逼模型假如歹意容器能够毁坏 gVisor 的内核，同时仍将歹意容器与底层主机基础设施或其余工作负载隔离开来。因为 gVisor 内核不可信赖，因而它无奈间接拜访文件系统。文件系统操作由代理（称为 Gofer）代理，该代理与可能的歹意工作负载隔离。关上、创立和统计等操作被转发到代理，通过审查，而后由代理执行。Gofers 作为一个独自的过程运行，pod 中的每个容器一个，并且还受到深度进攻层的爱护，仅授予它所需的拜访权限。 在 gofer 授予对文件的拜访权限后，在 gVisor 内核文件系统返工之前，须要大量操作来遍历文件门路，从而导致一些性能缺点。这个问题在应用 gofer 挂载文件系统时尤为显著，其中每个操作的往返老本因 RPC 和调度老本而加剧。更值得注意的是，gVisor 沙箱会向 gofer 收回新的 RPC 以遍历每个门路组件，这会大大降低性能。 改良的文件系统性能应答这一挑战须要使 gVisor 的哨兵可能将门路解析间接委托给文件系统。这容许 gofer 文件系统收回单个 RPC 来执行大型遍历，而不是为操作中的每个门路组件收回一个 RPC。例如，在 VFS1 中，stat(/foo/bar/baz) 向 gofer (foo, bar, baz) 生成至多三个 RPC，而 VFS2 只生成一个。 借此机会，谷歌从新设计了 sandbox-gofer 协定层。而早些时候应用的是 9P2000.L 协定的批改版本。然而，这个协定十分繁琐，收回许多 RPC 并耗费大量内存。谷歌构建了一个名为LISAFS（Linux 沙盒文件系统协定）的新协定来代替 9P。LISAFS 在 RPC 和内存应用方面更经济。LISAFS 为多路径组件行走提供 RPC。VFS2 中的 gofer 文件系统当初能够应用 LISAFS 执行这种一次性遍历。LISAFS 还能够通过 RPC 执行更快的文件 IO。 ...

云原生边缘计算智能开源平台 CNCF OpenYurt 于近期公布了 v1.2 版本。OpenYurt 是业界首个对云原生体系无侵入智能边缘计算平台，具备全方位的“云、边、端一体化”能力，可能疾速实现海量边缘计算业务和异构算力的高效交付、运维及治理。 在 v1.2 版本中，OpenYurt 遵循社区提出的“节点池治理”理念，新增组件 Pool-Coordinaotr，提出了一套针对云边场景的资源、网络、利用、监控等角度的边缘治理计划。本文首先聚焦云边场景下的网络优化问题的解决进行解读，敬请继续关注。 Pool-Coordinator 节点池治理及其对云边网络的优化组件背景早在去年年初，社区就提出了 “节点池治理” 的概念。节点池为 OpenYurt 生态概念，示意集群内一组网络互通的边缘机器节点。在云边协同场景，边缘 IOT 设施与算力往往依赖多台机器节点工作，节点池概念为 OpenYurt 生态在边缘算力的管控粒度方面减少了一个维度。而“节点池治理”，专一于边缘机器的资源、网络、生命周期、可观测指标等等角度，提供了边缘测视角与治理思路。 Pool-Coordinator 在社区内首次践行了这一概念，提出了一套针对云边场景的资源、网络、利用、监控等角度的边缘治理计划，具备高可用能力。 边缘根底组件对云边网络的需要与挑战边缘根底组件对于边云网络的要求，驱使着 OpenYurt 为开发者提供更正当、更优化的解决方案。 首先是云边网络带宽根底条件的问题。在云原生边缘计算的场景中，云边网络通路带宽往往受到各个方面的限度，例如机器资源，物理间隔，资金老本等，这就导致对于局部厂商和用户，其云边网络条件带宽较低，甚至在各别特定环境的节点池带宽极低。 其次是集群资源数据量的问题。边缘集群往往笼罩较多地区、机器节点与物理设施，相比于一般集群，其笼罩地区广大，规模较大，集群整体资源量也就绝对较多。对于局部集群根底组件，例如代理组件、CNI 组件、DNS 组件，甚至局部业务组件，例如设施驱动程序，边缘基础架构中间件等，须要在启动时通过 K8S List/Watch 机制来拉取全量资源并监听，这个过程对网络要求较高。 再者是边缘根底组件的重要性，在新节点纳管入边缘集群时，初始化程序会拉起一系列 OpenYurt 边缘根底组件与配置，待顺利初始化，才会调度业务程序至节点。一旦边缘根底组件因为带宽起因，拉取依赖资源失败，会导致边缘机器业务利用无奈启动，边缘节点算力扩容失败。另一方面，处于运行中的边缘根底组件，如果长时间拉取资源失败，可能造成网络、代理、存储资源与核心不同步，造成业务危险。 能力、架构实现与工作形式3.1 Pool-Scope（节点池维度）资源缓存Pool-Coordinator 会为节点池维度的资源提供边缘侧缓存，从而升高因为这些资源的大量 list/watch 申请造成的云边网络带宽问题。 在部署阶段，开发者能够通过装置 Chart 包的形式，将 Pool-Coordinator 组件装置至集群，该过程利用了 OpenYurt 生态的 YurtAppDaemon 资源，将这一组件以节点池粒度部署至所有的边缘节点池，每个节点池一个实例。 待 Pool-Coordinator 实例启动，会由选主机制选出的 Leader YurtHub 将 Pool-Scope 资源，例如 endpoints/endpointslice 拉取至边缘，进而同步至 Pool-Coordinator 组件，缓存起来，以供节点池内全副节点应用。 节点池内全副节点上运行的 YurtHub，将 Pool-Scope 资源读申请代理至 Pool-Coordinator。实践上，针对一个资源的全量申请，一个节点池只须要一条云边长链接即可，节点池内的这些资源的读申请，都交由 Pool-Coordinator 向下提供服务，从而极大水平升高云边网络耗费。特地是在具备带宽要求的弱网络场景，Pool-Coordinator 能够减弱因为边缘根底容器启动/重建导致的大量申请，以及缩小运行期间的云边资源下发量。 ...

零售商在 Google Cloud 上运行容器，为什么这很重要？ 容器（Containers）是古代应用程序的外围。依据 2022 年DevOps 状态报告，容器在过来两年中始终是次要服务和应用程序的头等部署指标，并且采用率持续疾速进步。 这一点在零售业中体现得最为显著。在进步库存利润率和经营效率是重中之重的世界中，容器让批发组织的 IT 团队可能做到这一点。 Google 创始了容器技术，Google Cloud 针对容器进行了优化。在 Google Cloud 中运行容器所取得的灵活性和速度对于零售商在应用程序现代化过程中至关重要。 以下是在 Google Cloud 上运行容器化工作负载的三个零售商，以及它如何帮忙他们在竞争中放弃领先地位： 家乐福寰球批发巨头家乐福的台湾业务抉择了 Cloud Run 和 GKE 的组合，以构建更灵便和可扩大的基础设施，减速增长并升高经营老本。该零售商当初在 SAP on Google Cloud 上部署其企业资源布局、人力资源和供应链管理系统，同时在 Cloud Run 上应用容器运行其电子商务平台，并在 Google Kubernetes Engine (GKE) 上应用服务器运行其挪动应用程序。 欧莱雅作为美容行业的传奇领导者，欧莱雅抉择应用 Cloud Run 的托管容器治理将各种数据集引入 BigQuery 的过程，以满足其零碎的可扩展性、灵活性和可移植性需要。对于零售商而言，可能掂量和理解其公共云应用的环境脚印也是反对其可继续倒退致力的重要一步。借助Google Cloud Carbon Footprint，欧莱雅能够轻松理解其可继续基础设施办法和架构准则的影响。 “Cloud Run 给你有限可能。你能够应用你想要的库，你能够应用你想要的语言，还能够具备可移植性。”——欧莱雅 Rent the Runway在线时装零售商Rent the Runway抉择 GKE 来进步其可靠性并最大限度地缩小客户的提早。在托管数据中心和虚拟机上运行了十年之后，Rent the Runway 迁徙到 GKE 以简化其底层基础架构，缩小 IT 团队治理它所破费的工夫，并加强其疾速扩大计算和存储的能力上或下取决于其客户的需要。 这些零售商都有一个共同点：他们抉择集装箱是因为它具备灵活性和便携性。但容器只是一种包装模式。这些零售商来到谷歌云是因为谷歌云在各种平台上运行容器十分好。 首先，谷歌云设计 Cloud Run 和 GKE 是为了尽可能简略和疾速地在云中运行容器。开发人员心愿应用他们喜爱的语言编写代码并将代码平安地部署到生产环境中，而不用放心他们最喜爱的开源库是否受反对。 ...

新春之际，很快乐在此时发表 Sealer[1] 0.9 版本的正式公布。Sealer 是一款致力于摸索面向分布式应用的疾速打包、交付和运行的解决方案。2021 年5月 Sealer 我的项目正式开源；短短一年工夫，Sealer 在 2022 年 4 月成为 CNCF Sandbox 我的项目。 Sealer 0.9 版本中，其在外围定位上由专一 “集群维度的 Build，Share，Run” 降级为 “以集群为根底，以利用为核心，帮忙集群和分布式应用实现 Build, Share，Run”，并重点加强了对利用的反对能力。 版本详解加强对利用的反对利用与集群解耦Docker Image 很好的解决了单机利用的打包交付问题，而 Sealer Image[2] 尝试在集群维度，解决类 Kubernetes 集群以及分布式应用的打包交付问题。Sealer Image 基于蕴含内容将 Sealer Image 分为集群镜像和利用镜像。其中： 集群镜像，示意一个镜像蕴含 cluster runtime，如 Kubernetes、K0S、K3S 等。Run 阶段既会装置集群也会装置利用（如果蕴含了利用）利用镜像，示意一个镜像未蕴含 cluster runtime，其须要基于已有的集群进行装置。Kubefile 反对 LABEL & KUBEVERSION 指令Kubefile 中 LABEL 指令相似 Dockerfile LABEL 指令，容许用户针对 Sealer Image 指定一些元数据信息，这些元数据信息在构建实现后可通过 sealer inspect 命令查看。 其中，Sealer 官网保留以 *http://sealer.io/ 为前缀的 label key，如：针对集群镜像，通过 LABEL 可申明集群镜像反对的能力列表等信息 http://cluster.alpha.sealer.i...，反对的集群类型，如 kubernetes, k0s, k3s 等http://cluster.alpha.sealer.i...，反对的集群 runtime 的版本，如 kubernetes 版本http://cluster.alpha.sealer.i...，反对的 container runtime 类型，如 docker，containerd 等http://cluster.alpha.sealer.i...，反对的 container runtime 版本，如 docker 版本http://cluster.alpha.sealer.i...，反对的 CNI 列表，如 calico，flannel 等http://cluster.alpha.sealer.i...，反对的 CSI 列表，如 alibaba-cloud-csi-driver 等针对利用镜像，通过 LABEL 可申明利用镜像兼容的 kube runtime 版本等信息，通过申明解耦集群镜像 ...

2021年，UC Berkeley的Ion Stoica和Scott Shenker，在运行零碎热点话题的研讨会上，公布了“从云计算到天空计算”的论文。不同于咱们都熟知的Cloud Computing(“云计算”)，Sky Computing (“天空计算”)，是云计算的将来，是指天空中有很多的云，如何解决跨云的问题，突破不同云之间的隔膜，最大化地利用跨云数据。 达坦科技的使命正如同论文中形容的“天空计算”的愿景：打造下一代云计算平台，让云之间没有隔膜。为此，新年伊始，咱们翻译了这篇论文，将分两期公布。如下是“从云计算到天空计算”的第一局部。 简介1961年，John McCarthy 对将来计算提出了一个预言: “兴许在将来的某天,计算自身将会成为基础设施, 就像电话一样。咱们能够连贯到计算服务提供商, 用户只需为应用的计算资源付费, 就领有了可能应用整个零碎的能力。” 从技术角度而言, John McCarthy 的预测还是很有预见性的, 他精确地形容了当今云计算的应用场景。 然而在商业上 John 的预测就差得比拟远了, 例如在美国连电话服务都不是公共设施，因为该服务是由一系列服务商提供的。 尽管如此, 电话服务还是给用户提供了对立的用户体验，即无论用户应用的是哪一个电话运营商的服务, 他都能接通电话网络上的任何人, 并且该用户想要切换供运营商也十分不便, 甚至可能保留电话号码。 回到 John McCarthy 的预测, 咱们其实也并不冀望可能将计算变成一个公共服务, 然而当初的云计算依然不是一个可行的解决方案。 每一家云计算都在提供本人定制的服务, 相互之间差异较大无奈转换。综上，本文将论述如何一步一步地抹平这些差别, 将云计算变成更加通用的天空计算。 历史的回顾高性能计算社区(HPC)在1980年代已经尝试过将计算倒退成为基础设施, 然而个人电脑的崛起拖慢了这个过程, 人们纷纷将注意力放到了如何将电脑小型化上, 以便让所有人都能应用上电脑。个人电脑产业的第一批发起者是一些电脑爱好者, 他们让电脑变得更加轻薄, 同时摩尔定律也使得电脑的性能失去急速晋升, 从而满足了人们日渐减少的需要。 因特网的倒退使得一些服务被大家宽泛应用, 例如电子邮件, 论坛和游戏。万维网则推动了下一波的浪潮, 包含网络搜寻, 电商和社交媒体。为了上述服务可能失常运行且满足日益增长的需要, 服务商们不得不搭建本人的数据中心, 并构建简单的分布式系统。 这场静止囊括的都是大家耳熟能详的大公司, 像雅虎,谷歌,Ebay和亚马逊等。因为建设这样大规模的数据中心须要有微小的资产投入, 因而是一个十分高的壁垒，使得绝大多数小公司无奈进入。 上述的状况在 2006 年产生了扭转, Amazon 开始提供 S3 和 EC2服务, 以此开启了云计算的时代。原本以此为开始, 咱们是有机会倒退出上述的"天空计算"的, 然而因为sk商业上的起因，咱们最终走向了另外一个方向。 在晚期 Amazon 主导了整个云计算市场, 成为了该畛域的事实标准。然而过来的十年市场产生了天翻地覆的变动, AWS 当初只有32% 的市场份额, 微软紧随其后占有 19% 的份额, 谷歌 7% 份额, 阿里巴巴 6% 份额, 后续所有云计算厂商瓜分了残余的 37% 份额。这样的市场散布造就了更低的应用价格, 也产生了更多的服务和产品广度, 例如 AWS 一家就提供了超过 175 种产品和服务。 这些服务绝大多数是私有化服务, 并且这些个性化的服务也是云计算提供商达到区分度的伎俩之一。举个例子, 每个云计算提供商都有本人版本的 API 来治理集群, 也都有本人面向对象的存储接口等等。程序开发人员为一个云平台开发的软件无奈间接在另外一个云平台上运行, 想要达到上述目标须要进行大量的二次开发。这就如同为 Windows 零碎开发的程序无奈间接在 Mac OS 上间接运行一样。正是因为这些商业竞争使得咱们间隔计算公共设施化越来越远。 ...

寰球当先的IT市场钻研和征询公司IDC公布 《中国视频云市场跟踪（2022上半年）》 阿里云间断五年稳居 中国视频云整体市场份额第一 整体市场份额占比达25.4% 近日，寰球当先的IT市场钻研和征询公司IDC公布的《中国视频云市场跟踪（2022上半年）》报告显示，2022上半年中国视频云市场规模达到50.5亿美元（约353亿元人民币），同比增长15.7%。头部客户入局视频云市场，甚至是整个私有云计算市场，正在扭转远期视频云市场的底层增长逻辑。 数据显示，2022年上半年阿里云视频云市场占比高达25.4%，稳步放弃整体市场份额第一的地位，这亦是IDC自2018年跟踪中国视频云市场以来，阿里云间断第五年放弃领先者的角色。同时，在视频CDN份额、视频私有云/专属云基础设施等市场细分畛域，阿里云仍然继续高居市场份额第一，全笼罩式领跑中国视频云赛道。 IDC报告显示，2022上半年，中国视频云基础设施市场规模达到40.0亿美元，其中，阿里云视频云基础设施份额占比高达34.7%；同期，中国视频云解决方案市场规模达到10.5亿美元，视频直播、点播与音视频通信仍然是外围，而随着传统行业客户比例一直进步，诸如媒资治理、轻量化内容生产、客户触达等场景和需要正在成为市场的“新动能”。 面对视频云赛道所凸显的“老本极致化”、“社会视频化”的趋势，阿里云视频云在技术侧聚焦“编解码与网络QOS”等技术指标晋升，通过冲破当下技术极限保障在高清、实时、晦涩等体验统一的状况下老本更省；在产品侧则面向内容生产公布一站式轻量开发平台，助力“视频”向传统行业浸透，减速传统行业视频普惠化。 在IDC此次报告中，尤为提到， “更高的编码效率、创新性的边缘技术产品成为基础设施市场的关注焦点，头部综合型服务商减速底层资源整合，交融边缘云基础设施资源，建设起对立的音视频散发与实时通信网络。” 以后，阿里云视频云已下沉至边缘，基于2800+节点的就近散布，构建了一张超低延时、全分布式下沉的通信级网络：寰球实时传输网络GRTN（Global Real-time Transport Network）,在升高传输网络延时与带宽老本的同时，极大满足了用户对视频体验的极致谋求。 IDC依据2022上半年理论状况更新了全年预测数据，并联合行业最新倒退动静和上游预测数据，小幅升高远期市场增长预期及规模，此次数据显示，2026年市场规模靠近300亿美元。 在数字化时代，音视频作为一种更高效的信息传递载体，对于实现连贯与协同、进步客户触达效率、提供更好的交互体验、甚至是在数据驱动决策模式下实现业务与流程翻新，都具备重要意义。 在经验了两次高速增长后，视频云市场进入了短暂的调整周期，IDC中国行业云服务钻研经理魏云峰示意，随着上游音视频交互与沉迷式设施的一直降级与欠缺，也为两年后视频云的“下一站”带来了广大的遥想空间。

开源我的项目举荐kubernetes-chatgpt-bot这是一个实用于 Slack 的 ChatGPT 机器人，只有有监控告警发送到 Slack 频道中，你就能够通过机器人向 ChatGPT 征询如何解决这个告警，ChatGPT 将会给出一个较为具体的解决方案。 CopaceticCopacetic 是一个应用 Go 语言编写的 CLI 工具，它能够依据 Trivy 等工具的破绽扫描后果间接修补正在运行的容器，不须要上游从新构建残缺的镜像。 SlashbaseSlashbase 是一个运行在浏览器中的合作式数据库 IDE，反对 PostgreSQL 和 MongoDB，能够在团队外部共享查问语句。 Krossboard Kubernetes OperatorKrossboard Kubernetes Operator 是一个开源的 Kubernetes 计量计费零碎，能够跨云厂商和 Kubernetes 集群统计集群资源的应用状况，以及预测是否须要扩缩容，从而节俭经营老本。 tfk8stfk8s 是一个 CLI 工具，能够将 Kubernetes YAML 清单转换为 Terraform HCL。 视频举荐什么是继续剖析？这个视频介绍了什么是继续剖析（Continuous Profiling），并介绍了开源继续剖析解决方案 Pyroscope。 主动伸缩本地裸机 Kubernetes 集群这个视频介绍了如何将 Cluster-API、Metal3-io 和 Cluster Autoscaler 这三个我的项目联合起来，实现裸机 Kubernetes 集群的主动伸缩。 文章举荐Kubernetes 集群降级最佳实际本文探讨了降级遗留 Kubernetes 集群的过程以及如何应用一些技巧来使降级过程更安稳。 在 KubeSphere 中玩转 KubeEdge 边缘计算本文介绍了边缘计算的场景和架构，并以一个 Demo 示例展现如何在 KubeSphere 上应用边缘计算。 ...

服务器信息在阿里云买了个抢占式的服务器，地区为华南广州，零碎为Ubuntu 20.04，8核16GB。 装置Docker命令如下： $ apt-get update -y$ apt-get upgrade -y$ apt-get install -y docker.io装置胜利后，检查一下版本： $ docker versionClient: Version: 20.10.7 API version: 1.41 Go version: go1.13.8 Git commit: 20.10.7-0ubuntu5~20.04.2 Built: Mon Nov 1 00:34:17 2021 OS/Arch: linux/amd64 Context: default Experimental: trueServer: Engine: Version: 20.10.7 API version: 1.41 (minimum version 1.12) Go version: go1.13.8 Git commit: 20.10.7-0ubuntu5~20.04.2 Built: Fri Oct 22 00:45:53 2021 OS/Arch: linux/amd64 Experimental: false containerd: Version: 1.5.5-0ubuntu3~20.04.1 GitCommit: runc: Version: 1.0.1-0ubuntu2~20.04.1 GitCommit: docker-init: Version: 0.19.0 GitCommit: 要批改Docker配置文件，让它能够应用公有的registry： ...

2022 年，国内的云原生技术生态日趋完善，细分技术我的项目也不断涌现，造成了残缺的撑持利用云原生化的全生命周期技术体系。基础设施即代码、微服务、Serverless 等技术，促使基础设施资源向更加灵便弹性、自动化方向倒退。而开源生态也从“高速凋敝”逐渐向“稳步求精”演进。 KubeSphere 社区在所有社区用户、贡献者、合作伙伴的独特合作中，也在稳步前进。 2022 年曾经成为回顾，咱们一起来回顾一下 KubeSphere 开源社区在过来一年的成长故事，并对所有参加过 KubeSphere 社区奉献的成员致以最诚挚的感激与问候。 开源我的项目倒退状况2022 年，KubeSphere 在稳步发展的过程中，也迈入了新的里程碑：GitHub star 数超过 10000。感激每一位为 KubeSphere 我的项目做出奉献的小伙伴，无论是为我的项目提交代码，还是提出问题、欠缺文档，或者是分享对于 KubeSphere 和云原生的落地教训，你都在为 KubeSphere 的提高施展着无足轻重的作用。 而由 KubeSphere 社区衍生出的其余开源我的项目，也在稳步前进。其中，OpenFunction 在 2022 年 4 月份，进入 CNCF Sandbox。至此，KubeSphere 社区已有两个开源我的项目（OpenELB/OpenFunction）进入 CNCF Sandbox，而 Fluent Operator 也于 2021 年募捐给了上游社区 Fluent。借助 CNCF 与上游社区的力量，为我的项目注入新的更多的生机。 合作伙伴与利用生态利用商店与利用全生命周期治理是 KubeSphere 的特色，过来一年，咱们又新增了很多合作伙伴，丰盛了利用生态。例如，咱们的合作伙伴曾经将 8 个云原生利用（极狐GitLab、Pulsar、OpenELB、Meshery、Crane、Deepflow、Databend 和 CurveFS）增加到了 KubeSphere 利用商店。在此，向所有的合作伙伴致以最诚挚的谢意！ 从 v4.0 开始，KubeSphere 会提供前后端可插拔的架构和框架，任何第三方合作伙伴和 ISV 都能够基于 KubeSphere 4.0 凋谢框架，开发扩大本人想要的性能插件，这些性能插件与 KubeSphere 有完全一致的 UI 体验，造成更弱小的利用生态。这就好比 Mac OS 和 App Store 之间的关系一样，任何企业或团队都能够公布本人开发的插件到利用商店，灵便满足各类用户的需要，在社区和商业上与青云单干互利共赢。 ...

1 什么是Terraform?Terraform是一个IaC工具，IaC全称为Infrastructure as Code，基础设施即代码。它的理念是通过代码来治理基础设施，如服务器、数据库等，更多请看《Terraform入门教程，示例展现治理Docker和Kubernetes资源》。 而作为IaC的事实标准，理解并学习Terraform还是很有必要的。工作中也用到了Terraform，所以我就去考了Terraform Associate这个证书。 2 对于Terraform AssociateHashiCorp提供的考试只有三种：Terraform Associate、Vault Associate和Consul Associate，没有难度能够选，所以只能才Terraform Associate了。不像各种云证书，形形色色。 Terraform Associate这个证书是专门为云计算工程师，包含运维人员和开发人员所筹备的。最好是曾经在生产上有实践经验的人员，如果没有理论的生产教训也能够，但要做更多的学习和实操练习。 根本要求根底的命令行常识； 根底的云计算常识； 版本要求我考的时候，要求是0.14及以上。 考试信息题目类型：判断、单选、多选和填空题； 模式：线上考试 时长：1小时 价格：70.5美元 语言：英语 有效期：2年 考试纲要和报名地址：https://www.hashicorp.com/cer... 3 如何筹备整体来说，考试不算难，题目很多都是很简略很间接的。要求大家对于Terraform的概念要比拟熟。像我大略筹备了一个星期，次要看以下材料： 官网学习领导：工夫充沛，倡议通过这个学习。 官网考试领导：针对考试纲要，列出对应的材料。如果工夫无限，而且对Terraform曾经有肯定理解，能够间接看这份。 题目例子：能够提前理解题目大略是什么样子的。 我基本上只看了官网考试领导，针对考试纲要学习。把每个知识点都过了一遍，很难全副记住，但概念肯定要理清。 4 考试要提前报名约考，要留神选对时区。会提前30分钟提供考试按钮，须要做一个环境查看。考试是通过视频监考的，要求在一个宁静独立的空间，我是在家里的房间考的。考前会让你拿着摄像头查看整个房间的状态，确保没有其它人，没有其它材料。同时手机要远离本人，确保本人无奈拿到。 考试时长1个小时，大略有59道题左右吧。释怀，必定能做完，大多数题目很简略，一眼就晓得答案。我大略花了30分钟做完了题目，而后还做了个考察问卷就完结了。完结后马上晓得问题。我是80多分通过的，但具体多少分通过不晓得，网上有人说是70分。 考试完结后，能够马上收到邮件，通知你通过了，并取得了证书。 Reference: pkslow terraform

1 简介Cloud SQL 是GCP上的关系型数据库，罕用的有三种形式来创立： (1) 界面操作 (2) 命令行 gcloud (3) Terraform 在开始之前，能够查看：《初始化一个GCP我的项目并用gcloud拜访操作》。 2 GCP 操作界面登陆GCP，抉择SQL，能够创立MySQL、PostgreSQL和SQL Server： 以PostgreSQL为例，能够抉择很多参数： 3 gcloud命令通过命令行创立也很不便，能够自动化。命令如下： $ gcloud sql instances create pkslow-testdb \--database-version=POSTGRES_13 \--region=us-west1 \--cpu=1 \--memory=3840MB \--authorized-networks="0.0.0.0/0" Creating Cloud SQL instance...done. Created [https://sqladmin.googleapis.com/sql/v1beta4/projects/pkslow/instances/pkslow-testdb].NAME DATABASE_VERSION LOCATION TIER PRIMARY_ADDRESS PRIVATE_ADDRESS STATUSpkslow-testdb POSTGRES_13 us-west1-a db-custom-1-3840 34.83.146.214 - RUNNABLEauthorized-networks 这个参数很重要，它决定了哪些客户端能够连贯上数据库。 设置明码： $ gcloud sql users set-password postgres \--instance=pkslow-testdb \--password=pkpass给实例创立数据库： $ gcloud sql databases create billing --instance=pkslow-testdbCreating Cloud SQL database...done. Created database [billing].instance: pkslow-testdbname: billingproject: pkslow创立实现后，就能够在本地连接了： ...

刚刚辞别的2022年，是党和国家历史上极为不寻常的一年，振奋于历史性盛会收回继往开来的豪放宣言，在经济上行压力加大的状况下，数字经济作为国民经济的“加速器”作用凸显，成为经济复原向好的要害力量。 这是数字经济全面发力的一年 国内权威IT钻研与征询参谋机构Gartner最新公布的2023年十大策略技术趋势预测，到2027年，超过50%的企业将应用行业云平台来减速他们的业务我的项目。在宏观经济增长放缓、供应链短缺等诸多不稳固因素的影响下，国内数据机构IDC预测，将来5年国内云计算市场年复合增长率将在20%左右，到2025年，75%的组织将抉择可能在跨云、边缘和专属环境中提供一致性利用部署体验的技术合作伙伴。 羽化即为数字化过程，是物理世界和数字世界的链接或买通。云正成为拉通物理世界和数字世界实现羽化的新引擎。 Gartner 2023年十大策略技术趋势 2022年，浪潮集团旗下浪潮云深刻践行“自信自强、守正翻新，踔厉奋发、勇毅前行”的精力，继续加大新增长引擎投入。针对以后千行百业数字化转型面临的算力散布不均、数据因素治理、数字技能晋升三大外围问题，浪潮云以新一代行业云MEP策略为指引，以用户需要为核心，通过分布式云、一体化大数据平台、平安经营三个外围因素加以解决，助力政企用户逾越横亘于前的“数字鸿沟”。 2022年，浪潮云分布式云ICP（Inspur Cloud Platform）作为对立云服务平台底座，深耕分布式云、边缘计算、云原生等核心技术，通过核心云（ICP Central）、本地云（ICP Local）、边缘云（ICP Edge）三种部署状态，将算力服务输送至用户身边，为千行百业实现云上数字化翻新、产业降本增效提供分布式算力技术保障。 这一年，外围技术创新在路上， ICP产品序列继续充盈 2022年，浪潮云分布式云ICP聚焦关注平台创新能力和技术能力冲破，公布本地云ICP Local V3.6和边缘云ICP Edge V2.1，以足够宽敞、一直充盈的产品序列，全方位降级分布式云平台及服务。 分布式云ICP产品系列产品序列多项发力，浪潮云分布式云ICP综合实力极大加强：在架构优化方面，优化云平台部署架构，反对单集群1000+以上节点部署规模，治理规模晋升10倍以上，预计升高建设、经营保护老本10%；在平台性能方面，浪潮分布式云ICP ARM架构获SPEC Cloud测试寰球第一名，刷新了综合性能、KMeans性能、均匀实例配置工夫三项世界纪录；在稳定性方面，新增基于网络判断的主动疏散技术和磁盘故障预测能力，继续晋升平台及服务稳定性。 这一年，行业摸索落地在路上，分布式云让计算无处不在 2022年，以浪潮云分布式云ICP为外围，浪潮云减速全国布局，通过7大外围云数据中心、113个区域云核心、481个分布式云节点打造无处不在的算网体系，同时，依靠浪潮云寰球运行指挥核心OpsCenter实现云平台继续迭代和降级，超过2万个业务利用零碎在浪潮云上稳固运行。在政务畛域，浪潮云助力中国科协 “一云多芯”云服务平台，实现“核心云+本地云”异构资源的对立接入、对立治理、对立服务，通过提供一站式云原生利用运行环境，保障云原生利用云上开发和生命周期治理，撑持300+容器稳固运行；助力中国科协与全国学会、中央科协和基层组织，打造高低联动、纵横互通、共建共享的平台生态，撑持全国科技工作者实现服务质量晋升。 在行业畛域，浪潮云根据城轨团标规范技术要求，建设“南通轨交云”对立一朵分布式云，实现多线路资源共享，对立地铁信息系统服务，为南通轨交“线网云”云化降级赋能；参加建设日照医保云，赋能其业务利用翻新、数据凋谢共享，并助力我的项目荣获中国信通院《专有云平台成熟度能力》先进级认证。在边缘计算畛域，浪潮云为临沂疆土构建“1个核心云+9个边缘云”的分布式云平台，为疆土空间数据分析、GIS建模解决等提供边缘侧近场算力服务。该我的项目在边缘计算、云边协同畛域的分布式云翻新实际，荣获云计算开源产业联盟2022年度“分布式云与云边协同最佳实际案例”奖项。 这一年，载誉前行再登程，以口碑赢认可 2022年，浪潮云分布式云ICP积极参与国内外行业凋谢交流平台，以行业沟通、规范评测为抓手，以技术创新攻坚为外围，多项产品和服务以业余实力和用户口碑冲破荣获行业权威认可，入选中国信息通信研究院软件供应链产品名录和中国电子工业标准化技术协会信息技术利用翻新工作委员会图谱。 分布式云ICP 2022年度奖项同时，浪潮云分布式云ICP踊跃推动云计算行业标准体系建设，实现分布式云、专有云、边缘云等6项云计算规范编制，首批通过中国信通院《分布式云服务基础设施能力要求》、《专有云平台成熟度能力要求》、《分布式系统稳定性度量》规范测评认证。 面向2023年，浪潮云分布式云ICP乘势而上，为数字经济倒退添能蓄力 2023年是贯彻党的二十大精力的开局之年，是施行“十四五”布局承前启后的要害一年。意义不凡的一年，如何向着新的奋斗目标再登程？浪潮云分布式云ICP将在新一代行业云MEP策略的指引下，继续深入分布式算力服务外围能力，加大技术研发翻新投入： 构建分布式算力服务方面，实现分布式云全局算力度量、建模、预测剖析，助力行业利用实现云边端算力服务的最优化供应；强化云服务高可用方面，实现硬件故障预测和全栈云服务高可用，晋升行业客户业务利用的SLA；丰盛智算产品方面，提供面向深度学习、训练推理、科学计算等场景的计算型，以及面向渲染型的智算产品服务，为行业数字化和智能化提供多样算力服务；欠缺边缘产品体系方面，以轻量灵便的边缘算力为基座，丰盛面向行业场景的产品利用和智能端产品，优化云边端一体化协同能力，助力行业客户实现云上利用翻新。奋进2023年，浪潮云将持续施展分布式云算力服务劣势，为千行百业云上羽化保驾护航，独特奔赴更加数字化、智能化的将来！（作者系浪潮云分布式云ICP产品总监 尹萍）

开篇：翻新是亚马逊云科技倒退的最长久驱动力云计算，新世纪以来最平凡的技术提高之一，从2006年 Amazon Web Service 初创时的小试牛刀，到现在成长为一个微小的行业和生态，曾经走过16年的风雨历程。 Java之父詹姆斯·高斯林 （James Gosling）在一次针对亚马逊云科技 re:Invent 峰会的采访中说道：“云计算概念的呈现要远早于云计算的真正实现。在云计算倒退晚期，人们只是持续应用本人早已开发实现的一般应用程序，间接把它们运行在云服务商的设施上。起初，人们开始编写出专为云环境设计的应用程序。于是，行业中才陆续涌现出云数据库等在传统集中式数据中心内看不到的技术计划。过来几年，数字化转型曾经全面掀起浪潮。而这波转型也凸显出新的事实：咱们还有更多的摸索空间和时机。对我集体而言，最让人眼前一亮的应该是 Gravition3 的公布。它给泛滥利用带来了良好的运行环境。它被集成在亚马逊云计算架构当中，可能为用户心愿在云端执行的所有负载提供良好反对。的确，亚马逊云科技曾经扭转整个 IT 行业。” 亚马逊云科技已成长为寰球最大的私有云平台。在基础设施层面，亚马逊云科技领有遍布寰球27个天文区域的87个可用区，笼罩245个国家。它无处不在，从城市核心的办公楼宇到工厂，到农田，到偏远地区的石油钻井和近海作业平台，甚至看似遥不可及的太空。在行业领导力层面，亚马逊云科技间断12年被 Gartner 评为云计算行业的领导者。在市场占有率层面，亚马逊云科技占据寰球私有云市场的1/3以上。在产品服务层面，亚马逊云科技是寰球性能最全面的云平台，提供超过 200 项功能齐全的服务，而且每年推出的新性能或服务数量飞快上涨。在用户及生态层面，不仅领有数百万客户，还领有最大且最具生机的社区。 图1 Gartner2022年云基础设施和平台服务魔力象限 那么，到底是什么驱动亚马逊云科技始终在高速倒退？是翻新！翻新是亚马逊云科技倒退的最大最长久驱动力。在笔者看来，亚马逊云科技的翻新体系至多包含技术创新、商业翻新、生态翻新、用户翻新四大档次。 技术创新亚马逊云科技技术上的翻新举不胜举。2006年首开行业先河，公布 S3 存储服务、SQS 音讯队列及 EC2 虚拟机服务，正式宣告了云计算时代的开启。2007年发表了被认为是NoSQL技术开山之作的 Dynamo 论文，2012年进而公布 Amazon DynamoDB 服务。2014年推出 Amazon Lambda 服务，创始了无服务器计算畛域的先河，第一次使开发人员无需预置或治理服务器即可运行其代码。2017年公布齐全托管的机器学习服务 Amazon SageMaker，让日常开发人员和科学家无需任何前置教训即可使用机器学习。亚马逊云科技始终在摸索前人未走过的路，很多都是扭转游戏规则的翻新。它始终被模拟，从未被超过。（备注：对于 Amazon Serverless，可浏览笔者的《亚马逊云科技 15 年：从 Serverful 到 Serverless》一文）。业务模式翻新亚马逊云科技在业务模式翻新上始终在新陈代谢。亚马逊云科技的呈现，自身就是一项平凡的业务翻新。2006年，Amazon 将闲置 IT 资源变成服务卖给其它企业，采纳订阅制和按量付费的计费形式，开了云计算先河，开始扭转整个 IT 世界。2009年，亚马逊云科技将闲置的 EC2 实例以拍卖的形式提供给用户，公布了 Amazon Spot Instance，这又发明了闲置云资源的全新售卖模式。在分布式云模式上，亚马逊云科技领有覆盖范围当先的寰球云基础设施，从各天文区域和寰球骨干网向各种边缘拓展，包含核心城市、5G公网、5G专网、客户本地数据中心、物联网乃至太空。（备注：对于亚马逊云科技分布式云，可浏览笔者《从混合云到分布式云》一文）。生态翻新亚马逊云科技领有寰球最大且最具生机的云上生态社区。云生态曾经成为云计算棋局中的胜负手。当用户对云计算的关注点从基础架构延展到云上利用时，势必对提供云计算服务的厂商提出更多更高的要求，这也促使云厂商与利用开发者更严密地进行生态单干和交融，致力于提供一个架构灵便、麻利开发、安全可靠的云计算根底平台，而泛滥的开发者和 SaaS 厂商则致力提供品种丰盛的利用。亚马逊云科技始终在引领云生态翻新，其创新性产品和服务也层出不穷。2012年亚马逊云科技成为第一个推出云市场的云基础设施提供商。现在，亚马逊云科技在寰球有超过12万家合作伙伴，散布在150多个国家，其云市场提供12000多个软件产品，已成为最大最健全最沉闷最有生命力的云生态系统。用户翻新亚马逊云科技始终致力于成就探路者。视频行业中，十多年前 Netflix 大胆地把所有IT基础设施迁徙到了亚马逊云科技上，不仅重塑了本人的业务，更是重塑了整个娱乐产业，成为云计算发展史上的经典用户案例。金融业中，Capital One 在2020年实现了从数据中心到 亚马逊云科技的迁徙，成为美国首家发表全面转向云的银行。广告行业中，Untold Studios 齐全基于云端的工作室，重塑广告制作模式。亚马逊云科技上的客户翻新成绩例子举不胜举。应该说，如果没有如此多的客户的胜利，那就不会有明天亚马逊云科技的胜利。接下来，笔者将用8个具体活泼的例子来论述亚马逊云科技是如何进行翻新的。 技术创新案例两则1. Amazon Ground Station 服务，软件定义的卫星地面站。自从1957年前苏联发射了人类历史上第一颗人造卫星，迄今为止，世界各国已将数以万计的卫星送上太空。卫星对地球人的日常生活越来越重要，比方娱乐、军事、通信和导航等。2020年，我国首次将卫星互联网纳入新基建领域，卫星互联网建设回升至国家战略性工程。2021年，SpaceX 首席执行官埃隆·马斯克示意，SpaceX 正在疾速推动其星链卫星互联网打算，将发射数万颗卫星入地。 ...

2023年1月，由阿里云与英特尔主办，阿里云天池平台、边缘云、视频云独特承办的“新算力 新体验”Imagine Computing翻新技术大赛复赛圆满闭幕。通过两个多月的强烈角逐，12支入围队伍，从海内外8个国家和地区的6900余支参赛队伍中怀才不遇，进入总决赛阶段的比拼。 Imagine Computing翻新技术大赛，是首届聚焦于边缘云畛域算法及音视频解决技术利用的大赛，以两大赛道摸索“新算力·新体验”命题。其中，「边缘云内容散发网络客户体验预测算法」赛道，激励参赛者应用算法模型创新性解决CDN卡顿率预测的问题；而「设计低延时高体验的实时音视频利用」赛道则以音视频解决技术利用为外围，联合边缘云就近计算的个性，进行低延时、高体验的实时音视频利用开发。 1.多态算力， 边缘云驱动行业新价值随着企业数字过程的减速，云上算力也从核心逐渐拓延至网络边缘，从而造成新型的边缘基础设施。边缘云能够提供凑近终端用户、全域笼罩、弹性分布式算力资源，从而升高响应时延、加重云端压力、升高带宽老本。而精确预测网民用户侧的客户体验程度是CDN网络进行节点优化、流量调度的根底和指南针。基于此，边缘云内容散发网络客户体验预测算法的摸索变得至关重要。 较量中，参赛队伍应用多种不同的机器学习（如LighGBM、Xgboost、Catboost等）及深度学习算法（如Deep Neural Network等）进行用户体验建模，并针对不同类型的特色（连续型、离散型、字符型）进行相应的特色工程设计，一直获得模型精度的晋升。同时，参赛队伍通过IO优化、数据流式读取等技术一直优化模型的推理速度，获得了模型推理精度与推理速度的综合均衡，进步了模型的工程可用性，为宽泛用户的上网体验晋升带来更多可能。 2.极致体验， 视频云焕发产业新生机无论是边缘云的倒退，还是内容散发网络技术的提高，其本质都是对于体验的极致谋求。作为高密度、多维度的信息载体，视频利用正在向各行各业减速浸透。将来，随着云游戏、4K/8K视频会议、虚构数字人、主动驾驶等低延时、高算力场景的暴发，音视频利用将迎来爆发式增长，进一步焕发数字经济新生机。 体验始终是驱动音视频行业倒退的根基。算力和网络在边缘侧减速交融，而视频利用是否晦涩、高清、低延时等已成为用户体验最为关怀的话题，如何基于边缘云构建实时音视频解决利用，成为本届大赛关注的另一赛道。赛中，参赛队伍基于ffmpeg所提供的代码框架进行开发，通过运行run.sh能够输入取得延时、CPU占用率、fps、输入视频、画质、码率等后果信息，并对输入后果进行各项指标的一直优化，无效升高计算时延和老本，晋升最终用户体验，为视频云产业的倒退提供了更多利用翻新的技术支持。 3.产学研交融， 打造以赛推产新风向产学研交融倒退是以后我国面向技术畛域鼎力推广的无效门路。本届大赛汇聚业界、学界顶尖力量，据大赛组委会数据披露，本届大赛吸引了来自清华大学、北京大学、复旦大学、悉尼大学、伯明翰大学、诺丁汉大学等海内外数十所驰名院校的科研团队，还有来自中国移动、中国安全、字节跳动、华为、美团、科大讯飞等知名企业队伍加入，堪称汇聚了行业内精英力量。 前沿技术的翻新与冲破，是学术界和产业界的独特摸索。参赛团队依靠业务实在数据在其科研畛域不断深入摸索；企业借由较量锚定产业痛点，寻求破局之法，单方皆由天池大赛这座桥梁产生了良性的互动与交换。阿里云 Imagine Computing翻新技术大赛，紧贴云计算行业“低延时、高体验”需要，以赛促学，以赛促研，以赛推产，成为科研力量与业务实在场景之间的纽带。 阿里云边缘云是技术当先、寰球笼罩的边缘云计算平台，在寰球100多个次要国家和区域提供低时延、高带宽的网络接入、多态计算和散发服务，帮忙客户便捷地应用云边协同能力，优化业务拜访响应速度，晋升终端用户体验。同时，通过边缘云平台能够进一步扩大云基础架构的性能，为企业技术利用翻新提供更广大的数智土壤，继续开释互联网蕴藏的有限可能。 附决赛升级名单

【本文由Cloud Ace整顿公布，更多内容请拜访 Cloud Ace 官网】 近日 ChatGPT 爆火，掀起热议，能聊天能写代码，还能写策动稿，AI 仿佛已逐步变得无所不能。不过在 AI 对话上，谷歌早在17年就提出了 Dialogflow 这一AI对话平台。 相比起 ChatGPT 针对个人用户，谷歌则是早早为企业提供了解决方案，让 AI 效劳于企业，晋升企业的生产效力。 Dialogflow 打造聊天机器人Dialogflow 反对丰盛、直观的客户对话，是一个可用于聊天机器人和语音机器人的综合开发平台，应用最新的基于 BERT 的自然语言了解 (NLU) 模型，这些模型使得 Dialogflow 可能在更简单的用例中精确无效地辨认用意和上下文。 Dialogflow 还反对疾速构建、广泛部署，应用可视化构建器和预建代理将开发工夫从几天缩短到几分钟, 随后即可轻松部署到联系核心和数字渠道 应用场景一用于客户服务的语音机器人为客户提供 24/7 全天候即时会话自助服务，并通过构建虚构客服和交互式语音响应 (IVR) 来解决更简单的问题，无缝切换到人工客服，这些虚构客服和交互式语音响应 (IVR) 能够执行安顿约会、答复常见问题或帮助客户等工作。 应用场景二用于 B2C 对话的聊天机器人 随时随地在客户首选的平台上与他们分割。无论客户是想提出常见问题还是拜访特定信息，Dialogflow 部署的文字聊天机器人都能为须要疾速精确响应的客户提供即时且令人满意的体验。  Document AI 自动化解决文件   谷歌于2020 年推出了Document AI，首次将 AI 用于最难的文件解决上，为了解决这一难题，谷歌引入了专门的模型来为抵押贷款解决和洽购等行业特定用例提取数据。借助Document AI Workbench，组织能够通过创立特定于其业务需要的自定义 ML 模型来解决文档，并以高精度提取非结构化数据。 目前谷歌 Document AI 反对对发票、洽购订单、合同、W2、1099-R、工资单和 1040 预训练模型进行训练，为进步准确性、增加新语言反对和模式定制开启了新的可能性。  另外通过将 Google 的搜寻技术引入 Document AI，以使搜寻和治理文档变得更简略、更容易，以适应发票解决、合同、批准和自定义工作流。 Contact Center AI 改善客户体验  Contact Center AI 以 Dialogflow 聊天机器人的服务为外围，构建了一个人工智能呼叫核心。客户和机构可通过 Contact Center AI 建立联系，通过会将所有的聊天内容主动存储上传，还反对语音转文字等性能，并且通过 AI 剖析提取对话内容，为企业改善服务提供更多insights。 ...

Cloudpods是一个开源的Golang实现的云原生的多云和混合云交融平台。Cloudpods不仅能够治理本地的虚拟机和物理机资源，还能够治理其余私有云和公有云平台的资源。 Cloudpods由北京云联壹云技术有限公司主导开发，并于2019年9月于Github开源。Cloudpods采纳外围开源模式，其商业版本云联壹云企业版（YunionCloud）自2017年开始研发，曾经服务了上百家企业客户。 1月6日，Cloudpods 新版本 v3.9.6 正式公布。本次更新次要是以优化为主，如主备机切换优化、主机降级CentOS ARM内核版本到5.4.199等，版本更新详情如下： 1、新性能 【ocboot】反对进行和启动集群服务【k8s】反对离线部署k8s集群【监控】采集服务的性能指标，grafana减少查看各个服务性能指标的面板 2、性能优化 【主机】降级CentOS arm 内核版本到5.4.199【块存储】块存储反对批量设置调度标签【主机】主备机切换逻辑优化【虚拟化】优化VPC虚拟机热迁徙过程的网络中断工夫【虚拟化】拜访ceph命令设置超时工夫，避免因为ceph集群故障导致服务线程卡住【裸金属】更新裸金属base镜像，反对更新的硬件【标签】优化标签列表查问速度【认证】反对自定义的SAML用户名 3、问题修复 【主机】修复ISO镜像在详情页显示异样问题【虚拟化】修复Windows 10虚拟机的鼠标指针不工作问题【虚拟化】修复主机磁盘更换存储后不能热迁徙等问题修复问题【虚拟化】修复ceph存储首次镜像缓存申请为 raw 格局找不到镜像的问题【VMware】修复虚拟机的datastore属性未获取，导致主机模板同步失败问题【多云】修复因为云账号余额有余同步云上子账号异样问题【k8s】修复导入集群统一处于创立中的状态问题【k8s】修复零碎视图查看其余域 pod log 和登陆 shell 报错的问题【监控】修复 telegraf 容器呈现僵尸过程没有回收的问题 点击浏览原文 GitHub：https://github.com/yunionio/docs

1.问题概述最近在做工业我的项目模型设计评审的时候，遇到了一个设计问题，有点纠结。和其余共事替换了意见，思考了过后，也想跟大家分享一下。 问题：“老本”和“单价”是一个销售实体的事实，还是产品维度的属性？ 对于这个问题，最开始是在探讨成本计算的时候发现的。与教科书中批发场景不一样的是，工业上某个产品的老本是要计算出来的。而《维度建模权威指南》书中的老本是事实表的一个事实。如下图所示： 在另外一个例子中，单价、老本都是销售实体中的事实，如下图所示： 事实局部翻译如下： Sales Quantity -- 销售数量Regular Unit Price -- 惯例单价Discount Unit Price -- 折扣单价Net Unit Price -- 净单价Extended Discount Dollar Amount -- (扩大-总)折扣金额Extended Sales Dollar Amount -- (扩大-总)销售金额Extended Cost Dollar Amount -- (扩大-总)老本金额Extended Gross Dollar Amount -- (扩大-总)毛利润金额 如上图所示，个别咱们批发场景中商品的单价是绝对固定的，零售商会有一些折扣（线上商家的折扣应该会更简单），所以，单价、老本是固定的利润是与订单相干的。咱们能够从上述事实表中取得一些事实： ①　销售数量、销售金额、老本金额、毛利润金额都是可加事实。②　单价是一个不可加事实。在批发的销售剖析场景，单价与老本是作为销售实体的事实。而在我当初遇到的场景，咱们遇到的第一个场景是剖析产品的老本与价格。 2.老本与单价的实质抛开剖析场景，我思考了老本和单价的实质，在销售这个事实中单价和老本实质上是产品的属性。批发的场景中，销售的单价是商品的单价，销售的老本是是商品的老本。所以，单价和老本就是商品的属性。 然而为什么我在《维度建模权威指南》的书中看到的产品维度都没有这两个属性呢？我还特地去搜了一下内网的dataworks数据地图上的产品、商品的维度表，发现的确有很多维度表都没有单价和老本两个属性，然而也有一些商品维度表是有这两个属性的。 为什么本人会感觉这两个表中的事实并不是销售这个事实表中的事实呢？思考过后我终于意识到，我疏忽了剖析的需要。不足业务认知的我意识不到商品的老本和单价的变动，我谬误的疏忽了这两个事实的剖析需要。然而作为商品生产和经销商，价格和老本的变动是时时刻刻的。所以，就有剖析单价和老本这两个事实的需要。 这就是为什么大部分场景，商品维度表中都没有单价和老本。因为这两个事实要么在“销售事实表”中，要么在其余“商品剖析事实表”中。而这些事实表中的商品的维度就不会有单价和老本了。 3.事实表的设计通过下面的思考，我意识到了一个问题：商品的单价、老本自身就是一个事实。只是老本是通过一系列的简单计算取得的一个事实，其自身是依据原材料的老本、制作老本、运输成本等多种因素计算而来。而且价格自身又与老本有肯定的强关联性。 咱们通过在销售这个业务过程中去剖析单价和老本这两个事实，阐明销售这个业务过程中剖析人员会关注客单的商品和老本。而且，在销售这个业务过程对单价和老本的剖析次要是关乎销售这个过程，这个业务过程可能是一个企业业务剖析中最外围和要害的事实。 咱们其实能够依据对产品自身的剖析需要构建一个商品定价业务过程的事实表，这个业务过程比商品销售更简略。而且对于我参加的这个我的项目来的客户来说，这是一家第一产业工业企业，其生产规模十分大。订单中商品的品种绝对批发这种销售场景，其实是非常少且绝对固定的，其老本和单价是每天进行一次计算和定价。 所以，我在思考过后，倡议还是保留一个商品定价的事实，这是销售事实前的业务过程。在商品定价事实中有商品的成本计算相干的事实、单价等。另外在销售事实中，依然会保留老本和单价这两个事实。对这个设计的解释，我认为销售业务过程中的单价和老本自身就是销售业务过程中的事实，然而谋求其起源是产品定价中的事实。 4.总结谈及整个过程，我认为最外围的是找到咱们的业务需要是什么。例如这个我的项目的场景中，对商品的老本和定价的剖析自身是与企业生产资料相干的。而在这个企业的销售场景，在这里去剖析产品的老本和定价其实是有点多余的，销售业务过程外围剖析的还是销售自身。因为自身对一个产品品种不多，每天一个老本和定价的状况. 我在最开始之所以被困扰，就是我疏忽了剖析的实质，谬误的对待产品的定价这个事实，选择性的熟视无睹。然而当我思考过后，从新对待剖析的需要，我就不再有这个疑难。 通过这件事，我认为在做模型设计的时候，肯定要尽可能的去参考一些前人对这些模型的设计。因为咱们在初步进入一个行业的时候，对这些新行业的业务的了解都是有欠缺的，都是逐渐去学习了解的。参考这些成熟模型，就会让你有了一个参照物，防止走入误区。再就是肯定不要放弃思考，如果我一开始就以书中的参考模型为原型去设计，或者就是把老本和单价放到产品维度中，我就不会对这个设计有更深的了解。 最初感激与我一起探讨这个问题的实质的共事们！谢谢大家！ 原文链接 本文为阿里云原创内容，未经容许不得转载。

背景Koordinator 旨在为用户提供残缺的混部工作负载编排、混部资源调度、混部资源隔离及性能调优解决方案，帮忙用户进步提早敏感服务的运行性能，开掘闲暇节点资源并调配给真正有须要的计算工作，从而进步全局的资源利用效率。 从 2022 年 4 月公布以来，Koordinator 迄今一共迭代公布了 9 个版本。我的项目经验的大半年倒退过程中，社区吸纳了包含阿里巴巴、小米、小红书、爱奇艺、360、有赞等在内的大量优良工程师，奉献了泛滥的想法、代码和场景，一起推动 Koordinator 我的项目的成熟。 明天，很快乐地发表 Koordinator v1.1 正式公布，它蕴含了负载感知调度/重调度、cgroup v2 反对、烦扰检测指标采集，以及其余一系列优化点。接下来咱们就针对这些新增个性做深刻解读与阐明。 版本个性深刻解读负载感知调度反对按工作负载类型统计和平衡负载水位Koordinator v1.0 及之前的版本，提供了负载感知调度提供根本的利用率阈值过滤爱护高负载水位的节点持续好转影响工作负载的运行时品质，以及通过预估机制解决解决冷节点过载的状况。已有的负载感知调度能解决很多常见场景的问题。但负载感知调度作为一种优化伎俩，还有比拟多的场景是须要欠缺的。 目前的负载感知调度次要解决了集群内整机维度的负载平衡成果，但有可能呈现一些非凡的状况：节点部署了不少离线 Pod 运行，拉高了整机的利用率，但在线利用工作负载的整体利用率偏低。这个时候如果有新的在线 Pod，且整个集群内的资源比拟缓和时，会有如下的问题： 有可能因为整机利用率超过整机平安阈值导致无奈调度到这个节点上的；还可能呈现一个节点的利用率尽管绝对比拟低，但下面跑的全是在线应用率，从在线利用角度看，利用率曾经偏高了，但依照以后的调度策略，还会持续调度这个Pod上来，导致该节点沉积了大量的在线利用，整体的运行成果并不好。 在 Koordinator v1.1 中，koord-scheduler 反对感知工作负载类型，辨别不同的水位和策略进行调度。 在 Filter 阶段： 新增 threshold 配置 prodUsageThresholds，示意在线利用的平安阈值，默认为空。如果以后调度的 Pod 是 Prod 类型，koord-scheduler 会从以后节点的 NodeMetric 中统计所有在线利用的利用率之和，如果超过了 prodUsageThresholds 就过滤掉该节点；如果是离线 Pod，或者没有配置 prodUsageThresholds，放弃原有的逻辑，按整机利用率解决。 在 Score 阶段： 新增开关 scoreAccordingProdUsage 示意是否按 Prod 类型的利用率打分平衡。默认不启用。当开启后，且以后 Pod 是 Prod 类型的话，koord-scheduler 在预估算法中只解决 Prod 类型的 Pod，并对 NodeMetrics 中记录的其余的未应用预估机制解决的在线利用的 Pod 的以后利用率值进行求和，求和后的值参加最终的打分。如果没有开启 scoreAccordingProdUsage ，或者是离线 Pod，放弃原有逻辑，按整机利用率解决。 ...

2022年11月4日，2022长沙数字体育文创博览会暨长沙体育生产展在湖南国内会展中心（芒果馆）揭幕，同步举办了湖南元宇宙产业联盟成立揭牌典礼与第四届“天鸽奖”颁奖盛典。 在湖南省元宇宙产业翻新联盟成立典礼上，深圳市瑞云科技股份有限公司副总裁黄金进等13位联结发起人与见证领导一起下台，通过富裕将来科技感的“按手印”启动模式，一起倒数，宣告湖南元宇宙产业联盟正式成立。在第四届“天鸽奖”颁奖盛典上，多家行业头部和新锐企业、负责人荣获“十大翻新企业”、“最佳创新奖”、“十大翻新人物”等奖项。 其中，深圳市瑞云科技股份有限公司（下文简称瑞云科技）荣获“第四届天鸽奖十大翻新企业”奖项，瑞云科技副总裁黄金进荣获“第四届天鸽奖十大翻新人物”奖项。 “天鸽奖”是在国家工信部、深圳人民政府领导下、由深圳市虚拟现实产业联合会主办，多家行业学术、产业等出名机构协办，深圳市大象文化科技产业有限公司和宝安区VR技术产业联盟承办，为助力科技翻新利用所特设的翻新奖项。天鸽奖的寓意是指鸽子的“飞信传书”性能，其命名体现了5G时代下元宇宙具现化发展的外围主旨，已胜利举办四届的“天鸽奖”已成为行业内最具权威性和影响力的评选活动之一。 据理解，共有200+行业相干的企业与集体报名参选第四届“天鸽奖”，角逐最佳创意奖、最佳创新奖、十大翻新人物等三大奖项，最终共有14家企业和10位人物获奖。 瑞云科技成立于2010年，是一家专一为视觉行业提供垂直云计算服务的公司，目前用户超20万，遍布50多个国家和地区，包含两位奥斯卡金像奖得主、出名的影视动画、视效、修建可视化、游戏工作室。 随着5G的遍及，瑞云科技作为“新型基础设施”，专门针对视觉行业提供了一系列IaaS、PaaS及SaaS云服务。瑞云科技旗下3DCAT元宇宙实时渲染云（下文简称3DCAT），便是瑞云科技减速元宇宙赛道布局的要害一环。3DCAT是在5G网络、云计算、游戏引擎等技术迅速倒退的前提下，为解决终端算力有余、画面体现较差、初期洽购老本低等问题应运而生的一套利用云端渲染XR利用并实时推送到终端的综合性解决方案。目前3DCAT也是国内外比比皆是的可能同时提供私有云+公有云的实时渲染平台。 3DCAT为泛滥高校打造了虚构仿真课程云平台，赋能“全时空”教学模式；3DCAT帮忙数字孪生客户买通多终端可视化、多屏联动、多指令通道；在文旅云展厅行业，3DCAT助力客户在任意设施，并随时随地拜访云展厅，不受工夫、地点、终端设备限度。 3DCAT也将致力于成为元宇宙利用一站式公布平台，为更多行业及企业赋能，独特踏入元宇宙的翻新时代，开启元宇宙新纪元！

业务痛点因为用户搜寻习惯的不同，搜寻时输出的关键词往往会存在差别，这导致搜索引擎无奈召回与搜索词文本不统一但实际上是用户冀望的后果。比方，用户搜寻“棉袄”时，通用文本检索将无奈搜寻到“棉服”相干的内容，影响用户的搜寻效率与应用体验。解决此类问题最无效的办法之一是应用同义词性能。 痛点一：行业属性强因为业务场景的多样性，不同行业、垂类之间的同义词可能存在着微小的差别，通用的开源同义词模型难以笼罩细分业务场景。比方在电商场景下，会因业务特殊性生成专属的品牌词、别名、简称等同义词，在这种状况下，业务同义词的开掘与保护成为晋升搜寻召回成果的痛点之一。 痛点二：自建同义词老本高、难度大为解决上述业务痛点，自建同义词模型是业务常见的计划之一，自建同义词模型次要蕴含以下流程： 难点1：同义词标注畛域常识要求高，对于查问词中不同词在搜索引擎中的重要性判断难。同时数据量也至多须要达到万级别，耗时可能长达数月。难点2：模型训练门槛高，须要业余的算法从业人员进行调试，且模型成果、迭代效率强依赖与算法工程师的投入和能力。难点3：模型部署、运维流程简单，须要工程、算法、运维等多方参加，且深度模型的上线还波及性能、效率相干的诸多优化。综上，自建同义词模型对工夫、人力、资源的投入均绝对较高，且模型成果强依赖于业余算法人员的能力，往往投入了很多老本却无奈晋升搜寻成果。 凋谢搜寻定制同义词解决方案计划介绍在进行搜寻文本搜寻前，凋谢搜寻OpenSearch会对用户输出关键词进行查问语义剖析和解决。其中，同义词性能次要是对查问词进行同义扩大，扩充召回和查问词同义的文档。因为业务场景的多样性，不同行业、不同业务都有各自的特殊性，只有具体到利用级别的同义词模型能力保障最优的搜寻成果。 OpenSearch提供了丰盛的面向特定畛域的同义词模型，用户能够基于对应的行业，通过简略的配置训练失去专属的定制同义词模型。训练实现后，用户可在控制台中查看差别率、同义词case比照等模型成果，等到成果合乎预期后，即可在凋谢搜寻中应用该定制同义词模型，并反对同义词成果人工干预。 整个定制过程无需进行额定的数据对接、标注、模型调参、部署、运维等工作，在更低附加老本下实现模型定制与搜寻成果调优。 实用客户搜寻为外围业务重要场景，对搜寻有更高成果要求的客户行业、垂类、业务非凡，有较多专属名词的客户搜寻投入人力无限，算法同学绝对较少的客户应用办法在行业算法版-召回配置中创立召回定制-同义词模型并开启训练；配置查问剖析并援用已训练的召回定制-同义词模型；依据业务需要通过干涉词典调整召回定制-同义词模型；更多应用阐明请参考：https://help.aliyun.com/document_detail/467943.html 成果比照电商场景成果比照 医疗场景成果比照 小结如果您的业务目前正在或筹备应用OpenSearch行业算法版，能够在行业模型的根底上训练定制同义词模型；如果OpenSearch还没有提供与您业务靠近的行业，倡议抉择在行业算法版-通用行业的根底上训练定制同义词模型，这种状况须要数据尽量丰盛，散布尽量全面平衡，有助于晋升模型成果；凋谢搜寻目前还反对定制分词器、定制词权重模型，后续还会提供更多定制召回模型，敬请期待~原文链接 本文为阿里云原创内容，未经容许不得转载。

介绍如题目所示，这是一篇介绍in常量查问的源码解读文章，但又不限于in常量查问，因为其中波及的很多设计与优化对于大多数查问都是普适的。 一如平常一样，咱们首先会过一遍整体的执行流程，梳理一个大抵的框架。紧接着，同时也是更重要的，咱们会通过一系列在实在场景中遇到的问题（说白了就是性能优化），来对各种细节解决进行加强。 舒适揭示：倡议有条件有趣味的同学能够对照着本篇文章边调试（我基本上把重要的断点地位都截了图）边学习边思考，这样印象和了解应该会更加粗浅。 心愿大家在读完之后，能够尝试着答复以下一些问题来进行某种测验： 什么是分片裁剪？为什么要进行分片裁剪？为什么要对物理SQL中值进行裁剪？什么是plan cache？为什么须要？为什么须要post planner ?XPlan是什么？为什么Xplan比物理SQL更优？为什么要有一个ToDrdsRelVisitor？什么是全局二级索引？如何利用？以及其余散落于文章中或者浏览时的问题从大抵的流程说起注：具体的执行流程请参考文章，https://zhuanlan.zhihu.com/p/...，咱们这里只介绍其中几个比拟重要的环节。 咱们拿一个非常简单的场景来看一下吧，一个简略的表如下，create table t(c1 int, c2 int, c3 int) dbpartition by hash(c1) tbpartition by hash(c1) tbpartitions 2，一条最简略的SQL如下：select c3 from t where c1 in (1,2)。挑了五个阶段进行了并不太详尽的阐明，如果你感觉比拟形象时，也能够入手调试一下，一些概念应该就会更加清晰了。 阶段一咱们须要将SQL文本解析为语法树，如果不非法，则报错，要害断点如下图，其中sql为输出的查问语句，statement为通过解析后的语法树。 须要留神的是，在这个中央，咱们是只进行语法解析，而不进行语义解析。什么意思呢，比方你当初输出的SQL为select c1 from tt，此时尽管咱们没有tt这张表，然而断点处还是会失常解析出一个SQLSelectStatement，有趣味的同学能够打个断点试一下。 阶段二如上剖析，咱们当初要进行语义的校验了，比方我怎么晓得这张表存不存在，以及是否含有这个列呢？ 阶段三构建执行打算，在toRel时将由 SqlNode 形成的 AST 转换为由 RelNode 组成的逻辑打算。 埋一个坑把，有趣味的同学能够联合代码思考一下，既然咱们曾经拿到了逻辑执行打算，那么ToDrdsRelVisitor的作用是什么呢？ 阶段四对执行打算进行优化，以期取得较为优异的执行成果。 阶段五拿到执行打算之后，紧接着咱们来看一下是在哪里执行的，以及是如何执行的 咱们能够简略看一下这个plan，这是一个非常简单的plan，最上层是一个Gather用来聚合上层多个logicalView的后果，而logicalView中蕴含了如何与存储节点进行交互的信息。 依据plan拿到相应的handler，而后进行调用就能够了。 在这个场景中，咱们会递归调用logicalView的handler。 OK，以上就是一个大略的执行流程，接下来咱们来真正深刻到一些细节看一下，咱们如何将这个大抵的流程进行丰盛以使其可能满足工业生产的需要。 事实中的应用场景In查问列表中的值不固定，个数亦不固定。 优化思路单条SQL的优化，比方分片裁剪，物理SQL中in值的裁剪，应用XPlan代替物理SQL。大量执行类似的SQL时，防止重复性且不必要的工作，如防止每次从新生成plan。对其中一些非凡场景进行更加极致的优化，比方单分片间接下推。通过增加索引进行优化，在这里咱们次要探讨全局二级索引。 具体的优化单条SQL的优化分片裁剪：只拜访必须拜访的分片 Q：select from t where c1 in (1,2) 会向所有分片下发物理SQL么？ A：不会的。通过下面的剖析，咱们下发的物理SQL为select from t_physical_table where c1 in (1,2)，t_physical_table为逻辑表t所对应的物理表。而因为表t的分库键和分表键均为c1，因而显然咱们只须要向两张可能存在匹配记录的物理表下发物理SQL即可，获取裁剪后的分表信息如下图。 ...

作者：申红磊，青云QingCloud 容器解决方案架构师，开源我的项目爱好者，KubeSphere Member。背景在理论应用中，会有一些用户，在不同场景中常常碰到 OpenLDAP 对接问题： 是否对接 LDAP？对接形式都有什么，有界面吗？是否按本人要求来对接指定账户，而非全副账户都能拜访？是否批量导入账户？默认角色如何绑定？在这里能够简略操作一下，以便来抛砖引玉，次要思路为：在 KubeSphere 中间接运行一个 LDAP Server，用 ApacheDirectoryStudio 来验证，而后应用 KubeSphere 进行 LDAP 对接验证。 前置条件您须要部署一个 K8s 集群，并在集群中装置 KubeSphere。无关详细信息，请参阅在 Linux 上装置和在 Kubernetes 上装置。 KubeSphere 中部署 LDAP这里通过利用为用户提供残缺的业务性能，由一个或多个特定性能的组件组成。来部署 OpenLDAP 部署 LDAP 利用 创立无状态服务（演示应用） 这里应用的镜像为：bitnami/openldap:latest docker pull bitnami/openldap:latest# 参考 the OpenLDAP server instance 能够配置 env 在前面应用$ docker run --detach --rm --name openldap \ --network my-network \ --env LDAP_ADMIN_USERNAME=admin \ --env LDAP_ADMIN_PASSWORD=adminpassword \ --env LDAP_USERS=customuser \ --env LDAP_PASSWORDS=custompassword \ bitnami/openldap:latest ...

PolarDB-X 为了不便用户体验，提供了收费的试验环境，您能够在试验环境里体验 PolarDB-X 的装置部署和各种内核个性。除了收费的试验，PolarDB-X 也提供收费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。 本期试验将领导您应用对 PolarDB-X 进行动静扩缩容。 本期收费试验地址：https://developer.aliyun.com/... 本期教学视频地址：https://developer.aliyun.com/... 前置筹备假如曾经依据前一讲内容实现了PolarDB-X的搭建部署，能够胜利链接上PolarDB-X数据库。 扩容1.执行如下命令，编辑polardb-x.yaml文件。 vim polardb-x.yaml 2.按i键进入编辑模式，将CN、DN和CDC的replicas参数改为2，进行扩容操作。 3.按ECS退出编辑模式，输出:wq后按下Enter键保留并退出。 4.执行如下命令，将批改后的polardb-x.yaml文件利用到曾经创立的PolarDB-X集群中。 kubectl apply -f polardb-x.yaml 5.执行如下命令，察看集群的变动状况。 kubectl get polardbxCluster polardb-x -o wide -w 返回后果如下，您能够看到PolarDB-X集群扩容过程中各个节点的变动。请您急躁期待两分钟左右，当PHASE显示为Running时，示意PolarDB-X集群曾经扩容实现。 6.按Ctrl+C键，退出查看PolarDB-X集群状态。 7.执行如下命令，获取PolarDB-X集群登录明码。 kubectl get secret polardb-x -o jsonpath="{.data['polardbx_root']}" | base64 -d - | xargs echo "Password: "返回后果如下，您能够查看到PolarDB-X集群登录明码。 8.执行如下命令，将PolarDB-X集群的端口转发到本地的3306端口。 kubectl port-forward svc/polardb-x 3306 9.在试验页面，单击右上角的+ 图标，创立新的终端二窗口。 10.执行如下命令，连贯PolarDB-X集群。 阐明： 您须要将<PolarDB-X集群登录明码>替换为理论获取到的PolarDB-X集群登录明码。 如果您遇到ERROR 3933 (HY000): 1469bb175b401000[polardbx]ERR-CODE: PXC-9001 Failed to create physical db, dbName=[sysbench_test], instId=[polardb-x].报错，请您急躁期待一分钟后，再次执行SQL语句。 ...

近日 Grafana 官网发表了一篇博客介绍了 2022 年比拟有意思、脑洞大开的一些 Grafana 应用案例，比方监控特斯拉 Model 3 的充电状态、OTA 更新情况等等。 海事技术供应商 Royal IHC 利用 Grafana 展现客户船队的要害性能指标，例如燃料耗费、服务工夫、大气情况和报警状态。 丹麦的 Energinet 公司利用 Grafana 的天文地图监控面板帮忙客户定位电缆故障。 还有很多乏味的应用案例我就不一一列举了，大家能够浏览原文：Grafana dashboards in 2022: Memorable use cases of the year。 文章举荐人类、机器人与 KubernetesMicroByre 是一家同时应用机器人和人类的公司，他们会在各种工作中与物理对象（如微生物）一起工作。例如用各种成长溶液填充微生物培养皿，在机器人孵育器中造就微生物，测序 DNA 和 RNA 样本。为了使机器人尽可能自主地执行这些工作，这些机器人被隔离在一个独自的网络上，并与运行轻量级操作系统的小型计算机进行桥接。同时还须要思考到机器人的安全性，所以须要对他们进行监控。 扩充经营规模后，他们在调度层面迎来了新的挑战，为了让每个机器人、细菌、试验后果、基因组序列和化学公式都能够通过数据模型进行追踪，他们应用了一个基于云的零碎，其中有一个 Kubernetes 集群，作为地方协调器，治理他们的外部设施和工作流程。 将一个便宜的气象站变成一个 DevOps 格调的气象监控面板这个作者应用 Home Assistant、Docker、InfluxDB、Grafana 以及一些业余的射频解决，打造了一个十分炫酷的本地天气监控大屏。 Curve 分布式存储在 KubeSphere 中的实际Curve 是网易开发的古代存储系统，目前反对文件存储 (CurveFS) 和块存储 (CurveBS)。当初它作为一个沙盒我的项目托管在 CNCF。本文介绍了如何在 KubeSphere 中集成 Curve。 开源我的项目举荐ClaudieClaudie 是 Kubernetes 多云和混合星散群治理平台，它为多云和混合云的治理操作、灾备和高可用从新定义了新的规范，且 100% 合乎 Kubernetes 上游的要求。它应用基础设施即代码（IaC）来执行所有的操作，能够将不同的节点池放到不同的云提供商，能够在不同的云提供商之间零宕机迁徙工作负载，还能够跨云提供商实现集群的高可用。 ...

Curve 介绍Curve 是网易开发的古代存储系统，目前反对文件存储 (CurveFS) 和块存储 (CurveBS)。当初它作为一个沙盒我的项目托管在 CNCF。Curve 是一个高性能、轻量级操作、本地云的开源分布式存储系统。Curve 能够利用于 : 1) 支流云本地基础设施平台 OpenStack 和 Kubernetes; 2) 云本地数据库的高性能存储 ; 3) 应用与 s3 兼容的对象存储作为数据存储的云存储中间件。 实现成果通过部署 CurveFS 集群、Helm 部署 Curve-csi 插件创立 SC 来达到申明 PVC 时主动创立 PV 的成果 开始部署K8s 环境能够通过装置 KubeSphere 进行部署 , 我应用的是高可用计划。在私有云上装置 KubeSphere 参考文档：多节点装置 [root@k8s-master ~]# kubectl get nodeNAME STATUS ROLES AGE VERSIONk8s-master Ready control-plane,master 79d v1.23.8k8s-node1 Ready worker 79d v1.23.8k8s-node2 Ready worker 79d v1.23.8k8s-node3 Ready worker 79d v1.23.8 应用 Curveadm 工具部署 CurveFSCurveAdm 是 Curve 团队为进步零碎易用性而设计的工具，其次要用于疾速部署和运维 CurveBS/CurveFS 集群。 ...

“应用阿里云弹性预测 AHPA，升高了 K8s 容器老本，同时加重了运维工作量，减速了业务容器化的过程。”—— 朱晏(厨芯科技VP) 背景厨芯科技，是寰球当先的餐饮设施和服务提供商。从一台智能洗碗机开始，致力于扭转餐厅后厨基础设施，驱动餐饮行业的智能化和自动化。 遇到的问题厨芯科技一年前将业务零碎从 ECS VM 迁徙至 K8s 集群，尽管进步了微服务运维效率，但因为 ECI 容器单位成本高于 ECS，如何充分发挥 K8s 的资源弹性，就成为降低成本的次要问题。 次要有两个业务场景存在优化空间： 场景一：Web 服务每天有早、晚顶峰和夜间低谷。最后应用 CronHPA 设置各个时间段的容器数，再用 HPA 应答业务顶峰的部分扩容，有肯定的优化成果。然而，CronHPA 设置的时间段越多，运维老本越高，并且不够灵便；指标容器数的配置也比拟艰难，太少则无奈保障应答业务顶峰，太多又起不到优化老本的成果，须要重复尝试进行调整。而 HPA 扩容总是滞后于负载变动，会引入一些不必要的容器创立删除，导致资源节约。 场景二：定时工作有绝对固定的周期性。对于15-30分钟的周期，CronHPA 的配置显然太过简单，HPA 也因为滞后性无奈发挥作用。 解决方案通过充沛沟通，在对厨芯科技业务的利用场景和需要有了深刻了解后，举荐了阿里云容器服务弹性预测 AHPA 解决方案。 阿里云容器服务 AHPA（Advanced Horizontal Pod Autoscaler）能够依据业务历史指标，自动识别弹性周期并对容量进行预测，解决弹性滞后的问题。通过被动预测和被动预测相结合，实时调整资源实例数。被动预测基于利用实时指标计算 Pod 数量，能够很好的应答突发流量; 被动预测基于历史指标通过达摩院机器学习算法提前预测出将来 24 小时利用的实例数量。此外，AHPA 还减少了兜底爱护策略，能够设置工夫区间的实例数上下界值实现弹性兜底。 极致弹性 降本增效厨芯科技已在几个次要服务 ACK 集群上启用了AHPA。通过验证，相比于 CronHPA+HPA 的优化计划，AHPA 的被动预测模式额定升高了10%的 ECI 容器老本。同时，AHPA 主动计算负载曲线、设定指标容器数等特点，代替了人工运维的工作量，减速了业务容器化的过程。 对于 AHPAAHPA（Advanced Horizontal Pod Autoscaler） 是阿里云容器服务 ACK 与达摩院单干推出的容器智能弹性预测产品，能够依据业务历史指标，自动识别弹性周期并对容量进行预测，帮您提前进行弹性布局，解决弹性滞后的问题。 具体介绍请见: https://help.aliyun.com/document_detail/412229.html 原文链接 本文为阿里云原创内容，未经容许不得转载。

林顺利，腾讯云原生产品经理，负责分布式云产品迭代和注册节点客户扩大，专一于云原生混合云新形态的推广实际。 背景企业在继续业务运维过程中，感触到腾讯云 TKE 带来的便捷性和极致的应用体验，将新业务的公布以及老业务都迁徙到云上 TKE 来实现。但很多企业数据中心建设较为晚期，选型上采取了自建 IDC 机房的计划，长久以来的 IDC 经营保护和企业上云的诉求产生了抵触和矛盾 1、资源难利旧/利用率低 业务大部分在云上运行，存量的 IDC 主机难以利旧；云下资源业务利用率低（次要是 CPU 资源），均匀不超过20%，资源节约重大；对于 GPU 只能实现整卡利用，少数业务运行达不到单卡门槛时产生了 gpu 资源节约；2、运维老本高 自建 Kubernetes 带来了运维的部署交付和保护老本；Kubernetes 的降级保护、组件（如 kubelet）的降级保护带来了运维的继续经营老本；自建集群呈现问题时，尤其是零碎组件问题场景下，故障定位难，修复老本高；基于自建集群，实现运维的监控需要，要求运维进一步自建监控零碎、日志零碎，减少了运维复杂度；3、难以对立调度 云上曾经应用容器服务，云下有物理机，难以买通云上云下资源，实现对立调度和治理；云上和云下资源散布在不同的地区，难以将不同地区的资源放在一个集群中对立治理；云上和云下的对立纳管如何解决企业 IDC 和上云的抵触问题？这仿佛在过来曾经有了答案 - 混合云部署。然而当下，咱们面临的是云原生的新场景而非单纯的上云，因而，咱们基于传统混合云的解决方案进一步深刻思考，独创出 IDC 轻量级云原生解决方案 - 注册节点 ：IDC 节点和 TKE 买通，云上作为管控面来提供治理、调度、监控能力，云下 IDC 作为撑持面来理论承载业务运行。在满足企业资源利旧、托管运维、混合部署/调度等云化场景的同时，将云上对于降本增效的外围个性下沉到 IDC 节点实现无缝集成，进一步促成了 IDC 节点资源的无效、高效利用。 TKE 注册节点的外围个性 老本洞察：可视化监控各种类型工作负载下各项维度指标的应用状况，帮忙用户发现资源节约；Crane：负载资源配额的智能举荐和节点上业务的专有调度，进步资源利用率；qGPU：强隔离的 GPU 虚拟化技术，业务调配 GPU 不是按整卡而是可按1/10卡做细粒度的分派，缩小 GPU 资源节约；注册节点曾经反对腾讯上万台 IDC 节点，CPU 累计超过500w核，成为 IDC 节点轻量上云新范式。在上云同时，平台侧借助云原生资产大盘的资源监控和 crane 的专有调度能力，晋升了 IDC 节点的资源利用率，节点资源均匀水位值由 15% 迁越至 50%。 注册节点，IDC 轻量级云原生最佳门路TKE 注册节点是针对混合云部署场景，全新降级的节点产品状态，解决了企业在 IDC 运维过程中面临的各类问题： ...

背景在对SLS的Logstore和Metricstore进行监控的过程中，有时候会呈现一些无数据的状况，例如 数据采集阶段呈现故障Logtail采集异样、数据导入工作异样或者SDK写入数据出错等状况都有可能导致日志库中没有数据。 业务零碎呈现问题例如用户的业务日志中有某个零碎模块的日志，在一段时间内，因为该零碎模块呈现故障，导致没有日志产生，从而在SLS的日志库中也没有相干的日志数据。 服务器宕机SLS也能够采集和存储指标类数据，如果被采集指标的服务器呈现宕机的状况，那么就会导致时序库中呈现没有数据的状况。 因而，监控SLS的存储库中无数据的状况，是保证数据胜利上传到SLS的一个重要伎俩，本文将介绍无数据告警的常见配置办法。 操作步骤办法一SLS提供了无数据告警这个高级性能，当创立一个监控规定时，能够抉择开启该性能，当查问剖析语句执行的后果为空时就会触发无数据的告警。无数据告警的标注能够独自配置，并且当有数据时，仍然走的是评估触发条件的逻辑，因而，开启这个性能后，不会影响原有的告警监测内容，只是在无数据时独自执行了一条逻辑。 查问语句在Metric库中抉择工夫范畴为5分钟（绝对），执行如下PromQL语句，查问5分钟内服务器的CPU使用率。cpu_util{hostname="hostname0"} 告警监控规定基于上述语句的查问后果创立告警，查看频率设置为固定距离1分钟，触发条件设置有数据匹配value > 80，示意当CPU使用率超过80%就会触发该告警。在高级配置中开启无数据告警，参考创立日志告警监控规定，重大度设置为中，示意当没有CPU的指标数据上传到SLS触发无数据告警。 告诉内容当CPU的指标数据1分钟内没有上传到SLS时，就会触发无数据告警，钉钉群中的告诉内容如下所示。 办法二本办法不必开启无数据告警，而是创立一个专门用于监测是否有数据的告警。 查问语句抉择工夫范畴为15分钟（绝对），执行如下语句，查问15分钟内的日志条数。 | select count() as cnt 告警监控规定基于上述语句的查问后果创立告警监控规定，设置触发条件为有数据匹配cnt===0。 告警告诉当日志库中15分钟内没有日志写入的时候，就会触发该告警，钉钉群中的告警告诉如下。 常见问题通过设置有特定条数据满足肯定条件来示意无数据告警想要创立无数据告警的时候，用户因为不晓得有无数据告警这个高级性能开关，所以间接将触发条件设置成有特定条数据等于0来示意无数据的状况。（同样的还有设置为有特定条数据小于等于0、有特定条数据小于1等状况） 在无数据的状况下，告警监控并不会走到判断有特定条数据这个评估逻辑中，只会去判断有没有开无数据告警这个性能，因而无数据的状况下上述的触发条件并不会触发告警。 开启无数据告警，没数据也没有触发告警如果有剖析语句，并且开启了无数据告警性能，那么在无数据的状况下也是有可能不会触发告警的。例如查问剖析语句如下所示：error | select count(*) as cnt这种状况下如果没有数据，那么这条语句执行的后果其实是不为空的，而是会有一条后果，如下所示: [ { "cnt": 0 }]因而就不会去判断是否开启了无数据告警这个性能，也就不会触发无数据告警了。 原文链接 本文为阿里云原创内容，未经容许不得转载。

背景随着应用SLS告警越来越深刻，有些用户的口头策略会配置的特地简单，有些时候能够让用户通过创立多个口头策略来进行肯定的精简，然而在一些场景下，用户是无奈创立多个口头策略的。例如用户想要通过SLS来对立治理其各个监控零碎的告警，所以采纳了SLS的凋谢告警性能，这种状况下，用户个别一个监控零碎就只会创立一个凋谢告警利用，也就只能对应一个口头策略，所以随着须要动静分派告警的各种状况增多，口头策略就会急剧收缩，从而呈现以下状况： 在控制台无奈保留在前端批改时加载过于卡顿告警提早减少因而，对于上述问题，本文介绍了三种优化的计划。 计划比照 利用告警策略拆分口头策略告警策略在配置路由合并策略的时候，是能够依照告警的一些信息采纳不同分组合并的，而不同的分组合并又能够抉择不同的口头策略，所以手动将每个分组合并的其余配置全副改为和默认告警策略的统一，那么就能够实现拆分口头策略的目标了。（默认告警策略的分组合并中，合并基准抉择自定义，告警属性抉择告警规定ID和规定所在我的项目，告警标签抉择所有，首次期待抉择1秒，变动期待抉择15秒，反复期待抉择1分钟） 如下图所示，如果应用一个口头策略的话，那么该口头策略中既要思考标签中appName为app0的状况，还要思考appName为app1的状况，依照下图所示的办法拆分后，那么口头策略0中只须要思考appName为app0的状况，口头策略1中只须要思考appName为app1的状况，这样就实现了对口头策略的拆分。 最初，在创立告警监控规定或者凋谢告警利用的时候抉择下面创立的告警策略即可。 应用SDK压缩口头策略内容SLS的控制台在配置口头策略的时候，因为须要保留节点的一些UI信息，那么在存储口头策略时的配置内容就会特地大，容易超出资源数据的大小限度，从而导致从管制台上无奈保留。如果是通过SDK治理口头策略的话，那么能够省去管制台上那些额定的UI信息，这个口头策略的大小就会变小很多。例如通过以下代码创立一个口头策略。 package mainimport ( "fmt" sls "github.com/aliyun/aliyun-log-go-sdk")var ( // 日志服务的服务入口。创立资源必须是河源区域。 endpoint = "cn-heyuan.log.aliyuncs.com" // 阿里云拜访密钥AccessKey。更多信息，请参见拜访密钥。阿里云账号AccessKey领有所有API的拜访权限，危险很高。强烈建议您创立并应用RAM用户进行API拜访或日常运维。 accessKeyId = "" accessKeySecret = "" // 创立日志服务Client。 client = sls.CreateNormalInterface(endpoint, accessKeyId, accessKeySecret, ""))func main() { actionPolicy := &sls.ResourceActionPolicy{ ActionPolicyId: "test-action-policy", ActionPolicyName: "Test Action Policy", PrimaryPolicyScript: "if alert.labels.appName == \"app0\":\n fire(type=\"sms\", users=[\"user1\"], groups=[], oncall_groups=[], receiver_type=\"static\", external_url=\"\", external_headers={}, template_id=\"sls.builtin.cn\", check_quota=\"true\", period=\"any\")\n stop()\nif alert.labels.appName == \"app1\":\n fire(type=\"email\", users=[\"user2\"], groups=[], oncall_groups=[], receiver_type=\"static\", external_url=\"\", external_headers={}, template_id=\"sls.builtin.cn\", check_quota=\"true\", period=\"any\")\n stop()\nfire(type=\"webhook_integration\", integration_type=\"dingtalk\", webhook_id=\"user3\", template_id=\"sls.builtin.cn\", period=\"any\")", SecondaryPolicyScript: "", EscalationStartTimeout: "10m", EscalationInprogressEnabled: false, EscalationInprogressTimeout: "30m", EscalationEnabled: true, EscalationTimeout: "1h", } record := &sls.ResourceRecord{ Id: actionPolicy.ActionPolicyId, Tag: actionPolicy.ActionPolicyName, Value: sls.JsonMarshal(actionPolicy), } err := client.CreateResourceRecord("sls.alert.action_policy", record) fmt.Println("[create action policy]", err)}第一列口头策略对应的DSL语法的脚本开展如下： ...

这几年，云原生、Web3.0、元宇宙等技术的呈现和利用，正在粗浅地扭转着咱们这个世界。以数字技术利用为主线的数字化转型是此次人类文明改革的外围能源。在这一改革过程中，软件研发模式的倒退起到了重至关重要的作用。从晚期瀑布式、精益麻利、DevOps，再到BizDevOps，其实背地始终在解决的是效力的问题。 效力公式咱们经常聊效力，但研发效力对于不同的人来说，有着不同的定义。对于处在研发一线的集体来说，效力就是晋升本人的工作效率，晋升工作的幸福感；而对于企业经营者来说，效力就是在不确定性的环境下，确定性地取得最大的商业胜利。 因而，晋升效力，就是让每个人可能高效、专一的工作，工作更有成就感；晋升效力，就是让一群人干成一件值得自豪的事。咱们之前定义过，研发效力就是组织继续、顺畅、高质量交付无效价值的能力。从晋升效力的角度，研发效力就是晋升个体和协同效率，最大化价值。将这个三个变量组合在一起，造成的效力公式就是： 个体效率 x 协同效率 x 价值 = 研发效力 个体效率对于集体而言，集体的工作效率其实是最影响幸福感的。事件做不好，很大部分起因是，事件理不清、理不顺。老师通过看一个学生的课桌和书包，根本就能够判断这个学生的学习成绩好不好了。桌面干不洁净、书本整不参差、教材和教辅分类是否分明、考卷有没有分门别类整顿等，这些都间接影响着学习的效率。所谓“学霸两支笔，学渣文具多”，如果绝大多数工夫和专一力花在找书本找文具上，学习天然是好不了的。 另一个影响的效率的重要因素，是那些高频且低效或易于出错的工作。简略重复性强的工作，引入自动化的伎俩就能够解决。高危操作，出错和返工的老本都极高。将这些问题，交给工具来实现，能够极大地缩小因为人为操作导致的问题。 所以，咱们心愿在日常工作中，事件可能有条理的循序渐进，要的货色找失去，看得见。反复繁琐的事件，让工具代替手工，更轻松地做，省心、安心、释怀。我简略总结，就是三个关键词：找失去、看得见、轻松做。 往年，云效别离降级了全站搜寻、集体工作台、代码合并、智能测试和利用公布等能力，旨在让： 零散信息找失去：通过集体工作台，咱们能够将本人关怀的工作内容展示在一个页里，“我的我的项目、我的工作、我的提交、我的公布”，集体工作台就是本人的专属线上办公桌。像整顿本人桌面一样整顿好本人的工作台，让工作轻松触达；同时，通过全站搜寻能力，无论是需要、工作、缺点、代码、利用、变更等等，都能通过 CMD + K 找到。 工作、进度看得见：每个人对本人关怀的工作、关怀的停顿，都能轻松地看见。就像观测地铁到站表一样，十分清晰地晓得当前任务通过了哪些阶段，以后处在什么阶段，到完结，还需实现哪些阶段。 代码提交轻松合：开发者有大量的代码合并和评审的场景，通过辅于自动化的检测能力，帮忙开发者在代码合并的时候，轻松判断合并条件，有针对性地进行评审，释怀轻松地合并代码。让代码合并省心。 回归测试轻松测：测试工作在软件研发过程中，承当着十分重要的品质守护工作，测试工作从写case、筹备环境、筹备数据...，琐碎而反复，对于这样的工作，咱们倡议这样的工作交给工具来做，云效除了接口测试、UI测试这些传统的测试工具之外，推出智能流量回放测试。采纳智能流量回放测试，能够主动生成测试用例，主动生成测试数据，主动Mock，大幅节俭回归测试的老本。让品质内建安心。 利用上线轻松发：软件的公布在云研发时代是一个高频操作，同时也是高危操作。云效应用公布平台AppStack，推出面向云原生的利用公布能力，将资源、流程和工具以利用为外围组织在一起，从利用的创立、代码变更、部署公布整个流程固化下来，缩小过程中因为人为操作不当而引起一系列问题。同时，部署是最初的临门一脚，辅于公布过程中的可观测能力和部署模式的反对，无效升高公布过程中的危险，利用的公布上线不再熬夜加班。让利用公布释怀。 只有长于发现，可晋升、改良的机会还有很多。不要低估继续不懈地优化和扭转，提高的力量，始于每一点渺小的扭转。 协同效率如果说个体效率的晋升，影响的是工作幸福感的话，那么协同效率的晋升反映的就是组织的成熟度和生机。 软件研发是典型的集体性发明流动。人多了，就会有分工，分工有很多益处，亚当·斯密最早提出了分工实践，通过比拟劣势，分工能够提高效率。但随着组织的倒退，职能分工带来最间接的问题就是：效率竖井。 对于效率竖井，咱们以前讲过很屡次。不同的职能分工，职能间的关注点不同，优先级不统一，经常出现扯皮的景象。同时，在整个交付过程中，呈现阻塞、期待、返工的状况。彼此沟通过程中，概念不统一，鸡同鸭讲，聊不到一块儿。这样的结果是，每个团队看上去，忙碌而高效，而整体却效率低下。 协同的指标，就是让一群人确定性地共同完成一件小事。整个协同应该是一条通路，通是要害。在DevOps中，突破Dev和Ops的墙是为了通，在BizDevOps中，买通Biz和DevOps的墙，也是为了通。这里我把它演绎为两个关键词：连贯和通明 通过一个需要，与利用的变更建设关联，通过一个需要，与代码合并申请建设关联。双向互联互通，基于对立的数据模型，将这些外围作业对象关联起来，造成一张价值网，这样就建设起来了从合作到工程的残缺链路。 连贯的意义，远大于在研发流程中，将工具简略的拼装在一起。有了外围工作对象的关联，就像接通了整个研发协同零碎的血液循环，活了过去，整个零碎也就具备了生命力。 连贯建设了根底，透明化就不再话下。这样，整体的工作进展，从需要、代码、公布齐全买通，工作进展更精确、通明。迭代停顿可能及时、精确地看到；工作安顿是否正当，通过工作负载也能展露无疑。 有了连贯做为根底，数据在各环节就能共享，工作和停顿能够轻松看得见，效力现状也能轻松看得见。 一群人，安顿了哪些活、在哪一天，工作量是否过大等等。对于管理者而言，效力现状也能做到胸有成竹，团队效力有没有“病”，要不要“吃药”，有了数据的撑持，就能做到隔靴搔痒了。 同时，通过关系和信息的配置，将流程固化在工具上。让过程治理不再局限于纸面文章，而是可运行、可反复、可推广。 然而，无论是晋升个体效率，还是协同效率。在软件研发工作中最大的问题，其实是机会的节约。 价值抉择比致力重要。资源这么多，只能抉择最有价值的事件来干。如果说连贯是血液循环系统的话，那么价值就是这个零碎撑持的魂。但理论的工作中，往往容易丢了“魂”。丢了“魂”的工作是怎么样的呢？ 是工作说不清楚价值；是需要很多，但不晓得哪个更重要；是我的工作和老板关怀的工作不统一；是需要层层合成、任任层层转交，导致信息重大属实。 人就那么多，工夫也很无限，抉择一件对的事件，并且做好合成和传递很重要。所以，我认为做好价值最大化的两个关键因素是：抉择和传递。 对于抉择，收益和老本是最简略的两个变量，通过收益除于老本就能够简略失去一个根底投资收益得分，基于此做为抉择需要的参考。 肯定会有敌人说，价值模型有很多，单纯靠这两个变量是否过于简略。其实，从实质上讲，无论如许简单的价值模型，背地的底层逻辑都是收益和老本。有了这两个简略的变量，争执便有了根底，而不是看谁嗓门大、关系亲疏、职级高下来决定做哪个需要。这就很有意义，让价值的争执产生在越早越好。 同时，有了评估抉择的根底，咱们就能够做到：以终为始（在开始的时候，就以最终想达成的后果来进行评判抉择）和量出而入（在排入需要的时候，就以输入的时候为规范，无论是质，还是量）。 从收到一个火线的原始需要，转化为一个产品主题，再逐层合成，直到开发工作，这是整个价值传递的过程。研发的整个流程，其实就是价值流，价值流上的各环节是增值流动。这样，整个价值链上的每个事件都是有价值的，每个事件也都能阐明价值。 同时，对于业务、产品或技术来说，用一套话语体系谈话。从原始输出，到产品需要，再到技术工作，云效通过关联所有的外围对象，让事事有着落，件件能溯源。 写到最初通过让事件找失去、看得见、轻松做，晋升工作的幸福感，晋升个体效率。通过连贯和透明化，建设彼此合作的桥梁和信赖，晋升协同效率。通过价值无效抉择和传递，最大化价值。整体独特作用，晋升研发效力。 基于这个逻辑，让咱们从面向流程到面向价值进化，从晋升效率到晋升效力进化。当然，云效也无奈兼顾到研发流动的方方面面，咱们违心和咱们的搭档和用户一起致力，做一点点扭转。进化，其实就是每一点点提高。 感激我的共事们致力的工作，让提高一点点产生。最初，欢送大家对咱们的产品提出更多的想法和倡议。 作者：张燎原，阿里云云效 产品负责人 原文链接 本文为阿里云原创内容，未经容许不得转载。

背景随着应用SLS告警越来越深刻，有些用户的口头策略会配置的特地简单，有些时候能够让用户通过创立多个口头策略来进行肯定的精简，然而在一些场景下，用户是无奈创立多个口头策略的。例如用户想要通过SLS来对立治理其各个监控零碎的告警，所以采纳了SLS的凋谢告警性能，这种状况下，用户个别一个监控零碎就只会创立一个凋谢告警利用，也就只能对应一个口头策略，所以随着须要动静分派告警的各种状况增多，口头策略就会急剧收缩，从而呈现以下状况： 在控制台无奈保留在前端批改时加载过于卡顿告警提早减少因而，对于上述问题，本文介绍了三种优化的计划。 计划比照 利用告警策略拆分口头策略告警策略在配置路由合并策略的时候，是能够依照告警的一些信息采纳不同分组合并的，而不同的分组合并又能够抉择不同的口头策略，所以手动将每个分组合并的其余配置全副改为和默认告警策略的统一，那么就能够实现拆分口头策略的目标了。（默认告警策略的分组合并中，合并基准抉择自定义，告警属性抉择告警规定ID和规定所在我的项目，告警标签抉择所有，首次期待抉择1秒，变动期待抉择15秒，反复期待抉择1分钟） 如下图所示，如果应用一个口头策略的话，那么该口头策略中既要思考标签中appName为app0的状况，还要思考appName为app1的状况，依照下图所示的办法拆分后，那么口头策略0中只须要思考appName为app0的状况，口头策略1中只须要思考appName为app1的状况，这样就实现了对口头策略的拆分。 最初，在创立告警监控规定或者凋谢告警利用的时候抉择下面创立的告警策略即可。 应用SDK压缩口头策略内容SLS的控制台在配置口头策略的时候，因为须要保留节点的一些UI信息，那么在存储口头策略时的配置内容就会特地大，容易超出资源数据的大小限度，从而导致从管制台上无奈保留。如果是通过SDK治理口头策略的话，那么能够省去管制台上那些额定的UI信息，这个口头策略的大小就会变小很多。例如通过以下代码创立一个口头策略。 package mainimport ( "fmt" sls "github.com/aliyun/aliyun-log-go-sdk")var ( // 日志服务的服务入口。创立资源必须是河源区域。 endpoint = "cn-heyuan.log.aliyuncs.com" // 阿里云拜访密钥AccessKey。更多信息，请参见拜访密钥。阿里云账号AccessKey领有所有API的拜访权限，危险很高。强烈建议您创立并应用RAM用户进行API拜访或日常运维。 accessKeyId = "" accessKeySecret = "" // 创立日志服务Client。 client = sls.CreateNormalInterface(endpoint, accessKeyId, accessKeySecret, ""))func main() { actionPolicy := &sls.ResourceActionPolicy{ ActionPolicyId: "test-action-policy", ActionPolicyName: "Test Action Policy", PrimaryPolicyScript: "if alert.labels.appName == \"app0\":\n fire(type=\"sms\", users=[\"user1\"], groups=[], oncall_groups=[], receiver_type=\"static\", external_url=\"\", external_headers={}, template_id=\"sls.builtin.cn\", check_quota=\"true\", period=\"any\")\n stop()\nif alert.labels.appName == \"app1\":\n fire(type=\"email\", users=[\"user2\"], groups=[], oncall_groups=[], receiver_type=\"static\", external_url=\"\", external_headers={}, template_id=\"sls.builtin.cn\", check_quota=\"true\", period=\"any\")\n stop()\nfire(type=\"webhook_integration\", integration_type=\"dingtalk\", webhook_id=\"user3\", template_id=\"sls.builtin.cn\", period=\"any\")", SecondaryPolicyScript: "", EscalationStartTimeout: "10m", EscalationInprogressEnabled: false, EscalationInprogressTimeout: "30m", EscalationEnabled: true, EscalationTimeout: "1h", } record := &sls.ResourceRecord{ Id: actionPolicy.ActionPolicyId, Tag: actionPolicy.ActionPolicyName, Value: sls.JsonMarshal(actionPolicy), } err := client.CreateResourceRecord("sls.alert.action_policy", record) fmt.Println("[create action policy]", err)}第一列口头策略对应的DSL语法的脚本开展如下：if alert.labels.appName == "app0": fire(type="sms", users=["user1"], groups=[], oncall_groups=[], receiver_type="static", external_url="", external_headers={}, template_id="sls.builtin.cn", check_quota="true", period="any") stop()if alert.labels.appName == "app1": fire(type="email", users=["user2"], groups=[], oncall_groups=[], receiver_type="static", external_url="", external_headers={}, template_id="sls.builtin.cn", check_quota="true", period="any") stop()fire(type="webhook_integration", integration_type="dingtalk", webhook_id="user3", template_id="sls.builtin.cn", period="any")创立好了当前，在管制台上点击编辑创立好的口头策略如下图所示。通过SDK创立的口头策略没有UI信息，然而仍然能够失常运行。 ...

前言从 Kubernetes 诞生以来，以 DevOps、容器化、可观测、微服务、Serverless 等技术为代表的云原生，催生了利用架构新一轮的降级。有意思的是，与以往的技术迭代更新不同，本来是一个技术圈惯例的一次技术实际，在千行百业数字化转型大背景，叠加继续疫情冲击的双重影响之下，加上局部传统行业科技自主政策的催化；这一次的技术迭代简直变成了 IT 从业人员全民参加的一次盛宴。然而平缓的学习曲线、简单的技术体系、瞬态的根底资源状态，让企业的信息体系建设在研发、构建、交付、运维等多方面都带来了不少的挑战。这些挑战也加深了日益更新的技术栈与习惯于聚焦在一线业务开发的开发者之间矛盾，这个矛盾间接催生了最近的平台工程理念的诞生。 这个理念抓住这个冲突点，提出了“外部研发自助平台”的构想：“企业应该以平台化建设的形式，提供一系列的自助型工具，帮助开发者在各个环节中解决遇到的各种技术问题”。这个说法一下戳中泛滥开发者的痒点，这也是这一概念忽然之间大火的起因之一。理念背地又引申进去了一个更为间接的问题：这个工具外面应该有点啥？ 揭开问题的面纱早在 2018 年，EDAS 产研团队访问一家具备百人研发团队的客户，过后客户正在进行微服务拆分和迁徙上云，他们遇到了一些新问题： 本地因为依赖问题，没法起动残缺的环境，导致开发艰难。云上环境调用关系简单，无奈做调试。客户冀望将特定的实例启动到本地，云端能调本地，本地调云端，实现微服务端云联调。对于这些问题咱们没有任何筹备，于是回来后连忙开始调研剖析，于是缓缓揭开了藏在水面下的冰山。 客户的诉求很简略，就是想把微服务利用起在本地，利用能跟云端微服务相互调用，如下所示： 迁徙上云后，客户的网关、利用、音讯队列、缓存、数据库等组件模块都部署在云端网络内，本地须要通过堡垒机能力进行拜访。在这种状况下，本地节点是不可能失常启动的（因为连不通数据库等要害组件），也是不可能跟云端服务相互调用的。采取了云原生架构之后，客户却再也回不去原来简略高效的本地开发方式了。 这个问题只有这个客户遇到吗？不是的，这几年咱们跟很多客户聊下来他们都有这个问题。但其实也不是一点解决办法都没有，最间接的方法是：通过架设公有网络的形式，连通本地办公网跟云端网络，实现网络互通。但实际上这个方法有三大缺点，导致并不是很多客户采纳。 老本昂扬：搭建专线网络的投入相当大，相比于收益来说并不划算。安全性低：买通本地到云上网络，对本地办公网和云上生产网都带来了不稳固因素，实质上扩充了平安域，也扩充了攻击面。运维简单：网络运维是相当简单的，在高度可伸缩的云原生架构下打平本地和云端网络，这个是很多网络工程师的噩梦。本地和云端两张网络必须做好布局，两边网段不可抵触，同时双向网络路由和安全策略都须要人工治理，简单费劲且容易呈现问题。对于这些问题，有的企业采取折中的方法，在云端找一台机器作为 VPN 服务器，搭建本地到云端的 VPN 链路。这个计划同样须要保护网络路由以实现网络互通，另外 OpenVPN 虽便宜但不稳固，专用 VPN 性能高但费用低廉，鱼与熊掌不可兼得。 意识到这些问题之后，咱们便开始了“路漫漫其修远兮”的摸索之路。 端云互联，问题的初解答在一开始咱们就确定两个指标：一是双向买通本地和云端链路，二是不须要对网络架构进行伤筋动骨的革新。 在历经三个月的闭关研发之后，咱们在 2018 年底研发进去了这个工具。它反对双向联通，而且是插件化开箱即用，反对 Windows 和 MacOS 零碎。咱们把它命名为端云互联，其整体组成如下所示： 端云互联插件会在启动微服务的时候拉起一个sidecar过程--通道服务，通道服务负责接管本地微服务的流量，并通过堡垒机转发至云端指标微服务。上面进一步阐明其中三个外围要点。 本地微服务调用转发到 sidecar咱们应用了 Java 原生的流量代理技术，通过注入启动参数，能够使得本地微服务流量以 socks 协定转发至通道服务 sidecar 上。对于具体参数细节，可浏览 Java Networking and Proxies 来理解细节。 sidecar 将调用转发到云端微服务其实 SSH 自身就能够用来进行数据转发，充当正向代理和反向代理。SSH 协定从下到上分为传输层、认证层和连贯层三层协定： 传输层协定（Transport Layer Protocol）：这层协定负责建设起平安的连贯通道，是整个 SSH 的安全性基石。用户认证协定（User Authentication Protocol）：这层协定负责实现近程身份认证。连贯协定（Connection Protocol）：这层协定实现 SSH 通道的多路复用和信息交互，能够通过它来实现近程命令执行和数据转发等多种性能。咱们基于 SSH 的连贯协定来使得通道服务 sidecar 将调用转发到云端微服务，尽管SSH底层原理有点简单，但下层应用是挺简略的，支流的编程语言也根本都有现成的库来应用。 ...

Amazon Lambda无服务器函数作为亚马逊云科技主推的云原生技术，是不折不扣的云原生第一梯队。Lambda无服务器函数自2014年由亚马逊云科技推出以来，被越来越多的云原生利用所应用，到目前为止曾经累计关联了100余项翻新云服务，同时为数百万级的用户提供服务，而每天的调用次数更是高达数百亿次。 为什么Lambda无服务器函数具备如此大的魅力呢？从开发者的角度来说，Lambda无服务器函数充分利用了服务器虚拟化技术，将过来开发者须要关注的服务器配置、服务器治理等工作进行了充沛的封装，让开发者能够从服务器治理的繁冗事务中脱离进去，将注意力集中到利用的开发工作中。 这种对于服务器资源的封装和形象，毫无疑问地给开发者提供了极大的便当，让开发者能够更快地迭代开发周期，能够以更精密的粒度来治理利用内的一个一个逻辑。这样的便当对于晋升开发者的生产效率非常无益。 从利用的运维角度而言，Lambda无服务器函数则提供了前所未有的低成本高效率的运行平台，各种自动化工具和自动化配置让利用的运维变得更加不便。这所有的收益，都来自亚马逊云科技在服务器虚拟化技术上的一直迭代和翻新。 自从亚马逊云科技最后推出的Amazon EC2服务器以来，就突破了信息技术业内对于服务器的传统印象。科技公司从自建服务器机房，到租用虚构服务器VPS，再到拥抱云计算平台EC2服务器，到现在能够间接应用“无服务器”的Lambda 函数，亚马逊云计算平台就在服务器的虚拟化和抽象化一直精进，让一个一个的服务器单元变得越来越玲珑，也越来越高效，越来越易用。 这一切都是为着一个目标，就是让云计算真正成为一种公共事业，如同自来水、电网和互联网接入个别，能够高效率地服务更宽泛的用户群体。 说了这么多Lambda无服务器函数的长处，但它也不是美中不足的。随着越来越多的利用开始采纳 Lambda 函数，它的一些毛病也缓缓开始裸露进去。其中一个最为使用者所诟病的问题就是冷启动速度太慢的问题。 Lambda无服务器函数的实质，实际上是一个小型的虚构服务器，或者称为虚拟机VM。这些虚拟机在Lambda 函数没有被调用的时候，会临时处于休眠状态以节俭运行的算力和老本。 而当 Lambda 函数被调用的时候，虚拟机则会经验一段启动、加载运行代码、初始化各种所需的资源这样一个初始化调用过程，这一过程被称为Lambda 函数的“冷启动”。咱们以运行java代码的Lambda 函数为例，它的冷启动过程如下： Lambda函数提取部署代码包并将其内容复制到函数执行环境的新目录中；Lambda函数确定代码的入口点；Lambda 函数将代码和依赖关系加载到内存中；Lambda 函数初始化任何所需的资源或服务；Lambda 函数设置任何必要的网络连接或安全策略；Lambda函数开始真正执行代码。这个冷启动过程有时候会须要耗费数十毫秒到数秒的工夫，这就会导致调用Lambda 函数的利用变得反馈缓慢，因而Lambda函数冷启动的问题也成为了用户诟病最多的问题。 亚马逊云科技积极响应用户的需要，把升高冷启动提早的问题提上工作议程，通过数年的研发，终于在2022亚马逊云科技 re:Invent寰球大会上推出了Amazon Lambda SnapStart技术，将运行java代码的Lambda函数的冷启动工夫升高了90%，而且也不须要用户领取额定的费用即可享受Lambda SnapStart带来的便捷。 上面的图中比照了应用SnapStart技术启动的过程和不应用SnapStart的启动过程。很容易看出，SnapStart简化了冷启动过程，从而使得冷启动的工夫耗费大幅升高。 那么，这么一个犹如魔术般的 Lambda SnapStart 是如何做到将冷启动工夫升高的呢？这一技术提高，仍然是得益于亚马逊云科技在服务器虚拟化上的继续投入。 在re:Invent 2018上，亚马逊云科技推出了一个叫做Amazon Firecracker的高效虚拟机，采纳最新的容器化技术，在服务器操作系统内核层面对服务器资源做出了更细颗粒度的形象，晋升了虚拟机的性能以及安全性。 而四年后的2022年，亚马逊云科技更是在Firecracker技术的根底上，采取对Firecracker底层微型虚拟机MicroVM退出快照性能，来实现微型虚拟机的疾速启动。这一翻新技术为咱们带来的，就是Lambda函数将前所未有地能够将启动提早压缩到亚秒级，在过来的根底上实现了数量级（10倍）上的晋升。 目前Lambda SnapStart临时仅反对运行Java 11代码的Lambda函数，但因为这项技术并不依赖于Java或者任何一门编程语言，将来亚马逊云科技也肯定会将这项技术用于所有的Lambda无服务器函数。 所以说，这个Lambda SnapStart的神奇之处就在于在微型虚拟机上的快照性能。微型虚拟机所采纳的容器技术在近五年里失去长足的倒退，而容器作为服务器操作系统内核提供的资源隔离技术，让亚马逊云科技把云计算平台上的“最小计算单元”向下推动了一层，让微型虚拟机MicroVM以容器的形式被启动和治理。 并且，因为容器自身可能提供快照，将容器的状态定格记录下来，如此一来就能在下次启动微型虚拟机MicroVM的时候，间接载入容器快照，从而绕过繁琐的虚拟机启动和代码、依赖以及计算资源的加载过程。 不过，在工程畛域永远都没有银弹。Lambda SnapStart技术尽管神奇，却也不是白璧无瑕的，它同样有着应用上的限度。亚马逊云科技给予了开发者一个应用Lambda SnapStart的指引，外面列举了三个SnapStart不实用的场景： 1、在Lambda函数里蕴含具备唯一性的信息，例如举世无双的ID数。当Lambda函数从快照中疾速启动，其快照保留的之前的举世无双的ID数字就无奈保障其唯一性。亚马逊云科技倡议此类型的Lambda函数要在启动后验证该“举世无双”的ID数以确保后续的运行逻辑正确； 2、在Lambda函数中的网络连接。因为网络连接产生于Lambda函数启动当前，因而Lambda函数上一次快照中的网络状态，在从快照复原后应该查看其网络连接状态； 3、在Lambda函数中存在长期数据。例如在Lambda函数中蕴含登录token，在从快照中复原后，其长期的登录token可能曾经生效，因而须要Lambda函数来从新建设所需的长期数据。 不难看出，因为Lambda SnapStart依赖于该微型虚拟机MicroVM过来的状态，但凡状态依赖于工夫变动的Lambda函数，都须要在引入SnapStart后粗疏治理那些依据工夫变动而变动的状态，而不能默认这些状态维持不变。 re:Invent 2022 寰球大会上推出的Amazon Lambda SnapStart是本年度云计算畛域的重磅科技进步，Lambda SnapStart进一步坚固了亚马逊云计算在无服务器计算畛域的劣势。这既是亚马逊云科技的研发实力的体现，也是亚马逊云科技以客户为本的理念的体现。 即刻点击https://www.awsevents.cn/reIn...，观看 INNOVATE 在线大会精彩回放！

背景简介什么是定时工作定时工作是业务利用零碎中存在定时周期性运行的业务逻辑。因为其运行于后端过程中往往存在执行状态和执行链路的不可见性《常见定时工作技术计划》。 什么是链路追踪随着散布式微服务化架构在企业中大规模使用，业务运行的利用平台是一个由各个业务研发团队不同业务利用组合而成的庞杂系统工程，相互之间存在各种模式的拜访交互。 面对上述如此简单的系统结构，对于业务入口端利用而言所有的上游服务状态都是黑盒不可知的存在。相应的运维问题也随之而来： 入口服务不可用时，如何疾速定位具体是哪个服务节点不可用及起因？如何疾速定位剖析业务链路中性能瓶颈点？如何掌控业务链路残缺执行过程？面对上述问题，从Google分布式链路追踪零碎的Dapper论文开启了各类分布式链路追踪的实现，呈现了很多相干零碎，如：Zipkin、Skywalking、Pinpoint。所有这些其外围逻辑就是在一次业务申请开始时构建相应申请的链路上下文信息，并在服务调用过程中透传欠缺相应的链路节点信息，最终通过该申请TraceId（本次申请的链路标识）和每个节点父子依赖关系构建出一个残缺的调用链数据结构。 整个分布式全链路追踪平台各项次要分工： 利用侧实现服务调用埋点，常见形式：手动调用SDK埋点、java agent模式主动埋点服务之间通信交互，相应通信协议上须要增加Trace信息进行传递，保障在整个调用链中Trace信息共享Trace信息上报至全链路追踪平台进行存储展示基于上述几个次要环节，各个开源计划别离实现了各自在采集、传输、存储环节的不同数据结构。为实现链路追踪畛域范畴内数据结构对立，呈现了OpenTracing和OpenTelemetry来定义相应的标准和协定。 为什么定时工作须要链路追踪剖析工作为什么执行失败当业务一直倒退，业务开发的定时工作也会越来越趋于复杂化，定时工作执行过程中会倒退出如下各种状态： 会调用其余业务方各类上游应用服务会调用其余中间件服务（如：redis、mq等）会切分出N个子工作分发给不同机器进行分布式并行批处理，每个子工作解决又是一整套简单组合当面对此类简单定时工作场景下工作执行如果出现异常，相应的问题定位将变得很简单。在残缺的全链路追踪能力反对下，问题将能被疾速定位解决。 剖析工作为什么执行慢个别场景下离线工作往往承当着大批量数据处理的业务场景，因此很多定时离线工作有运行耗时长的特色，往往在这些耗时长的工作上存在着微小的性能优化空间，性能晋升能间接优化根底资源应用效率并节俭业务老本 在任务调度平台上咱们可通工作执行超时报警，再联合工作执行链路追踪能力可无效地锁定业务解决的耗时瓶颈点供进一步业务性能优化作为参考。 全链路流量管制在全链路追踪体系下，能够进行后续其余能力拓展： 灰度公布：定时工作利用公布过程中的工作全链路灰度能力全链路压测：定时工作通过业务测试标签参加全链路压测流量隔离：定时工作调用上游服务，上游服务依据流量起源进行隔离解决 定时工作链路追踪解决方案开源解决方案从开源定时工作平台看，目前常见开源计划都未反对工作执行链路可视化查问，对简单工作或分片工作执行异样下的问题剖析会比拟艰难。 另外在开源链路追踪平台，对应开源计划中局部采集端agent集成了定时工作框架执行入口埋点采集，但该模式下与任务调度平台侧较为割裂，从负责定时工作运维的视角登程想具体锁定某一次工作执行链路，须要通过日志或依据执行工夫检索匹配相应的执行记录，当链路追踪平台上数据繁多想疾速惟一锁定目标链路存在很多不便。 阿里解决方案阿里分布式任务调度平台SchedulerX提供了一站式的链路追踪解决方案，能够将工作执行信息与链路追踪Trace信息绑定，用户能够很不便的从任务调度侧，查看某个工作、某次执行、某个分片的残缺调用链。 阿里SchedulerX计划劣势： 精准定位工作执行Trace信息：常见链路追踪平台只负责工作执行的时候生成traceId，不提供和具体任务的绑定关系，想要从成千上万的traceId中剖析某个工作的调用链变得非常复杂；SchedulerX无论是单机工作还是分布式工作的某个分片，每一次调度都能疾速定位到调用链。调度侧反对管制采样率：手动运行一次反对必采样、动静配置采样率。免运维低成本：通过EDAS部署的Java业务利用人造反对定时工作Trace能力，无需自建链路追踪服务端平台和agent采集，升高业务老本，并且能够从任务调度侧一键跳转到调用链。定时工作链路追踪客户案例某电商业务定位工作执行慢用户案例：目前电商业务场景下都基于微服务架构体系，定时工作运行波及的利用较多且链路较深，用户对某个工作运行慢时，心愿能疾速定位哪个业务利用方哪个业务性能是执行链路瓶颈点。 以下将展现如何剖析工作的执行耗时，工作触发执行后会调用屡次上游业务应用服务以实现整个业务逻辑，整个工作执行耗时较长。 如上图所示，惯例状况下一次执行<5秒，但最近两次次执行耗时>15s，通过工作配置超时报警可监测到该执行记录超过预期执行工夫，对该执行记录的调用链路进入下一步剖析。 如上图所示，通过链路追踪主动跳转获取残缺调用链（同样自建平台者可拷贝TraceId查问锁定），从上图可剖析取得执行耗时占比拟高的业务利用和IP，可锁定在上游业务利用ServiceApplication的保留用户信息服务呈现显著耗时。 某金融账户批处理定位执行异样用户案例：某金融机构对老业务系统升级，需将所有客户账户信息进行定期批量迁徙降级解决至新零碎，每天会从老零碎中加载一批次账户信息在业务集群中散发解决，实现每个账户信息降级迁徙；当某个账户出现异常时，须要能疾速定位执行异样的地位和起因。 通过SchedulerX的MapReduce模型进行分布式跑批，每个子工作对应一个客户账户信息业务解决，可展现每个子工作的执行列表，并提供链路追踪、重跑、日志查看等性能。 如上图所示，当整个工作执行出现异常失败，进入子工作列表锁定失败的子工作（如：账号1000002解决失败）。 如上图所示，通过链路追踪主动调整至该子工作的残缺执行调用链（自建平台可拷贝TraceId查问锁定），可疾速定位业务解决异样地位所在的业务利用和IP。 如上图所示，开展失败节点详情即可进一步获取失败内容信息（如案例：账号1000002在更新名称信息时字段超长），至此一个分布式批处理工作且存在多方服务调用的业务执行异样即可被疾速定位。 某游戏业务剖析Http执行链路用户案例：某游戏业务零碎中其外部采纳了C++、Go等技术栈，SchedulerX未提供相应语言SDK间接接入，用户则通过裸露http服务形式接入SchedulerX定时触发运行，并反对其实现http工作执行残缺调用链查看。 以下展现一个http服务被定时调度后，其外部还会进行上游多个利用业务服务调用。 通过上述执行链路即可取得一个http定时工作在整个业务集群中残缺的执行链路。如果单纯在链路追踪平台上来查问该http服务的调用链路时，往往会列举一堆申请记录且无奈疾速辨别是否是某个定时工作触发而来的。因而比照上述形式，对任务调度平台侧运维定时工作执行情况的场景下，SchedulerX提供了更为清晰的工作执行链路追踪剖析入口。 总结分布式任务调度平台SchedulerX无效地将用于微服务场景下的可视化全链路追踪能力引入至定时工作解决场景，这将大大晋升定时工作在运行时可观测能力，无效地帮忙定时工作执行过程中异样、耗时、执行卡住等问题的定位剖析。 原文链接 本文为阿里云原创内容，未经容许不得转载。

引言近日，对于云平台本身的可靠性问题又成为大家关注的焦点。零碎肯定会有故障，置信作为用户都能了解，但用户须要在故障产生后，能尽快通晓造成故障的根本原因和修复打算，以便无效调整受影响的业务来升高损失；也须要在一次故障解决后，开发运维团队能够总结出经验教训，来晋升本人治理经营能力，和提出之后的预防措施。过程中，最好有具体、精确和实时的数据作为佐证，使团队间的沟通无阻、协同高效，这就须要提到可观测性能力。 「观测云」guance.com 是一个可提供弱小的零碎可观测能力的 SaaS 平台，帮忙用户确保他们的零碎继续衰弱和稳固地运行。可作为一个 SaaS 平台，观测云是如何实现自我监测的呢？观测云提供的可观测服务，能用来监测本人吗，还是须要用到其余更厉害的工具，或是更简单的办法？ 一、对观测云节点的整体自监测计划有句话是神医难自医，当医生本人生病了，只能找另一个医生来医治本人。监测平台对本身的监测亦是如此，因为本身已在性能故障的状况下，无奈确保可对本身施行无效的故障诊断和修复。 「观测云」的自监测的解决方案，利用了自身多站点的个性，实现不同站点间的相互监测。「观测云」目前有中国区1（杭州）、中国区2（宁夏）、中国区3（张家口）、中国区4（广州）四个国内 SaaS 服务节点，以及一个海内1（俄勒冈）节点，相互作为对方的观测平台。同时，「观测云」会公开公布各节点服务性能的状态页，使用户能够随时通晓观测云性能的可用性。 二、可用性监测可用性监测是指站点、API 等在不同地区、不同运营商网络下的定时拨测，观测云的可用性监测反对国内四大地区（华北、华东、东北、东南）、三大网络运营商网络（挪动、电信、联通）的 12 个节点，以及四个海内节点。对于观测云本身，咱们从三个维度进行可用性监控：URL、地区、网络运营商，可用性监控的目标是监控咱们的站点或 API URL 在不同地区及网络运营商下的可用性及响应延时状况，然而因为不同网络运营商可能存在的网络稳定，因而咱们须要思考一个容差，咱们的最佳实际是某个 URL 在某个地区的网络运营商下，15 分钟内超过 3 次不可用，视为此 URL 不可用，须要进行告警。理论能够依据业务的须要来进行最佳实际配置监控。 三、监控告警监控的告警依据重要级别分为两级，第一级是通过钉钉群告诉告警，如产生谬误日志、谬误链路等，第二级是比方基础设施的不可用等重要监控（比方磁盘残余过小、数据库等中间件的不可用等）还须要对相干人进行短信告诉，第二级问题的响应度须要更高。 四、平台业务指标监测平台业务指标，采集了平台所有的次要指标，次要包含每一项数据的增量、工作空间维度的数据增量、沉闷水平等等统计指标数据。这些业务指标既不是数据库等各种规范中间件，也不是业务服务本身能够吐露进去的指标，须要本人编程去各种业务数据存储中去定时统计采集进去，以指标或日志的模式打到观测云平台中，咱们是利用 Function 数据处理平台来实现的。阐明页： func.guance.com。 应用 Function 平台接入业务指标数据架构： 业务看板成果： 五、各个业务服务状态监测常见的基础设施及规范中间件等组件，能够间接采集其指标及日志等数据；各业务服务本身的指标，须要服务本身来裸露指标，个别都遵循 OpenMetrics 规范。OpenMetrics 是一种云原生下的高度可扩大指标协定，它定义了大规模上报云原生指标的事实标准，同时反对文本示意协定和 Protocol Buffers 协定，它也是云原生下的事实标准监控计划 Prometheus 的规范数据采集计划，应用观测云的采集器 DataKit 也能够间接采集，或者对接 Prometheus 获取数据。 任务调度服务，咱们须要重点关注 工作队列排队工作数、任务调度总数等指标数据的接管、预处理、写入存储、查问服务，咱们须要重点关注的是 查问响应工夫、写入响应工夫、写入谬误数、数据队列中的待写入数量等指标用户平台后端，咱们须要重点关注以后在线用户数、每个工作空间沉闷用户、Redis 用量等指标每个服务裸露了本身的指标后，须要配置利用的服务指标仪表板，这里的一大准则是服务裸露的指标能够尽量多，仪表板能够只展现最重要的指标，一个仪表板上指标过多，会让看的人抓不到重点。其余的能够作为监控指标，去配置监控项。 以观测云的数据服务 Kodo 为例，它的服务指标观测仪表板： 六、问题汇总和 SLO「观测云」外部的各开发和运维团队，可通过仪表板取得多维度的数据汇聚展现，即可将前端收集到的所有需关注事件、告警、或报错都汇总到同一个仪表板上，做到高深莫测，不用在各个不同的仪表板，甚至不同监测工具间频繁切换。当须要定位一个具体的报错起源时，通过点击该报错条目在仪表板上的关联链接，即可下钻到对应的数据查看器，展现出相关联的上下文数据条目，每个条目又能够再次下钻出更多细节，所以能很快开掘到故障根因。 观测云的问题汇总仪表版如下： 各维度问题统计仪表板: 以后阶段的零碎运行状态，会通过 SLO 信息同步给所有团队。SLO 是对 SLI 的一个度量，用来度量产品的服务质量状况。SLI 是一个比较复杂的定义过程，须要依据不同服务场景以及服务等级需要来定义，最根本的是基于可用性的定义，比方站点 URL 拨测达到不可用次数、链路或日志的错误率达到一个比值（咱们定义的是错误率达到 0.05%）。SLI 规范的定义个别能够从零碎的性能、可用性、服务质量等几方面来思考，理论利用中的 SLI 度量值须要依据理论业务来调整实际。 ...

开源我的项目举荐zzhackzzhack 是一个动态博客框架，是一个纯正的 WASM 利用，它由 Rust & Yew 来作为技术栈进行搭建，UI 设计比拟好看，大家也能够间接应用该项目标设计模板零老本构建 WASM 利用。 TraceeTracee 是一个运行时平安和取证工具，它应用 eBPF 在运行时跟踪主机操作系统和应用程序，并剖析收集的事件，以便检测可疑的行为模式。它能够以守护过程的模式运行在 Kubernetes 环境中，也能够灵便地运行在各个 Linux 主机中。 sealed-secretsKubernetes 只对 Secrets 内容进行了 base64 编码，这跟明文没什么区别，所以个别咱们不应用 Git 来治理 Secrets。sealed-secrets 能够将 Secrets 进行加密，从而能够放心大胆地用 Git 进行治理。 文章举荐无侵入剖析 Kubernetes 中的 Java GC本文介绍了如何在不进行过程/容器的状况下，在运行 Java 的 Kubernetes 或 Docker 容器中疾速剖析 Java 内存和 GC 行为。 基于 KubeSphere 的运管零碎落地实际基于虚拟机治理开发环境存在很多问题，本文介绍了如何基于 KubeSphere 来对运维架构进行革新,从而升高学习老本,解放双手。 云原生动静HashiCorp 公布了 Consul 1.14HashiCorp 公布了 Consul 1.14，增加了新性能以简化部署并进步其服务网格平台的弹性。该版本包含 Consul Dataplane，这是一种用于部署到 Kubernetes 上的改良架构。在 1.13 中作为 beta 个性引入的集群对等模型曾经齐全公开可用。 ...

前言随着人工智能、大数据、物联网以及云计算时代的到来，在日志数据量继续爆增、日志数据日益多样化的明天，传统日志服务器的管理模式曾经追不上日志数据的增速，且企业对日志管理系统的要求越来越高，很多企业都想建设一个对立的日志平台来解决这个问题，面对以后的挑战和时机，泛滥云服务厂商纷纷推出了云日志服务，以此来满足企业的需要。 什么是云日志服务云日志服务是在云上提供的一站式日志采集、日志搜寻、海量存储、结构化分析、丰盛的仪表盘、日志告警和转储等性能，能够满足企业的利用运维、等保合规和经营剖析多种场景下的利用。 云日志服务的次要性能各大支流云服务厂商的云日志服务性能大同小异，次要体现在以下几个方面。 日志采集通过云日志服务能够实现多种数据源端的日志采集，包含主机（Linux零碎和Windows零碎均可）日志、数据库日志、容器日志、云服务日志、通过API和SDK日志采集、挪动端、浏览器、IOT端侧日志。除此之外，还能够通过开源工具接入，实现日志采集。 日志检索云日志服务能够提供关键词查问，能够对实现比拟运算符、括号、in范畴查问、and/or/not等逻辑的准确匹配，也反对*和？的含糊查问。还反对日志上下文查看、疾速剖析等性能。 日志结构化分析表格、柱状图、饼图、折线图和数字图等根底图标是必备的性能，还有SQL的疾速剖析，能够统计字段不同value的取值占比，数值类反对max、min、avg和sum。丰盛的仪表盘展现性能能够更好的助力日志治理。 监控和告警当有了日志数据，并进行了剖析之后，紧接着就是须要将后果信息散发进来，及时采取正当的应答策略，这就是监控和告警要实现的性能。云日志服务能够提供日志资源统计，包含但不限于流量、存储和索引指标，关键词告警，SQL告警，设置短信、邮件、钉钉、企业微信、电话等多种路径的告警告诉，告警告诉的内容能够是零碎设定也能够反对自定义，对告警治理提供分组、克制和静默形式的个性化设置，升高告警带来的噪声。 日志转储海量的日志数据能够转储到其余的存储设备，比方对象存储或者实时转储到KAFKA。 云日志服务利用实际上面咱们以华为云的云日志服务 LTS 为例，通过一个实际来理解如何将Linux主机接入云日志进行治理，带你疾速上手云日志服务。 实际过程一共分为四步，如下图所示： 1、云日志服务中创立日志组和日志流首先，咱们创立一个日志组，日志组（LogGroup）是云日志服务进行日志治理的根本单位，能够创立日志流以及设置日志存储工夫。进入云日志服务治理控制台 ，“日志治理”页面中，单击“创立日志组”。日志组名字依据规定自定义，日志保留工夫默认是7天。而后，在创立的日志组中创立日志流。日志流（LogStream）是日志读写的根本单位，日志组中能够创立日志流，不便对日志进一步分类管理。在“日志治理”页面的“日志组列表”能够看看刚刚创立胜利的日志组，点击上面的“创立日志流”，实现日志流创立。 2、主机装置日志采集器ICAgentICAgent是云日志服务的日志采集工具，运行在须要采集日志的云主机中。首次应用云日志服务采集主机的日志时，须要装置ICAgent。 首先，在云日志服务治理控制台 ，“主机治理”页面中，单击“装置ICAgent”。而后，在弹出的对话框中进行装置根本配置 • 装置零碎：Linux（本次咱们以Linux主机为例） • 主机类型：华为云主机（此次试验中应用的为华为的 ECS 主机 ，能够点击链接理解如何应用。如果是非华为云主机，遵循响应的提醒进行装置即可） • 装置形式：获取AK/SK凭证 选定后，上面后具体的步骤指引，依照提醒操作即可，此处不再赘述。 3、将主机接入云日志服务当咱们在主机上安装好采集器之后，就能够通过云日志控制台将主机接入到方才创立的日志组中进行治理。 首先，在云日志服务治理控制台 ，“日志接入”页面中，抉择“云主机ECS-文本日志”。进入到接入日志的配置疏导页面，如下图所示，依据疏导实现配置即可。其中的步骤3：采集配置是主机日志采集的具体信息，有疑难能够参考服务的采集配置 帮忙文档进行设置。 4、查看主机日志实现了主机的日志采集配置之后，就能够到云日志服务的治理控制台查看主机的相干日志，能够查看原始日志，也能够查看实时日志，还能够进行日志搜寻以及各种可视化操作。 首先，在云日志服务治理控制台 ，“日志治理”页面中，抉择刚刚创立好的日志组的日志流的名称，进入到日志流详情页面即可进行各种操作。至此，咱们就简略的实现了一个Linux主机接入云日志服务的实际过程，如果想体验更多的内容，请点击《 LTS 根底入门实际》 进行沙箱试验的体验，外面有具体的手册领导和环境配置指引。

导言BEVFormer是一种纯视觉的主动驾驶感知算法，通过交融环视相机图像的空间和时序特色显式的生成具备强表征能力的BEV特色，并利用于上游3D检测、宰割等工作，获得了SOTA的后果。咱们在EasyCV开源框架（https://github.com/alibaba/Ea...）中，对BEVFomer算法进行集成，并从训练速度、算法收敛速度角度对代码进行了一些优化。同时，咱们进一步应用推理优化工具PAI-Blade对模型进行优化，相比于原始模型在A100配置下能获得40%的推理速度晋升。本文将从以下几个局部进行介绍：1、BEVFormer算法思维 2、训练速度和算法收敛速度优化 3、应用PAI-Blade优化推理速度。 BEVFormer 算法思维 如上图所示，BEVFormer由如下三个局部组成： backbone：用于从6个角度的环视图像中提取多尺度的multi-camera featureBEV encoder：该模块次要包含Temporal self-Attention 和 Spatial Cross-Attention两个局部。Spatial Cross-Attention联合多个相机的内外参信息对对应地位的multi-camera feature进行query，从而在对立的BEV视角下将multi-camera feature进行交融。Temporal self-Attention将History BEV feature和 current BEV feature通过 self-attention module进行交融。通过上述两个模块，输入同时蕴含多视角和时序信息的BEV feature进一步用于上游3D检测和宰割工作Det&Seg Head：用于特定工作的task headBEVFormer训练优化训练减速优化咱们从数据读取和缩小内存拷贝耗费等角度对训练代码进行优化。 数据读取应用更高效的图片解码库 turbojpegBEVFormer在训练过程中，须要时序上的数据作为输出，将串形的读取形式优化为并行读取。先做resize再做其余预处理，缩小了额定像素带来的计算开销内存拷贝优化应用pin_memery=True，并修复了mmcv DataContainer pin_memory的bug将代码中的numpy操作替换为torch.tensor，防止不必要的h2d拷贝other应用torch.backends.cudnn.benchmark=True(ps：须要保障在输出数据没有动态性的状况下应用，否则反而会减少训练耗时）修复了torch.cuda.amp混合精度在LayerNorm层生效的bug咱们在A100 80G的机器上，应用fp16比照吞吐量如下： 精度收敛优化咱们应用额定的数据增广形式和不同的损失函数来优化模型。同时退出额定的训练策略来进一步晋升模型收敛速度及精度。 数据增广形式rand scale(采纳不同分辨率的输出进行训练，试验中发现该操作会引入至多20%的额定训练工夫，因而在下述试验中，均没有采纳)rand_flip（以50%的概率随机翻转图片）损失函数应用smooth l1 loss或 balance l1 loss代替l1 loss。（在mini dataset的试验中，这两个损失都能够晋升精度，上面的试验中采纳balance l1 loss）训练策略 1.应用one2many Branch 这个做法来自于H-Deformable-DETR，在DETR系列的检测模型中采纳one2one的匹配形式来调配GT Boxes，这种做法尽管让模型在测试的时候，可能防止冗余的NMS后处理操作，然而只有多数的Query会被调配给正样本，导致训练时模型收敛速度相比于one2many的形式会慢很多。因而，在训练过程中退出auxiliary Query，同一个GT Box会匹配多个auxiliary Query，并应用attention mask将one2one branch和one2many branch的信息隔离开。通过这样的形式，可能显著的晋升训练过程中的收敛速度，同时在测试过程中只须要放弃one2one branch进行预测。（在试验中，应用额定退出1800个auxiliary Query，每个GT box匹配4个query进行训练） CBGS in one2many Branch咱们的试验是在NuScenes数据集上进行的，在该数据集的3D检测工作上有10类标签，然而这10类标签之间的样本极度不平衡，很多算法会采纳CBGS操作进行类间样本平衡，然而这个操作会将整个数据集扩充4.5倍，尽管有肯定的精度晋升，然而也带来了微小的训练老本。咱们思考在one2many Branch上进行样本平衡操作，即对于实例数量较多的样本应用较少的auxiliary Query进行匹配，而对于长尾的样本应用较多的auxiliary Query进行匹配。通过CBGS in one2many Branch的形式，训练工夫和base保持一致的根底上会进一步晋升收敛速度，最终的精度也有肯定的晋升。(试验中匹配框数量变动：[4, 4, 4, 4, 4, 4, 4, 4, 4, 4] -> [2, 3, 7, 7, 9, 6, 7, 6, 2, 5]) ...

近日，由中国信息通信研究院（以下简称“中国信通院”）主办，中国通信标准化协会云计算规范和开源推动委员会承办的3SCON软件供应链平安会议以线上直播模式召开。为应答软件供应链平安治理难题，并为用户抉择适合厂商及产品提供选型领导，会上主办方公布了首期《软件供应链厂商和产品名录》，蚂蚁团体多项技术产品入选优良实际案例。 此次蚂蚁团体旗下包含子公司共有6项产品同时入选，别离是4款信息安全软件：“源代码动态缺点剖析零碎Pinpoint”、“软件成分剖析工具SCA”、“利用运行时平安切面防护平台RASP”、以及“交互式利用平安测试切面平台IAST”；及两款数据库管理系统：“TuGraph企业级图数据库治理平台”和“OceanBase数据库软件”。源代码动态缺点剖析零碎Pinpoint通过交融多套剖析引擎技术，在剖析精度，速度，深度等方面平衡失去较好的剖析后果，可能主动寻找软件的编码谬误，无需人工干预，在发现缺点的同时还能给出问题的触发过程。可帮忙开发人员集中精力实现开发进度的同时进步软件品质，大幅缩小生产成本，进步研发效力。 软件成分剖析工具SCA是从蚂蚁大规模研发实际登程，采纳全自研的软件成分剖析引擎，为本身以及金融机构提供软件供应链的根底剖析能力，能够针对软件、组件、源代码等多种形式的信息资产实现剖析，提供高精度的SBOM，同时配合蚂蚁外部的研发流程，实现开源组件的全生命周期治理。 利用运行时平安切面防护平台RSAP是一款利用切面技术将检测策略注入到被爱护利用的服务过程中，可能提供函数级别的实时威逼检测，达到无效进攻web利用攻打的目标。次要性能包含：丰盛的web破绽检测能力、自定义设定规定、无侵入注入策略、实时解析Payload、精准拦挡攻打、可视化出现威逼事件等。实用于大量应用开源组件的互联网利用以及第三方集成商开发的行业利用场景。在大规模部署和双十一外围链路场景验证下高稳固运行，出现上万次拦挡、零次误报的实际效果。 交互式利用平安测试切面平台IAST是一种将检测探针植入应用程序外部，在程序运行时进行破绽检测的技术。因为IAST能够无效的检测任意代码和命令执行、SSRF、任意反序列化、借口未受权、程度越权、XXE、SQL注入等多种破绽，成为与白盒和黑盒并列的利用平安测试技术之一，也是蚂蚁平安平行切面中DevSecOps落地的重要实际之一。实用于大量应用开源组件的互联网利用以及第三方集成商开发的行业利用场景。 目前，上述4款信息安全软件曾经集成至蚂蚁团体自主研发的云原生PaaS平台SOFAStack4.0对外输入。据理解，往年11月，SOFAStack4.0降级公布，将平安能力作为架构降级的重点，提供包含软件供应链平安、计算环境平安、利用加强平安等多维度的平安能力，为金融机构及企业客户的IT系统安全保驾护航，目前曾经服务超百家机构客户。TuGraph企业级图数据管理平台是蚂蚁团体自研的一站式图数据库产品，具备万亿图数据处理能力，可用于解决金融风控场景的交易网络分析、团伙辨认、门路追踪等问题。在蚂蚁团体外部实际中，TuGraph能够将危险审理剖析效率晋升90% 。往年8月，国内权威图数据库测试机构LDBC颁布了一项行业通用的社交网络基准（SNB）测试最新后果，TuGraph在吞吐率测试上突破官网审计纪录，继2020年之后再次取得世界第一。 OceanBase是一款原生分布式数据库，也是寰球惟一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的自研原生分布式数据库，目前已服务金融、能源、交通等400余家客户实现外围系统升级。 据理解，《软件供应链厂商和产品名录》从厂商和产品两大维度进行名录展现，旨在从供应链供需双方视角登程，一方面帮忙软件供应链需要侧企业进行选型参考，另一方面助力供给侧企业明确并标准平安要求，从而实现向业界遍及软件供应链平安理念，建设平安可信生态，进而推动我国软件供应链平安产业倒退的指标。    

云渲染能够解放本地计算需要，这意味着生产力的大幅晋升。云渲染的基本原理是将3D渲染利用部署到云端，接管本地的控制指令发送到云端，云端启动游戏引擎并进行画面渲染，编码成视频流传输到本地。 不难看出，云渲染技术的外围在于将计算搬到云端，对渲染出的画面进行流化的传输。而过程中渲染画面的抓取、编码、传输、显示等流程被称为串流。 串流是云渲染业务用户体验的外围，串流延时、画质、卡顿等都会间接影响到用户体验。 云渲染串流技术框架次要分为两局部：云端串流引擎和串流客户端。 云端串流引擎：在云端GPU上，响应客户端发送过去的控制指令，启动渲染利用并进行串流视频的解决与发送。引擎往下适配各种OS和硬件，往上对接调度和业务零碎。 串流客户端：串流客户端相似一个播放器，进行串流视频的接管和编码，同时发送控制指令来操作云端渲染引擎。云端串流引擎和串流客户端通常是一对一的。 基于云渲染串流技术可能大幅度弱化本地GPU渲染利用压力，将简单资源处理过程迁徙至云端进行，本地计算需要进化为一个播放器。 01 云渲染串流的三大技术挑战云渲染的外围技术指标与挑战次要有以下三方面：延时、画质与晦涩度、老本（包含GPU计算成本和传输带宽老本）。 首先，延时是云渲染串流技术体验的根底，超低延时的需要则带来了微小的技术挑战。云渲染串流过程中的延时次要分为两方面： 端到端的延时：音视频通话250ms以下延时曾经难度很大，对于云渲染串流技术而言，想要将端到端延时管制在100ms内更是难上加难。 Motion to Photo的延时：比方在VR云游戏场景下，应用头盔进行头部转动动作时，画面上的延时称作Motion to Photo的延时，为保障用户体验须要将该延时管制在20ms以内。 对于画质和晦涩度来说，云渲染须要输入视频流，画质与晦涩度作为用户直观的体验，其技术带来的挑战次要在以下三方面： 1.面临简单网络环境与不稳固的带宽，是否保障画面清晰度与晦涩度； 2.画质、码率、计算成本三角关系的均衡； 3.技术先进性和兼容性的均衡，如：更先进的编码技术H265尽管可能晋升画质，但其解码性能和兼容性如何保障？ 在老本方面，目前来看，云游戏、云渲染正在蓬勃发展，但离实现商业化盈利依然路途遥远。首先，云渲染GPU资源存在一对一独占资源的特点，单用户耗费的计算资源较高。其次，云游戏存在显著的业务顶峰，通常集中在晚间，其余闲时资源如何利用成为了一大问题。最初，如前文提到，云渲染对画质和帧率有较高要求，如何在保障用户体验的同时升高每个渲染过程的资源耗费。 02 多维度优化云渲染策略延时优化下图对全链路延时进行拆解，其中如指令传输、音视频流控&QoS等环节的延时稳定较小，优化工作次要针对传输、编解码的延时进行。 传输延时优化 因为云渲染服务与理间隔来缩小延时，基于高笼罩的ENS边缘节点集群进行就近解决与传输，通过调度将工作下发至离用户最近的GPU节点进行解决与串流工作。 其次能够通过传输协定上的优化来缩小延时。取代传统的RTMP、HLS协定，转向采纳RTC协定进行传输，同时针对云渲染的场景特点来制订QoS策略，如带宽预计、拥塞管制等来实现优化成果。 编/解码延时优化 影响编码延时的次要因素是帧级的线程缓存、lookahead缓存、B帧。优化编解码延时的外围思路是“进一帧，编一帧，出一帧”，不进行任何缓存，用slice thread 代替 frame threads，敞开lookahead与敞开B帧(在HEVC规范下，可采纳GPB编码方式，将一般B帧用低延时B帧进行代替，既能晋升画质又能升高延时)。 画质与晦涩度优化画质与晦涩度出现的关系如同跷跷板，为了保障用户体验往往须要在两者之间进行均衡。 在云渲染场景下，编码须要与网络进行联动，通过实现网络自适应传输与编码来优化晦涩度： 带宽预计：依据网络状况动静调整编码器码率等参数； 拥塞管制：采纳BBR或是GCC进行拥塞管制，如被动丢帧。BBR策略收敛更快，通常更适宜云游戏场景； 丢包重传：如前文所述云渲染采取就近传输方式，能够依据这个特点实现疾速重传策略； 抗I帧风暴：因为I帧占用带宽较大，在I帧过多的状况下对于清晰度与晦涩度造成较大影响； 管制I帧数量和大小 视频帧的类型分为I帧、P帧、B帧，其中I帧大小远大于P帧与B帧，I帧密集容易引起卡顿，Intra refresh策略可能无效解决此类问题。 通过将I帧拆分为多个I slice并按程序平铺到间断的帧中，无效管制I帧的梳理。呈现丢帧后可顺次排序组合复原出残缺的一帧。 VBR+VBV码率控制策略 CBR码控策略能够使得码率安稳，保障晦涩度。但思考到云游戏场景画面静止激烈，因而固定码率会造成局部帧画质较差的问题。须要在画质与晦涩度间获得均衡，举荐采纳VBR算法+VBV参数的形式管制码率稳定，使得码率可能在肯定范畴内实现“安稳”地稳定。 云端协同的CodeC抉择 在以后环境下，手机终端大多曾经反对H265解码，云端GPU也大多反对H265编码。如果云和端都反对H265解码，通过云与端的协商，在云端优先进行H265编码，可能在等同清晰度下使码率升高20%~40%。 CPU+GPU混合的窄带高清编码 独自应用CPU编码老本高、提早大；独自应用GPU编码灵活性差、画质差。可交融CPU与GPU编码能力，采纳GPU为主、CPU为辅的混合编码策略。 阿里云窄带高清编码技术，通过视频加强解决和编码的联结优化，可能在码率雷同时显著晋升画质。或者使码率在升高30%～60%的状况下，视频画质依然持平甚至有所晋升。 但云渲染场景与一般的视频特点差异较大，且通常须要采纳硬件编码。须要思考如何在低延时、场景疾速切换、静止激烈的状况下优化GPU编码的画质与晦涩度。后文将联合三星堆云渲染场景，介绍阿里云在云游戏场景的窄带高清成果。 老本优化解决根底体验问题后，老本问题成为云渲染、云游戏商业化面临的最为突出的挑战。 云渲染老本次要能够分为三条线：单任务理论GPU资源耗费， 单机资源利用率， 总资源池利用率。老本优化策略须要围绕如图所示的三条线开展。而在理论场景中云渲染老本优化还存在以下四方面的问题： 1.单过程资源耗费大 2.CPU<-> GPU 内存拷贝效率低 3.单机资源利用率低 4.业务并发工夫集中 从以上四个角度登程，接下来将具体介绍如何实现云渲染老本优化。 单任务资源耗费优化 ...

作者：任建伟，某出名互联网公司云原生工程师，容器技术信徒，云原生畛域的实践者。背景介绍在接触容器化之前，咱们团队外部的利用始终都是基于虚拟机运管，由开发人员自行保护。 因为面向多开发部门服务，而开发人员运维能力参差不齐，所以每次部署新的环境时往往都要消耗大量工夫。 针对部署难的问题，咱们将局部组件、服务容器化，采纳 Docker 公布治理解决了局部问题，但仍未升高对开发人员的运维技能要求。 上面是咱们基于虚拟机治理开发环境的流程： 从上图中咱们也能发现以后架构存在的问题： 下发虚机由各部开发人员治理，虚机平安问题难以保护、保障；基于 shell 运维，专业性过强；基于手动打包、公布，耗时耗力且不牢靠。选型阐明针对上述提到的痛点，咱们决定对运维架构进行革新。新建运管平台，技术选型整体基于云原生，优先选取 CNCF 我的项目。 Kubernetes 成为了咱们平台底座的不二抉择， 但 Kubernetes 原生的 Dashboard 不太满足理论应用需要。 而从头开发一套 workbench 又耗时耗力，由此咱们眼光转向了开源社区。 此时，一个集颜值 + 弱小性能于一身的开源我的项目进入咱们视线。是的，它便是 KubeSphere。 而 KubeSphere 愿景是打造一个以 Kubernetes 为内核的云原生分布式操作系统，它的架构能够十分不便地使第三方利用与云原生生态组件进行即插即用（plug-and-play）的集成，反对云原生利用在多云与多集群的对立散发和运维治理。 对于 KubeSphere 是否作为部署平台，最终论断如下： KubeSphere 虽功能强大，但更适宜作为治理端应用，不太适宜面向普通用户。 咱们须要本地化一套 workbench ，简化局部性能，屏蔽专业性术语（如工作负载、容器组、平安上下文等）。 本地化局部内容如下： 基于企业空间、命名空间，本地化租户、工作空间的概念，一个租户（企业空间）可治理一个到多个工作空间（命名空间），并接入独立用户体系。本地化利用公布流程： 由拆分的利用公布流程（构建镜像+创立负载），本地化为：创立利用 -> 上传 jar -> 指定配置 -> 启动运行的串行流程。本地化链路监控：构建镜像事后埋点，创立利用时抉择是否开启链路追踪。本地化配置、利用路由等，增加版本治理性能。事实上，咱们本地化的重点是利用治理，然而 KubeSphere 性能过于弱小、个性过于灵便，导致配置起来项过于繁琐。 针对局部配置项咱们采纳设置默认值的形式，而非交由用户去配置。（比方：容器平安上下文、同步主机工夫、镜像拉取策略、更新策略、调度策略等） 革新后的运维架构如下： 实际过程基于 KubeSphere 的运管平台整体架构如下： 环境信息表： 名称版本阐明kukekeyv1.0.1KubeSphere 装置工具kubespherev3.0.0基于 K8s 的面向云原生利用的分布式操作系统kuberentesv1.18.6容器编排零碎dockerv19.03.15容器引擎CentOS7操作系统kernel5.4操作系统内核本地化部署流程如下： 镜像本地化1️ 基于 harbor 搭建公有镜像库。 ...

算力在云端磅礴，云计算技术突飞猛进。过来十年间，寰球云计算市场疾速扩张，市场规模爆发性增长。 中心化的云计算架构提供了集中、大规模的计算、网络和存储等资源，解决了泛互联网行业在前二十年疾速倒退所面临的业务迅速增长、流量急剧扩张和大规模计算需要等问题。 边缘计算是构筑在边缘基础设施之上，位于尽可能凑近事务和数据源头的网络边缘侧，并可能与核心云合作的云计算模式。 相较于集中式云计算，边缘计算可提供弹性扩大的云服务能力，具备疾速响应、低提早和轻量计算等特点。 产业倒退，脉络一览01 稳定增长，激发市场生机政策环境不断完善，边缘计算倒退，恰逢其时。2021年，我国边缘计算市场规模达到436.4亿元人民币，预计将来三年年均增速超过50%，至2024年边缘计算市场整体规模达1803.7亿元，边缘计算市场增长空间广大。 IDC《中国边缘云市场解读，2022》报告显示，2021年中国边缘云市场规模总计达50.4亿元人民币，其中，边缘私有云服务细分市场占比超过50%，市场规模达25.6亿元人民币，为整个边缘计算倒退注入新生机。 02 欣欣向荣，共建边缘生态边缘生态包含云厂商、电信运营商、软件／行业解决方案厂商、零碎集成商等。 边缘计算产业全景图笼罩边缘硬件、物联网边缘、边缘云、边缘软件与工具、边缘利用和边缘平安等各环节因素，助力边缘业务落地。 其中，边缘云作为要害因素，承下对接物联网硬件等基础设施，向上通过计算服务撑持各行各业利用，起到了十分要害的作用。 03 状态丰盛，部署模式呈多样化随着边缘计算的深刻倒退，企业的部署模式出现不同的落地状态： | 云服务延长：提供针对特定区域或是广域笼罩的边缘计算资源，包含边缘私有云，CDN边缘云等类型。 | 电信网络：利用运营商网络边缘节点，依据需要建设资源池规模、服务品种差异化网络边缘服务，提供相似MEC多接入服务的边缘计算服务。 | 深刻用户现场：在凑近用户数据中心或业务现场的中央，实现按需部署，包含混合边缘云、现场边缘云等类型，反对用户在本地部署本人的边缘云服务，并达到数据合规的要求。 04 继续深入，利用部署减速落地中国信通院《边缘计算市场和用户洞察报告（2022）》深入研究边缘计算在企业用户中的落地现状及将来布局，为产业将来倒退提供实际参考和指引。以下数据源自其中，顺次开展剖析。 | 在边缘部署类型方面，企业客户采纳私有化边缘云解决方案和边缘私有云服务的占比拟高，别离为59.4%和52.8%，其次是IoT边缘计算和边缘软件解决方案，别离占比48.1%和32.5%。 边缘部署的类型占比 | 在技术利用方面，受访者企业中，边缘数据处理和剖析、边缘虚拟化、边缘存储和边缘网络等技术利用较为宽泛，占比均超过50%，同时，开发框架、AI、平安、中间价和容器等技术，在边缘的利用仍待进一步倒退。 边缘计算的技术利用占比 | 在落地场景方面，数据采集、视频监控、物联感知、近程管制等是目前边缘计算落地利用绝对比拟广的场景，其中数据采集场景利用占比高达69.3%，其次是视频监控和物联感知，别离为57.1%和50.9%。 而近程医疗、视觉质检、云游戏、边缘渲染、低延时直播等场景利用在受访企业中占比有余20%，将来，仍有更多翻新落地的空间。 边缘计算的落地场景占比 05 挑战VS时机，布局引领倒退方向| 在效益晋升方面，晋升业务的麻利部署，在边缘计算利用价值中至关重要，占比高达68.4%。 对于一些大型政企客户来说，相比于集中式的数据中心和云上部署，部署边缘云可能更好地实现业务麻利部署，从而真正为业务带来新价值。 在企业调研中，升高计算时延、节约带宽老本、增强数据安全均成为企业部署边缘计算之后带来的显著功效，占比别离为63.7%，56.1%和49.5%，极大晋升了业务效益和价值。 边缘部署的效益占比 | 在部署挑战方面，边缘系统治理简单、保护系统可靠性和稳定性、老本等因素成为边缘云部署的次要挑战，在受访企业中占比别离为61.3%、60.8%和53.3%。 同时，部署边缘系统艰难、无显著业务需要和具备平安危险，也为企业的边缘计算布局带来妨碍，亟待边缘计算技术的倒退而解决。 边缘部署的挑战占比 | 在投入布局方面，企业加大对边缘部署的投入规模，边缘计算相干云服务、软件及解决方案、硬件设施等成为企业投入布局的TOP3，在受访企业中占比高达65.9%、60.3%和52.7%，边缘计算发展前景广大。 边缘部署的投入布局占比 架构降级，极致演进以下为边缘计算畛域最受关注的五项技术架构，为用户在边缘计算模型的选型与开发提供参考。 01 分布式资源管理：协同对立管控阿里云通过纳管散布宽泛、资源异构、规模多样的边缘节点，实现寰球范畴内边缘云分布式资源对立视角治理应用、监控运维。 边缘管控须要适度自治能力。依据阿里云与中国信通院最新联结公布的《边缘云技术演进与倒退白皮书》，边缘云分布式管控零碎是一对多的分级管控模型，各级管控平台需具备满足本身定位的管控能力。 边缘云分布式管控零碎与核心管控零碎协同实现管控逻辑，更加适配边缘计算场景。 02 分布式数据管理：开释因素价值如何在边缘侧进行云边协同的数据管控，是保障业务流通的重要技术点。边缘云分布式数据管理，通过构建数据采集、解决、汇聚、剖析、存储、治理等全环节能力，实现业务生产、利用数据，经营、经营治理数据，第三方数据的对立汇聚和剖析，施展数据因素价值。 | 在终端侧，通过传感器、物联设施实现业务利用数据源全面感知采集； | 在边缘侧，实现异构数据接入、实时处理、边缘存储、数据转发； | 在核心云，构建对立数据汇聚集成、大规模存储、智能剖析等协同体系，无效晋升数据利用程度和能力。 03 分布式应用平台：构建麻利弹性利用分布式应用平台将云上的开发方式部署至边缘侧，通过跨边缘节点的利用对立开发、部署、调度、治理、运维等能力，减速构建云边协同下弹性麻利的边缘原生利用。 | 利用部署：实现利用按需分布式部署； | 多集群治理：通过集群平安连贯，对立治理； | 分布式应用治理：通过部署策略（天文亲和性、反亲和性等），调度策略（资源池、衰弱状态等），镜像减速（缓存、P2P等），数据迁徙等，实现跨云边端集群的利用对立治理； | 服务流量治理：通过云边、边边容器网络互通，服务智能路由（地位、时延、网络品质等），流量治理（流量切换、限流、降级、负载平衡等），实现服务对立治理。 04 散布式调度：实现体验、资源最优均衡如何实现业务体验与资源利用的最优均衡？ 边缘云散布式调度技术，从资源调度、流量调度以及利用调度等多个维度，对立全局调度治理，以云边端协同的形式满足业务调度需要，最大化晋升业务体验，进步资源应用效率。 | 资源调度：构建全局资源监测和伸缩能力，实现资源监测、弹性伸缩；通过调度算法和策略，优化资源应用、时延、地位、老本等指标，实现资源智能化调度； | 流量调度：联合业务特点，事后进行业务流量预测，对云边计算、网络带宽等进行拆分和布局（例如建设专用通道）；针对流量接入、回源等方面需要，联合地位、老本等因素，实现流量动静接入和调节； ...

Cloudpods是一个开源的多云混合云治理平台。Cloudpods首先是一个公有云云平台，具备将计算节点应用开源QEMU/KVM虚拟化技术虚构出虚拟机，实现公有云的性能。其次，Cloudpods可能纳管其余的云平台，包含支流公有云和私有云，实现云管的性能。Cloudpods的指标是帮忙用户基于本地根底设置以及已有云根底设置，构建一个对立交融的云上之云，达到升高复杂度，进步管理效率的成果。Cloudpods从3.0开始全面拥抱Kubernetes，基于Kubernetes部署运行云平台的服务组件，采纳Kubernetes Operator，基于Kubernetes集群自动化部署服务，实现了云平台的服务的容器化分布式部署。本文总结了Cloudpods在过来3年云平台底层容器化革新的教训。目前，将Kubernetes作为IAAS平台的底层服务治理平台是一个趋势，例如OpenStack的Kolla我的项目，VMware的Tanzu，以及基于Kubernetes的虚拟化计划KubeVirt。Cloudpods适应此趋势，早在2019年下半年开始基于Kubernetes构建Cloudpods的服务组件基础设施。实践上，Cloudpods站在了伟人的肩膀上。有了Kubernetes的加持，咱们基于Operator治理CRD(Custom Resource Definition)机制做到了更优雅的服务自动化部署，合乎IaC（Infrastructure as code）实际的服务降级和回滚，服务的主动高可用部署等等。但在实际效果上，咱们基于Kubernetes，取得了一些便当，但也遇到了不少未曾预料到的问题。本文介绍自从2019年3.0容器化革新以来，因为引入Kubernetes遇到的问题，咱们的一些解决方案，以及未来的布局。 1、容器化带来了哪些益处1）不便对散布于多个节点上的服务的治理管理员能够在管制节点对立地查看运行在各个节点的服务状态，查看日志，启停和公布回滚服务，甚至exec进入服务容器排查问题。同时咱们引入Loki收集所有容器的日志，能够对立地查看各个服务的日志。对分布式集群的运维和排障都变得绝对简略。采纳Kubernetes之后，间接登录各个节点排障的机会大大降低了。 2）集群配置变更更不便及可控整个集群的状态能够保留为一个OnecloudCluster yaml文件。能够不便地变更集群的配置，包含集群的版本，实现版本的降级和回退，以及集群服务的开启和敞开，镜像版本等要害参数的变更等。更进一步地，能够通过git进行配置yaml的版本控制，做到变更的历史记录审计，并且能够随时复原到任意指定的配置。 3）便于适配不同的CPU架构和操作系统Kubernetes作为一层中间层，从肯定水平上屏蔽了底层的差别。采纳Kubernetes后，对CPU和操作系统的适配大略分为三局部工作： Kubernetes对CPU和操作系统的适配；不同CPU架构下服务容器镜像的构建；Kubernetes之外的组件的适配，例如平台依赖的rpm包等。基于Kubernetes本身弱小的生态，根本都有现成的解决方案，只须要做相应的集成工作。只需通过docker buildx工具生成异构CPU架构的镜像。因而，整个适配工作复杂度大大降低了。4）部署的便利性减少引入Kubernetes之后，整个部署流程分为几个阶段： Kubernetes的部署，这个步骤通过基于kubeadm革新的ocadm实现。Cloudpods服务容器的部署，这个步骤通过ocadm在容器内部署operator，通过operator实现相应configmaps，deployments和daemonsets等资源的创立，进而主动创立服务集群。Kubernetes之外依赖组件的装置部署。这个步骤通过ocboot，集成ansible实现。每个阶段都是基于成熟的开源计划扩大实现，可靠性高。同时，各个组件分工明确，模块化清晰，易于保护和扩大。 5）可复用Kubernetes自身自带的弱小性能如coredns能够自定义域名，甚至能够做泛域名解析。Ingress自带反向代理的性能。service+deployment提供的多正本冗余机制。daemonset提供的在新增加节点主动拉起服务的能力。对服务的资源限度（CPU，内存，过程号等）。这些都使得云平台服务性能个性的实现变得更加容易。 2、容器化遇到了哪些问题，如何解决上面总结一些遇到的问题。这些问题是咱们在采纳Kubernetes治理和运行云平台组件中陆续发现的。有些曾经彻底解决，但很大一部分还只是局部解决，彻底解决的计划还在继续摸索中。 1）容器内运行零碎级服务Cloudpods在计算节点运行的服务都是零碎级的服务，如计算节点的外围服务hostagent，需具备几个特权： 需启动零碎的daemon服务过程，如qemu虚拟机过程，vswitchd等零碎过程，这些过程由hostagent启动，但需独立于hostagent运行；需拜访计算节点的任意目录文件。在容器化之前，这些服务由systemd治理，以root身份运行。这些特权都天然具备。容器化后，服务需运行在容器内。尽管能够通过配置给与容器零碎级的root权限，然而一些特权操作在容器内仍然无奈执行。 首先，容器内无奈启动零碎级daemon服务过程。如果通过容器内的程序启动过程，则该过程只能运行在容器内的PID空间(pid namespace)，只能追随容器的生命周期启停。为了解决这个问题，咱们将零碎服务的二进制程序安装在计算节点的底层操作系统，并且开发了一个命令执行代理executor-server。该代理装置在底层操作系统，并作为一个零碎服务运行。容器内的hostagent通过该代理执行零碎级命令，例如启动这些daemon服务，设置内核参数等，从而取得了执行零碎级命令的特权。 其次，每个容器具备本人独立的文件系统命名空间(mount namespace)。为了容许容器内服务拜访计算节点底层零碎的特定门路文件，须要将该门路显式地挂载到容器的文件系统命名空间。例如，虚拟机的配置文件和本地磁盘文件都存储在/opt/cloud/workspace目录下。容器内的hostagent在虚拟机筹备和配置阶段须要可能拜访这个目录的文件，同时，启动虚拟机后，在底层操作系统运行的虚拟机qemu过程也须要可能拜访对应的文件。并且，因为上述命令执行代理的机制，为了简化和放弃向后兼容的目标，须要确保尽量以统一的门路在容器内和容器外拜访这些文件。为此，咱们将一些特定的系统目录以同样的门路挂载到hostagent的容器内，例如零碎设施文件门路/dev，云平台的配置文件门路/etc/yunion，虚拟机系统文件门路/opt/cloud/workspace等。然而，这个机制还无奈解决容器内服务拜访底层零碎任意门路的问题。例如，用户能够将底层零碎的任意目录设置为虚拟机磁盘的存储目录，然而该目录其实并未通过容器的spec挂载到hostagent容器内，从而导致hostagent在容器内无法访问该目录。为了解决这个问题，咱们对hostagent进行了革新。当hostagent检测到用户增加了新的本地目录作为虚构磁盘文件的存储门路，会主动地执行底层系统命令，将该门路挂载到底层操作系统的/opt/cloud/workspace目录下。因该目录曾经挂载到hostagent容器内，这样hostagent就能够在容器内拜访这个目录下的文件。 总之，相比将一个一般应用程序容器化，将零碎级的服务程序从systemd托管变为在Kubernetes容器中运行，不是仅仅简略地打一个容器镜像，其实还须要做一系列比较复杂和繁冗的革新工作。 2）日志长久化容器化之前，服务日志会记录到journald中，并被长久化到/var/log/messages。依照CentOS的默认策略，保留最近一段时间的日志。遇到问题的时候，能够到对应服务器查找到对应的日志，排查谬误起因。然而，不不便的中央是须要登录到服务运行的节点查看日志。在一个事变波及多个节点的时候，就须要同时登录多个节点进行日志排查。 容器化之后，能够不便地在一个中央，通过kubectl log命令查看指定容器的日志，不须要登录到服务运行的节点。 然而，如果没有做非凡设置，K8s里的容器的日志都是不长久保留的，并且只保留以后正在运行的容器的最近一段时间的日志。而容器往往十分动静，很容易删除。这就导致遇到问题须要排查曾经被删除的容器时候，容易遇到找不到对应的日志。这就使得追溯问题变得比拟艰难。 咱们的解决方案是从3.7开始，会默认在k8s集群里部署Loki套件来收集容器的日志，日志最初存在minio的S3 Bucket 外面。这样做可能长久化容器的日志。解决上述问题。然而，保留Loki日志有肯定的零碎负载，并且须要较大容量的存储空间。在集群容量缓和的状况下成为平台的额外负担，可能造成平台的不稳固。 3）节点Eviction机制Kubernetes有驱赶机制（Evict）。当节点的资源余量有余时，例如磁盘残余空间低于阈值或残余内存低于阈值（默认根分区磁盘空间低于85%，闲暇内存低于500M）等，会触发Kubernetes的节点驱赶机制，将该节点设置为不可调度，下面的所有容器都设置为Evict状态，进行运行。 该机制对于无状态利用能够动静地躲避有问题的节点，是一个好的个性。然而，在云平台的场景中，甚至对于广泛的有状态服务场景中，Eviction机制导致节点可用性变得十分动静，进而升高了整体的稳定性。例如，因为用户上传一个大的镜像，导致管制节点根分区利用率超过Eviction的阈值85%，云平台的所有管制服务就会被立刻驱除，导致云平台管制立体齐全不可用。用户在虚拟机磁盘写入大量数据导致宿主机磁盘空间利用率超过阈值，也会引起计算节点上所有服务被驱赶，进而导致这台计算节点上所有的虚拟机失联，无法控制。能够看到，尽管触发Eviction机制的问题存在造成服务问题的可能，然而这些问题对服务的影响是延后的，逐渐失效的。Eviction机制则使得这些潜在危险对服务的影响提前了，并立刻产生，起到了放大的作用。 为了防止Eviction机制失效，云平台在计算节点的agent启动的时候，会自动检测该节点的Eviction阈值，并设置为计算节点的资源申请下限。云平台在调度主机的时候，会思考到Eviction的阈值，防止资源分配触发Eviction。这个机制能从肯定水平躲避Eviction的呈现，但云平台只能治理由云平台调配的资源，还是存不在云平台治理范畴内的存储和内存调配导致Eviction的状况。因而须要计算节点肯定水平的内存和存储的over-provisioning。 目前，Eviction的存在也有肯定的踊跃作用，那就是让节点资源的不足以云平台罢工的形式提出警示。因为云平台的冗余设计，云平台的临时罢工并不会影响虚拟机的运行，因而影响水平还比拟可控。无论如何，以云平台可用性的就义来达到资源有余的警示，代价还是有点大。这样的警示能够其余更柔和的形式来实现。随着云平台本身治理资源容量能力的欠缺，Eviction机制应该能够去除。 4）容器内过程泄露Cloudpods服务次要为go开发的应用程序，容器镜像采纳alpine根底镜像最小化构建，仅蕴含服务的二进制和alpine根底镜像，服务过程作为容器的启动过程（1号过程）运行。咱们的服务程序没有为作为1号过程做专门的优化，因而不具备systemd/init等失常操作系统1号过程具备的过程治理能力，例如解决孤儿过程，回收zombie过程等。然而，一些服务存在fork子过程的场景，例如kubeserver调用服务的时候会fork ssh执行近程命令，cloudmon则会执行采集监控数据的子过程。当这些子过程遇到异样退出时，因为咱们的服务过程不具备被动回收子过程的性能，导致系统里积压了了大量退出异样未回收的子过程，导致过程泄露。这些子过程占用操作系统过程号，当达到零碎最大过程数时，会呈现零碎CPU和内存十分闲暇，然而无奈进一步fork新的过程的状况，导致系统服务异样。 为了防止容器内过程泄露问题，咱们在Cloudpods服务框架里退出了回收子过程的逻辑，并且增加到每个服务过程中，这样在子过程异样退出后，咱们的服务过程会回收子过程资源，从而防止了这个问题。同时也配置了kubelet的 最大过程数的限度参数，限度一个pod外面最多能有1024个过程。 5）高可用不肯定高可用咱们基于Kubernetes实现了管制节点的3节点高可用，基本思路是应用3个节点部署高可用的Kubernetes的管制服务，包含apiserver, scheduler, controller, etcd等。Kubernetes服务通过VIP拜访。采纳keepalived实现VIP在三个管制节点上的主动漂移。这此高可用Kubernetes集群之上，部署云平台管制服务，实现云平台管制立体的高可用。预期成果是将3个管制节点中的任意节点宕机后，次要服务不受影响，如果有影响，需可能在短时间内主动复原。 然而，初期测试发现采纳默认参数部署的 Kubernetes 高可用主动复原的工夫高达15分钟，不合乎预期。通过调研发现，能够通过给各个组件设置相干的参数来缩小复原工夫（https://github.com/yunionio/o...）。通过参数调整，能够让Kubernetes集群高可用切换工夫缩短到1分钟以内。 6）服务的启动程序Kubernetes无奈指定pod启动的程序，同时也要求部署在K8s里的服务不要对其余服务的启动先后顺序有依赖。云平台服务在采纳Kubernetes部署治理之前是采纳systemd治理，systemd能够明确定义服务之间的启动程序。这导致服务之间有比拟显著的先后秩序依赖。比方，keystone服务就要求最先启动，其余所有服务都依赖keystone服务提供初始化服务账号的认证。容器化革新后，因为这个依赖，导致在keystone容器启动之前的服务无奈失常运行。定位到该问题后，咱们将服务因为启动程序导致的谬误降级为致命谬误。这样，该服务程序遇到依赖服务未启动导致的问题就异样退出。进而，通过Kubernetes主动重启拉起服务过程。通过这样的革新打消了其余服务对keystone的启动程序依赖。然而，咱们无奈找到无效伎俩辨认出所有依赖启动程序而呈现的谬误，因而这样的服务无程序革新还在继续。 7） 证书生效问题Kubernetes集群节点之间的互相认证和通信依赖PKI秘钥体系。如果节点的PKI证书过期，则该节点kubelet无奈失常和ApiServer通信，进而导致节点状态被设置为NotReady，进而呈现前述的容器驱赶导致节点不可用的重大问题。刚开始，咱们部署的k8s集群还是采纳kubeadm默认的1年有效期的证书，过后还未顾及到证书到期的问题。到2020年底，开始陆续呈现多个集群莫名服务不可用的状况，才留神到证书过期的问题。针对这个问题，咱们刚开始采纳cronjob装置自动更新证书脚本的计划，并且在客户巡检中，专门查看证书过期问题，以提前发现问题。起初到了2021年3.8版本，采纳了更糙快猛的办法，间接批改了kubeadm的证书签发代码，一次性签发99年证书，从而彻底解决了Kubernetes的证书过期问题。 8） iptables批改Kubernetes部署后，kubelet、kube-proxy以及咱们采纳的calico等都依赖iptables，会接管节点的iptables规定，在kubelet启动之后，对iptables规定的批改会被重置，并且会刷新iptables规定。如何长久化对iptables规定的批改成为问题。目前，针对节点的防火墙规定能够采纳calico的网络策略来实现，可参考文章https://www.cloudpods.org/zh/...。但更简单iptables规定，还没找到无效方法。 3、将来布局1）降级Kubernetes版本目前，云平台底座kubernetes的版本是1.15.12，该版本曾经不再被Kubernetes官网反对。目前存在的比拟显著的问题是和较新的采纳cgroup v2的操作系统不兼容，导致无奈设置服务的资源limit。后续思考降级底层Kubernetes到更新版本，以期取得更新的性能个性反对。 2）采纳K3S等更轻量版本目前云平台依赖底层Kubernetes的性能个性不多，同时Kubernetes自身也要耗费肯定的节点资源，前面也打算思考采纳k3s等更轻量的Kubernetes版本，进一步升高Kubernetes的应用老本。 3）移除计算节点对iptables的依赖计算节点网络次要依赖openvswitch实现虚拟机的通信，iptables次要是给kubelet，kube-proxy和cailico-node等k8s服务组件应用，而计算节点上的服务组件次要是用来治理QEMU/KVM虚拟机的host-agent等服务，这些服务自身具备基于ovs的网络管理能，不依赖k8s的网络，齐全能够只依赖host网络即可失常工作。因而，其实能够去掉计算节点的kubeproxy，calico等组件，去除对iptables的批改，这样简化组件依赖，进一步提高零碎的可靠性。 4）齐全禁用Eviction机制Eviction机制在虚拟化云平台或有状态服务场景中，会起到故障放大的作用。在充沛掌控对节点资源耗尽预警的前提下，应思考彻底禁用Eviction机制。 5） 多数据中心架构的反对目前云平台所有节点都运行在一个Kubernetes集群内。而云平台自身是能够反对多数据中心部署的。然而跨数据中心部署单个kubernetes集群不是最佳实际。比拟现实的架构是单个kubernetes集群部署在一个数据中心内。因而，应该容许云平台跨多个K8s集群部署。例如每个数据中心一个Kubernetes集群，其中一个集群部署残缺的云平台，其余Kubernetes集群以从可用区的角色退出主集群。每个Kubernetes集群之上只运行治理一个数据中心所需的云平台组件。进而形成一个多数据中心的云平台架构。 GitHub：https://github.com/yunionio/c... 查看原文

孵化于云端，云通信成为时代的支流。01 云通信的「前世今生」通信与每个人非亲非故。 生态单干和渠道的规模上量，给传统通信模式带来微小的挑战，由此衍生出云通信。 云通信，即基于云计算平台，将传统通信能力进行云化，为客户提供便捷高效的触达能力。 阿里云云通信起步于2017年，为了应答业务倒退和生态布局，阿里云搭建了云通信的根本模块，包含下层的OpenAPI、底层的资源虚化、调度以及平安能力模块。 这一阶段的云通信次要通过私有云的形式提供服务，解决算力的弹性问题。 从2019年开始，随着各个行业的商业化，云通信聚焦于用低成本高效率的形式解决规模倒退问题。 阿里云采纳供应链生态化的策略，通过引进更多的合作伙伴，构建平安、凋谢、高效的通信云，满足宽泛的客户需要。 自2021年至今，规模化之后的共性需要成为云通信场景中的新挑战。在教育行业，“告诉”必须在15分钟内达到，而“验证码”则要求在3秒内达到，这对通信的并发跟调度都提出了更高的要求。 阿里云云通信采纳云原生化的形式，通过低代码、组件化以及可视化编排，为客户提供平安可信、场景化、智能化的定制服务。 02 解客户之所需云原生驱动的交融通信，外围是要疾速、高效、低成本地满足客户多样化场景诉求。解决场景化问题在大企业或中等规模以上企业中，通信场景具备多样化特点，即便是一个简略的认证，都可能会有注册认证、二次认证以及多种认证形式组合的模式。 交融通信规模反对用户的个性化通信需要，赋能多元化场景，实现企业客户通信需要与业务的对立治理。 近年来，5G通信与IM音讯的蓬勃发展推动了云通信的降级演进。通过整合多通道能力，云通信实现了传统通信与互联网通信能力的高效连贯，极大地解决了云通信的场景化问题。 升高接入门槛阿里云云通信反对低代码接入，相比以往API接入升高了接入门槛，让更多的业务人员也能便捷地应用通信服务，迅速扩充了云通信的应用面。 进步生产效率联合AI、大数据、区块链等技术，云通信进步了生产效率，助力客户解决业务场景中的服务效率、平安通信、转化成功率等问题。 03 云原生驱动：交融通信云原生驱动的交融通信，通过平安可信、组件化、智能化的交融通信，提供通信增值服务。基于寰球交融通信网关底座，联合三大通信增值服务，阿里云推出由云原生驱动的云边协同的交融通信，深刻客户个性化场景，满足客户多样化诉求，驱动业务价值增长。 04 技术底座：寰球交融通信网关寰球交融通信网关，外围是实现通信的通道资源虚拟化、规格化以及云化，最终向客户输入对立的API接口。基于容器化、服务网格、微服务等云原生技术，联合边缘云，寰球交融通信网关打造轻量级的边缘网关和云网部署架构，为客户提供易部署、广覆盖、秒级触达能力。 动静调度能力是云通信畛域的核心技术。 通过多级路由调度、动静感知和多因子协同调度、多业务场景优先级调度三种调度形式进行动静流量精准预测和管制，助力客户找到品质、老本、并发等多重因素下的业务最优解。 同时，云通信数智化运维通过可观测技术对全球网关节点埋点，实现基于编排的根因剖析、故障主动定位和疾速隔离，为客户提供平安稳固的通信触达能力。 从边缘云原生、动静调度能力和数智化运维技术，衍生出云通信的3类服务模式：全托管模式、交融共享模式和专有模式。 全托管模式：客户只需关注业务自身，把通道齐全托付给阿里云，而无需思考任何通道的差异性。 交融共享模式：客户能够在本人的公有通道或阿里云平台上进行配置，能够把通道分享给阿里云进行应用或者共享阿里云的通道资源。 专有模式：阿里云云通信为一些大中型客户配置独立的账号、相应的独享通道以及独有的通信零碎，保障系统稳定性的同时，提供伸缩性上的反对。 以寰球交融通信网关为根底，云通信实现三种可增值的通信能力，别离为可信通信、场景通信和智能通信。 05 安全卫士：可信通信在通信畛域，数据安全对企业来说是重中之重。通信须要跨企业合作，而通信的数据又波及企业秘密。如何全面地解决数据安全问题？ 从流量的链路管控到业务的平安经营，阿里云通过端到端的可信通信，为客户提供全链路闭环的平安治理。 在流量防控上，进行智能审核、传输加密、防盗刷和异样流量辨认。 在存储技术上，进行加密存储以及基于加密存储的隐衷计算。 在业务防控上，进行异样危险辨认，包含高风险行为辨认、投诉危险辨认以及无转换辨认。 在平安经营上，进行相应的权限管制、受权应用以及危险监测和预警。 基于云原生的可信、牢靠、通明的可信通道，实现客户的可审计，用户的可授信，供应商的扣量可检测，投诉的可防控以及流量的可频控，最终实现多方的信赖关系。 06 多元交融：场景通信基于Serverless技术，云通信交融产品，通过组件化、编排引擎和利用运行引擎反对各类客户固定业务场景，进步客户通信业务的应用效益。 交融认证云通信通过号码认证、短信认证、语音认证等多种认证形式，晋升整体的转化效率。特地是在号码认证中，基于客户不同的网络环境，进行动静感知和通道抉择，可能取得比一般的认证形式更好的成果。  全通道服务阿里云云通信整合了短信和ChatAPP的能力，在国内市场推出Omni-Channel产品。通过对立的API接口，阿里云反对国内出海的客户和国际化公司实现IM音讯和ChatAPP能力的自由选择和主动切换。  隐衷爱护号码隐衷爱护在2017年被首次提出。随着云通信业务的倒退，隐衷爱护在往年双十一失去了很好的利用。顾客能够在购物的全链路中全程暗藏手机号码，爱护本人的隐衷，取得更佳的购物体验。 工作外联通过数据语音的形式，云通信实现在外卖、导购、征询等多种工作外联场景中的高清通话和数据安全治理。 同时，交融通信基于CPaaS通信平台，反对客户各类自定义业务场景，客户只需聚焦于本身业务，简化运维、通信治理、效益评估等环节，从而升高了业务复杂度。 在PaaS层，CPaaS通信平台为企业提供奴才账号治理能力、资源管理能力和利用治理能力，通过低代码的形式，反对客户个性化治理账号、黑白名单等，自定义设置业务的重发和转发机制，满足客户动态化的业务需要。 除此之外，基于CPaaS规范通信组件和定制化通信组件，阿里云云通信在SaaS层集成了部门控制台和企业治理后盾，让云原生的技术红利惠及更多的客户。 07 高效触达：智能通信基于底层语音音讯等通信产品，叠加达摩院AI算法能力，云通信向外输入AI热线座席（VoiceChatBot）和AI在线座席（ChatBot+转人工）两类产品，为客户提供智能语音和文本对话能力，帮忙客户实现高效的用户服务和获客能力。 将来，以云原生驱动的云通信，会以更宽泛的连贯，更丰盛的场景，更智能的利用，实现通信的平安、精准、高效触达，晋升企业用户服务体验，进一步助力企业降本增效。

中国科学院大气物理研究所大气迷信和地球流体力学数值模仿国家重点实验室（英文缩写 LASG）是国家级重点实验室。LASG 次要钻研方向为地球气候系统模式的研发与利用；天气气象动力学实践、气候系统变化规律及其异样产生机制；天气气象可预报性、气象预测的新实践和新办法；地球流体宏观演变法则和机理。LASG 是蜚声国内外的大气迷信和地球流体力学钻研机构。 地球零碎模式是模仿气候系统行为和变动的重要工具，在气象钻研中扮演着重要的角色。地球零碎模式次要由大气环流模式、路表过程模式、陆地环流模式、海冰模式等圈层模式组成，并通过耦合器（CPL）将它们组合在一起。中国科学院地球零碎模式（CAS-ESM ）是简单巨零碎大规模高性能计算的典型利用，是我国高度自主化研发的残缺地球零碎模式。CAS-ESM 是发展地球零碎数值模仿必不可少的载体，集对地球各圈层静止法则意识之汇合，将地球各个圈层及其相互作用综合起来，用零碎迷信的观点去钻研意识地球，从而成为地球科学研究的根底工具之一。 地球零碎模式：典型的高性能计算正是因为 CAS-ESM 极其简单，计算量微小，对高性能计算提出了极高要求。随着地球零碎模式重量模式的增多、复杂度和模式分辨率的进步，高效率计算成为关键技术。 以后地球零碎模式的科研工作次要面临两方面的挑战：一是模式的钻研从繁多的物理气候系统模式走向零碎的、简单的地球零碎模式，须要综合大气、陆地、冰雪等零碎模式进行定量钻研；二是零碎模式钻研对于高分辨率模式的需要。在新形势下，地球（气象）零碎模式的研发工作给计算机技术的倒退提出了新的需要、新的挑战。该实验室在建造新型数据中心的过程中，性能、可扩大能力、海量文件反对、安全性等方面是重点思考的因素： 在性能方面，CAS-ESM 零碎蕴含了泛滥的分（子）零碎模式，繁多分（子）模式计算过程中须要数百乃至上万个处理器核进行并行计算解决，同时也须要存储系统可能提供相应的 IO 性能，对于单个存储节点还是集群，都提出了较高的性能需求；在可扩大能力方面，在以后的效力计算体系中，该实验室须要搭建数 PB 级的高速并行可扩大存储，次要用于地球模式零碎，其中蕴含着不少图片、业余气象文件等非结构化数据。传统的存储体系很难撑持海量的数据存储需要，更难以跟上数据激增的步调，存储平台的可扩展性也受限；在海量文件反对方面，依据不同零碎模型，每次模型运算都将产生 TB 级的数据；并且科研工作者在进行不同课题钻研时也会产生数十乃至数百 TB 级数据，存储系统须要足以撑持大量的科研成果数据；在安全性方面，工信部在继续建立健全行业数据安全保障体系，所以实验室在建设存储平台过程中也要时刻关注数据安全性问题，在一直摸索新技术钻研利用过程中，逐渐实现平安防护技术的智能化和自主可控。借助引领性的基础设施 颠覆技术创新为进一步建设先进全面的科研模式，实验室抉择与焱融科技达成此次单干，独特建设高效的国家级实验室数据存储平台，为科研工作长足发展奠定根底。 业务平台建设计划架构图 通过焱融科技所提供的存储解决方案，该实验室搭建起大规模高速并行可扩大存储的数据平台，满足了根底钻研须要的同时，有了更多性能方面的晋升。 实现性能及容量的线性扩大 传统 NAS 存储容量及性能的扩大受制于控制器，横向扩大能力较差，无奈实现线性扩大。而通过 YRCloudFile 将多台存储服务器上硬盘的读写能力聚合造成聚合带宽，搭建通用 X86 服务器，实现软硬件解耦，可按需部署，灵便扩大，使存储系统总体性能呈线性增长。实验室后续可通过减少服务器的形式，晋升整个存储系统的容量及性能。本次部署的焱融存储集群即采纳此种模式，在客户数据中心原有硬件的根底上部署焱融 YRCloudFile 分布式存储软件组成存储集群，提供数 PB 级的应用空间。 海量文件反对 作为数据的核心层，焱融 YRCloudFile 具备海量结构化和非结构化数据管理能力，海量小文件操作和大文件解决的能力。不同科研人员可依据业务需要采纳相应存储接口对接到计算平台，YRCloudFile 所具备的大集群资源管理性能 QoS、配额治理等服务，可能更好的晋升整体存储服务能力。 满足数据平台全方位需要 数据管理效力大幅晋升此次我的项目建设中实验室充分利用现有硬件，通过分布式文件存储 YRCloudFile 搭建存储集群，采纳全对称架构充分发挥硬件性能。提供全局繁多文件系统和对立命名空间存储服务，便于平台治理和业务应用。不仅解决了实验室科研零碎的高并发拜访数据、数据共享平安及数据可扩大能力的难题，还充分发挥了 YRCloudFile 高性能、高扩大、高可用的个性。在晋升海量文件数据存储能力的同时，实验室也实现了全生命周期的数据管理能力，保障百亿级文件操作性能晋升的同时，全面晋升数据管理效力。

从概念到场景落地，边缘云减速变革，颠覆体验，拟造丰沛生态。边缘云的概念自明确以来已有四个多年头。 什么是边缘云？ 边缘云，即把公共云的能力放在离数据产生端和生产端最近的中央，晋升数据的解决效率，承载更多场景，同时升高数据的搬运老本。 在边缘云的演进过程中，阿里云提炼出边缘云技术倒退的三大价值驱动力，通过云边协同的形式，推动企业数字化倒退，为用户带去更多的可能。 凑近用户，三大价值边缘云最大的特色就是“就近”，即凑近用户侧和凑近数据。基于就近的特点，边缘云凸显其三大价值方向点，而用户也基于此部署本身的云边协同架构。 体验降级边缘云在凑近数据和数据的生产侧有更好的算力，更好的网络触达，能提供更低的时延和更高的带宽。 边缘云就近的特色，满足海量数据传输的需要，很多过来从核心或远距离不能大规模数据传输的高清视频流，现在能够失去更好的反对。 就近的价值同样体现在时延的升高上，边缘云缩短了超高清视频传输的物理延时，丰盛了用户的观看体验。 业务变革从仅反对散发延展到散发加算力，边缘云实现了场景能力降级，领有更多业务变革的空间和可能。 过来，不足全域的算力笼罩和多状态的算力反对，很多翻新场景受限于能力和老本，空有创意而难以落地。 现在，边缘的弱小算力能够实现终端算力上移或者云上算力大量下移，反对更多翻新场景走上良性倒退的正规，真正晋升业务价值。 老本升高通过云边协同部署，数据散发和上传解决终结在边缘，大幅缩短数据搬运的间隔，优化业务综合老本。 边缘云多维降级的背地，是赛道布局者长达数年的技术思考与积淀。基于三大驱动力的价值投射，阿里云边缘云降级为全球化边缘基础设施，以全域笼罩的多态算力和场景驱动之力，带来基于笼罩、规模、能力、场景的四大维度全面降级。 算力自若，笼罩降级业务场景的翻新，依赖于算网交融的变革，云边协同的演进。算网交融阿里云基于算力和网络基础设施的能力延展，又联合阿里云自有飞天操作系统的技术积攒，在边缘，云网交融能力失去极大积淀。 算网交融，不仅在边缘结点之间，在边缘和核心region、边缘和客户端之间同样也须要很多协同。 基于此，企业能更好地满足场景化的用户需要，做自若的算力流动，而这种流动的灵活性同样促成了更多翻新场景的呈现。 寰球笼罩随着边缘云业务倒退，阿里云实现国内31个省的全面笼罩，也就是说，用户在中国大陆的这些区域内都能取得充分的算力反对。 除此之外，为了反对中国企业出海，阿里云边缘云在海内部署了60+个节点，笼罩海内30+个国家，以亚太区域为外围，在欧美、中东非等区域提供算力反对，助力企业出海胜利。 作为中国最大、技术当先、寰球笼罩的边缘云计算平台，为寰球100多个次要国家和区域提供低时延、高带宽的网络接入、多态计算和散发服务，帮忙客户便捷地应用云边协同能力。 算力的自若流动背地离不开外围网络的反对。专属网络边缘节点延展以外，网络连接能力同样失去降级。 阿里云边缘云在寰球节点所及之处提供专属化、高平安、强牢靠的高速网络通道，短途链路笼罩中国80%的省份，同时，也实现了整个亚洲和欧洲的根底网络覆盖。 规模晋升，带动新力同步于笼罩能力的延展，每个边缘节点的算力以及网络能力也在一直地晋升。 中国的边缘云技术曾经走在了世界的最前沿。阿里云边缘云的规模降级，代表着中国边缘云行业的缩影。阿里云边缘云在寰球提供500个全节点。有别于传统CDN网络节点以散发性能为主，全节点具备了边缘云所有的云能力。 对应这些节点，阿里云边缘云在寰球范畴内提供170万核的通用算力CPU核以及400P FLOPS的异构算力核，满足边缘场景下大数据，AI推理等对异构算力的需要。 规模的晋升，边缘能力的综合降级，带动了最新锐的云游戏的利用。过来一年云游戏的并发峰值晋升了十倍多，更多的用户涌入到云游戏行业中，变革了业务场景。 19款产品，能力拓延除了笼罩和规模晋升之外，每一个边缘节点外部也实现了充沛的技术能力降级。 基于边缘云的架构，阿里云边缘云在多态计算、交融存储、交融网络、边缘数据库和边缘平安五大产品版块一直冲破翻新，带来19款产品外围性能的重磅降级。 在多态计算上，从最开始仅反对虚机到反对裸机、裸金属、容器和函数等多种算力状态，阿里云边缘云致力于服务更多想在边缘云或者云边协同架构里做翻新利用的企业。在交融存储上，提供了快照、协同存储、全闪云盘、存储网关等规范云组件的能力。在交融网络上，提供了规范的公共云网络套件和具备边缘云特色的点到点组网、多点组网的能力。边缘的网络是边缘存在的基本，算力场景在边缘产生和在云边之间协同，依赖于边缘的大规模网络和运营商的接入。阿里云边缘云加大研发力度，打造在边缘的交融网络。将寰球先进的数据库和平安能力引入边缘云，在边缘实现产品化的部署。 五大场景，趁势成长除CDN散发之外，边缘云还能有什么疾速暴发和规模化遍及的场景？ 繁茂的森林生态兴许还未到来，但五棵参天大树俨然初见雏形。明天，越来越多的企业开始应用边缘云的能力，并疾速实现商业化验证，推动着整个边缘生态丰沛凋敝。 阿里云边缘云通过多年的行业摸索与思考，聚焦于音视频、云游戏、云渲染、边缘组网、云网交融五大场景，推动着边缘云利用场景的跨越式降级。 音视频：成熟畛域找冲破基于CDN散发技术的音视频场景已被宽泛地利用和承受，而边缘云又能奉献什么样的独特价值？ 作为一种规范的公共云服务，边缘云反对弹性伸缩和大规模算力的弹性扩容，让一个企业在新利用上线，想在寰球范畴内做大规模算力部署的时候，提供分钟级别的算力下发，一分钟实现全球化算力部署。 同时，基于边缘云就近的特色以及高容量的带宽储备，阿里云边缘云帮忙企业合作平台或音视频平台，晋升20%的网络品质，升高40%的网络时延，大大晋升终端用户体验。 边缘云作为一个全生命周期免运维的云化基础设施，相比于过来企业本人保护裸机和分布式数据中心的场景，能够晋升至多30%的运维效率。 除此之外，边缘的云化能力能够在凑近数据的产生侧和生产侧进行算力卸载，缩小大量的搬运老本。案例证实，部署边缘云架构之后，企业的综合IT收入老本升高20%。 云游戏：新锐行业迎挑战边缘云助力客户的业务跑得快，跑得稳，跑得久。过来的游戏体验少数依赖于终端能力的晋升。在终端设备受限的状况下，如何借助边缘云的能力进一步实现体验降级？ 边缘云将终端的算力上移到边缘侧，在离用户最近、时延达到交互要求的地位，提供足够多的算力场景，并通过规模化和弹性的能力，助力企业三个月疾速补齐云游戏PaaS平台能力，从0到1实现上万路并发业务反对。 基于边缘网络的高带宽能力以及业内当先的「串流」技术，阿里云边缘云提供了远强于手机终端的云上视频渲染能力，同时，也基于软硬一体的硬件选型，适配了以后支流的160款游戏利用，在保障稳定性的同时，带给用户1080P画质，60FPS，超高清、超晦涩的云游戏体验。 一个新兴业务落地到边缘，首先要实现场景能力的验证，其次要实现商业化闭环。 阿里云边缘云通过继续的打磨，提供高性价比软硬一体解决方案，帮忙云游戏厂商单路交付老本降落57%，疾速实现商业闭环验证，实现规模化利用。 云渲染：一手抓创意，一手抓落地沉迷式的体验，一方面受限于渲染和展现能力，另一方面也受限于算力和网络反对。 用户要和视频产生超低延时交互，就必须要实现视频的实时渲染，而这种渲染能力会受到终端能力参差不齐的影响，很难保障对立的用户体验。 边缘云异构计算能力带来的渲染能力的晋升，很好地解决了这一问题，通过GPU节点部署，终端仿真能力以及音视频串流技术，实现端云对立、多端统一的成果。 目前，云渲染场景已在淘宝直播中利用落地。 阿里云边缘云反对淘宝直播全真虚构互动空间（将来城，TAOLIVE CITY）重塑电商3D世界的「人」、「货」、「场」，实现资源调度百毫秒响应“无感秒开”， 利用云化品质不降“体验满分”，即便是低配手机也能取得低延时、超高清、超晦涩的沉迷式体验。 消费者启用数字分身摸索3D电商世界，T台走秀，参观烟花，逛品牌馆，玩摩天轮……沉迷一场虚实联合、真人+3D场景交融的梦幻Shopping之旅。 边缘网络：实力在线基于边边、云边和边端的网络协同能力，阿里云边缘云为用户提供边缘网络服务以及一系列边缘网络应用解决方案。 阿里云边缘网络助力客户冲破硬件的限度，在平安进一步晋升的状况下，网络老本失去50%的优化，同时，实现短途组网毫秒级探测和秒级故障切换以及本地线路秒级探测和分钟级切换，保障稳固牢靠的网络服务。 云网交融：独具特色的技术担当在云网交融场景，阿里云边缘云助力主动驾驶行业打造车云协同能力，通过异构资源多节点部署，实现车机和终端就近接入时延小于20ms。 同时，云网交融反对训练集群下沉至客户机房，联合专有的管控通路，实现边缘云与客户自建资源之间的联通和协同，罢黜大量数据搬迁老本，真正做到“算力跟着数据走”。 通过云上云下全联通能力，阿里云边缘云实现让数据在核心region、边缘云分布式节点、客户数据中心之间做自在的流动，助力客户构建安全可靠的混合云业务架构。 将来，还会有更多边缘云翻新利用场景亟待摸索和开掘，以场景驱动，打造边缘云浓烈葱翠的云上生态。

作者：大飞哥，视源电子运维工程师，KubeSphere 用户委员会广州站站长采集落盘日志日志采集，通常应用 EFK 架构，即 ElasticSearch,Filebeat,Kibana，这是在主机日志采集上十分成熟的计划，但在容器日志采集方面，整体计划就会简单很多。咱们当初面临的需要，就是要采集容器中的落盘日志。 容器日志分为规范输入日志和落盘日志两种。利用将日志打印在容器规范输入 STDOUT 中，由容器运行时(Docker 或 Containerd)把规范输入日志写入容器日志文件中，最终由采集器导出。这种日志打印采集是业界举荐计划。但对于不打印规范输入而间接将日志落盘的状况，业界最罕用见的计划是，应用 Sidecar 采集落盘日志，把落盘日志打印到容器规范输入中，再利用规范输入日志的采集形式输入。 对于 KubeSphere 用户，只须要两步即可：第一在我的项目中开启收集卷上日志，第二在工作负载中配置落盘文件门路。具体操作见下图所示。 上述两个步骤，会主动在容器中注入 Filebeat Sidecar 作为 logging-agent，将落盘日志打印输出在容器规范输入中。Filebeat 配置可通过 ConfigMap 批改。 $ kubectl get cm -n kubesphere-logging-system logsidecar-injector-configmap -o yaml## Filebeat 配置filebeat.inputs:- type: log enabled: true paths: {{range .Paths}} - {{.}} {{end}}output.console: codec.format: string: '%{[log.file.path]} %{[message]}'logging.level: warning接入第三方日志服务默认 KubeSphere 将日志采集到集群内置 Elasticsearch 中，数据保留周期为 7 天，这对于生产服务动辄 180 天的日志存储需要，显然无奈满足。企业运维团队都会建设集中化的日志服务，将集群内日志接入到第三方日志服务中，已是必然选择。咱们来看如何操作。 上文说到，容器运行时会将规范输入日志，落盘写入到集群节点的日志文件中，Linux 零碎默认在 /var/log/containers/*.log。KubeSphere 应用 FluentBit 以 DemonSet 模式在各集群节点上采集日志，由 FluentBit 输入给 ElasticSearch 服务。具体配置可参考如下两个配置： ...

KubeSphere 从诞生的第一天起便秉持着开源、凋谢的理念，并且以社区的形式成长，现在 KubeSphere 曾经成为寰球最受欢迎的开源容器平台之一。这些都离不开社区小伙伴的共同努力，你们为 KubeSphere 提出了很多建设性意见，也奉献了很多代码，非常感谢社区小伙伴们的付出。 为了帮忙社区的小伙伴们更好地把握 KubeSphere 社区的停顿，咱们决定每两周更新一次周报，即双周报。本双周报次要是整顿展现新增的贡献者名单，以及两周内提交过 Commit 的贡献者，并对近期重要的 PR 进行解析，同时还蕴含了线上 / 线下流动和布道推广等一系列社区动静。 贡献者名单 新晋贡献者 新晋讲师本两周共组织两场线上直播，基于 KubeSphere 部署 StoneDB 云原生 HTAP 数据库，KubeSphere + Flux CD 多集群利用的摸索。感激讲师高日耀和两位新晋讲师张少鹏、程乐齐的精彩分享。 近期重要更新KubeSphere以下更新将在 KubeSphere v3.3.2 中可用，敬请期待。 1. 降级了 K8s 依赖版本相干 PR：https://github.com/kubesphere... 贡献者：hongzhouzi 2. 修复告警规定状态过滤出错的问题相干 PR：https://github.com/kubesphere... 贡献者：junotx KubeKeyKubeKey v3.0.2 已公布，欢送下载试用。 1. 修复主机磁盘空间不够时 ETCD 备份脚本存在的问题相干 issue：https://github.com/kubesphere... 贡献者：24sama OpenFunctionOpenFunction v0.8.1-rc.0 已公布，欢送下载试用。 1. 从 Build 中继承 label相干 PR：https://github.com/OpenFuncti... 贡献者：oops-oom 2. 调整异步函数 Service 的 owner 以及环境变量 DAPR_HOST 的值相干 PR：https://github.com/OpenFuncti... ...

大规模队列的外围诉求，不仅须要「快」，还须要兼顾「偏心」。01 引言HTTP是一种罕用的通信协议，除了常见网站拜访、上传下载，HTTP协定还常常被用在音讯推送场景上。 构想你搭建了一个电商平台，有很多大型商家入驻了该电商平台并售卖各类商品，在消费者购买某个商品后，平台会通过HTTP协定将消费者购买商品的信息告诉商家，商家则会在后盾接管平台推送过去的音讯。 个别状况下，所有的零碎都失常工作。但忽然有一天，A商家呈现了爆款产品，使得销售量迅速回升，因为A商家的后盾服务解决能力是无限的，便会呈现平台始终在给A商家推送商品售卖信息，而将其余商家的音讯都排在前面，这便导致大量其余商家不能及时晓得商品的售卖状况。 这种状况也会产生在某个大客户零碎异样、响应急剧变慢，导致平台推送能力降落影响其余客户。因而，实现不同客户音讯推送的隔离与管制就显得非常重要。 除了音讯推送场景，相似的需要也产生在平台型的工作解决场景和资源调度场景。 在工作解决场景，很多客户会应用平台来解决工作，比方：通过通信平台发送语音告诉，每个客户都有大量的语音告诉业务申请须要解决。 因为资源是无限的，所以须要给每个客户配额肯定的解决能力，当客户提交的申请大于配额的时候，平台会按最高配额的处理速度来解决客户的申请，并将超过配额的局部积压延后解决，这样会防止因为某些头部客户的申请量过大导致其余客户的申请长时间无奈解决的状况。 在资源调度场景，假如平台有很多资源用于解决客户的申请，尽管每个资源都能解决某些类型的工作，然而资源的实时处理能力是受限的。 比方：资源只能实时处理100QPS的申请，这时须要建设一套机制，将对应资源能解决的工作抉择进去，并按资源的理论解决能力提交给对应的资源进行解决，保障所有资源都能满负荷运行。 02 问题剖析下面三个场景看似不同，但背地其实暗藏的是同样的问题模型： | 零碎解决能力受限，或者零碎能承诺解决能力受限。 | 理论的申请量可能在某个工夫点远大于零碎的解决能力。 | 个体与个体之间是独立且存在差别的，平台上有不同的客户，不同客户对时效的要求是不一样的，不同客户的工作规模也是不一样的。 | 超高的并发，比方十万甚至百万QPS的HTTP音讯推送申请。 对于这种类型的问题，咱们如何解决呢？ 其实，不论是资源还是客户，都能够形象为一个实时处理能力受限的队列。对于音讯推送场景，能够为每个客户建设一个队列，把须要推送的音讯放到对应的客户队列里，并按客户最大配置流量轮流进行推送。 对于工作接管场景，每个客户都能够被当作是一个队列，只有能管制每个队列的最大生产速度，就能保障不会因为头部客户的突发流量导致其余客户被影响。 对于资源调度场景，能够为每个资源建设一个队列，而后将对应资源能解决的工作放在队列外面，再依照队列的实时处理能力，生产外面的数据。 此外，即便同个客户或者同个资源里，业务外部也是有优先级的，所以队列外部也须要反对业务的优先级。 因而，这类队列模型于一般的生产消费者模型存在显著的区别： 队列数量十分多，队列的生产速度须要满足下限，反对优先级。如何构建这类面向百万并发、反对优先级的大规模队列的生产生产零碎？ 03 技术选型提到生产生产模型，很天然会想到一些成熟的消息中间件，如METAQ，KAFKA等。然而通过调研发现：当队列数量的量级十分大，达到千级甚至万级的时候，这些中间件还是存在较大瓶颈的。 以METAQ为例，因为METAQ是一个线程池模式，一个TOPIC就有一个线程池，所以当TOPIC十分多的时候，机器上须要开十分多的线程，这显然是不可能的。通过剖析发现，METAQ的问题次要是实现机制的问题，所以另一个思路是：基于开源的METAQ源代码，对其生产端进行二次开发。 但这也会存在一系列的问题…… 首先，METAQ的代码自身十分宏大，相熟外面的细节就须要投入十分大的老本。此外，METAQ的设计思路与面向大规模队列的场景有着本质区别，METAQ外围设计思路是“快”。 然而，大规模队列的外围诉求不仅须要“快”，还须要兼顾"偏心"，即保障所有的队列都能达到本人的性能指标。这就导致METAQ外面有大量的逻辑其实并不匹配大规模队列的生产生产模型。同时，思考到后续METAQ的版本迭代等的稳定性危险也是十分难以管制的。 不论是METAQ还是KAFFA，在队列优先级的反对上比拟弱，这些中间件在设计的时候，并非次要面向多优先级的音讯。因而，反对这个个性也十分难，革新的老本也十分高。 通过综合评估，基于分布式根底队列进行自建会更稳固、牢靠、可落地。通过零碎调研发现阿里云的LINDORM和REDIS都提供根底的队列操作，LINDORM提供的STRONG CONSISTENCY（SC）级别的数据一致性能力，能够反对数据写入后100%被立刻读出。而REDIS次要采纳的是一种异步备份的机制，所以从数据的高牢靠思考，抉择LINDORM是更牢靠的计划。 LINDORM是一个反对多模型的NOSQL零碎，兼容HBASE/CASSANDRA、OPENTSDB、SOLR、SQL、HDFS等多种开源标准接口，反对的模型包含：KV，WIDECOLUMN，TABULAR和队列模型等，这里应用的就是它的队列模型。 尽管LINDORM也叫队列模型，然而它跟METAQ音讯队列不一样，他外围的次要只有两个操作接口: 一个是PUT，把数据放入到某个队列的队尾，胜利后会返回音讯对应的偏移，另一个是GET(I)，从某个偏移地址获取对应的数据，且单队列最大只反对150QPS。 到这里便能够发现现实与事实的微小鸿沟，咱们生产生产零碎的指标是要反对十万、百万并发，并且心愿能主动解决生产进度治理、异样的复原等问题，以LINDORM目前的情况来看都是没有的。 04 大规模队列生产生产零碎总体设计通过前文剖析发现LINDORM只提供了插入数据及获取数据两个根底操作，单队列只反对150QPS，而且没有生产进度治理和异样灰度机制，这些问题该如何解决？ 这里将构建百万并发、反对多优先级的大规模队列生产生产零碎称为EMQ(ENORMOUSE SCALE MESSAGE QUEUE )。EMQ零碎次要分为6个模块：队列拆分、队列调配、队列生产、容量管制、生产进度治理、容错机制。 队列拆分为了便于了解，将之前提到的客户对应的队列及资源对应的队列对立称之为逻辑队列，将LINDORM的队列称之为物理队列。 LINDORM单队列只反对150QPS，且任何物理队列都存在容量限度。然而，咱们零碎设计的指标是一百万QPS（只管这个一百万QPS是所有逻辑队列的总和）。 单个逻辑队列超过1000QPS在理论状况中十分常见，且从设计角度来讲，逻辑队列的QPS也非常难管制。因而，必须把逻辑队列拆分成一个个150QPS以内的物理队列。 队列调配在队列拆分完后，零碎须要生产这些物理队列，因而须要把队列正当的调配到利用集群的机器上。 每台机器上须要启动对应的客户端去生产各队列外面的数据，因为把一个反对1000QPS的队列拆分成了20个小的物理队列，所以每个队列反对50QPS。 这里通过单队列容量50QPS乘以总的物理队列数等于1000QPS来实现逻辑队列反对1000QPS的指标，然而从逻辑上如果存在数据歪斜的时候，会存在总容量不满1000PQS的状况。 思考到该零碎次要面向的是一个海量数据场景，因而从概率上来讲，这是能够承受的。 队列生产队列调配完后，还须要构建一个反对高性能的生产客户端。该客户端的高性能次要体现在：实现防止网络IO拜访导致的性能降落；能疾速解决本台机器上的所有队列，保障既不会轮不到，又能满负荷解决；同时，在生产完音讯后能疾速的执行业务零碎的工作。 容量管制当实现队列生产后，仍须要构建一个生产进度的治理模块，即治理以后队列生产的点位和曾经生产的数据的点位，这样子能力分明地晓得下一个须要生产的数据以及队列的积压量。 容错机制零碎的容错机制次要包含三个方面：首先，如果某个偏移量没有数据的时候，须要能发现并跳过对应的偏移；其次，因为生产完的数据须要提交各业务层进行解决，如果业务层解决失败后咱们应该有肯定的异样复原机制，如果业务层继续失败的时候咱们须要有肯定的兜底机制；此外，当机器因为异样宕机的时候，在原来机器上生产的队列须要平滑迁徙到其余机器，从而实现无损复原。 05 EMQ集群模型队列模型如下图为EMQ的队列模型： ROOT节点下分两个节点：一是ONLINE节点，次要是面向生产环境，二是SANBOX，次要面向生产前的测试，这能保证系统在更新某个性能的时候能够先进行充沛的测试而后再同步到生产环境。 在ONLINE节点上面是一个个TOPIC，这里的TOPIC就是咱们之前说的逻辑队列，也就是调配给客户的队列或者为每个资源分配的队列（后文应用TOPIC代指逻辑队列）。每个TOPIC有肯定的容量，也就是咱们说的QPS。 每个TOPIC下有若干个GROUP，每个GROUP有独立的容量，其值为TOPIC的容量除以总的GROUP数，并且要求这个值须要小于LINDORM物理队列反对的最大QPS。 每个TOPIC上面有分优先级的QUEUE，该设计次要是为了反对优先级能力设计的。本文为了形容不便，会以高中低三个优先级为例介绍。这三个优先级的QUEUE是共享GROUP的容量，也就是说如果GROUP反对50QPS，那么三个QUEUE的总QPS是50。这里QUEUE才是真正对应LINDORM的物理队列，这也是为什么要求GROUP的容量须要小于LINDROM物理队列反对的最大QPS。 对于资源调度场景，假如有一个资源的QPS是500QPS。那么，他会对应一个TOPIC，这个TOPIC上面有10个GROUP，每个GROUP有3个优先级，也就是它会生产3*10 = 30个LINDORM队列。 队列调配模型假如每个GROUP的QPS为50，那么对于100万并发的零碎将有约6万个物理队列，如何将这么大数量级的队列调配到机器下来？队列调配应该满足哪些准则? 首先，尽可能将队列平均分配到每台机器上，避免出现某个机器生产队列数据量太多产生性能问题；其次，当机器下线、宕机或置换的时候，机器上生产的队列尽可能不要产生大面积的迁徙；最初，当队列新增或者删除的时候，机器上生产的队列也尽可能得不要产生大面积的迁徙。 基于这些准则，设计了如下图所示的队列调配模型。 ...

在分布式文件存储中，咱们通常会面临集群选主，配置共享和节点状态监控的问题。通过 etcd（基于 Raft 协定）能够实现超大规模集群的治理，以及多节点的服务可靠性。明天，咱们就聊聊 etcd 在分布式存储中的具体利用。 什么是 etcd ? etcd 是由 CoreOS 公司开发的一个开源的分布式 KV 存储，次要用于服务发现、共享配置以及一致性保障。etcd 的灵感来自于 ZooKeeper 和 Doozer，但它更偏重以下几点： 简略：装置配置简略，反对 curl 形式的用户 API (HTTP+JSON)。平安：可选反对 SSL 客户端证书验证。疾速：依据官网提供的 benchmark 数据，单实例反对每秒 1w+ 写操作。牢靠：采纳 Raft 算法，实现分布式系统数据的可用性和一致性。为什么采纳 etcd ?谈到 etcd，咱们未免会与 Zookeeper（以下简称 ZK）或 Consul 进行比拟，Consul 的可靠性和稳定性还须要工夫来验证（我的项目发起方本人也并未应用）；ZK 和 etcd 都是程序一致性的（满足 CAP 的 CP），这就意味着无论咱们拜访任意节点，都将取得最终统一的数据视图。比照 ZK， etcd 具备以下劣势： 一致性：etcd 应用 Raft 协定，简略易懂，而 ZK 应用 ZAB（类 paxos 协定)，该协定以简单著称，尤其对初学者来说。运维方面 ：etcd 比 ZK 更容易运维。我的项目活跃度 ：etcd 社区比拟沉闷，代码贡献者超 700 人，目前始终在更新。而 ZK 社区相比活跃度不是那么高，代码贡献者 170 多人，版本很久没有更新。接口方面：etcd 提供了 http + json，grpc 接口，反对跨平台。而 ZK 须要应用其专属客户端。安全性：etcd 反对 https 拜访，ZK 在这方面缺失。etcd 架构及工作原理etcd 架构图 ...

近日，焱融科技公布分布式文件存储产品 YRCloudFile 6.9.0 版本。该版本在性能和性能方面有多项技术性冲破，次要包含大数据利用无缝对接 Hadoop ，为大数据利用提供高性能存储平台；独有的 Dataload 性能和智能分层细粒度化，更加准确丝滑地响应业务需要；同时实现 NFS/SMB 协定节点的动静治理，使并发拜访性能进一步晋升；最初在产品运维和治理形式上更加贴合零碎运维人员的应用场景，操作疾速便捷。 YRCloudFile 是焱融科技提供的新一代独立的混合云文件存储系统，基于灵便的 SDS 架构， 可提供 POSIX、NFS、SMB/CIFS 等丰盛的文件服务，不仅能够用于企业的文件共享，大容量数据存储等通用场景，还能更成熟的利用于智能汽车、多模态 AI 、HPC 高性能计算、生物信息、GIS 等高性能计算利用场景。 在 6.9.0 版本中，YRCloudFile 次要进行了以下重要更新： 产品性能：动静减少 NFS/SMB 协定节点，晋升整个 YRCloudFile 集群对外提供 NFS/SMB 并发拜访性能。 产品性能：YRCloudFile 无缝对接 Hadoop 平台，将更易于扩大的存算拆散架构与Hadoop 兼容，通过 YRCloudFile 可完满代替 HDFS。 用户体验：优化了资源占用等的界面统计信息。细化了智能分层、Dataload、日志审计、运维界面等，晋升用户体验。 HDFS 100% 兼容大数据利用 + 极致性能文件存储平台HDFS（Hadoop Distributed File System，即 Hadoop 分布式文件系统）作为 Hadoop 生态系统的一个重要组成部分，是 Hadoop 中的的存储组件，负责海量数据的存储。 随着大数据、数据湖在各个行业中的广泛应用，原生的 HDFS 在撑持大数据利用时，存在存算耦合、扩大不灵便的问题。YRCloudFile 6.9.0 版本，反对大数据相干框架，实现与 Hadoop / Spark / Hive / Presto / ClickHouse 的齐全兼容，通过 YRCloudFile 可完满代替 HDFS。Hadoop 生态中的各种利用都能够在不扭转代码的状况下，平滑地应用 YRCloudFile 存储并拜访数据，实现更加贴合业务利用的存算拆散架构，解耦资源。 ...

开源我的项目举荐PromLensPromLabs 开源了旗下的 PromQL 可视化工具 PromLens，它能够通过图形化的形式展现 PromQL 的语法特色，对相干查问参数进行解释，并提供告警和常见谬误的疾速修复措施。 Kube Auto Puller之前给大家介绍过 kube-fledged，这个 Operator 能够监控 Kubernetes 特定节点的特定镜像缓存，并定期拉取最新版本的镜像。Kube Auto Puller 这个我的项目做得比 kube-fledged 更好，它反对应用正则表达式来过滤要监控的镜像。 Code Extension MarketplaceCode Extension Marketplace 是由 Coder 开源的一款 VS Code 扩大商店，能够部署在公有网络中，适宜无法访问外网的环境应用。 Grafana PhlareGrafana Phlare 是 Grafana 开源的用于聚合继续剖析（continuous profiling）数据的我的项目，能够和 Grafana 家族的其余产品无缝集成。至此 Grafana 算是把可观测性畛域的四大支柱全副包揽了： logging: Lokimetrics: Grafana, Mimirtracing: Tempoprofiling: Phlare HypercrxHypercrx 是一个浏览器插件，旨在通过间接往 GitHub 页面中插入各类可视化看板的模式，帮忙用户疾速追踪、开掘和洞察我的项目与开发者的各类行为数据，为社区的数字化经营和剖析提供无效撑持。 文章举荐应用 Cluster API 和 Argo CD 治理多集群环境本文介绍了如何应用 Cluster API 和 Argo CD 来简化 Kubernetes 多集群的治理和利用部署。 ...

阿里云 Imagine Computing 翻新技术大赛，是由阿里云与英特尔主办，阿里云天池平台、边缘云、视频云独特承办的顶级赛事，面向集体开发者和企业的边缘云畛域算法及实时音视频利用类挑战。 本次翻新技术大赛共分为两个赛道：「边缘云内容散发网络客户体验预测算法」和「设计低延时高体验的实时音视频利用」。参赛者可自在组队参赛，基于英特尔顶级算力的边缘云计算节点，摸索低延时与性能减速命题，体验边缘云端翻新的有限魅力。 01 赛程安顿本次大赛分为初赛、复赛和决赛三个阶段，具体安排和要求如下：❖ 报名 & 组队（即日起—12 月 2 日，UTC+8） ❖ 实名认证（即日起—12 月 3 日，UTC+8）❖ 初赛（11 月 1 日—12 月 3 日，UTC+8）❖ 复赛（12 月 7 日—12 月 24 日，UTC+8）❖ 决赛（工夫另行通知）更多赛程信息参见官网内容：https://tianchi.aliyun.com/sp... 02 赛道介绍赛道一：边缘云内容散发网络客户体验预测算法 精确地预测网民侧的客户体验程度是 CDN 网络进行节点优化布局、流量调度策略调整、内核网络协议栈及应用层节点软件优化的根底和指南针。 本赛道要求参赛者基于给定的某区域的 CDN 节点的服务侧指标精准预测客户端的卡顿率，激励参赛者尝试交融更多的数据结构特色，利用机器学习和深度学习等人工智能模型来创新性地解决 CDN 中卡顿率预测这一问题。 赛道二：设计低延时高体验的实时音视频利用 随着企业数字化过程减速，云上算力也从核心逐渐延展到网络边缘，从而造成新型的边缘基础设施。算力和网络在边缘侧减速交融，而视频利用是否晦涩、高清、低延时等已成为用户最为关怀的话题。 本赛道以音视频解决技术利用为外围，联合边缘云就近计算的个性，以实战的形式考查低延时、高体验的实时音视频利用开发。 03 奖项设置本届翻新技术大赛共设总奖金池 34 万 元人民币，每个赛道均设立奖金池 17 万 元，以决赛问难名次决出冠军队伍 1 支，亚军队伍 2 支，季军队伍 3 支，并颁发获奖证书！ 04 参赛须知❖ 报名形式：用淘宝或阿里云账号登录较量官网，实现个人信息注册，即可报名参赛；❖ 参赛队伍 1-3 人组队参赛，每位选手只能退出一支队伍；❖ 确保报名信息精确无效，否则会被勾销参赛资格及激励；❖ 选手报名、组队变更等操作截止工夫为 12 月 2 日下午 18:00（UTC+8）；❖ 各队伍（包含队长及整体队伍成员）须要在 12 月 3 日 22:00 前实现实名认证（认证入口：天池官网-右上角集体核心-认证-支付宝实名认证），未实现认证的参赛团队将无奈进行后续的较量；❖ 大赛官网交换请退出选手钉钉交换群：    

文件系统历史悠久，在各种场景中都失去了宽泛的利用，从独立的一块硬盘 DAS、到集中的 NAS、再到目前宽泛应用的分布式文件存储、云存储等。从倒退历程来看，次要是从数据规模角度解决了业务对文件系统的需要，但并未给理论应用场景带来实质变动，仍然须要保护大量的硬件资源；在业务倒退过程中，仍然存在各自为政的“烟囱”式存储；数据共享须要依赖拷贝的形式，从而导致数据反复。究其根源是短少无效正当的数据分享机制，无论是通过本地还是近程形式。 私有云的存储容量有限，按需购买的形式为用户带来一丝曙光，不论是将全副数据转移到云上，或是局部数据的 Hybrid 形式，都能够加重 IT 人员进行硬件洽购、保护以及前期服务降级等方面的压力。但因为流量费用居高不下，也限度了企业将其作为一级存储利用。 企业倒退也触发对数据拜访、平安需要的变迁。随着数据总量持续增长，数据近程拜访能力成为企业降本增效的伎俩，而对数据安全的需要，也随着泛滥勒索软件的呈现日益加强。 这些变动使得 IT 治理进入了两难境界：一方面，私有化的本地存储难以提供更丰盛的拜访形式，同时保证数据安全可靠、可拜访性的需要对基础架构的挑战以及前期保护所产生的费用也随之减少；另一方面，私有云存储数据流量费用远超预期，并且私有云存储也短少实用于企业本身主存储所强调的去重、本地性能等个性。私有云设施的不欠缺，以及企业对数据 Off-premises 的述求，催生了更加“全面”的存储及拜访需要，即 Global File System。 本文通过分享几款国外比拟有特点的 Global File System 产品，通俗易懂地分析其解决方案的偏重及性能的异同。心愿能给大家带来文件系统开发的一些设计思路与办法，也欢送大家文章末留言探讨。 Global File System 简介Global File System(GFS) 通常意义上指利用云存储作为介质，同时提供对立命名空间以及近程缓存拜访减速能力的文件存储解决方案，各自的实现不同，具体的性能会存在差别，但以下几点凸显了 GFS 的特点： 特供本地缓存能力利用云存储作为惟一的可信存储源，或者 Master Copy整套零碎，无论是本地设施，还是云上存储，对立通过权限控制系统拜访惟一命名空间提供 NFS、SMB 的拜访能力通过 Global file synchronization 来提供一致性保障提供数据保护能力，例如 Versioning 或者 DR将云存储作为 GFS 的外围，大幅度降低硬件老本以及运维复杂度；同时利用本地缓存能力，在提供足够性能的同时，缩小对云上资源间接拜访的流量费用；利用附加的去重等能力，缩小存储空间占用。 同时，基于云存储的可拜访性，GFS 也能够打消近程拜访壁垒，提供疾速、可控的拜访能力，而无需关怀数据、以及用户的地理位置，通过 Global file synchronization，保障不同客户之间数据一致性以及无效合作。 具备典型特点的 Global File System 产品HammerSpaceHammerSpace 是一个软件定义的数据编排以及存储解决方案，通过高性能的并行零碎拜访提供对立的文件拜访接口，而无需关怀跨供应商、跨地区、跨云的存储系统。无论数据在哪里，用户以及利用均可共享雷同数据。 它提出了一个典型的创新性理念，那就是将“文件系统”这一概念上移，成为聚合层，而不是存储厂商的内嵌产品。 在企业外部，存在多种独立共享的存储，通过 HammerSpace 聚合成 Global File System 的同时，保留原有权限，用户仍然只能看到他们所能拜访的文件。同时 HammerSpace 聚合时，仅仅对存储的元数据进行扫描整合，不会大量拷贝、迁徙现有数据。 在治理大量异构文件系统后，进一步开掘数据特点对业务管理尤为重要。比方，哪些数据是某个业务常常用到的。HammerSpace 通过丰盛的文件元数据附加属性 Tag 来提供这种能力，依据 Tag 定义数据挪动的策略、概览一个部门、一个工作所设计的所有文件等等。 ...

明天，云计算正在发明越来越多的终端新形态。手机不再只是通信，是一款手中的计算机；汽车不再只求“马力”，须要比拼“算力”，是一台“四轮计算机”。 2022 云栖大会上，张建锋认为，云端减速交融，算力正在一直从终端转移上云，这让终端冲破了物理限度，不仅手机、电脑、汽车、音箱会变成计算机，将来万物皆是计算机。 将来，80%的数据和计算将产生在边缘，边缘云凑近有数终端与数据源头，推动端侧的算力赋能，助力万物的业态变革。在云网边端相互交融和影响的时代，云的倒退肯定会影响到端的变动。如果可能通过云化提供更好的体验，业务算力规模将是原来算力规模的数倍，带来超出以往的端侧体验。 在 2022 云栖大会上，阿里云发表边缘云以全域笼罩的多态算力和场景驱动之力，带来基于笼罩、规模、能力、场景的四大维度全面降级。 阿里云在多态计算、交融存储、交融网络三大产品板块根底上一直降级翻新，新增“边缘数据库”和“边缘平安”2 大产品板块，并新公布 19 款产品性能，带来体验晋升、业务变革、老本升高三大方面的实在价值。 作为一股云上新权势，边缘云是翻新的，其利用价值也同样须要与客户一起翻新发明。阿里云边缘云聚焦于音视频、云游戏、云渲染、边缘网络、云网交融五大场景化解决方案，以更贴近业务的模式，驱动边缘云利用场景和生态的丰沛凋敝。 在音视频场景，服务于多个头部短视频和互动直播平台，其广覆盖、易接入的个性，使得音视频运维老本升高 20%，运维效率晋升 30%；直播卡顿率大幅降落使得终端用户的体验大大晋升。 在云游戏场景，助力业务跑得快、跑得稳、跑得久：3 个月内疾速补齐云手游 PaaS 平台残缺能力，反对上万路业务正式上线；160 款支流游戏原生兼容，1080P 60 帧稳固晦涩运行的同时，更助力客户单路老本降落 50%以上。 在云渲染场景，反对淘宝直播全真虚构互动空间（将来城，TAOLIVE CITY）超万路并发在线，即便是低配手机也能“无感秒开”，端到端提早低于百毫秒，利用云化品质不降。 消费者启用数字分身进入 3D 虚构电商世界，参加主线互动工作，查看商品 3D 模型，商家能够在空间中定制个性化品牌馆和直播营地，促成新品推广、进店疏导及直播间转化，利用云渲染，重构 3D 电商世界的「人」、「货」、「场」体验。 在边缘组网场景，阿里云边缘云宽泛服务于重视网络安全的金融客户以及对稳定性及提早敏感度高的信息化业务场景。优化专线组网架构，升高组网复杂度，晋升业务稳定性，实现故障“毫秒级”探测，“秒级”疾速切换，SLA 不低于 99.95%。 在云网交融场景，阿里云边缘云助力主动驾驶业务打造车云协同能力，通过边缘网络连接分布式云数据中心，实现云上云下全联通，资源多节点笼罩，车机和终端就近接入时延小于 20ms；边缘云灵便部署形式反对将训练集群下沉至客户机房，反对与客户自建资源混部统管，罢黜海量数据上传周期和老本，真正做到“算力跟着数据走”。 随同着云计算、5G、物联网等技术疾速倒退，边缘计算市场快速增长，正在减速迈向宽泛遍及和深度利用的新阶段。作为国内最早定义和研发边缘云的厂商之一，阿里云边缘云早在 2018 年就联结中国电子标准化研究院，发表了业内首份《边缘云计算技术及标准化白皮书》，对边缘云的概念、架构和利用场景开展明确的定义。 此次，阿里云进一步与中国信息通信研究院深度单干，在 2022 云栖大会上，联结公布了《边缘云技术演进与倒退白皮书》，对边缘云技术再度摸索降级。 该白皮书首次站在技术视角，旨在深入探讨边缘云在技术架构、利用场景、规范布局等方向的演进与倒退，为边缘云计算下一阶段倒退提供新动能。 同时，白皮书围绕边缘云节点小型化、边缘云节点硬件基础设施、边缘云节点网络架构、边缘云分布式云管零碎等方面，全面梳理边缘云技术倒退演进路线，并具体论述了边缘云几大典型利用场景：流量型场景、终端云化场景、政企边缘云场景，为边缘云利用落地提供参考。 网络和算力的交融正在边缘减速交融造成更好的基础设施和产品。 视频云是交叉学科发明的技术畛域，提供云边端一体的数智化音视频能。对于竞争强烈、疾速迭代的大视频产业而言，视频云曾经逐步倒退为一项要害的基础设施。 随同需要成长，视频云技术也在一直进化：超低延时直播 RTS、云渲染、实时互动虚构演播、多端协同云剪辑、智能媒资、8K VR 视频…… 然而，在有限体验与无限资源之间，始终存在矛盾。 比方超高清畛域，用户对沉迷体验（高分辨率、高帧率、宽色域）的极致谋求和视频编码倒退存在着 3 大矛盾，即：编码降级周期和超高清需要的矛盾，编码压缩率和数据增长的矛盾，以及编码复杂度和算力增长的矛盾。 同时，音视频的演进趋势是极致升高延时，其蕴含传输延时和计算延时，如何将传输延时和计算延时一直升高，为音视频场景带来强劲的技术撑持和设想空间？这也是视频云畛域的矛盾之一。 面对赛道的外围矛盾，阿里云视频云以技术和实际来破题，打造“云端一体”、“云边一体”、“软硬一体”的从视频生产到生产的全流程技术架构及服务，造成云、边、端一体的视频云技术框架利用翻新，赋能千行百业的视频化需要，催生新兴产品状态和业务模式。 云原生驱动的交融通信：更宽泛的连贯、更丰盛的场景、更智能的利用云通信是基于互联网云服务的语音与数据通信性能服务，通过资源整合、技术创新、危险管制等将运营商提供的根底通信能力进行 PAAS 与 SAAS 化，提供给客户对立、牢靠、便捷、平安、翻新的通信服务。 阿里云云通信的倒退历经了规范云化、生态化、云原生化三个阶段，现阶段的寰球交融通信网关领有三大个性：边缘云原生、动静调度能力、数智化运维。 | 边缘云原生：基于容器化、服务网格、微服务等云原生技术，联合边缘云，打造轻量级边缘网关和云网部署架构，疾速、灵便部署交付。 ...

LAF 是基于 serverless 架构来做的，如果说 serverless 是一种架构模式的话，那么对LAF 来说，laf 就是 「一个」开发方式。 对于商业化免费是肯定要做的，然而免费是一个伎俩，而不是目标，是为了测验咱们产品的商业价值，同时能够为这个产品可能长期倒退提供能源。另外免费其实也是一种「责任」，用户因为信赖而付费，咱们应该为了这份信赖而做出更好的产品，提供更好的服务。 免费版怎么做？见过很多产品，不免费把本人缓缓拖死，一免费就把本人搞死。 参考国外的很多产品，比方 figma 、 github、vercel 等，咱们还是须要收费模式的，收费模式提供的是最根底的用户应用，让用户能够尽早体验你的产品。收费模式不能一上来就给很大的优惠力度，而是要循序渐进，按本人的能力去给到用户。为什么？因为如果刚开始就把收费福利提的很高，会有两个问题： 后续免费策略很难做，俗话说「由俭入奢易，由奢入俭难」，如果你收费都曾经无限度应用了，那我为什么还要付费呢？如果你想先收费，而后再对原先收费的性能进行免费，或者变相免费，比方对收费版本进行阉割，都会引起用户极大的恶感和不信任感，因为这会让用户感觉本人就是刀板上的鱼肉，任人宰割。不晓得为什么国内的产品都喜爱这么做，先用收费把你「圈」进来，而后等你用久了之后，产生依赖了，再给你缓缓的收割，仿佛是把 toC 的经营策略用到了 toB 上，更可耻的是，有些产品免费了，仍然还要挂广告。 我感觉 laf 不应该这样，这不是 laf 产品的价值观。 所以回到收费策略，我更心愿的是，首先咱们尽可能提供了一个可用的让用户能够测试应用的「收费版本」，比方对利用数、存储等做一些限度，然而可能保障用户比方日活在1000左右的齐全够用。等 laf 团队有钱了，比方拿到了融资，或者商业化做的很给力，再缓缓晋升收费版本的福利，比方能够反对日活 10000 等。这种模式比拟像 github 的门路，以前 github 的收费用户只能创立公开仓库，只有企业版客户能力创立公有仓库，然而起初融资后，这个权限也缓缓放开给收费客户，我感觉这是一种比拟好的渐进策略。 免费模式怎么做？说完了收费模式，再来说说免费模式怎么定的问题，当初的免费个别有两种 按月免费，企业版按人头免费，按年的话，能够打个折这样按用量免费第一种模式的益处是免费简略（我只须要对用户做管制就行），且会有较大的利润空间（长尾实践），且随着用户量的晋升，营收也会始终下来，我只有围绕用户增长去做就行。然而这真的是一种好模式吗？其实从我集体的角度来讲，我是比拟排挤这样的做法的。因为这种做法可能会导致一些沉睡账户仍然在给你付钱，（想想你多久没去清理按月订阅的服务了），然而这些人并没有在应用你的服务，或者很低频的在应用你的服务，你却仍然在免费，我认为这种行为是不道德的。 我不想呈现说，我 laf 用户的业务还没做起来呢，就先被「咔咔咔」的付一堆费用。 所以我会更偏向于第二种模式，即 「按量付费」，咱们的服务应该是跟水电煤一样，比方「用电」，我关上开关，开始计费，关掉开关，就进行计费。同时「电」也会分为「民用电」和「公业用电」，而后每个中央的「电」可能免费不一样。这种模式也更贴近 serverless 云服务的理念。 同时这种模式，也更符合 laf 与用户共成长的「价值观」。 在你的利用还很晚期的时候，你能够用「收费版本」来做 poc，等开始有用户量了，切到「根底版」，如果倒退很好，再往上就切到「企业版」，「根底版」和「企业版」都是「按量付费」，不会在利用低谷的时候多收钱，甚至能够做到很好的升配和降配。「根底版」和「企业版」的惟一差异是在「并发量」等一些指标上，因为背地用的机器不一样。 laf 的劣势是什么？绝对于一些私有云平台服务来说，必定是不受平台绑定。同时 laf 是开源的，所有代码公开可见，不会偷偷摸摸做事件。然而如果有同样一个产品，举个例子，比方字节的轻服务的团队进来做了一个同样的产品，而后也开源了，那咱们跟他们比起来，劣势是什么？ 我感觉好的产品都应该有这样的文化自信，即：即便你把我的性能都抄去了，甚至短期内做的比我还好，我也不会放心，因为你学不到我的内核，竞争不能顺着对手去思考，而是应该立足于产品本身，想想怎么站在用户的角度去思考。想想 figma 为什么胜利，sketch 为什么失败？ 对于 laf 的用户画像想了几个场景。 基于 laf 开发一些自动化工具的接口 比方每天早上 8:00 主动发送今日天气、穿褡倡议给微信。比方有些 app 须要做签到工作等。这个场景的衍生场景是：我能够把这些 api 进行对外开放，比方我做了一个 text to Image 的服务，我能够将这个服务封装为 api 接口进行对外，从而进行免费等。基于 laf 开发 to C 的网站、小程序等这个应该是 laf 的一个十分典型的场景了，用户画像是：集体开发者或者小团队。他们会本人开发利用而后经营，也可能是给他本人的客户开发了利用，而后交付给客户。如何晋升这些开发者的体验，以及提供所须要的产品能力是以后的重点。 ...

什么是 sealos开源地址 sealos 是一个以 kubernetes 为内核的云操作系统发行版。sealos 心愿做一个通用的云操作系统，让用户不论是公有云还是私有云都能够非常低门槛的用云。sealos 能够把云的保护老本和应用门槛降的足够低。sealos 指标是让企业完完全全领有属于本人管制的 AWS 这样的私有云能力，能够运行在企业本人机房中，也能够运行在别的私有云基础设施之上。 sealos 相当于利用云原生的能力与架构齐全实现一个 AWS 的替代品，不过在产品状态上会有所差别。 如 AWS 上有数据库服务用户能够启动数据库服务。 在 sealos 中，所有皆利用，用户只须要装置一个数据库的利用即可应用数据库，像 PC 上装置一个软件一样简略。 sealos 是一个多租户云操作系统，能够齐全满足大规模用户同时应用与合作，且能提供十分好的隔离性。 劣势简略单机操作系统的装置和应用是比较简单的，绝大多数企业在 linux 发行版上每年付出的老本是很少的，根本装置上就能够应用，应用过程中也不太会呈现太多问题。比照云发现并没有达到这样的现实状况，企业不论是在应用私有云还是自建公有云上每年都会破费十分大的老本，其起因是好用的云操作系统发行版没有遍及。 sealos 能够通过简略的命令运行起一个自定义的云操作系统，而后像应用 PC 上的软件一样用云，相当于把 PC 上的单机利用全副替换成了各种分布式应用。通过 sealos 用户能够十分不便的运行开发者须要的各种分布式应用，如数据库，音讯队列，AI 能力等。 凋谢，厂商兼容sealos 齐全开源，能够在物理机虚拟机以及各大公有云厂商上运行。企业齐全不必放心强绑定问题，能够在各种环境中自在切换。 性能个性kubernetes 生命周期治理sealos 的 boot 模块能够帮忙用户十分好的治理整个集群的生命周期。 能够用 sealos 装置一个不蕴含任何组件的裸 kubernetes 集群。也能够用 sealos 在 kubernetes 之上通过集群镜像能力组装各种下层分布式应用，如数据库音讯队列等。 能够用 sealos 装置一个单节点的 kubernetes 开发环境。也能够用 sealos 构建数千节点的生产高可用集群。 能够用 sealos 自在伸缩集群，备份复原，开释集群等。也能够即使在离线环境中也能够十分好的应用 sealos 来运行 kubernetes. [x] 反对 ARM，v1.20 以上版本离线包反对 containerd 与 docker 集成[x] 99年证书, 反对集群备份，降级[x] 不依赖 ansible haproxy keepalived, 一个二进制工具，0依赖[x] 离线装置，不同 kubernetes 版本应用不同的集群镜像即可[x] 高可用通过 ipvs 实现的 localLB，占用资源少，稳固牢靠，相似 kube-proxy 的实现[x] 简直可兼容所有反对 systemd 的 x86_64 架构的环境[x] 轻松实现集群节点的减少/删除[x] 数万用户在线上环境应用 sealos，稳固牢靠[x] 反对集群镜像，自由组合定制你须要的集群，如 openebs 存储+数据库+minio 对象存储运行 kubernetes 上的各种分布式应用能够通过 sealos run 命令来运行 kubernetes 之上的各种分布式应用，像数据库，音讯队列，AI 能力甚至企业级 SaaS 软件。 ...

相较于其余函数计算我的项目，OpenFunction 有很多独特的性能，其中之一便是通过 Dapr 与各种后端服务（BaaS）无缝集成。目前 OpenFunction 曾经反对了 Dapr 的 pub/sub 和 bindings 构建模块，将来还会反对更多功能。截止到 v0.7.0，OpenFunction 与 BaaS 的集成还不算特地丝滑，须要在每个函数实例的 Pod 中注入一个 Dapr Sidecar 容器，这就会导致一个问题：整个函数实例的启动工夫会受到 Dapr Sidecar 容器启动工夫的影响，甚至 Dapr Sidecar 容器可能会比函数容器自身耗费的资源更多。 为了解决这个问题，OpenFunction 公布了 v0.8.0，引入了 Dapr Standalone 模式。 Dapr Standalone 模式在新的 Dapr Standalone 模式中，无需为每个函数实例启动一个独立的 Dapr Sidecar 容器，而是为每个函数创立一个 Dapr Proxy 服务，这个函数的所有实例都会共享这个 Dapr Proxy 服务，大大减少了函数的启动工夫。 如何抉择 Dapr 服务模式当然，除了新增的 Dapr Standalone 模式之外，您还能够持续抉择应用 Dapr Sidecar 模式，建议您依据本人的理论业务来抉择适合的 Dapr 服务模式。默认举荐应用 Dapr Standalone 模式，如果您的函数实例不须要频繁伸缩，或者因为一些其余起因无奈应用 Dapr Standalone 模式，则能够应用 Dpar Sidecar 模式。 ...

作者：何昌涛，北京北大英华科技有限公司高级 Java 工程师，云原生爱好者。前言近年来，为了满足越来越简单的业务需要，咱们从传统单体架构系统升级为微服务架构，就是把一个大型应用程序宰割成能够独立部署的小型服务，每个服务之间都是松耦合的，通过 RPC 或者是 Rest 协定来进行通信，能够依照业务畛域来划分成独立的单元。然而微服务零碎绝对于以往的单体零碎更为简单，当业务减少时，服务也将越来越多，服务的频繁部署、监控将变得复杂起来，尤其在上了 K8s 当前会更加简单。那么有没有一款全栈的容器云平台来帮咱们解决这些问题哩？那当然是有的，上面咱们一起来揭秘一下吧。 介绍KubeSphereKubeSphere 是在 Kubernetes 之上构建的开源容器平台，提供全栈的 IT 自动化运维的能力，简化企业的 DevOps 工作流。 PigPig 是一个基于 Spring Boot 2.7、 Spring Cloud 2021 & Alibaba、 SAS OAuth2 的开源微服务开发平台，也是微服务最佳实际。在国内领有大量拥护者，同时也有商业版本提供技术支持。 环境搭建K8s 容器化环境一套，并部署完 KubeSphere v3.3.0 版本，启用 DevOps 插件。GitLab 代码仓库治理开源零碎一套。Harbor 容器镜像开源零碎一套。SonarQube 开源主动代码审查工具一套。一个更易于构建云原生利用的动静服务发现、配置管理和服务治理的 Nacos 开源平台一套（可选，Pig 已提供 Naocs 服务，即 Register 服务）。高性能的 key-value 数据库 Redis（3.2 +）一套（Pig 须要）。关系型开源数据库管理系统 MySQL 一套（Pig 须要）。高性能对象存储 Minio 一套（Pig 中文件上传须要，可选）。或者阿里云、华为云、腾讯对象存储也可。架构设计KubeSphere 架构KubeSphere 将前端与后端离开，实现了面向云原生的设计，后端的各个性能组件可通过 REST API 对接内部零碎。KubeSphere 无底层的基础设施依赖，能够运行在任何 Kubernetes、公有云、私有云、VM 或物理环境（BM）之上。 此外，它能够部署在任何 Kubernetes 发行版上。如下所示： ...

以后我国边缘计算技术继续演进，利用一直深入落地，产业正在减速迈向宽泛遍及和深度利用的新阶段。为进一步聚焦和推动边缘计算产业倒退，中国信通院云边协同产业方阵启动第二批“可信边缘计算推动打算”我的项目申报，天翼云新入选边缘函数、边缘平安两个我的项目。 天翼云“边缘函数技术规范”我的项目入选边缘原生类别打算，旨在摸索标准边缘函数的技术能力要求，重点聚焦边缘函数在技术指标、性能指标，安全性、可观测性、第三方工具链、后端BaaS能力等方面能力要求。 天翼云“边缘云DDoS防护、边缘云WAF技术、边缘平安接入技术规范”我的项目入选边缘平安类别打算，旨在摸索和构建基于边缘云资源的平安防护和接入技术标准体系，包含DDoS高防（边缘云版）、Web利用防火墙（边缘云版）、边缘平安接入（SCDN）。 边缘函数BosonFaaS边缘轻函数是天翼云的无服务器边缘函数计算平台。开发者无需关注服务部署区域，无需搭建和保护基础设施，只需一键部署代码，就可在天翼云边缘节点上即时失效，就近响应终端用户或设施的申请。可编程CDN场景：BosonFaaS联合天翼云业余、稳固的CDN服务，实现边缘可编程CDN。次要包含动态网站动态化、边缘内容改写、自定义SEO优化、边缘ESI、边缘申请签名、边缘自定义防盗链鉴权、AB测试，可高效定制用户个性化需要，加重源站压力，减速服务上线流程。 边缘渲染场景：在电商大促场景或热门演唱会、大会电子票务场景中，用户区域扩散、拜访刹时暴发、千人千面的个性化内容响应，须要大批量的实时动静运算渲染。基于BosonFaaS边缘轻函数的解决方案，充分利用CDN网络仅回源获取局部状态数据，边缘进行短时缓存和个性化内容渲染，扩散申请压力，进步响应速度，晋升用户体验。 产品劣势： 产品能力：▪ 易上手的开发者工具：为开发者提供CLI和Web IDE。CLI提供函数全生命周期治理性能，能够和开发者已有的CI/CD流程进行集成。Web IDE提供一站式、全流程的函数治理与在线开发平台，帮忙开发者专一于业务代码，进步开发效率。▪ 丰盛的编程语言生态：反对JavaScript ECMAScript 6，反对TypeScript。反对Node.js的生态，可间接应用Node.js局部代码库，扩展性强。目前反对WebAssembly，后续扩大反对go/python和寰球KV存储。▪ 合乎W3C规范的API：提供合乎W3C规范的Service Worker API、Streams API、WebCrypto API，反对罕用支流加解密算法，能够不便地实现边缘自定义访问控制、边缘内容改写和边缘内容生成等性能。 边缘平安天翼云基于企业数字化转型中面临的多云环境平安问题，利用CDN的海量资源屏障，依靠边缘云平安底座，建设边缘云WAF平台弱小的Web平安爱护能力，整合爬虫防护能力，能无效缓解歹意申请流量，辨认“黄牛党”薅羊毛行为，另外叠加API平安网关能力，针对API的调用进行异样行为检测，同时具备应用层DDoS防护的能力，高性能抵挡超大规模并发攻打，联合边缘平安接入平台，提供3层、4层、7层的平安接入，对所有申请进行检测和鉴权，构建边缘云平安防护防线，全面爱护企业Web服务及API的业务不受攻打影响。 Web利用防火墙（边缘云版）：在传统防护模式下，当业务量突增，超出硬件WAF防护的能力范畴之上时，硬件WAF便成了整个业务流当中的性能瓶颈，很有可能造成业务中断、不可用的状况产生。但在边缘防护模式下，基于智能调度平台实现动静负载平衡、智能容灾，当属地资源无奈满足以后业务须要时，可基于云原生架构，疾速扩容赋能平安能力到边缘云节点上，满足客户业务突增的须要。 DDoS高防（边缘云版）：当黑客对已部署在边缘云平安平台上的客户业务发动攻打时，攻打流量经由调度核心，引流到离攻打源最近的边缘节点，在边缘平安节点荡涤后，失常流量回客户源站。以后DDoS攻打防护可能承载T级以上DDoS攻打，百G抗D节点地市级笼罩，属地防护，全网总防护能力可达10Tbps以上。除反对网络层攻打荡涤外，应用层攻打可通过多维度的频率管制、多重的人机挑战，叠加AI离线剖析能力，精准辨认，保障业务在蒙受大流量攻打时稳固运行。 边缘平安接入（SCDN）：将网络减速能力与多种网络安全能力交融起来，联合一套残缺的平安拜访体系，以及连贯所有用户和客户业务源站的便捷入口，全副通过高性能、平安可信的SCDN服务边缘进行服务。各个组件的能力既能够独自部署，也能够叠加组合，客户可按需建设本人的定制化平安边缘。提供动动态减速、利用减速、智能回源探测、DDoS防护、Web攻打防护、API流量监测、拜访受权、资源隔离等多种能力，同时联合最新的威逼情报，一直动静优化防护策略，帮忙客户应答0day等新生攻打。因为所有的流量均通过对立的边缘平安接入平台接入，因而客户可基于所有的边缘流量进行剖析和评估，帮忙客户制订下一步打算。 天翼云在边缘体系内继续深耕，先后公布了边缘云ECX、边缘一体机iStack、边缘AI盒子iBox、实时云渲染RCR、边缘专用集群ECK、边缘Serverless容器、边缘平安等产品，获得了多项可信云认证及行业大奖，问题令人瞩目。将来，天翼云边缘计算将在深入性能可用性、翻新边缘产品、丰盛边缘生态等方面进一步深耕，推动边缘技术与行业倒退，为产业数字化和数字产业化做出新的奉献。

前言FluxCD 是 CNCF 的孵化我的项目，能够让咱们以 GitOps 的形式轻松地交付利用。和另一个同类的 CNCF 孵化我的项目 ArgoCD 不同，FluxCD 是许多 toolkit 的汇合，人造松耦合并且有良好的扩展性，用户可按需取用。咱们心愿通过集成 FluxCD 这样一个优良的 GitOps 我的项目来为用户提供更多的抉择。 咱们综合思考了以下三大因素： 为还没有接触过 GitOps 的用户提供易上手的体验；为应用过 FluxCD 的用户提供无缝切换的体验；为曾经应用过 KubeSphere GitOps 性能的用户提供相熟感的同时突出 FluxCD 的劣势和个性。屡次从新设计了前端界面和后端实现，最终实现了一个还算比较满意的版本。 ks-devops设计模板复用：FluxCD 提供了 HelmChart 类型的 CRD，然而 HelmRelease 无奈间接援用 HelmChart，咱们心愿增加模板的性能，这样许多配置就能够复用。多集群：咱们心愿 FluxApplication 是一个多集群利用，这样咱们就能够用一套模板配置而后增加不同的配置去部署到多个集群中。CRD现有的 gitops.kubesphere.io/applications CRD 曾经蕴含了 ArgoApplication。为了集成 FluxCD，咱们将 FluxCD 中的 HelmRelease 和 Kustomization 组合形象成一个 FluxApplication 的概念放入 Application 里并且 kind 来标识用户启用了哪种 GitOps Engine。 一个残缺的 GitOps 利用能够拆分成三大部分： 源：寄存制品的仓库，制品包含是 Kubernetes Manifests、Kustomize 和 Helm，仓库的类型有 GitRepository、HelmRepository 以及 Bucket 等。利用配置：对 Kustomize 能够是 path 和 patches，对 Helm 能够是 valuesFrom 和 values。部署指标：制品的部署地位，是集群和相应名称空间的组合。所以 FluxApplication 的具体实现如下，蕴含了 Source 和 Config，因为 FluxCD 是一个多集群利用，一个部署指标对应一个利用配置，所以部署指标被蕴含在利用配置中。 ...

作者：赵海亮，浙江大学计算机专业四年级在读博士生，钻研方向为云计算、边缘计算、分布式系统等。尽管 KubeSphere 可能将咱们从 yaml 文件的编写中解放出来，然而我的项目上云依然非常繁琐。 此外，一旦我的项目源代码产生更替（如公布新性能或去除 bug 等），所有组件都须要从新经验 “源码打包 --> 制作镜像 --> 启动容器” 这个流程。 这意味着，我的项目运维人员不得不从事大量重复性劳动。为了进步我的项目公布的效率，工业界引入了 DevOps 的概念。 本文首先将介绍 DevOps 是什么，随后尝试利用 KubeSphere 集成的性能来实现 DevOps。 什么是 DevOps目前绝大多数互联网公司将开发和系统管理划分成不同的部门。 开发部门的驱动力通常是 “频繁交付新个性”，而运维部门则更关注 IT 服务的可靠性和 IT 老本投入的效率。 两者指标的不匹配，因此存在鸿沟，从而减慢了 IT 交付业务价值的速度。 为了解决这个问题，DevOps（Development 和 Operations 的组合词）被提出。 DevOps 的目标是在企业外部搭建一个自动化 “软件交付” 和“架构变更”的流程，来使得构建、测试、公布软件可能更加地快捷、频繁和牢靠。 实现 DevOps 通常须要多个软件和工具的密切配合。 如图 1 所示，DevOps 将软件的交付流程顺次划分为 Plan、Code、Build、Test、Release、Deploy、Operate 以及 Monitor 这些阶段。 当需要变更时，将会从 Monitor 从新平滑过渡至 Plan 阶段。每个阶段都有一系列的软件和工具可供选择。 对于任意我的项目，咱们只须要基于这些软件和工具 搭建一条自动化流水线 ，再设置相似于 “一旦代码变更就主动执行” 这样的钩子函数，整个我的项目即可主动实现“继续集成 / 继续交付（CI/CD）”，这将大大减少重复劳动。 KubeSphere DevOps 基于 Kubernetes Jenkins Agent 实现。 和传统的 Jenkins Controller-Agent 架构不同的是，在 KubeSphere 中，Jenkins Agent 能够动静扩缩容，从而升高 CI/CD 对集群资源的自觉占用。 KubeSphere 的 DevOps 用户指南参见 https://kubesphere.io/zh/docs...。 本文将按照该指南将一个开源我的项目上云。 ...

Cloudpods是一个开源的Golang实现的云原生的多云和混合云交融平台。Cloudpods不仅能够治理本地的虚拟机和物理机资源，还能够治理其余私有云和公有云平台的资源。 Cloudpods由北京云联壹云技术有限公司主导开发，并于2019年9月于Github开源。Cloudpods采纳外围开源模式，其商业版本云联壹云企业版（YunionCloud）自2017年开始研发，曾经服务了上百家企业客户。 10月31日，Cloudpods 新版本 v3.9.4 正式公布。本次更新次要是KVM平台主机对接QGA、新建主机同时装置监控Agent及其他一些修复优化，以下为版本更新详情： 1、新性能 【认证】用户明码过期登录强制批改明码【主机】KVM平台本地磁盘反对新建【主机】OpenStack平台VNC链接优化【主机】KVM主机迁徙反对设置带宽及勾销工作【主机】KVM平台反对磁盘更换块存储【主机】挂载 GPFS 存储时进行本地磁盘查看【调度器】优化过滤后果步骤，晋升接口性能【监控】纳管平台默认拉取CPU/内存/磁盘使用率【监控】缩小操作日志记录，避免 opslog 表过大导零碎存储异样【零碎】列表字段整体排序优化【部署】反对Debian 10部署零碎2、性能优化 【主机】修复同步磁盘未通过零碎标签过滤问题【主机】修复ESXI镜像保留失败问题【裸金属】修复BIOS UEFI/Legacy 模式切换，平台对应数据没有更新问题【容器】修复记录 log 过多问题【容器】修复集群失联会导致服务卡住的问题【弹性伸缩】修复基于监控指标的策略没有失效问题【SDN控制器】修复OVS意外退导致服务不可用问题【监控】修复局部告警会呈现未复原的问题【命令行工具】修复network-update默认把 vlan_id 设置为 1 的问题【费用】修复费用列表总计报错问题（企业版）【费用】修复费用局部详情查问谬误问题（企业版）3、问题修复 【主机】KVM虚机反对执行 QGA 命令，并且反对 QGA 批改明码【主机】KVM平台新建虚拟机反对同时装置监控agent【面板】数字图反对通过调度/我的项目标签过滤【存储】反对疾速过滤物理机/宿主机存储【多云】华为云ModelArt对接（企业版） GitHub：https://github.com/yunionio/c... 浏览原文

开源我的项目举荐Cilium Grafana Observability Demo这个我的项目由 Cilium 母公司 Isovalent 开源，提供了一个 Demo，应用 Cilium、OpenTelemetry、Tempo、Prometheus 和 Grafana 实现了利用无侵入可观测性。 MurreMurre 是一个无需任何依赖的 Kubernetes 集群监控工具，它即不须要 metrics-server，也不须要 kube-state-metrics，而是间接从 kubelet 抓取指标。 Helm DashboardHelm Dashboard 是 Komodor 开源的我的项目，它提供了一个性能比较完善的可视化界面来操作 Helm Chart 相干资源。 Containerd Wasm Shims该我的项目实现了一个 Containerd shim，该 shim 从 OCI 镜像中提取 Wasm 模块并应用 runwasi 来运行 Wasm 工作负载，反对与 Kubernetes 集成，通过 RuntimeClass 来创立 Wasm 工作负载。 coredns-tailscale这是一个 CoreDNS 插件，能够给 Tailscale 节点主动增加 DNS 记录。 KubeviousKubevious 是一个以利用为核心的 Kubernetes Dashboard，重点关注资源配置清单以及集群状态的验证和故障排查，同时还提供一个 TimeMachine（时光机）性能，容许咱们回到之前的工夫去查看利用的错误信息。 文章举荐基于 KubeSphere 的开源微服务开发平台 Pig 最佳实际微服务架构绝对于以往的单体架构更为简单，当业务减少时，服务也将越来越多，服务的频繁部署、监控将变得复杂起来，尤其在上了 K8s 当前会更加简单，本文介绍了如何应用 KubeSphere 来升高开源微服务开发平台 Pig 部署和保护的复杂性。 ...

过来数年间，在企业数字化转型的大趋势下，云原生，凭借其麻利、弹性、平滑的特色，不仅帮忙大量企业实现降本增效，也大幅晋升了开发过程中的生产力，成为当下最支流的技术倒退方向之一。 不过，对于开发者而言，如何借助“真正的云原生”晋升效率、升高开销，充沛享受云原生的技术红利，是更值得关注的议题。 云原生，曾经成为大厂的“技术底色”当初越来越多利用采纳云原生技术进行构建。有数据统计，近年来云原生相干的利用增长超过了 200%，CNCF 所评估的项目数甚至达到了 372% 的增长。咨询机构 Gartner 也预测，到 2025 年云原生平台将成为 95% 以上的新数字化打算的根底，而去年这个比例还不到 40%，显然还具备十分大的增长后劲。 其实，云原生早已是大厂实现技术迭代的要害抓手。 在 10 月 29 日举办的 Techo Day（腾讯技术开放日），腾讯云副总裁刘颖走漏，“早在 2015 年容器和K8S呈现时，腾讯外部就曾经将这些技术引入理论业务，通过晚期一系列外部业务试点，腾讯在云原生技术上的积攒逐步成熟，之后咱们将云原生技术放到腾讯云上对外部客户输入，同时进一步在腾讯自研业务中推动云原生技术升级换代。” 据理解，往年腾讯的自研业务已全面上云，上云规模冲破 5000 万核，这也是业界最大规模的一次云原生实际，视频号、腾讯会议之类的大型利用都采纳了云原生来作为其技术底座，撑持起业务的爆发式增长。 联合内外部教训，腾讯已积淀出一套残缺的云原生技术和产品体系，涵盖软件研发流程、计算资源、架构框架、数据存储和解决、平安等五个畛域的多个场景。 除此之外，腾讯的各项动作也意味着，其在继续减轻对云原生的布局，踊跃裁减云原生产品体系，加大对云原生技术的研发投入。 大厂对云原生的押注，也牵引着行业的注意力，无论是为了晋升开发效率或学习开发技能，越来越多的开发者都在接触、拥抱云原生。据理解，腾讯云原生产品服务的开发者总数曾经超过300万。 云原生疾速倒退的背地，不仅仅是量的变动，同样引发了业内对架构计划、生产方式、思维模式、商业模式的思考。 对开发者而言，云原生的价值是什么云原生对企业而言，意味着降本增效，以及更好地反对业务倒退，那对法开发者而言，云原生的价值又如何评判？ 在腾讯云副总裁黄俊洪看来，“只有充沛享受到云计算红利，才是真正的云原生。云原生的倒退，实质上解放了开发者的生产力，让代码的开发工作有了质的晋升，开发者能更加聚焦到有创造力的业务逻辑和业务场景的了解上。” 过来企业“上云”只是单纯把常见的底层资源如计算、存储、网络堆砌到云上，短少对开发过程、开发架构、开发框架选型以及利用如何疾速交付的关注。对开发者而言，这个阶段也只是通过根底设置来晋升资源层面的利用效率。 随着云计算基础设施日益完善，“上云”曾经不再是单纯的“上虚拟机”。云原生作为“上云”的 2.0 阶段，外围是将应用程序的每个局部都进行打包、动静编排，每个局部都能被被动调度和治理。 通过将基础设施与业务平台交融，这些能力得以“排列组合”到一起，为业务利用提供规范的运行、监控、治理平台。这让开发者能把关注点从资源，转移到开发自身。 比方，微服务把应用程序结构成一组涣散耦合的服务进行开发部署，大大提高业务的敏捷性；通过 DevOps，进行继续集成交付以实现残缺的自动化和上云协同。 通过云原生技术来构建利用，开发者不再须要消耗大量工夫去思考底层技术实现，通过一些好用的云原生工具，就能疾速调用和治理底层资源，所有算力可能主动启动、伸缩，疾速响应业务，无效晋升了资源利用率，升高开发成本。得益于此，开发者能够有更多精力投入对业务的思考。 除此之外，云原生也带来了开发环境的扭转。现在各个云服务商都在推出好用的云端开发工具，例如腾讯云的 Cloud Studio，帮忙开发者解脱本地开发物理环境的解放，能够随时随地在云端开发、合作、公布利用。同时，其交融了腾讯云的底层云资源和在线开发环境，开发者能够享受更便捷、高效的开发过程。 云原生工具越来越丰盛易用对开发者而言，须要关注的不仅是行业趋势，也须要及时学习和理解新的云原生产品，放弃与时俱进。 近两年，微软、谷歌、AWS、腾讯等云服务商，都一直加大在微服务、容器化、Serverless、分布式云等畛域的投入，为企业和开发者提供各种高效、稳固的云原生产品，这些产品的性能和设计，也越来越丰盛易用。 此次 Techo Day，腾讯云重磅公布了三款全新的云原生产品。 •TSE 云原生网关KONG，作为高性能、高可用的开源托管网关，能够集流量网关、平安网关、微服务网关为一体，无效缩小用户自建网关的开发和运维老本。 •TSE Polarismesh（北极星），是腾讯开源的服务发现、配置核心和治理核心，能解决分布式或者微服务架构中的服务可见、故障容错、流量管制和平安问题。 •TKE Housekeeper 原生节点，是专为云原生设计的加强节点，通过云原生申明式的形式治理和运维节点，解决 Serverful 模式下节点运维艰难的问题。同时通过 request 举荐、节点缩放、调度优化、节点水位管制等组合能力，解决资源利用率低的问题。 这些产品在推出前，都通过了海量外部业务的验证。例如，HouseKeeper 基于原生节点的老本优化能力，帮忙腾讯外部某大型业务实现了 2 个月资源申请量降落 25%。 腾讯云副总裁刘颖示意，将来，腾讯云还会继续投入云原生更前沿的利用，“例如，如何将云原生技术与具体开发场景交融演进，进一步晋升特定场景的开发效率。” 技术的倒退离不开生态的凋敝，离不开海量用户的实际。胜利的实际背地，正是一方面凭借本身的业务教训为开发者提供工具产品，另一方面背靠宏大的海量开发者，一直收集实在的需要与反馈，从而造成技术产品生态的正循环。 结语作为技术倒退的趋势，云原生势必会从一项前沿技术变得愈发支流，甚至成为开发畛域的通用范式。但真的到了那一天，云原生和当初相比会不会有很大的不同？云原生的将来是什么？ ...

KubeSphere 从诞生的第一天起便秉持着开源、凋谢的理念，并且以社区的形式成长，现在 KubeSphere 曾经成为寰球最受欢迎的开源容器平台之一。这些都离不开社区小伙伴的共同努力，你们为 KubeSphere 提出了很多建设性意见，也奉献了很多代码，非常感谢社区小伙伴们的付出。 为了帮忙社区的小伙伴们更好地把握 KubeSphere 社区的停顿，咱们决定每两周更新一次周报，即双周报。本双周报次要是整顿展现新增的贡献者名单，以及两周内提交过 Commit 的贡献者，并对近期重要的 PR 进行解析，同时还蕴含了线上 / 线下流动和布道推广等一系列社区动静。 贡献者名单 新晋贡献者 讲师本双周内社区组织了两场线上直播和一场线上 Meetup，共诞生 4 位新的讲师。 近期重要更新KubeSphere以下更新已合并到 KubeSphere v3.3.1 中，欢送下载试用。 1. 反对设置 Pod Request 为 0相干 PR：https://github.com/kubesphere... 贡献者：harrisonliu5 2. 修复流量监控页面，更新流量策略申请时，httpCookie 显示谬误的问题相干 PR：https://github.com/kubesphere... 贡献者：mujinhuakai 3. 修复集群可见性按钮对某些用户不可见的问题相干 PR：https://github.com/kubesphere... 贡献者：harrisonliu5 4. 修复工作区成员页面下无奈操作 DevOps 相干内容的问题相干 PR：https://github.com/kubesphere... 贡献者：harrisonliu5 5. 修复工作负载 CPU 限度显示谬误的问题相干 PR：https://github.com/kubesphere... 贡献者：harrisonliu5 ...

14年的云栖，见证了中国科技的实在演进。 2022年11月3日，新的云栖大会行将正式开启。 上千位科学家、院士、学者、行业领军人物汇聚于杭州云栖小镇，将带来1000+数字产业和数字科技话题分享，更有1000+项科技新品，波及云计算、芯片、下一代网络、云边端一体化、人工智能、产业数字化等内容，将在「全景式科技展」中全然展示。 在云栖逐年的极致演进之上，边缘云、视频云也在极致进化，发明更多硬核，关上更多设想。 往年，能够期待更多的不一样。 交融边缘云与音视频技术，五大体验展台将全新亮相云栖科技展，别离为「云游戏」、「8K VR」、「超高清」、「虚构演播厅」、「寰球边缘基础设施」，以智趣有料的翻新科技和前沿酷炫的硬核设施，为与会者带来身临其境的沉迷体验。 1「云游戏」的云上翻新云游戏是近年来非常火爆的话题。 在5G与边缘计算技术的推动下，社会和用户对云游戏的关注度和认知度一直晋升，然而对于云游戏的用户体验却不尽如人意。 依靠于边缘云的分布式架构和就近部署，阿里云实现对海量终端高并发的分布式解决，无效晋升计算效率，并满足用户低延时的场景化需要。 用户只需应用手机、电脑、智能音箱等终端设备将控制指令发送至边缘云节点，通过边缘云服务器的云上渲染解决，即可取得实时游戏画面，畅玩最新最火爆的游戏。 基于阿里云与西山居的云游戏翻新实际，用户可应用任何零碎设施，零门槛、随时随地畅享剑网3游戏，深刻感触边缘云技术带来的低延时、强互动、超沉迷式体验，漫游于翻新交融的云上空间。 2「8K VR」的沉迷交互据IDC数据显示，2021年VR寰球市场整体出货量超1000万台，消费者市场出货占比继续晋升。随着硬件消费市场的减速浸透，8K+VR拍摄制作与优质内容生态打造或将成为通向爆款的必经之路。 在「8K VR视频」展台，参会者可体验8K超高清在VR内容畛域的最新利用体感。通过视频云“8K+VR”的制播服务，用户可佩戴Pico头盔，观看清晰度高达8K的360度VR视频，实时捕获超高清细节。 不仅如此，用户还可全然身临其境，感触令人惊艳的全景立体声带来的声场空间全新体验，领会视觉之外，软硬交融之下沉迷技术带来的实在魅力。 3「超高清」的视觉之巅在信息爆炸的明天，用户对晦涩高清的视频内容提出了更高的要求。 阿里云「超高清」展台，搭载了智能触控屏，以“视频播放+轻互动”的模式，出现视频云最新的编解码技术和AI交融能力。视频通过窄带高清转码之后，能缩小对带宽的需要，升高最高达50%的带宽老本，同时还可能放弃高清、丰盛的视觉体验，真正实现品质、码率和老本的最优平衡。 体验者通过现场多维比照「窄带高清」技术解决前、后的视觉效果，可直观清晰地理解视频云技术对日常视频在清晰度、色调、流畅性等维度的极致降级，从而取得更佳的视听体验和感官享受。 4「虚构演播厅」的虚实穿梭虚构演播厅是视频云的一项继续翻新的技术产品，曾用于2022北京冬奥，让百年奥运首次实现虚构互动的实时播报。 对于演播而言，目前业界的演播厅应用的抠图技术大多与绿幕抠图相干，但绿幕抠图须要专门搭建绿幕设施并进行提前布景，利用场景十分受限。 基于此，阿里云团队对虚构演播厅的技术计划进行全面降级，通过云端多路实时实景抠像、虚构背景生成与实时动静渲染技术，打造富裕强沉迷感的实时演播产品，达到广电级的节目制作水准，真正实现虚实交融。 在现场，参会者仅需通过现场的1台电脑和2部手机，即可开启一站式的云上虚构直播服务，体验虚构背景下的实时互动成果，还可与数字虚拟人同台播报、近程采访，穿梭虚构现场，突破虚实之界。 5「寰球边缘基础设施」无处不在云万物上云时代，越来越多的企业一直强化边缘云能力，为用户提供更低成本和更好体验的产品计划。 据Gartner预测，到2024年，会有超过50%的组织将在至多一个边缘计算零碎部署超大规模边缘解决方案。 有了"边缘"退出的云计算，逐渐成为泛滥翻新场景成长的土壤，云游戏、主动驾驶等新型利用开始在"边缘"蓬勃发展。 在「寰球边缘基础设施」展台，阿里云将展示多年积攒的边缘云技术力和实际力，诠释如何翻新多畛域业务场景，激发产业新生机，以一朵无处不在的云，实现技术普惠与利用变革。 在边缘云与音视频技术展区外，云栖大会B馆还将汇聚70+阿里云和达摩院的产品技术及翻新成绩，全面展现阿里巴巴从芯片、基础设施到云计算架构体系等云计算畛域的突破性翻新。 在这里，用户能够操纵无影云电脑驱动的大飞机模仿驾驶舱，漫游在蓝天之上，感触算力跃迁带来的体验降级。 云栖大会C馆将设置“大美数字中国”展，深刻展示漂亮中国的广度、深度、厚度和力度。 数字孪生的长江三峡、南水北调，首台“5G+云急救车”，一汽红旗凋敝工厂微缩产线，数字化良渚文旅等，也将与公众首次见面，凸显传统经济与新兴科技之间的良性互动。 此外，由主题为“云上宫阙·大明宫”的数字还原宫殿也将在云栖大会D馆首展，带来充斥将来科幻感的视觉奇迹。 大型沉迷式数字交互体验空间“三星堆VR奇幻之旅”、天猫科技厂牌街区、世界首款仿人六足冰壶机器人……有限刷新对将来生存的想象力。 更有充斥互动趣味的天池竞技区、云起实验室和开发者舞台，满足开发者学习、交换、娱乐需要。听硬核技术探讨，品实在技术人生，每个技术人将在这里找到共鸣。硬核科技「万花筒」，等你来体验！ 将来已来，期待与你共赴这场科技之约，沉迷一场超交融体感的数智之旅。

近年来，IT行业发展势头迅猛，“IT国产化”是倒退潮流。全国的产业向云平台延长是大势所趋，目前国产化代替工作曾经由繁多简略场景向简单的场景演进。10月19日，“5G+天翼云+AI 与城市共成长”天翼云中国行陕西站在宝鸡胜利举办，中国电信云计算分公司副总经理关丽莘、中国电信陕西分公司总经理助理辛公良等缺席流动并参加“国产化全栈云能力”启动典礼。 关丽莘示意，中国电信继续深入5G+天翼云+AI，提供网、云、数、智一体化的解决方案，天翼云也继续深入在国产化全栈云服务，反对政府和企业上云，把5G与天翼云、AI引入传统行业的交融翻新，助力行业数字化转型和城市智能化翻新，与合作伙伴一起全面助推数字陕西和全国智慧城市的倒退。 中国电信云计算分公司解决方案高级专家刘睿提到，作为国家信息化建设的主力军，天翼云秉承资源优势，从云资源管理模块，云能力治理模块，云利用治理模块进行整合降级，优化运维治理、平安保障等性能，不仅为客户提供天翼云桌面、分布式数据库、分布式文件系统等国产化产品，且提供国产化云平台整体解决方案和服务，疾速推动国产化我的项目落地。 天翼云施展三大劣势 构建国产化全栈云能力一是领有优质丰盛的根底网络和IDC资源。依靠中国电信丰盛的网络资源，天翼云曾经造成“2+4+31+X”云网交融的资源布局，全国有近700个IDC节点，3000余个边缘机房节点，是全国惟一一家“一省一池”云服务商。天翼云能够在网络层面提供互联和产品转型的需要，在云资源层面可能给客户提供凑近用户属地的资源部署的环境。 二是具备平安可信的权威资质。大数据时代，“没有网络安全就没有国家平安”，平安是新型信息基础设施建设的根基。基于数据安全爱护的多元性，以及云计算、云存储的技术个性，天翼云从物理和环境平安、网络和通信安全、设施和计算平安、利用和数据安全以及平安治理5个维度构建了平安体系。天翼云取得了包含可信云认证、CSA-STAR认证、信息安全等级爱护认证等多项信息安全认证资质，间断四年斩获可信云政务、教育、医疗、工业行业云大奖，坚守用户数据安全。 三是能提供专属定制的一站式集成服务。与传统基础设施相比，新型信息基础设施不仅要能满足客户的通用、“根底”需要，更要智能化，满足各种个性化、定制化需要。天翼云成为自主掌控多项要害核心技术的云服务商，包含云+AI、云+5G等交融类技术，能满足高并发、高弹性、高可用的严苛要求。天翼云构建全网协同体系和本地服务体系，全网协同调度，为用户提供集征询、迁徙、集成、运维为一体的服务，实现按需随选、“千人千面”，实现一站式上云。 为迎接5G大时代的到来，天翼云曾经实现了全面降级，从一朵一般的云降级为一朵万物智联云，降级为5G时代万物智联的赋能引擎。通过“+边缘”、“+AI”、“+平台”让算力、智慧、生态单干无处不在。天翼云具备“云网交融、平安可信、专享定制”三大个性，提供网、云、数、智的一体化解决方案及国产化全栈云产品服务。天翼云将积极响应并落实国家重大决策部署，整合网络、内容、服务、生态等综合资源，鼎力推动科技翻新和要害核心技术的研发，降级国产化全栈云服务，推动数字中国建设。

9月29日,“5G+天翼云+AI 与城市共成长”天翼云全栈政务混合云交流会在安徽合肥揭幕，中国电信云计算分公司副总经理李云庄，中国电信安徽公司副总经理郑家升等缺席本次大会并加入“天翼全栈政务混合云”启动典礼。 大会现场，中国电信云计算分公司副总经理李云庄示意：中国电信深刻贯彻十九大精力，在根底网络、科技翻新、产业倒退等方面动摇地施展脊梁作用，踊跃成为“云计算”“大数据”重要的践行者与使能者，为国家和社会信息化倒退一直做出新奉献。 随着数字技术的一直倒退，云计算逐步成为人工智能、工业互联网、大数据、区块链、物联网等技术利用的根底承载。近年来，各地政府纷纷放慢数字政务建设。艾瑞公布的《2020年中国政务云行业钻研报告》显示，2019年中国政务云市场规模为527.7亿元，相比2016年的年复合增长率为28.5%。以后政务云处在从底层根底建设向信息共享、数据交融过渡的阶段。随着中国经济逐步回归到失常程度，政务云市场预期将冲破千亿元，到2023年整体市场规模可达到1114.4亿元。 以后，倒退数字经济已成为共识。中国电信安徽公司副总经理郑家升示意：“中国电信作为骨干央企和综合智能信息服务运营商，积极响应并落实国家及省相干重大决策部署，减速推动云计算、大数据与政务行业的深度交融，全面助力‘数字江淮’建设。” 面对传统政务云建设中呈现的大量数据孤岛，影响业务协同和效率；管理体制分散化；建设力量碎片化等外围痛点，政务云急需转型降级。中国电信天翼云始终践行“云网交融、平安可信、专享定制”的服务理念，打造“云、网、安、数、智”五位一体的全栈政务混合云能力。 在大会上，中国电信云计算分公司产品与生态部总经理汪鑫对此做了具体阐释：“天翼全栈政务混合云不仅能够无缝对接天翼云私有云，反对大规模集群公有/私有部署，为不便企业用户，针对公有部署，天翼云还推出了麻利版，能够抉择超交融架构，大大精简了服务器的数量，不便用户。” 此外，天翼云往年也将生态建设作为重点工作，推出了一整套生态单干的机制，面向各行各业的合作伙伴，利用免费资源做技术的测试和适配。同时，所有的合作伙伴均配有专职的经理。除此之外，天翼云还建设了云市场、甄选市场等向外凋谢的平台，成为单干业务，专享的通道。对于重点业务畛域，天翼云也发展了一些专项生态的流动。比方，AI 开发者社区等等。 作为最早进入政务云的玩家之一，天翼云依靠国产化解决方案和弱小的全栈政务混合云平安能力，在部署、平安性能、运维治理等方面展现出全方位的劣势。例如，疫情期间天翼云接到火神山、雷神山医院通信网络和信息化零碎建设工作，在48小时内实现了资源开明、数据迁徙、云主机等部署，实现了两座医院的外围信息化零碎的开明交付。 将来，中国电信将一直深入“5G+天翼云+AI ”策略，进一步增强私有云、公有云、混合云和专属云的综合解决方案和定制服务，通过覆盖全国的属地化集成和开发团队，高效满足客户各类定制开发和交付需要。 数字化、智能化的趋势将对经济社会的生产方式和生存形式带来微小改革。中国电信将踊跃贯彻网络强国策略，保持新倒退理念，以“综合智能信息服务运营商”为使命，踊跃投入“新基建”，放慢5G、云计算、AI、大数据中心等新型信息基础设施的建设，鼎力推动科技翻新和要害核心技术自主掌控，赋能全社会数字化转型，为政府治理和公共服务提供无力撑持，进步为民服务程度，晋升政府现代化治理能力，为推动中国数字经济倒退做出更大奉献。

自然资源是所有生产和存在的源泉，也是人类赖以生存和倒退的物质基础。迷信统计、正当开发及应用自然资源，成为保障经济社会可继续倒退的必要动作。 近年来，在数字化浪潮的驱动下，我国自然资源主管部门不断加强自然资源信息化建设，晋升自然资源的管理效率。2019 年，自然资源部印发《自然资源部信息化建设总体方案》，明确提出到2025年，建成以自然资源“一张图”为根底的自然资源大数据体系，根本造成“数据驱动、精准治理”的自然资源监管决策机制，促成疆土空间开发格局显著优化，资源利用节约高效，资源生态环境总体改善。 要精准化、动静监管每一块土地资源开发利用与爱护全过程，离不开科技翻新与先进技术手段撑持。天翼云作为云服务国家队，将数字技术与自然资源治理深度交融，为我国自然资源管控迈入全新智慧时代提供技术引擎。 在江西一城市，因为自然资源数据量大、业务繁冗，自然资源局现有政务云平台无奈满足“疆土一张图”利用和相干数据的承载。为了促成自然资源监管、决策和服务水平晋升，该市自然资源局心愿借助云服务落实自然资源治理降级工作，并对数据的保密性和高可靠性、部署环境的物理隔离性、GPU算力等提出了更高的要求。 针对客户需要，天翼云基于全栈混合云平台为该市自然资源局构筑一朵疆土专网云，提供云主机、GPU主机、块存储、对象存储以及云上灾备能力等丰盛资源，并联合云桌面将集中的GPU算力计算结果传输至客户办公场合客户端，齐全满足客户各类利用场景需要。 ▎在物理隔离性方面，以中国电信IDC机房资源为根底，天翼云为客户开拓物理独立且隔离的空间用于部署专属云，确保数据隔离性，并通过裸光纤直连的形式拉通专属云和自然资源局疆土专网，确保数据链路传输安全性、可靠性，最大化施展电信云网交融劣势。▎在数据可靠性方面，云上块存储和对象存储均按要求采纳三正本存储，确保数据不会因为单台机器故障而导致失落，同时机房内配置稳固独立的灾备一体机，将外围数据进行再备份，保障数据可靠性。▎在GPU算力方面，采纳企业级显卡+vGPU license（vWS）的形式，在确保GPU算力的同时，提供客户要求的图形API调用能力。 通过提供高可用、高牢靠的专属云服务，天翼云帮忙该市自然资源局在原有政务云的根底上拓展了业务边界，保障了疆土测绘数据作为国家外围资产的安全性和高可靠性，灵便且高效的算力撑持切实解决了原有平台无奈应答的问题。 在此基础上，该市开启了自然资源治理的新模式，实现了资源数据的“和盘托出”，资源管理“成竹在胸”，也为其余城市疆土云建设提供了数字样本。推动自然资源治理数智化转型，事关我国经济社会稳固和可继续倒退。将来，天翼云也将继续进行科技翻新，利用数字技术让自然资源治理更加高效且智慧，减速我国国土资源事业的智慧化建设过程。

越是数字化时代，越要做好基建“平安”的顶层设计随着生产及产业互联网的一直倒退，数字化将实现全场景笼罩，人类的生存和生产方式也随之一直扭转。 内容散发网络CDN（Content Delivery Network）能分担源站压力，防止网络拥塞，确保在不同区域、不同场景下减速网站内容的散发，能够说，CDN未然成为互联网的基础设施。 在万物互联大背景下，网络安全问题的严峻性和重要性都远超过去，一旦受到攻打，便容易“牵一发而动全身”。 因而，越是数字化时代，便越要做好基建“平安”的顶层设计。 如果没有网络安全的保障，所有都将“裸奔”。 01 域名被歹意刷量，怎么办？以后，泛滥业务在CDN边缘做减速，「边缘平安」的实质是：面临网络安全问题时的第一道防线。 只有在边缘发现并解决了各种平安问题和危险，就能保障客户源站在蒙受攻打时，也能够稳固服务。 近年来，CDN域名被刷量的事件每每产生。 CDN域名被刷量（刷带宽），实质是“以小搏大”。因为CDN的存在是减速内容的散发，并不限速，攻击者便能够通过极低的老本买大量“肉鸡”（“肉鸡”也称傀儡机，是指能够被黑客近程管制的机器），造成网站高额的CDN带宽费用，所谓“一沉睡来，房子没了”。 下图是CDN监控到的某域名被刷量的状况： QPS（Queries-per-second，即每秒查问率）霎时激增到 100,000 以上，带宽突增超过64Gbps。这类状况会导致域名产生了十分多的流量和带宽，最终导致高额账单。 随着运营商的提速，攻打老本会越来越低。 那么，如何避免被歹意刷量？ CDN 上提供了带宽封顶的性能，超过配置带宽便会进行域名CDN服务。尽管这个性能可能及时克制刷量，然而域名也无奈失常服务了，能够作为疾速止损应用。本文重点介绍可能精细化应答歹意数量的计划：IP黑名单、UA黑名单、频次管制等。 IP黑名单通过拉黑攻打申请的源IP实现精准拦挡。UA黑名单通过拉黑攻打申请的UA（User-Agnet）实现精准拦挡。频次管制基于频次特色拦挡拜访次数异样的申请，实现精细化防护。02 多维度的特色排查带宽监控倡议通过云监控配置，配置一个超过域名日常带宽峰值肯定比例的阈值作为告警的触发条件。云监控请参考：https://help.aliyun.com/produ... 收到告警并判断带宽突增很显著，下一步就须要思考采取处理策略。本文重点介绍精细化拦挡的配置和进攻伎俩。 实现精细化拦挡须要对拜访行为进行剖析，因而倡议开启实时日志性能。通过日志的实时剖析，能够及时剖析最新的攻打特色，从而能配置相干的策略进行精准拦挡。实时日志开明过程请参考：https://help.aliyun.com/docum... 在域名关联之后，点击 “日志剖析”，会呈现日志治理页面。此时客户端对域名进行拜访，这里能实时展现域名的所有申请，以及每个申请记录的日志字段，具体见下图所示。 上面介绍攻打场景中罕用的日志字段： uri：就是对应的HTTP申请的URL， 且不带前面的query参数。对于刷量攻打，uri是十分重要的剖析参数。 uri_param：申请的参数。如果被刷量的申请始终很固定或者特色很显著，能够对其申请的IP或者匹配param的申请进行黑名单解决。 refer_uri：一般来说，申请来自网站的子链接或者搜索引擎，那么值为“对应网站的网址”或者是“搜索引擎的网址”，而应用一些命令行工具比方curl的时候，就有可能伪造。如果被刷量的URL实际上不会被其余网站援用，那么一旦呈现相似refer的，就能够思考断定为异样。这类特色能够通过控制台中的Referer防盗链来实现。 return_code: 失常响应码应该是2xx。如果其余响应码比方3xx/4xx/5xx等占比拟高，能够剖析该申请中其它字段进行进一步剖析。 remote_ip: 即申请的源IP。如果某个或者若干个Client IP拜访占比很高，远超其余拜访的IP，就能够思考封禁这些IP。下文对立用IP代指源IP。 response_size：歹意刷量个别都会找大文件的URL进行重复下载。从response的统计后果剖析是刷量分析的要害一步。 user_agent: 发动申请的UA，大部分简略的刷量工具可能会有雷同的UA。如果看到某个UA拜访特地集中，而且是不常见的UA，能够间接封禁这些UA。 03 精细化的平安防护体系在新基建浪潮之下，对于要害基础设施的网络攻击必然只增不减。 应答将来网络安全问题，需摒弃碎片化或单点进攻的思路，构建继续进化的平安能力体系。 对于刷量攻打，每个进攻伎俩都能够产生肯定的拦挡成果。然而，在理论业务中，须要根据理论状况抉择最适宜的形式，甚至须要组合多个进攻伎俩实现最大化的拦挡成果。 本文以DCDN控制台的WAF防护性能为例，介绍相干的平安实际。 ❖ IP黑名单演示先运行工具模仿刷量，拜访的URL为/test/app5m.apk ，确保域名的带宽显著突增。下文所有实际中的模仿刷量都会采纳雷同的形式。 查看实时日志，看下response_size的统计后果，有个5.244MB的文件拜访比例很高，其uri 为/test/app5m.apk。当然，还能够再察看uri维度的统计分析做最终的确认。 剖析该URL的起源IP，发现都来自*.11.32.x 这个网段（本次演示应用的网段），如下图所示： 创立IP黑名单的策略，拦挡下面剖析到的网段。 监控页面看带宽显著的降下来了。 ❖ UA黑名单拦挡演示同样先运行工具模仿刷量，使域名的带宽显著突增。因为模仿刷量的工具应用的python脚本，通过实时日志剖析能够发现申请的UA比拟集中，如下图所示： 剖析UA，确认拜访次数最高的是python-requests/2.22.0，而且还有要其余UA前缀是python-requests/的，均属于python脚本发动的申请，非常规浏览器的UA，断定属于歹意行为。配置自定义策略，规定设置为User-Agent蕴含python-requests/的进行拦挡。 配置规定之后，域名的带宽显著降落。 ❖ 频次管制演示上文演示的拦挡，不论是IP还是UA，都是精准拦挡。理论攻打场景中，对应的特色集中水平未必会很显著，尤其申请的源IP可能达到成千上万甚至几十万的规模。 因而，进攻的策略就须要应用基于拜访频次的限度策略。提到拜访频次，那么请先评估一下本人业务，失常用户是多久距离拜访一次。这里以某APP下载或者降级的场景为例，大部分IP可能只下载一两次，少部分有可能下载遇到失败，会有若干次重试，基本上都在一个正当的频次范畴内。如果产生了攻打或者歹意刷量，则会呈现单IP一段时间内拜访频次较多的状况。因而，能够采纳频次管制类型的策略对高频拜访进行拦挡。 同样先运行工具模仿刷量，使域名的带宽显著突增。 通过自定义策略配置频次管制性能。个别频次管制次要针对IP进行拦挡。阈值的确定，能够根据网站日常拜访的IP频次，也能够通过实时日志查看拜访IP的散布状况。 ...

作为业界具备宽泛影响力的开源年度盛会，2022 第七届中国开源年会 (COSCon'22) 将于 10 月 29 日 - 30 日在线上（元宇宙+传统线上直播渠道）& 线下（10+ 线下分会场）同步拉开帷幕。 大会共设有 1 个主论坛和 16 个分论坛，蕴含人工智能、云计算、大数据、开源教育、开源文化、开源治理、开源硬件、开源操作系统、女性论坛、开源公益、开源商业、Web 利用开发以及闪电演讲等方向。同时，还有 12 个城市分会场，遍布成都、深圳、上海、北京等城市，供开源人们线下团圆、欢聚一堂。 当今国内开源势头正劲，如何用好开源软件、参加开源社区建设，在开源的大潮中乘风破浪，在业余技术畛域成为佼佼者？如果你还为以上问题纳闷，置信 COSCon'22 将会给你答案。 01 聚焦云计算、大数据、人工智能等开源技术云计算论坛 点击论坛题目可查看残缺议程内容 云计算与开源建设不同层面的基础设施，开源技术是代码层面的基础设施，云计算是资源层面的基础设施。一方云计算畛域开源技术倒退迅猛，无效推动技术创新，引领新技术门路；另一方面云计算模式无效推动开源参加企业建设商业模式，丰盛开源技术的应用模式。本次COSCon'22云计算论坛邀请多个云计算畛域开源我的项目深度参与者分享。 大数据论坛 点击论坛题目可查看残缺议程内容 大数据在数字化、数智化时代凸显了微小的价值，放眼寰球，海内外的大数据技术百花齐放百家争鸣，为宽广的开发者及爱好者出现精彩技术演绎是大数据论坛不变的主旨！本论坛次要展现大数据畛域的热门开源技术的现状与发展趋势，我的项目范畴包含且不限于海量存储引擎，计算调度引擎，SQL 执行引擎，以及数据湖剖析，湖仓一体及数据治理技术等精彩内容。 人工智能论坛 点击论坛题目可查看残缺议程内容 人工智能相干的开源我的项目介绍，包含工具、模型、算法、数据集等。 loT论坛 点击论坛题目可查看残缺议程内容 近年来，物联网出现强劲发展势头，日渐衰亡的物联网利用对嵌入式操作系统、边缘数据采集、边云数据管理、数据分析提出了许多挑战，其中也诞生了泛滥优良的开源软件系统，物联网论坛将围绕物联网相干开源我的项目的最新进展、核心技术以及用户教训分享等话题展开讨论，致力于打造成物联网利用用户和开发者们的技术盛宴。 Web 利用开发论坛 点击论坛题目可查看残缺议程内容 讲题涵盖 Web 前后端利用框架和相干技术畛域的开源我的项目。 开源操作系统论坛 点击论坛题目可查看残缺议程内容 开源曾经被写入国家十四五布局，目前国内外开源操作系统倒退迅速，操作系统开源社区建设热火朝天。本次论坛拟邀请国内外开源操作系统的开发者和爱好者独特分享与探讨开源操作系统的研制停顿、痛点痒点和将来布局，一起畅想开源操作系统的美妙今天。 开源硬件论坛 点击论坛题目可查看残缺议程内容 COSCon 开源硬件论坛作为国内少有的围绕开源硬件的专场论坛，曾经在中国开源年会间断举办到了第五年。在前四年里，先后波及了软硬同台共享大开源、多元携手共筑源生态、线上线下共议产业化等专场主题，关注了开源硬件相干的开源芯片、社区经营、创客生态、教育翻新、产业智造、守业孵化、规范组织、国内推广等议题，公布了“开源硬件大事记”、“虚谷打算”，举办了开源硬件工作坊，共有来自寰球多个国家地区的40余位讲师嘉宾进行了分享。往年，让咱们持续独特碰撞，独特期待，从RISC-V开发、FPGA开源硬件设计，开源硬件在太空摸索、艺术设计、机器人开发畛域的利用，开源硬件产品及社区的倒退等技术、生态、商业的多个细分维度深刻分享和洞见开源硬件的将来。 区块链技术论坛 点击论坛题目可查看残缺议程内容 区块链源自于开源精力，不仅从技术层面，也从社区的治理层面奠定了数字世界中松软牢靠的“信赖”的根底。由此对于互联网利用，甚至从开源登程，对传统产业在数字化的过程中暴发出更多后劲，开掘更大价值。而今区块链技术利用已延长到金融科技、政务治理、知识产权、智能制作、供应链治理、碳中和、物联网、艺术品珍藏、社会公共服务等等多个畛域。 02 更多主论坛及分论坛会议议程全公开本次年会还蕴含主论坛（M）、开源教育（E）、开源治理（G）、女性论坛（L）、开源公益（P）、开源百宝箱（T）、开源商业（V）、开源文化和闪电演讲（Z）等论坛议程，点击论坛题目可查看具体议程内容。 03五大会议亮点，等你来解锁国内首个元宇宙开源会议，沉迷式体验乏味有料火爆了一年的元宇宙，到了往年仍旧有着微小发展潜力。不论是对于疫情之下近程办公的虚拟空间线上会议，还是开源大趋势下的凋谢世界游戏市场，抑或是个行业畛域发力的数字人、Web3.0 时代到来之际的“工业元宇宙”。那么到底什么是元宇宙呢？来 COSCon'22 元宇宙会场一探到底吧！ 作为国内首个元宇宙开源会议，COSCon’22 除了将通过单干社区、媒体直播外，还把整个会场搬上了由网易瑶台提供技术支持的元宇宙会场。参会者能够自在设置本人的参会形象，在各大会场穿梭，如同置身 3D 游戏般任意摸索，还可和其余参会者线上聊天、替换名片，甚至在会场内关上摄像头实时沟通…… 大咖星散，国内前沿 VS 外乡摸索在 COSCon'22 中国开源年会主论坛上，咱们邀请了了 LF AI & Data 基金会执行董事 Dr. Ibrahim Haddad，LF AI & Data 基金会董事会主席、凋谢原子开源基金会 TOC 主席 堵俊平，Apache 软件基金会董事姜宁，Linux 基金会亚太区策略总监 Keith Chen，GitHub CEO Thomas Dohmke，VMware中国研发核心总经理任道远为大家带来国内前沿的开源思考。同时还有来自API7、Timecho、白鲸开源的开源先锋，以及来自华为、微众银行、浪潮、字节跳动等公司的开源技术大咖，中科院计算所副所长、北京开源芯片研究院首席科学家包云岗老师等与大家分享开源在外乡的当先摸索。在各个技术分论坛中，咱们更是齐聚了国内外开源先行者，与大家论道技术，大话开源。 ...