关于运维:KubeVela-成为-CNCF-沙箱项目让云端应用交付更加简单

简介:KubeVela 就是这样一个面向用户的下层平台我的项目。对于业务开发者来说,KubeVela 简略、易用,它能够让开发者以极低的心智累赘和上手老本在 Kubernetes 上定义与部署利用... 但更重要的是,对于平台团队来说,KubeVela 可不是一个简略的 PaaS 或者 Serverless,它是一个可能以 Kubernetes 原生的形式进行任意扩大的 PaaS 内核,平台工程师能够基于它构建出任意的垂直业务零碎。作者:KubeVela 社区 2021 年 6 月 22 日,在云原生计算基金会(CNCF)的 TOC 例会上投票决定通过,KubeVela 正式成为 CNCF 官网沙箱我的项目。通明、凋谢、开源中立的 KubeVela,将来将继续致力于打造对立、规范、跨云的利用治理和交付体验。 “KubeVela 就是这样一个面向用户的下层平台我的项目。对于业务开发者来说,KubeVela 简略、易用,它能够让开发者以极低的心智累赘和上手老本在 Kubernetes 上定义与部署利用... 但更重要的是,对于平台团队来说,KubeVela 可不是一个简略的 PaaS 或者 Serverless,它是一个可能以 Kubernetes 原生的形式进行任意扩大的 PaaS 内核,平台工程师能够基于它构建出任意的垂直业务零碎。” —张磊,CNCF TOC Member KubeVela 我的项目地址: \_https://github.com/oam-dev/kubevela \_ 我的项目介绍云原生技术正在以 Kubernetes 作为通用形象层,朝着跨云谋求统一的利用交付迈进。Kubernetes 尽管在底层根底构造细节形象方面表现出色,但带来了额定的复杂性。基于 Kubernetes 打造的各类 PaaS 林立却又互不相通,导致服务利用开发的平台团队,没有一个适合的框架来构建用户敌对且高度可扩大的形象。与此同时,混合云、多云、分布式云这些日益简单的业务场景中,利用交付也在逐步变得碎片化。 用 Go 语言开发的利用交付引擎 KubeVela,能帮咱们克服以上所有难题。作为 OAM(Open Application Model)在 Kubernetes 上的实现,KubeVela 我的项目从 oam-kubernetes-runtime 演进至今,发展势头十分迅猛,不仅间断登上 GitHub Go 语言趋势榜首和 HackerNews 首页,更是迅速播种了包含 MasterCard、Springer Nature、第四范式、SILOT、Upbound 等来自世界各地、不同行业的终端用户,甚至还呈现了像 Oracle Cloud、Napptive 等基于它构建的商业化产品。就在 2021 年 3 月底,KubeVela 社区发表蕴含所有稳定版 API 的 v1.0版本 公布,正式开始向企业级生产可用迈进。 ...

July 14, 2021 · 2 min · jiezi

关于运维:华为HCIA认证考试题库数量有多少HCIA备考时间多久合适

华为HCIA认证考试是华为认证考试中的一种,当初有很多的敌人都报名加入了华为HCIA认证考试,当初正在缓和的学习当中,有很多敌人在备考的时候,想理解下考试题库的状况,因为据说做题库内容的题目,对于考试的帮忙很大,很多题目都是来自题库的,那么华为HCIA认证考试题库数量有多少?HCIA备考工夫多久适合呢?上面就给敌人们具体的来阐明一下华为认证考试题库的问题。 华为HCIA认证考试题库数量有多少? 华为HCIA认证考试题库的数量其实是不惟一,它始终在实时的更新,目前最新版考试题库的数量大略在1000题左右,这一千多道题目,会有很多题目呈现在考试当中,因而大家肯定要认真的看待华为HCIA认证考试题库外面的题目。 华为HCIA认证考试多少分及格? 华为HCIA认证考试满分是1000分,及格是600分,通过难度不大,但仍须要具备相应根底阶段的技术常识。 hcia备考工夫多久适合? 其实备考hcia总体分为学习阶段和考前冲刺两个阶段。 第一阶段:HCIA学习阶段工夫 大略10天~60天左右。HCIA是十分十分根底的一个阶段,学习工夫因人而异。如果根底比拟好的考生刷一遍培训机构的教学视频,十天就曾经把握的差不多了,剩下的工夫去做做配套试验,也就入门了。如果是纯小白来说,平时工作中没有接触相干业务,除了上手较慢以外光看视频刷完之后还有很多不懂的中央,这种须要的工夫就比拟久了。然而如果三个月还没有网工入门那么倡议要么“培训”要么“转行”。 第二阶段:HCIA冲刺阶段工夫 通过了学习接下来就是冲刺阶段了,这个阶段所有的工夫都是围绕一个“华为认证题库”进行的。为什么学习了还要背题库呢,为啥不间接背题库,这不是自圆其说吗?59学习网认为,HICA的用途在于基础知识的学习积攒,是为了更高等级的学习晋升做好筹备。背题库仅仅是通过考试,拿到华为认证证书的一个极佳的跳板。 华为HCIA认证考试程序和答案程序是一样的吗? 华为HCIA认证考试的程序和答案程序当然是不一样的,题库是会随机变动的。各位考生切记肯定要记住题库和答案,切不可间接背选项。 比方拿HCIP-Cloud题库中的一题举例: 题目是:在华为云计算中,VPC的网络安全隔离性能不依赖如下哪种技术实现 ( ) 有四个选项,别离为A.硬件防火墙、B.软件防火墙、C.交换机、D.弹性IP,正确答案为D,首先要判断是单选还是多选(多选题题干会有备注,因而本题为单选题)该题的正确答案为“D.弹性IP”,因而要记住的为“弹性IP”而不是“选项D”。 华为HCIA认证考试题库数量有多少?华为HCIA认证考试题库外面有上千道的题目,大家在有闲暇工夫的时候,就能够去做下题库外面的试题,这样试题对于大家了解一些理论知识帮忙很大,同时大家在做题的时候,还须要去长于总结,不能仅仅为了做对而做题,这样能力全面的把握好常识。

July 12, 2021 · 1 min · jiezi

关于运维:使用Systemctl命令来管理系统服务

Systemctl是systemd用于管理系统和治理服务的工具。许多古代Linux发行版,如Ubuntu、Debian、Fedora、Linux Mint、OpenSuSE、Redhat都采纳systemd作为默认的init零碎。应用systemctl,能够启动、进行、从新加载、重启服务、列出服务单元、查看服务状态、启用/禁用服务、治理运行级别和电源治理。在本文中将展现如何在Linux中应用systemctl命令来治理systemd服务。 应用systemctl命令 Start/Stop/Restart/Reload 服务应用systemctl启动服务时,命令格局:systemctl start [service-name]。例如,启动firewalld服务: [root@localhost ~]# systemctl start firewalld与以前老版本的linux中的service命令相同,systemctl start命令不输入任何内容。应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务要进行服务,请应用systemctl stop [service-name]。例如,进行firewalld服务: [root@localhost ~]# systemctl stop firewalld应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务要重新启动服务,请应用systemctl restart [service-name],例如: [root@localhost ~]# systemctl restart firewalld应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务要从新加载服务的配置(例如ssh)而不重新启动它,请应用systemctl reload [service-name],例如: [root@localhost ~]# systemctl reload sshd应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务 systemctl查看服务状态为了查看服务是否正在运行,咱们能够应用systemctl status [service-name]来查看。 [root@localhost ~]# systemctl status firewalld应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务 查看服务是否设置为开机启动要在疏导时启用服务,请应用systemctl enable [service-name],例如: [root@localhost ~]# systemctl enable httpd.service Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务同样,disable时勾销疏导时启用服务: [root@localhost ~]# systemctl disable httpd.service 应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务能够应用is-enabled选项查看开机是否启动该服务,请运行: [root@localhost ~]# systemctl is-enabled httpd.service 应用Systemctl命令来管理系统服务应用Systemctl命令来管理系统服务输入的内容enabled示意开机时启动该服务,disabled示意开机时不启动该服务。 systemctl列出单元要列出所有激活的单元,应用list-units选项。 ...

July 12, 2021 · 1 min · jiezi

关于运维:云原生不仅颠覆了技术栈背后的每个岗位也在悄然发生改变

简介:随着云原生理念与云原生技术的不断完善和倒退,越来越多的行业开始落地实际云原生技术,这对不同岗位的技术从业者产生了不同水平的影响。不论是对 IT 主管还是对一线开发人员和运维人员来说,从业务逻辑到技术选型,整个技术栈都产生了翻天覆地的变动。为了更好地迎接云原生时代的到来,大家有必要深刻理解云原生落地实际对不同岗位的影响。随着云原生理念与云原生技术的不断完善和倒退,越来越多的行业开始落地实际云原生技术,这对不同岗位的技术从业者产生了不同水平的影响。不论是对 IT 主管还是对一线开发人员和运维人员来说,从业务逻辑到技术选型,整个技术栈都产生了翻天覆地的变动。为了更好地迎接云原生时代的到来,大家有必要深刻理解云原生落地实际对不同岗位的影响。 CXO 和 IT 主管 很多企业对技术类 CXO(包含 CTO、CIO、CISO、CDO等,本文均称为 CXO)和技术主管这些技术领导者的能力要求是全面而严苛的,技术领导者不仅要可能兼顾技术治理的各个方面,还要以维持公司业务为外围职责。因而,CXO 和 IT 技术主管既要领有广阔的技术视线、杰出的技术判断力甚至高层架构设计能力,还要具备良好的产品意识,以应答一直变动的内外部环境。 外部环境 作为企业的 CXO 和 IT / 研发主管,这些高层角色首先必须意识到:云原生是云计算倒退的必然趋势,云原生重塑了企业数字化转型的根底技术平台,云原生架构是构建现代化企业应用的根底技术架构。无论是对于互联网利用、企业交易类利用、大数据利用,还是对于人工智能类型的负载等来说,云原生架构都十分重要。 其次,对于技术管理者特地关注的问题,比方开源凋谢、国产化等,CXO 和 IT 主管须要看到,大多数云原生相干技术和规范来源于各支流开源基金会的我的项目,这些技术和规范形成了开源凋谢的技术体系。各大云供应商推出的云原生服务也都兼容了相应的技术和规范。开源的云原生技术和产品十分合乎企业客户“无厂商锁定”的诉求,当更换云服务提供商(Cloud Service Provider,CSP)或独立软件提供(Independent Software Vendor,ISV)时,企业不必放心会呈现技术上无奈切换或者迁徙老本太高的问题。国产化日益成为国家和企业的刚需。企业须要抉择合乎国产化规范的云原生产品,包含云原生产品的自主可控能力、奉献的源代码(通常体现在运维、API、组件扩大等方面)、国产化服务器反对等。同时,像中国信息通信研究院、中国电子技术标准化研究院等单位也为企业提供了相干评测,以帮忙企业抉择合乎国产化规范的商业化产品。 外部环境 在企业外部,CXO 和 IT 主管必须联合企业理论状况,利用云原生技术推动企业的技术升级,并实现技术和业务价值。 首先,在策略和组织层面,利用 ACNA(Alibaba Cloud Native Archite-cting)架构设计办法评估和制订企业的云原生策略和施行门路,并使之成为企业整体策略的一部分,以帮忙和减速企业的数字化转型。此外,云原生策略与企业中台策略一样,不仅是对技术的一次全面降级,也是对企业 IT 组织构造、组织文化的降级。现在越来越多的企业曾经意识到了这一点,以阿里巴巴为例,其不仅早在 10 年前就启动了云原生相干技术和产品的研发,2020 年云栖大会期间对于成立“阿里巴巴云原生技术委员会”的音讯,更是让外界看到团体推动阿里巴巴与蚂蚁团体全面云原生化的信心。 其次,因为云原生技术是对企业应用开发方式的全方位重构,CXO 和 IT 主管须要思考如何利用容器、微服务、Serverless、Service Mesh 等技术重写利用,利用 DevOps 重塑企业的研发和运维流程,利用 GitOps、IaC 和申明式架构从新定义企业的流水线和运维形式,利用可观测性和 SLA(Service-Level Agreement,服务等级协定)降级原来的监控零碎,利用云原生的以身份为核心的平安体系保障企业平安。 所有的技术升级的目标都是为了给企业带来理论价值,因而 CXO 和 IT 主管利用云原生进行技术升级时,须要关注以下几点。 ...

July 12, 2021 · 2 min · jiezi

关于运维:SE555-A4-GPS-Position讲解

SE-555 A4: GPS Position ObserverIn this assignment, you will implement the Observer pattern in a multi-threadedapplication that receives notifications of position updates from a (simulated) GPSdevice.Assignment OverviewWhen you start your application, it should prompt the user for the name of a filecontaining GPS data (see the Resources section below for sample files). After theprompt, your application must create some Observers that attach to the GPSdata server - the Subject. The specific function of the Observers - and the formatof the data they display - will be specified by your instructor. In any case, whenthe Observers attach to the GPS data server, they change their displayswhenever the Subject performs an update().In the observers illustrated above, the latitude/longitude and elevationObservers are capable of subscribing and de-subscribing from the Subject viathe button UI. The plotter Observer attaches to the Subject on startup in thisexample, but you may add the ability to subscribe and de-subscribe if you wish.Assignment DetailsThe following class diagram illustrates the classes and interfaces that implementthis application. Consider it as a general guideline for the structure of theapplication. You may depart from it in the details of the implementation of theconcrete observer classes and GPSCoordinate class, but you must define andimplement the Subject and Observer interfaces shown. If you feel youneed to make major changes to this design, consult your instructor first.As a Subject, your implementation of GPSServer must be capable of acceptingsubscriptions from multiple Observers.The following sequence diagram illustrates the GPSClient creating a GPSServer(the Subject) and three Observers: ElevationObserver, PositionObserver, andPositionPlotter. After creating GPSServer, the GPSClient starts the GPServer.Internally, the GPSServer starts a secondary thread that periodically generatesGPS data (simulated by reading it from a specified file). At the beginning, thePositionPlotter observer immediately subscribes to the GPSServer. At some laterpoint, the user of the GPSClient application directs (via GUI interaction) theElevationObserver and PositionObserver to subscribe (attach) to the GPSServer.Subsequent GPS data that is generated is propagated back to all subscribedObservers when the GPSServer internally calls notifyObservers(), which in turniterates through the collection of Observers, calling each Observers's update()method (on the secondary thread). In response, each Observer updates it'scurrent specific display of GPS data. Because UI updates cannot be invokedon any thread except the UI thread, the Observers have to use theSwingUtilities.invokeLater() method to invoke Swing methods.You may also want to browse through the javadoc (javadoc.zip click onindex.html) corresponding to the methods in the classes above.Files and resourcesThe GPS data files and GPSCoordinate.java can be downloaded from canvas (A4folder).To read data from the file, you might want to use some of the following code:doubleReader = new Scanner(gpsFile);// one or more occurrences of commas, semicolons or whitespacedoubleReader.useDelimiter("[,;\s]+");while( doubleReader.hasNextDouble() ) {// read each doublerecordNo++;Thread.sleep( DELAY ); //simulate delays between generation of coordinatesdouble longitude = doubleReader.nextDouble();double latitude = doubleReader.nextDouble();double elev = doubleReader.nextDouble();GPSCoordinate c = new GPSCoordinate(longitude, latitude, elev );System.out.printf("%4d Lat: %10.6f, Long: %10.6f, El: %8.3f\n", recordNo, latitude,longitude, elev );}Submission (DUE Thursday 5 pm)(Note that you do NOT need to actually plot the positions --- a simpleprint message with coordinates values is enough)In addition to code, you are also required to create (using Enterprise Architect),a reverse-engineered UML Class diagram of your individual solution. Save theclass diagram in a .pdf file and include it in your submission along with your.java files.When submitting your work, submit one zip folder per group containing ONLY:the “src” folder of your eclipse project, and the .pdf file on your reverseengineeredUML class diagram.WX:codehelp ...

July 12, 2021 · 3 min · jiezi

关于运维:面试现场遇到不会回答的问题如何力挽狂澜

前言明天给大家讲讲面试过程当中最长遇到的困境,也是最能体现一个候选人临场应变能力的中央,那就是当咱们在面试的过程当中,遇到的问题答复不上来的时候,该怎么办。 误区在开始解说之前,先纠正一个误区,那就是对于一场面试而言,最初的后果好坏并不齐全取决于面试当中的问题是否都答复了上来。 能不能录取和是否答复出所有问题并没有间接的分割。 换句话说,我本人经验过的,无论是面试也好,还是面他人也罢,问题没答上来通过的,都答上来没通过的状况太多太多了。 所以看待面试当中答复问题这件事件,能够略微放平常心一点,不要过于以答复问题为导向。因为很有可能, 你像是背书一样答复出问题之后,面试官反而扣分更多。 好了,上面我将从具体操作的角度讲讲该怎么做 一.放弃沉着,收集信息这是第一条,也是最重要的一条。 在面试的时候不免缓和,如果面试官的发问一下子毫无脉络,必定会更加缓和。所以最重要的是放弃沉着,千万不能自乱阵脚。 当然,只沉着是不够的。冷静下来之后,有一件事肯定要做,那就是再剖析一下面试官的问题,看看有没有了解错,有没有什么信息缺失 除了确认题意之外,其实咱们还能够通过询问收集一些信息。如果是算法题的话,能够试着问一下数据的范畴和工夫的限度。 数据范畴和工夫限度有了,基本上就能够确定算法的复杂度了,复杂度确定了能够大大放大算法的范畴,解决问题就容易多了。 二.杜绝缄默,适当表白这也是很重要的一点,很多人在面试的时候不把问题齐全想进去,或者是不想到最优解就不肯罢休。 我本人之前有段时间也这样,有时候能想到解法,然而本人感觉不是最优解,我就会始终想,始终到想进去才跟面试官说。 起初当我本人成了面试官之后,我发现这种做法十分不可取。 因为你不谈话面试官并不能晓得你的状态,他不晓得你是齐全没有思路,还是说曾经有了想法,还是曾经有了一个近似的解法。他得不到反馈,他就不能对你的能力和价值进行评估,所以直到最初一刻才闭口的做法是不可取的。 你要把面试当做一次探讨和沟通,即便一时没齐全给出答案,也能够和面试官探讨,论述你不成熟的想法、思路以及困惑。 很多时候面试官的问题只是为了考查你具体的某个点,只有你答到了,哪怕题目没有齐全解开也没有关系。 有时候,你的想法可能面试官也没有料到,他会和你一起探讨,探讨的过程当中,也一样可能体现你的价值。 所以不要悭吝闭口,怯懦地表白你的想法,哪怕思路不成熟,哪怕只是隐约晓得怎么做,也能够试着和面试官分享。 三.回避问题,展现本人如果面试官问的并不是一个问题或者算法的解决思路,而是一个具体的问题,而这个问题你又刚好不晓得,那该怎么办呢? 这种状况确实比拟辣手,因为你既不晓得答案,也没有方法聊聊思路、拐弯抹脚。在这个时候,就须要你用一点技巧,回避这个问题了。 首先,你须要先把本人晓得的说进去,不晓得的或者比拟含糊的最好别说。 因为技术畛域的概念比拟多,很多名称比拟近似,但背道而驰,所以强行作答很有可能呈现驴唇不对马嘴的事件,这是面试的大忌。 晓得多少说多少,可是万一切实不晓得或者想不起来了,怎么办呢? 想不起来,就是想不起来,千万不要扯谎。然而不扯谎并不意味着没有盘旋的余地。你能够说,这个技术平时用的不多,咱们某某畛域,我对XX技术比拟熟,不然我给你讲讲吧。 不要小看了这一小段话,咱们仔细分析一下,这一句话当中蕴含了很多内容。 首先,你诚恳地告知了面试官,这个问题可能答不上来。而后你通知了面试官,尽管问题答不上来,然而你晓得这个技术或者这个问题是什么方向的。 最初你给了一个解决方案,尽管我不晓得A,然而我晓得近似的B,也能起到近似的成果。 只有这里的A和你提供的B没有太大的出入,一般来说都没有问题。如果切实连近似的答案也没有,那么只能强行讲一些本人善于的方向了。 比方问你数据库,你切实没用过,强行说本人对JVM很相熟,也不是不能够。至多要比一句我不晓得要好得多 四.坚固本身那如何能力让咱们在面试中对答如流呢? 答案当然是平时在工作或者学习中多晋升本身实力的啦,那如何能力正确的学习,有方向的学习呢?有没有收费材料能够借鉴。为此我整顿了些学习材料路线: 起源:blog.csdn.net/beibei_programme/article/details/94737215

July 10, 2021 · 1 min · jiezi

关于运维:七牛云智能运维新品发布何以成为行业颠覆性创新

2021年7月9日,国内当先的企业级云服务商七牛云在上海举办新品发布会,公布其智能运维产品PISA。 PISA,即Pandora Intelligent Service Analysis,是基于七牛云的机器数据分析平台Pandora开发的智能服务剖析工具。七牛云将PISA定义为Pandora上的全新利用,可见其对行业及七牛云自身的意义非同小可。 Pandora是七牛云推出的云原生的机器数据分析平台,通过平台和AI算法能力独特提供摸索数据价值的外围能力,PISA是这个外围能力在智能运维畛域的落地利用。通过PISA,Pandora的能力被充沛地利用并凋谢给开发者,使得运维开发人员可能更加简略间接地依据本身业务场景灵便应用Pandora各项能力。 剖析能力的凋谢是如何实现的?从架构上来说,PISA分为底、中、上三层。底层以Pandora 外围计算引擎为根底,输入弱小、稳固、高性能、低成本的计算能力。中层依附Pandora 开放平台,为开发者提供丰盛、凋谢、易用的撑持性能。下层是应用层,依靠七牛云丰盛的AIOps 教训落地智能运维服务的利用,帮忙最终用户灵便应答不同业务和IT运维剖析场景。 更智能的智能运维既然通过PISA能够让Pandora的能力得以输入,那么咱们就不得不说说PISA和Pandora联合对企业理论场景中的运维可能产生哪些帮忙。 以一个理论场景——客户电话反馈银行代缴水电费呈现问题为例,传统的解决形式往往是,客服提交工单给IT进行运维排查,运维排查问题并通过客服向客户反馈后果。然而此时,故障曾经产生,客户体验难以挽回。在PISA和Pandora的帮忙下,整个银行的运维零碎能够产生根本性的转变。 首先,将预先解决变为事先发现。仍以上述案例为例,在客户致电之前,银行的IT部门就可能收到代缴费服务可能呈现问题的告警。随后,相比于传统逐层、逐块排查的运维排查形式,PISA可能通过业务交易衰弱服务分析器迅速发现问题并修复故障。 PISA为理论运维业务流程带来的根本性扭转,来自于七牛云思考形式的不同。 1、买通业务和运维,预先解决转变为事先发现在理论场景中,业务和运维往往是两个割裂的部门。因为职业要求,业务部门个别不在意零碎的底层是如何实现的,他们更器重交付。同时,两个部门个别很少交换,只有在呈现故障或者业务想要争取IT资源时,才会凑在一起解决问题。 这就导致运维始终是公司的老本核心,是花钱的中央,从盈利的角度来说,天然是越花小钱办小事越好,但这也导致出问题的可能性进步。但如果让运维可能提前发现可能产生的问题,为公司缩小亏损,将老本核心转变为利润核心,就是更优的经营逻辑。 七牛云认为,业务和运维要买通,这样运维能力提前预知危险,业务也能力更稳固、更平安地发展。 2、买通运维和运维,只有数据互通能力更快地修复故障IT零碎的每一个环节都可能有故障产生,然而现有的监控、运维零碎往往只能关注到某一个层面,比方SkyWalking监控应用层,ZABBIX监控服务层。因而,要逐个排查十分费时费事。 并且,当企业的运维部门细分到利用运维、主机零碎、网络、DBA等多条责任线时,因为数据不互通,排查更是艰难。就如同破案时各部门无奈将线索共享,势必会耽搁停顿。 因而,七牛云最底层的思考在于,数据肯定要汇聚。七牛云成立于2011年,十年间,公司最重要的资产要数其建设了对立的异构数据湖,这也是Pandora得以施展拳脚的根底。 异构数据湖正施展价值从公司整体来看,七牛云的主营业务包含Media PaaS与Data PaaS等,所有数据会汇聚到脱胎于汇合结构化、非结构化、半结构化数据的异构数据湖中。 Pandora是机器数据分析平台,负责剖析任何机器或者零碎所产生的数据,比方服务器、传感器、各种利用、网络设备等产生的数据。 Pandora有三大劣势。首先,Pandora可能实现计算与存储的齐全解耦,资源应需而变。 第二,Pandora原生反对schema on read的能力。反对采集时、索引时、搜寻时三种解析形式。搜寻时解析带来了极其简便的数据接入体验。 同时,Pandora应用SPL语言进行数据分析(SPL,机器数据分析的规范语言,SPL=SQL+Unix Pipeline)。SPL语言具备对立检索、剖析、可视化和告警等需要的能力,反对对原始数据间接进行解决,且专为时序数据优化。 Pandora的三大劣势完满地解决了简单数据的高效智能剖析问题,也与PISA联合,为智能运维的颠覆性翻新带来了答案。上文所说的被动发现、数据买通,其实就是异构数据的累积与异构数据的剖析能力相结合的后果。 工业互联网时代,智能运维暴发新火花2020年8月24日,在寰球因疫情影响全面线上办公的时候,Zoom停服3小时。在对用户带来不便的同时,也使其方兴未艾的势头蒙受质疑。对于互联网和科技公司来说,服务的稳定性意味着业务自身,其重要性显而易见。 现在,除互联网自身外,IT技术及智能技术走进了深水区。在工业及制造业,运维正施展着前所未有的效劳。预测性保护、故障预诊、近程智能运维、工业数据分析……,这些绝对成熟的性能曾经在工厂、电力系统、轨道零碎等畛域先后利用。 在这些行业,各种机器及零碎时刻都在产生数据,「有数据,缺算法」是行业常态。因而,如何采集及剖析机器数据,是七牛云等公司制胜智能运维的要害。从这个角度看,今日公布的PISA与Pandora联合,堪称是七牛云搅动行业浪花的一个行动。

July 9, 2021 · 1 min · jiezi

关于运维:阿里云acp认证有什么用-阿里云acp认证考试报名方法介绍

以后在知识经济的大环境下,有越来越多的人利用业余时间加入培训、考取各种各样的资格证书,这不仅进步本人的综合素质,对于本身的职业倒退有莫大帮忙。近些年在信息技术畛域,云计算云服务相干的技术培训和资格认证十分热门,阿里云acp认证是其中之一,很多年轻人都在踊跃加入。那么阿里云acp认证有用吗?明天就为大家做具体论述,并分享认证考试的报名办法。 阿里云acp认证有什么用 先来理解下阿里云acp认证:即阿里云云计算业余认证,是面向应用阿里云云计算产品的架构、开发、运维类人员的业余技术认证,次要波及阿里云的计算、存储、网络、安全类的外围产品。如果您须要取得该技术认证,须要报名认证考试、加入并通过考试,即可取得阿里云为您提供的acp认证证书。 那么这个阿里云acp认证到底有没有用呢?含金量又有多少呢?取得这个ACP证书能不能晋升咱们的职场竞争力呢? 咱们要从阿里云自身的市场能力来看问题,中国云计算市场,阿里云目前是第一位,比排前面5名同行市场占有率的总和还要多,寰球云计算市场,阿里云目前排名第3位,仅次于亚马逊和微软,曾经超过了谷歌云。阿里云的市场占有率可能阐明市场对于阿里云产品解决方案的需要有多大。认证大使认为,当你取得了阿里云ACP认证后,示意你曾经把握了阿里云的大部分产品常识,诸如ECS、SLB、OSS、RDS、ESS等常识,许多应用阿里云产品的企业和公司,将须要你这样的专业人士,去帮他们解决云计算方面的问题,比方日常运维、防黑、优化等工作。所以说阿里云ACP认证还是很有含金量的,它将让你退职场领有了很大的竞争力,找工作也容易很多。 !阿里云acp认证有用吗 阿里云acp认证所需具备的常识 1、相熟阿里云云计算相干产品的基本概念,包含云服务器ECS、负载平衡SLB、弹性伸缩(Auto Scaling)、对象存储OSS、内容散发网络CDN、专有网络VPC、云盾和云监控。 2、理解阿里云云计算相干产品的次要利用场景及组合应用的利用场景。 3、把握阿里云云计算的相干产品的基本操作,包含开明、创立、配置、启停、删除等。 4、理解阿里云云计算的相干产品的特点和根本的产品实现原理。 5、可能发现并解决阿里云云计算的相干产品应用中呈现的常见问题。 6、理解云计算畛域的根底概念及相干的常识,如虚拟化、存储、网络等。 7、具备典型的Web利用架构相干的常识,包含Web服务器、应用服务器、负载平衡和数据库等。 8、具备内容散发网络CDN相干的应用和实践经验。 9、相熟常见的网络协议,如HTTP、FTP、TCP、UDP、ICMP等。 10、具备网络相干的理论教训,包含路由、替换、路由表,NAT、DNS等。 11、相熟软件开发的生命周期。 12、具备网络安全方面的基础知识,如防火墙策略、密钥加密、访问控制、网络安全、网络攻击及防护等。 阿里云acp认证考试报名办法 1、报名:目前阿里云ACP认证报名费是1200元,报名是在阿里云大学报名的,当然也能够通过认证大使这样的培训机构报名,大家在购买的时候看好业余方向,不要选错类型,购买对应的考试码 。 2、购买胜利后,应用取得的考试码,进入阿里云大学认证频道,依据本人理论状况抉择考场地点和场次 ,输出考试码报名 加入线下考试。考试时不要遗记身份证或其余有效证件,准时入场考试。 3、考试:试卷的满分是100分,80分就能够通过 具体考试的知识点,具体能够看下图(截取至阿里云官网阐明,后续变动以官网为准)。考试完结就能够查看问题和支付证书,有效期2年。 阿里云acp认证有用吗 注意事项: 1、考试时不提供电脑的,须要自带且保障电脑摄像头可用。 2、材料填写须要上传身份证反正面清晰照片,需当时筹备好,到考场在筹备就太浪费时间了。 3、考试的时候肯定把其余无关软件敞开,弹窗5次 零碎会断定舞弊 ,强制交卷,另外留神作答工夫,不要超时。 对于阿里云acp认证有用吗?上述短文曾经给出了明确的答案,作为当初煊赫一时的资格证书,它是进入云服务云计算畛域的“敲门砖”,也是实现自我价值晋升的无效手伎俩

July 9, 2021 · 1 min · jiezi

关于运维:华为hcie题库题目是怎样的华为hcie面试知识点有哪些

以后筹备加入华为hcie认证考试的敌人十分多,大家在考试之前,须要先进行报名,还须要理解一下对于考试的相干内容,比方华为hcie认证考试除了口试之外,还有试验考试和面试,对于这三种类型的考试,大家都须要去认真的理解一下啊,以做到成竹在胸,同时在同时之前,还须要做下题库外面的试题,那么华为hcie题库题目是怎么的?华为hcie面试知识点有哪些呢?上面就来说说。 华为hcie题库的试题是怎么的? 1、在 FusionSphere OpenStack 对接 KVM 的环境中,创立虚拟机时,()将通过一系列算法计算出适宜建设虚拟机的节点,并告诉()实现虚拟机的创立。 A.Nova-Conductor,Libvirt B.Nova-scheduler,Nova-Compute C.Nova-Compute,Nova-Conductor D.Libvirt,Nova-Compute Answer:B 2、在 FusionSphere 公有云解决方案中,对于虚拟机疾速发放的原理,以下哪些形容是不正确的?(多选) A. 发放虚拟机时,无需在存储中独自创立新的零碎卷并全量拷贝镜像内容至其中 B. 发放虚拟机时,零碎只须要疾速创立一个轻量的子卷,加上已有的母卷就组成了虚拟机的残缺零碎卷 C. 虚拟机在应用过程中,所有对系统卷的批改都写入子卷 D. 虚拟机对外出现的零碎卷 ID 为其所应用的母卷的 ID Answer:AD 3、FusionStorageBlock 告警提醒:“VBS 加载元数据失败”,以下哪些是可能的起因?(多选) A.OSD 过程异样 B.MDC 过程异样 C.主 VBS 过程与 OSD 过程通信异样 D.主 VBS 外部谬误 Answer:ACD 4、对于 FusionSphere OpenStack 各模块性能的形容,以下哪项是不正确的? A. CPS :提供云数据中心 PXE 形式装置主机 OS 性能 B. Backup :提供治理数据备份和复原性能,反对定时主动备份治理数据 C. HealthCheck :提供了健康检查及相干信息收集性能 D. LOG :提供了日志治理性能,反对日志级别设置和日志转储 Answer:A 5、FusionCompute 应用 IP SAN 存储,创立磁盘时概率性失败,以下哪项可能引起此故障? ...

July 9, 2021 · 1 min · jiezi

关于运维:阿里云认证考试报名方法-阿里云认证考试真题解析

云计算云服务属于高新技术畛域的一种重要方向,国内各大互联网公司都投入大量人力和物力参加其建设,因而它也为从业者提供了良好的发展前途以及丰富的物质报酬。然而须要指出的是,该畛域有较高门槛,考取资格证书是第一步,目前国内支流的有阿里云认证、腾讯云认证和华为云认证,明天就介绍阿里云认证报名办法和须知,并分享认证考试真题以及解析。 阿里云认证考试报名办法 1、购买ACP认证 阿里云大学官网认证考试页面中关上对应要加入的阿里云ACP认证考试,首页即是购买认证产品页面。 2、报名考试; 在页面中点击第二步报名考试,即可看到凋谢的考试城市和工夫,可自行抉择,而后点击报名,填写对应信息和受权码进行报名,报名页面如下图: 3、现场考试; 在指定的工夫去到指定的考场参加考试,应用报名考试的用户名登录官网,关上现场考试页面,期待倒计时进入考试。 4、支付电子证书; 考试交卷后页面有提醒查问问题工夫,在指定工夫查看问题,考试通过后即可支付证书。认证大使揭示大家,个别状况两天后就可查到考试成绩。 阿里云报名须知 1、用户在实现考试服务的购买后,需在阿里云大学考试平台自行实现报名(须要您提供参加考试时所携带的有效证件上的姓名、身份证及其余报考相干信息)。预约考试胜利后,您的邮箱和手机会收到确认信,蕴含考试工夫、地点、科目等要害信息,请您务必放弃手机和邮箱可用性,避免因为未收到信息以致的考试失败等问题。 2、曾经注册的考试可能改期或勾销,但必须比预约工夫至多提前3个工做日,客户可在阿里云大学用户核心自行勾销,考试核心不作代操做。3个工做日内不可单方面终止或更改该服务应用日期,因阿里云未能在规定工夫内按要求交付该服务除外。用户需提前30分钟到达预约考场。 3、本商品在未应用情况下,反对5天内无理由退款。客户需在规定工夫内发送邮件至mailto:training@service.aliyun.com申请退款(需提供退款原因、订单号、阿里云帐号)。超出规定工夫或曾经应用报名的订单,不予以退款解决。具体工夫范畴以客户实现领取订单工夫至首次反馈工夫为准。 4、客户承诺在应用该考试服务时,需提供真实有效身份信息,并准时参加考试。 5、客户需承诺诚信考试,如考试中发现做弊或其余不合乎考场规定的事项产生,阿里云有权勾销考生考试成绩,并做出相应的处罚。 6、用户须在指定平台上与我司进行平时沟通,若是平台权限遗失或泄露,需当即告诉我司。 7、用户在考试完结后,可通过阿里云大学官网查问考试后果。 8、考试报名胜利后,建议您提前加入阿里云认证考试的设施测试,以保障您在正式考试时可能顺利进入零碎。设施测试全程预计须要10分钟,流程与正式考试基本一致,请应用您行将用于正式考试的笔记本电脑参加设施测试。本设施测试考试分数与正式考试分数无关,请您释怀做答。 阿里云认证考试真题解析 [单选]4. 阿里云的云盾具备不同级别的防DDoS攻打产品,当有DDoS攻打的状况下,业务可用性须要放弃在99.9%以上时,最适宜应用的产品是:___________。 A. DDoS根底防护 B. 平安要害 C. 态势感知 D. DDoS高防IP 解析:DDoS根底防护阀值只有5GB,无奈保障业务须要放弃在99.9%以上,所以还须要高防IP。 Key:D 阿里云认证 [单选]5. 新建阿里云的专有网络VPC时,会主动创立一个路由器,路由器自带一个路由表,路由表的操作中说法谬误的是_______。 A. 删除VPC时,零碎会主动删除对应的路由表 B. 不反对创立和删除路由表 C. 每个路由器能够有多个路由表 D. 路由表的路由条目会影响到VPC中的所有云产品实例 解析:路由器是专有网络的枢纽。作为专有网络中重要的性能组件,他能够连贯VPC内的各个交换机,共事也是连贯VPC和其余网络的网关设施。每个专有网络创立胜利后,零碎会主动创立一个路由器。每个路由器关联一张路由表。 Key:C【题意是问的零碎路由表】。零碎路由表只能有一个。 以上短文为大家简略介绍了阿里云认证的一些相干内容。以后阿里云认证在国内同类中最具认可度,考取资格证从事该行业,是相干业余技术人员求得倒退和高薪的“快车道”。

July 8, 2021 · 1 min · jiezi

关于运维:华为hcie面试难题库会更新吗华为hcie面试注意事项

华为hcie面试是华为hcie认证考试中的一个槛,很多敌人在提到华为hcie面试的时候,都纷纷感觉很难通过,其实华为hcie面试并没有大家设想中的那么艰难, 大家只有充沛的做好了面试的各种筹备,通过华为hcie面试的几率还是很大的。当初有很多敌人在找华为hcie面试难题库,那么华为hcie面试难题库会更新吗?华为hcie面试注意事项是怎么的呢?上面就给敌人们具体的来剖析一下对于面试的问题。 华为hcie面试难题库会更新吗? 互联网技术更新迭代很快,根底的货色仍然须要把握的状况下,网络工程师们也须要把握更多新常识,因而华为hcie面试难题库在大部分题目都是稳固的根底上,会时不时的更新,对于想要考HCIE的敌人们来说,要想通过HCIE的口试,题库的练习很重要,当然,还要保障练习的华为认证HCIE口试题库是最新的。 华为hcie面试难题库有哪些扭转,哪些题目呢?其实不同的方向所考的题目必定都是不一样的。比方HCIE路由与替换方向的口试题目次要的就是针对这个方向的常识侧重点来设置的:CIR、BC和TC之间有什么关系?现有一台运行OSPF的路由器连贯到区域0和区域1,你将区域1配置成了Stub区域,只在区域1 外部操作的LSA蕴含哪几类?上面哪些可靠性设计是对于路由器的?等等的这些问题,都指向路由与替换方向。 华为hcie面试注意事项? 面试所考查的能力是比拟综合的,除了对知识点的把握之外,还有随机应变能力、表达能力等等,难度也是这三个考试中最高的。HCIE Security认证考试通过率其实是不高的,能取得该认证的人数也不多,尽管它的通过率不高,然而大家也不必过多泄气,影响HCIE认证考试通过率的因素有很多,通过率不高,也不意味着你就不能通过。 倡议大家有条件尽量加入相干的培训。尽管说整体HCIE Security认证考试通过率不高,然而加入培训,机会还是有了,这次要是因为培训机构有教训,有条件,你可能一直的进行练习,而且针对最难的面试环节,培训机构还会进行屡次的模仿面试,让学员习惯面试的节奏,锤炼学员的表达能力等等。 把握华为云计算面试知识点 除了把握须要把握的内容之外,就是去好好把这些知识点学会,化为己用了。面试过程中,离不开扎实的“基本功”,只有把这些要考到的常识都了解透彻了,当考官问起问题时,咱们能力对答如流。另外要特地留神一些细节的局部,因为很小的知识点也可能会成为考官们发问的切入点。 此外,在HCIE的面试过程中,还可能会呈现一个对于试验考试环节的问题,所以如果你之前考试验的时候是透彻了解了的,那么这个问题答复起来也就比拟轻松了。总结来说,最根本的就是要了解并把握知识点,不能考死记硬背,面对着面试官,要想蒙混过关那是不太可能的。 逻辑思维与应变能力 除了把握知识点之外,答题过程中的逻辑思维与应变能力也是十分要害的。如果是语无伦次,可能会大大的减分,有条理的答复考官的问题很重要,此外有逻辑思维还不够,你还要良好的表达能力把你脑子里的货色表白给考官听。应变能力方面,能够让考官看到你出彩的中央,对于这点,在实际工作中也是十分重要的,因为工作过程必定是会遇到许多突发状况,这时候就须要你有足够的应变能力以及清晰的思维逻辑来解决。 要有良好的心态 很多人害怕HCIE的面试,最大的起因就是怕会缓和。在这种特定的场合里,缓和是在劫难逃的。因而要调整好本人的心态,抗住压力,当然,如果你还是胆怯本人面试时候会很缓和,最好的方法就是多加入模仿面试,一直的尝试就会习惯,这对面试过程的缓和情绪很有帮忙。 华为云计算工程师面试教训就分享这些,总得来说,只有你跟着老师的节奏,筹备的足够充沛,把握云计算该把握的知识点,多加入几次培训机构组织的模仿面试,失常施展,个别都能拿到现实的问题。 华为hcie面试难题库会更新吗?华为hcie面试难题库个别都会及时的更新的,而且外面的内容也会发生变化,大家在下载华为hcie面试难题库的时候,肯定要下载最新的华为hcie面试难题库,只有这样能力符合考试的内容。另外,大家在加入华为hcie面试的时候,千万不要缓和,要对本人充满信心。

July 8, 2021 · 1 min · jiezi

关于运维:流利说统一可观察性平台实践

简介: 流畅说利用日志服务SLS构建对立可察看性平台最佳实际 在线教育行业现状 随着 90 年代互联网的引入,在线教育产品也依靠于互联网诞生。随着互联网技术的倒退,在线教育产品也开 始了呈现新的模式。在线教育从最后单纯的文字模式,开始往图片、音频方面开始倒退。 教育在线化也进一步促成了数据化的倒退,内容作为教育企业的外围资产,无论是数据化水平还是数据化规模都在一直晋升。同时用户应用时长的晋升,又为教育 AI 提供了大量源数据。据统计往年 3 月份在线教育用户日均在线 时长,超过 200 万天。如此海量的数据为行业的智能化倒退提供了良好的土壤,推动了教学内容、课程营销、师资 治理、品质评估等智能剖析的倒退。 流畅说公司介绍 流畅说是世界领先的科技驱动的教育公司,作为智能教育的倡行者,流畅说领有一支业内当先的人工智能团队,通过多年积攒,流畅说已领有巨型的“中国人英语语音数据库”,累积实现记录大概 37 亿分钟的对话和 504 亿句录音。 2013年流畅说推出了第一款产品“英语流畅说”,集成了语音辨认、打分和自适应学习等多种核心技术。具备上下文情景对话、发音领导课程等丰盛内容,并提供人工智能英语老师和游戏化的学习体验,为用户在英语学习中取得更多乐趣。这款乏味又无效的产品很快就霸占了过后的市场并取得了用户的高度认可。 但业务疾速倒退,用户数大幅度增长,平台的用户数量已从当初的百万级,增长至过亿,因而业务的高下峰期数据流量变动、业务复杂度和剖析难度都给给 IT 架构带来了微小的挑战。 流畅说对立监控平台的相干挑战 作为一个没有独自运维部门的公司,根底平台的对立监控平台次要由cloud-infra团队的研发来实现,而团队的外围诉求也不仅仅是SLA、性能的监控、告警和提供问题定位的相干数据,还包含cloud-infra的技术价值经营,例如利用率、老本节约、业务关系网络等。在这些外围诉求下,对于对立监控平台会具高的要求: 1.采集、监控各种异构数据源,包含K8s、ECS上的机器指标、利用率、Istio相干的调用日志、自建中间件相干指标、云服务提供的指标、业务的Trace数据等,此外还要包含各类老本数据的实时采集。 2.各类资源的动静发现与动静采集,包含组织关系等部门相干的数据也须要实时更新,以便可能实时反馈出最精确的相干指标和归属关系。 3.大规模的数据存储与剖析,因为流畅说的业务规模大,应用的各类云资源以及业务产生的数据量十分微小,每天在数十TB,计划须要满足在此规模上的实时剖析和展示的能力。 4.监控平台负责的是稳定性问题,自身的稳定性也须要做好,因而须要打消各个局部的单点问题,并且具备异样疾速复原的能力。 技术选型 对立监控平台不仅仅是时序相干的数据,其中十分外围的业务可用性数据须要通过各类日志进行计算和剖析,因而整体上须要抉择Logs和Metrics两种数据计划。对于这两类数据都别离有不同的社区计划或商业计划,例如ES、Loki、SLS、Prometheus、OpenTSDB、InfluxDB等。最终日志计划抉择了阿里云SLS,时序计划抉择了Prometheus+SLS,次要的起因如下: 1.SLS具备各类数据对立存储、剖析的能力,可能在SLS下来关联到Metrics、Logs数据,这是其余平台所不具备的 2.SLS平台可能适应十分大的数据规模,相比ES来说性能要好很多,也是免运维的服务,省去了本人保护ES高牢靠的问题 3.时序计划以Prometheus为主,Prometheus的生态十分欠缺,而且PromQL应用起来也简介。SLS的时序库能够作为Prometheus的远端高牢靠存储,可能解决Prometheus的可靠性问题 4.SLS的计划中有数据加工的性能,能够和内部的数据源去做Join剖析和加工,可能更好的来解决各种简单的日志,把日志加上catalog相干的信息 整体架构 以后流畅说对立监控平台的架构如上图所示: 1.为了可能实现自动化,咱们开发了一套实用于云上场景的IaaS、PaaS资源动静发现的机制,可能实时将新购买、创立的资源退出到监控、采集中,防止大部分的人工操作 2.日志相干: •不同业务的日志间接通过SLS的Logtail采集到不同的日志库中 •并不是所有的日志都须要长时间存储和索引,因而咱们对于日志进行归类,对于其中须要有审计需要的,会投递到OSS上做长期存储;业务排查问题的日志只保留2周,并开启全文索引;AccessLog只开启局部字段的索引,能够节俭很多的索引费用。 •对于须要计算SLA、PXX指标的NGINX拜访日志,会应用数据加工,配合曾经在RDS中存储的一些映射规定、部门、利用等Catalog信息,将NGINX拜访日志中的URL映射成对应的部门、利用、办法等。 3.监控相干 •监控计划抉择了Prometheus,针对于流畅说的场景,咱们开发了一些Exporter用于从各类云上产品、自建组件中获取Metrics •同时为了更好的应用Prometheus,和外部的CICD系统集成,咱们在Prometheus上减少了一个Sidecar,监听Git仓库的变更,并依据变更动静的Reload Prometheus配置 •Prometheus上为了进步查问速度,配置了各类Recording Rule,这些都对立应用Git治理 •AlertManager的告警间接对接外部的告警核心,能够做排版、降级等高级性能 •为了解决Prometheus单点的问题以及前面和Catalog进行关联剖析的问题,咱们应用SLS的时序库,间接让Prometheus Remote Write到SLS的时序库中 4.指标计算 •外围指标的计算一部分来源于NGINX的AccessLog,从入口就能够拿到各个业务的QPS、错误率、Latency(均匀、PXX等),对于业务没有任何的侵入性 •资源利用率、中间件、基础设施等指标来源于Prometheus写入的时序库,基于Catalog能够聚合计算出每个部门、业务的相干指标 •计算实现后的指标信息,因为数据量十分小,能够很容易的存储在MySQL、ES中,并且投递一份到OSS上备份 相干成绩 目前这套监控平台简直承载了公司所有的外围监控,在上线后始终稳固运行,并且在各类流动期间也可能十分轻松的应答数据量的突增。整体的业务价值次要体现在: 1.监控:监控的第一价值是做各类的监控和告警,尤其是SLA相干,因为将数据曾经关联到了具体的部门和业务利用,能够很容易的失去每个部门、利用的SLA,并进行公司范畴内对立的推动和改良 2.问题排查与故障隔离:基于Istio的拜访日志,配合Catalog信息,能够计算出每个利用的调用关系,因而能够实时的生成业务关系网格,并可能晓得每个关系(边)的品质状况。理解到业务的关系后,在呈现问题的时候也能够疾速的定位本源和故障隔离 3.FinOps:在Cloud Infra部门,被挑战最多的就是开销问题。因而老本优化也是咱们的一个外围工作,次要的做法是:计算每个部门、团队的资源利用率,包含均匀利用率以及各类PXX的利用率(入下表格所示),以此可能判断每个部门的资源应用状况,推动各部门优化老本。 流畅说对立监控背地的技术 流畅说对立监控基于阿里云SLS进行构建,SLS定位为云原生观测剖析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、剖析、告警可视化与投递性能,全面晋升研发、运维、经营和平安等场景数字化能力。其中对立监控应用到了多种SLS的外围性能,次要包含: ...

July 8, 2021 · 1 min · jiezi

关于运维:BAT大厂工程师必会Ansible你还不来学

简介:Linux训练营震撼来袭!!!本次训练营,为了帮忙大家更好的把握 Ansible ,阿里云开发者学堂联结Linux中国打造了这一门精品训练营 —— Linux 运维自动化训练营,并邀请一线工程师在线授课,帮忙学生把握 Ansible 的应用和开发。Linux训练营震撼来袭!!!阿里云推出了2021 Alibaba Cloud Linux最新技术图谱,该图谱由阿里云开发者学堂出品,联结业界权威专家倾力打造的行业权威图谱。联合阿里巴巴工程师的一线实战经验,邀请行业退职运维工程师授课,课程内容涵盖 Linux 基础知识、罕用业务服务保护、自动化运维、自动化运维监控、KVM 虚拟化等相干常识,从新手入门阶段到高级工程师阶段,蕴含19个知识点,19门课程,近百课时。 图谱链接:https://developer.aliyun.com/graph/linux 联合图谱,阿里云开发者学堂联结Linux中国推出了“Linux 运维自动化训练营” 和集体应用服务器不同, 在企业应用服务器时,往往会面临效率低、运维自动化不够遍及、无奈进行更近一步的智能化倒退等等。 而对于企业来说,所有这些运维过程中的每一个人工解决的形式,都存在能够优化的空间和形式。 而一个合格的运维工程师,必须要把握运维自动化伎俩。 Ansible —— 就是解决批量化运维,自动化运维和晋升运维效率的必备工具。有了 Ansible ,你就能够轻松的将你的运维工作,从一台服务器扩大到成百数千台服务器当中,让你用一分钟,实现过来须要数个小时的工作。 Ansible 也被广泛应用在各种中大型企业当中,比方咱们所相熟的 字节跳动、美团、快手等,都在应用 Ansible, Ansiblee 的重要性,毋庸置疑。 当初训练营限时收费抢报,快来看➡▶训练营报名工夫:2021年7月6日—7月30日 ▶训练营上课工夫:2021年7月19日—7月22日 ▶开营名额:仅限2000人 ▶报名要求:有肯定 Linux 根底,想要针对 Ansible 进行深刻进阶 对 IT 自动化方向感兴趣,想要成为自动化运维&初中级运维工程师 学过 Ansible ,然而知识结构不成体系 想要冲击大厂,取得更好的倒退,掌舵本人的人生 课程内容1.  直播课程学习:Ansible 根底信息、Ansible 配置、Ansible AdHoc 的应用、 Ansible playbook 的应用、 Ansible 外围模块学习 2.  群内答疑: Bestony 老师还将在钉钉群内,为你提供社群答疑工作,帮忙你更好的学会Ansible 。 课程安顿7.19 日,正式开营,学习 Ansible 的基础知识 7.20 日,根底学习,学习 Ansible 的工作模式、invertory 等信息 ...

July 8, 2021 · 1 min · jiezi

关于运维:华为hcie面试弃考会怎么样hcie考试报名费用是多少

华为hcie认证考试是华为认证考试外面专家级别的考试,如果大家通过了华为hcie认证考试的话,那么就阐明本人曾经是专家级别的专业人士了,可见,华为hcie认证证书的含金量是十分高的,然而考试的难度也很大,有的敌人在报名了华为hcie面试之后,弃考了,然而对当前会有影响,那么华为hcie面试弃考会怎么样?hcie考试报名费用是多少呢?上面就给大家具体的来阐明一下这些问题。 华为hcie面试弃考会怎么样? 华为的IE任何方向都能够间接考,然而倡议从根底学起,因为面试还是很难的。 预约了考试不去,那钱就白交了,钱不给退的,你下次考试又要从新再预约考试,反正是总要考的,预好了考试还是去考吧。 不会有影响,也不会缩短3个月。 HCIE考试一套下来多少钱? 其实,因为华为认证是一个厂商认证,一系列的考试下来,每个环节都会产生费用,而且它是一个商业认证,考试的费用天然会比拟高的。要说HCIE考试一套下来多少钱?还要看你是抉择什么形式来学习了,如果是自学,那么你就只须要考试的报名费用,如果是培训机构学习,那么还要加上培训费用,而且培训的状况还比较复杂,有分有根底的和零根底的。 HCIE考试报名费用 因为大家能够间接考HCIE,不须要通过hcia和HCIP,所以报名费用方面,只须要HCIE口试、试验考试和面试的费用。个别状况下,HCIE口试的费用大略是300美元。试验考试和面试的费用是一起算的,是8000元人民币,也就是要大略1万块钱的报名费用,尽管的的确确有点高,然而因为HCIE本身的含金量,这个费用也是能够承受的,因为你前期考过了HCIE之后,工资方面也能失去肯定的晋升,还是值得做这个“投资”的。 华为hcie认证须要考哪些? 首先要加入口试考试,完结之后要加入实验室和面试考试。 口试考试的通过率十分高,只有你下载到题库,基本上就能够通过考试。 如果是实验室考试,还有面试,大部分的同学会加入培训班,因为培训班基本上就会给你实在的考题,把这个实在的考题在实验室一直的练习,也就可能让你顺利通过实验室和面试考试。 华为hcie面试弃考会怎么样?华为hcie面试弃考其实也没有什么大的影响,只是大家还须要从新报名参加考试,这样就要多破费一部分资金了,因而倡议大家在报名了华为hcie面试之后,就认真的去做筹备,不要随便的抉择弃考,这样是对本人不负责的体现。

July 7, 2021 · 1 min · jiezi

关于运维:腾讯云从业者资格认证考试题库模拟判断题有没有腾讯云认证挑战赛活动介绍

当初腾讯的倒退能够说是超乎很多人的设想的,它是大数据,云计算和人工智能畛域的佼佼者,很多敌人都想进入这个畛域,以求得倒退,这样就须要加入腾讯云的认证考试了,比方腾讯云从业者资格认证考试,这个能够说是进入这个行业的一个门槛,那么腾讯云从业者资格认证考试题库模仿判断题有没有呢?上面就给敌人们说说并做下腾讯云认证挑战赛流动介绍。 腾讯云从业者资格认证考试题库模仿判断题有没有? 腾讯云从业者资格认证考试没有判断题,全副是选择题,而且考试还会提醒是单选还是多选,70分通过。 最好是记住所有知识点,这样能力通过考试,但局部同学可能没有短缺的工夫精力学习,这个题库就是帮忙大家通过考试的好方法,但也心愿各位通过考试之后可能把知识点都记分明。 腾讯云从业者资格认证考试题库模仿判断题有没有?腾讯云认证挑战赛流动介绍 目前哪些科目提供模拟考试? 目前腾讯云从业者认证考试提供收费模拟考试服务,模拟考试链接将会在开考前5-7天发放给当期考生,其余科目暂不提供。 对于“腾讯云认证” 1、腾讯云认证是针对IT开发者和在校大学生的业余技术认证体系,包含云计算技术认证体系和专项技术认证体系两方面,提供云从业者、云开发、云运维、云架构、大数据、人工智能等多个职业倒退方向的认证门路。 2、腾讯云认证将提供全面零碎的培训,构建由培训到认证的一站式体系,实现实践与实际的高度交融。 腾讯云认证挑战赛流动介绍 由腾讯云培训认证核心官网发动,腾讯高校单干独特推出的“云计算职场力挑战赛”互动H5流动昨日正式上线。此次流动,是国内首个次要面向高校大学生群体,以云计算根底知识点把握水平为测试规范,联合行业权威第三方调研机构业余数据,通过线上H5趣味答题模式发展的云计算职场力挑战赛流动。 挑战模式 挑战赛以H5答题模式进行,试题笼罩腾讯云从业者根底认证相干的考试知识点,难易平衡。测试试题共计10道,包含单选与多选,每道题有四个选项; 答对1题计10分,最终依据参与者答对试题的数量得出最终分数,生成对应的工作经验值、职场段位、企业需要占比、特质关键词、一句话评估等6种不同集体标签。 腾讯云从业者资格认证考试题库模仿判断题有没有?腾讯云认证挑战赛流动介绍 腾讯云搭建人才筑梦“云梯”,造就高校产业人才 数字化人才的造就,始终是腾讯所肩负的使命与责任:腾讯教育腾实学院与各大高校单干,通过产业的实际,独特造就云、AI、网络安全等新工科人才;在腾讯课堂这个终身教育平台上,每周有数十万学员,学习IT互联网的新常识和新技能;推出腾讯云认证服务,通过教学反对、师资造就,帮忙学校与培训机构晋升业余程度;携手行业权威机构、用云企业,推出“优才打算”,以待业为牵引,满足行业对数字化人才的强烈需要。 产业互联网是一场继续而深远的改革,将来须要一代一代的技术从业者独特塑造。汤道生示意,青年开发者,特地是高校学子,将成为发明智慧时代的生力军。而“云梯打算”,就是心愿能为更多青年人搭修建梦的“云梯”,帮忙产业互联网迎接更磅礴的“后浪”。 腾讯云从业者资格认证考试题库模仿判断题有没有?腾讯云从业者资格认证考试题库模仿是没有判断题的,考试的题目类型都是选择题,别离是单选和多选,这样大家在做题的时候,就比拟容易了,不须要死记硬背一些知识点,大家只须要了解透了就能够选对正确的答案。

July 6, 2021 · 1 min · jiezi

关于运维:深度解读畅捷通云原生架构转型实战历程

简介:畅捷通公司是用友团体旗下的成员企业,专一于服务国内小微企业的财务和治理服务。一方面,畅捷通将本人的产品、业务、技术架构互联网化;另一方面,畅捷通推出了畅捷通一站式云服务平台,面向小微企业提供以数智财税、数智商业为外围的平台服务、应用服务、业务服务及数据增值服务,致力于建设“小微企业服务生态体系”。在信通院 2021 年云原生产业大会上,畅捷通取得 2021 年度云原生优良案例。 畅捷通公司是用友团体旗下的成员企业,专一于服务国内小微企业的财务和治理服务。一方面,畅捷通将本人的产品、业务、技术架构互联网化;另一方面,畅捷通推出了畅捷通一站式云服务平台,面向小微企业提供以数智财税、数智商业为外围的平台服务、应用服务、业务服务及数据增值服务,致力于建设“小微企业服务生态体系”。 依据易观国内的报告,目前畅捷通在国内小微企业云服务市场的覆盖率放弃第一。有超过 130 万家企业与机构通过应用畅捷通的软件及服务,实现降本提效、继续翻新、数智化转型。 晚期,畅捷通的业务利用都是构建在公司自主研发的 CSP 平台之上,包含客户管家、易代账、好会计和好生意等,每个企业调配一个独立的虚机,资源齐全隔离,初期该平台计划极大简化了开发的复杂度,进步了开发效率,满足公司向云服务倒退的最后需要。 新的需要 随着用户规模的增多,现有为每个用户调配一个独立虚机的计划产生的问题很突出。首先体现在虚机的数量日益宏大,在客户转换率不高的状况下,容易造成资源的节约,同时运维老本也偏高;其次,不同的用户软件迭代的版本不尽相同,还须要专门设计保护多套版本的补丁更新零碎;第三,产品须要停服上线,业务会呈现短暂不可用的状况;最初,如果若干用户的业务呈现高峰期,不能疾速弹性扩容,资源的利用率不高。 在此背景下,畅捷通研发团队决定尝试以后业界比拟通用的云原生架构设计计划,利用云上的基础设施,共享计算资源和存储资源,采纳容器化计划,疾速弹性扩容,利用微服务架构,按利用更新产品,彻底解决以后运维老本偏高、弹性有余、资源利用不平衡的问题。 小微企业的特点是数量多、单个企业业务量绝对较小、企业 IT 能力无限。以畅捷通好生意产品为例,采纳现有的云原生架构,可能不便畅捷通疾速开发出一款应答大规模小型用户,反对弹性可扩大的 SaaS 利用。同时通过服务的编排,又能疾速搭建出其余产品线,如智+。目前曾经有超过 20 万的付费用户正在应用畅捷通提供的云原生架构企业云服务,每天产生的业务数据达百 G 以上。 云原生利用架构的驱动力 国内云计算产品疾速倒退,企业应用往云端迁徙趋势显著,加上政府部门激励企业上云推出补贴政策,企业上云已成为大势所趋。 尤其在疫情阶段下,商业模式的改革,生产形式的转变,只有企业上云能力更有利于推动企业放慢数字化、智能化的转型,更无效的帮忙企业实现“客户在线、业务在线、人员在线、治理在线”。而当初的云原生技术带来的价值能更好的帮忙企业进行数智转型。 1. 实时在线 采纳智能接入网关,就近接入云企业网,在 VPC 间、VPC 与本地数据中心间搭建私网通信通道,通过主动路由散发及学习,进步网络的疾速收敛和跨网络通信的品质和安全性,保障用户寰球范畴实时在线,减速实现整个客群的线上线下一体化。 2. 数智化 通过云端便宜的存储、弱小的算力资源以及泛滥的算法模型,畅捷通用极低的老本存储海量数据并在线实时剖析,为用户提供更多的商业决策。 3. 疾速响应市场需求 采纳 DDD 设计思维,利用微服务架构,疾速开发高内聚、低耦合的利用。这些利用通过服务的编排,能疾速组合更多的利用,满足不同行业和畛域的客户群体,达到疾速上线、迭代优化的成果。 4. 稳固高牢靠 利用容器和微服务架构,能够疾速构建和运行可弹性扩大的利用。零碎呈现故障或者性能瓶颈的时候,通过镜像能够秒级复原受损利用,保障了零碎的高可用性。利用云原生技术的红利,畅捷通能够只关注业务的开发,一方面减速构建新利用,另一方面也能够优化现有利用并在云原生架构中集成,达到奔跑中更换轮子的成果,去更不便地让历史存量的客户降级到云上。 云原生利用架构设计 云原生利用架构设计路线 原有产品是部署在物理 IDC 中,通过对 cloudfoundry 云平台的二开,实现每个租户间虚机的隔离。但因为每个租户独享容器+数据库,当用户量达到几十万级时,数据库的降级效率、容器部署老本、硬件运维复杂度都显著晋升。通过利用的微服务化、上云来解决降本提效的问题火烧眉毛。 畅捷通通过基础设施上云、数据库上云、技术框架和业务框架的重构,实现了在多租户之间容器部署、利用共享、DB 共享,产品基于 EDAS 及集成在其上的阿里云容器服务 Kubernetes 版 ACK。心愿通过云原生的技术红利,解决以后运维老本高、零碎弹性有余、产品迭代交付周期长的问题。 利用架构的革新 1. 微服务架构 ...

July 5, 2021 · 3 min · jiezi

关于运维:重磅发布阿里云云效阿里巴巴DevOps实践指南

简介:6月23日,在2021阿里巴巴研发效力峰会上,由阿里云云效团队20位专家独特撰写的《阿里巴巴DevOps实际指南》(以下简称指南)正式对外公布。本指南是阿里云云效团队对过来十年阿里巴巴DevOps 实践经验的零碎总结。 6月23日,在2021阿里巴巴研发效力峰会上,由阿里云云效团队20位专家独特撰写的《阿里巴巴DevOps实际指南》(以下简称指南)正式对外公布。本指南是阿里云云效团队对过来十年阿里巴巴DevOps 实践经验的零碎总结。 指南从DevOps的起源说起,提出了数字化转型下DevOps施行的基本指标;并从阿里巴巴本身实际登程,提出了阿里巴巴DevOps施行的4大价值主张和与之匹配的技术实际体系。最初,指南还总结了阿里巴巴DevOps工具体系大图以及企业DevOps能力成熟度进阶模型。 本次指南的公布,旨在向业界输入阿里巴巴团体在DevOps方面的实践经验,促成行业的交换。指南也失去了IBM副合伙人&《银行数字化转型》作者付晓岩、优维科技创始人&CEO王津银、复旦大学计算机科学技术学院副院长彭鑫等人的举荐。 目前,《阿里巴巴DevOps实际指南》电子书已凋谢收费下载,返回https://developer.aliyun.com/topic/devops 即可下载。 指南精髓内容导读1、从数字化转型看DevOps施行的基本指标数字化转型,是一个零碎的改革,DevOps是其中的重要组成部分。数字化时代, IT技术交付和运行的效率,成为决定数字化转型成败的要害,而DevOps要解决的问题正在于此。 在数字化转型的背景下,阿里巴巴认为DevOps施行的基本指标是实现业务麻利。为了实现这个指标,企业须要建设两大能力: 第一:继续顺畅高质量地交付无效价值的能力。 第二:极致弹性和韧性的零碎运行的能力。 如何了解DevOps的基本指标和须要建设的两大能力,你能够从指南的第一局部概述找到答案。 2、阿里巴巴DevOps施行的4大价值主张和实际体系为了建设下面的2大能力,阿里巴巴提出了DevOps施行的4大价值主张,它们别离是: 1)业务驱动的合作模式; 2)产品导向的交付模式; 3)个性为外围的继续交付; 4)利用为外围的运维。 这4大价值主张及与之匹配的技术实际也是指南的主体内容,你将从指南的第二章、第三章、第四章的20多篇文章中具体理解到阿里巴巴的DevOps实际。 3、阿里巴巴DevOps工具体系DevOps的施行离不开工具的反对。好的工具可能积淀准则和办法,贯彻正确的价值主张,让DevOps的施行事倍功半。 在DevOps施行中,阿里面临诸多挑战。在应答挑战的过程中,阿里逐步造成了本人特色的DevOps实际,并落地到一套残缺的DevOps工具体系中。这套工具体系有如下特点:  一站搞定需要、开发、测试、部署、运维的所有诉求。 松管控、强卡点 可定制、可复用,可扩大你将在指南的第五局部残缺理解到阿里巴巴的DevOps工具体系。 4、DevOps能力成熟度进阶模型DevOps能力反映的是技术研发响应业务变动的能力。随着组织规模的变大和业务复杂性增长,DevOps能力会变得越来越重要。继续晋升DevOps的能力成为技术研发的独特挑战。 为了给组织的DevOps能力晋升指明方向,并布局清晰的门路。阿里云云效团队在指南内定义了DevOps能力成熟度模型,蕴含4大类10个能力,心愿帮忙团队:1)晓得咱们明天在哪里;2)如何布局晋升门路。 你将在指南的最初局部具体理解DevOps成熟度模型从L0-L4的5种成熟度进阶。 付晓岩、王津银、彭鑫等联结举荐源自阿里巴巴外部的DevOps实际指南,也失去了业界王津银、付晓岩、彭鑫等人的认可和举荐。 数字化转型是从社会到企业的整体转型,须要顶层设计和统一规划。数字生态最终是一个高度连贯的社会而非一座座割裂的竖井。阿里巴巴DevOps 实际指南阐明,一体化的开发和运维要反对的指标正是全链路、全生命周期的业务,这是技术倒退的方向,也是数字生态的必然要求。 ——IBM 副合伙人、《银行数字化转型》作者、极客工夫《说透数字化转型》专栏作者付晓岩 企业的数字化转型必然绕不过DevOps,外围点还是IT如何赋能业务,发明价值。该本指南书体系思路十分清晰,集体了解是从交付态和运行态两个视角去论述,并齐全以利用为视角。交付态也就是明天DevOps 外面提到的外围工程实际:继续交付。继续交付是对过来割裂的IT 组织交付模式的一次反动;运行态,是从连续性运维的角度去探讨,其中又引入了多个不同的最新实际,如智能化运维。难得的是,书中的很多实际都来自于阿里理论,实际欠缺了实践,实践才能够更好地领导实际。确实是一本难得的实际指南书! ——优维科技创始人&CEO 王津银 DevOps 与云化开发平台的联合实现了软件开发工具平台的一次飞跃,不仅实现了软件开发工具的集成化和流水线化,而且使得基于大数据分析的软件开发品质与效力晋升成为可能。《阿里巴巴DevOps 实际指南》的推出为咱们理解业界DevOps 和云化开发实际、发展软件开发大数据分析钻研工作提供了重要领导。围绕相干话题,学术界和工业界无望发展更多的交换与单干,独特推动软件工程钻研与实际的倒退。 ——复旦大学计算机科学技术学院副院长、软件学院副院长、传授彭鑫 过来10 多年,阿里云在IT 基础设施方面做了十分多的摸索和致力,失去了客户和社会的认可。云、大数据、 AI、IoT 等,已成为新一代数字化基础设施。如何让这些基础设施施展更大作用,推动产业数字化改革,这也 是咱们继续致力的方向,DevOps 能力是其中的外围环节之一,心愿《阿里巴巴DevOps 实际指南》对你有 所启发,成为你在数字化转型路线上的搭档。 —— 蒋江伟阿里巴巴合伙人 技术发明新商业,技术已成为数字化时代业务翻新和倒退的外围环节。晋升技术的业务响应和交付能力,并保 障零碎运行的连续性和稳定性,已成为数字化组织的独特挑战。《阿里巴巴DevOps 实际指南》源自阿里巴巴 多年的一线实际,并做了系统性的积淀。不论是工程、合作、运维还是工具,心愿你能有所播种,并用以领导 理论工作。 —— 刘国华阿里巴巴研究员、混合云平台负责人 从B2B 到淘宝、从跨境电商到本地生存,面对如此丰盛、如此大规模的业务交付需要,阿里巴巴在软件交付效 率上始终走在行业的前列。为此,公司从技术文化、技术架构、软件基础设施及平台、以及流程上做了全面和 深刻的设计和优化。《阿里巴巴DevOps 实际指南》总结了其中精髓的局部,并具体解释了实际背地的思考, 指南的内容次要是由工作在一线的资深工程师撰写,读来体感强烈,举荐给大家。 ——许晓斌阿里巴巴高级技术专家 ...

July 5, 2021 · 1 min · jiezi

关于运维:云端干货|云架构下如何构建运维体系

数字化转型已成为传统企业实现业务增长的必经之路,而云计算是数字经济时代重要的基础设施,于是企业纷纷“上云”,在下一个倒退阶段,企业如何“用好云”则成为了重点议题。SpotMax首席解决方案架构师于龙水发表的“云架构下的运维体系构建”主题演讲中,介绍了基于私有云下运维架构的设计、自动化及老本管制的实践经验,并从运维角度总结了帮忙企业高效用云的方法论与心得。传统 IDC vs 云平台架构 据于龙水介绍,传统 IDC 开发架构比较简单,对于开发人员来说,IDC 托管机器机型较大,开发时无需适度放心单机资源缓和状况;对于运维人员来说,机器数量、品种固定,因而运维难度也更低,但与云架构下的运维相比,IDC 不具备弹性能力,业务倒退就会受到资源限度。此外,因为不足体系化的平安计划,整体服务安全性较低,还需另外设置业余团队来为企业设计安全性计划。 那么,运维上云后是怎么的图景? 因为云平台能为咱们提供欠缺的生态系统,因而云架构下的运维能够解放运维人员频繁的部署环境,升高运维在环境部署上的消耗的精力。云平台能依据用户需要提供云计算资源,从而晋升整体资源利用率,让企业业务增长不再受到资源限度,另外,私有云自身就提供了高安全性的网络计划和相应服务。 于龙水也提到,在云架构下,开发和运维人员须要对工作做出相应调整: 对开发人员来说,云计算资源是按需分配,与 IDC 能够不思考资源随便开发的状况不同,因而云开发架构的设计会更为简单,须要设计更合乎私有云平台的软件结构,对运维人员来说,相比拟 IDC,云计算资源能够自在弹性伸缩,资源品种和性质也在动态变化,因而须要设计更简单的运维架构。 云平台下的运维怎么做? 在私有云平台上,如何利用云计算个性,使运维架构更好地为企业服务? 于龙水别离从技术架构设计、智能监控、运维自动化和老本优化四个方面,分享了本人的实践经验,例如多计费类型实例部署、自动化监控注册与解注册等。 在老本优化的几个路径当中,如果能充沛应用抢占式实例(Spot),最高可为企业节俭 90% 的计算成本,因而于龙水认为,充沛应用抢占式实例,是最具后劲的一种降本路径,而 Mobvista 自身正是这种老本优化计划的受益者。 充分利用抢占式实例 降本增效上云 2017 年,因为Mobvista程序化广告业务飞速增长,用云老本激增,企业开始思考如何高效应用云计算资源。 在此背景下,Mobvista 从优化底层技术架构开始,在施展云的个性的同时,灵便利用云计算不同的计费模式,构建了大型弹性集群治理平台SpotMax。如此实现了在兼顾可用性的状况下,充沛应用高价抢占式实例,最终,Mobvista 程序化广告的单位申请解决老本升高了 65%。 在 Mobvista 外部取得成功后,咱们意识到这一降本增效的用云实际不仅仅能利用于本身,也能够进一步对外输入,助力其余企业进步用云效率。目前,SpotMax 正在帮忙更多企业构建合乎云端特点的零碎架构,充分利用云端高弹性资源。 咱们置信,当“云计算应用老本过高”、“云老本节约”不再成为限度企业上云、用云的绊脚石,企业数字化转型步调也将大大放慢。 理解 SpotMax : https://spotmaxtech.com/ 理解 MaxGroup:https://new.spotmaxtech.com/p...

July 5, 2021 · 1 min · jiezi

关于运维:Linux-Centos7-nc探测端口命令并实时探测

一. centos7 零碎应用nc探测端口1.1 装置nc工具yum install nc -y1.2 端口探测TCP端口探测应用办法: nc -w 1 IP地址 端口 < /dev/null && echo "tcp port ok"举例 对方tcp端口可连贯:# nc -w 1 192.168.21.17 34567 < /dev/null && echo "tcp port ok"tcp port ok对方tcp端口不可连贯:# nc -w 1 192.168.21.17 34567 < /dev/null && echo "tcp port ok"Ncat: Connection refused.UDP端口探测应用办法: nc -u -w 1 IP地址 端口 < /dev/null && echo "udp port ok"举例 对方tcp端口可连贯:# nc -u -w 1 192.168.21.17 34567 < /dev/null && echo -e "udp port ok"udp port ok二.nc工具实时探测端口如果咱们须要每秒执行一次端口检测,则应用以下办法 ...

July 2, 2021 · 1 min · jiezi

关于运维:Find-exec-例子

find是咱们很罕用的一个Linux命令,然而咱们个别查找进去的并不仅仅是看看而已,还会有进一步的操作,这个时候exec的作用就显现出来了。 exec解释: -exec 参数前面跟的是command命令,它的终止是以;为完结标记的,所以这句命令前面的分号是不可短少的,思考到各个系统中分号会有不同的意义,所以后面加反斜杠。 {} 花括号代表后面find查找进去的文件名。 应用find时,只有把想要的操作写在一个文件里,就能够用exec来配合find查找,很不便的。在有些操作系统中只容许-exec选项执行诸如l s或ls -l这样的命令。大多数用户应用这一选项是为了查找旧文件并删除它们。倡议在真正执行rm命令删除文件之前,最好先用ls命令看一下,确认它们是所要删除的文件。 exec选项前面跟随着所要执行的命令或脚本,而后是一对儿{ },一个空格和一个\,最初是一个分号。为了应用exec选项,必须要同时应用print选项。如果验证一下find命令,会发现该命令只输入从以后门路起的相对路径及文件名。 实例1:ls -l命令放在find命令的-exec选项中 命令: find . -type f -exec ls -l {} \; 输入: [root@localhost test]# find . -type f -exec ls -l {} \; -rw-r--r-- 1 root root 127 10-28 16:51 ./log2014.log -rw-r--r-- 1 root root 0 10-28 14:47 ./test4/log3-2.log -rw-r--r-- 1 root root 0 10-28 14:47 ./test4/log3-3.log -rw-r--r-- 1 root root 0 10-28 14:47 ./test4/log3-1.log -rw-r--r-- 1 root root 33 10-28 16:54 ./log2013.log ...

July 1, 2021 · 4 min · jiezi

关于运维:全链路压测构建高可用应用最佳实践

简介:电商大促、明星直播、在线教育等大量场景,用户访问量会在肯定时间段剧增,或者在业务上云过程中须要高可用体系评估客户零碎在云环境上面的性能体现,判断是否合乎客户的预期。 通过阿里云的PTS+AHAS+ARMS 的产品组合,能够对上述不同场景都能保障高可用的能力,能够不便的做到大促容量评估、性能优化、零碎防护等能力,大体量的客户还能够通过PTS 做线上环境的全链路压测,让线上环境间接提前经验实在的顶峰业务。 中转最佳实际:【全链路压测构建高可用利用最佳实际】 最佳实际频道:【最佳实际频道】 这里有丰盛的企业上云最佳实际,从典型场景入门,提供一系列我的项目实际计划,升高企业上云门槛的同时满足您的需要! 场景形容电商大促、明星直播、在线教育等大量场景,用户访问量会在肯定时间段剧增,或者在业务上云过程中须要高可用体系评估客户零碎在云环境上面的性能体现,判断是否合乎客户的预期。 通过阿里云的PTS+AHAS+ARMS 的产品组合,能够对上述不同场景都能保障高可用的能力,能够不便的做到大促容量评估、性能优化、零碎防护等能力,大体量的客户还能够通过PTS 做线上环境的全链路压测,让线上环境间接提前经验实在的顶峰业务。 实际收益对利用零侵入,接入成本低;大幅度缩小运维人力投入,通过准确的容量评估防止不合理的资源投入;极大进步零碎的可用性,建设全方位立体化的监控体系;疾速定位性能瓶颈,从人肉运维降级为智能运维,从被动变为被动。产品列表容器服务Kubernetes版(ACK)性能测试PTS云数据库服务RDS微服务引擎MSE利用高可用服务AHAS利用实时监控服务ARMS业务架构 中转最佳实际 》》 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 1, 2021 · 1 min · jiezi

关于运维:同程旅行基于-RocketMQ-高可用架构实践

背景介绍 为何抉择 RocketMQ 咱们在几年前决定引入 MQ 时,市场上曾经有不少成熟的解决方案,比方 RabbitMQ , ActiveMQ,NSQ,Kafka 等。思考到稳定性、保护老本、公司技术栈等因素,咱们抉择了 RocketMQ : 纯 Java 开发,无依赖,应用简略,呈现问题能 hold ;通过阿里双十一考验,性能、稳定性能够保障;性能实用,发送端:同步、异步、单边、延时发送;生产端:音讯重置,重试队列,死信队列;社区沉闷,出问题能及时沟通解决。 应用状况 次要用于削峰、解耦、异步解决;已在火车票、机票、酒店等外围业务宽泛应用,扛住微小的微信入口流量;在领取、订单、出票、数据同步等外围流程宽泛应用;每天 1000+ 亿条音讯周转。 下图是 MQ 接入框架图 因为公司技术栈起因,client sdk 咱们提供了 java sdk ;对于其余语言,收敛到 http proxy ,屏蔽语言细节,节约保护老本。依照各大业务线,对后端存储节点进行了隔离,互相不影响。 MQ 双核心革新 之前单机房呈现过网络故障,对业务影响较大。为保障业务高可用,同城双核心革新提上了日程。 为何做双核心 单机房故障业务可用;保证数据牢靠:若所有数据都在一个机房,一旦机房故障,数据有失落危险;横向扩容:单机房容量无限,多机房可分担流量。 双核心计划 做双核心之前,对同城双核心计划作了些调研,次要有冷(热)备份、双活两种。(过后社区 Dledger 版本还没呈现,Dledger 版本齐全可做为双核心的一种可选计划。) 1)同城冷(热)备份 两个独立的 MQ 集群, 用户流量写到一个主集群,数据实时同步到备用集群,社区有成熟的 RocketMQ Replicator 计划,须要定期同步元数据,比方主题,生产组,生产进度等。 2)同城双活 两个独立 MQ 集群,用户流量写到各自机房的 MQ 集群,数据互相不同步。 平时业务写入各自机房的 MQ 集群,若一个机房挂了,能够将用户申请流量全副切到另一个机房,音讯也会生产到另一个机房。 对于双活计划,须要解决 MQ 集群域名。 1)若两个集群用一个域名,域名能够动静解析到各自机房。此形式要求生产、生产必须在同一个机房。如果生产在 idc1 ,生产在 idc2 ,这样生产、生产各自连贯一个集群,没法生产数据。 ...

July 1, 2021 · 2 min · jiezi

关于运维:你不知道的-Linux-使用技巧

1.疾速跳转命令 - z要是每次都要进入一个目录很深的文件夹下,像上面这样: > #cd /root/py/auto/fabric 每次都要输出好多个目录名是不是很焦躁,上面有一个十分不便的操作能够取代它 一 z 命令: z 的源码在这里:https://github.com/rupa/z/blob/master/z.sh你只须要把源码复制到用户目录下的 z.sh 文件,而后在 .bashrc 这个文件的最初增加 “source /path/to/z.sh”,最初应用: #source z.sh或者 #. .bashrc就能够失效了,要跳转到一个目录,间接应用 z + 目录名(此目录必须是以前进入过的)。 z这个脚本会为你每次进入的目录调配一个权重,而后依据权重调到你所输出的目录中。 2. 配置 vim如果常常在终端下写shell,python 或者c,大多数应该都应用vim吧,作为一个 vim 党,没有一个酷炫的写代码的界面怎么能行呢,所以,你想要上面的界面吗?蕴含代码补全,疾速搜素文件,目录树,py和c 头文件补全等性能。 下载 vim 配置文件 并将其解压在用户根目录即可实现,应用办法请自行搜寻,能不能操作的十分纯熟还得看你对 vim 的掌握情况。 3. 为 mysql 设置提示符有时候须要同时连贯到多台服务器的,并且操作不同的 mysql,因为 mysql 命令行默认没有用户或主机的提示符,这样容易误操作,所以能够在 /etc/my.cnf 文件中增加以下配置来显示 mysql 的提示符: [mysql]prompt="\u@\h : \d \r:\m:\s>"从新进入 mysql 就这样了: 4. 查看以后零碎版本你可能常常应用以下办法查看零碎的版本: [root@sta ~]# cat /etc/issueCentOS release 6.8(Final)Kernel \r on an\m [root@sta ~]# cat /etc/redhat-release CentOS release 6.8(Final)[root@sta ~]# cat /etc/issue.net CentOS release 6.8(Final)Kernel \r onan \m然而这些文件可能会裸露零碎的信息,个别都会清空文件或者此类文件也可能会被篡改。那就要应用上面的命令了,这可能是最精确的用来查看版本信息的命令:CentOS 装置实现后都会默认装置一个centos-release+版本号的rpm包。 ...

June 30, 2021 · 1 min · jiezi

关于运维:封神性能容量分析报告

简介:封神-剖析报告 | 性能容量 1. 性能介绍云平台各个产品的性能总览均须要登录对应的运维工具查看,在提供相干报告与总结时,会消耗较长的工夫,性能容量报告提供云平台所有产品的重要指标评估及剖析,能够帮忙运维疾速定位问题,同时能够提供相干性能离线报告,大大减少了运维老本。 1.1 数据起源封神数据库 1.2 解决问题①提供全产品性能剖析图表,进步问题定位速度; ②提供整个云平台容量剖析; ③反对下载离线报告。 2. 开发架构2.1 架构阐明性能容量报告集成在封神监控零碎中,数据来源于封神数据库的监控数据,对性能容量数据进行定时剖析打点并记录入库,前端展现与离线报告读取对应数据,以图表可视化模式展现,如下图所示。 图1 2.2 性能特点性能集成在封神零碎中,对生产环境无任何影响;剖析以后云平台整体运行状况,并给出优化倡议;可视化展现各个产品的实例状态,进步运维效率;提供离线的数据报告,及实例性能的全量数据下载。2.3 性能构造及产品列表<span class="lake-fontsize-11">标签页</span><span class="lake-fontsize-11">产品</span><span class="lake-fontsize-11">概述</span><span class="lake-fontsize-11">资源容量,实例/主机数量,告警数量</span><span class="lake-fontsize-11">根底</span><span class="lake-fontsize-11">天基,ecs,oss,slb,盘古</span><span class="lake-fontsize-11">中间件</span><span class="lake-fontsize-11">mq</span><span class="lake-fontsize-11">,edas,schx</span><span class="lake-fontsize-11">数据库</span><span class="lake-fontsize-11">rds</span><span class="lake-fontsize-11">,drds,minirds,ots,ads</span><span class="lake-fontsize-11">大数据</span><span class="lake-fontsize-11">dataworks</span><span class="lake-fontsize-11">,odps</span><span class="lake-fontsize-11">底座</span><span class="lake-fontsize-11">docker</span><span class="lake-fontsize-11">,ops,otsinner,ftp-server,minirds,slb,vpc</span>## 3. 性能详情性能容量报告中依照总体概述、根底组件、中间件、数据库、大数据和底座进行展现分类(详见2.3节),次要展现类型有曲线图、柱状图、饼图、热力求和表格模式,并对可视化内容进行剖析,给出倡议,能够反对工夫检索或下载离线报告;#### 3.1 饼图性能剖析1. 图中为ECS产品的整体性能状况,清晰的展现了以后云平台的ECS资源应用状况;2. 单击图中右上角的“搜寻”按钮,能够依据所需数据的工夫范畴进行检索;3. 图中红色文本框为剖析倡议,大部分ECS性能使用率都在30%以下,可见以后云平台ECS都比拟闲暇,须要进行适当缩容回收资源。图2#### 3.2 曲线性能剖析1. 图为云平台各个产品的盘古水位应用状况,能够展现固定工夫范畴内的盘古水位趋势;2. 如图所示以后云平台盘古水位使用率简直都未超过30%,不须要进行优化。图3#### 3.3 柱状性能剖析1. 图为云平台所有docker宿主机的CPU资源数与已调配的CPU资源数比照图;2. 如图所示,以后环境docker宿主机CPU资源超售状况比较严重。图4#### 3.4 热力性能剖析1. 图为云平台所有docker宿主机的单个CPU应用状况,能够联合图(3-3)进行比照剖析;2. 方格中的数字为x轴对应内核的CPU使用率,鼠标悬浮其中一个内核便能够显示对应内核的挂载容器;3. 当运维过程中有CPU迁徙工作时能够参考此热力求,抉择同组ASW的宿主机进行迁徙。图5#### 3.5 表格容量剖析1. 下图为以后云平台的整体资源应用状况剖析;2. 图中展现了全副的资源数量与已应用的资源数量,以及对资源应用的预测。图6上述示例是报告中几种典型可视化展现形式,每个云产品都由不同的图表组成,以及对应的剖析倡议。 咱们是阿里云智能寰球技术服务-SRE团队,咱们致力成为一个以技术为根底、面向服务、保障业务零碎高可用的工程师团队;提供业余、体系化的SRE服务,帮忙广大客户更好地应用云、基于云构建更加稳固牢靠的业务零碎,晋升业务稳定性。咱们冀望可能分享更多帮忙企业客户上云、用好云,让客户云上业务运行更加稳固牢靠的技术,您可用钉钉扫描下方二维码,退出阿里云SRE技术学院钉钉圈子,和更多云上人交换对于云平台的那些事。> 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 30, 2021 · 1 min · jiezi

关于运维:开放下载阿里云开发者学堂配套教材JVM实战

简介:Java虚拟机不仅是一种跨平台的软件,而且是一种新的网络计算平台。该平台包含许多相干的技术,如合乎凋谢接口标准的各种API、优化技术等。在学习Java 虚拟机的时候你可能有以下疑难: Java虚拟机的原理是什么? JNI、类加载器的原理又是什么? Safepoint机制又是怎么的? 阿里云开发者学堂配套教材《JVM实战》来啦!6章内容,帮你轻松解决以上难题。配合9000+人学习的Java 虚拟机原理视频课程,技术进阶不是梦! 点击收费下载 《JVM实战》 复制该链接到浏览器实现下载或分https://developer.aliyun.com/topic/download?id=7851—精彩内容领先看— JNI in Java 把握Java和Native之间的相互调用,大大丰盛java的应用场景。理解原理,对于学习JVM/故障定位更加得心应手。点击查看更多>> Safepoint机制 safepoint会把整个jvm的那些利用线程给暂停掉这里次要是关怀的当vm thread发出请求的时候,Java的实验者可能及时的响应safepoint的申请,可能马上的本人给停下来,如果有一些线程它停下来了,另一些线程还在运行,这样的话其余的线程就会等于是浪费时间在期待,所以说及时响应是它一个很重要的指标。点击查看更多>> 类加载器原理 对于类加载局部,首先用户有Java文件,而后Java文件用Java c去编译就能够失去.class文件,接着虚构机会加载.class文件变成虚拟机的元数据。比方在c++里边会变成Klass *,Method *,ConstantPool * 等,这些都是Java虚拟机里元数据的形容。点击查看更多>> Dragonwell个性: 多租户 以前阻塞的API是反对的齐全不须要改代码,能够把以前的用协程写代码间接切换到协程模型,进行一个模型转换,这样从java thread和Pthread就操作系统1:1的模型变到调用大量wisp变成大量操作统线程,性能大大提高。点击查看更多>> Dragonwell个性: JWarmup Java的办法要被执行时,首先这个办法所在的类须要被JVM加载,这个过程包含各类文件的验证、解析、链接以及类的初始化。当这个类被加载进来了当前,JVM就能够去执行这个办法。点击查看更多>> Dragonwell个性: Wisp 上下文切换会吃掉贵重的CPU资源,大家很多状况下对上下文有误区,进出内核和调度之间其实很大差别的。如果像方才这种场景,咱们看到多个线程来回调用,那一个线程当它资源耗尽或者比拟阻塞的时候,下个线程选谁?其实操作系统须要进行调度,真正的损耗远大于设想。点击查看更多>> 阿里云开发者藏经阁 阿里云开发者社区——藏经阁系列电子书,汇聚了一线大厂的技术积淀精髓,爆款一直。点击链接获取海量收费电子书:https://developer.aliyun.com/ebook 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 30, 2021 · 1 min · jiezi

关于运维:解析网络诊断利器SreCliNet

简介:网络诊断利器SreCli-Net 1.背景SRE运维团队致力于通过自动化来进步运维的工作生产效率,推动向智能化运维方向迭代转变,解决传统运维的痛点。传统运维虽具备残缺的运维体系,但运维形式各异,运维操作简单,耗时长。如何进步混合云我的项目的运维效率,进步运维附加值和客户满意度,仍是咱们的攻坚难题。 次要需面对以下几点挑战: 客户业务的疾速倒退与演进,传统运维滞后性被拉大随着客户业务的倒退和业务模式的一直演进,业务数据量也在逐年减少。给运维带来了更多机会与挑战,如何保障云内数据、云内外业务交互的稳固、平安、高效运行,是运维人员值得思考的问题。 平台各零碎运行简单,运维学习老本进步随着云平台云产品版本的疾速迭代,相熟平台难度加大,随着云产品版本更迭和新性能的呈现,老手学习的老本进步,相熟云平台的各种运维操作难度加大。但不能从根本上解决疾速赋能运维能力的问题。所有所有将会引发一连串的“蝴蝶效应”,甚至引发我的项目高风险或P级故障呈现,将会间接影响客户云上业务的失常应用。 运维人员能力参差不齐,运维操作简单目前运维形式存在人工教训判断、平台各种手工操作、解决问题低效、故障应急解决耗时长等次要问题。因为零碎的复杂性,技术人员在操作平台运维时,会节约大量的工夫在机器登入、工具应用等根底问题领导上。登录之后又面临各种增删改查操作指令的不对立。随着运维长时间的耗费,也会引起现场运维人员的心神俱疲,无奈专一线上操作。尤其是面对一些没有教训的驻场或客户,经常会呈现找不到指标机器,命令敲错等景象,使得整体运维低效和安全隐患频发。 综合以上对于客户、平台、运维三方面的运维问题, 进步运维效率、升高运维人员学习老本是以后的次要工作。在此大背景下,推出了SRE-CLI工具,该工具是一款反对shell性能、命令补全、问题诊断、故障止血等性能的srecli工具,逐渐解决和欠缺以后的问题现状。 2.SRE-CLI根本介绍SRE Command Line Interface (SRE CLI) 是一种运维工具,让您可能在命令行Shell 中应用命令对混合云进行运维操作。仅需起码的配置,即可应用 SRE CLI 运行命令,以便从终端程序中的命令提示符实现日常运维过程中简单的命令。基于SRE 在日常工作中的问题解决、故障应急积淀的“老中医”的教训,并通过命令行工具的形式集成在混合云中,无需配置,即可运行SRE CLI,通过简略命令,实现日常运维过程中简单操作。 CLI交互能力模型,次要是由拜访层、交互层、后端、基础设施四个局部组成。首先终端用户通过登录SRECLI后,进入交互层界面,通过抉择相应的场景指令和辅助性能实现指定的动作,该动作会调用后端的各工具能力,以及数据源中数据,通过基础设施层进行计算,计算诊断的后果将间接输入至终端CLI黑屏界面上,实现一整个交互流程,如下图所示。 图1 问题诊断(ali\_diag)从服务单、工单、故障单中提炼高频操作,将罕用操作、问题&故障点工具化成原子项。通过日常运维查问产品原子项,问题点、故障点、疾速查问要害指标定位问题点。 图2 场景诊断(ali\_scene)以故障场景积淀出一系列排查思路,以“三板斧”模式输入,精确定位问题所在。在此基础上进行故障点组装、故障精确定位。 图3 应急止血(ali\_cure)实在故障和危险止血复原伎俩积淀,产生并解决方案确定后,须要疾速复原,复原动作包含重启、降级、限流、切换等。帮忙客户业务疾速复原。 日常查问(ali\_query)日常查问、关联数据展现、罕用信息获取,通过准确的查问形式,查问云内IP地址定位对应的产品、路由、容量、策略等信息。目前笼罩物理网络的各类IP维度查问。 智能抓流(ali\_trace)满足CLI在云平台内各点抓包的能力,通过定制化的抓包组合命令,疾速落在抓包点,进行指定的进或出方向的网络流量抓包。笼罩经典网络类型抓包、VPC网络类型抓包两种。 3.Cli-Net概念Cli-Net是CLI体系中的一个分支性能,次要负责解决混合云内物理网络方向的诊断排查,通过对立格局的指令,在物理网络环境中进行具体方面的排查诊断。Cli-Net次要笼罩混合云物理网络四大方面,包含云内通用网络设备性能诊断、云边界网络状态诊断、云内网络状态诊断、物理机网络状态诊断。波及云内所有产品物理机和交换机网络运行状态,以及互联网、云外IDC网络等云外网络拜访云内网络的排查诊断,具体诊断笼罩如下表所示。 <span class="lake-fontsize-10"><span>Cli-Net</span></span><span class="lake-fontsize-10"><span>诊断笼罩</span></span><span class="lake-fontsize-10"><span>通用网络设备性能诊断</span></span><span class="lake-fontsize-10"><span>云边界网络状态诊断</span></span><span class="lake-fontsize-10"><span>云内网络状态诊断</span></span><span class="lake-fontsize-10"><span>物理机网络状态诊断</span></span><span class="lake-fontsize-10">ISW</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10">DSW</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10">CSW</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10">LSW</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10">ASW</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10">●</span><span class="lake-fontsize-10"> </span><span class="lake-fontsize-10">input</span><span class="lake-fontsize-10">input</span><span class="lake-fontsize-10">input</span><span class="lake-fontsize-10">input</span># 4.Cli-Net次要性能* 疾速登录网络设备通过CLI工具拜访天基查问,疾速获取交换机IP地址,并通过CLI工具内置的“明码库”顺次遍历通用明码疾速登录到网络设备上,如果通用明码遍历均不胜利,则判断为已被批改成我的项目共性明码。则CLI工具提醒请向用户申请并受权后输出共性明码,手动“填入共性明码”,再执行后续内容。通过该性能,可能节约查问交换机IP地址和登录明码的工夫,不便网络设备的登录。图4演示指令:ali\_tools login switch $交换机角色名称图5* 通用网络设备性能诊断Cli-Net可能查看交换机本身硬件运行指标性能,例如cpu、板卡、温度、风扇、内存、电源状态。图6演示指令:ali\_diag network hardware COMMAND  [cpu\_usage]  [device] [environment]  [fan]  [memory] [power]图7* 云边界网络互联状态诊断云平台交换机ISW、CSW、DSW、ASW、LSW之间的互联物理链路健康检查。具体查看各角色之间经典链路互联状态,VPC专线链路互联状态和互联光衰状态。图8演示指令:ali\_diag network interface COMMAND  [classic\_link]  [transceiver]  [vpc\_link]图9* 云内网络互联状态诊断云平台交换机路由协定互联状态查看,通过查看BGP和OSPS协定状态,如异样则间接输入异样状态。图10演示指令:ali\_diag network route [bgp] [ospf]图11* 连通性状态诊断云平台物理服务器、交换机等连通性查看。通过ping针对某个物理机名、集群名、交换机等进行连通性测试。图12演示指令:ali\_diag network ping COMMAND  [nc]  [project]  [switch]  [virtual\_nc]图13 # 5.Cli-Net场景诊断Cli-Net场景汇合了混合云物理网络中次要的业务数据流方向路径的检查点,通过Cli-scene场景中指定的排查指令,通过一键诊断的形式,疾速排查物理网络环境的各种查看项状态,查看诊断项次要分为五个场景:单机自检、外围网络方向诊断、专线方向诊断、公网方向诊断、物理虚构方向诊断。具体性能如下表所示:<span>中文名称</span><span>Cli</span><span>英文名称</span><span>含意</span><span>单机自检性能</span><span>device_check</span><span>查看每台交换机自身的衰弱状态,蕴含硬件、接口、路由、连通性,去判断输入网络设备自身的异样我的项目。</span><span>外围网络方向诊断</span><span>core-network</span><span>通过查看波及所有云内物理服务器路由通路、互联线路、路由状态的整体或指定具体物理机去判断输入网络异样项。</span><span>专线方向诊断</span><span>Private direction</span><span>通过检查用户IDC与云内VPC网络(含所有实例级资源)间波及到的物理网络整体情况去判断输入网络异样项。</span><span>公网方向诊断</span><span>Internet Direction</span><span>通过查看互联网与云内VPC网络(含所有实例级资源)间的波及到的物理网络整体情况去判断输入网络异样项。</span><span>物理虚构方向诊断</span><span>physics virtual</span><span>通过查看VPC网络(含所有实例级资源)与经典网络(蕴含所有云服务资源)之间的物理整体情况去判断输入网络异样项。</span># 6.Cli-Net场景构造* 单机全量自检场景构造如下图所示。图14* Core-network场景构造如下图所示。图15* Private direction场景构造如下图所示。图16* Internet Direction场景构造如下图所示。 图17诊断指令:ali\_scene network COMMAND  [core\_network]  [device\_check]  [internet\_direction]  [physics\_virtual]图18演示指令:ali\_scene network COMMAND  [core\_network]  [device\_check]  [internet\_direction]  [physics\_virtual]图19图20# 7.Cli-Net利用实际<span>利用场景</span><span>排查指令</span><span>指令后果</span><span>机房整体掉电</span><span>ali_diag network ping project </span><span>{product name}</span><span>查看云内各集群物理机连通性是否失常</span><span>ali_diag network ping switch</span><span>{name}</span><span>查看云内交换机连通性是否失常</span><span>ali_diag network hardware power </span><span>{switch}</span><span>查看各交换机电源运行状态是否失常</span><span>ali_diag network route bgp </span><span>{switch}</span><span>交换机bpg路由协定状态查看</span><span>ali_scene network device_check</span><span>交换机硬件自检</span><span>ECS</span><span>访云外不通</span><span>ali_scene network internet_direction</span><span>查看公网方向网络问题</span><span>ali_scene network private_direction</span><span>查看专线方向链路问题</span><span>base</span><span>拜访vpc内数据源失败</span><span>ali_scene network core_network</span><span>设施网络连通性查看</span><span>ali_scene network physics_virtual</span><span>综合接入区网络查看</span><span>物理机故障后上线</span><span>ali_scene network core_network</span><span>物理机所在网络查看</span><span>ali_diag network route bgp </span><span>{switch}</span><span>云内bgp网络状态查看</span>上表列举出了不同场景参考的不同排查指令,通过排查指令去诊断云内物理环境的状况,判断是否存在异常现象。以上仅是物理网络环境局部的查看,如需查看具体的产品侧状态,还需联合具体的产品诊断状态。网络侧和产品侧联合应用方能达到疾速诊断和排查的成果。 咱们是阿里云智能寰球技术服务-SRE团队,咱们致力成为一个以技术为根底、面向服务、保障业务零碎高可用的工程师团队;提供业余、体系化的SRE服务,帮忙广大客户更好地应用云、基于云构建更加稳固牢靠的业务零碎,晋升业务稳定性。咱们冀望可能分享更多帮忙企业客户上云、用好云,让客户云上业务运行更加稳固牢靠的技术,您可用钉钉扫描下方二维码,退出阿里云SRE技术学院钉钉圈子,和更多云上人交换对于云平台的那些事。> 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 30, 2021 · 1 min · jiezi

关于运维:几款超牛逼的-SSH-客户端工具好用到爆

一、Windows想来占有量最大的操作系统,得非莫属了吧,置信 Windows 零碎必定是陪伴了很多小伙伴学习工作很长时间的零碎了,不过笔者之所以会写这篇文章,也是因为 xshell这个软件破解的无限以及免费限度,相似还有 winscp 等等,应该都是咱们再各种场景下能用到的,甚至理解到的软件了,在此不再科普,有趣味的同学能够自行查问。 1、cmder网站:https://cmder.net/ 说到这个软件,大略就是我找 xshell 代替的,在百度上最多的答复之一了,看过之后也的确很有感觉,间接输出 ssh 命令就能够间接拜访近程主机,还能自定义保留咱们的主机配置,不便连贯多个主机应用,官网的文档和教程也科普了很多的快捷键和配置阐明,应用非常简单,还能随时跳转Windows自带的cmd和powershell,十分值得应用。 2、electerm网站:https://electerm.html5beta.com/ 这个软件,是笔者在捣鼓深度的deepinOS偶然间发现的,在深度操作系统上应用感觉还颇为不错,起初百度了一下,发现也是开源的并且制霸全平台的一个基于UI的软件,于是乎笔者在mac,Windows上都下载了一下,发现的确也都有很不错的体验,UI外面自带的标签性能也真的是很实用,只不过这个软件在macos上的体现还有待改良,因为他自带的UI 应该是以windows为规范写的,所以对于窗口的操作是在右上角,和mac零碎对立的应用习惯(左上角)有些不同,所以可能会让有些人用的不爽。 二、MacOS说到macos,就不得不说,mac相似于Linux内核的操作的那些事件了,事实上mac自带的terminal也是能够间接执行ssh命令进行ssh链接到近程主机的,没有非凡记录用户名和明码的状况就很是难堪,所以还须要专门设计过的软件来进行辅助。 除了下面提到的能在macos中能应用的electerm之外,再举荐一个人人应用mac必装的: 1、item2网站:https://www.iterm2.com/ 这个相对是应用macos零碎的福利软件,因为只有mac零碎是能够用这个软件的,并且也是软件的设计初衷也是冲着代替terminal的方向去的,因而我从开始应用mac零碎的时候便摈弃了自带的terminal,把这个软件固定在了下边栏,只是因为他在治理ssh主机上有很不便的性能(我只理解这些),在这个软件配置一下你要连贯主机为profile中的一个,就能够间接在下边栏右键,看到你的主机list: 是不是有被惊艳到呢?尽管没有其他软件那些奢华的UI窗口界面,然而单纯的命令窗口,一样有简洁的便当。 2、Commander One网站:https://mac.eltima.com/file-manager.html 这个软件尽管不是ssh的软件,然而能够连贯近程的ftp,相似于xftp软件,也是两个窗口栏显示的,比拟惊喜的是,困扰我很久的mac零碎不能辨认Android手机存储的问题这个软件能够解决,插上安卓手机之后,关上这个软件,抉择开启mtp媒体反对就ok了。(预计用mac的大佬,用安卓手机的人也比拟少吧) 以上内容出处:https://blog.csdn.net/tr1912Linux1、FinalShell网站:http://www.hostbuf.com/ 这个软件是一款国人研发的,UI界面和性能比拟好的工具,相似于xshell和xftp的合体,然而又不仅限于此,还包含了主机的网络方面的监控等相似性能,看着截图挺好的,不过须要付费,我就先打搅了。 具体的装置与应用操作指南请参阅:良心国产工具,比Xshell好用还收费! 2、webssh这个工具是应用Python开发,能够从上面地址理解详情。 官网:https://pypi.org/project/webssh/ webssh这个工具能够干啥?? 在linux机器上装置python环境,并且应用命令pip3 install webssh,装上这个模块 咱们就能够在浏览器web页面登录咱们的linux机器,是不是很弱小! 具体的装置与使用指南请参阅:这款 Web SSH 客户端工具超牛逼!爱了 对于WebSSH工具,之前还介绍过一款,是用  SpringBoot+Websocket+jsch+xterm.js开发进去的,也还比拟好用、实用。具体的装置与操作指南请参阅:这款国产SSH客户端很牛逼!网友直呼:666 好的工具,不仅应用起来比拟得心棘手,也在肯定水平上极大的进步了咱们的工作效率,所以,好工具是咱们IT老司机们日常工作中不可短少的好帮手。 更多、更好用、更实用的工具举荐,请查阅民工哥专门给大家建设的专栏文章:Tools 系列专栏 间接点击红字即可进入,你也能够点击右上角的拜访按钮拜访它,只有它一更新就会告诉你,也能更快、更及时的晓得一些比拟好用的工具举荐。 也欢送大家留言,分享你工作遇到的好用的SSH客户端工具,咱们一起学习共同提高工作效率。

June 30, 2021 · 1 min · jiezi

关于运维:Linux运维职业困惑给你史上最全互联网Linux工作规划

首先恭喜你抉择学习Linux,你可能行将踏上Linux的工作之旅,登程之前,让我带你来看一看对于Linux和Linux运维的所有 Linux因其高效率、易于裁剪、利用广等劣势,成为了当今中高端服务器的次要操作系统,并且处于一个不可代替的位置。Linux可装置在各种计算机硬件设施中,比方手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。随着Linux在中国市场迅猛发展,国内Linux人才缺口逐步凸显。Linux人才招聘也成了以后最热门的招聘之一。 首先linux是一个十分十分大的概念。想全副吃透是不可能的。现实的说,搞懂linux,就能够做所有工作。集体更偏向于说想做什么样工作,须要学linux的哪局部。 按集体教训介绍下常见的linux有哪些畛域,并对应到什么工作。 1)linux利用。这部分严格来说不能算是linux,只是跑在linux上的利用,比方web,网络,IT等,职业包含零碎研发,后盾开发,服务器性能优化,运维等; 2)linux定制。这部分波及linux版本的用户包较多,内核会有一些波及,次要各种商业linux的订制,服务等。比方redhat之类,不少是外国公司,国内大多招现场反对等。 3)linux内核开发。这部分次要是linux内核驱动的开发。简直全副是编程工作。次要是芯片公司,以及应用芯片的产品开发公司。前者如intel,marvell,后者如中兴华为。 4)android衍生品。因为android包含缓缓火爆的tizen都用的linux内核,所以理由同3。所以手机芯片公司和手机开发公司也是linux开发者的雇主之一。比方高通,TI等。 一、Linux运维的次要工作内容Linux运维作为泛滥工作中需要人数最多,薪资待遇最高的岗位,本文重点介绍Linux运维的职业,本文内容由专门钻研Linux运维学习和职业倒退的机构马哥教育和爱好者们联结撰写。 互联网Linux运维工作,以服务为核心,以稳固、平安、高效为三个基本点,确保公司的互联网业务可能7×24小时为用户提供高质量的服务。运维的职责笼罩了产品从设计到公布、运行保护、变更降级及至下线的生命周期。 产品的整个生命周期里运维的职责重要而宽泛,但运维工程师们的职责不仅限于这部分工作,还须要总结工作中遇到的问题,抽取出相干的技术方向、研发相干的工具和平台以反对/优化业务的倒退并进步运维的效率,相干技术工作次要包含: 服务监控技术:包含监控平台的研发、利用,服务监控准确性、实时性、全面性的保障服务故障治理:包含服务的故障预案设计,预案的自动化执行,故障的总结并反馈到产品/零碎的设计层面进行优化以进步产品的稳定性服务容量治理:测量服务的容量,布局服务的机房建设,扩容、迁徙等工作服务性能优化:从各个方向,包含网络优化、操作系统优化、利用优化、客户端优化等,进步服务的性能和响应速度,改善用户体验服务全局流量调度:接入服务的流量,依据容量和服务状态在各个机房间调配流量服务任务调度:服务的各种定时/非定时工作的调度触发及状态监控服务平安保障:包含服务的拜访平安、防攻打、权限管制等数据传输技术:包含p2p等各类传输技术的研发利用,也远距离大数据传输等问题的解决服务主动公布部署:部署平台/工具的研发,及平台/工具的应用,做到平安、高效的公布服务服务集群治理:包含服务的服务器治理、大规模集群治理等服务老本优化:尽可能升高服务运行应用的资源,升高服务运行老本数据库治理(DBA):通过设计、开发和治理高性能数据库集群,使数据库服务更稳固、更高效、更易于治理。平台化的开发:类docker等平台的开发治理,及服务接入技术分布式存储平台的开发优化与接入但凡关系到服务质量、效率、老本、平安等方面的工作,及波及到的技术、组件、工具、平台都在运维的技术领域里。做好每一个技术方向、实现相应的组件、工具、平台研发都能对履行运维职责起到踊跃的作用,对业务的倒退施展要害影响。 二、Linux运维工作分类运维的工作方向比拟多,随着业务规模的一直倒退,越成熟的互联网公司,运维岗位会划分得越细。以后很多大型的互联网公司,在初创期间只有零碎运维,随着规模扩充、服务质量的要求进步,也逐步进行了工作细分。个别状况下运维团队的工作分类(见图1-1)和职责如下。 2.1-利用运维(SRE)利用运维负责线上服务的变更、服务状态监控、服务容灾和数据备份等工作,对服务进行例行排查、故障应急解决等工作,工作职责如下:设计评审、服务治理、资源管理、例行查看、预案治理、数据备份。 2.2-零碎运维(SYS)负责IDC、网络、CDN和根底服务的建设(LVS、NTP、DNS);负责资产治理,服务器选型、交付和培修,工作职责如下:IDC数据中心建设、网络建设、LVS负载平衡和SNAT建设、CDN布局和建设、服务器选型、交付和保护、内核选型和OS相干保护工作、资产治理、根底服务建设。 2.3-数据库运维(DBA)数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化,对数据库进行变更、监控、备份、高可用设计等工作,具体的工作内容如下:设计评审、容量布局、数据备份与灾备、数据库监控、数据库安全、数据库高可用和性能优化、自动化零碎建设、运维研发、运维平台、监控零碎、自动化部署零碎。 2.4-运维平安(SEC)运维平安负责网络、零碎和业务等方面的平安加固工作,进行惯例的平安扫描、浸透测试,进行平安工具和零碎研发以及安全事件应急解决,工作内容如下:平安制度建设、平安培训、危险评估、平安建设、平安合规、应急响应。 三、Linux运维日常应用软件和技能运维工程师应用的运维平台和工具包含: Web服务器:apache、tomcat、nginx、lighttpd监控:nagios、ganglia、cacti、zabbix主动部署:ansible、sshpt、salt配置管理:puppet、cfengine负载平衡:lvs、haproxy、nginx传输工具:scribe、flume备份工具:rsync、wget数据库:mysql、oracle、sqlserver分布式平台:hdfs、mapreduce、spark、storm、hive分布式数据库:hbase、cassandra、redis、MongoDB容器:lxc、docker虚拟化:openstack、xen、kvm平安:kerberos、selinux、acl、iptables问题追究:netstat、top、tcpdump、last运维以技术为根底,通过技术保障产品提供更高质量的服务。运维工作的职责及在业务中的地位决定了运维工程师须要具备更加博大的常识和深刻的技术能力: 扎实的计算机基础知识,包含计算机系统架构,操作系统,网络技术等;通用利用方面须要理解操作系统、网络、平安,存储,CDN,DB等,晓得其相干原理;编程能力,小到运维工具的开发大到大型运维零碎/平台的开发都须要有良好的编程能力;数据分析能力:可能整顿、剖析零碎运行的各项数据,从中发现问题及找到解决方向;丰盛的零碎常识,包含零碎工具、典型零碎架构、常见的平台选型等;综合利用工具和平台的能力; 四、Linux运维工作倒退过程晚期的运维团队在人员较少的状况下,次要是进行数据中心建设、根底网络建设、服务器洽购和服务器装置交付工作。简直很少波及线上服务的变更、监控、治理等工作。这个时候的运维团队更多的属于根底建设的角色,提供一个简略、可用的网络环境和零碎环境即可。 随着业务产品的逐步成熟,对于服务质量方面就有了更高的要求。这个时候的运维团队还会承当一些服务器监控的工作,同时会负责LVS、Nginx等与业务逻辑无关的4/7层运维工作。这个时候服务变更更多的是逐台的手工操作,或者有一些简略批量脚本的呈现。监控的焦点更多的在服务器状态和资源应用状况上,对服务利用状态的监控简直很少,监控更多的应用各种开源零碎如Nagios、Cacti等。 因为业务规模和复杂度的继续减少,运维团队会逐步划分为利用运维和零碎运维两大块。利用运维开始接手线上业务,逐渐发展服务监控梳理、数据备份以及服务变更的工作。随着对服务的深刻,利用运维工程师有能力开始对服务进行一些简略的优化。同时,为了应答每天大量的服务变更,咱们也开始编写各类运维工具,针对某些特定的服务可能很不便的批量变更。随着业务规模的增大,基础设施因为容量布局有余或抵挡危险能力较弱导致的故障也越来越多,迫使运维人员开始将更多的精力投入到多数据中心容灾、预案治理的方向上。 业务规模达到肯定水平后,开源的监控零碎在性能和性能方面,曾经无奈满足业务需要;大量的服务变更、简单的服务关系,以前靠人工记录、工具变更的形式不论在效率还是准确性方面也都无奈满足业务需要;在平安方面也呈现了各种大大小小的事件,迫使咱们投入更多的精力在平安进攻上。逐步的,运维团队造成之前提到的5个大的工作分类,每个分类都须要有专精的人才。这个时候零碎运维更专一于基础设施的建设和运维,提供稳固、高效的网络环境,交付服务器等资源给利用运维工程师。利用运维更专一于服务运行状态和效率。数据库运维属于利用运维工作的细化,更专一于数据库畛域的自动化、性能优化和平安进攻。运维研发和运维平安提供各类平台、工具,进一步晋升运维工程师的工作效率,使业务服务运行得更加稳固、高效和平安。 咱们将运维倒退过程划分为4个阶段,如图1-2所示。 手工治理阶段:业务流量不大,服务器数量绝对较少,零碎复杂度不高。对于日常的业务管理操作,大家更多的是逐台登录服务器进行手工操作,属于各自为战,每个人都有本人的操作形式,短少必要的操作规范、流程机制,比方业务目录环境都是各式各样的。 工具批量操作阶段:随着服务器规模、零碎复杂度的减少,全人工的操作形式曾经不能满足业务的疾速倒退须要。因而,运维人员逐步开始应用批量化的操作工具,针对不同操作类型呈现了不同的脚本程序。但各团队都有本人的工具,每次操作需要发生变化时都须要调整工具。这次要是因为对于环境、操作的标准不够,导致可程序化解决能力较弱。此时,尽管效率晋升了一部分,但很快又遇到了瓶颈。操作的品质并没有太多的晋升,甚至可能因为批量执行而导致更大规模的问题呈现。咱们开始建设大量的流程标准,比方复查机制,先上线一台服务器察看10分钟后再持续前面的操作,一次降级实现后至多要察看20分钟等。这些次要还是靠人来监督和执行,但在理论过程中执行往往不到位,反而升高了工作效率。 平台治理阶段:在这个阶段,对于运维效率和误操作率有了更高的要求,咱们决定开始建设运维平台,通过平台承载规范、流程,进而解放人力和提高质量。这个时候对服务的变更动作进行了形象,造成了操作方法、服务目录环境、服务运行形式等对立的规范,如程序的启停接口必须包含启动、进行、重载等。通过平台来束缚操作流程,如下面提到的上线一台服务器察看10分钟。在平台中强制设定暂停检查点,在第一台服务器操作实现后,须要运维人员填写相应的查看项,而后才能够继续执行后续的部署动作。 零碎自调度阶段:更大规模的服务数量、更简单的服务关联关系、各个运维平台的林立,原有的将批量操作转化成平台操作的形式曾经不再适宜,须要对服务变更进行更高一层的形象。将每一台服务器形象成一个容器,由调度零碎依据资源应用状况,将服务调度、部署到适合的服务器上,自动化实现与周边各个运维零碎的联动,比方监控零碎、日志零碎、备份零碎等。通过自调度零碎,依据服务运行状况动静伸缩容量,可能自动化解决常见的服务故障。运维人员的工作也会前置到产品设计阶段,帮助研发人员革新服务使其能够接入到自调度零碎中。 在整个运维的倒退过程中,心愿所有的工作都自动化起来,缩小人的反复工作,升高常识传递的老本,使咱们的运维交付更高效、更平安,使产品运行更稳固。对于故障的解决,也心愿由预先解决变成提前发现,由人工解决变成零碎主动容灾。 五、2020年Linux运维必须抓住的前沿技能这是技术世界正在产生的粗浅改革的冰山一角,那么问题来了? 作为传统的运维该如何转型呢? 这里给出一点小的倡议:大抵须要学习下这四个局部: 自动化运维(Ansible,Puppet,Saltstack等)Devops(Docker,K8s,Jenkins,Jira等),云服务技术(虚拟化、OpenStack、AWS及阿里云各种产品服务架构等)python想理解更多的Linux运维的技术干货就扫描下方二维码关注我吧 想要理解更多的Linux运维常识和技术的关注我每天继续为你输入 我也为大家筹备了20G的精美学习材料快来支付把!

June 29, 2021 · 1 min · jiezi

关于运维:运维更简单更智能让运维人不再-拼命

简介: 云原生智能运维解决方案,利用大数据为企业日常运维服务,通过可观测数据,交融智能告警与响应中枢,联合机器学习的办法进一步解决自动化运维所未解决的问题,让运维更简略、更智能。 在90%的科幻片中万能的“AI助手”永远是不能短少的角色20年前有心系人类的“桑尼”当初更是有帮忙援救世界的“贾维斯” 导演们天马行空的设想也为后续的“AI”倒退定下了根底框架 如果说男生从小的空想就是领有一个万能的“AI助手”那么在IT届一个万能的“AI助手”就是运维工程师们的“续命法宝”运维“攻城狮”们作为IT届最狠的角色007已是粗茶淡饭抱着机器睡觉更是日常操作曾有人说过“闹铃一响就起床的,都是狼人”而这仅仅是运维攻城狮们的根本要求 因为传统运维形式的局限他们永远背着最惨重的锅做着最累的活在每个夜深人静,眼皮打架的早晨他们多心愿能有个“田螺姑娘”替他们实现所有工作 因而AIops的理念开始被人提及将AI与大数据联合基于已有的运维数据通过机器学习的形式进一步解决自动化运维没方法解决的问题 因而阿里云推出云原生智能运维解决方案利用大数据为企业日常运维服务通过可观测数据交融智能告警与响应中枢联合机器学习的办法进一步解决自动化运维所未解决的问题让运维更简略、更智能 试想每天醒来时谁不想有一个智能的助手帮你收集每日的热点新闻帮你预测每日的天气情况帮你粗疏地布局路线替你实现所有琐碎但又不得不去做的事件 而阿里云智能运维解决方案推出的全新一代云原生可观测平台对于运维工程师们就是这样一个万能“AI助理” 在云原生时代数字化正在各行业推动业务翻新但在面对企业数字化转型的过程中传统IT运维计划往往会面对以下几个挑战 企业在日常工作中日志/监控/链路/事件/审计等工作数据往往会散落在多个零碎因而运维工程师们在日常工作时须要将各类数据进行拷贝后 再进行解决这就大大增加了其工作复杂度 针对数据孤岛的挑战阿里云全新一代云原生可观测平台可将各类可观测数据进行对立存储买通可观测数据交融剖析零碎全链路的“可察看”最终突破数据孤岛的窘境 在企业经营的过程中因为数据类型以及业务指标不同一个企业须要建设多套零碎依据相干报告72%的企业须要依赖9种或以上的运维工具 针对运维工具碎片化的问题阿里云全新一代云原生可观测平台内置多种运维工具实现数据一站式解决辞别运维工具多、杂、乱的窘境帮忙企业开掘更多数据价值与利用能力 随着企业的倒退数据架构会随着业务需要逐步变简单一旦呈现某些异样稳定告警数据将会大量涌入有超60%的企业每月收到5000条告警但人工的能力毕竟无限难以在短时间内解决完这些告警数据 阿里云全新一代云原生可观测平台可为用户提供智能降噪性能利用AI能力将各类告警进行智能收集规整为用户筛选出真正有用的告警信息 因为传统运维更偏差于“救火式运维”往往都是在呈现故障后人工紧急上线进行修复因而运维工程师们得拿出熬鹰的精力利用人海战术来“熬机器”以求能在呈现问题之后最快地解决问题防止造成更大的损失 因而针对不足问题预防伎俩这一问题阿里云新一代云原生可观测平台联合大数据+AI的能力利用机器自适应学习异样检测提前发现隐患防止演变成严重事故 在这个云的时代数字化正在各行业推动业务翻新只有晋升用户体验减速翻新更新基础设施与架构利用好多样化的数据能力在整体大环境中怀才不遇 阿里云推出的智能运维平台不仅仅是要帮忙工程师缩小工作量更多的是心愿能让运维工程师们从各种机械化的工作中解脱而咱们将会包揽所有的“脏活累活”让故障的工夫大幅放大让运维人将更多创造力放在数字翻新以及企业业务翻新上为企业提供提供更优的竞争力 原文链接本文为阿里云原创内容,未经容许不得转载。

June 29, 2021 · 1 min · jiezi

关于运维:全链路压测体系建设方案的思考与实践

简介:在阿里淘宝双11 的过程中,长期以来都是在生产环节做全链路压测的,通过实际咱们发现在生产环境中做压测,实际上会和一个 IT 组织的构造、成熟度、流程等严密相干,所以咱们把全链路压测从简略的制作范畴内脱离进去,变成整个业务连续性的计划。 在阿里淘宝双11 的过程中,长期以来都是在生产环节做全链路压测的,通过实际咱们发现在生产环境中做压测,实际上会和一个 IT 组织的构造、成熟度、流程等严密相干,所以咱们把全链路压测从简略的制作范畴内脱离进去,变成整个业务连续性的计划。 本文分四个方面为大家论述:第一,整个全链路压测的意义,为什么要在生产环节上做全链路压测;第二,对于落地的技术点和解决方案;第三,生产过程中做全链路压测流程上的倡议,思考到每个组织的承受度不一样,给大家提供一些倡议;第四,如何在第三方实现整个在生产环境中做业务连续性包含压测的后果。 全链路压测的意义 上图显示了三个问题,实际上是不同的 IT 组织在和测试交换的时候,这三个问题是比拟有代表性的。 很多测试同行说他们线下也做过性能测试,然而到了线上之后还是存在很多问题,因为不太可能会在线下模仿一个跟线上 1:1 的环境。在有很多第三方接口的状况下,大家也很少会去模仿线上整个场景。因而咱们在线下做了很多测试工作后,总结出了为什么很多从线下容量推导到线上容量的公司却最终成果不是很好,就是这样的起因。 当初所有的 IT 组织都在搞 DevOps,咱们的性能从一个月迭代一次到当初一周迭代一次,留给测试的工夫越来越短。功能测试工夫从之前的一周、两周缩短到当初三四天、两三天的工夫,那性能测试就没有方法按时上线,很有可能会呈现各种各样的性能问题,这会间接影响到企业的品牌影响力。 平时线上水位比拟低,很少达到高峰期,然而会呈现一些突发状况。比方像去年的疫情使得很多公司的业务变成在线业务。比方教育行业,之前是课堂上老师面对面的教育,当初抉择线上在线平台来做,这类突发的状况会使测试工程师,包含开发运维团队受到很大的困扰。在这之前我先介绍一个概念,这个概念是由《黑天鹅》的原作者 Nassim Nicholas Taleb 提出,概念核心是软弱与反软弱。 什么是软弱?软弱就像玻璃,大家晓得玻璃很脆易碎。软弱的反义词是什么?不是强韧也不是坚韧,可能是反软弱。什么是反软弱呢?比方乒乓球,大家晓得乒乓球在地上不必很大的力就能够毁坏掉,踩一脚就毁坏掉了,然而高速静止的状况下,乒乓球咱们施加的力度越大,它的反弹力度越大,阐明乒乓球在静止过程中有反软弱的个性。 咱们的 IT 零碎实际上也是这样的。不论什么代码都不能保障是齐全没有问题的,咱们的基础设施可能也是软弱的,像服务器、数据库等总会有局限。咱们的框架也总是软弱的,将这些问题综合在一起,咱们心愿通过某些伎俩,比方通过预案、危险的辨认,或者通过一些熔断的伎俩,最终把这些货色组合在一起,让整个 IT 零碎有反软弱的个性。总之,咱们心愿通过一些伎俩使得 IT 零碎有足够的冗余,而且有足够多的预案应答突发的不确定性危险。 如何打造 IT 零碎反软弱能力呢?咱们心愿通过一些伎俩,比如说像线上的压测能力,提供不确定的因素,接着通过在这个过程中实时监控,包含预案的能力,最终把这些不确定性的因素辨认进去,并且在线上生产压测过程中对它做一些解决,更多可能会通过预先复盘等形式,做到对不确定性因素的辨认。接着咱们可能会在生产环境中通过之前的伎俩,在生产环境上做一个稳定性的常态化压测,实现长期稳固的场景,最终咱们可能达到反软弱能力所须要的整体监控的能力、经营防护能力,以及管控路由能力,这会让整个 IT 零碎具备反软弱的个性。 全链路压测解决方案 如何在生产环境上做全链路压测?它须要用到哪些技术手段? 压测过程演变 个别状况下,测试是怎么样从线下一点点往线上演变的?我把它分为四个阶段: 目前绝大多数 IT 能够做到的是线下单零碎压测,即针对单个接口或者单个场景做压测,同时也会做系统分析和性能剖析。但在简单的业务场景之下,咱们可能没方法去充沛发现问题,很多都是由开发或者测试同学自发进行的流动。 咱们成立了一个相似于测试实验室或者测试组织的机构,这样一个大的部门可能会结构出一批相似于生产环境的性能测试环境,在这下面咱们可能会做更多的事件,比如说做一个线下环境的全链路压测,并且咱们能够依据之前积攒的教训在下面做一些线下的回归,包含性能的诊断等。其实这一步相当于整个测试往前再走一步,对测试环境中的链路做一些剖析,在下面演变一些能力,比如说危险的管制等等。 目前绝大部分 IT 企业和互联网企业违心尝试线上生产环境的业务压测。这部分实际上和之前的第二阶段相差不多,然而在这个过程中人为的把它分为了两层:第一层是单纯的做全链路压测,很多 IT 公司曾经在非生产环节中做了只读业务的压测,因为这样不会对数据造成净化。而再往下一层 ,有些组织可能会在失常生产时段中做进一步的全链路压测,这种状况下咱们就会要求这个组织领有更高的能力。 比如说咱们须要对整个压测流量做一些染色,可能辨别进去失常的业务数据,失常的流量和非正常的压测流量,可能有的会做一些环境的隔离,而在业务生产期间内咱们做生产的压测,须要思考到整个流量的偏移、限流,包含熔断机制等。不管怎样做业务,可能都会对最终的生产业务造成肯定的影响,真正呈现问题的时候可能须要有疾速的熔断机制。 做到压缩熔断渲染,包含对熔断的机制——有了这样的能力之后,最初一个阶段就是整个生产链路的全链路压测,包含读写,它就具备了根本能力。这个方面咱们其实更多的是通过引入库表,加上技术手段,在这个生产上做全链路压测,包含读业务、写业务等,同时咱们有系统故障演练和生产变更演练的能力,在这种状况下咱们可能最终具备了数据隔离能力、监控隔离能力和日志隔离能力。 全链路压测关键技术 对于整个全链路压测来说,咱们须要几个要害的技术: ...

June 28, 2021 · 1 min · jiezi

关于运维:阿里云ECS-Cloudbuild开发者大赛等你挑战

简介:大赛从即日起至8月4日10:00均可报名,赛事总奖金池高达40万元。 云已成趋势,将来置信会有越来越多的IT服务,间接在云上创立、部署和优化。这样的背景下,如何利用云上的资源与依据云的特点,构建兼具高性能、高稳固、高性价比的IT服务,曾经成为IT从业人员的支流话题之一。 阿里云弹性计算ECS是简直每一位阿里云用户最早接触到的云产品,ECS提供了兼具性能、稳固与灵活性的计算底座,让每一位用户高效、便捷地开发和运维本身的产品服务。 6月24日,围绕“Cloudbuild云上开发”的主题,第一届“云上开发,高效智能——阿里云ECS Cloudbuild开发者大赛”,在阿里云天池官网正式开赛。 本次大赛由阿里云与英特尔联袂主办,聚焦用户在云上开发时最为关怀的高可用、高稳固的命题,设置了性能挑战赛和算法挑战赛两个赛道,让参赛者体验云上开发高效便捷,挑战阿里云ECS的性能与稳固的极限。大赛全程有多名阿里云资深技术专家提供技术支持,与宽广开发者互相学习与探讨。 大赛现已面向全社会凋谢报名,集体开发者、高等院校、企业、科研单位等人员均可报名参赛,为宽广开发者以及相干的科研企业提供挑战平台。 理解赛事介绍及赛题详情,请拜访大赛官网: https://tianchi.aliyun.com/specials/promotion/ecscloudbuild2021 双赛道比拼,聚焦云上开发高可用在应用公共云创立本身服务时,企业和开发者最关怀,莫过于资源的高性能、高稳固和高性价比。本次的赛题别离从最企业通用的业务零碎和底层资源稳定性能的角度登程,设置了性能挑战赛和算法挑战赛两个赛道。 Web Service是各行业中最为常见的零碎状态之一,性能挑战赛题探讨Web Service在云上部署的性能优化,心愿参赛者通过代码撰写、操作系统与数据库选型、各种参数调优等伎俩,优化云端Web服务的性能和保障服务的高可用。 阿里云公布的第七代云服务器ECS,搭载第三代代英特尔®至强®可扩大处理器(代号Ice Lake)以及阿里云自研的第三代神龙架构,性能比上一代晋升40%,如 MySQL、Redis、Nginx 等场景下,性能最大晋升 50%,大幅晋升高负载互联网利用场景的解决能力,本赛道将基于这款云服务器进行,心愿通过此次较量能够更具体更全面地展现其性能。 除了性能优异,阿里云弹性计算服务还堪称“稳如磐石”,这与背地的技术团队——神龙计算平台在稳定性技术方面的钻研分不开。当先的故障预测算法是弹性计算实现高稳固的起因之一。通过宕机异样预测技术,弹性计算技术团队能够在宕机产生前将业务迁徙走或者及时排查,以防止服务器异样导致的业务受损。 导致服务器宕机的因素十分多,其中内存谬误是引发宕机的次要因素之一。算法挑战赛赛题次要探讨如何精确预测内存零碎异样引起的服务器异常情况。 炽热报名中,40万奖金+超奢华专家阵容本届大赛从即日起至8月4日10:00均可报名,赛事总奖金池高达40万元,通过初赛、复赛两轮比试后,各赛道复赛成绩排名TOP 6的参赛队伍选手代表,将别离受邀加入10月举办的决赛问难。 “云上开发,高效智能——阿里云ECS Cloudbuild开发者大赛”全程将有资深技术专家为参赛选手们提供业余的技术答疑和领导,大赛还领有奢华专家阵容,包含: 阿里云高级研究员、根底产品负责人蒋江伟,阿里云研究员、弹性计算负责人张献涛,阿里云研究员、神龙计算平台负责人蒋林泉,加上郑旭东、田涛涛、吴君印、朱明、马旭华和王雨农等多名阿里云技术大咖全程反对;还有英特尔数据中心事业部解决方案架构师束文辉、软件架构师斯佩峰等提供技术支持。 评委们均是云上架构、性能和稳定性畛域的资深专家,具备丰盛的钻研和实战经验,他们对赛题的解读和评审,置信能给到选手不少启发。 阿里云根底产品负责人蒋江伟示意:“阿里云提供了极致的弹性,稳固的计算、存储、网络等资源底座,以及多种自动化部署和运维的自服务能力,心愿这次大赛,能让更多选手们充分利用这些能力,体验到云上开发的高效便捷,诞生出更多云上最佳实际。” 阿里云弹性计算负责人张献涛示意:“作为最常见与通用的服务之一,Web Service性能优化看似简略的,但也是企业开发运维人员日常思考得最多的一个问题:如何在无限的资源内,提供最优性能和稳定性?其中蕴含着资源抉择、操作系统选型、代码优化和零碎参数调整等多层次的思考,其中还须要利用云上多样化的自动化运维套件晋升资源部署效率。” 阿里云神龙计算平台负责人蒋林泉示意:“凭借弹性计算十多年的大规模实际和数据积攒,配合上阿里达摩院的机器学习算法,阿里云弹性计算的故障预测算法,尤其是内存故障预测算法的准确率,在业内处于领先水平。参赛者须要联合业务场景和算法,能力出奇制胜,心愿这次的较量能发明更多惊喜,让咱们发现更多优良的工程师。” 云,是这个时代开发者翻新的最短门路,也是企业获取技术红利的最佳平台,阿里云和英特尔,心愿通过这次较量,能让更多开发者与企业充沛用好云、管好云,进一步享受云带来的技术红利。 报名入口及赛题详情炽热报名中,40万奖金+超奢华评委阵容等你来!点击下方链接即可报名。 理解赛事介绍及赛题详情,请拜访大赛官网: https://tianchi.aliyun.com/specials/promotion/ecscloudbuild2021 “构建一个高性能、高稳固的Web Service”赛道报名: https://tianchi.aliyun.com/competition/entrance/531907/information “设计一个内存故障预测算法” 赛道报名: https://tianchi.aliyun.com/competition/entrance/531906/introduction 更多信息请扫码退出“云上开发,高效智能——阿里云ECS Cloudbuild开发者大赛”选手问答钉钉群:33291125,最新告诉将会第一工夫在群内同步。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 28, 2021 · 1 min · jiezi

关于运维:讲解COMP3141-Tortoise-Graphics

COMP3141 Assignment 1Tortoise GraphicsVersion 1.1Term 2, 2021Marking Total of 20 marks (10% of course mark)Due Date Friday 2 July 2021, 12pm Sydney Time.Late Penalty The maximum available mark is reduced by 10% if the assignment is oneday late, by 25% if it is 2 days late and by 50% if it is 3 days late. Assignmentsthat are late 4 days or more will be awarded zero marks. So if your assignment isworth 88% and you submit it one day late you still get 88%, but if you submit ittwo days late you get 75%, three days late 50%, and four days late zero.Submission Instructions The assignment can be submitted using the ‘give’ system.To submit from a CSE terminal, type:$ give cs3141 Tortoise TortoiseCombinators.hsOverviewIn this assignment, you will implement various extensions to a simple graphics drawinglanguage, the Tortoise Graphics Language, embedded in Haskell. It is intended to giveyou experience writing Haskell programs, including functional programming idioms, aswell as experience programming to algebraic specifications expressed as QuickCheckproperties. These specifications will introduce you to concepts such as monoids, thedistinction between syntax and semantics, and various notions of composition.1Provided CodeThe provided code consists of a number of modules:Main.hs contains a main function to save an example image to ‘tortoise.png’. It alsoincludes a series of example graphics of increasing complexity. Initially, only thefirst example will work.Tests.hs QuickCheck specifications for all functions you must implement, as well asany support code to run the tests, depending on your environment.TestSupport.hs contains support code such as Arbitrary instances and alternativetest data generation strategies for use when you are testing this assignment, andfor when we are marking it.Tortoise.hs contains the definitions for the syntax and semantics of the TortoiseGraphics Language.TortoiseGraphics.hs contains a graphical backend (using the rasterific library) forthe Tortoise Graphics Language, to actually visualise your graphics.TortoiseCombinators.hs contains stubs for the additional functions you are requiredto implement.Note: The only file you can submit is ‘TortoiseCombinators.hs’, so make sure yoursubmission compiles with the original versions of all other files.The Tortoise Graphics LanguageSimon the Tortoise has decided to take up line drawing as his latest hobby. Unfortunatelyfor him, he lacks any artistic inspiration and is unable to dream up even the simplestpicture. He is, however, very good at understanding Haskell programs1. To help Simonout, we’ve come up with a little language of drawing commands, and defined it as aHaskell data type (in ‘Tortoise.hs’):data Instructions = Move Distance Instructions| Turn Angle Instructions| SetStyle LineStyle Instructions| SetColour Colour Instructions| PenDown Instructions| PenUp Instructions| Stoptype LineWidth = Intdata LineStyle = Solid LineWidth | Dashed LineWidth | Dotted LineWidthtype Angle = Integer -- Degrees1Not unlike many other people named Simon.2type Distance = Integer -- Pixelstype Point = (Integer, Integer) -- (x, y)data Colour = Colour { redC, greenC, blueC, alphaC :: Int }The data type Instructions is the syntax of our Tortoise Graphics Language. With thislanguage, we can do all the artistic thinking, and encode our pictures as Instructionsfor Simon to follow. When Simon moves, if the pen is down, he will also draw a linefrom his starting point to his ending point.We define a Picture to be a series of Lines, drawn in order. A Line consists of a linestyle, a colour, a start point, and an end point2:data Line = Line LineStyle Colour Point Pointtype Picture = [Line]Thus, Simon’s job is simple: Given an initial state (consisting of a starting position,angle, colour etc.), follow the instructions to produce a Picture and a final state:tortoise :: Instructions -> (TortoiseState -> (Picture, TortoiseState))This tortoise function defines the semantics, or meaning, of our Tortoise GraphicsLanguage. It maps syntax (Instructions) to a domain of state transformers thatreturn a Picture. In computer science literature, the expression tortoise i wouldusually be written as JiK, but we shall stick to our Haskell-based notation. We alsodefine two utility functions that give the picture (resp. final state) produced for a givenset of instructions if we start from the default start state:tortoisePic :: Instructions -> PicturefinalState :: Instructions -> TortoiseStateWith the basic Tortoise Graphics Language defined, we can now (in ‘Main.hs’) producesyntax for a simple square:square :: Distance -> Instructionssquare s = Move s $ Turn 90$ Move s $ Turn 90$ Move s $ Turn 90$ Move s $ Turn 90$ Stop -- The dollar operator allows us to avoid nested parens.You can use the provided drawPicture function (from ‘TortoiseGraphics.hs‘) to pro-duce an image from a Picture, and writePng to save it to disk:main = dowritePng "tortoise.png" (drawPicture (tortoisePic (square 100)))We have defined the basic language, but large drawings are very cumbersome to writedirectly. To remedy this, you must define a set of so-called combinators, functionsthat act on Instructions to let build bigger drawings out of smaller ones. Eachof these combinators has been specified in ‘Test.hs’. You must implement them in‘TortoiseCombinators.hs’.2Note that we have defined equality on Lines to treat a line A?B and a line B ?A as equal.3Sequential Composition (4 marks)The first combinator you must implement is a way to take two sets of Instructionsand combine them into one, one after another:andThen :: Instructions -> Instructions -> InstructionsThe specification for this function is given in the form of QuickCheck properties in‘Test.hs’. As it is a composition operator, we expect it to be associative, and have aleft and right identity with Stop:Stop ‘andThen‘ i = i (andThen left id)i ‘andThen‘ Stop = i (andThen right id)i1 ‘andThen‘ (i2 ‘andThen‘ i3) = (i1 ‘andThen‘ i2) ‘andThen‘ i3 (andThen assoc)Algebraically, the above properties mean that the triple (Instructions, andThen, Stop)form a monoid.Semantically, this combinator corresponds to the notion of sequential composition — thatis, doing one thing after another. We define sequential composition of state transformersby running the first state transformer with the given state, then running the second withthe output state of the first, and concatenating their outputs3:comp :: (a -> (Picture, b)) -> (b -> (Picture, c))-> (a -> (Picture, c))comp f g a = let (p , b) = f a(p', c) = g bin (p ++ p', c)Then, our correctness property for andThen can succinctly state the relationship betweensyntactic composition and semantic composition:(andThen compose)tortoise (i1 ‘andThen‘ i2) start = comp (tortoise i1) (tortoise i2) startMarking CriteriaMarks Description1 Left identity property passed1 Right identity property passed1 Associativity property passed1 Semantic composition property passed4 Total3We use a more general type than necessary for comp. This helps the type system to aid us to getthe implementation correct. In practice, all the type variables a, b and c will be instantiated toTortoiseState.4Bounded Looping (4 marks)Our next combinator is for bounded looping, that is, repeating the same set of instructionsa fixed number of times:loop :: Int -> Instructions -> InstructionsThe expression loop 0 i should be equivalent to Stop, as should loop n i for any negativen. Any positive n should produce the composition of n copies of i. For example, loop 3 ishould be equivalent to i ‘andThen‘ i ‘andThen‘ i.To define what we expect this combinator to do semantically, we replicate n times thestate transformer for i, and then use the higher-order function foldr to compose themall together:(loop compose)tortoise (loop n i) start = foldr comp nop (replicate n (tortoise i)) startHere nop is the identity state transformer, that does not change the state and returnsan empty picture (i.e. tortoise Stop). To get a better sense of how this works, it maybe instructive to examine the following equational proof of the above property for thecase where n = 3:foldr comp nop (replicate 3 (tortoise i)) start= foldr comp nop (tortoise i : tortoise i : tortoise i : []) start= (tortoise i ‘comp‘ tortoise i ‘comp‘ tortoise i ‘comp‘ nop) start= (tortoise (i ‘andThen‘ i) ‘comp‘ tortoise i ‘comp‘ nop) start= (tortoise (i ‘andThen‘ i ‘andThen‘ i) ‘comp‘ nop) start= tortoise (i ‘andThen‘ i ‘andThen‘ i ‘andThen‘ Stop) start= tortoise (i ‘andThen‘ i ‘andThen‘ i) start= tortoise (loop 3 i) startThis combinator should allow you to try some interesting pictures! For example, thecirclograph and squareograph examples in ‘Main.hs′ are classic examples of Tortoisegraphics. We encourage you to try to express yourself creatively and come up with otherpretty pictures, and share them with your friends.Marking CriteriaMarks Description2 Passes for positive n1 Passes for negative n1 Passes for zero n4 Total5Invisibility (4 marks)The next combinator you must implement is invisibly:invisibly :: Instructions -> InstructionsAs the name suggests, this function takes in some Instructions and produces a newset of Instructions that has the same effect on the tortoise state when starting fromthe initial state start, but does not produce any lines in the picture.tortoise (invisibly i) start = ([], finalState i) (invisibly sems)The PenUp and PenDown constructors govern whether or not to draw lines. While the penis up, no lines are drawn, and while the pen is down, the Move constructor will draw aline as well as move the tortoise. The complication when implementing this combinatoris that the given Instructions may contain these pen-controlling constructors. Youmay find it helpful to start by only handling the cases with simple Move and Turnconstructors, and gradually adding more constructors while keeping tests passing.To assist you in testing your program, you may use the provided newtypes that restricttest data generation to some subset of constructors, MoveTurnOnly and NoPenControl.These types have different Arbitrary instances and therefore will produce different testdata. If you wish to run tests using these subsets, simply change the property definitionfrom, for example:prop_invisibly_sems i = ...to:prop_invisibly_sems (MoveTurnOnly i) = ...Make sure you remove these changes and test with the full set of constructors after youhave implemented it, however! You are only allowed to submit ‘TurtleCombinators.hs’,so any changes you make to ‘Test.hs’ will not be submitted.Hint: You may find it helpful to define a separate helper function that takes additionalarguments, and define invisibly in terms of that helper function. It is also useful tonote that the pen starts down in the initial state start. You should only need to makeone pass through the given Instructions.Marking CriteriaMarks Description1 Passes with just Move, Turn1 Additionally passes with SetStyle, SetColour2 Additionally passes with PenUp, PenDown (i.e. everything)4 Total6Retracing Backwards (4 marks)The next combinator you are to implement is called retrace:retrace :: Instructions -> InstructionsIf a set of instructions i goes from state start to state and produces picture p, then theinstructions retrace i will go from state to start and produce the picture reverse p— that is, the same lines, but in reverse order.(retrace sems)tortoise (retrace i) (finalState i) = (reverse (tortoisePic i), start)Like the previous combinator, you may find it helpful to define retrace with a separatehelper function that takes additional arguments. Also like before, you may wish tostart by retracing simple Instructions such as those containing just Move and Turnconstructors, before moving on to more complicated ones involving style, colour andpen state. You may find it useful to make use of previously-defined combinators suchas andThen in your implementation, but be warned: andThen is O(n) time complexity.Using it here can easily make your retrace function O(n2), which is unacceptably slowfor many real images. To remedy this, you will need to introduce an accumulator. Toillustrate this concept, here is a slow, O(n2) implementation of reverse on lists:reverse :: [a] -> [a]reverse [] = []reverse (x:xs) = reverse xs ++ xAnd here is a linear-time version using an accumulator parameter a:reverse :: [a] -> [a]reverse l = go l []where go [] a = ago (x:xs) a = go xs (x:a)Note that we avoid calling the O(n) time (++) function on each list element in theaccumulator version, and thus reduce the overall complexity from quadratic to linear.One mark is on offer here for writing a linear-time version of retrace. You will alsofind some examples (such as the flowers circlograph example) that do not perform inreasonable time given a quadratic-time retrace. If you have a working, but slow versionof retrace already implemented, I would recomment developing the faster version guidedby an additional QuickCheck property such as:prop_retrace_same i = slowRetrace i == retrace iMarking CriteriaMarks Description1 Passes with just Move, Turn1 Additionally passes with SetStyle, SetColour1 Additionally passes with PenUp, PenDown (i.e. everything)1 O(n) complexity; no quadratic blowup (or worse).4 Total7Overlaying Images (4 marks)The final combinator you must implement is called overlay. It takes in a list ofInstructions and produces a single set of Instructions:overlay :: [Instructions] -> InstructionsIf instructions i1, i2 and i3 produce images p1, p2 and p3 respectively, then the expressionoverlay [i1, i2, i3] returns instructions that produce the combined picture where p1 isdrawn, then p2, then p3, such that p3 appears “on top” of p2, which is in turn “on top”of p1. The overlay function should ensure that the tortoise returns to the initial statestart after drawing any images. If the provided list is empty, the resultant instructionsshould draw nothing.finalState (overlay is) = start (overlay state)tortoisePic (overlay is) = concatMap tortoisePic is (overlay pic)Here we use the higher-order function concatMap to express what we mean about overlaidpictures. Here is a proof sketch for the second property, for our three Instructions i1,i2 and i3:concatMap tortoisePic [i1, i2, i3]= concat (map tortoisePic [i1, i2, i3])= concat [tortoisePic i1, tortoisePic i2, tortoisePic i3])= tortoisePic i1 ++ tortoisePic i2 ++ tortoisePic i3= tortoisePic (overlay [i1, i2, i3])Tip: You can use the combinators you have previously defined such as invisibly andretrace to implement overlay very succinctly.Once you have implemented overlay, you can now generate all of the example imagesin ‘Main.hs’, including the complex circlographograph example.Marking CriteriaMarks Description1 Empty list works1 State is preserved2 Images are concatenated4 Total8Compiling and BuildingThis project has a number of dependencies, specifically the rasterific graphics library,the JuicyPixels image library, the QuickCheck testing library and the test frameworkcalled tasty. For CSE machines, we have already a configured a package databaseon the course account that should build the assignment without difficulty using thestandard Haskell build tool cabal. For students using their own computer, we insteadrecommend the alternative build tool stack, available from the Haskell Stack websiteat https://www.haskellstack.org. We have provided a stack configuration file thatfixes the versions of each of our dependencies to known-working ones. If you use stack toset up your toolchain, you should have minimal compatibility difficulties regardless of theplatform you are using. If you are using versions of GHC or Haskell build tools suppliedby your Linux distribution, these are commonly out of date or incorrectly configured. Wecannot provide support for these distributions.Detailed, assignment-specific instructions for each build tool are presented below.On CSE MachinesEnter a COMP3141 subshell by typing 3141 into a CSE terminal:$ 3141newclass starting new subshell for class COMP3141...From there, if you navigate to the directory containing the assignment code, you canbuild the assignment by typing:$ cabal buildTo run the program from ‘Main.hs’, which saves an image tortoise.png, type:$ ./dist/build/Tortoise/TortoiseTo run the program from ‘Tests.hs’, which contains all the QuickCheck properties,type:$ ./dist/build/TortoiseTests/TortoiseTestsTo start a ghci session for the Tortoise program, type:$ cabal repl TortoiseSimilarly, cabal repl can be used with TortoiseTests. Lastly, if for whatever reasonyou want to remove all build artefacts, type:$ cabal clean9For stack usersFirstly, ensure that GHC has been setup for this project by typing, in the directory thatcontains the assignment code:$ stack setupIf stack reports that it has already set up GHC, you should be able to build the assign-ment with:$ stack buildThis build command will, on first run, download and build the library dependenciesas well, so be sure to have an internet connection active. To run the program from‘Main.hs’, which saves an image tortoise.png, type:$ stack exec TortoiseTo run the program from ‘Tests.hs’, which contains all the QuickCheck properties,type:$ stack exec TortoiseTestsTo start a ghci session for the Tortoise program, type:$ stack repl Tortoise:exe:TortoiseSimilarly, stack repl can be used with TortoiseTests:$ stack repl Tortoise:exe:TortoiseTestsLastly, if for whatever reason you want to remove all build artefacts, type:$ stack cleanMarking and TestingAll marks for this assignment are awarded based on automatic marking scripts, whichare comprised of several QuickCheck properties (based on, but not exactly the sameas, the QuickCheck properties given in this assignment spec). Marks are not awardedsubjectively, and are allocated according to the criteria presented in each section.Barring exceptional circumstances, the marks awarded by the automatic markingscript are final. For this reason, please make sure that your submission compiles andruns correctly on CSE machines. We will use similar machines to mark your assignment.A dry-run script that runs the tests provided in the assignment code will be provided.When you submit the assignment, please make sure the script does not report anyproblems.10Late SubmissionsUnless otherwise stated if you wish to submit an assignment late, you may do so, buta late penalty reducing the maximum available mark applies to every late assignment.The maximum available mark is reduced by 10% if the assignment is one day late, by25% if it is 2 days late and by 50% if it is 3 days late. Assignments that are late 4 daysor more will be awarded zero marks. So if your assignment is worth 88% and you submitit one day late you still get 88%, but if you submit it two days late you get 75%, threedays late 50%, and four days late zero.ExtensionsAssignment extensions are only awarded for serious and unforeseeable events. Havingthe flu for a few days, deleting your assignment by mistake, going on holiday, workcommitments, etc do not qualify. Therefore aim to complete your assignments wellbefore the due date in case of last minute illness, and make regular backups of yourwork.PlagiarismMany students do not appear to understand what is regarded as plagiarism. This isno defense. Before submitting any work you should read and understand the UNSWplagiarism policy https://student.unsw.edu.au/plagiarism.All work submitted for assessment must be entirely your own work. We regard un-acknowledged copying of material, in whole or part, as an extremely serious offence. Inthis course submission of any work derived from another person, or solely or jointly writ-ten by and or with someone else, without clear and explicit acknowledgement, will beseverely punished and may result in automatic failure for the course and a mark of zerofor the course. Note this includes including unreferenced work from books, the internet,etc.Do not provide or show your assessable work to any other person. Allowing anotherstudent to copy from you will, at the very least, result in zero for that assessment. Ifyou knowingly provide or show your assessment work to another person for any reason,and work derived from it is subsequently submitted you will be penalized, even if thework was submitted without your knowledge or consent. This will apply even if yourwork is submitted by a third party unknown to you. You should keep your work privateuntil submissions have closed.If you are unsure about whether certain activities would constitute plagiarism ask usbefore engaging in them! ...

June 26, 2021 · 15 min · jiezi

关于运维:别让SSL证书暴露了你的网站服务器IP

咱们通常会用cdn套到服务器ip上,来为网站或者后端程序做减速、进攻。可是nginx在设计上有个小缺点,会因为ssl证书泄露网站的原IP别让SSL证书裸露了你的网站服务器IP别让SSL证书裸露了你的网站服务器IP 原理用Nginx部署网站,在默认或不正确的配置下,网站开启ssl,间接拜访ip的443端口,即ip:443,Nginx会返回默认一个站点的ssl证书,间接的能让他人扫到这个ip对应的域名。 原理就是对ip的443端口发送clienthello,对方回复的 serverhello中有ssl证书,ssl证书里的common name 有域名信息。这样就晓得了解析这个ip的域名。所以更精确的说是IP的443端口可能会裸露了域名。 动作再大一点,批量扫描机房的ip段,把对应的域名-ip 的多值映射表统计起来。当前想查某个域名对应的源站 ip 查这个表就够了,这是黑产喜爱干的事。 同时也是很多站点,明明套上了cdn,仍然能被打到源站IP的起因。 解决办法禁止间接拜访IP 禁止IP间接拜访网站server { listen 80 default_server; listen [::]:80 default_server; server_name _; return 444;}自签IP的SSL证书,返回444自签证书的目标不是为了拜访,而是避开Nginx的这个缺点。生成自签的IP SSL证书能够用开源的Mkcert(https://myssl.com/create_test_cert.html)工具。Mkcert应用起来略微麻烦,或者用一个测试证书的在线网页工具:https://myssl.com/create_test_cert.html别让SSL证书裸露了你的网站服务器IP别让SSL证书裸露了你的网站服务器IP在填写域名的地位填上IP地址,点生成按钮会自动测试证书展现在上面,各自保留为.pem文件和.key文件。而后在nginx里配置上“return 444”,相似配置大略: {listen 80 ;listen 443 ssl http2 default_server;server_name ip; #HTTP_TO_HTTPS_END ssl_certificate xxxx.pem;ssl_certificate_key xxxx.pem;ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3;return 444; }购买非法IP站点的SSL证书花点小钱买个非法的IP SSL证书配置到nginx里,IP证书个别一二百左右。 加钱,世界触手可及。 仅容许指定cdn的IP拜访Nginx仅容许指定cdn的IP拜访,防止放到公网上被任何人扫。以腾讯云CDN段为例,在Nginx网站配置文件里,增加如下: location / {allow 58.250.143.0/24;allow 58.251.121.0/24;allow 59.36.120.0/24;allow 61.151.163.0/24;allow 101.227.163.0/24;allow 111.161.109.0/24;allow 116.128.128.0/24;allow 123.151.76.0/24;allow 125.39.46.0/24;allow 140.207.120.0/24;allow 180.163.22.0/24;allow 183.3.254.0/24;allow 223.166.151.0/24; deny all;}查一下应用的CDN商家的文档,如果有新的IP段更新,也加到外面。

June 25, 2021 · 1 min · jiezi

关于运维:再见-Jenkins-这款神器有点厉害轻松搞定自动化部署

在日常开发、测试或运维环境中,咱们对于自动化部署的需要日益强烈。 用过 SVN 的小伙伴们,都应该晓得hooks(钩子)这个性能,确实日常企业内部测试环境常常会用过这个“非凡”的性能,通过这个性能来 实现自动更新公布代码的性能。 前面又逐步引入了继续集成、继续部署,最罕用的就是通过Jenkins来配合其它的代码管理工具或平台来实现上述的性能。之前也写过不少的介绍文章:Jenkins+Maven+Svn实现代码主动打包与公布,应用 Gitlab+Jenkins 实现多分支主动独立部署,有趣味的读者能够自行查阅。 然而,基于下面的模式,大家也都晓得,有一些有余的中央,第一就是部署环境比拟麻烦,一堆的组件须要装置,第二对服务器自身的资源条件要求较高。最近发现一个很牛逼的工具 Drone(你还在用 Jenkins ?赶快看看这些代替计划吧!),比下面的工具算是轻量级的选手,但同样能实现自动化部署的性能,所以,明天民工哥给大家分享一下这款吊炸天的工具。 简介 Drone 是一种基于容器技术的继续交付零碎。Drone 应用简略的 YAML 配置文件来定义和执行 Docker 容器中的 Pipelines。目前在 Github上曾经有 23.2K+ Star了,阐明十分受欢迎的。 Drone 与风行的源代码管理系统无缝集成,包含 GitHub,GitHub Enterprise,Bitbucket 等。 后期环境配置应用 github 做为代码治理仓库(其它的也能够,这个比拟不便) 关上github.com点击头像,抉择Settings/Developer settings/OAuth Apps,而后点击New OAuth App创立OAuth利用。 其中 http://drone.mingongge.com 是你部署Drone的域名,留神Authorization callback URL 这个地址不要填写错了。 其中的ClientID和ClientSecret留神保留好,前面须要用到。 部署Drone留神:装置Drone须要一个drone-server和drone-runner, drone-runner不是必选的,官网也不举荐将runner和server装置在同一台服务器上,如果你要这样装置的话能够设置DRONE_AGENTS_ENABLED=false,drone-server将会作为默认的runner,本文是将runner和server装置在同一服务器上。 # Drone的Serverdocker pull drone/drone:1# Drone的Runnerdocker pull drone/drone-runner-docker:1装置drone-serverdocker run \  --volume=/var/lib/drone:/data \  --env=DRONE_GITHUB_CLIENT_ID={{DRONE_GITHUB_CLIENT_ID}} \  --env=DRONE_GITHUB_CLIENT_SECRET={{DRONE_GITHUB_CLIENT_SECRET}} \  --env=DRONE_RPC_SECRET={{DRONE_RPC_SECRET}} \  --env=DRONE_SERVER_HOST={{DRONE_SERVER_HOST}} \  --env=DRONE_SERVER_PROTO={{DRONE_SERVER_PROTO}} \  --env=DRONE_USER_CREATE=username:USER_NAME,admin:true \  --publish=80:80 \  --publish=443:443 \  --restart=always \  --detach=true \  --name=drone \  drone/drone:1参数阐明 DRONE_GITHUB_CLIENT_ID#在上一步中生成的 GitHub oauth 客户端 IDDRONE_GITHUB_CLIENT_SECRET#在上一步中生成的 GitHub oauth 客户端密钥DRONE_RPC_SECRET#提供在上一步中生成的共享密钥。这用于验证服务器和运行程序之间的 rpc 连贯。服务器和运行器必须提供雷同的秘钥值。DRONE_SERVER_HOST#服务器对外提供的或拜访的域名,也能够是IP地址,用IP+端口的形式来配置DRONE_SERVER_PROTO#必须的字符串值提供您的内部协定计划。此值应设置为 http 或 https。DRONE_USER_CREATE#初始管理员用户装置drone-runner-docker$ docker run -d \ -v /var/run/docker.sock:/var/run/docker.sock \ -e DRONE_RPC_PROTO=https \ -e DRONE_RPC_HOST=drone.mingongge.com \ -e DRONE_RPC_SECRET=super-duper-secret \ -e DRONE_RUNNER_CAPACITY=2 \ -e DRONE_RUNNER_NAME=${HOSTNAME} \ -p 3000:3000 \ --restart always \ --name runner \ drone/drone-runner-docker:1参数阐明 ...

June 24, 2021 · 1 min · jiezi

关于运维:一文读懂云上用户如何灵活应用定制化网络服务

简介:在将传统数据中心业务迁徙上云的过程中,如何将云下基于不同业务场景和设施角色灵便变动的网络配置基于云上网络对立服务能力进行转换,用户及其业务架构通常会面临诸多的挑战。阿里云混合云网络技术团队和阿里云网络产品团队自主翻新研发的【凋谢网络服务平台】(简称:ONSP)构建在阿里云飞天洛神网络系统上,实现了飞天洛神网络和三方网络生态的充沛交融,从而优化了企业客户生态服务的体验,更好的帮忙客户迁云上云。 目前,寰球范畴内,混合云已成为企业用云最心愿采纳的模式。依据Flexera公布的【2021年云计算市场倒退状态报告】,受访企业中有92%的企业采纳了多云策略,其中采纳了混合云策略的企业占比由58%回升至82%。依据 Gartner 统计,2015-2020年寰球云计算市场渗透率逐年回升,由4.3%回升至13.2%,至2021年寰球云计算渗透率将回升至15.3%。 在前不久刚刚落幕的2021阿里云峰会上,阿里云智能总裁张建锋提出2021年阿里云的倒退方向,即为:做深根底、做厚中台、做强生态、做好服务。致力于为政企提供量身打造的混合云解决方案,从建好云、管好云、用好云三大维度提供客户视角的一体化云平台服务的阿里云混合云(Apsara Stack),在“做深根底”、“做厚中台”的同时,近期就“做强生态“、“做好服务”递交了一份令政企客户称心的答卷。 阿里云混合云全新推出【凋谢网络服务平台】(ONSP) 客户痛点在将传统数据中心业务迁徙上云的过程中,如何将云下基于不同业务场景和设施角色灵便变动的网络配置基于云上网络对立服务能力进行转换。用户及其业务架构通常会面临诸多的挑战,这些挑战存在于利用迁徙、数据迁徙等诸多场景中。例如,在迁云过程用户通常会遇到: 1)云上IaaS提供的网络服务无奈在短期内满足用户个性化需要。例如,在传统数据中心下,用户业务利用架构上依赖于负载平衡设施提供的某个个性。业务迁徙上云后,用户心愿云内负载平衡服务提供对等的能力,以缩小对利用架构革新的工作量以及因而带来的稳定性危险; 2)出于异构部署、应用习惯或用户技术栈等起因用户心愿在云内反对三方网络服务。 面临挑战解决上述问题的一种思路是通过手工部署相应网络设备的虚拟化版本。但手工部署存在几个问题: 1)部署复杂度须要用户具备较深的云网络根底; 2)高可靠性的缺失。手工部署的虚拟化设施在故障检测、故障隔离等方面不足必要的能力反对,无奈撑持生产环境下应用; 3)分布式部署架构下,带来的部署老本、治理和运维上的挑战。手工部署模型下,虚构网络设备通常与利用部署在雷同的VPC,不仅带来部署老本上的减少,也为治理与运维提出了挑战。 阿里云应答计划什么是【凋谢网络服务平台】?由阿里云混合云网络技术团队和阿里云网络产品团队自主翻新研发的【凋谢网络服务平台】(简称:ONSP)构建在阿里云飞天洛神网络系统上,实现了飞天洛神网络和三方网络生态的充沛交融,从而优化了企业客户生态服务的体验,更好的帮忙客户迁云上云。 【凋谢网络服务平台】是基于三方虚拟化网络设备的网络服务,通过该平台用户能够轻松在云上部署阿里生态合作伙伴的虚构网络设备。同时,【凋谢网络服务平台】反对虚构网络设备集群的高可用部署,撑持用户能够持续沿用传统IDC的治理模型,实现虚构网络设备集中式部署,在升高部署老本的同时,简化了运维和治理复杂性,为用户提供更优的体验。 ONSP外围性能【凋谢网络服务平台】外围组件次要包含虚构网络设备治理及网络性能虚拟化编排,架构如下图所示: 在虚构网络设备治理上,【凋谢网络服务平台】(ONSP)以标准化、模型化形式提供了虚构网络设备根底生命周期治理,反对诸如虚构网络设备创立、销毁、扩缩容、集群初始化等。在信息模型以及与VNFM组件交互上遵循ETSI MANO规范,同时内置通用的VNFM组件,反对宽泛的合作伙伴虚拟化网络设备。在对VNF的元数据定义上,采纳TOSCA数据建模描述语言进行阐明,通过对VNF进行形象和建模,在无需变更版本的状况下,能够反对不同生态合作伙伴不同类型的虚构网络设备。 在网络性能虚拟化编排上,ONSP内置了对用户通明的凋谢网络服务端点(Open Network Service Endpoint,简称ONSe),业务流量通过该端点被引流至虚构网络设备集群解决。用户只须要更新VPC路由表指向该端点以实现上述引流的过程。业务流量以原始数据包状态进入虚构网络设备集群,在虚构网络设备上进行业务解决后从新路由至指标设施。 同时,ONSP在北向接口上通过一套通用的、凋谢的、可互操作的北向REST接口,实现与生态合作伙伴编排组件集成与交融,为用户提供更优的服务体验。 在可靠性方面,ONSP反对多种类型的虚构网络设备集群部署模型,例如主备模型、主主模型等。ONSP反对实时及周期性监测集群业务单元衰弱状态,并依据集群的业务性质自定义failover措施,包含将故障业务单元隔离或重启复原等。在将故障业务单元隔离后,业务流量将不再往该单元发送,直至用户实现故障业务单元修复。 产品劣势通过【凋谢网络服务平台】,将为用户带来: 1)主动部署 生态合作伙伴虚构网络设备在云内高效自动化部署;用户在业务迁云的过程中通过【凋谢网络服务平台】可实现将原有的负载平衡等网络配置对等迁徙至云上环境,而无需关注虚构网络设备简单的部署逻辑、兼容性等问题。 2)安全可靠 【凋谢网络服务平台】反对虚构网络设备诸如主备、多主等集群模型,集群节点故障主动进行故障隔离或复原,联合平台提供的运维能力,可为用户打算中的变更提供业务连续性,也为计划外的故障提供了优雅的复原体验。 3)集中管理 通过【凋谢网络服务平台】用户能够集中部署虚构网络设备,为散布在多个VPC中的业务提供网络服务,防止了因为分布式部署带来的部署老本、运维复杂度等的晋升,同时放弃了原有的治理边界。 4)高度凋谢 在【凋谢网络服务平台】上,生态合作伙伴虚构网络设备在满足云化网络设备根本要求的前提下即可实现无侵入式接入,从技术上解决了虚构网络设备接入阻碍,为用户提供更多的可选择项。同时,生态合作伙伴或客户自研的网络服务编排零碎可通过平台凋谢的北向REST接口与平台实现深度集成,在提供一体化的治理运维体验的同时,满足更具定制化的需要。 生态合作伙伴以后曾经通过【凋谢网络服务平台】认证的生态合作伙伴虚构网络设备有: 【凋谢网络服务平台】通过规范、凋谢的技术,“做强生态”的信心继续打造网络服务生态环境,更多生态合作伙伴通过认证的虚构网络设备将陆续推出。 典型利用场景Case 1: 业务依赖高级负载平衡 图表 1业务依赖高级负载平衡 在该案例中,用户的需要有二:一是利用架构在线下运行依赖于负载平衡某个个性,在迁徙到云上时用户心愿放弃原有利用架构;其二是须要实现用户的自研利用或服务共享给多个服务应用方。 通过【凋谢网络服务平台】,用户在三方虚构设施VPC中集中式部署负载平衡的虚拟化版本,通过多实例的形式为多个服务应用方提供负载平衡服务,多个负载平衡实例能够共享或独占vLB网络服务集群。利用在迁徙上云后无需为原有的依赖对利用进行革新。 在没有【凋谢网络服务平台】的时候,为实现服务的共享,通常须要将服务应用方和服务提供方通过高速通道等形式实现互通,给治理带来复杂度的同时加大了平安危险。通过【凋谢网络服务平台】,服务提供方VPC和服务应用方VPC能够实现网络的关闭。 Case 2:边界防护及NAT服务 图表 2边界防护与NAT服务 在该案例中,用户通过集中式部署vFW网络服务集群,能够提供VPC到IDC的NAT服务,同时实现VPC到VPC或VPC到IDC的边界平安防护。 以VPC到IDC的NAT需要为例,因为用户IDC通常先于公有云建设,其地址布局等已是既成事实无奈变更。在用户业务逐步迁徙至云内的背景下,将长期存在IDC与云内VPC互通的需要。通常来说,通过专线买通IDC与云内VPC的地址空间,前提要求是IDC与云内VPC地址空间不抵触。为解决IDC与云内VPC地址抵触的问题,可通过【凋谢网络服务平台】部署vFW网络服务集群,在放弃网络地址空间独立的同时,实现云内VPC与IDC的互通。 Case 3:租户流量镜像与剖析 图表 3租户流量镜像与剖析 在该案例中,用户通过【凋谢网络服务平台】部署生态合作伙伴的NPM虚构设施,采集和剖析客户业务ECS流量,实现租户侧ECS流量可视化,减速网络故障定位,晋升业务可用性。 在该计划中,生态合作伙伴的NPM虚构设施蕴含控制器节点和数据节点。控制器节点采纳主备部署模型;数据节点集群以Active/Active模型部署,节点数量按需部署。一个控制器集群能够治理多个数据节点集群。 将来如何演进阿里云混合云【凋谢网络服务平台】将作为企业版v3.14.0新增重要产品性能于近期正式推出。将来,【凋谢网络服务平台】将在开放性上继续迭代与翻新,在反对更为宽泛的生态合作伙伴接入的同时,将通过凋谢和可互操作性的北向REST接口同生态合作伙伴或客户自研的网络服务编排系统集成,进而在易用性等方面为用户提供更优的体验。 同时,阿里云混合云【凋谢网络服务平台】将继续打造平台能力,在运维监控上将反对生态合作伙伴虚构网络设备运行状态的集中监控;在可靠性上,将进一步通过数据面技术晋升虚构网络设备故障感知能力,并将感知与业务流量编排联动,晋升故障隔离与复原的实效性;在业务场景上,将通过反对更为灵便的部署状态从而满足更为丰盛业务场景诉求。 随着用户要害业务继续上云,云计算的发展趋势将是越来越凋谢,关闭的技术无奈满足用户的多样性、差异性需要。阿里云混合云在“做深根底“、“做厚中台“的根底上,将保持秉承“做强生态“、”做好服务”的理念,继续通过凋谢、规范的互操作性打造好网络服务这一既传统而又簇新畛域的生态,联结业内头部厂商独特为客户做好服务。 阿里云混合云为政企提供量身打造的混合云解决方案 从建好云、管好云、用好云三大维度提供客户视角的一体化云平台服务 更多产品资讯,欢送返回【混合云官网】 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 22, 2021 · 1 min · jiezi

关于运维:消息中间件为什么我们选择-RocketMQ

作者:李伟 说起音讯队列,ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar 等纷纷涌入咱们的脑海中, 在如此泛滥的开源音讯队列产品中,作为一名合格的架构师如何给出高性价比的计划呢?商业化的产品暂不纳入选项中。 接下来我将从选型因素、RocketMQ 的劣势两个方面解释为什么抉择 RocketMQ 。 选型因素首先从公司、音讯队列服务提供者(个别是中间件团队)、最终用户三个角度来简略总结剖析。 一、从公司层面看, 关注如下几点:1. 技术老本技术老本,个别蕴含服务器老本、二次开发老本、前期保护老本等,言而总之:都是钱。 服务器目前根本都应用云服务器,不同的云厂商的雷同配置的服务器性能也有肯定差别, 服务器老本个别须要理解:云厂商机器性能、云厂商优惠、所需服务器配置、服务器台数、单台服务器目前的价格、单台服务器优惠后的价格等。2. 人力老本人力老本,个别蕴含现有技术人员老本、新人招聘老本。新的技术选型对于目前的技术人员接受程度怎么样,学习的难易水平怎么等,都是须要思考的。如果太难的话,上线周期会变长、业务需要实现速度慢,甚至有人间接到职。 新人招聘老本,个别招聘一个新人有如下几个过程:简历筛选、预约面试、数轮面试、发 offer 、承受 offer 、正式入职、试用期、转正。这两头波及到猎头老本、人力资源沟通老本、面试老本、新人入职后环境适应老本等等。3. 其余目前处于不同阶段的互联网公司对于技术老本、人力老本有着不一样的要求,然而很多有肯定规模的公司实际上还是用“买买买”的心态来看待的:只有业务倒退疾速,买服务器、招人都不是问题,如果老本高了就做技术降老本、裁员。这不仅是员工之痛,也是业务之痛,更是公司之痛。 二、从中间件组层面看, 关注如下几点:1. 稳固公司级的服务首要的一点就是稳固。领有稳固的组件、稳固的服务,业务能力井井有条的进行。所以说,无论什么时候, 稳固都是王道。2. 性能反对 不同的业务场景须要的性能也不尽相同,通常咱们会思考重试、死信机制,位点重置,定时提早音讯、事物音讯,主从切换,权限管制等方面。3. 性能目前蕴含写入提早和吞吐。4. 治理平台首先须要满足最终用户接入、查看、排障,管理员管控 topic 、消费者不便等。治理平台有现成的最好,不便二次开发 。5. 监控、报警监控报警是否欠缺、是否不便接入公司外部自研体系,或者行业的事实标准 Prometheus 。6. 运维 & 反对 & 开源社区如果产品上线后, 大部分工夫,咱们都是在做运维&反对。运维蕴含服务部署、迁徙、服务降级、解决零碎 Bug 、用户应用答疑、治理平台和监控报警平台降级等。7. 其余咱们除了依赖本身以外,也能够借助社区的力量,同一个问题可能他人遇到过并且提交过 PR ,曾经失去解决,咱们就能够以此作为借鉴。所以社区的沉闷状况也是十分重要的思考。 三、从最终用户(个别蕴含业务后端研发以及他们的 Leader )看1. 稳定性对于业务的研发和他们的 Leader ,他们的外围工作是实现业务逻辑。如果一个服务三天两头总是有问题, 对于他们来说是比拟致命的,所以稳定性是比拟外围的一部分。2. 革新现有我的项目的难度旧我的项目革新其实是业务研发接入新中间件实际操作最多的局部。3. 新我的项目接入是否便捷是否便捷接入跟他们的工作量有着间接的关联。4. 与目前的 App 微服务框架兼容怎么新我的项目的接入和公司微服务框架兼容都比拟容易。个别中间件在提供服务时都会思考业务研发接入的便利性。 RocketMQ 的劣势上面将依照选项因素的要求, 剖析 RocketMQ 在这方面的劣势。 一、RocketMQ 如何解决和敌对面对公司层面的诉求1. 技术老本 就技术成熟度而言,在经验阿里双十一数万亿洪峰、微众银行、民生银行、蚂蚁金服、安全、字节跳动、快手、美团、京东、网易等各种行业大厂的考验后,就显而易见了。RocketMQ 对于服务器的配置要求不高, 一般的云主机都能够。已经咱们验证 8C 16G 500G SSD 的 2 主 2 从的集群,发送 tps 能够到 4~5w ,生产 tps 峰值 20w +,稳固在 8w~9w 。并且,还能依据业务理论的需要无感的横向扩大。综合而言, 技术老本绝对可控且人才多。2. 人力老本人力老本次要是现有的技术人员的学习老本、招新人的老本。RocketMQ 是 java 开发的,代码也十分稳固、有条理,各个版本之间除了性能有差别之外,Api 、传输协定简直没有太多变动,对于降级而言也更加不便。java 也是目前中间件采纳的比拟支流的语言,应用的技术人员十分宽泛。RocketMQ 在金融行业比方:微众银行、民生银行、蚂蚁金服、安全; 其余行业公司,比方阿里、字节跳动、快手、美团、京东、网易等与大量中小企业都在应用,候选人范畴绝对较大。RocketMQ 社区也比拟沉闷,钉钉群、微信群、QQ 大众多,社区文档十分丰盛和欠缺,原理分析视频、文档也十分多,十分易于学习和入门。上面是钉钉群,欢送大家加群留言、答疑。 ...

June 22, 2021 · 2 min · jiezi

关于运维:AIOps企业运维新力量

摘要:企业运维需要及挑战,来看看华为AIOps如何解决!本文分享自华为云社区《【云驻共创】AIOps?企业运维新力量!》,原文作者:启明。 国际惯例,咱们先介绍一下AIOps的概念:AIOps,即 Artificial Intelligence for IT Operations,智能运维,将人工智能利用于运维畛域,基于已有的运维数据(日志、监控信息、利用信息等),通过机器学习的形式来进一步解决自动化运维没方法解决的问题。 Gartner预测,以后的IT应用程序会产生巨变,而且治理整个IT生态系统的形式也会扭转。这些变动的要害是Gartner所称的AIOps平台。 咱们明天要探讨的,就是AIOps的需要挑战,以及咱们通过怎么样的形式去应答这种挑战。 AIOps需要及挑战(一)新技术、新挑战,召唤高度智能的电信网络近年来,以5G为代表的新技术在电信网络中失去了疾速的利用。新技术的利用,给咱们带来了很多的收益,比方大连贯、低时延、高速率等等。5G的倒退,让这些数据都至多有一个数量级的晋升。 然而,数据量级的晋升,随同着的,是运维难度的减少,从而给运维带来了如下挑战: 1. 网络复杂性:数据量级的增大,让网络变得更加简单:新技术失去了疾速利用,旧技术却没有同步退出,导致咱们每引入一项新技术,都须要在原来的复杂度上做一个加法。而在某些场景式,甚至要去做乘法。 比方,在无线畛域,2G/3G/4G/5G,“四代同堂”;在核心网,PS/CS/MS物联网等等十域并存......如此高的网络复杂度势必会给运维带来相当大的挑战。 2. 2B新需要运维的第二个挑战是To B的新场景,也就是企业应用。5G的利用推动了智能制作,网络也逐渐融入到了企业的生产制作流程当中。在这种状况下,对网络可靠性的要求必然会进步,毕竟网络一旦出问题,生产流程就可能会受影响,甚至会中断,这样造成的损失将会十分大。3. 3. 老本压力老本压力次要是由后面两个挑战传导而来。前两个挑战导致咱们要么面临一个比较复杂的网络,要么就是有更高的要求。如果咱们以传统的运维形式去应答的话,必然会导致老本的急剧回升。当然,老本的进步,还有一个因素就是能耗。毕竟,5G的能耗要远高于4G的能耗。 针对上述这些挑战,咱们要如何去应答呢?AI技术是要害。 (二)AI是晋升电信网络自动化和智能化的关键技术在运维老本方面,有统计显示,90%的运维都须要人工去参加,而70%的老本就是人力老本。在这种状况下,一个很天然的想法就是能不能应用AI的技术来升高人的老本,来进步运维效率。 比方方才提到5G能耗问题,咱们是否通过人工智能的技术来去升高能耗呢?从过往的实践经验来看,上述问题的答案是必定的。 接下来,咱们通过三个例子来阐明。 1. 基站节能第一个例子是基站节能。基站的能耗是十分高的。在布网初期,基站用户较少,有时候基站经常是空开。针对这种状况,运营商的解决方案是对话务量做出一些预测。如果咱们能精准预测话务量的话,那么,在话务量小的时候,咱们就能够把一定量的载波关掉,从而达到节能的目标。据统计,在预测话务量的过程中,通过LSTM神经网络来做预测,能够实现节能10%以上。 2. 核心网KPI异样检测第二个例子,是异样检测。在运营商的核心网部署KPI异样检测服务。原有的异样检测服务,是应用固定阈值进行告警告诉。而AI技术,则更加智能、及时、精确地辨认异样。 3. 故障辨认及根因定位通常网络上一旦产生故障,就会触发大量的告警,而零碎同时又以高经纬维度进行运维派单。如果多个网员上报多个告警,那么就会呈现这种反复派单。也就是说产生了一个故障,多网员上报告警,最初可能导致在多个域(无线域和传输域等)都去派单。 (三)开发AI利用依然面临挑战:开发门槛高、周期长从下面三个例子咱们能够看出,AI相对来说,还是十分靠谱的。然而既然AI如此靠谱,为什么没有失去全面疾速的利用呢?因为AI的开发还面临着不小的挑战,简略概括就是六个字:门槛高,周期长。 上图是Gartner的一份钻研报告。它从四个维度剖析了AI利用的次要阻碍。其中最次要的3点: 人员技能了解增益与用处数据范畴与品质这就回到咱们说的六个字:门槛高,周期长。 小标题门槛高此处说的“门槛高”,第一点是指不足AI算法开发人员。个别的运维团队不会配置专门的AI算法开发人员,这样必然导致AI技能的缺失。但这不是最要害的,因为AI人员通过培训、造就、招聘等伎俩,都能够解决。 最要害的,也就是咱们说的第二点,算法与业务联合难。如果要想把一个利用做好,最好的是从业务登程,依据业务的理论状况抉择适合的算法,这样能力把利用做好。但在实际操作过程中,首先,咱们须要有一个业务专家对运维要有粗浅的了解;其次,还须要有一个精通AI的算法专家。在这之后,须要他们有短缺的工夫和志愿坐下来深刻的交换。在这里,工夫和志愿都会成为妨碍。 第三点是数据。数据蕴含两个问题:工程问题和标注问题。即,开发一个AI利用实际上是相当大的工程量,因为首先须要接入海量的多模态的数据去实现模型的训练和推理,最初还要去实现后果的展现,包含去对接一些现有的零碎。因而除了后面须要的运维专家和算法专家,还须要很多工程开发人员。 2. 周期长开发门槛高,就决定了开发周期长,毕竟有这么高的门槛,如果不能很好的解决的话,那么周期必然会特地长。开发周期长会导致: 第一,了解增益和用处。怎么了解呢?也就是说,如果咱们长时间拿不到后果,那么企业决策人员就可能对AI能产生的成果会示意狐疑; 第二,工夫越长,大家对我的项目的冀望就会越高。假如同样是做一个货色获得了同样的成果,比如说故障修复时长升高5%,两年做进去的和一个月做进去的,失去的评估可能就齐全不一样。 针对AIOps落地过程中遇到的挑战,华为推出的AIOps服务!当初咱们一起来看看AIOps服务具体是什么,以及它是如何解决咱们后面面临的挑战的。 华为AIOps服务 上图是AIOps服务的整体框架。AIOps从下到上分成了四层: 第一层:数据的采集和治理。数据采集治理,听下来容易,做起来难,为什么呢?因为要面对的数据类型多,接口和数据类型也不对立。光去适配这些数据,都有可能累的焦头烂额。相对来说,华为AIOps服务首先反对通用的接口,而后对一些常见的设施都曾经预置实现,最初能达到主动对接,数据主动治理的一个程度。 第二层:AI原子能力。华为AIOps共有二十多个原子能力,笼罩检测、预测、辨认、诊断四大场景。原子能力不仅仅是AI算法的一个实现。每一个原子能力都通过理论局点数据的测验,针对具体的经营场景做过优化。同时,每一个原子能力也都融入了华为以前的运维教训,某些原子能力甚至能做到不训练能够间接应用。 第三层:编排能力。包含流程的编排和大屏的编排,还有RPA的编排。原子能力是AIOps智能运维的根底组件,流程编排操作简略灵便,只需从组件库中拖拽数据及AI运维能力进行组合,即可实现命令场景端到端的图形化编排,真正撑持合作伙伴拉低开发门槛,高效率的构建AI利用编排框架。 第四层:行业AI app。针对最典型的场景开箱即用。通过丰盛的2D和3D可视化组件,如提供了超过30个图表控件,笼罩折线、拓扑、列表、柱形等款式,并提供多个地图控件、交互控件及媒体控件搭建。运维成果大屏时只需从组件库里拖拽出各类控件,按需组合自在布局、灵便配置利用的各种报表,辅助监控和剖析,例如DIY微服务衰弱监控大厅,使其可能可视化,展现接口均匀成功率、接口均匀时延、接口失败率、接口调用次数等。同时提供KPI告警列表,为经营人员提供故障预警参考根据,拖拽所需控件号,对控件的款式,数据及交互进行个性化定制,使其满足展现要求。后端数据还可应用app组合流程里定义的各类两头数据。配置实现后即可一键预览和公布运维成果,大屏展现接口,均匀成功率,接口均匀时延,接口失败率,接口调用次数等,疾速实现DIY可视化大屏。 (一)RPA助力AIOps对接现有运维零碎除了展现位,推理后果必须可能帮忙进行故障的复原。现阶段个别是对接现有的零碎,比方工单零碎(须要工单邮箱的人要去解决)、主动回复和问题单。如果通过人工去对接,费时费力并且容易出错。因而机器人流程自动化,也就是RPA服务,瓜熟蒂落。RPA服务能够实现数据的对接、搬运及工单的发放等等,缩小人力投入,升高出错老本。 (二)10+开箱即用的App,反对疾速部署针对一些最典型的场景,华为云AIOps把编排能力都曾经提前准备好,也即,有十多种开箱即用的App,如园区网络、DC网络、IT利用、运营商网络等等场景全笼罩;灵便部署,反对私有云、HCS部署、On Premise部署、及云地协同等;凋谢生态,反对合作伙伴开发行业App,并将AI利用公布到AI市场,单干共赢,共建网络AI生态。 上面咱们以“KPI异样检测”App来演示一下如何应用一个开箱即用的App。 第一步:导入网元列表; 第二步:配置性能、告警数据源; 第三步:数据源关联到App; 第四步:启动App; 第五步:查看大屏,剖析故障。 AIOps使能园区网络智能运维那么AIOps是如何解决园区中理论运维的呢? (一)园区网络建维模式 上图为园区网络的两种建维模式: 2B和2C共用大网的OMC:以后的支流模式。企业去租用运营商的无线设施及其他的一些设施。这种模式的问题在于,终端由企业保护,网络由运营商保护,那么呈现问题的时候很难分清责任;另外一个问题是,运营商侧的运维能力和组织构筑大网2C的O域,难以撑持企业内网高SLA,强化客户诉求。 2B和2C离开OMC(EMS):企业洽购5G CPE、无线、核心网等全副设施进行保护,具备端到端的视图。从工信部发文、VDF、奥迪园区及企业SLA保障来看,企业租用运营商频谱或专用频谱自建5G网络会逐渐成为支流。 (二)业务场景和痛点剖析:园区客户须要简略易用、多域交融的网络运维1. 典型网络现状 上图是一个园区比拟常见的一个视频检测的业务。咱们能够看到,即使是一个最常见的业务,也大略十来个网元都会参加到其中,从5G的无线到传输到边缘计算,甚至是核心网,都会去参加其中。 2. 园区利用 上图列出了园区外面常见的一些利用,包含边缘的AI检测、智能物流、室内定位等。所有的这些业务其实都和上一张图相似,即任何一个简略的业务都要波及到多个域的参加。 那么园区与运营商运维的差别是什么呢?次要有以下三点: ...

June 22, 2021 · 1 min · jiezi

关于运维:阿里云多账号管控与网络安全集中化管理能力升级发布

简介:近日,阿里云正式公布基于资源目录的管控策略 Control Policy和云防火墙旗舰版两项能力,助力企业上云过程中的多账号管控和网络安全治理,在组织视角进行更高效的对立管控,确保云上多账号的安全性,从而升高跨账号资源管理复杂度和老本。发布会观看:https://yqh.aliyun.com/live/rd-cloudfirewall 近日,阿里云正式公布基于资源目录的管控策略 Control Policy和云防火墙旗舰版两项能力,助力企业上云过程中的多账号管控和网络安全治理,在组织视角进行更高效的对立管控,确保云上多账号的安全性,从而升高跨账号资源管理复杂度和老本。 面对企业云上多账号对立运维管控的趋势,资源目录于2019年正式公布,是面向企业客户提供的一套多级账号和资源管理服务,使得企业IT团队能够轻松治理多个阿里云账号和集中化治理账号内的云资源。此次公布的管控策略性能将反对客户基于150+云产品进行配置管控策略,并且能够对立治理资源目录各层级内的资源拜访权限边界,建设企业整体访问控制准则或部分专用准则,满足企业级客户对于从顶层做出的企业全局管控。 作为企业云上平安的边界网络安全防护服务,云防火墙通过与资源目录的集成,现已反对跨账号的平安对立治理。应用云防火墙旗舰版的多账号治理性能,企业客户能够应用资源目录企业治理账号,或者指定组织内任意成员账号作为委派管理员,在云防火墙中对立治理组织内多账号的公网IP资产,对立配置进攻策略以及查看日志剖析,实现集中平安管控。 阿里云产品负责人魏俊欣示意,通过云防火墙实现多账号环境下的网络对立治理,是企业级网络安全防护的必经之路,只有实现了对立的网络安全管控,能力真正实现平安防护无死角,切实晋升企业平安水位。 某金融客户通过应用云防火墙对立治理能力,将业务账号和第三方测试账号进行了对立纳管,实现了一个控制台的防护,晋升了整体的感知能力,并且为将来更精细化的网络策略管控铺平了路线,“云防火墙的集中管控能力大大简化了日常的网络策略运维工作,晋升了网络流量对立剖析的能力,十分好的满足了咱们企业对于网络安全集中化治理的需要。”——该企业信息安全管理员这么评估到。 企业 IT 治理资源目录产品经理管骥发现,越来越多的企业客户开始采纳「多账号」满足“业务强隔离”、“独立结算”、“扩散危险”等业务倒退需要,帮忙企业从“组织”、“管控”再到“合规”有序治理递进能力,撑持企业云上IT治理走向深水区。配合云防火墙的网络安全管控,使企业上云之路愈发顺利与合规。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 21, 2021 · 1 min · jiezi

关于运维:如何构建一个拖垮整个公司的运维系统

简介: 人肉运维,不在 DevOps 中转型,就在自动化中沦亡。云化时代的运维,须要的是高铁,而不是“跑的更快的马车”。6月25日,数智翻新行上海站·智能运维专场,期待您的参加。 原文链接 本文为阿里云原创内容,未经容许不得转载。

June 21, 2021 · 1 min · jiezi

关于运维:不到200行代码使用python写一个超简单的跳板机工具

[toc] 在日常工作中,少不了须要上服务器执行一些操作或者命令,即便在当初云时代,然而一旦呈现问题,还是须要上机排查,所以写了一个小小的跳板机工具在写这个小工具之前,我就在想肯定要非常简单,足够简略,所以这里用了不到 200 行代码,写了一个,能够说是非常简单。 1. 应用模块介绍pexpect就这一个就完了! 简略介绍一下这个模块: pexpect 是 expect 的一个 python 实现,用来进行人机交互,比方执行某一段程序时要求输出用户名和明码,或者是 yes/no 这种状况时,应用 pexpect 便能够通过捕捉这种关键字进行输出一些必要信息来持续操作程序。 pexpect 的应用范畴很广,能够用来实现与 ssh、ftp 、telnet 等程序的主动交互 1.1 应用形式pexpect 的应用基本上分为三个步骤: 首先用 spawn 来执行一条命令或者一段程序而后 expect 捕捉关键字捕捉到指定关键字后,执行 send 指令发送必要的内容来持续操作程序1.1.1 spawn类spawn是 pexpect 的一个次要类,用来执行一个程序,并返回一个操作这个程序的句柄,前面的一系列操作都能够通过这个句柄来实现,上面是它的构造函数的定义: class spawn(command, args=[], timeout=30, maxread=2000, searchwindowsize=None, logfile=None, cwd=None,env=None, ignore_sighup=False, echo=True, preexec_fn=None, encoding=None, codec_errors='strict', dimensions=None, use_poll=False)command是任意的命令child = pexpect.spawn('/usr/bin/ftp')child = pexpect.spawn('/usr/bin/ssh user@example.com')child = pexpect.spawn('ls -latr /tmp')然而当蕴含一些特殊字符时(>, |, or *),就必须启动一个 shell 来执行了,例如: child = pexpect.spawn('/bin/bash -c "ls -l | grep LOG > logs.txt"')child.expect(pexpect.EOF)也能够这样写,定一个变量,将要执行的命令通过这个变量来接管 ...

June 20, 2021 · 5 min · jiezi

关于运维:大型企业多账号管理安全心法

简介:云上多账号环境下的网络对立治理,是大型分支型企业网络安全防护的必经之路。无论是外企入华、国内企业出海,还是外乡集团型企业规模化成长,云上对立网络安全管控与整体平安态势感知,都能够拉齐企业账号间平安水位,让平安防护无死角。引言中大型企业上云时,通常抉择依照业务线、我的项目或应用场景、生产测试环境来建设多账号体系。绝对于单账号体系,多账号间的云资源默认隔离,便于不同产品/分支机构间进行独立的老本结算和运维治理,缩小了单账号下过于宽泛的RAM权限带来的危险。 但同时,也会使平安治理变得较单账号体系简单: 平安报表剖析、资产盘点须要笼罩多个云账号,统计耗时耗力;安全策略不得不在多个账号中进行反复配置,运维人员陷入“重复劳动”陷阱;破绽攻打、入侵、失陷等异样行为在影响多个账号时,应急处理慌手慌脚;多个业务账号下,南北向与东西向流量不足对立视角,日志剖析不足全局剖析能力。那么,从不同企业业务需要和组织架构登程 云防火墙是怎么在阿里云上实现多账号对立平安纳管的呢? 一起打开这本“心法秘籍”来一探到底 云墙“心法”一:集中用兵,打歼灭战业务再多,防护也有“上帝视角”云上的大、中型企业,业务类型千差万别,造成少则数十、多至数千的业务子账号,企业平安人员治理数千至十几万资产的对立防护,平安运维压力大。传统的网络进攻架构下,防火墙的管理权限分属于不同业务部门,每个业务账号独立治理,不足对立视角,被动式入侵检测难逃“亡羊补牢”的难堪。 互联网出入口治理:互联网出入口扩散在不同账号中,进出流量夹杂大量攻打,针对EIP的攻打并发性强,而账号分属不同owner,防护碎片化;攻打IP封禁:强反抗场景考验企业进攻策略,对IP封禁策略、黑名单机制和被动外联行为发现的实时性有严苛要求;蠕虫治理:一旦暴发强传染性蠕虫,云上进攻须要实现组织对立管控,即时进攻;破绽修复:在组织层级架构下,针对高危/中危破绽认知程度、修复伎俩和破绽进攻理解力亟待拉齐;误报率高:不足账号间关联关系学习,传统防火墙难以辨别关联用户高频失常拜访与暴力破解,入侵检测误报率高。 图 数千账号入侵防护亡羊补牢 vs 多业务账号对立入侵防护架构图 云防火墙公网资产主动平安纳管通过阿里云·云防火墙的跨账号对立互联网边界资产治理能力,用户可能在一个控制台对立治理各个账号下的EIP资产,笼罩ECS、SLB和NAT资源。当受管账号发现新的网络资产时,会主动被云防火墙纳管,防止资产脱漏,网络进攻无短板。 排除业务间防护盲区对于开启了防护的公网裸露资产,所有IPS规定即刻失效,多个账号下互联网边界对立平安进攻,真正实现针对内部歹意入侵、攻打的单点告警和全业务象限协同拦挡,升高因为管控疏漏导致的网络安全事件。 裸露面一键收敛:拨开简单业务场景流量,依附深度报文解析和海量历史日志的机器学习,实现边界裸露面的一键策略收敛,攻打水位降落90%;大数据协同进攻:依靠图计算情报关联自成长,日均千万级的高质量精准情报实时拦挡,协同构建多账号企业的动静网络安全边界,攻防和僵木蠕场景实现寰球云网络视线的最早在朝利用的可见可防;虚构补丁:为云上客户实现针对近程可利用破绽(RCE)的跨账号虚拟化进攻,拉齐应急响应能力。白名单策略升高误报:基于账号间关联关系的流量学习,在企业账号间造成更高置信度的白名单策略,企业账号间互访实现0误报。云墙“心法”二:力争被动,力避被动跨业务环境统管,安全策略配置一次搞定服务或资源隔离是缩小零碎间依赖,防止故障蔓延的重要伎俩。云上企业往往通过划分不同的VPC,将须要隔离的业务资源从网络层面离开。 混合云架构下,对于不同的业务分支或环境属性,云账号撑持着更简单的隔离与业务互访场景,如IDC与VPC间、VPN、专线等。简单隔离拜访需要带来的,是更为简单的安全策略配置。 重复劳动:在不同的账号下搭建防火墙设施,在不同的区域中配置拜访控制策略ACL,导致一条雷同的策略须要屡次配置;策略抵触:对于不同的账号环境下的策略,不足对立管控,极易造成访问控制时的策略抵触等问题;业务碰壁:同一企业不同业务/环境间平安控制策略难以同步,重大时有可能影响业务(如:针对某类入侵,测试环境未设置阻断,而生产环境阻断未进行测试,防护规定与业务抵触,影响失常业务流量)。 图 多环境平安配置忙乱 vs 跨业务/开发-测试-生产环境策略配置统管 策略统管更高效阿里云·云防火墙目前通过集成CEN服务,为企业跨账号以及跨VPC的流量互访,提供了对立的策略管控能力,帮忙企业通过一个策略配置平台,实现不同账号和VPC间的拜访控制策略对立治理,除了笼罩VPC间互访外,还能针对专线和云连贯网CCN等混合云场景,实现一条策略,全局失效,单条策略下发耗时从原来的以天为单位缩短到以秒为单位,免去了屡次配置同样策略所减少的工作量和危险,帮忙企业更好的实现对立管控。 云墙“心法”三:精勤谨慎,指挥若定多地分公司对立平安报表剖析与结算组织架构肯定水平上决定了云账号的构造,无论是团体-子公司运作模式,或是多分支机构运作模式,企业安全部门最大的难题就是对各个业务运行环境的对立平安感知能力,而其中,网络安全又是最重要的剖析对象之一。企业在互联网侧总共裸露了多少网络端口,以后有多少个隔离域正在运行,布局的南北向和东西向隔离策略是否失常失效,有多少网络入侵事件每天在产生,全量的日志是否如布局被正确记录以满足审计的要求,是否有异样的流量正在产生,业务间的调用关系是否正当等,这些网络安全运维问题在一个账号下还绝对可控,但一旦扩散到多个云账号下,对于管理人员就成了劫难,流量数据的对立,网络日志的对立,攻打剖析的对立,对于日常的平安运维,简直都是“不可能的工作”。 图 多分支机构通过治理账号实现对立报表剖析与结算 集中流量剖析与报表统计通过集中化的数据统计,网络安全运维人员只须要关注对立的数据平台,就可能实时把握企业整体的网络安全运行态势、资产裸露状况、策略配置和成果、入侵进攻数据,并且将不同账号环境下的日志数据自动化进行归集,在满足诸如等保2.0等合规要求的根底上,通过对立的剖析,优化报表统计,使得后果更为精确,全面,也能更好的为后续优化工作提供数据根底。 用户声音“云防火墙的集中管控能力帮忙咱们将云上多个业务账号和第三方测试账号进行了对立纳管,实现了一个控制台的防护可视化。这大大简化了日常的网络策略运维工作,晋升了网络流量对立剖析的效率和品质,十分好地满足了咱们企业对于网络安全集中化治理的需要,并且为将来更精细化的网络策略管控铺平了路线。”——某大型金融企业信息安全负责人 云上多账号环境下的网络对立治理,是大型分支型企业网络安全防护的必经之路。无论是外企入华、国内企业出海,还是外乡集团型企业规模化成长,云上对立网络安全管控与整体平安态势感知,都能够拉齐企业账号间平安水位,让平安防护无死角。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 18, 2021 · 1 min · jiezi

关于运维:2021阿里巴巴研发效能峰会来啦

简介:上云后半场,云计算还有更多可能性么?是时候转型 Serverless 大规模微服务了吗?下一代利用运维怎么做?去年开始阿里启动云原生试点战斗,前沿技术到底是否能为业务带来理论价值?1个主论坛+5个分论坛,6.23-6.24全程在线直播。2021阿里巴巴研发效力峰会来啦 6.23-6.24线上直播 阿里巴巴合伙人&资深技术专家、 IBM 副合伙人、 德勤云服务首席架构师、 PMI 业务副总裁、 eBay 利用研究员 近 30 位海内外大咖分享效力趋势和实际, 助力企业云上麻利。 云原生、低代码、智能化、 架构、DevOps、数字化转型, 1200 分钟精选技术干货, 和你一起, 感知行业技术水位,洞悉将来倒退态势。 你将理解到【云原生】 • 上云后半场,云计算还有更多可能性么? • 是时候转型 Serverless 大规模微服务了吗?下一代利用运维怎么做? • 去年开始阿里启动云原生试点战斗,前沿技术到底是否能为业务带来理论价值? 各路热门效力畛域技术大咖拉满, 跨界探讨云时代效力技术趋势、 组织数字化转型与业务麻利实际, 分享来自不同畛域不同规模不同类型的效力晋升案例。 和去年一样,往年峰会开设1个主论坛+5个分论坛,6.23-6.24全程在线直播。 立刻报名:https://developer.aliyun.com/topic/n2021?channel=yy\_cloudnative 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 17, 2021 · 1 min · jiezi

关于运维:阿里云多账号管控与网络安全集中化管理能力升级发布

简介:6月9日,开放平台企业 IT 治理联结云防火墙团队公布对于多账号管控的资源与网络安全新能力2021年6月9日,阿里云正式公布基于资源目录的管控策略 Control Policy和云防火墙旗舰版两项能力,助力企业上云过程中的多账号管控和网络安全治理,在组织视角进行更高效的对立管控,确保云上多账号的安全性,从而升高跨账号资源管理复杂度和老本。   面对企业云上多账号对立运维管控的趋势,资源目录于2019年正式公布,是面向企业客户提供的一套多级账号和资源管理服务,使得企业IT团队能够轻松治理多个阿里云账号和集中化治理账号内的云资源。此次公布的管控策略性能将反对客户基于150+云产品进行配置管控策略,并且能够对立治理资源目录各层级内的资源拜访权限边界,建设企业整体访问控制准则或部分专用准则,满足企业级客户对于从顶层做出的企业全局管控。 作为企业云上平安的边界网络安全防护服务,云防火墙通过与资源目录的集成,现已反对跨账号的平安对立治理。应用云防火墙旗舰版的多账号治理性能,企业客户能够应用资源目录企业治理账号,或者指定组织内任意成员账号作为委派管理员,在云防火墙中对立治理组织内多账号的公网IP资产,对立配置进攻策略以及查看日志剖析,实现集中平安管控。 阿里云产品负责人魏俊欣示意,通过云防火墙实现多账号环境下的网络对立治理,是企业级网络安全防护的必经之路,只有实现了对立的网络安全管控,能力真正实现平安防护无死角,切实晋升企业平安水位。 某金融客户通过应用云防火墙对立治理能力,将业务账号和第三方测试账号进行了对立纳管,实现了一个控制台的防护,晋升了整体的感知能力,并且为将来更精细化的网络策略管控铺平了路线,“云防火墙的集中管控能力大大简化了日常的网络策略运维工作,晋升了网络流量对立剖析的能力,十分好的满足了咱们企业对于网络安全集中化治理的需要。”——该企业信息安全管理员这么评估到。 企业 IT 治理资源目录产品经理管骥发现,越来越多的企业客户开始采纳「多账号」满足“业务强隔离”、“独立结算”、“扩散危险”等业务倒退需要,帮忙企业从“组织”、“管控”再到“合规”有序治理递进能力,撑持企业云上IT治理走向深水区。配合云防火墙的网络安全管控,使企业上云之路愈发顺利与合规。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 16, 2021 · 1 min · jiezi

关于运维:雷锋网独家解读阿里云原生应用的布局与策略

简介:阿里云始终心愿能够做标准化的技术,跟社区的规范、行业的规范进行买通,这样对于阿里云的客户而言,简化了很多流程,其具备的能力也是将来的支流。文章起源:雷锋网 作者:杨丽 原题目:《独家解读:阿里云原生利用的布局与策略》 原文链接:https://www.leiphone.com/category/industrycloud/nBx5G5lhmwof2RtY.html 受访人 | 丁宇 出品 | 雷锋网产业组 进化到这一阶段,云原生使得客户的数字化转型门路一直缩短。如果说云原生时代所有是以客户视角为出发点,那么进一步拆解就是围绕客户的业务场景、零碎架构,而不再是过来堆人、费劲的形式。如何正确引导客户独特享受到云原生的技术红利?丁宇,花名叔同,阿里巴巴研究员、阿里云智能云原生利用平台负责人,他所看到且给出的,兴许不是客户数字化转型的惟一计划,但却是通过阿里云多年实际得出的对某类问题的最优解。 回顾过去十五年,阿里巴巴的云原生实际随同着团体业务规模和撑持场景复杂度的一劳永逸。对内,阿里淘宝作为寰球最大的电商交易平台,每年双11电商业务带来的都是极大的技术挑战;对外,阿里云撑持了寰球300万的企业客户数,帮忙客户解决问题的同时也会关注其业务的倒退。实际上,每一阶段不同问题的呈现,也是阿里本身产品技术冲破的翻新引擎。 如果对这十五年的阿里云原生实际变迁做个拆解,那么肯定离不开这个逻辑:自研-自用-上云凋谢。 第一阶段:2006年-2011年,淘宝商城从集中式架构切换到微服务分布式架构,外围解决高可用性和稳定性的问题。第二阶段:2011年-2015年,开始投入做容器,以解决老本和运维效率的问题。第三阶段:2015年-2019年,推动产品技术的全面商业化,全面拥抱云原生的规范。第四阶段:2019年-至今,从撑持双11外围零碎全面上云,到撑持外围零碎全面云原生化。能够说,阿里巴巴赶上了两个红利,一是互联网规模经济的红利;二是云计算的红利。通过一直解决在这些红利中遇到的问题,才有可能让阿里巴巴打造这些产品,并有机会全面降级下一代云原生技术,一直反哺给客户。 然而,并非所有的企业都有机会和工夫(窗口期)来接触和塑造本身业务的云原生能力。 “没有云原生之前,只有能力极强的企业能够解决这个问题,但随着云原生的呈现,每家企业都能够实现对云和极致弹性能力的调取,这是一个普适性红利的开释。”丁宇说道。目前,阿里云有300+款云原生产品,上千个解决方案,为企业数字翻新提供全方位能力撑持。 以容器技术为代表,因与云的联合,可能向下屏蔽基础设施的差异性,成为云服务调用的新界面,向上又能够撑持各类产品。 那么咱们该如何进一步了解云原生,以及什么样的先进性企业能率先一步走出云原生实际的路子? 丁宇,阿里巴巴研究员、阿里云智能云原生利用平台负责人 这次访谈中,丁宇向咱们分享了阿里云原生十五年实际的演进路线,以及对云计算畛域的察看和对业务将来倒退的思考,对于云原生企业和从业者有不少可借鉴之处。以下将是此次独家访谈的残缺总结。 两个“30%”外界有太多的技术或厂商视角下的云原生解读,这次咱们尝试从客户视角来看云原生带来了哪些扭转。 云原生自身在整个行业的市场接受度和落地成熟度越来越高。这源自于云原生给企业带来的两个直观感触。 一是老本和资源的优化。很多企业购买了一个月的云资源,但理论可能只用了一周。企业上云、弹性用云的能力不强,只能通过工夫换空间,多买点工夫以解决能力不强的问题。但云原生解决了这个问题,可能让用户随用随取、用完即还,这自身就是一种十分强的资源优化。去年疫情期间,在线教育行业客户通过阿里云的撑持,晋升了近50%~60%的资源利用率。客户能够向下治理资源,向上治理AI、大数据、数据库、音视频等各项任务,通过灵便调度、混合部署、以及对工作全生命周期的治理、DevOps等,实现全生命周期的优化。 二是研发效率的优化。企业的研发效率往往取决于架构的先进性。云原生实现了公布、上线、运维,以及开发工具等全栈优化,晋升了研发人员单位生产的吞吐能力。一项数据显示,核桃编程利用云原生可观测性产品ARMS缩小了30%运维工作量,缩短了60%的故障定位均匀耗时。 “咱们肯定会做一点,就是只有企业来试了,就会喜爱并且违心持续应用。阿里云提供的云原生技术和产品在业界具备很好的通用性和先进性,是在企业数字翻新发展趋势的主线上。只管对企业客户来讲,可能会存在肯定理念上的学习老本,但这种实打实的效率晋升、老本升高,对于企业将来五年、十年甚至更久远的倒退是十分有价值的。”在此之前,阿里云通过云原生技术和产品带来了两个“30%”的晋升,即晋升30%研发效率,升高30%的IT老本,心愿通过本身实际实现对外赋能数百万企业进行云原生革新。 在跟各行业的客户接触过程中,丁宇感触很深: “云原生的劣势反馈到客户侧会有很显著的扭转,但这种扭转并不是客户最关怀的。客户更关怀的是如何实现业务的胜利,帮忙本身实现数字化转型,这些是外围问题。阿里云会从这个角度登程,依据客户的需要提供相应的产品解决方案。这些实质上都是云原生的体系,只是产品状态和档次会有所不同。”云原生里的“二八准则”正如上文提到的,阿里巴巴在2019年提出并实现了外围零碎全面上云,2020年又提出外围零碎全面云原生化,通过云原生产品全面撑持团体双11大促。云原生并非欲速不达,尤其对于阿里巴巴这样宏大的体系,它是一个循序渐进的过程,然而咱们会从一些新兴业务里疾速看到云原生带来的扭转。 对于阿里巴巴而言,云原生的终态大略会是二八状态,即至多20%仍是自建,80%的业务会实现云原生化,不会做到100%的云原生化。 起因在于,在企业上云时代,更多讲的是IaaS上云。规模效应下,云计算的老本能够像水煤电一样做到老本足够低,从自建机房到租赁式服务,让企业客户直观感触到老本的大幅降落。但到了PaaS这个档次,会波及不同的角色和场景、工具和服务,PaaS的差异性开始凸显进去,比方企业开发工具、运维工具、企业云管平台,以及外部IT零碎等,这部分很长一段时间内都没有齐全云原生化。 阿里巴巴的本身业务体量十分大,如果全面云原生化意味着要做很多的定制服务,这并非最优解。将来实现80%的云原生化,其实也代表着阿里本身对于投入云原生技术的信心,甚至能够节约掉一些老本,以解决遗留资产的问题。 在2016年,阿里巴巴就实现了100%的容器化,以新一代的容器化形式替换原有的业务构建形式。这在互联网企业里能够说是绝无仅有。 相比之下,很多云原生时代的新兴势力,可能最大的劣势就是不存在20年前阿里所面临的遗留资产问题,它们实现100%的云原生化就容易很多。 以批发行业为例。这个行业的竞争态势决定了企业必须要走在前列,踊跃拥抱数字化转型伎俩,利用数据驱动业务,买通跟客户的连贯,实现门店治理、营销数字化等。 批发行业的全渠道营销等新业务往往是100%云原生的,然而一些存量的业务板块,企业可能不会有太大的能源、精力和能力实现云原生化。 丁宇提到,“咱们要认清一个矛盾点,咱们能够解决企业最外围的业务数字转型问题,但不能做一套计划来满足企业的所有零碎。云原生并不是万能钥匙,帮忙企业解决全副的问题。”一股“新兴势力”对于云原生带来的先进生产力,各行各业都会存在肯定的需要。只不过那天有没有到来,仍取决于所在行业和客户的成熟度。 容器+Kubernetes曾经成为云计算的新界面,能够对上游的业务包含大数据、AI、区块链、边缘计算等新兴负载进行撑持。站在这一层面,云原生是不分行业的,它是依据场景和技术平台的特点来决定的。 但这并不意味着不同客户对云原生技术利用的需要会是雷同的。实际上,不同行业对计划的接受度、爱好的差异是较为显著的。 比方,政企、金融等线下实体行业比拟喜爱平台级的PaaS产品,心愿体验好、门槛低、稳定性高、可迭代;而互联网企业就不太承受PaaS,他们更心愿是模块化、可组装的,具备肯定的灵便度和开放性,这类企业往往技术实力较强,也有本人把控的想法。 此外,互联网企业对Serverless的偏好是非常明显的。Serverless将云的界面大幅上移,升高了对开发人员的精力耗费。在阿里团体外部,像闲鱼、高德等业务板块,就率先于阿里团体应用了Serverless的技术。 “说不好哪个业务会走到后面,业务对新技术的渴求是一样的,然而不同业务板块会依据本身的能力和所处的阶段,做一些新的畛域和产品的尝试。”规范和开源减速了云原生单讲概念,云原生直到2013年前后才有一个大抵规范的定义,到2018年又被CNCF持续诠释。但实际上,阿里云对云原生也有本人的了解。 在阿里云看来,云原生有广义和狭义了解之分。广义了解上,云原生是从容器而来,企业的IT架构要跟云联合,才会有更好的劣势。云原生的劣势在于可能充分发挥云的能力,利用云的劣势,构建弹性、可扩大、易治理、易保护的零碎。 同时,云本身也在发生变化、降级。比方神龙服务器的降级,跟容器进行软硬一体的协同优化,使得性能、弹性各方面指标都能失去很大的晋升;数据库跟云原生联合,可能将数据库跑在容器上,做存储计算拆散,数据库的弹性自动化运维。 云实际上革新了技术的实现形式。 狭义了解上,云原生的外延可能更为丰盛,因云而生、为云变动,云上生、云上长,这种实际形式曾经远远超过了容器化所带来的意义。 以丁宇所负责的阿里云云原生利用平台为例,不同于之前咱们所了解的容器服务、中间件等产品,云原生利用平台是一个丰盛、关涉多元角色体系的平台。它既不是容器平台,也不是PaaS,却须要连贯很多外围的第三方SaaS服务商、PaaS服务商,凋谢兼容性接口给客户。那么,规范与开源可能是欠缺将来商业化体系的方向之一。 比方,阿里联结微软在社区推出的一款用于构建和交付云原生利用的标准规范OAM(Open Application Model),其核心理念即“以利用为核心”。起因在于,过来五年的云原生技术,次要是向下解决问题,而今它向上能够撑持很多工作工作,却不足对模型治理的标准化。 原来,开源走商业化十分难,但明天的状况不同,大量的开源软件能够在云上提供服务,无论容器还是大数据、音视频服务,都能够开发合乎标准规范的利用,以云的形式触达客户。 这种拥抱开源的形式也最终影响了软件的凋谢规范,造成阿里云原生利用平台的最外围特色。 开源仍在路上在阿里巴巴外部有这样一句话叫做“因为置信,所以看见”。无论最终论断导向了哪一方,你为之All In的全过程,其实就是在证实你的愿景。 相比过来,开源因云计算订阅模式的扭转,造成了一条新的商业门路。目前阿里云的开源我的项目曾经超过了2600个,Star数超百万,这是过来难以想象的事件。 以容器技术的倒退为例。2011年至2016年期间,很多容器服务厂商就呈现了这样一个规范的踏空。阿里云也是在2016年才替换掉本人的容器技术,抉择了过后曾经成为业界事实标准的Docker。 这无疑就回到一个问题:对技术的抉择,是自研,还是应用开源技术? 对于阿里而言,采纳开源或第三方产品基本支撑不了其规模和体量,如果可能撑持的话,老本也是十分高的。如果企业全是自研的话,会同时带来一个问题,企业不肯定容易招人,从语言到平台、框架、架构全是自研,人才培训就是问题,人才来到后也不肯定好找工作。 所以最初导向一点,就是肯定要有规范。这个规范可能面向行业普适性,这样人才好招,同时还能够排汇里面的力量,自研的货色也有机会造成商业化。 现在来看,通过过来多年的实际,阿里云成为了很多事实标准(如Dubbo、RocketMQ),也追随业界的趋势,采纳了很多行业的规范(如Kubernetes )。 阿里云始终心愿能够做标准化的技术,跟社区的规范、行业的规范进行买通,这样对于阿里云的客户而言,简化了很多流程,其具备的能力也是将来的支流。 与搭档的“被集成”现在,大量的传统软件厂商、独立软件服务商、渠道搭档心愿通过本身的转型降级,对最终客户提供更多的价值翻新。他们其实不不足大量通过验证的交付能力,也不不足好的想法,但难题在于就拥抱互联网新技术,很难短时间内冲破自我。 明天有老的SaaS厂商,也有新的SaaS厂商。不同之处在于,新SaaS厂商会因为老本、对生产力谋求比拟极致,会齐全通过云的形式进行开发。这些厂商生于云计算时代之后,如果不享受这个时代的红利,跟老的SaaS厂商相比,基本没有劣势的积攒,所以更应该抓住技术先进性的劣势。 日前,阿里云与APM厂商博睿数据在可观测畛域开展单干,借助阿里云原生技术产品实现博睿在SaaS交付产品云拨测的布局,实现互联网形式的规模化倒退。 对此丁宇提到,“博睿心愿跟阿里云一起渗透到SaaS畛域,向云计算架构聚拢,因为博睿看到将来更多的客户会在云上,它也心愿可能疾速挺进这一市场。现阶段,就须要通过理念、案例,通过技术的前瞻性,将可观测带入一个新的倒退阶段。”只管目前来看,业界对云原生的了解和实际过程仍是参差不齐的,但阿里云心愿能在云原生的市场心智建设阶段,通过“自证预言”,带动更多的企业退出到云原生中来。 当下,各行业都在拥抱云计算,这就要求云厂商须要继续对云根底包含服务器、网络、计算、存储等方面一直夯实,从而造成十分强的技术劣势;同时,企业数字化转型的产生肯定会依赖云计算,想要取得云的红利,就肯定须要依赖云原生技术。 这种趋势下,云原生数据库、云原生大数据、云原生中间件、云原生平安等服务,也在因为云而轻轻产生扭转。 本文转自雷锋网,如需转载请至雷锋网官网申请受权。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 16, 2021 · 1 min · jiezi

关于运维:历经3年的打磨数据构建及管理平台Dataphin增加了什么新功能

简介:自Dataphin产品上线以来,经验3年的迭代打磨,在2021年5月15日公布新版本,次要波及数据源类型拓展,数据集成、实时研发、数据服务性能降级,运维体验优化等,将满足更多用户场景,晋升研发体验。-更多对于数智化转型、数据中台内容请退出阿里云数据中台交换群—数智俱乐部 和关注官网微信公总号(文末扫描二维码或点此退出) -阿里云数据中台官网 https://dp.alibaba.com/index Dataphin即智能数据构建与治理平台 旨在提供从数据接入到数据生产的全链路、一站式的大数据能力,包含产品、技术和方法论等,以助力企业打造规范对立、死记硬背、资产化、服务化、闭环自优化的智能数据体系。 版本新个性详情 自Dataphin产品上线以来,经验3年的迭代打磨,本次2.9.4.2版本在2021年5月15日公布,次要波及数据源类型拓展,数据集成、实时研发、数据服务性能降级,运维体验优化等,将满足更多用户场景,晋升研发体验: 性能降级亮点摘要 1、新增数据源新增反对Hologres数据源类型,用于后续Hologres数据同步集成,及后续实时Blink工作读写应用。 对于应用Hologres数据源的用户来说,Dataphin反对从Hologres数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至Hologres;反对Blink工作实时读写Hologres数据,且在Dataphin流批一体场景中,Hologres能够用作批流一体的对立存储服务,实时查问实时写入,无冗余数据搬迁工作,大幅晋升研发效率。 性能场景a. 数据源引入 性能场景b. 离线数据集成 性能场景c. 流批一体 定义Hologres元表,指定数据源及起源表 定义流批虚构镜像表,指定镜像表映射的批流别离写入的物理表,因为Hologres同时反对离线与实时读写,因而两边物理表能够均为Hologres表 创立Blink流批一体工作,指定批流参数配置及工作配置,代码逻辑统一,一套代码实现两种调度时效 Dataphin流批一体架构图 2、Blink实时工作反对代码采样调试Blink实时工作反对代码采样调试,采样数据反对本地上传文件数据、在线抽样数据、在线编辑输出数据三种形式,仅兼容反对blink-3.6及以上版本。 降级前Blink工作不反对本地调试,无奈在草稿态时验证作业开发的数据正确性,须要提交到运维后启动运维的测试实例进行验证,提交工作之前无奈验证。 降级后在提交Blink工作之前能够进行本地数据采样,并在Console中输入工作运行后果,能够即时查看代码逻辑是否正确、输入后果是否合乎预期等,验证正确再进行工作提交,无效保障了工作品质及开发效率。并且咱们反对三种采样形式!主动抽样数据起源表数据、上传本地csv文件(提供样例可下载),或者间接在采样的面板中进行数据输出,灵便且不便。 3、运维列表展现对象拓展运维列表每页展现对象拓展至100个,默认展现20/页,可切换20/40/60/80/100个/页;运维工作DAG图中反对查看物化代码及运行日志时主动定位到对应物化节点,晋升运维效率 4、数据服务模块反对新离线数据源数据服务模块新增反对AnalyticDB for MySQL 3.0 离线数据源。 新增数据服务管理员角色,作为API权限申请、服务单元权限申请及数据源权限申请的审批人,增强API数据服务进口的权限管控强度,限度API开发者自己对API的广泛应用权限,需设置专人进行权限审批,API利用平安及权限管控效劳大幅加强。 版本小结本次5月公布的V2.9.4.2版本中,Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行性能迭代。 在下一期的迭代中,打算反对CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩大、监控告警能力降级、MySQL8.0数据源等性能,敬请期待! 我想理解更多:https://dp.alibaba.com/consult 数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。 目前正通过阿里云对外输入系列解决方案,包含通用数据中台解决方案、批发数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案等细分场景。 其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包含: - Dataphin,一站式、智能化的数据构建及治理平台;- Quick BI,随时随地 智能决策;- Quick Audience,全方位洞察、全域营销、智能增长;- Quick A+, 跨多端全域利用体验剖析及洞察的一站式数据化经营平台;- Quick Stock, 智能货品经营平台;- Quick Decision,智能决策平台;官方站点: 数据中台官网 https://dp.alibaba.com 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 16, 2021 · 1 min · jiezi

关于运维:用管控策略设定多账号组织全局访问边界

简介:企业上云多账号架构中,如何做到从上到下治理的同时,解决好员工的权限边界问题?由多账号上云模式说起多账号上云模式的产生咱们的企业客户上云,个别都是从尝试部署大量业务开始,而后逐渐将更多业务采纳云上架构。随着企业上云的进一步深刻,越来越多的企业业务被放在了云端,这使得企业洽购的云资源迅速增多,资源、我的项目、人员、权限的治理变得极其简单,仅仅应用一个账号,使得问题被放大,很难失去无效解决。单账号负载过重已有力撑持,许多企业开始创立更多账号以扩散业务压力。于是,许多企业抉择应用了更多账号,对应其不同的业务。因而,从账号的应用方面看,企业应用的账号数量逐渐增多,多账号上云模式逐步成为多业务上云的重要选项。 多账号模式的劣势诸多企业抉择采纳多账号模式上云,也是因为多账号绝对单账号而言,有着不可代替的劣势。 应用多账号的逻辑强隔离,实现企业不同业务利用间的互相独立账号与账号之间默认是隔离的。这将防止不同业务间产生依赖项抵触或资源争用,甚至能够反对为每个业务设置明确的资源限度。 利用多账号扩散危险,最大水平晋升资源平安边界,尽可能将危害降到最低打消平安“核按钮”。当非法用户窃取到一个高权限时,“爆炸半径”被限定到单个账号内,而不影响企业所有业务。 轻松应答大型企业多分公司关系,反对多种法律实体、多种结算模式共存每个账号都可对应惟一一个法律主体,多账号环境人造反对团体企业的多分公司主体、以及不同业务的不同结算模式。 多账号易于结构化治理,业务的拆分和交融变得简略业务过多导致“臃肿”不利于治理,业务间也非扁平状态,存在业务关联的“组织性”要求,单个账号很难解决,多账号却易于实现;同时,借助账号的独立性,它们可轻松地拆分或交融于不同的管控域,与企业业务适配联动。 多账号架构的挑战多账号的采纳,如果不去有序的治理它,也会有很多麻烦。 比方,账号散落没有集中、没有结构化,就无奈做到组织化治理。再比方,下层管理者如何可能一眼全局、如何可能集中管控,都是影响企业业务效率的问题,须要解决。 无序治理的多账号人心涣散,有序治理是企业多账号模式促成生产效率的第一要务。 从多账号组织化问题看,阿里云的资源目录产品,能够很好地解决多账号有序治理问题。这是资源目录的根底能力之一。 资源目录是阿里云面向企业客户,提供的基于多账号的治理与治理服务。具体理解资源目录 大家能够看到,上图中,利用资源目录的组织能力,企业能够很快的构建属于本人的业务架构,将企业多账号依照业务关系聚合,造成结构化易治理的状态,并提供闭环的企业云资源管理服务,以此来适配业务的治理须要。 多账号模式下的权限管控问题 阿里云诸多大客户对于企业TopDown管控越来越器重。 随着客户业务的大量上云,员工(user)被密集且简单的授予各种资源、服务的权限以运作这些业务,企业治理端很难十分粗疏地考量每个业务的具体受权,但心愿可能从顶层做出企业的全局管控,即制订企业“大标准”以限定用户权限边界,免得超出公司的合规范畴。 如何可能简略高效的解决这个问题?以下是资源目录管控策略产品设计的初衷。 管控策略产品定义与实现管控策略(Control Policy,下文简称CP) 是一种基于资源构造(资源目录中的组织单元或成员账号)的拜访控制策略,能够对立治理资源目录各层级内资源拜访的权限边界,建设企业整体访问控制准则或部分专用准则。管控策略只定义权限边界,并不真正授予权限,您还须要在某个成员账号中应用访问控制(RAM)设置权限后,相应身份才具备对资源的拜访权限。 从企业上云的角度看,管控策略的施行对象是企业用户对所需云资源的操作行为。从企业用户订购云资源、配置和应用云资源、最初到销毁云资源,管控策略能够对企业用户操作云资源的整个生命周期行为作出预设的前置校验,阻止不合乎预设规定的操作产生,最终达到标准企业用户对云资源应用行为的目标。 管控策略的实现机制在鉴权引擎中减少管控策略校验 管控策略(CP)是如何实现权限管控成果的呢? 上图所示为用户拜访资源申请的鉴权流程。管控策略在鉴权引擎中减少前置校验逻辑,在正式鉴权之前就对操作产生的边界进行断定:对于Explicit Deny(显式回绝)或Implicit Deny(隐式回绝),将间接做出「回绝」后果,仅当管控策略的断定后果是Allow(容许)时,鉴权引擎才会进行下一步断定。您能够具体理解权限断定流程 基于资源目录实现从上至下的管控 当企业创立了一个资源目录,并为每个部门创立了成员账号后,如果对各成员账号的行为不加以管控,就会毁坏运维规定,带来平安危险和老本节约。利用资源目录-管控策略性能,企业能够通过企业治理账号集中制订治理规定,并将这些治理规定利用于资源目录的各级组织构造(资源夹、成员账号)上,管控各成员账号内资源的拜访规定,确保安全合规和老本可控。例如:禁止成员账号申请域名,禁止成员账号删除日志记录等。 当成员账号中的RAM用户或角色拜访阿里云服务时,阿里云将会先进行管控策略查看,再进行账号内的RAM权限查看。具体如下: 管控策略鉴权从被拜访资源所在账号开始,沿着资源目录层级逐级向上进行。在任一层级进行管控策略鉴权时,命中回绝(Deny)策略时都能够间接断定后果为回绝(Explicit Deny),完结整个管控策略鉴权流程,并且不再进行账号内基于RAM权限策略的鉴权,间接拒绝请求。在任一层级进行管控策略鉴权时,如果既未命中回绝(Deny)策略,也未命中容许(Allow)策略,同样间接断定后果为回绝(Explicit Deny),不再进入下一个层级鉴权,完结整个管控策略鉴权流程,并且不再进行账号内基于RAM权限策略的鉴权,间接拒绝请求。在某一层级鉴权中,如果未命中回绝(Deny)策略,而命中了容许(Allow)策略,则本层级鉴权通过,持续在父节点上进行管控策略鉴权,直至Root资源夹为止。如果Root资源夹鉴权后果也为通过,则整个管控策略鉴权通过,接下来进入账号内基于RAM权限策略的鉴权,详情请参见权限策略断定流程。管控策略的用法说明管控策略的语言CP应用与RAM基本相同的语法结构。您能够具体理解权限策略语法和构造 CP语法结构中蕴含版本号和受权语句列表,每条受权语句包含受权效劳(Effect)、操作(Action)、资源(Resource)以及限度条件(Condition,可选项)。其中CP较RAM的Condition反对上,多了一种条件Key:acs:PrincipalARN,实现对执行者身份(目前反对Role)的条件查看,次要利用场景为下文中提到的「防止指定云服务拜访被管控」。您能够理解更多CP语言的应用办法 管控策略的影响成果您能够将自定义CP绑定到资源目录的任意节点,蕴含任何一个资源夹或成员账号。CP具备基于资源目录树形构造从上向下继承的特点,例如:为父资源夹设置管控策略A,为子资源夹设置管控策略B,则管控策略A和管控策略B都会在子资源夹及其下的成员账号中失效。 CP仅影响资源目录内的_成员账号下的资源拜访_。它对资源目录企业治理账号(MA)下的资源拜访不会产生影响,因为MA并不属于RD;CP仅影响成员账号内的_RAM用户和角色拜访_,不能管控账号的根用户(Root user)拜访。咱们建议您在资源目录内应用资源账号类型成员,这一成员类型禁用了根用户;对于资源目录成员类型,请参见文档CP基于资源的拜访失效。无论是资源目录内的用户,还是内部用户,拜访资源目录内的资源时,都会受到CP的管控;例如,您对资源目录内的A账号绑定了一个CP,同样实用于在资源目录内部的B账号内的用户拜访A账号内的资源时的管控CP同样影响基于资源的受权策略。例如,在资源目录内的A账号中OSS bucket上授予资源目录内部的B账号内的用户拜访,此拜访行为同样受到绑定在A账号的CP影响CP对服务关联角色(Service Linked Role)不失效。对于服务关联角色的详情,请参见服务关联角色防止指定云服务拜访被管控管控策略将对被管控成员账号中的资源拜访权限限定边界,边界之外的权限将不容许失效,此限定同样影响阿里云服务对该成员账号拜访的有效性。 阿里云服务可能应用服务角色(Service Role)拜访您账号中的资源,以实现云服务的某些性能。当一个服务角色的权限超过管控策略的边界时,此权限会受到管控策略的束缚,这可能导致云服务的某些性能不能失常应用。如果这正是您配置管控策略冀望的后果,则无需进行其余额定操作,然而,如果您不心愿这些云服务被管控,您能够采纳以下办法进行解决: 确认您不心愿被管控的云服务所应用的服务角色名称。您能够登录RAM控制台,查看账号下的所有服务角色。在造成管控成果的管控策略中减少Condition key: "acs:PrincipalArn"的条件,将受影响的云服务所应用的服务角色名称写入到PrincipalArn字段,以防止该服务角色被误管控。示例如下:{ "Statement": [ { "Action": [ "ram:UpdateUser" ], "Resource": "*", "Effect": "Deny", "Condition": { "StringNotLike": { "acs:PrincipalARN":"acs:ram:*:*:role/<服务角色名称>" } } } ], "Version": "1"}管控策略应用限度与参考阿里云资源目录-管控策略目前已反对对152款云产品,您能够查看反对管控策略的云服务 ...

June 15, 2021 · 1 min · jiezi

关于运维:Seata-新特性APM-支持-SkyWalking

作者:赵禹光,Seata Contributor,SkyWalking PMC 背景前序 正如所看到的文章题目,就在此时,Seata 与 SkyWalking 两个生态交融,获得了阶段性成绩。上面就联合文章内容,给你徐徐道来。 事件的起因是这样的,Seata、SkyWalking 别离是分布式事务畛域、一站式 APM 畛域的的佼佼者,这一点通过 Github Star 排名就能够晓得,也就不再赘述了。所以早在 2019 年,Seata 的用户就提出了应用 SkyWalking 观测的诉求。 Seata 融入 SkyWalking 监控后,就有了 APM 个性,用户在定位 Seata 分布式事务的问题时,能够通过分布式链路、机器指标、日志内容等多个维度进行问题分析,实现定位问题的提效。 那联合这个诉求,两个社区感兴趣的同学就开始开展了初步探讨和实际,然而因为过后 Seata 的传输协定中,没有相似于 HTTP Header 的面向传输的音讯头部,所以实现的第一版尽管实现了监控观测,然而兼容性十分不敌对,这在解决分布式事务的监控中,显然是有欠缺的。故此,咱们开启了二番探讨,论断是兼容性的前置条件是必须的,所以,Seata 要实现传输协定降级,就此 Seata 将此事放在了 RoadMap 中。SkyWalking 社区这边也临时搁置了这件事。 时光荏苒,转瞬 1 年多就过来了,Seata 社区在过程中曾经实现了传输协定的降级,那咱们就重启此事。 一、Seata 接入 SkyWalking 后,用户失去了什么 背景曾经叙述完了,因为工夫有些久,可能大家对两个生态交融之后带来的成果,也不是很清晰了,这里就我的集体的了解,介绍下两个生态交融后,给用户带来的好处: Seata的性能可被更好的观测: 我看到很多 Seata 分享的时候都有用户发问,Seata性能耗费数据,因为分布式事务的性能耗费与场景关系十分大,所以用户通过 SkyWalking 能够更简略的观测本人的场景,本人给本人答案。 分布式事务执行过程有痕迹 在 AT 模式下,Seata 通过面向传输的音讯头部,传递全局事务 XID ,全局事务执行实现后,每个在 DB 中的执行过程都会被清理掉,这在回溯执行过程的时候十分不敌对,这些海量数据 Seata 可不会存储,这重大减少分布式事务关联数据库表的空间,带来不必要的性能耗费。所以两个生态交融后,SkyWalking 相干的数据库监控,就能够记录这些执行过程的海量数据。 定位问题的提效在日志中打印 XID 的同时打印 TraceId ,当呈现问题想回溯 XID 相关联的全局链路时,在 SkyWalking 的展现端输出 TraceId 即可,通过 Seata 整体监控融入 SkyWalking ,不仅领有全链路畛域的监控,还在仪表盘、拓扑图、在线分析和报警都失去了监控。 ...

June 15, 2021 · 1 min · jiezi

关于运维:云原生推动全云开发与实践

简介:明天,千行百业都在拥抱云计算和云原生,进行数字化翻新和降级,云原生外延失去了极大丰富,使得咱们明天能够从新定义云原生。云原生技术的呈现,有利于帮忙开发者构建弹性扩大、容错性好、易于治理,便于观测的松耦合零碎,代表技术 Kubernetes 、容器、 DevOps 、微服务、服务网格、 Serverless ,能够看到,这样的技术是一组应用层技术的汇合,而云计算的传统劣势是资源的池化,这种集约化治理,会带来弹性分布式和基于 API 自动化治理的能力,能够说云原生只有和云计算联合起来,才能够施展真正的威力。作者|丁宇 明天,千行百业都在拥抱云计算和云原生,进行数字化翻新和降级,云原生外延失去了极大丰富,使得咱们明天能够从新定义云原生。云原生技术的呈现,有利于帮忙开发者构建弹性扩大、容错性好、易于治理,便于观测的松耦合零碎,代表技术 Kubernetes 、容器、 DevOps 、微服务、服务网格、 Serverless ,能够看到,这样的技术是一组应用层技术的汇合,而云计算的传统劣势是资源的池化,这种集约化治理,会带来弹性分布式和基于 API 自动化治理的能力,能够说云原生只有和云计算联合起来,才能够施展真正的威力。 因云而生的云原生 云原生技术和云计算联合起来是什么呢?就是咱们明天说的云原生产品,明天的云平台提供了大量的云原生产品,包含大数据、数据库、容器服务、中间件、利用 PaaS 、云原生平安、开发者工具、音视频服务、弹性裸金属服务器等,因云而生的产品、软件、硬件、技术、架构才是真正的云原生。 云原生开启全云开发时代 明天咱们认为云原生成为云计算的一次再降级。对于云平台来讲,以容器为代表的技术,成为了云计算新的服务界,面向开发者,向下可能封装基础设施,屏蔽异构环境的差异性,以阿里云容器服务 ACK 为例,可能向下封装三十款云产品,带来非常简单的应用界面;向上反对三十多款云产品,反对异构负载和架构。对于企业来讲,云原生正在减速企业的数字化翻新,从基础设施云化、核心技术互联网化、利用架构现代化、业务数据化智能化四个方向发力,帮忙企业实现业务翻新。 明天云原生成为企业数字翻新的最短门路和基石,对于开发者来讲,云原生重塑软件生命周期,一方面向下优化,实现软硬一体协同优化,升高技术老本,晋升技术效率;另一方面向上撑持多种工作负载,让架构带来更多美妙个性。关注云原生的敌人必定晓得, CNCF 曾经有几百个我的项目,从整个利用的开发到具体的开发框架、开发工具 IDE 、测试 CI/CD ,整个公布上线,变更运维容量治理,监控整体降级,能够说是方方面面齐全笼罩,云原生给全生命周期带来了一个全新凋谢规范解决方案,所以,咱们认为明天云原生曾经开启了全云开发的时代。 云原生带来开发模式变革 云原生带来开发模式的变革,为开发者提供一些十分有劣势的特点。 1)架构层面:云原生开发模式是模块化的架构,通过标准化的接口和协定进行通信。 2)利用交付和更新层面:能够进行继续的自动化的迭代、集成和交付。 3)运维层面:标准化、自动化的运维模式。 4)扩展性方面:可按需主动弹性扩大。 5)依赖性层面:具备良好的可移植性,即齐全没有厂商锁定的问题,不依赖于零碎环境和硬件。 6)企业组织与文化:跨职能沟通与单干顺畅,应答变动能力强。 所以咱们认为云原生正在驱动新的开发时代的到来,这是属于开发者的时代。 云原生驱动新开发时代到来 明天的行业调研报告显示,容器的应用正在继续迅猛增长。通过 CNCF 的调研, 2021 年,有 68% 的机构和企业会在生产环境中应用容器,较两年前晋升了 240% ,能够说容器无处不在。市场调研显示,对于前端/后端开发,网页/挪动端/小程序,逻辑/组件/框架等等, 2021 年开发者云上开发志愿度同样达到了 68% 。 Serverless 比重大幅减少, 2021 年底, 25% 开发者开始应用 Serverless 的技术和产品。 ...

June 15, 2021 · 1 min · jiezi

关于运维:find-exec-学习

find是咱们很罕用的一个Linux命令,然而咱们个别查找进去的并不仅仅是看看而已,还会有进一步的操作,这个时候exec的作用就显现出来了。 exec解释: -exec 参数前面跟的是command命令,它的终止是以;为完结标记的,所以这句命令前面的分号是不可短少的,思考到各个系统中分号会有不同的意义,所以后面加反斜杠。 {} 花括号代表后面find查找进去的文件名。 应用find时,只有把想要的操作写在一个文件里,就能够用exec来配合find查找,很不便的。在有些操作系统中只容许-exec选项执行诸如l s或ls -l这样的命令。大多数用户应用这一选项是为了查找旧文件并删除它们。倡议在真正执行rm命令删除文件之前,最好先用ls命令看一下,确认它们是所要删除的文件。 exec选项前面跟随着所要执行的命令或脚本,而后是一对儿{ },一个空格和一个\,最初是一个分号。为了应用exec选项,必须要同时应用print选项。如果验证一下find命令,会发现该命令只输入从以后门路起的相对路径及文件名。Advanced Find exec xargs Examples in Linux10 Linux Find Exec examples - Advanced Part 实例1:ls -l命令放在find命令的-exec选项中命令: find . -type f -exec ls -l {} \; 输入: [root@localhost test]# find . -type f -exec ls -l {} \; -rw-r--r-- 1 root root 127 10-28 16:51 ./log2014.log -rw-r--r-- 1 root root 0 10-28 14:47 ./test4/log3-2.log -rw-r--r-- 1 root root 0 10-28 14:47 ./test4/log3-3.log ...

June 13, 2021 · 4 min · jiezi

关于运维:微服务拆分之道

简介:随着我的项目性能增多以及规模增大,单体架构的毛病也随之浮现,而微服务拆分即可解决这些问题。作者:修治 背景微服务在最近几年大行其道,很多公司的研发人员都在思考微服务架构,同时,随着 Docker 容器技术和自动化运维等相干技术倒退,微服务变得更容易治理,这给了微服务架构良好的倒退机会。 在做微服务的路上,拆分服务是个很热的话题。咱们应该依照什么准则将现有的业务进行拆分?是否拆分得越细就越好?接下来一起谈谈服务拆分的策略和保持的准则。 拆分目标是什么?在介绍如何拆分之前,咱们须要理解下拆分的目标是什么,这样才不会在后续的拆分过程中忘了最后的目标。 拆分的实质是为了将简单的问题简单化,那么咱们在单体架构阶段遇到了哪些复杂性问题呢?首先来回忆下当初为什么选用了单体架构,在电商我的项目刚启动的时候,咱们只心愿能尽快地将我的项目搭建起来,不便将产品更早的投放市场进行疾速验证。在开发初期,这种架构的确给开发和运维带来了很大的便捷,次要体现在: 开发简略间接,代码和我的项目集中式治理排查问题时只须要排查这个利用就能够了,更有针对性只须要保护一个工程,节俭保护零碎运行的人力老本然而随着性能越来越多,开发团队的规模越来越大,单体架构的缺点缓缓体现进去,次要有以下几个方面。 在技术层面,数据库的连接数成为应用服务器扩容的瓶颈,因为连贯 MySQL 的客户端数量是有限度的。 除此之外,单体架构减少了研发的老本克制了研发效率的晋升。比方公司的垂直电商零碎团队会被按业务线拆分为不同的组。当如此多的小团队独特保护一套代码和一个零碎时,在配合的过程中就会呈现问题。不同的团队之间沟通少,如果一个团队须要一个发送短信的性能,那么有的研发同学会认为最快的形式不是询问其余团队是否有现成的而是本人写一套,然而这种想法是不适合的,会造成性能服务的反复开发。因为代码部署在一起,每个人都向同一个代码库提交代码,代码抵触无奈防止;同时性能之间耦合重大,可能你只是更改了很小的逻辑却导致其它性能不可用,从而在测试时须要对整体性能回归,缩短了交付工夫。模块之间相互依赖,一个小团队中的成员犯了一个谬误,就可能会影响到其它团队保护的服务,对于整体零碎稳定性影响很大。 最初,单体架构对于零碎的运维也会有很大的影响。设想一下,在我的项目初期你的代码可能只有几千行,构建一次只须要一分钟,那么你能够很麻利灵便地频繁上线变更修复问题。然而当你的零碎裁减到几十万行甚至上百万行代码的时候,一次构建的过程包含编译、单元测试、打包和上传到正式环境,破费的工夫可能达到十几分钟,并且任何小的批改,都须要构建整个我的项目,上线变更的过程十分不灵便。 而这些问题都能够通过微服务化拆分来解决。 为了不便你更好的了解这块,我这边附上一份表格(_内容起源:《继续演进的 Cloud Native:云原生架构下微服务最佳》一书_),能够更直观地帮忙你意识拆分的目标。 拆分机会应该如何决策?产品初期,应该以单体架构优先。因为面对一个新的畛域,对业务的了解很难在开始阶段就比拟清晰,往往是通过一段时间之后,能力逐渐稳固,如果拆分过早,导致边界拆分不合理或者拆的过细,反而会影响生产力。很多时候,从一个已有的单体架构中逐渐划分服务,要比一开始就构建微服务简略得多。同时公司的产品并没有被市场验证过,有可能会失败,所以这个投入的危险也会比拟高。 另外,在资源受限的状况下,采纳微服务架构很多劣势无奈体现,性能上的劣势反而会比拟显著。如下图所示。当业务复杂度达到肯定水平后,微服务架构耗费的老本才会体现劣势,并不是所有的场景都适宜采纳微服务架构,服务的划分应逐渐进行,继续演进。产品初期,业务复杂度不高的时候,应该尽量采纳单体架构。 随着公司的商业模式逐步失去验证,且产品取得了市场的认可,为了能放慢产品的迭代效率疾速占领市场,公司开始引进更多的开发同学,这时零碎的复杂度会变得越来越高,就呈现单体利用和团队规模之间呈现矛盾,研发效率不升反降。上图中的交叉点表明,业务曾经达到了肯定的复杂度,单体利用曾经无奈满足业务增长的需要,研发效率开始降落,而这时就是须要思考进行服务拆分的机会点。这个点须要架构师去衡量。笔者所在的公司,是当团队规模达到百人的时候,才思考进行服务化。 当咱们分明了什么时候进行拆分,就能够间接落地了吗?不是的,微服务拆分的落地还要提前准备好配套的基础设施,如服务形容、注册核心、服务框架、服务监控、服务追踪、服务治理等几大根本组件,以上每个组件缺一不可,每个组件开展又包含很多技术门槛,比方,容器技术、继续部署、DevOps 等相干概念,以及人才的储备和观点的变动,微服务不仅仅是技术的降级,更是开发方式、组织架构、开发观点的转变。 至此,何时进行微服务的拆分,整体总结如下: 业务规模:业务模式失去市场的验证,须要进一步加快脚步疾速占领市场,这时业务的规模变得越来越大,按产品生命周期来划分(导入期、成长期、成熟期、衰退期)这时个别在成长期阶段。如果是导入期,尽量采纳单体架构。团队规模:个别是团队达到百人的时候。技术储备:畛域驱动设计、注册核心、配置核心、日志零碎、继续交付、监控零碎、分布式定时工作、CAP 实践、分布式调用链、API 网关等等。人才储备:精通微服务落地教训的架构师及相应开发同学。研发效率:研发效率大幅降落,具体问题加入下面拆分目标里提到的。拆分时应该坚守哪些领导准则?1. 繁多服务外部性能高内聚低耦合也就是说每个服务只实现本人职责内的工作,对于不是本人职责的性能交给其它服务来实现。 2. 闭包准则(CCP)微服务的闭包准则就是当咱们须要扭转一个微服务的时候,所有依赖都在这个微服务的组件内,不须要批改其余微服务。 3. 服务自治、接口隔离准则尽量打消对其余服务的强依赖,这样能够升高沟通老本,晋升服务稳定性。服务通过规范的接口隔离,暗藏外部实现细节。这使得服务能够独立开发、测试、部署、运行,以服务为单位继续交付。 4. 继续演进准则在服务拆分的初期,你其实很难确定服务到底要拆成什么样。从微服务这几个字来看,服务的粒度貌似应该足够小,然而服务多了也会带来问题,服务数量快速增长会带来架构复杂度急剧升高,开发、测试、运维等环节很难疾速适应,会导致故障率大幅减少,可用性升高,非必要状况,应逐渐划分,继续演进,防止服务数量的爆炸性增长,这等同于灰度公布的成果,先拿出几个不太重要的性能拆分出一个服务做试验,如果呈现故障,则能够缩小故障的影响范畴。 5. 拆分的过程尽量避免影响产品的日常性能迭代也就是说要一边做产品性能迭代,一边实现服务化拆分。比方优先剥离比拟独立的边界服务(如短信服务等),从非核心的服务登程缩小拆分对现有业务的影响,也给团队一个练习、试错的机会。同时当两个服务存在依赖关系时优先拆分被依赖的服务。 6. 服务接口的定义要具备可扩展性服务拆分之后,因为服务是以独立过程的形式部署,所以服务之间通信就不再是过程外部的办法调用而是跨过程的网络通信了。在这种通信模型下服务接口的定义要具备可扩展性,否则在服务变更时会造成意想不到的谬误。比方微服务的接口因为降级把之前的三个参数改成了四个,上线后导致调用方大量报错,举荐做法服务接口的参数类型最好是封装类,这样如果减少参数就不用变更接口的签名,而只须要在类中增加字段就能够了 7. 防止环形依赖与双向依赖尽量不要有服务之间的环形依赖或双向依赖,起因是存在这种状况阐明咱们的性能边界没有化分分明或者有通用的性能没有下沉下来。 8. 阶段性合并随着你对业务畛域了解的逐步深刻或者业务自身逻辑产生了比拟大的变动,亦或者之前的拆分没有思考的很分明,导致拆分后的服务边界变得越来越凌乱,这时就要从新梳理畛域边界,一直纠正拆分的合理性。 拆分的粒度是不是越细越好?目前很多传统的单体利用再向微服务架构进行降级革新,如果拆分粒度太细会减少运维复杂度,粒度过大又起不到成果,那么革新过程中如何均衡拆分粒度呢? 弓箭原理均衡拆分粒度能够从两方面进行衡量,一是业务倒退的复杂度,二是团队规模的人数。如上图,它就像弓箭一样,只有当业务复杂度和团队人数足够大的时候,射出的服务拆分粒度这把剑才会飞的更远,施展出最大的威力。 比如说电商的商品服务,当咱们把商品从大的单体里拆分进去的时候,就商品服务自身来讲逻辑并没有足够简单到 2~3 集体没法保护的境地,这时咱们没有必要持续将商品服务拆的更细,然而随着业务的倒退,商品的业务逻辑变的越来越简单,可能同时服务公司的多个平台,此时你会发现商品服务自身面临的问题跟单体架构阶段面临的问题根本一样,这个阶段就须要咱们将商品拆成更细粒度的服务,比方,库存服务、价格服务、类目服务、商品根底信息服务等等。 尽管业务复杂度曾经满足了,如果公司此时没有足够的人力(招聘不及时或员工异动比拟多),服务最好也不要拆分,拆分会因为人力的有余导致更多的问题,如研发效率大幅降落(一个开发负责与其不匹配数量的服务)。这里引申另外一个问题,一个微服务到底须要几个开发保护是比拟感性的?我援用下李云华老师在"从零开始学架构“ 中的一段经典阐述,能够解决此问题。 三个火枪手准则为什么说是三个人调配一个服务是比拟感性的?而不是 4 个,也不是 2 个呢? 首先,从零碎规模来讲,3 集体负责开发一个零碎,零碎的复杂度刚好达到每个人都能全面了解整个零碎,又可能进行分工的粒度;如果是 2 集体开发一个零碎,零碎的复杂度不够,开发人员可能感觉无奈体现本人的技术实力;如果是 4 个甚至更多人开发一个零碎,零碎复杂度又会无奈让开发人员对系统的细节都理解很深。 其次,从团队治理来说,3 集体能够造成一个稳固的备份,即便 1 集体休假或者调配到其余零碎,残余 2 集体还能够撑持;如果是 2 集体,抽调 1 个后残余的 1 集体压力很大;如果是 1 集体,这就是单点了,团队没有备份,某些状况下是很危险的,如果这个人休假了,零碎出问题了怎么办? ...

June 11, 2021 · 1 min · jiezi

关于运维:实时计算-Flink-版总体介绍

简介:实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 开创团队官网出品,领有寰球对立商业化品牌,齐全兼容开源 Flink API,提供丰盛的企业级增值性能。本文整顿自直播《实时计算 Flink 版总体介绍 》 视频链接:https://developer.aliyun.com/learning/course/795 Apache Flink技术倒退大数据的高速倒退曾经超过10年,大数据也正在从计算规模化向更加实时化的趋势演进。 比方阿里巴巴举办的购物狂环节双11,能够通过实时大屏展现整个双11实时的交易额、成交额,并可实现毫秒级的更新;全球华人都会观看的中央电视台春节联欢晚会,能够通过春晚大屏,实时统计全国的收视率与观众画像;当初多个城市都有的城市大脑我的项目,通过 IoT的摄像头信息,实时捕捉各个城市中的交通、车辆、人流等信息去做交通的监察和治理;还有金融行业,在银行、证券交易所等机构的外围业务场景下,也都在通过大数据实时计算能力实时监控交易行为,进行反作弊反洗钱等行为的探测;除此之外,在整个淘宝电商交易的场景下,实时依据用户的行为进行个性化举荐,基于用户在前一分钟或者30秒内浏览商品状况,在后续的浏览中零碎就会依据算法测算用户画像,而后实时向用户举荐可能会喜爱的相干商品等。能够说这么多日常生活中波及的场景,背地都是由实时计算在推动生产力的晋升,日夜不息。 实时计算须要后盾有一套极其弱小的大数据计算能力,Apache Flink作为一款开源大数据实时计算技术应运而生。它从设计之初就由流计算开启,因为传统的Hadoop、Spark等计算引擎,实质上是批计算引擎,通过对无限的数据集进行数据处理,其解决延时性是不能保障的。而Apache Flink作为流式计算引擎,它能够实时订阅实时产生的事实数据,并实时对数据进行剖析解决并产生后果,让数据在第一工夫施展价值。 目前Apache Flink也从流计算的引擎逐步领有流批一体的计算能力,能够通过日志流,点击流,IoT数据流等进行流式的剖析解决,同时也能够对数据库和文件系统中的文件等无限数据集进行批式的数据处理,疾速剖析后果。Apache Flink 当初是开源社区中十分风行的一个开源大数据技术,并且间断三年成为Apache开源我的项目中寰球活跃度最高的我的项目之一。它具备强一致性的计算能力、大规模的扩展性,整体性能十分卓越,同时反对SQL、Java、Python等多语言,领有丰盛的API接口不便各种场景业务应用。目前国内外互联网企业中Flink曾经成为支流的实时大数据计算技术,是实时计算畛域的事实技术标准。 阿里云实时计算 Flink 版产品,在阿里巴巴团体外部历经多年锻炼和验证,积攒了丰盛的技术和产品,现曾经提供到云上,为各行各业中小企业提供云计算服务。早在2016年,Apache Flink刚刚募捐给Apache之后的第三年,阿里曾经开始大规模上线应用实时计算产品了。这个产品最早上线于阿里最外围的搜寻举荐以及广告业务场景,在这个场景下咱们须要大量的数据实时化的解决,比方实时举荐、实时排序、实时广告等,对整个电商的外围业务有十分大的晋升。 2017年,基于 Flink 的实时计算平台产品,开始服务于整个阿里巴巴团体,同年双11服务全团体的数据实时化,包含最外围的双11的大屏。在2018年产品正式上云,不仅服务团体内,同时开始服务云上中小企业,这也是第一次将实时计算 Flink 的产品以公共云的模式对外提供服务。 2019年初,阿里巴巴收买了 Flink 的开创公司 - Ververica,阿里的 Flink 技术团队-实时计算技术团队和德国总部的Flink开创团队顺利会师,成为了寰球 Flink 技术最强的团队,也独特推动了整个Apache Flink 开源社区的倒退和奉献。目前中国Apache Flink社区有超过20w的开发者参加到社区中,Flink成为Apache基金会大数据畛域最沉闷的我的项目之一。 去年,在寰球支流的云计算公司和大数据公司,都大量采纳 Flink 的技术推出了本人的 Flink 产品。比方借Hadoop起家的Cloudera也推出全面集成了 Flink 的CDP/CDH,国内的大数据公司也陆续推出了基于 Flink 的实时计算产品。 实时计算Flink版产品架构阿里云的实时计算产品架构和开源版本相比拟,有很大的进步和增值。当初很多开发者在自建机房或者云上虚拟机作业时都会应用开源的Apache Flink 去搭建本人的实时计算平台。那么阿里云官网推出的实时计算Flink产品,它的特色是什么呢? ...

June 11, 2021 · 1 min · jiezi

关于运维:都-2021-年了你还在用-Jenkins-赶快看看这些替代方案吧

Jenkins 是目前最罕用的继续集成工具,领有近 50% 的市场份额,它还是很多技术团队的第一个应用的自动化工具。然而随着自动化畛域的继续倒退,Jenkins 逐步暴露出了一些问题,例如不足性能、保护问题、依赖关系和扩大问题等等。 这些问题促使咱们寻找代替办法。这就是为什么在本文中,咱们提供了用于继续集成的最常见的Jenkins替代品列表。 1. BuildMaster Buildmasters是由Inedo研发的Jenkins替代品,它能够使开发者把软件公布到任何环境。该工具为不同的平台提供继续集成性能,使组织能够创立本人的软件公布治理平台。团队能够解决本人的应用程序,并独立部署到其环境中。 不仅如此,它还能够避免公布未经测试的软件。用户对它的简略性感到十分称心。 https://inedo.com/buildmaster... 2. Microtica Microtica是一个DevOps自动化工具,涵盖了整个软件交付过程,从构建云基础架构到应用Kubernetes向云交付应用程序和服务。Microtica的即用型( ready-to-use )组件为用户提供了可重复使用的代码段,并且能够帮忙你在几分钟内创立根底构造。 借助微服务生成器,开发人员能够主动创立微服务。借助集成的Kubernetes仪表板,他们只需单击几下即可创立可扩大的应用程序。 Microtica的流水线定义了每个组件和微服务的工作流程。用户能够随时主动或手动触发它们,以大抵理解其构建过程。他们能够执行所有操作,而无需来到Microtica Web门户,每次更改都会有Slack告诉。 最初,Microtica容许开发人员自动化设置其睡眠周期,从而升高AWS老本。一旦他们激活了节能模式( saving mode ),Microtica就会主动运行并避免适度收入。而且,所有节俭都能够在节省成本的仪表板上找到。 https://microtica.com/ 3. GitLab GitLab是基于云的CI平台,可让开发团队更无效地解决其多样化的工具。它使组织能够通过集中式的版本控制系统平安地打算,构建和治理代码。此外,GitLab使用户可能应用Docker和Kubernetes来解决组件,解决容器以及打包应用程序和依赖项。 GitLab易于集成。然而,它有时可能会有一些烦人的谬误和局限性,以及在实现齐全自动化方面短少一些性能。 https://about.gitlab.com/ 4. CircleCI Circle CI也是Jenkins代替产品之一,可在任何环境(例如Python API服务器或Docker集群)中运行。Circle CI工具打消了破绽并加强了应用程序的一致性。它反对多种语言,例如C ++,NET,JavaScript,PHP,Ruby和Python。此外,当触发新的构建时,能够主动勾销排队和正在运行的构建。它能够与GitHub,GitHub Enterprise和Bitbucket集成。 依据TrustRadius上的用户称,CircleCI的最大劣势是自动化构建,然而有时流水线作业可能会破费很长时间。 https://circleci.com/ 5. Bamboo Atlassian的Bamboo是一款继续集成的服务器,可主动在一个中央创立,监督和公布。它能够轻松地与JIRA应用程序和Bitbucket集成。而且,Bamboo与Docker,Git,SVN和Amazon S3存储集成。 Bamboo依据在存储库中检测到的更改,它能够触发Bitbucket的构建并推送告诉。它既能够托管,也能够本地部署。 使用者说Bamboo的构建过程的可见性很好,然而一些概念和集成尚不分明。 https://www.atlassian.com/sof... 6. TravisCI TravisCI是一项继续集成托管服务,开发人员能够应用它来开发和验证GitHub和Bitbucket托管的应用程序。它能够测试所有申请,以确保不会公布未经测试的代码。你只需登录GitHub,即可设置你的我的项目,包含数据库。 TravisCI非常适合一个小型我的项目,并且构建速度很快。然而,当你有一个较大的我的项目须要关照依赖关系以及构建的性能时,可能会遇到一些问题。 https://travis-ci.org/ 7. Semaphore Semaphore是Jenkins代替产品之一,反对GitHub,Kubernetes,iOS,Docker,Kubernetes的整个CI/CD流程,并且事后装置了100多种工具。 Semaphore能够使任何继续交付流水线自动化,反对可自定义的阶段,还能够并行执行,治理三方依赖等。 Semaphore构建十分快,平台也易于设置。然而,用户说UI有时会令人困惑,并且继续部署的性能无限。 https://semaphoreci.com/product 8. Buddy Buddy是一个CI/CD平台,可通过简略的UI/UX缩小配置和保护Jenkins的工作,从而使构建和部署应用程序变得非常简单。 你能够通过具备YAML导出性能的GUI,在15分钟内执行配置。它可能完满的反对Docker和Kubernetes,可在云和本地环境中应用。 Buddy的设置非常简单,然而其费用太高了。 https://buddy.works/ 9. Drone.io Drone.io是一个CD平台,应用简略的YAML配置文件和docker-compose在Docker容器中创立和执行流水线。Drone.io能够在独自的Docker容器中执行每个流水线步骤。 Drone.io是Jenkins代替产品之一,易于装置,是企业的现实解决方案,但它不足某些性能,须要进一步定制开发。 https://drone.io/ 10. GoCD ...

June 10, 2021 · 1 min · jiezi

关于运维:6月20日-云原生时代的-DevOps-实战沙龙免费报名开启

简介:本场流动还为大家筹备了丰盛的互动交换环节,在学习干货常识的根底上还能结交业界好友,同时有机会取得阿里云限量周边,快邀请你的敌人一起参加吧~流动介绍这是一个效率为王的时代! 对于开发者来说,实现研发、测试、运维之间的高度协同,实现部署效率的同时,打消频繁公布带来危险是保障生产环节稳固的首要谋求,DevOps的概念也利用而生。 进入云原生时代,容器的呈现反对了DevOps的三大次要实际:工作流、及时反馈、继续学习。本次云原生时代下的DevOps沙龙,邀请阿里云及业界出名DevOps专家,为大家带来一手实战经验,分享容器如何帮忙企业解决规模化利用治理、部署、交付的问题,晋升响应和迭代速度。 本场流动还为大家筹备了丰盛的互动交换环节,在学习干货常识的根底上还能结交业界好友,同时有机会取得阿里云限量周边,快邀请你的敌人一起参加吧~ 流动工夫:6月20号(周日)14:00-17:00 流动地点:北京市 东城区朝阳门北大街6号 独创大厦5层 报名链接:http://hdxu.cn/xsWbG 流动流程13:00-14:00 签到+打卡+互动 13:30-14:00 破冰互动交换 广交行业英才——李颖 14:00-14:10 阿里云开发者社区及ACE介绍—— 张维,阿里云北京ACE同城会会长 14:10-14:40《阿里巴巴云原生利用治理与交付零碎实际》——胡志广(独鳌),阿里云高级专家 议题简介:云原生时代利用治理的挑战是什么?oam/kubevela的模型和能够帮忙大家解决哪些问题?还有阿里巴巴的实际。 14:40-15:10《OpenKruise -- 云原生利用全生命周期自动化的实战》——赵明山(立衡),阿里云技术专家 议题简介:1. 云原生环境下,大规模利用的场景和挑战是什么;2. OpenKruise 解决规模化利用部署公布问题的思路与实现;3. OpenKruise优化利用部署治理实际。 15:10-15:40 《云原生基于Kuberntes的DevOps实际》——武栋杰 ,北京昆仑联通科技倒退股份有限公司 零碎架构师 & 微软MVP 议题简介:1、意识Kuberntes2、Kubernetes 典型架构分析 3、如何进行容器化 4、聊聊Kubernetes 的微服务开发。 15:40-16:10《代码即服务:云原生利用开发平台的摸索》——王铎(都铎),阿里云技术专家 议题简介:随着容器技术和Devops的倒退,云原生利用和传统的利用无论研发过程,资源管理都体现出了显著不同,给运维和研发人员都带来了新的挑战,如何从代码即服务的角度登程,提供适应云原生的研发平台,保障稳固的前提下,缩短代码和服务的间隔,晋升迭代速度。 16:10 -16:40 交换发问 16:40-17:00 抽奖-合影-流动完结 流动奖品 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 10, 2021 · 1 min · jiezi

关于运维:运维不简单构建可扩展性的运维体系-IDCF

与一个行业大牛敌人交换时,听到他年老时在思科的一些对于将工作办法升华为方法论,比方“监、管、控”、“新网点”理念,并推动整个行业建设时为之一震。这个触动让我有了让本人的运维常识体系建设做第一次飞跃的打算,即如何将常识体系通过一个主线串起来。 对于这个主线,找过一些敌人做了交换,比方“危险可控”、“一体化”、“更高效更优化的资源配置”、“可扩展性”。因为本人次要身处一线运维团队,所以选了“可扩展性”的主线,接下来打算依据这条主线,不断完善常识体系,指标是体系化的整顿常识体系,次要从组织、流程、工具的可继续整合。 以下这篇《运维不简略》,次要是对运维整体的概览,讲讲对运维的意识,以及一些转型理念思考。 一、运维不简略前阵子,跟一个项目经理沟通是否提前半天将变更申请提交过去时,这位项目经理很不了解地问我,“你们运维不就是在生产环境部署个程序这么简略的工作吗?你们又不懂程序,评审不出什么吧?”。运维多年,对运维的这类意识听过很多,它反映了企业里不同的组织团队对运维的意识往往仅限于一些简略操作性的工作,比方生产利用零碎在故障时的重启、利用变更时敲敲命令、平时增删改查数据,或者是办公室和电无关的所有软硬件的应用问题等等。 那么如何了解运维呢?百度百科对运维的解释为: 企业 IT 部门采纳相干的办法、伎俩、技术、制度、流程和文档等,对IT 软硬运行环境(软件环境、网络环境等)、IT 业务零碎和 IT 运维人员进行的综合治理。从百度百科的解释看,运维岗位须要一个综合性的技术与治理能力,须要把握大量的方法论与技术栈。 运维广义“运维技术与资源”能够定义为“监、管、控”,技术与资源次要是撑持运维/经营的品质、效率、老本的均衡。 以下简略摘录了运维的一些能力要求: 运维标准的落地 :以ITIL、ISO20000、ITSS.1等方法论,联合内部监管及外部标准的落地;监管机构的要求落地 :了解、疾速响应、落地监管机构的治理要求;基本保障 :配置、监控、利用公布、资源扩容、事件、问题等;根底能力 :网络、服务器、操作系统、数据库、中间件、JVM、利用等根本应用与调优;业务服务能力 :SLA,服务台、业务征询、保护、教训库、等反对能力;可用性治理能力 :巡检、业务零碎连续性、可用性,基础架构及利用零碎的高可用、备件冗余资源;危险、平安治理能力 :操作、审计、监管危险,破绽、攻打管控;故障治理能力 :事件、问题管理水平与能力;继续交付能力 :利用变更、根底资源、办公服务交付能力;被动优化能力 :架构优化、性能响应效率、客户体验等;应急演练 :架构高可用、突发事件、业务故障的架构、计划、文档、人员熟练程度等;业务撑持 :数据保护、数据提取、参数保护等;运行剖析能力 :容量、性能、可用性剖析等;经营能力 :促成业务痛点的发现与解决、客户及业务业务体验等;老本管制 :更好的评估人力、硬件、带宽、软件,节省成本;运维开发 :运维自动化工具的建设,运维开发能力的造就;其它不同的企业须要运维的能力会有不同的扩大,上述能力要求每一点扩散出来都将是一个简单的技术栈,比方“根底能力”中的Linux操作系统的内核关系图(摘自互联网,如图),或再深刻一些对于MySQL优化(摘自互联网,如图),须要运维人员对技术能力深度的要求。 讲到这,必定会有人说上述技术栈的能力要求通常是因为某个运维组织仍处于专家式运维,自动化水平不够高导致。确实,实践上所有运维操作性、命令的工作都能够整合为教训,并通过自动化落地实现,当初互联网企业对外都声称自动化在运维工作覆盖面很高,己经开始迈向智能化,AIOps,甚至提出了NoOps的解决方案。 对于这些互联网企业的自动化对日常运维工作实在的覆盖面临时无奈讲究,但以我的教训看,至多金融企业的自动化覆盖面还有很长的路要走,且必定还会有很大一部分工作很难自动化,毕竟工作类型太多,在无限的投入上只能集中力量去做投入产出比更高的运维自动化。 这里再以一个运维工具思维导图,简略列示一些惯例的运维操作,能够看出其实很难有一套能解决所有运维操作的工具平台。 所以我感觉,随着业务要求越来越高、规模越来越大、监管要求越来越高,纵使内部如何声称自动化、智能化对运维人员教训、技术、治理能力代替,金融企业内的运维还须要认清理论状况,联合企业的整体策略定位,强调运维团队在运维治理与技术能力的广度与深度,再有偏重、有先后地实现自动化程度。 在将来一段时间里,金融企业的运维岗位仍是一个简单的、综合性技能的工作岗位。 二、运维之痛近年来,随着运维技术的疾速倒退,各行业的运维程度失去了较大的晋升,同时,运维圈的分享也越来越凋谢,从国外Google的SRE理念,到国内新技术领跑者以及借助于各种运维专题的公众号、运维大会,有大量的互联网、传统企业的运维组织进行分享。 2.1 组织之痛后面讲过,在企业外部其它团队对运维的意识通常是简略操作,出故障时才会找的团队,随着信息技术与业务的倒退,运维组织痛点越来越显著,企业内对运维组织不满的声音越来越多,反思一下起因,分内部客观因素和外部因素。 1)内部客观因素在以后大数据时代,金融企业的运维面临业务规模的不断扩大,业务竞争越来越强烈,监管要求越来越高,数据中心的规模也越来越高,大量新技术、开源架构的引入取代了传统稳固的零碎架构等等因素影响。 运维组织的角色 :绝大部分运维组织都是老本部门,企业对运维组织的器重水平通常不如开发组织,更不用说是前台业务部门。这方面造成了运维部门的规模通常增长很慢,以Google为例,在《Google SRE运维解密》一书中提到,因为Google的数据中心规模急剧扩充,零碎越来越简单,而运维人员规模又跟不上,所以他们的运维组织采纳组建SRE的运维开发团队实现自救。业务对运维服务质量的要求 :越来越多的金融业务己从线下走到线上, 为了博得更多用户的青眼,一方面,业务要求更多、体验更佳的业务性能;另一方面业务对利用公布的交付速度有了更高的要求。前者会产生更简单的零碎设计,后者须要更高效的利用公布反对,两者都会对系统响应效率、稳定性带来影响。内部监管要求:长期以来,为了防备金融风险,监管机构对金融企业放弃强监管的形式,十九大之后,监管对金融企业的信息技术的稳定性、规范性有增无减。在强监管下,信息系统的稳定性有了进一步保障,但也给运维组织带来更高的要求,主观上也加大了工作量,及因为标准流程带来的工作效率的降落。业务并发要求:用户量的减少,营销流动一直推出,须要零碎具备更高的并发解决能力要求,企业一直引入大量分布式、开源架构代替传统绝对成熟稳固的架构来满足业务须要,这些变动都给运维能力带来挑战。数据中心规模增大:数据中心的多核心建设,云化,去IOE,分布式架构的引入使得利用零碎规模成倍增大。2)外部因素网上有一个考察数据,在整个运维老本的调配中,软硬件和网络设备的保护老本占 30%,保护服务老本占30%,外部运维人力老本则占了40%。这里的人力老本包含当初保护、培训、散失与引入等老本,如果将保护服务老本也纳入到人力老本之上,则人力这一块的老本将回升为70%,影响这个人力老本的因素次要有: 运维能力模型:ITIL、ISO20000、ITSS.1是运维畛域中比拟成体系化的方法论(目前更为火爆的DevOps更偏向于是一种思路),其中只有ITSS.1提出了运维能力模型的概念,但在量化运维人员具体能力的实际操作上也比拟难落地。也就是说你很难评估一个运维人员如何做才是做得优,如何是中,如何是差,这些评估通常比拟主观,这也主观影响了运维人员一直减少技能、优化工作效率的能源。运维规范化:组织扩充到肯定规模,以口口相传的传授,联合个体责任心、工作习惯为主的形式容易呈现操作危险,且无奈进行量化绩效治理,治理标准无奈落地。运维精细化水平:组织通常是从纵向职能型的形式造成,这种形式能造就全能型、经验丰富的专家式人才,这些专家式人才利用教训能疾速解决职责下的惯例问题,且效率比拟高,适宜小型的组织。随着组织的一直壮大,面对的问题越来越简单,技术要求越来越多,一方面很多人不能满足这种专家式人才的要求;一方面也会产生很多重复性的工作;同时对于人员散失带来的影响比拟大。这时候就须要将纵向工作精细化,再辅助横向人员对工作进行继续优化。运维指标: 运维的指标往往以被动式的指标为主,被动解决故障、被动解决问题、被动提供利用交付、被动节省成本等,这种被动式的运维指标导致计划性工作不够,不足继续一直的自我优化,须要被动提高效率、品质,降低成本,并由运维向被动经营指标去转变。自动化能力:IT软硬件体量宏大,且增长迅速,手工操作的机器工作太多;运维数据越来越多;故障定位越来越难,人工教训依赖高;监控伎俩不够及时、全面;利用公布、资源交付效率低下;没有被动的容量、性能剖析、体验剖析能力……这些都是常见的一些痛点。2.2 个体之痛作为运维组织中的运维人员同样面临不少痛点,来自工作工夫、工作压力、学习压力、职业倒退等等,以下简略列举: 7*24小时制的工作工夫 :运维人员的节假日是不残缺的,通常节假日须要运维值班保障或在家通过VPN近程操作、或和家人团圆时还近程领导进行故障应急;运维人员上班时间不同于一般工作,为了不影响业务,利用公布、基础设施变更、演练等工作都会放到早晨,对客户的业务零碎还可能要安顿到深夜。这种随时可能产生,随时可能要解决的工作状态是其它行业所不具备的痛点。高度压力的工作 :“如履薄冰”很好地形容了运维的工作状态,因为任何一个生产操作都可能对业务带来影响,所以运维的操作必须非常审慎。同时在运维故障处理过程中,运维人员须要在来自业务、客户、开发、领导等各层的压力下,沉着地实现故障解决,这是一个低压的工作状态。被动的工作 :常常会有人形容运维就是一个“消防员”的角色,也就是被动救火的工作,这个形容很贴切,在不足一些被动剖析、优化、预测性的工作的背景下,运维组织的大部分工作是以被动为主,是负责应急救火、打扫战场、负责收尾的那群默默的人。对工作的意识 :运维人员通常会认为本人就是一个背锅的角色,开发程序问题、硬件问题、系统软件问题、业务需要问题都须要运维去解决,而且这些问题对可用性的影响还要运维来承当,这是运维特有的痛点。职业压力 :运维工作一方面次要是和机器或系统软件打交道,所以绝对于开发、项目管理等IT岗位,转型机会比拟少;同时,运维岗位中反复操作性的工作占比多,如不足疏导容易让运维人员产生麻痹的状态,失去继续改善的能源;另外,后面也提到运维须要把握的技能和治理理念很多,对于运维人员的学习能力要求很高。三、自救3.1 SRESRE这个名词最早是从《Google SRE 运维解密》一书中取得,全称是Site Reliability Engineering,翻译过去就是:站点可靠性工程师。 Google对SRE的职责形容为:确保站点的可用。为了达到这个目标,一方面他须要相熟站点波及的零碎、组件,也要关注生产运行时的状态,为此,他须要自开发并保护很多工具和零碎撑持零碎的运行,比方自动化公布零碎,监控零碎,日志零碎,服务器资源分配和编排等。 SRE是一个综合素质很高的全能手,如果对他的能力进行合成次要有三块: 相熟零碎架构与运行状态:SRE须要懂服务器基础架构、操作系统、网络、中间件容器、罕用编程语言、全局的架构意识、十分强的问题剖析能力、极高的抗压能力(以便从容高效地排障),他们还须要懂性能调优实践。为了保证系统架构的高可用,SRE甚至会无意识地毁坏本人的零碎,以进步零碎可用性。相熟运维波及的治理办法:SRE需依据企业本身倒退须要,分明运维波及的各项工作的流程方法论,比方故障解决、利用公布、可用性治理等等,SRE十分重视运维流程的继续改善,比方对故障的追丁溯源,狐疑所有的形式继续改良。运维开发+产品经理:SRE在运行保障过程中的伎俩更加自动化,更高效,这种高效来源于自动化工具、监控工具的撑持,且他们还须要是这些工具的次要开发者,他们要一直优化和调整,使整个工具箱用起来更加得心应手。为此SRE有一个50%的理念,就是50%用于日常保障,50%用于我的项目性的工作,这个我的项目性的工作次要体现在运维开发与运维产品经理的角色。3.2 运维开发对于运维开发的了解次要体现在运维工具层面,不同的组织有不同的了解,通常有三类: 齐全自建:运维开发团队利用开源技术联合本身须要进行肯定的二次开发,这种形式在互联网企业比拟风行,具体的功效大小与何时能有收效与对这个运维开发团队的整体规划或资源投入无关;外购开发资源或工具产品 :运维开发团队次要是联合企业痛点承当产品经理的角色,设计、跟进、推广工具,这种形式常呈现在传统的企业,尤其实用于投入运维开发人员比拟少的企业,这种形式是投入收效快,然而对外部资源依赖比拟大,不利于后续继续建设;外购与自建相结合: 运维开发团队在整个工具体系下,针对局部组件选择性地引入一些成熟的工具体系,同时要求这类成熟的工具须要凋谢肯定的接口或源码反对,对于一些与公司共性强的环节采纳自研的形式。这种形式目前逐步被一些传统企业,比方金融企业所承受。总的来说,不论选用下面哪一种形式,运维开发团队都应该有一个整体、对立的一体化工具建设布局,并在建设过程中始终保持对运维工具体系的掌控能力,并在工具体系的下层为其它运维人员提供繁难的、可创造性的“开发能力”,比方所见即所得的工具可视化、可定制的运维报表、利落拽形式的流程及脚本组件的拼装等运维开发方式。 ...

June 10, 2021 · 1 min · jiezi

关于运维:OpenKruise-v090新增-Pod-重启删除防护等重磅功能

简介:OpenKruise 是阿里云开源的云原生利用自动化治理套件,也是以后托管在 Cloud Native Computing Foundation (CNCF) 下的 Sandbox 我的项目。它来自阿里巴巴多年来容器化、云原生的技术积淀,是阿里外部生产环境大规模利用的基于 Kubernetes 之上的规范扩大组件,也是紧贴上游社区规范、适应互联网规模化场景的技术理念与最佳实际。 作者 | 王思宇(酒祝) Photo Creidt@ 王思宇(酒祝) 背景 OpenKruise 是阿里云开源的云原生利用自动化治理套件,也是以后托管在 Cloud Native Computing Foundation (CNCF) 下的 Sandbox 我的项目。它来自阿里巴巴多年来容器化、云原生的技术积淀,是阿里外部生产环境大规模利用的基于 Kubernetes 之上的规范扩大组件,也是紧贴上游社区规范、适应互联网规模化场景的技术理念与最佳实际。 OpenKruise 在 2021 年 5 月 20 日公布了最新的 v0.9.0 版本(ChangeLog),新增了 Pod 容器重启、资源级联删除防护等重磅性能,本文以下对新版本做整体的概览介绍。 Pod 容器重启/重建 “重启” 是一个很奢侈的需要,即便日常运维的诉求,也是技术畛域较为常见的 “复原伎俩”。而在原生的 Kubernetes 中,并没有提供任何对容器粒度的操作能力,Pod 作为最小操作单元也只有创立、删除两种操作形式。 有的同学可能会问,在云原生时代,为什么用户还要关注容器重启这种运维操作呢?在现实的 Serverless 模式下,业务只须要关怀服务本身就好吧? 这来自于云原生架构和过来传统根底基础设施的差异性。在传统的物理机、虚拟机时代,一台机器上往往会部署和运行多个利用的实例,并且机器和利用的生命周期是不同的;在这种状况下,利用实例的重启可能仅仅是一条 systemctl 或 supervisor 之类的指令,而无需将整个机器重启。然而,在容器与云原生模式下,利用的生命周期是和 Pod 容器绑定的;即惯例状况下,一个容器只运行一个利用过程,一个 Pod 也只提供一个利用实例的服务。 基于上述的限度,目前原生 Kubernetes 之下是没有 API 来为下层业务提供容器(利用)重启能力的。而 Kruise v0.9.0 版本提供了一种单 Pod 维度的容器重启能力,兼容 1.16 及以上版本的规范 Kubernetes 集群。在装置或降级 Kruise 之后,只须要创立 ContainerRecreateRequest(简称 CRR) 对象来指定重启,最简略的 YAML 如下: ...

June 9, 2021 · 4 min · jiezi

关于运维:阿里云边缘容器服务申通-IoT-云边端架构入选-2021-云边协同发展阶段性领先成果

2021 年 6 月 4 日,由中国信息通信研究院(以下简称“中国信通院”)主办的 “ 2021 云边协同大会 ” 在北京举办。本次会议以 “ 开启分布式云新时代 ” 为主题,旨在搭建数字经济与 5G 时代下云服务与边缘计算交融倒退的桥梁,并面向行业公布多项云边协同倒退阶段性成绩。其中,阿里云边缘容器服务 ACK @ Edge 取得 “ 2021 云边协同能力 ”规范认证,在边缘容器技术能力要求的 33 项测评中全副通过;基于 ACK@Edge 实现的申通快递 IoT 云边端架构,入选“ 2021 分布式云与云边协同十佳实际案例 ”。 阿里云与中国信通院共建云边协同体系规范国家“ 十四五 ”布局大纲明确指出要 “协同倒退云服务与边缘计算服务”。云边协同技术为各行业提供更加全局化的弹性算力资源,为边缘侧提供有针对性的算力,减速各行各业与云计算的协同倒退。然而,各大企业对云边协同架构的认知不尽相同,市场上相干技术和产品程度参差不齐,规范体系的建设就显得尤为重要。在此背景下,中国信通院携手阿里云等 30 余家企业和机构,共推云边协同规范体系。通过宽泛征集和深刻研究,在本次大会上,云边协同规范体系发表建设,并正式公布《云原生边缘技术白皮书( 2021 年)》。 阿里云边缘容器服务 ACK@Edge 通过 33 项能力测评云边协同规范体系的建设,一方面可能帮忙企业精确评估本身的云边协同能力,制订迷信、正当的演进门路;另一方面,基于规范体系,云边协同产品提供商可能对于市场需求和技术倒退方向精准把握,推动产品状态的演进。 在以该规范体系为领导的 2021 云边协同类能力测评中,阿里云边缘容器服务 ACK@Edge 通过蕴含对根底能力、协同能力、平安能力、服务保障、质量保证等能力测验维度的全副 33 项测评,取得“ 2021 云边协同能力 ”规范认证。ACK@Edge 是阿里云容器服务深度开掘边缘计算+云原生落地施行诉求后推出的云边一体化协同托管计划。以 CNCF Sandbox 我的项目 OpenYurt 为外围框架,秉持“云端规范管控,边缘适度自治”的服务理念,采纳非侵入形式加强,提供边缘自治、边缘单元、边缘流量治理、原生运维 API 反对等能力。架构设计上“云边端”三层构造分层显著,能力协同: 图:阿里云边缘容器服务( ACK@Edge )技术架构性能上以原生形式反对对边缘计算场景的容器利用和资源全生命周期治理,包含: ...

June 8, 2021 · 1 min · jiezi

关于运维:云原生推动全云开发与实践

作者|丁宇 明天,千行百业都在拥抱云计算和云原生,进行数字化翻新和降级,云原生外延失去了极大丰富,使得咱们明天能够从新定义云原生。云原生技术的呈现,有利于帮忙开发者构建弹性扩大、容错性好、易于治理,便于观测的松耦合零碎,代表技术 Kubernetes 、容器、 DevOps 、微服务、服务网格、 Serverless ,能够看到,这样的技术是一组应用层技术的汇合,而云计算的传统劣势是资源的池化,这种集约化治理,会带来弹性分布式和基于 API 自动化治理的能力,能够说云原生只有和云计算联合起来,才能够施展真正的威力。 因云而生的云原生 云原生技术和云计算联合起来是什么呢?就是咱们明天说的云原生产品,明天的云平台提供了大量的云原生产品,包含大数据、数据库、容器服务、中间件、利用 PaaS 、云原生平安、开发者工具、音视频服务、弹性裸金属服务器等,因云而生的产品、软件、硬件、技术、架构才是真正的云原生。 云原生开启全云开发时代 明天咱们认为云原生成为云计算的一次再降级。对于云平台来讲,以容器为代表的技术,成为了云计算新的服务界,面向开发者,向下可能封装基础设施,屏蔽异构环境的差异性,以阿里云容器服务 ACK 为例,可能向下封装三十款云产品,带来非常简单的应用界面;向上反对三十多款云产品,反对异构负载和架构。对于企业来讲,云原生正在减速企业的数字化翻新,从基础设施云化、核心技术互联网化、利用架构现代化、业务数据化智能化四个方向发力,帮忙企业实现业务翻新。明天云原生成为企业数字翻新的最短门路和基石,对于开发者来讲,云原生重塑软件生命周期,一方面向下优化,实现软硬一体协同优化,升高技术老本,晋升技术效率;另一方面向上撑持多种工作负载,让架构带来更多美妙个性。关注云原生的敌人必定晓得, CNCF 曾经有几百个我的项目,从整个利用的开发到具体的开发框架、开发工具 IDE 、测试 CI/CD ,整个公布上线,变更运维容量治理,监控整体降级,能够说是方方面面齐全笼罩,云原生给全生命周期带来了一个全新凋谢规范解决方案,所以,咱们认为明天云原生曾经开启了全云开发的时代。 云原生带来开发模式变革 云原生带来开发模式的变革,为开发者提供一些十分有劣势的特点。1)架构层面:云原生开发模式是模块化的架构,通过标准化的接口和协定进行通信。2)利用交付和更新层面:能够进行继续的自动化的迭代、集成和交付。3)运维层面:标准化、自动化的运维模式。4)扩展性方面:可按需主动弹性扩大。5)依赖性层面:具备良好的可移植性,即齐全没有厂商锁定的问题,不依赖于零碎环境和硬件。6)企业组织与文化:跨职能沟通与单干顺畅,应答变动能力强。 所以咱们认为云原生正在驱动新的开发时代的到来,这是属于开发者的时代。 云原生驱动新开发时代到来 明天的行业调研报告显示,容器的应用正在继续迅猛增长。通过 CNCF 的调研, 2021 年,有 68% 的机构和企业会在生产环境中应用容器,较两年前晋升了 240% ,能够说容器无处不在。市场调研显示,对于前端/后端开发,网页/挪动端/小程序,逻辑/组件/框架等等, 2021 年开发者云上开发志愿度同样达到了 68% 。 Serverless 比重大幅减少, 2021 年底, 25% 开发者开始应用 Serverless 的技术和产品。 阿里云继续构建开源生态 为了应答和引领时代的变动,以及赋能开发者,阿里云打造了大量的产品技术和开源我的项目。面向整个技术社区,把云计算研发多年的技术成绩回馈给寰球顶级基金会,如凋谢原子开源基金会、 Apache 基金会等,阿里云心愿用这样的投入,打造一个凋谢的、规范的、领有衰弱良性的倒退技术生态。国内面向微服务的规范,阿里云为云原生基金会孵化了超过 8 个我的项目,如凋谢的基于边缘容器的平台 OpenYurt 、分布式高可用畛域的混沌工程工具 ChaosBlade 、服务注册发现的 Nacos 等都有十分残缺的开源我的项目。能够说一位开发者想要基于云原生技术、开源技术构建一套开源架构,齐全能够找到本人的解决方案。阿里云曾经服务了大量企业级头部的用户,如爱奇怪、虎牙直播、北方航空、安全科技等等,同时心愿构建一套凋谢规范的技术体系,可能服务于寰球开发者。目前,阿里云在开源社区 GitHub 奉献排名目前居中国企业榜首,开源我的项目超过 2600 个, Contributor 超过3万名, Star 和关注数超过百万。 ...

June 8, 2021 · 1 min · jiezi

关于运维:数据库运维安全管理

简介:通过数据管理DMS产品,对不同用户进行数据库、表、字段级别的细粒度受权,保障数据库运维平安。 中转最佳实际:【数据库运维平安治理】 最佳实际频道:【点击查看更多上云最佳实际】 这里有丰盛的企业上云最佳实际,从典型场景入门,提供一系列我的项目实际计划,升高企业上云门槛的同时满足您的需要! 场景形容企业的数据库数量比拟多、应用的人比拟多的状况下,因为不同角色的人拜访数据库的权限是不一样的,这时候就须要有一个残缺的数据库拜访的受权计划,不同角色按需分配最小够用的权限。DMS的受权粒度能够是库、表、字段的维度。 解决问题1.数据库细粒度受权 2.权限申请和审批流程 3.数据库里敏感数据脱敏 4.数据库运维人员操作的预先审计 产品列表数据管理DMS访问控制RAM云数据库PolarDB 中转最佳实际 》》 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 8, 2021 · 1 min · jiezi

关于运维:问题管理交互机器人

简介:封神-问题治理 | 交互机器人 1. 我的项目背景平台运维过程中,平台用户必然会产生一些问题。在最后运维阶段均是由用户间接与平台运维人员进行沟通,反馈问题或提出一些疑难,如此势必会减少大量的沟通老本,如图1所示。在长期运维过程中会暴露出如下问题。 图1 1.1 用户痛点①不分明有问题该去找谁解决或找不到人; ②无奈感知问题解决进度; ③沟通老本较高,重要问题无奈及时处理; 1.2 运维痛点①外部信息不能无效共享; ②问题治理多入口,问题跟踪凌乱,反复解决雷同问题; ③问题解决周期长,交接过程繁琐易脱漏问题; 2. 业务架构2.1 架构阐明问题治理机器人是用于帮忙运维人员与用户建设各种类型的问题解决流程,治理所有的问题并跟踪记录这些问题的解决办法,同时为用户提供一个调配、流转和合作解决问题的工作平台。 问题治理机器人以解决问题为导向,通过对问题入口的对立,用户侧/运维侧业务入口均为钉钉群。钉钉群分为妲己(用户侧)/纣王(运维侧),客户问题在妲己群中提出并流转至纣王群,由运维人员进行接单解决,如图2所示。 图2 2.2 性能特点依赖钉钉机器人集中管理所有的问题,手机、电脑多终端适配;记录所有问题,保障它们被及时处理并最终解决,防止问题被疏忽、迁延或忘记,并一直累积;从问题被录入开始,便始终有人对其负责,直至问题被敞开;记录问题处理过程的全副信息(如解决人、解决时长、解决内容等);缩小大量询问、督促、报告等沟通工作;2.3 性能分组用户侧群问题录入:规范化录入模板,由用户间接@机器人进行问题录入;问题查问:随时查问问题,获知问题以后解决进度;问题批改:用户可对问题进行指定问题解决人、评估问题、打回问题、加急问题等操作;问题导出:集体维度反对多种导出选项并将问题导出为Excel,不便进行总结汇报;图3 运维侧群问题查问:多种查问模式,依照本身需要对问题进行查问;问题批改:运维人员能够对问题进行暂挂、标记、变更状态、更新进度、转交问题等操作;问题导出:全局维度反对多种导出选项并将问题导出为Excel,不便进行总结汇报;进度监控:问题解决时长超时揭示,放慢问题解决进度;问题播报:定期播报未解决的问题列表,及时发现其中重要问题;图4 问题大盘数据可视化:依照问题散布平台、产品、解决人员、数量散布等维度生成报表。问题详情:能够搜寻问题详情、解决时长等。图5 3. 问题解决3.1 解决流程图6 3.2 流程阐明环节钉钉群角色阐明解决状态变更1.1客户群用户@妲己,机器人主动回复须要下一步操作选项。1.2客户群用户@妲己机器人,抉择录入问题,问题录入胜利后,主动将问题推送到驻场群,期待接手。待处理1.3客户群妲己(机器人)@妲己机器人,抉择查问问题。1.4客户群用户机器人主动调配问题ID,并推送问题录入详情,如要批改问题,需敞开从新提交。1.5客户群用户回复目前未解决问题,点击问题能够查看详情。1.6客户群用户抉择是否批改问题状态,否/长期敞开/已解决。1.7客户群用户抉择“长期敞开”-此问题暂挂,问题不会通过“查问问题未解决”查问到,但能够通过“查问问题全副”中显示,通过@妲己批改问题,重新启动问题。解决中->长期敞开1.8客户群妲己(机器人)抉择“已解决”-问题敞开,可通过@妲己查问全副问题查看。解决中->已解决1.9客户群用户收到驻场“问题解决更新”音讯推送,进行解决状态抉择操作。2.1驻场群运维人员收到用户问题录入推送告诉。2.2驻场群运维人员接手用户录入的问题。待处理->解决中2.3驻场群运维人员抉择是否转交问题到其余驻场。2.4驻场群运维人员①不转交-解决问题。②问题验证未解决,批改“问题解决状态”为“解决中”。已解决待客户验证->解决中2.5驻场群运维人员@纣王,批改问题解决进度,批改胜利主动推送到客户群并@问题提出人。2.6驻场群运维人员抉择是否“批改问题解决状态”,如已解决更改状态为“已解决待客户验证”。解决中->已解决待客户验证2.7驻场群运维人员@纣王转交问题ID。反对被动转交接手人和被动转交其余运维人员。2.8驻场群运维人员播报-每天10点、14点、18点、20点主动播报问题解决状况(累计解决状况、今日解决状况)。超时-①每10分钟推送揭示未接手问题,②从问题录入胜利开始4h/8h/12h/24h/48h推送超时揭示并@TAM。4. 结语本期为大家介绍了问题治理机器人的设计初衷及目前达到的成果。目前问题治理机器人已服务于数个混合云我的项目,我的项目问题跟踪效率显著晋升,用户体验晋升,大幅升高问题处理过程产生的沟通老本。 接下来会陆续给大家介绍封神的其余模块,包含运维大盘、报表剖析、时序数据库等相干常识,敬请期待! 参考文档[1] 钉钉机器人:https://developers.dingtalk.com/document/tutorial 相干内容[1] 封神-运维大脑 | 日志检测工具 [2] 封神-外围性能 | 钉钉告警+数据网关 咱们是阿里云智能寰球技术服务-SRE团队,咱们致力成为一个以技术为根底、面向服务、保障业务零碎高可用的工程师团队;提供业余、体系化的SRE服务,帮忙广大客户更好地应用云、基于云构建更加稳固牢靠的业务零碎,晋升业务稳定性。咱们冀望可能分享更多帮忙企业客户上云、用好云,让客户云上业务运行更加稳固牢靠的技术,您可用钉钉扫描下方二维码,退出阿里云SRE技术学院钉钉圈子,和更多云上人交换对于云平台的那些事。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 3, 2021 · 1 min · jiezi

关于运维:双敏能力及云原生DevOps工具链云效携手亮相阿里云峰会

简介:5月28日举办的阿里云峰会主论坛上,云效以「助力企业构建「双敏」能力,实现十倍效力晋升」的定位闪亮退场,阿里巴巴高级研究员兼阿里云智能根底产品事业部负责人蒋江伟亲自公布。5月28日举办的阿里云峰会主论坛上,云效以「助力企业构建「双敏」能力,实现十倍效力晋升」的定位闪亮退场,阿里巴巴高级研究员兼阿里云智能根底产品事业部负责人蒋江伟亲自公布。 双敏组织即为组织麻利和研发麻利,这一理念是阿里巴巴多年研发协同教训的积淀,并正式全面对外。 组织麻利,首先须要保障产研合作在线化,不同角色在线上,从指标设定、需要布局、剖析、设计、编码、交付等都在线实现,保障信息传递不失真,合作过有根据、产品交付更加高效。其次就是组织治理数字化:实现资源管理、业务经营和效力度量都能够数字化。 研发麻利就是在云原生基础设施之上,以利用为外围买通研发和运维过程,建设一体化的研发和运维体系,建设交付流水线,进步变更灵活性和效率的同时保障规范性和品质,包含:代码管控、平安管控、分层测试、危险管制等。 5月29日开发者大会主论坛,阿里云云原生利用核心负责人丁宇正式公布云效云原生DevOps工具链,帮忙企业用好云,让研发运维更加高效。 通过云效项目管理,代码平台,流水线,制品仓库联结阿里云云原生产品家族,帮忙企业将技术栈顺利过渡到云原生。云效面向云原生场景推出残缺云原生DevOps系列解决方案,云原生DevOps解决方案蕴含四个方面:第一,云原生基础设施,反对阿里云容器服务ACK、函数计算(FC)、Serverless引擎(SAE)等;第二,通过云效看板、代码治理平台、流水线实现了端到端的继续交付流水线;第三,通过云效代码治理的自动化扫描和云效流水线的检测和验证实现高质量的品质守护;第四,阿里云的微服务治理实现了低成本、高质量的服务治理体系。 云效通过双敏能力及一站式DevOps工具链,曾经服务了百万开发者,十万多家企业,帮忙广东农信、南京银行、光大银行、北方航空、上汽通用等泛滥企业胜利实现DevOps转型,帮忙商米科技、卡友地带、博卡等疾速倒退的企业实现了云原生DevOps落地。 其DevOps解决方案能力也通过了信通院“研发经营(DevOps)解决方案分级能力”最高级认证。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 2, 2021 · 1 min · jiezi

关于运维:微服务架构下日志采集运维管理分析

简介:阿里云日志服务(SLS)联合Kubernetes日志特点以及利用场景,提供全方位的容器微服务应用环境下的日志采集、解决以及剖析的实际。 中转最佳实际:【微服务架构日志采集运维治理最佳实际】 最佳实际频道:【最佳实际频道】 这里有丰盛的企业上云最佳实际,从典型场景入门,提供一系列我的项目实际计划,升高企业上云门槛的同时满足您的需要! Kubernetes日志零碎的重要性云原生对于微服务可观测性的一项重要规范就是日志记录(logging)。日志的采集、存储和剖析时构建古代零碎平台的要害支柱之一,能够帮忙团队进行问题的诊断、品质的回溯、零碎经营效率监控等。在当今容器/Kubernetes技术大火的环境下,日志零碎对于Kubernetes也起着十分要害的作用,对于Devops、经营、平安等方面都离不开残缺多样无效的日志采集、存储管理和剖析,从下图可见。 微服务架构下日志采集运维治理面临的挑战家喻户晓,随着容器/Kubernetes技术在微服务落地过程中绝对物理机、VM在利用部署、利用交付等环节给用户提供了更加简略轻量、高性价比等劣势,而且用户在利用容器/Kubernetes技术做微服务革新过程中,也同时存在容器化利用/非容器化利用混合部署的状态。对于基于VM或者物理机部署的利用,日志采集相干技术都比较完善,有比拟健全的Logstash、Fluentd、FileBeats等,然而在利用容器化特地是基于Kubenetes集群做微服务利用部署时,日志采集运维给用户带来了不小的挑战,次要的起因有: 日志采集指标多,须要采集宿主机日志、容器内日志、容器stdout,存在多种利用数据及多种日志格局,不足对立的一站式日志采集解决方案;集群弹性伸缩、环境动态性强、服务动静迁徙等都给日志采集带来了很大的艰难,日志采集的动态性以及数据完整性都是十分大的挑战;运维老本十分大,已有的一些计划只能应用多种软件组合采集,各个软件组装起来的零碎稳定性难以保障,且不足中心化的治理、配置、监控伎俩,运维累赘大;日志采集Agent侵入性高,Docker Driver扩大须要批改底层引擎,一个Container对应采集一个日志采集Agent又会产生资源竞争和节约日志采集性能低,失常状况下一个Docker Engine会运行数十个甚至数百个Container,此时开源日志采集Agent采集性能及资源耗费非常不现实;日志剖析效率和伎俩不足,开源的日志剖析展示工具对于日志的实时剖析、智能剖析等不足简略无效的可视化伎俩。 阿里云Kubernetes日志采集计划基于以上剖析,阿里云日志服务产品针对用户在基于Kubernetes做利用微服务革新落地过程中日志采集运维治理的需要和痛点,联合阿里云组合云产品的劣势,提出了一站式的日志采集运维治理剖析的解决方案,提供了弱小的日志解决剖析能力,如PB级日志实时查问、日志聚类分析、Ingress日志剖析报表、日志剖析函数、上下游生态对接等能力,提供用户在 容器/Kubernetes技术落地利用微服务革新过程中的日志采集运维治理一站式能力。 Ingress日志解决方案 Kubernetes中Ingress是一种API资源的申明,具体的实现须要由Ingress Controller来接管Ingress定义,目前比拟风行的Ingress Controller实现有Nginx、Traefik、listio、Kong等,在国内接受度最高的是Nginx Ingress Controller。 日志和监控是所有Ingress Controller都会提供的根底性能,日志个别包含拜访日志(Access Log)、管制日志(Controller Log)和谬误日志(Error Log),监控次要从日志以及Controller中提取Metrics信息。这心数据中拜访日志的量级最大、信息最多、价值也最高,个别七层的拜访日志包含:URL、源IP、UserAgent、状态码、入流量、出流量、响应工夫等,对于Ingress Controller这种转发型的日志,还包含转发的Service名、Service响应工夫等额定信息。从这些信息中,咱们可能剖析出十分多的有用信息,例如:网站拜访的PV、UV;拜访的地区散布、设施端散布;网站拜访的谬误比例;后端服务的响应提早;不同URL拜访散布等。然而手动搭建并运维一整套的Ingress日志剖析与监控零碎非常复杂,零碎须要十分多的模块,例如部署日志采集Angent并配置采集和解析规定,部署实时数据分析引擎例如Elastic Search、Clickhouse等,部署可视化组件并搭建报表例如Grafana、Kibana等,部署告警模块等配置告警规定例如ElastAlert等,而且因为Kubernetes集群的访问量绝对较大,因而还须要搭建一个缓冲队列例如Redis、Kafka等。 为了简化用户对于Ingress日志剖析与监控的门槛,阿里云容器服务和日志服务将Ingress买通,只须要利用一个yaml资源即可实现日志采集、剖析、可视化等一整套Ingress日志计划的部署。Kubernetes 容器日志采集剖析与监控 日志作为任一零碎不可或缺的局部,Kubernetes的官网文档也介绍了多种日志采集模式,总结起来次要有下述三种:原生形式、DaemonSet形式和SideCar形式。 原生形式:应用kubectl logs间接查看本地保留的日志,或者通过docker engine的logging driver将日志重定向到文件、syslog、fluentd等零碎中。DaemonSet形式:在Kubernetes集群的每个节点上部署日志agent,由agent采集所有容器的日志到服务端。SideCar形式:一个容器组(Pod)中运行一个SideCar的日志agent容器,用于采集该容器组(Pod)主容器产生的日志。SideCar模式的日志采集依赖Logtail和业务容器共享日志目录,业务容器将日志写入到共享目录中,Logtail通过监控共享目录中日志文件变动并采集日志。采集形式比照见下表。从上述表格能够看出,原生形式绝对性能太弱,个别不倡议在生产零碎中应用;DameonSet形式绝对资源占用要小很多,但扩展性、租户隔离性受限,比拟实用于性能繁多或者业务不是很多的集群;SideCar形式绝对资源占用较多,但灵活性以及多租户隔离性较强,倡议大型的Kubernetes集群或作为PAAS平台为多个业务方服务的集群应用该形式。通常咱们能够这样进行采集部署倡议: 外围利用:应用SideCar形式采集。一般利用/系统日志:应用DaemonSet形式采集。规范输入: 应用DaemonSet形式采集。总结本文介绍了基于Kubernetes进行利用微服务革新过程中的日志采集与运维治理计划,限于篇幅,本文无奈对具体实施倡议以及更多特色性能进行一一介绍,请大家具体浏览阿里云官网最佳实际频道的微服务架构日志采集运维治理最佳实际 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 2, 2021 · 1 min · jiezi

关于运维:阿里云开发大会体验云效智能代码补全

简介:5月29日阿里云开发大会「智能开发与高效运维」分论坛上,云效请来12位阿里巴巴开发运维领域专家,聚焦分享阿里云赋能开发者的系列工具和实际。现场入手训练营吸引近千位开发者体验云原生开发部署、代码平安检测修复和智能代码补全能力。5月29日阿里云开发大会「智能开发与高效运维」分论坛上,云效请来12位阿里巴巴开发运维领域专家,聚焦分享阿里云赋能开发者的系列工具和实际。现场入手训练营吸引近千位开发者体验云原生开发部署、代码平安检测修复和智能代码补全能力。 近150位开发者在「智能开发与高效运维」专场凝听分享 1、每次公布前都要人工代码评审,效率极低还不牢靠? 阿里云云效代码平台代码智能化负责人刘力华分享的云效智能评审耗时预估、评审人智能举荐、语法跳转服务等能力能大幅晋升代码评审效率。代码内容平安保障上,敏感信息检测、依赖包破绽检测、源码破绽检测等技术能帮忙开发者发现一些潜在的代码安全隐患。 值得一提的是现场展现进去的代码智能补全demo,针对演示的代码示例,相比于IDE内置补全工具,能帮忙开发者缩小65%的键盘敲击次数,缩小57%的编码工夫,而业界同类工具,仅能缩小33%的键盘敲击次数。云效代码智能补全工具通过多模型交融技术做到智能感知代码上下文,均匀帮忙开发者晋升20%的编码效率。 云效云原生DevOps入手展区·一名小伙子正在体验代码智能补全 2、8倍速提效云利用的开发-调试-测试-公布 哪怕1行代码批改部署上线,你是否都要在 IDE、Git、Maven、仓库、ECS和Kubernetes等多个云产品之间来回切换?利用和部署架构一直演进,开发阶段服务依赖越来越简单是不是令你头秃? 阿里云云效产品专家倪超分享构建-部署自动化计划,可能8倍速提效整个云利用的开发-调试-测试-公布过程。 3、阿里巴巴代码平台的仓库加密和分布式架构技术揭秘 《Git权威指南》作者、Git社区Committer蒋鑫和2位团队核心成员韩欣、陈博俊,为开发者分享了仓库加密和代码平台底层架构业界当先创新性冲破技术。 4、微服务架构下调试却因为本地服务太多而无奈全副启动? 对于微服务架构下调试遇到的本地服务启动及与测试环境互联的问题,专场嘉宾崔力强、林帆针对性地分享了用云效KT-Connect工具实现本地和集群双向互联的办法和背地技术原理。这款工具还能够和云效Flow工具强强联手、双剑合璧。一个负责快、一个负责稳,联合在一起,就是一个现实的云原生公布实际。 5、代码即服务——让开发疾速上云 新时代对开发者来说是代码即服务的时代,阿里云技术专家王铎分享了云开发平台如何帮忙中小开发者疾速实现代码上云,让开发者真正享受到代码即服务带来的降本提效。 6、调用OpenAPI解决问题听起来很简略用起来却老大难? 作为开发者,必定都调用过OpenAPI,怎么疾速搜到、疾速学习并疾速应用?阿里云负责OpenAPI门户,《深入浅出 Node.js》作者田永强系统地从信息层、工具层、服务层全方位分享了阿里云OpenAPI对开发者的反对,让开发同学更高效地集成OpenAPI。 7、云上资源越来越多治理老本也越来越高? 业务上云,云上资源管理也是个大问题。资源数量越多,治理和运维复杂度就越高,对自动化的要求也就越高。 国内最早开始接触 Terraform 并将 Terraform 落地阿里云的实践者,阿里云技术专家何贵民零碎介绍了基于Terraform的云上资源自动化治理实际。 8、挪动利用开发时解体、ANR、卡顿等问题令人头大? 挪动利用性能和稳定性,始终是互联网开发者比拟关注的问题,阿里团体友盟+高级技术专家李成亮分享了友盟+的利用性能和稳定性的保障实际,让开发者可能构建应用晦涩,解体率低于1‰的利用性能体验。 观看大会精彩回放:https://summit.aliyun.com/2021/session/691?spm=a2clf.22434069.J\_6555707540.20.16c625c3yTXO9l 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 2, 2021 · 1 min · jiezi

关于运维:运维实战两台服务器http方式共享yum软件仓库

生产环境中有一次遇到两台服务器不能联外网,而上传镜像做本地源因为镜像特地大导致特地浪费时间,这时另外一台服务器能够采纳http的形式实现软件下载。运维实战:两台服务器http形式共享yum软件仓库运维实战:两台服务器http形式共享yum软件仓库ip:172.16.1.112,172.16.1.100零碎版本:Centos7 在172.16.1.100制作本地yum源[root@localhost ~]# mount /dev/cdrom /mnt在/etc/yum.repos.d/ 下新建123.repo文件 [123]name=123baseurl=file:///mntgpgcheck=0enabled=1测试[root@localhost ~]# yum install -y telnet已加载插件:fastestmirrorLoading mirror speeds from cached hostfile正在解决依赖关系... 依赖关系解决 =============================================================================================== Package 架构 版本 源 大小正在装置: telnet x86_64 1:0.17-64.el7 123 64 k 事务概要装置 1 软件包 总下载量:64 k装置大小:113 kDownloading packages:Running transaction checkRunning transaction testTransaction test succeededRunning transaction 正在装置 : 1:telnet-0.17-64.el7.x86_64 1/1 验证中 : 1:telnet-0.17-64.el7.x86_64 1/1 已装置: telnet.x86_64 1:0.17-64.el7 结束![root@localhost ~]# 172.16.1.100通过apache镜像目录共享[root@localhost ~]# yum install -y httpd在/var/www/html上面创立aaa目录, /var/www/html/创立aaa目录,将镜像拷贝到/var/www/html/aaa[root@localhost ~]# ls /var/www/html/aaa/CentOS_BuildTag EULA images LiveOS repodata RPM-GPG-KEY-CentOS-Testing-7EFI GPL isolinux Packages RPM-GPG-KEY-CentOS-7 TRANS.TBL在浏览器拜访运维实战:两台服务器http形式共享yum软件仓库运维实战:两台服务器http形式共享yum软件仓库 ...

May 29, 2021 · 1 min · jiezi

关于运维:阿里云联合中国信通院发布云计算开放应用架构标准加速云原生应用规模化落地进程

简介:2021 年 5 月 26 日,由阿里云计算有限公司、中国信息通信研究院等 10 余家单位联结发动的《云计算凋谢利用架构》标准文件在“云原生产业大会”现场公布。该架构以阿里云、微软云联结发动的开源我的项目“凋谢利用架构模型(Open Application Model,以下简称 OAM)”为实现根底,旨在为云端利用管理者提供对立的利用形容标准及凋谢应用程序能力治理框架,以期推动简洁、高效、可控的云原生利用治理与交付形式在更多行业和企业中的大规模落地。起源 | 阿里巴巴云原生公众号 2021 年 5 月 26 日,由阿里云计算有限公司、中国信息通信研究院等 10 余家单位联结发动的《云计算凋谢利用架构》标准文件在“云原生产业大会”现场公布。该架构以阿里云、微软云联结发动的开源我的项目“凋谢利用架构模型(Open Application Model,以下简称 OAM)”为实现根底,旨在为云端利用管理者提供对立的利用形容标准及凋谢应用程序能力治理框架,以期推动简洁、高效、可控的云原生利用治理与交付形式在更多行业和企业中的大规模落地。 现在,云原生曾经成为企业疾速响应市场需求、帮忙业务继续倒退的重要驱动力。随着寰球数字化过程一直加深,构建高效、麻利、自动化的技术支持平台成为企业塑造外围竞争力的刚性需要。在这样的背景下,传统利用研发模式向云原生利用转型的趋势逐步成为共识,使企业可能最大化利用云原生红利,取得更低的研发老本,晋升业务翻新效率。云原生曾经成为企业数字翻新的最短门路。 尽管曾经在一些要害畛域获得停顿,但对于大部分行业和企业来说,对于云原生的规模化利用摸索仍处于初级阶段。这是因为从实质上来看,云原生是一套软件与基础设施架构设计的指导思想,并非能被一项具体技术所指代,存在较高门槛。因而,对云原生技术在规模化利用时安全性、可靠性、性能、连续性等的顾虑在企业中普遍存在。CNCF 公布的《2020 中国云原生调查报告》中显示,越来越多的单位正在寻求应用云原生技术的最佳解决方案,有 42% 的用户基于混合云实现云原生落地,预测将来该比例还将持续增长。 《云计算凋谢利用架构》规范指出,与传统利用开发不同,依靠云计算之上的利用不再是简略的可执行文件,须要解决大量的内部依赖,才可能被最终用户应用。传统模式下,云计算利用的开发者须要破费大量精力来进行利用整体部署架构的设计,明确云计算利用须要依赖的各个云服务。这个过程中还会呈现一些问题,例如云资源分配不及时、云服务配置不合理、利用上线过程中须要在各种云产品之间切换等等。导致上述问题有两大起因,一是利用不能以对立、自描述的形式定义利用与云资源的关系;二是云基础设施没有一种对立、规范、高效的形式交付给利用应用。 云原生技术的将来,大规模遍及是必然。只有以利用为核心,云原生技术体系能力以更高效的形式为利用“输送”基础设施能力。凋谢利用架构的重要价值在于能够为宽广云端利用管理者提供一套对立的利用形容标准,实现云计算利用与底层平台之间的解耦,解决利用部署和和迁徙艰难的问题。同时,将开发者、运维和平台经营人员之间的关注点拆散,让不同角色专一于畛域常识和能力,使利用交付变得更加高效、牢靠和自动化。 图:凋谢利用模型(OAM) 云计算凋谢利用架构的实质是一个高度可扩大的利用定义与能力治理模型,可能为用户提供对立的标准化应用程序编程接口(API)和框架,与任何特定的容器运行时、编排软件、云提供商或硬件配置无关。所有恪守该接口和框架构建的平台都能够为合乎开发利用架构的利用提供服务,为用户提供完全一致的利用治理体验。该架构具备以下特点: 开发和运维关注点拆散:开发者关注业务逻辑,运维人员关注运维能力,让不同角色更专一于畛域常识和能力。平台无关与高可扩大:利用定义与平台实现解耦,利用形容反对跨平台实现和可扩展性。模块化利用部署和运维特色:利用部署和运维能力能够形容成高层形象模块,开发和运维能够自由组合和反对模块化实现。 图:基于 KubeVela 的残缺工作流 2020 年 11 月,CNCF 利用交付畛域小组与OAM社区独特发表 OAM 在 Kubernetes 上的规范实现 KubeVela 我的项目正式开源。2021 年 4 月,KubeVela v1.0 公布,标记着 OAM 模型在云原生利用交付使用场景获得最大化验证后果。KubeVela v1.0 不仅代表了稳固的 API,还代表着成熟的应用范式,证实以 OAM 为根底的凋谢利用架构是一个可能充沛开释云原生后劲、让最终用户和软件交付方从第一天开始就充沛享受云原生技术劣势的无效门路。 李小平,阿里云云原生产品研发负责人 作为外围发动单位代表,阿里云云原生产品研发负责人李小平在本次会议上发表了主题为“云原生,企业数字翻新最短门路”的现场演讲,并于会后示意:“凋谢、规范、麻利是云原生技术得以疾速倒退的要害。云原生正在帮忙企业买通数字化落地的‘最初一公里’,在这样的要害节点下,须要全行业的独特定义和建设。作为云原生畛域的先行者、实践者,阿里巴巴始终保持将基于本身累积多年的最佳实际回馈社会,包含为企业构建普惠的云原生产品服务,与开发者共建云原生生态等。2019年,咱们和微软云独特开源了凋谢利用模型(OAM),又在 2020 年基于阿里、微软、Oracle等国内外出名公司在 OAM 上的实践经验,和社区一起打造了 OAM 在 Kubernetes 上的残缺实现 KubeVela。明天,很快乐和信通院一起基于这个我的项目的根底独特公布《云计算凋谢利用架构》规范,与业界一起推动云原生的进化,帮忙更多企业和开发者进行更加高效地协同,共迎数字经济倒退新机遇。” ...

May 28, 2021 · 1 min · jiezi

关于运维:连获殊荣腾讯安全两大产品获数博会领先科技成果大奖

5月26日,由国家倒退和改革委员会、工业和信息化部、国家互联网信息办公室与贵州省人民政府主办的2021中国国内大数据产业博览会在贵阳举办。当天下午,由数博会组委会主办、中国互联网协会承办的当先科技成果评比后果重磅公布,从560个申报我的项目中层层遴选出了49个获奖我的项目。腾讯凭借当先的技术积攒和产品实际,取得评委会统一认可,并最终摘得十项当先科技成果大奖。其中,腾讯平安旗下两款产品——腾讯云数据安全中台和产业互联网自适应平安经营技术体系(SOC),别离在数据全生命周期防护和云上平安治理自适应经营方面具备杰出的性能,双双荣获当先科技成果优秀奖,腾讯平安在前沿平安技术钻研畛域的实力再一次失去权威认可。 打造云数据安全中台,提供数据全生命周期防护智能化时代,平安问题始终是悬在数字化技术利用之上的“达摩克利斯之剑”。数据的爆炸式增长让数据安全和隐衷爱护问题变得更加简单艰难,使用数据加密等技术对数据进行全生命周期爱护已成为企业抵挡危险的重要伎俩。腾讯云数据安全中台通过基于商用明码技术的数据加密软硬件服务(HSM/SEM)、密钥与凭据管理系统(KMS/SSM)以及云拜访平安代理(CASB)三大外围能力,打造端到端的云数据全生命周期平安体系,保障数据在辨认、应用、存储过程中的平安。这套平安合规的数据安全体系,可提供全数据生命周期爱护反对、残缺的云产品生态集成,以及随取随用的数据安全服务及加密API/SDK服务。基于腾讯云数据安全中台,云平台及云租户能取得笼罩从数据获取、事务处理及检索、数据分析与服务到数据拜访与存储等数据全生命周期的平安、合规、极简的数据安全及明码利用平安爱护能力。 自适应平安经营,解决云上平安治理痛点除了数据安全的防护,随同着云计算的疾速倒退,如何更好地解决云上平安治理难题也成了摆在企业背后的一大挑战。针对这一问题,腾讯平安基于本身在互联网、云计算等数字业务方面的平安经营教训以及大数据处理和AI剖析方面的技术劣势,通过对设施、网络、业务环境的深层平安检测和平安剖析,构建了交融威逼进攻、检测、响应溯源和危险预防的继续迭代式平安应答机制,造成面向政企机构的自适应平安经营体系——产业互联网自适应平安经营技术体系(SOC)。自适应平安经营技术体系围绕“危险监测”、“高级威逼检测”、“智能剖析与自动化处理”以及“平安可视化”这四个要害能力项进行技术攻坚,全面晋升平安经营的智能化、自动化和可视化程度,实现平安经营技术的冲破。依靠自适应平安经营技术体系,可面向不同的产业互联网业务场景疾速构建平安经营平台,助力应答新期间的平安经营挑战。例如,智慧城市平安经营、企业公有云平台平安防护等场景。除了腾讯云数据安全中台和产业互联网自适应平安经营技术体系,腾讯此次还有8大我的项目一起入选当先科技成果大奖。其中,腾讯多媒体实验室屏幕内容编码技术斩获黑科技大奖,腾讯云WeCity将来城市、基于医保大数据的智能剖析决策零碎、腾讯Angel PowerFL平安联结计算平台、腾讯会议天籁音频技术通信平台荣获商业模式、新技术两项翻新大奖;腾讯优图实验室跨年龄AI寻人我的项目、腾讯客服战疫专项、腾讯云一网统管平台荣获当先科技成果优秀奖。随同着数字化深刻倒退,平安已成为产业互联网倒退的重要基石。将来,腾讯将继续施展本身技术实力和教训积攒,以平安为底座,为各行各业的产业互联网降级提供持重撑持和助力。

May 28, 2021 · 1 min · jiezi

关于运维:飞猪基于-Serverless-的云端实践与思考

简介:过来两年,飞猪前端始终在踊跃地进行 Serverless 建设和实际,2019 年 - 2020 年咱们和团体 Node 架构组、研发平台一起实现了根底能力的建设和业务试点,成为团体率先落地 Serverless 实际的 BU,2020 年 - 2021 年咱们开始大规模地在飞猪推广应用 Serverless 的能力,从导购全链路到外围中后盾,都可能看到 Serverless 的身影,这一年咱们实现了 Serverless 从业务试点到生产力工具的转变,本文将次要分享飞猪基于 Serverless 的实际成绩以及将来想要做的事件。 作者 | 王恒飞(承荫) 起源 | 阿里巴巴云原生公众号 本文整顿自飞猪旅行前端技术专家--王恒飞(承荫)在【阿里云 Serverless Developer Meetup 上海站】上的分享。点击查看直播回放:https://developer.aliyun.com/live/246653。 过来两年,飞猪前端始终在踊跃地进行 Serverless 建设和实际,2019 年 - 2020 年咱们和团体 Node 架构组、研发平台一起实现了根底能力的建设和业务试点,成为团体率先落地 Serverless 实际的 BU,2020 年 - 2021 年咱们开始大规模地在飞猪推广应用 Serverless 的能力,从导购全链路到外围中后盾,都可能看到 Serverless 的身影,这一年咱们实现了 Serverless 从业务试点到生产力工具的转变,本文将次要分享飞猪基于 Serverless 的实际成绩以及将来想要做的事件。 Serverless 的应用规模 2020 年 - 2021 年飞猪 Serverless 的规模和重要度都有很大的变动,次要体现在三方面: ...

May 27, 2021 · 2 min · jiezi

关于运维:微服务引擎的线上流量治理最佳实践

简介:本实际将重点介绍如何疾速集成支流开源微服务框架,实现业务零革新,解决开源框架在生产落地过程中的痛点,例如无损高低线、标签路由等,并通过托管微服务开源组件(API网关、注册核心、配置核心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮忙企业开释业务无关的运维老本,聚焦业务自身的运维和倒退。 中转最佳实际:【微服务引擎的线上流量治理最佳实际】 最佳实际频道:【最佳实际频道】 这里有丰盛的企业上云最佳实际,从典型场景入门,提供一系列我的项目实际计划,升高企业上云门槛的同时满足您的需要! 场景形容随着业务不断创新,微服务架构及数字化转型一直落地,在这个过程中,大量企业采纳了开源的组件构建了微服务,比方有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的益处之一,在于疾速迭代,如何在迭代过程中保障线上流量不受损?开源产品无运维工具,经常须要投入较大的运维人力和老本。 解决问题1、疾速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架能够实现业务零革新接入。 2、免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮忙咱们客户开释业务无关的运维老本,聚焦本身业务自身的运维和倒退。 3、开源加强:提供开源框架在生产落地过程中的痛点,例如利用无损高低线/金丝雀公布/南北+货色流量买通等,帮忙客户的业务进步本身SLA和升高自研老本。 产品列表⚫微服务引擎MSE ⚫容器服务ACK ⚫注册核心/网关MSE ⚫负载平衡SLB 业务架构 中转最佳实际 》》 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

May 27, 2021 · 1 min · jiezi

关于运维:282天汇付天下冲上云霄

简介:这家领取巨头用282天的工夫,发明了“云原生”改革的行业奇观。以下文章来源于轻金融 ,作者李静瑕 当一家领取机构,忽然收到比平时高出10倍的流量需要时,该怎么办? 这正是2020年“双十一”前夕汇付天下所面临的情景。出其不意的是,他们仅仅在一小时之内就实现了所有资源的筹备和扩容,并且以高可用性和稳定性很好地撑持了这次电商流动。 放在一年之前,这是齐全不敢设想的。 能做到这所有,要源于2017年年中一次会议上的大胆提议。过后,汇付天下董事长周晔提出公司要进行数字化转型,成为一家为商户提供数字化解决方案的科技型企业。 要实现这样的转变并不容易,汇付天下须要做的就是先让本人领有数字化能力。而正是在这样的背景之下,汇付天下决定更换最底层的技术基础设施,逐步摈弃传统集中式架构,全面转向云原生技术。 从2019年末开始,汇付天下用282天的工夫,发明了一个行业奇观,实现了公司历史上最大的云原生技术升级我的项目“冲上云霄”。 2020年10月30日,汇付天下顺便举办“冲上云霄”庆功宴。周晔对参加我的项目的全体人员冲动地说 “你们做到了”,发表汇付天下正式开启了新的数字化旅程。 1、282天,科技能力再创新高只管还会经常想起那触目惊心的282天,但汇付天下董事长周晔终于能够舒下心来。 成立于2006年6月的汇付天下,是一家国内当先的科技型公司,成立之初公司先是抓住了航旅数字化的机会切入了商户收单业务,随后逐步拓展到商户服务。2019年,公司交易量即高达2.2万亿元。 成立至今15年,汇付天下从未拘泥于传统服务,而是一直在进行翻新和摸索。 转折点产生于2017年。过后,领取行业面临“断直连”的严监管,繁多的领取经营模式竞争白热化,随着新技术的飞速发展,C端客户对企业的数字化服务需要直线回升,不少领取机构将战略重点转向B端商户的数字化服务。 也是在这一年,汇付天下开始酝酿数字化转型,为商家提供更多数字化服务成为其中一个重要的方向。与此同时,董事长周晔清晰地意识到,不论如何策略转型,领有数字化的技术能力肯定是公司的外围竞争力之一。 2018年和2019年,汇付天下开始逐渐尝试将少部分业务零碎进行云化革新,并且看到了不错的收益。然而,过后更多的零碎还是跑在传统集中式架构平台之上。 2019年底,汇付天下外部对于两种计划进行了强烈探讨:一种是把云环境当做新的虚构资源,把业务零碎从集中式架构平台上一成不变地部署下来;第二种计划是将技术架构进行彻底设计革新,采纳云原生技术。 图为汇付天下首席架构师梁星元 “过后整个行业和公司都在迅速倒退,我感觉须要尽快定一个核心技术路线,为公司在市场博得技术竞争劣势。”汇付天下首席架构师梁星元通知轻金融。 2019年底,汇付天下迎来了一个关键时刻。在汇付天下数据技术委员会召开的一次会议上,只管外部有不同声音,周晔还是拍板,决定将整个技术架构进行云原生重构。 “要撑持数字化业务,必须要基于高可用性、高弹性、高敏捷度的技术架构,从久远来看,高速倒退的云原生成为更可行的路线。” 梁星元对轻金融说,尽管革新的危险很大,然而收益也大。 在云原生时代,所有的计算资源、数据库等基础设施的运维工作,绝对以前更加清晰、更加智能化。同时,原来传统时代CPU利用率可能只能到10%,在云原生时代能进步到60%,甚至更多,随着体验和计算资源的效率晋升,会给老本带来显著的降落。 2020年初,在跟阿里云屡次切磋,确定所有革新计划和节奏之后,汇付天下就正式启动了整个“冲上云霄”我的项目,开始了激动人心的282天。 2019年11月16日,上云前夜:启动部署云原生技术的研究; 2020年1月6日,冲锋发令枪:“冲上云霄”我的项目正式启动; 2020年2月13日,实现根底技术与资源筹备,启动云原生技术改造; 2020年4月30日,初尝胜果。第116天,胜利实现首批第19个零碎革新; 2020年7月23日,迁云攻坚战:第200天,实现第二批18个零碎革新; 2020年10月14日,圆满收官:第282天,顺利完成47个零碎,220个利用的革新。 要晓得,在汇付天下之前,还没有一家领取公司实现过这样的壮举。这是汇付天下历史上最大的技术升级我的项目,波及零碎之多,人员之广,前所未有。 2、全面拥抱云原生:危险与收益尽管只用了短短的282天就实现云原生革新,但“冲上云霄”我的项目并非欲速不达,过后面临着一系列挑战。 首先,这是汇付天下有史以来参加人数最多、波及方面最广的我的项目,决定了我的项目复杂程度高;其次,云原生技术栈丰盛并且技术难度高,同时业务零碎还面临着革新;最初要保障不停机迁徙,让用户无感。 “过后咱们在业内没有能够参考的案例。” 梁星元说,这个时候,抉择云计算的合作伙伴就显得很重要。 通过压测等多维度技术测试,汇付天下最终决定抉择与阿里云单干。用梁星元的话说,一方面,阿里云在整个云计算产品方面成熟度比拟高;另一方面,阿里云的运维治理流程、客户保障、用户胜利交易机制比较完善、响应及时,服务符合。 2019年底,汇付天下云原生攻坚战契机降临,在周晔“安稳迁徙、零宕机、可上可下”的总体要求之下,“冲上云霄”我的项目正式诞生。 那么,汇付天下为什么要坚韧不拔地抉择“云原生”架构呢? 云原生并非是一个新的技术畛域,是Cloud+Native的一个组合词,从字面了解能够看作是采纳云的技术架构设计,利用云的技术栈,并且运行在云个性的基础设施上。云原生蕴含残缺与丰盛的技术定义,如微服务,Docker,K8S与DevOps等,而对企业而言,更重要的是企业经营理念与企业文化也需有限符合云计算时代的发展趋势。 周晔如此形容汇付天下的“冲上云霄”我的项目,在“不能影响业务一秒钟”的底线要求下,此次迁云齐全是“带电操作”,是真正的“高速路上换轮胎”。在这一背景下,汇付天下堪称是抉择了艰难模式,那它带来的收益几何呢? 事实是,冲上云霄我的项目收官之后,汇付天下在很多方面实现了跨越式的晋升: 一是,降本增效显著。 在做整个计划预测的时候,梁星元还曾特地去问过阿里云,底层技术架构采纳云原生革新之后,费用会产生怎么的变动。但因为汇付天下是整体架构云原生革新的首例,阿里云也不能给出一个绝对精确的数据。“咱们过后预计,费用能节俭20%就十分好了,然而最终成果超出了预期。” 梁星元说。 “2018年到当初,咱们流量翻了预计有十多倍,而费用和之前是一样的,这个还是十分让人吃惊的。”梁星元向轻金融走漏,目前汇付天下的架构一周可能撑持的交易量较过来晋升了数十倍,冲破了亿级大关。 二是,运维效率大幅晋升。在云原生架构上,零碎的运维更加清晰,可能自动化、疾速地进行资源和弹性的治理。 三是,对业务的反对更加麻利。云原生架构不仅带来了零碎运维模式的变动,更为重要的是带来了公司经营模式的转变,业务端可能快速反应客户需要,提供翻新服务。 具体来看,汇付天下推出轻量化的“领取+SaaS”产品——“Adapay”,客户对接时效从数周大幅缩短至数天,一半以上的客户能够实现自助化经营服务。 最初,少量工程师失去历练,实现了技术人才的造就与晋升。 “这个我的项目带动了大家,所有技术人员都能由衷呐喊一声‘咱们在汇付做技术’。”在庆功宴上,周晔很骄傲地说。 3、如何让数据发明价值“冲上云霄”我的项目中,一个占比近4成的重点项目是从传统数据库向阿里云数据库的迁徙。 过来多年,汇付天下始终都是传统集中式技术架构为主,尽管这样的技术架构为公司晚期疾速倒退提供了无力撑持,然而在撑持汇付天下策略转型的过程中,裸露了缺点。 具体起因有很多,首先是集中式架构中的传统数据库软件受权费用高;其次,无奈撑持交易量大幅减少状况下数据库资源的弹性升缩需要;第三,越来越多翻新业务产生,对数据库提出了更高的要求,对数据库设计和运维也提出了新的挑战;第四,原有数据库的反对服务无奈满足汇付天下的业务诉求。 数据库作为外围基础设施,记录着汇付天下客户的每一笔交易,必须要做到平安、精确。在从传统架构向云原生架构切换的时候,汇付天下还提了一个更刻薄的要求:不停机迁徙,用户无感。 “因为没有特地能够参考的案例,只能本人摸索着后退。” 梁星元坦言,整个迁徙的过程中各方面的挑战能够说十分大,“相当于是在高速公路上开着车,在放弃平安的状况下把轮胎换掉。” 阿里云数据库专家宁愚和绛云等同学也有同感。在参加我的项目的282天里,宁愚和绛云等同学曾多次跟汇付天下工程师们在一起反对数据库和零碎切换。这种切换通常在凌晨,汇付天下平台上交易量最小的时间段里。 当初回忆这个我的项目,他们依然心惊肉跳。“汇付天下的零碎牵扯着海量资金的结算,只有宕机就会呈现问题,呈现错账,因而在迁徙过程中,大家都十分小心。” 所幸,通过对后期的业务梳理和因地制宜式的数据库选型,波及的数据库蕴含RDS for MySQL、 云原生数据库PolarDB、云原生分布式数据库PolarDB-X、云原生数据库仓库ADB等多种数据库产品,并且通过传统数据库兼容评估和革新工具ADAM、数据传输服务DTS等多个阿里云数据库服务,汇付天下顺利完成了数据库的安稳迁徙。 总体来看,通过云原生革新,汇付天下数据库整体老本降落75%,一方面省去了大量传统数据库的受权费用;另一方面应用云原生数据库产品,反对极致的弹性能力,资源应用更加节约。利用阿里云生态工具,使得数据库的智能化运维能力大幅晋升,更加高效,同时基于阿里云数据库数据管理工具DMS构建了一套面向金融企业级的数据安全管控平台。 此外,通过使用丰盛的云原生技术产品,汇付天下还领有了全域数据的解决能力,助力营销、风控、服务等方面的晋升。 现在,数据资产不再是汇付天下“守着”的一块金矿,而成为了发明价值的利器。 4、结语为客户提供数字化的解决方案,是汇付天下的使命所在。汇付天下提出的由“SaaS+领取”向“领取+SaaS”转变的商业逻辑,就是为不同类型的商户打造疾速、高效且定制化的场景解决方案。 这其中,技术是十分外围的底座。“冲上云霄”我的项目的圆满落地,意味着汇付天下在技术上打了一场胜利的翻新仗,也成为汇付天下在科技层面的重要里程碑。 能够想见的是,云原生这一场仗之后,汇付天下未然开启新的篇章。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

May 26, 2021 · 1 min · jiezi

关于运维:自建Nexus私服

搭建Nexus私服搭建步骤第一步下载> 官网下载地址:https://www.sonatype.com/products/repository-oss-download> 抉择你想下载的版本> 3.x 参考: https://help.sonatype.com/repomanager3/download> 2.x 参考: https://help.sonatype.com/repomanager2/download> 执行下载:wget https://download.sonatype.com/nexus/3/latest-unix.tar.gz问题1:连贯超时。 配置hosts解决(https://www.ipaddress.com/ IP查问工具):199.232.5.194 sonatype-download.global.ssl.fastly.net注:理论下载门路:nexus下载应用Maven私服仓库类型:hosted(宿主仓库):用来部署本人,第三方或者公共仓库的构件proxy(代理仓库):代理近程仓库,自定义之外的公网仓库virtual(虚构仓库):默认提供了一个Central M1虚构仓库,用来将maven2适配为maven1group(仓库组):对立治理多个仓库用户权限类型:Admin(管理员账号):Nexus管理员权限,最高权限,什么操作都能够做。Deployment(部署账号):Nexus部署权限,以及所有仓库的CRUDV操作权限。Anonymous(匿名账号):Nexus匿名权限,以及所有仓库只读权限。

May 26, 2021 · 1 min · jiezi

关于运维:Gitee-X-Serverless-Devs-邀你来领赏啦

简介:Gitee × Serverless Devs 正式推出 Gitee Reward 七大悬赏。5 月 18 日至 6 月 30 日,和 Serverless Devs 一起“鼓捣”乏味的组件,“解 Issue 赢赏金”! Gitee × Serverless Devs 正式推出 Gitee Reward 七大悬赏。5 月 18 日至 6 月 30 日,只有你对云原生、Serverless 感兴趣,心愿用你的聪明才智和 Serverless Devs 一起“鼓捣”乏味的组件,就来“解 Issue 赢赏金”,当他人还在理解 Serverless 时,你却开始用它赚钱! 加入收益Issue 被驳回,可得赏金 100-1000 元Issue 被驳回,可得 Serverless Devs 限量纪念品成为 Serverless Devs 贡献者有机会受邀成为线下沙龙讲师如何加入关上以下悬赏链接,提出你的解决方案,验收合格即得赏金。 Serverless Devs 阿里云场景开发 - hugo 案例:https://gitee.com/serverless-devs/Serverless-Devs/issues/I3RAYS Serverless Devs 阿里云 Beego 组件开发:https://gitee.com/serverless-devs/Serverless-Devs/issues/I3R5M6 Serverless Devs 阿里云 yii 组件开发:https://gitee.com/serverless-devs/Serverless-Devs/issues/I3R5LZ ...

May 25, 2021 · 1 min · jiezi

关于运维:每个开发人员都应该知道的-10-个-GitHub-仓库

作者:Pawel翻译:LeanCloud GitHub 不仅是互联网上最乏味的开源我的项目的所在地,而且还是共享各种资源的好中央,从收费的书籍到 API ,产品路线图到我的项目思路到我的项目计划。 然而,因为数量宏大,你可能很难找到理论有用的仓库。 因而,我整顿了十个杰出的仓库清单,能够为大部分 Web 和软件开发人员提供参考价值。 所有这些都将为你减少价值,并帮忙你成为更好的 Web 或软件开发人员,或同时成为两者。 1. Free Programming Books GitHub:183K + 提供各种不同语言的 Free Programming Books 无疑是 GitHub 上最受欢迎和好评度最高的仓库之一。尽管它的名字是「书」,但其提供的不仅仅是这些。 它还蕴含收费的在线课程,交互式编程资源,问题集和编程比赛,各种编程语言的编程试验环境和播客,以及备忘录。 因为含有大量的编程书籍,这让它成为一个十分棒的仓库。 2. Developer Roadmap GitHub:155K + 被难题困住了?还是须要一些倡议来领导你进入开发者行业?这个 仓库 将为你提供帮忙。它领有想要成为前端、后端或 DevOps 工程师须要的所有技术。你能够抉择合乎需要的或适宜本人的,因为它提供了多种多样的技术。 3. OSSU Computer Science GitHub:81K + 如果你没有计算机学科的相干履历或学位,但又想达到雷同的程度,那么这个仓库非常适合你。它适宜于那些心愿把握计算学科所有基础知识的人。它提供了所有资源来帮忙你在计算机科学上自学成才,它还领有一个遍布寰球的学习者社区。 因为这个课程假设学习它的人都曾经承受了通识教育(非计算机专业的教育),所以纲要设计的出发点是计算机科学业余的本科学位要求减去通识教育的要求。这些都是世界上特地好的课程,通常来自于哈佛大学,普林斯顿大学,麻省理工学院等。 4. Awesome GitHub:158K + 正如这个名字形容的那样,它有一个很棒的列表,列出了从计算机科学到媒体,从游戏到商业等各种乏味的主题,并且列表还在持续更新。 5. Build your own X GitHub:103K + 如果你置信「边做边学」的准则,那么该仓库就有可能成为你每天在 GitHub 停留的中央。它具备指向资源的链接,这些资源可帮忙你构建本人的加密货币,数据库,机器人,BitTorrent 客户端,等等。 6. Coding Interview University Github:165K + Coding Interview University 有一个为期数月的学习打算,给打算进入 Google,Amazon,Facebook,Apple 或任何其余大型软件公司的工程师应用。它提供无关如何学习成为可靠性工程师或运维工程师的倡议。它还领有学习目录链接,以疾速梳理你的常识并放弃更新状态,由通过此种形式在亚马逊找到工作的作者创立。在这里还有很多相似经验的工程师。 7. Public Apis ...

May 24, 2021 · 1 min · jiezi

关于运维:工业互联网平台赋能需充分挖掘数据价值

5月20日,作为第五届世界智能大会分论坛,2021全国工业互联网平台赋能深度行(天津站)流动举办。浪潮工业互联网负责人庞松涛作主题演讲时示意,随着数据成为根底战略性资源,工业互联网平台赋能,须要开掘工业数据价值,通过数据驱动,构建“工业互联网+智能制作”产业生态。 作为新基建的典型代表,工业互联网被列入国家“十四五”布局七大数字经济重点产业,智能制作也成为十大数字化利用场景之一。 在浪潮分布式云底座的撑持下,浪潮依靠云洲工业互联网平台,搭建工业互联网新型基础设施,赋能智能制作。自2018年开始,浪潮云洲工业互联网平台间断三年成为国家级跨行业跨畛域工业互联网平台。 庞松涛认为,真正促成工业互联网平台从“建起来”到“用起来”,赋能“千行百业”,首先须要构建新型基础设施,汇聚并开掘工业数据价值。这其中,标识解析体系是要害。浪潮交融国家标识解析体系、区块链与商用明码技术,独创造成加强级标识解析体系服务平台——云洲链,以“一物一码”实现人、机、物互联与信息高度交融。2021年4月,云洲链开启全面接入国家级区块链基础设施“星火·链网”,共促工业互联网生态。 庞松涛介绍,云洲链是浪潮云洲工业互联网平台的外围组成,聚焦企业倒退面临的问题,打造可信数据自在流,向企业提供智能制作、流程优化、供应链金融等SaaS应用服务,推动建设企业大数据中心、工业大数据中心,助推制造业生产方式与企业状态改革。 围绕配备机械、化工、制药、电子、食品、采矿等六大行业,浪潮云洲翻新摸索“工业互联网+智能制作”实际门路。例如,依附浪潮云洲链强力撑持,济南标识解析综合二级节点解析量已冲破10亿,位居全国第一。 “两院三核心共建工业互联网新生态。”庞松涛示意,浪潮将依靠云舟联盟,通过征询规划院、规范研究院,以及计划验证核心、开发者反对核心、云原生适配核心,联结生态搭档,打造交融解决方案,打好工业互联网“团体赛”,充分发挥平台赋能价值,促成制造业高质量倒退。

May 21, 2021 · 1 min · jiezi

关于运维:收藏下载Flink-社区-2021-最新最全学习渠道汇总

简介:为了让大家更不便地上手、更便捷地学习,小松鼠将社区已有的各方面学习资源都帮你总结好啦!摘要:在开发者和用户的共同努力下,Flink 的性能日趋成熟和欠缺,Flink 社区也是日渐壮大!越来越多的新同学退出了小松鼠大本营。然而,新退出的小伙伴们可能会对学习和应用 Flink 短少脉络。 为了让大家更不便地上手、更便捷地学习,小松鼠将社区已有的各方面学习资源都帮你总结好啦!本文将分享: Flink 技术交换最全渠道汇总Flink 社区最丰盛的学习材料所在社区重大事件、最新资讯起源GitHub 地址 https://github.com/apache/flink 欢送大家给 Flink 点赞送 star~ 心愿通过本文能让大家播种最全学习材料,更快找到心仪组织以及获取帮忙最无效的形式,解决你的学习、应用、技术交换等难题。 一、Flink 技术交换 新退出社区的同学最迫切的就是寻找同道中人,此处小松鼠将社区各个组织的群二维码都贴出来啦,心愿大家都能退出本人感兴趣的组织~ Flink 中文邮件列表Flink 外围开发者在线答疑,每天必看,简直有问必答,疑难交换更便捷,问题追溯有记录;只需3步即可: 发送任意邮件到 user-zh-subscribe@flink.apache.org收到官网确认邮件回复该邮件 confirm 即可订阅此时,间接向该邮件列表(user-zh@flink.apache.org) 发送邮件就能够开始反馈问题,探讨交换啦! 二、Flink 最全学习材料Flink 系列直播教程由 Apache Flink PMC 布局的 Flink 入门残缺学习体系,内容分为根底篇、进阶篇、运维&实战篇、实时数仓篇等,以后已更新直播教程 60+,后续还将继续更新。 社区系列直播教程:https://flink-learning.org.cn/developers/flink-training-course-basics/Flink 常识图谱下载由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块具体拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink! 速度珍藏!看完这份常识图谱,才算搞懂 Flink!https://developer.aliyun.com/article/744740?spm=a2c6h.14164896.0.0.1582a730KGkvuQ《Apache Flink 必知必会电子书》下载PMC 及 Committer 坐阵,全方位解析 Flink 底层架构、外围功能模块、社区生态等,知其然更知其所以然。更有视频课程,搭配学习,成果翻倍!零根底上手实战,7天学会 Flink,轻松 Get 大数据极致算力! 【珍藏+下载】轻松播种 Flink 生产环境开发技能https://developer.aliyun.com/article/783507?spm=a2c6h.13148508.0.0.427b4f0ek55C6dFlink 系列电子书下载多位 Flink PMC 及外围贡献者出品,包含:零根底入门教程、进阶教程、最佳实际合集等,帮你建设零碎框架体系,最具体的收费教程,Flink 入门必读经典系列! 【珍藏+下载】Flink 年度学习材料大礼包!https://developer.aliyun.com/article/749911?spm=a2c6h.12873581.0.dArticle749911.14e83872cykOmX&groupCode=sc其余学习材料下载Apache Flink 惟一官网受权的 Flink 中文学习网站,社区技术干货、最佳实际、社区专刊、Meetup 嘉宾分享 PPT 下载等,最全学习材料可拜访 flink-learning.org.cn 收费下载。 ...

May 21, 2021 · 1 min · jiezi

关于运维:超牛逼这款轻量级性能监控系统真强大

简介Spotlight on Unix是一款Linux零碎运行状况的监控工具,能够装置在Windows下,监控Linux服务器的运行状况。 监控我的项目包含:CPU、内存、替换空间、虚拟内存等的使用率以及TCP连接数、带宽、磁盘IO等。 实时诊断Unix/Linux问题。通过该性能和诊断解决工具确定超负荷的区域并疾速对问题做出响应,免得对用户造成影响。从Solaris、AIX、HPUX和Unix/Linux操作系统(包含I/O子系统、缓存和内核信息)获取实时数据流。通过针对每个零碎主动生成一系列失常基准流动创立阈值,并且针对行将产生的问题发送警报。 性能加强操作系统外部的可见性。通过展现理论I/O流量的解决和组成部分,实时查看相干信息通过实时诊断呈现问题的区域(包含前端指示器、缓存、磁盘I/O和事务统计信息),放慢解决问题的速度音频或图像报警性能可检测到行将产生的问题,您无需再做无谓的揣测,因而有助于提高效率借助弱小的深度诊断和疾速的问题解决过程,缩小最终用户的停机工夫并进步工作效率通过与Foglight®集成,改良应用程序性能治理解决方案Spotlight on Unix 装置去官方网站下载相应该的版本.exe文件,下载地址:https://support.quest.com/zh-... 间接双击执行 SpotlightonUnix_90.exe,跳出装置欢送界面: 间接点击 Next 按钮,切换到抉择装置门路界面: 抉择装置门路,点击 Next 按钮,切换到装置许可协定界面: 抉择批准,点击 Next 按钮,切换到装置信息查看界面: 确认无误后点击 Next 按钮,开始装置 Spotlight 到电脑: 装置完结后提醒装置胜利: 点击 Finish 按钮完结装置过程。 简略配置1、查看 Linux 主机上 sysstat 包是否已装置 [root@centos7 ~]# mpstat -Vsysstat version 10.1.5(C) Sebastien Godard (sysstat <at> orange.fr)#如果没有装置就是手工装置2、创立治理用户 [root@centos7 ~]# useradd -g root -G root spotlight[root@centos7 ~]# passwd spotlightChanging password for user spotlight.New password: BAD PASSWORD: The password is shorter than 8 charactersRetype new password: passwd: all authentication tokens updated successfully.双击图标启动界面如下: 点击左上方的 Connect 图标: 进入 Spotlight 连贯管理器: 双击 New connection 按钮,弹出新建连贯对话框: Select connection type 抉择 Spotlight On Unix,New Connection name 为这个连贯起个名字以标记之,点击 OK 按钮进入连贯属性配置界面: ...

May 20, 2021 · 1 min · jiezi

关于运维:不用一行代码从0到1手把手教你制作酷炫可视化大屏

从大屏可视化呈现以来,始终深受各界企业的追捧,最典型的就是每年淘宝的双十一销售额大屏,最近我也刚接触了一个大屏我的项目,借此总结了一些可视化大屏制作教训与大家分享。 这种大屏看着高端大气上档次,然而其开发步骤却并不像设想中那么简略,根本步骤就有五步: 大屏开发工具开发可视化大屏,个别有两种形式,一是用代码开发,还有一种是用现成的可视化工具制作。 用的比拟多的就是JS+Ecahrts,但数据量撑持、后盾响应、实时更新、平台运维等应该还要调用更多的技术,十分考验技术水平,所以我举荐间接用可视化工具制作,比方FineReport、dataV等等,简略又不便,重点是不须要写一大堆代码,自带的图表插件可视化成果很炫酷。上面就以FineReport为例子,演示一下如何制作上面这样一张可视化大屏。 数据筹备制作报表前首先须要定义数据起源,一般来说,企业的数据都是保留在数据库中,并且在不断更新,FineReport能够间接和数据库进行链接,应用数据库中的数据来制作报表,并且报表内容会随着数据库的更新而更新。 新建决策报表数据库链接好后,咱们新建报表模板筹备开始制作,FineReport有三种报表模式,一般报表适宜用来做一些惯例类型的统计报表,聚合报表次要用来做中国式的简单表,决策报表适宜用来制作大屏或者驾驶舱。 因而,咱们抉择决策报表来制作一张大屏,关上finereport设计器的决策报表模式,新建决策报表: 新建数据集新建数据集,将数据库中所须要的数据寄存在数据集中: 设计报表FineReport决策报表采纳的是画布式布局,图表组件自在拖拽、摆放,很灵便,内置了几十种图表类型,基本上够用了。 咱们依照之前设计好的布局,将图表组建拖拽到对应地位,而后别离定义好数据链接,大屏雏形就实现了: 细节丑化图表布局之后,下一步就是要对色彩、背景、图表题目等等细节进行丑化。 配色大屏背景最好应用深色暗色背景,因为深色暗色背景可缩小拼缝带来的不适感,而且还可能缩小屏幕色差对整体体现的影响;同时暗色背景更能聚焦视觉,也不便突出内容、做出一些流光、粒子等酷炫的成果 给大家几个举荐的配色计划: 背景不肯定要用色彩,也能够采纳深色系的图片,能够搭配其余一些事实个性能够让整体看着更有科技感。举荐应用一些带有星空、条纹、突变线、装点成果之类的图片等。 对立图表系列、标签配色 装点在大屏展示上,细节会极大的影响整体成果,须要通过适当给元素、题目、数字等增加一些诸如边框、图画等在内的装点成果,能帮忙晋升整体好看度。 动态效果展现到上一步,其实一张大屏就实现的差不多了,如果你感觉不够炫酷,还能够应用一些3D动效的图表插件,减少科技感,FineReport提供很多这样的插件能够下载,晋升大屏逼格。 最初保留,点击预览,一张完满的可视化大屏就制作实现了。 模板展现 文字起源:https://www.toutiao.com/i6820...

May 18, 2021 · 1 min · jiezi

关于运维:这一份最全的TCP总结请务必收下

网络分层构造思考最简略的状况:两台主机之间的通信。这个时候只须要一条网线把两者连起来,规定好彼此的硬件接口,如都用USB、电压10v、频率2.4GHz等,这一层就是物理层,这些规定就是物理层协定。 咱们当然不满足于只有两台电脑连贯,因而咱们能够应用交换机把多个电脑连接起来,如下图: 这样连接起来的网络,称为局域网,也能够称为以太网(以太网是局域网的一种)。在这个网络中,咱们须要标识每个机器,这样才能够指定要和哪个机器通信。这个标识就是硬件地址MAC。 硬件地址随机器的生产就被确定,永久性惟一。在局域网中,咱们须要和另外的机器通信时,只须要晓得他的硬件地址,交换机就会把咱们的音讯发送到对应的机器。 这里咱们能够不论底层的网线接口如何发送,把物理层抽离,在他之上创立一个新的档次,这就是数据链路层。 咱们仍然不满足于局域网的规模,须要把所有的局域网分割起来,这个时候就须要用到路由器来连贯两个局域网: 然而如果咱们还是应用硬件地址来作为通信对象的惟一标识,那么当网络规模越来越大,须要记住所有机器的硬件地址是不事实的; 同时,一个网络对象可能会频繁更换设施,这个时候硬件地址表保护起来更加简单。这里应用了一个新的地址来标记一个网络对象:IP地址。 通过一个简略的寄信例子来了解IP地址。 我住在北京市,我敌人A住在上海市,我要给敌人A写信: 写完信,我会在信上写好我敌人A的地址,并放到北京市邮局(给信息附加指标IP地址,并发送给路由器)邮局会帮我把信运输到上海市当地邮局(信息会通过路由传递到指标IP局域网的路由器)上海市当地路由器会帮我把信交给敌人A(局域网内通信)因而,这里IP地址就是一个网络接入地址(敌人A的住址),我只须要晓得指标IP地址,路由器就能够把音讯给我带到。在局域网中,就能够动静保护一个MAC地址与IP地址的映射关系,依据目标IP地址就能够寻找到机器的MAC地址进行发送。 这样咱们不需治理底层如何去抉择机器,咱们只须要晓得IP地址,就能够和咱们的指标进行通信。这一层就是网络层。网络层的核心作用就是提供主机之间的逻辑通信。 这样,在网络中的所有主机,在逻辑上都连接起来了,下层只须要提供指标IP地址和数据,网络层就能够把音讯发送到对应的主机。 一个主机有多个过程,过程之间进行不同的网络通信,如边和敌人开黑边和女朋友聊微信。我的手机同时和两个不同机器进行通信。 那么当我的手机收到数据时,如何辨别是微信的数据,还是王者的数据?那么就必须在网络层之上再增加一层:运输层: 运输层通过socket(套接字),将网络信息进行进一步的拆分,不同的利用过程能够独立进行网络申请,互不烦扰。 这就是运输层的最实质特点:提供过程之间的逻辑通信。这里的过程能够是主机之间,也能够是同个主机,所以在android中,socket通信也是过程通信的一种形式。 当初不同的机器上的利用过程之间能够独立通信了,那么咱们就能够在计算机网络上开发出形模式式的利用:如web网页的http,文件传输ftp等等。这一层称为应用层。 应用层还能够进一步拆分出表示层、会话层,但他们的实质特点都没有扭转:实现具体的业务需要 。和上面的四层相比,他们并不是必须的,能够归属到应用层中。 最初对计网分层进行小结: 最底层物理层,负责两个机器之间通过硬件的间接通信;数据链路层应用硬件地址在局域网中进行寻址,实现局域网通信;网络层通过形象IP地址实现主机之间的逻辑通信;运输层在网络层的根底上,对数据进行拆分,实现利用过程的独立网络通信;应用层在运输层的根底上,依据具体的需要开发形模式式的性能。这里须要留神的是,分层并不是在物理上的分层,而是逻辑上的分层。通过对底层逻辑的封装,使得下层的开发能够间接依赖底层的性能而无需理睬具体的实现,简便了开发。 这种分层的思路,也就是责任链设计模式,通过层层封装,把不同的职责独立起来,更加不便开发、保护等等。 TCP面向字节流个性TCP并不是把应用层传输过去的数据间接加上首部而后发送给指标,而是把数据看成一个字节 流,给他们标上序号之后分局部发送。这就是TCP的面向字节流个性: TCP会以流的模式从应用层读取数据并存放在本人的发送缓存区中,同时为这些字节标上序号TCP会从发送方缓冲区抉择适量的字节组成TCP报文,通过网络层发送给指标指标会读取字节并存放在本人的接管方缓冲区中,并在适合的时候交付给应用层面向字节流的益处是无需一次存储过大的数据占用太多内存,害处是无奈晓得这些字节代表的意义,例如应用层发送一个音频文件和一个文本文件,对于TCP来说就是一串字节流,没有意义可言,这会导致粘包以及拆包问题,前面讲。 牢靠传输原理后面讲到,TCP是牢靠传输协定,也就是,一个数据交给他,他必定能够残缺无误地发送到指标地址,除非网络炸了。他实现的网络模型如下: 对于应用层来说,他就是一个牢靠传输的底层反对服务;而运输层底层采纳了网络层的不牢靠传输。尽管在网络层甚至数据链路层就能够应用协定来保障数据传输的可靠性,但这样网络的设计会更加简单、效率会随之升高。把数据传输的可靠性保障放在运输层,会更加适合。 牢靠传输原理的重点总结一下有:滑动窗口、超时重传、累积确认、抉择确认、间断ARQ。 进行期待协定要实现牢靠传输,最简便的办法就是:我发送一个数据包给你,而后你跟我回复收到,我持续发送下一个数据包。传输模型如下: 这种“一来一去”的办法来保障传输牢靠就是进行期待协定(stop-and-wait)。不晓得还记不记得后面TCP首部有一个ack字段,当他设置为1的时候,示意这个报文是一个确认收到报文。 而后再来思考另一种状况:丢包。网络环境不牢靠,导致每一次发送的数据包可能会失落,如果机器A发送了数据包失落了,那么机器B永远接管不到数据,机器A永远在期待。 解决这个问题的办法是:超时重传。当机器A收回一个数据包时便开始计时,工夫到还没收到确认回复,就能够认为是产生了丢包,便再次发送,也就是重传。 但重传会导致另一种问题:如果原先的数据包并没有失落,只是在网络中待的工夫比拟久,这个时候机器B会受到两个数据包,那么机器B是如何分别这两个数据包是属于同一份数据还是不同的数据? 这就须要后面讲过的办法:给数据字节进行编号。这样接管方就能够依据数据的字节编号,得出这些数据是接下来的数据,还是重传的数据。 在TCP首部有两个字段:序号和确认号,他们示意发送方数据第一个字节的编号,和接管方期待的下一份数据的第一个字节的编号。 间断ARQ协定进行期待协定曾经能够满足牢靠传输了,但有一个致命毛病:效率太低。发送方发送一个数据包之后便进入期待,这个期间并没有干任何事,节约了资源。解决的办法是:间断发送数据包。模型如下: 和进行期待最大的不同就是,他会源源不断地发送,接管方源源不断收到数据之后,逐个进行确认回复。这样便极大地提高了效率。但同样,带来了一些额定的问题: 发送是否能够有限发送直到把缓冲区所有数据发送完?不能够。因为须要思考接管方缓冲区以及读取数据的能力。如果发送太快导致接管方无奈承受,那么只是会频繁进行重传,节约了网络资源。所以发送方发送数据的范畴,须要思考到接管方缓冲区的状况。这就是TCP的流量管制。 解决办法是:滑动窗口。根本模型如下: 发送方须要依据接管方的缓冲区大小,设置本人的可发送窗口大小,处于窗口内的数据表示可发送,之外的数据不可发送。当窗口内的数据接管到确认回复时,整个窗口会往前挪动,直到发送实现所有的数据在TCP的首部有一个窗口大小字段,他示意接管方的残余缓冲区大小,让发送方能够调整本人的发送窗口大小。通过滑动窗口,就能够实现TCP的流量管制,不至于发送太快,导致太多的数据失落。 间断ARQ带来的第二个问题是:网络中充斥着和发送数据包一样数据量的确认回复报文,因为每一个发送数据包,必须得有一个确认回复。进步网络效率的办法是:累积确认。 接管方不须要一一进行回复,而是累积到一定量的数据包之后,通知发送方,在此数据包之前的数据全都收到。例如,收到 1234,接管方只须要通知发送方我收到4了,那么发送方就晓得1234都收到了。 第三个问题是:如何解决丢包状况。在进行期待协定中很简略,间接一个超时重传就解决了。但,间断ARQ中不太一样。 例如:接管方收到了 123 567,六个字节,编号为4的字节失落了。依照累积确认的思路,只能发送3的确认回复,567都必须丢掉,因为发送方会进行重传。这就是GBN(go-back-n) 思路。 然而咱们会发现,只须要重传4即可,这样不是很浪费资源,所以就有了:抉择确认SACK 。在TCP报文的选项字段,能够设置曾经收到的报文段,每一个报文段须要两个边界来进行确定。这样发送方,就能够依据这个选项字段只重传失落的数据了。 牢靠传输小结到这里对于TCP的牢靠传输原理就曾经介绍得差不多。最初进行一个小结: 通过间断ARQ协定与发送-确认回复模式来保障每一个数据包都达到接管方通过给字节编号的办法,来标记每一个数据是属于重传还是新的数据通过超时重传的形式,来解决数据包在网络中失落的问题通过滑动窗口来实现流量管制通过累积确认+抉择确认的办法来进步确认回复与重传的效率当然,这只是牢靠传输的冰山一角,感兴趣能够再深刻去钻研。 起源:https://www.toutiao.com/i6954...

May 18, 2021 · 1 min · jiezi

关于运维:Zabbix54发布支持你期待的重大改进功能

Zabbix 5.4于5月17日公布,5.4反对定期生成PDF报表,强有力的问题检测,高级数据聚合,还有其余意义重大的改良性能,来一睹为快。 目录1.定期生成PDF报表2.强有力的问题检测3.高级数据聚合4.晋升可视化5.API令牌让集成更平安6.更弱小的标签性能7.易于治理的模板8.可扩展性改良9.用于告警和集成的全局脚本10.部分值映射11.全新集成12.全新模板13.更多改良性能 1. 定期生成PDF报表Zabbix将生成并发送定制的PDF版日报、周报或月报。当初任何Zabbix仪表盘都能够变成PDF报表!全新的用户角色性能定义谁有权限生成PDF报表。 创立每周治理报表 2. 强有力的问题检测当初,Zabbix触发器表达式反对十分弱小的新语法,能够为问题检测设置高度简单的条件。此外,还引入了一组新的运算符、统计函数、数学函数和字符串函数,使其性能更加弱小。 新VS老语法比照 3. 高级数据聚合扩大了Zabbix的聚合性能,以反对按主机组、指标通配符和标签来抉择指标。它简化了容量测算、业务级监控和高级问题检测的数据聚合。为了简略起见,聚合指标的现有性能被合并到可计算的监控项中。 当初Zabbix对所有货色都应用对立的语法:触发器和可计算的监控项! 用标签和组聚合 4. 晋升可视化Zabbix5.4将聚合图形与仪表盘性能合并,反对多页面仪表盘。只通过一个平台就能够展现所有数据! 应用新仪表盘的劣势 5. API令牌让集成更平安蕴含有效期的命名API令牌有助于Zabbix更便捷更平安地与第三方系统集成。新的用户角色治理创立API令牌。 定义一个蕴含有效期的平安API令牌 6. 更弱小的标签性能Zabbix5.4已不反对主机利用集,而是采纳指标标签替换利用集。当初,Zabbix中的所有要害对象都反对标签,包含:模板、主机、主机原型、触发器、指标和事件。 指标标签替换利用集 7. 易于治理的模板每个模板元素都有一个惟一的ID,能以平安的办法来进行模板更新。导入新模板时,Zabbix将分明地显示与现有模板的差别。它还反对在Git存储库中保留模板,并在任何更新时应用Zabbix API将模板推送到Zabbix。 利用模板前能显示差别 8. 可扩展性改良Zabbix Server和Proxy不再须要poller采集过程与数据库的连贯。它为数据库节俭了CPU和内存资源,并使监控速度更快。Zabbix Server反对趋势数据的内存缓存,显著进步了解决趋势数据的触发器函数的性能。 当初,Zabbix Server将优雅地启动,平均分配来自proxies的大量数据的解决申请。通过加重history syner外部过程并行工作负载,进步Zabbix Server的性能。 在Zabbix5.4中数据预处理更快 9. 用于告警和集成的全局脚本全局脚本当初反对基于JavaScript的web-hooks,以便与第三方告警和工单零碎疾速集成。全局脚本可用于主机和事件的主动修改、告警、集成和手动操作。 管制脚本能够在什么上下文中应用 10. 部分值映射勾销全局值映射!将值映射挪动到模板和主机以取得更好的模板、模板的独立性和多租户。 当初咱们有了独立的模板,没有任何内部依赖关系。共享模板从未如此简略!值映射还反对范畴和正则表达式以取得额定的灵活性。 当初反对range和regexp 11. 全新集成Zabbix5.4提供了与iTOP、VictorOps、Rocket.Chat、Signal、Express.ms和其余解决方案的开箱即用集成计划。 12. 全新模板除了现有的模板,Zabbix 5.4新增监控APC UPS硬件、Hikvision摄像头、etcd、Hadoop、Zookeeper、Kafka、AMQ、HashiCorp Vault、MS Sharepoint、MS Exchange、smartclt、Gitlab、Jenkins、Apache Ignite以及更多应用程序和服务的模板。 13. 更多改良性能(局部)反对VMWare集群监控反对基于JavaScript的web-hooks和预处理解析XML数据第三级菜单,实现导航更快捷用于导入和批量更新操作的模式窗口在监控->问题和其余筛选中通过标签反向筛选指标的可用性取决于主机接口的可用性低级别主动发现反对通过LLD宏过滤告警内容反对{ITEM.VALUETYPE}宏反对依据服务名查找Oracle 的高可用设置反对JavaScript Webhooks的NTLM身份验证反对所有SNMPv3加密协议更精密的实时导出配置反对一台主机上多个JMX指标有雷同的Key值 减少了JavaScript webhook和预处理可用的内存大小在Webhooks中将CurlHttpRequest重命名为HttpRequest用户配置页面的别名(Alias)字段重命名为用户名(Username)字段采纳美式英语作为ZabbixUI和Zabbix文档的默认语言登录失败时显示对立的谬误音讯禁用Zabbix UI明码字段主动填充实时导出文件蕴含事件重大级别信息 中文在线详解Zabbix 5.4想理解Zabbix5.4更多具体性能,欢送 查看Zabbix5.4官网手册(英文)报名中文在线详解Zabbix 5.45月27日晚,大中华区培训师何星将线上具体介绍Zabbix5.4中你期待的重大性能!欢送私信我提出任何你感兴趣的问题。

May 18, 2021 · 1 min · jiezi

关于运维:Deepin系统中如何安装Visual-Studio-Code

Visual Studio代码是由Microsoft开发的一个开源跨平台代码编辑器。它具备内置调试反对、嵌入式Git控件、语法突出显示、代码实现、集成终端、代码重构和代码片段。本文介绍如何在Deepin 15.11上装置Visual Studio Code。环境Deepin 15.11 装置VS Code利用商店下载点击启动栏外面的利用商店Deepin零碎中如何装置Visual Studio CodeDeepin零碎中如何装置Visual Studio Code而后搜寻visualDeepin零碎中如何装置Visual Studio CodeDeepin零碎中如何装置Visual Studio Code点击搜寻到的第一个后果,”Visual Studio Code”,而后开始装置就好了。Deepin零碎中如何装置Visual Studio CodeDeepin零碎中如何装置Visual Studio Code Deepin零碎中如何装置Visual Studio CodeDeepin零碎中如何装置Visual Studio Code 命令行装置VS Code从VS Code下载安装包,并进行装置: bob@bob-PC:~/Desktop$ wget https://vscode.cdn.azure.cn/s...bob@bob-PC:~/Desktop$ sudo dpkg -i code_1.43.2-1585036376_amd64.deb Deepin零碎中如何装置Visual Studio CodeDeepin零碎中如何装置Visual Studio Code 开始应用点击“扩大”按钮,能够在外面搜寻适宜本人的插件进行装置,装璜本人的编辑器。Deepin零碎中如何装置Visual Studio CodeDeepin零碎中如何装置Visual Studio Code 总结你曾经在你的Deepin15.11上胜利地装置了VS Code。下一步可能是装置其余组件并自定义用户和工作区设置。

May 15, 2021 · 1 min · jiezi

关于运维:docker镜像封装躺赢

最近发现了一个needhub网站,全网产品用docker封装,诶,docker可真是个好货色,打包上传,一键部署,只有把本人的产品封装好传上去,就能让大家一键部署在任意一节点,妈妈再也不必放心我环境配置繁琐了,也不必像别的平台一样下载专门的面板,贼不便,不得不说大家的技术越来越高超了,没想到有一天竟然能轻松部署。 帮忙核心有上传和部署的性能,能够本人去看一看 在这里大略给大家说一下怎么搞Q 首先登录本人账户进入个人主页-我的公布-公布服务 进行登录镜像仓库,将咱们所提供的用户名,以及明码填充 接下来更改镜像标签如图「2」地位,上传镜像如图「3」地位,待您看到呈现图「4」的命令行,即上传胜利 上传胜利后可查看镜像,进行更改参数、填写利用信息,提交审核,期待咱们审核通过就好啦~ 让用户收费试用,回头客更多哦

May 14, 2021 · 1 min · jiezi

关于运维:不用再找啦环境部署还得靠他

明天小编举荐一款十分好上手的环境部署平台——needhub。有了这个平台,环境部署基本不是事,这下面有很多曾经配置好的服务,只有点击一键部署就能把软件及环境一起装置到任何一个节点,它是通过docker封装,平安好用,上面咱们就看一下操作步骤吧!1、抉择本人想要的产品,点击部署2、抉择已装置的节点,并抉择装置版本,配置面板处将左侧参数复制粘贴到右侧一栏,点击下一步3、填写节点用户名、节点明码、点击确认4、实现装置!

May 14, 2021 · 1 min · jiezi

关于运维:logstash收集的日志输出到elasticsearch中

一、需要应用logstash收集零碎上的日志,并应用 grok解析日志,应用mutate批改解析进去的字段类型、删除字段、重命名字段,最初将解析好的日主输入到 elasticsearch中。 二、实现步骤1、编写pipeline文件vim output-es.yml input { file { id => "mutate-id" path => ["/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/output-es/*.log"] start_position => "beginning" sincedb_path => "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/output-es/sincedb.db" codec => multiline { pattern => "^\[+" negate => "true" what => "previous" charset => "UTF-8" auto_flush_interval => 2 } }}filter { grok { match => { "message" => "(?m)^\[%{INT:pid}\]%{SPACE}%{TIMESTAMP_ISO8601:createTime}%{SPACE}\[%{DATA:threadName}\]%{SPACE}%{LOGLEVEL:LEVEL}%{SPACE}%{JAVACLASS:javaClass}#(?<methodName>[a-zA-Z_]+):%{INT:linenumber}%{SPACE}-%{GREEDYDATA:msg}" remove_field => ["message"] } } mutate { convert => { "pid" => "integer" } rename => { "msg" => "message" } } # 格式化 createTime 将 源格局 转换成 指标格局 date { match => ["createTime","yyyy-MM-dd HH:mm:ss.SSS","yyyy-MM-dd HH:mm:ss.SSS"] target => "@timestamp" remove_field => ["createTime"] }}output { # 能够通过 template 或 template_name 指定es模板的名字 elasticsearch { hosts => ["http://localhost:9200","http://localhost:9201","http://localhost:9202"] user => "springboot_logstash" password => "123456" index => "springboot-%{+YYYY.MM.dd}" template_overwrite => "false" }}1、elasticsearch配置参数解析:hosts: es的拜访地址,倡议应用非master节点。user: 拜访es的用户名。password:拜访es的明码。index:在es中的索引名称。template:设置本人的es模板门路。template_name:应用es中的索引模板名称。上方的es的明码是明文的,可能存在透露,能够应用 logstash keystore来解决。 ...

May 13, 2021 · 2 min · jiezi

关于运维:宜搭数字工厂让订单周期缩减三分之一

简介:基于宜搭低代码平台凋谢的能力,富得利上线了一套数字工厂。这个数字工厂帮忙他们将生产周期从60天缩短至40天,间接晋升了富得利对于国内客户的交付能力、履约能力,企业竞争实力失去加强。浙江富得利木业有限公司开创于1994年,总部位于浙江绍兴。早在1999年,富得利地板就成为了天安门城楼修复工程专用地板。 现在富得利的烘干、压贴、企口、油漆、包装5大工序已化身数据流。车间内5个数字大屏能够展现销售数据看板、车间生产看板、设施培修看板、工单进度看板、安灯呼叫和机器实时状态看板。 富得利团体的副总裁孟颖颖通知记者,“销售、洽购、生产、品控所有环节的数据都买通,市场订单能够在手机端分解成生产打算,直至车间的每一个工台。” 这所有得益于2021年4月份,钉钉利用服务商浙江锐智信息技术有限公司基于宜搭低代码平台凋谢的能力,为富得利搭建并上线的一套数字工厂。 这个数字工厂帮忙富得利将生产周期从60天缩短至40天。交期缩短间接晋升了富得利对于国内客户的交付能力、履约能力,企业竞争实力失去加强。 富得利木业外贸工厂的车间看板 起源:雷锋网 麻利制作需要倒逼数字化改革富得利地板的营销和销售网络遍布国内外,实木地板年进口能力达到100万平方米以上。近年来,多变的国内市场局势给他们的生产端带来了不小的挑战。 过来,外贸行业次要依赖大客户、大订单,生产工厂依据一个订单批量生产就能满足客户需要。当初,扩散订单越来越多,个性化需要要求工厂需具备更高的麻利制作能力。 为了把客户需要疾速传递至工厂,并且保障新产品、老产品同时上产线不出问题,工厂必须疾速调整生产打算。 然而,过来富得利依附纸质办公。销售下单后,原材料申请要逐级走审批流程,效率低下。资料的洽购入库状况无奈及时同步给生产部,还需到仓库实地查验。同时销售部门还须要专门派一个人跟单,跟单员天天往车间跑,挨个打电话问,但成品信息还是无奈做到及时传递到发货环节,时不时就有成品沉积在生产车间里。 依赖纸质单据与人力跟单的生产流程除了效率低下,对品控也产生了影响。跟单员要等一单齐全做完,能力晓得产品合格率是多少,产品质量次要依赖每条产线上操作工的自觉性,以及品控经理的巡检,产品不合格的起因也难以追溯。 “这些年寰球经济曾经从增量倒退到存量竞争了,要欠缺产品,优化治理和经营,咱们心愿应用一些工具来帮咱们实现”, 孟颖颖通知记者,数字化治理就是富得利转型降级的重要方向之一。 摸索最实效的数字化计划像富得利这样的企业,其实存在着很强的数字化需要,但洽购海内的大型零碎,对于他们来说老本太高,运维难度也很大,施行成果不好。 富得利早在2017年就开始尝试数字化转型。他们抉择通过钉钉,从实现办公在线开始,逐渐实现业务在线,并以富得利国际贸易事业部为试点,在专一于进口业务的外贸工厂中自建了一套生产制作零碎,让生产、业务数据真正流动起来。 在这个过程中,富得利团队发现,原有的数字化解决方案已无奈解决他们遇到的个性化难题: 木地板的原材料有特殊性,须要到货测验入库之后,才晓得原材料的品质。而SAP零碎的进销存治理无奈解决洽购下单和入库资料不统一的问题。 彼时,富得利虽已把OA审批流程嵌入到钉钉,但只是实现了流程审批在线,生产进度数据仍旧以Excel表的模式存在。 富得利国际贸易事业部生产打算部负责人赵男回顾,发货信息、物料信息都是靠人去填写,厂长、生产打算员、仓库、采供、财务等相干人员都须要在线编辑这张表,不太好溯源不说,订单信息更新一旦暂停,所有环节的人都会来询问一遍状况。“订单复杂化之后,Excel表就撑不起来了。” 当初,富得利曾经找到了更实效的数字化计划。 钉钉利用服务商锐智信息通过钉钉旗下的低代码利用开发平台宜搭,仅花了两周工夫,就为富得利的外贸工厂搭起了“易车间”,根本囊括了一个制作工厂所需的MES性能。 这个降级后的数字工厂在2021年4月投入运行,只须要一位IT人员进行保护。 现在,富得利整体的业务数据和流程真正“放“在了钉钉上,而数字车间能够间接从收货端进行生产排程,把销售、洽购、生产环节的数据都买通: 销售不必派专人跟单,订单下达,生产打算专员制订工单打算,洽购就能够马上进行洽购,洽购停顿、资料入库状况、生产进度,所有相干方都能看到; 生产主管或者车间主任针对每道工序进行派工,车间相干人员能够实时报工,上班就晓得派工工作的实现状况,日结员工甚至在当天就能晓得工资状况(钉钉音讯模式推送工资条),晋升了积极性; 一旦生产延误,也能通过数据分析图表及时改善; 品控方面除了进出厂质检之外,还有要害工序质检以及巡检,做到了各个生产环节质检留痕; 操作工用钉钉扫一下设施上的二维码即可报修,同时工厂培修工人就能通过安灯看板或者钉钉待办及时收到报修信息,及时赶到现场进行培修。反对设施有打算地进行保护颐养,将设施对生产进度的影响降到最低…… 这些扭转令赵男非常感叹:“这是从人管生产,变成数字化零碎来管生产。” 用低代码实现低成本数字化1位IT人员就能保护起一个制作工厂的MES零碎,两周工夫就能实现工厂数字化……富得利真切地体验到了宜搭凋谢的低代码能力让企业低成本实现数字化降级的益处。 锐智信息负责人何世伟通知记者,在为富得利打造“易车间”,他们就曾经与宜搭提前针对制作企业开发实现了共性需要的解决方案。 2020年底,宜搭助力钉钉服务商,收集用户的共性需要,实现行业计划的研发和内测,随后在多个城市做规模测试,把客户的共性需要点疾速迭代到计划中,最终出现在一个个“易车间”利用中。 何世伟畅想,通过宜搭的低代码开发能力,将来“易车间”的数字看板还能显示设施故障率、培修老本,比照设施产能,造成数据分析图,用数据来为设施状况做预测。 令人振奋的是,在富得利产生的数字化降级故事,正在当地规模化地开展。2020年,绍兴市深刻施行数字经济“一号工程”,实现传统产业智能化革新247家。 富得利国际贸易事业部总经理车飞通知记者:“接下来富得利会把ERP系统集成到钉钉上,心愿能把上下游的治理集成起来,比方客户某个订单的生产进度和品质报告,是能够和客户间接买通的,这样能够让海内客户对中国制作有更直观的理解。” 车飞对数字化将来神往十足,他期待将来的数字工厂进一步晋升设施的自动化和智能化,让流动的数据能造成剖析后果,成为一部分生产根据、决策依据,而这所有将通过宜搭这样的平台,一步一步成为事实。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

May 13, 2021 · 1 min · jiezi

关于运维:使用logstash的grok插件解析springboot日志

一、背景咱们的应用程序通常每天都会产生十分多的日志,这些日志大多都是一个字符串的格局,那么咱们如果想从中提取一些有用的信息(比方:申请的工夫、日志的级别等),那么应该如果实现呢? 二、解决思路针对以上的问题,咱们能够通过正则表达式来匹配咱们的日志内容,从而达到提取到有用的数据。而 logstash的grok正好能够帮忙咱们做到这种事。 如果咱们的日志是有肯定的格局的,也能够应用 dissert 插件来解决,这个是依据某个分隔符来获取日志内容的。三、前置常识grok插件为咱们提供了大略120种可用的模式。能够简略了解,grok提供好了120种定义好的可用这则。 比方: INT 对应的正则(?:[+-]?(?:[0-9]+)) 示意 正负数字。grok 提供好的可用模式。 https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patternsgrok语法的格局 %{SYNTAX:SEMANTIC} SYNTAX 示意须要匹配文本的格局。比方: 文本内容: 123 能够被 INT匹配到。SEMANTIC示意 SYNTAX 匹配到文本后,将内容保留到那个字段中。比方:%{INT:age} 则匹配到后的age字段有值。自定义grok模式(custom patterns) 语法格局:(?<field_name>the pattern here)比方: (?<userName>[a-zA-Z]{3,5}) 用户名只能是 3到5位的字母grok调试网站 能够在此网站调试咱们的grok表达式是否编写正确 http://grokdebug.herokuapp.com/grok解析失败和超时会减少如下标签 解析失败,会在生成数据中的tags中介减少 _grokparsefailure标签解析超时,会在生成数据中的tags中减少_groktimeout标签四、实现步骤1、筹备测试数据[9708] 2021-05-13 11:14:51.873 [http-nio-8080-exec-1] INFO org.springframework.web.servlet.DispatcherServlet#initServletBean:547 -Completed initialization in 1 ms[9708] 2021-05-13 11:14:51.910 [http-nio-8080-exec-1] ERROR com.huan.study.LogController#showLog:32 -申请:[/showLog]产生了异样java.lang.ArithmeticException: / by zero at com.huan.study.LogController.showLog(LogController.java:30) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 2、编写grok表达式(?m)^\[%{INT:pid}\]%{SPACE}%{TIMESTAMP_ISO8601:createTime}%{SPACE}\[%{DATA:threadName}\]%{SPACE}%{LOGLEVEL:LEVEL}%{SPACE}%{JAVACLASS:javaClass}#(?<methodName>[a-zA-Z_]+):%{INT:linenumber}%{SPACE}-%{GREEDYDATA:msg}留神⚠️: 1、如果要匹配多行文本,比方java中的异样堆栈,则在表达式前须要加上(?m)。 2、应用\能够进行本义。 3、其中的(?<methodName>[a-zA-Z_]+) methodName 为咱们自定义的正则。 3、编写 logstash pipeline文件input { file { id => "mutate-id" path => ["/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/filter-grok/*.log"] start_position => "beginning" sincedb_path => "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/filter-grok/sincedb.db" codec => multiline { pattern => "^\[+" negate => "true" what => "previous" charset => "UTF-8" auto_flush_interval => 2 } }}filter { grok { match => { "message" => "(?m)^\[%{INT:pid}\]%{SPACE}%{TIMESTAMP_ISO8601:createTime}%{SPACE}\[%{DATA:threadName}\]%{SPACE}%{LOGLEVEL:LEVEL}%{SPACE}%{JAVACLASS:javaClass}#(?<methodName>[a-zA-Z_]+):%{INT:linenumber}%{SPACE}-%{GREEDYDATA:msg}" } } }output { stdout { codec => rubydebug { } }}4、查看运行后果 ...

May 13, 2021 · 1 min · jiezi

关于运维:高德-Serverless-平台建设及实践

简介:高德为什么要搞 Serverless/Faas?是如何做 Serverless/Faas 的?技术计划是什么样的?目前停顿怎么样?后续又有哪些打算?本文将和大家做一个简略的分享。 作者 | 邓学祥(祥翼) 起源 | Serverless 公众号 高德从 FY21 财年开始启动 Serverless 建设,至今一年了,高德 Serverless 业务的峰值超过十万 qps 量级,平台从 0 到 1,qps 从零到十万,成为阿里团体内 Serverless 利用落地规模最大的 BU,这两头的过程是怎么样的?遇到过哪些问题?高德为什么要搞 Serverless/Faas?是如何做 Serverless/Faas 的?技术计划是什么样的?目前停顿怎么样?后续又有哪些打算?本文将和大家做一个简略的分享。 1. Why-高德为什么要搞 Serverless高德为什么要搞 Serverless?背景起因是高德 FY21 财年启动了一个客户端上云我的项目。客户端上云我的项目的次要目标是为了晋升客户端的开发迭代效率。 以前客户端业务逻辑都在端上,产品需要的变更须要走客户端发版能力公布,而客户端发版须要走各种测试流程、灰度流程,解决客户端解体等问题,目前的节奏是一个月一个版本。 客户端上云之后,某些易变的业务逻辑放到云上来。新的产品需要在云端来开发,不必走月度的版本公布,放慢了需要的开发迭代效率,离产研同频的现实指标又近了一步(为什么要说“又”,是因为高德之前也做了一些优化往产研同频的方向致力,然而咱们心愿云端一体化开发能够是其中最无效的一个技术助力)。 1.1 指标:客户端开发模式--端云一体尽管开发模式从以前的端开发转变为当初的云 + 端开发,开发同学应该还是原来负责相应业务的同学,然而大家晓得,服务端开发和客户端开发显然是有差别的,客户端开发是面向单机模式的开发,服务端开发通常是集群模式,须要思考分布式系统的协调、负载平衡、故障转移降级等各种简单问题。如果应用传统的服务端模式来开发,这个过渡危险就会比拟大。 Faas 很好地解决了这一问题。咱们联合高德客户端现有的 xbus 框架(一套客户端上的本地服务注册、调用的框架),扩大了 xbus-cloud 组件,使得云上的开发就像端上开发一样,指标是一套代码、两地运行,一套业务代码既能在客户端上运行,也能在服务端上运行。 高德客户端次要有三个端:IOS、android、车机(类 Linux 操作系统)。次要有两种语言:C++ 和 Node.js。传统地图功能:如地图显示、导航门路显示、导航播报等等,因为须要跨三个端,采纳的 C++ 语言来开发。地图导航根底之上的一些地图利用性能,如行前/行后卡片、举荐目的地等,次要用 Node.js 来开发。 FY20 财年淘系前端团队开发了 Node.js Faas runtime。高德客户端上云我的项目,Node.js 的局部就采纳了现有的淘系的 Node.js runtime,来接入团体的 Faas 平台,实现 Node.js 这部分的一些业务上云。2020 年十一期间很好地撑持了高德的十一出行节业务。 ...

May 13, 2021 · 3 min · jiezi

关于运维:国内唯一入选云厂商阿里云入选-2021-Gartner-APM-魔力象限

简介:近日,Gartner 公布了《2021 年 Gartner APM 魔力象限》,阿里云成为国内惟一入选的云厂商,产品能力和策略愿景取得 Gartner 分析师高度认可。起源 | 阿里巴巴云原生公众号 近日,Gartner 公布了《2021 年 Gartner APM 魔力象限》,阿里云成为国内惟一入选的云厂商,产品能力和策略愿景取得 Gartner 分析师高度认可。 Gartner 是寰球最具权威的 IT 钻研与参谋征询公司,其每年的 Gartner  APM 魔力象限报告对于企业抉择 APM 工具提供了牢靠的参考规范。本次评测利用实时监控服务(ARMS)作为阿里云 APM 的外围产品,联结云监控以及日志服务独特参加。Gartner 评估阿里云 APM: 中国影响力最强:阿里云是中国最大的云服务提供商,阿里云用户能够应用云上监控工具来满足其可观测性需求。开源集成:阿里云非常重视将开源规范和产品(例如 Prometheus)集成到其平台中。老本劣势:与在阿里云上应用第三方 APM 产品相比,阿里云 APM 产品具备更高的老本效益。图片起源:2021 Gartner APM 魔力象限 当下,企业正逐渐放慢数字化转型的步调,导致 IT 零碎更新频繁,利用复杂度急剧升高。微服务、容器化等之前仅有技术型公司关注的前沿技术也逐步在传统企业中衰亡,而云服务早曾经成为企业大规模经营数字业务所必备的技术服务。以用户体验为外围的利用性能治理(APM)受到宽泛关注,APM 在帮忙企业实现数字化转型及智能化运维的路线上体现出微小的价值。 例如,用户关上某个利用后,可能波及上千次调用。关上这样一个页面的响应工夫,不仅是前端利用的指标,也是所有服务中心都应该去关怀的重要指标。当呈现问题,传统运维通过排查、电话告诉的操作,不仅低效还容易失落信息。如何实时监控整个链路的运行状况,呈现问题疾速定位根因,对应到责任人,这些是企业在服务化过程中亟需解决的问题。 2017 年,阿里将外部锻炼多年的监控工具对外,利用实时监控服务 ARMS 正式商业化。作为云原生一体化可观测性平台,ARMS 提供全栈式的性能监控和端到端的全链路追踪诊断能力,同时,联合阿里云日志服务(SLS)的日志数据分析能力以及云监控丰盛的云服务与基础设施监控能力,用户能够轻松实现用户体验、利用、云服务、容器的一站式监控。 阿里云在 APM 畛域不仅建设了丰盛的产品布局,其产品能力也失去了泛滥客户的认可。道旅科技凭借 ARMS,在数分钟内搭建和启动了基于大数据平台的利用实时监控零碎,极大地晋升了 IT 人员的效率。华润万家不论在利用上呈现任何问题,ARMS 都能够分明地出现问题出在哪一行代码,大大缩短了修复故障的工夫。 随着企业数字化转型过程减速,企业各类应用程序的性能情况间接影响了数字化业务的顺利开展,APM 产品的市场需求仍在不断扩大。通过 10 多年的技术实际,阿里云已领有国内规模最大的云原生产品家族和开源生态,提供云原生裸金属服务器、云原生数据库、容器服务、微服务、可观测、高可用等超过 100 款翻新产品,让企业更加从容地迈向云原生架构。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

May 12, 2021 · 1 min · jiezi

关于运维:logstash的mutate过滤器的使用

一、背景当咱们应用logstash从内部读取到数据后,默认状况下读取到的值都是string的类型,假如咱们这个时候须要批改字段值的类型,如果从string批改成integer,或者删除字段、批改字段的名字、给字段一个默认值等操作时,这个时候咱们就能够借助 mutate filter 来实现。 二、需要1、从文件中读取数据,文件中的数据合乎csv的格局,即默认是以,分隔。 2、对读取到的字段进行 删除字段、批改字段的值、批改字段的类型、给一个默认值、字段合并等操作。 三、实现步骤1、装置 csv codec 插件留神⚠️: 默认状况下,csv codec插件并没有装置,须要咱们本人手动装置一下,执行如下命令bin/logstash-plugin install logstash-codec-csv # 进入 logstash 的装置目录cd /Users/huan/soft/elastic-stack/logstash/logstash# 监测是否装置了 csv codec 插件bin/logstash-plugin list --verbose# 装置 csv 插件bin/logstash-plugin install logstash-codec-csv 2、筹备须要读取的文件数据user_real_nameuser_english_nameageaddresseducationstrip_blanklanguagedefault_valuecreate_time张三zhangSan20湖北省;罗田县学历-本科去首尾空格java默认值20210512 08:47:03李四lisi18湖北省;黄冈学历-专科去首 空格C 20210512 03:12:203、编写 pipeline ,读取和输入数据input { file { id => "mutate-id" path => ["/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/filter-mutate/mutate.csv"] start_position => "beginning" sincedb_path => "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/filter-mutate/sincedb.db" codec => csv { columns => ["user_real_name","user_english_name","age","address","education","strip_blank","language","default_value","create_time"] charset => "UTF-8" separator => "," skip_empty_columns => false convert => { "age" => "integer" } } }}output { stdout { codec => rubydebug { } }}csv codec 插件解释 ...

May 12, 2021 · 2 min · jiezi

关于运维:logstash-multi-pipeline的使用

一、背景假如咱们须要从多个渠道来收集数据,比方:1、从文件收集。2、从tcp收集。不同的渠道收集过去的数据须要做不同的解决。那么咱们这个时候应该如何解决呢? 二、解决方案1、计划一:应用同一个 logstash 实例,而后将在一个 pipeline 中,接管多个输出,比方: input { file {} file {} tcp {}}这样尽管能够实现,然而咱们 在 filter 和 output阶段如果不同的输出存在不同的过滤、输入等,那么这个文件将会非常复杂,须要进行各种判断,不好保护。 2、计划二:应用多个 logstash 实例,每个 logstash 实例解决不同的输出。这样尽管能够实现,然而 logstash 略微有点消耗性能,也是不可取的。 3、计划三:在同一个 logstash 实例中,应用多个 pipeline,每个 pipeline 解决不同的 input,filter和out。即配置扩散在多个配置文件中。 三、实现步骤此处采纳上方的 计划三 来实现。1、编写 pipeline 文件1、从文件收集,输入到控制台vim file-pipeline.conf input { file { path => ["/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline/file-pipeline.log"] start_position => "end" sincedb_path => "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline/sincedb.db" sincedb_write_interval => "15 seconds" mode => "tail" type => "file-pipeline" }}filter { }output { stdout { codec => rubydebug { metadata => true } }}2、从socket收集,输入到控制台vim tcp-pipeline.conf ...

May 11, 2021 · 1 min · jiezi

关于运维:因云而生-阿里云发布云服务器操作系统Alinux3

简介:阿里云正式推出第三代云服务器操作系统Alibaba Cloud Linux 3(以下简称Alinux3),基于“因云而生”的云原生技术理念,Alinux3进一步晋升了云上客户的安全性、稳定性和运行时性能,并深度交融自研软件生态,全面兼容 RHEL/CentOS 8生态,优化后支流利用性能晋升10%~40%;同时提供长达8年的收费软件维护和技术支持,保障开发者最佳云上操作体验。近日,阿里云正式推出第三代云服务器操作系统Alibaba Cloud Linux 3(以下简称Alinux3),基于“因云而生”的云原生技术理念,Alinux3进一步晋升了云上客户的安全性、稳定性和运行时性能,并深度交融自研软件生态,全面兼容 RHEL/CentOS 8生态,优化后支流利用性能晋升10%~40%;同时提供长达8年的收费软件维护和技术支持,保障开发者最佳云上操作体验。 据官网介绍,Alinux 3不仅继承了Alinux 2的优良个性,还以“因云而生,为云优化”为外围,针对云产品做了大量垂直优化,包含 Linux kernel 5.10 内核、 GCC 10.2/Glibc 2.32 版本工具链,以及大量其余外围零碎组件。Nginx、Redis、Mysql等支流E2E利用在各方面性能相比上一代晋升10%-40%,放弃了高性能的水准。 平安方面,除了内核热补丁主动修复、等保加固、CIS加固等性能外,阿里云还提供了秘密计算、全栈国密等平安加强技术计划,可对敏感数据进行隔离解决。此外,Alinux3引入了利用流机制,交融了生产稳定性需要和疾速开发翻新需要,能将利用与根本操作系统离开,可随时切换利用。 此外,Alinux3还提供包含根底镜像服务诊断、零碎异样诊断、宕机剖析等一系列利用诊断性能和能力,帮忙客户做好零碎运维,升高运维开销和危险,晋升安全性和稳定性,实现操作系统自动化运维,让用户再无运维担心。 往年3月,阿里云和社区搭档独特发动了Anolis OS 开源我的项目,作为 CentOS 的代替和翻新倒退,以凋谢的社区合作来构建一个开源、中立、凋谢的 Linux 发行版,提供企业级的稳定性、高性能、平安、牢靠、收费的操作系统。阿里云Alinux3也继续将内核中的稳定性、性能个性和性能调优方面的技术积攒回馈到 Linux 社区和 OpenAnolis 社区。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

May 10, 2021 · 1 min · jiezi

关于运维:阿里云-EDAS-30-助力唱鸭提升微服务幸福感

简介:EDAS 3.0 提供的微服务治理,很好的反对了唱鸭 APP 实现微服务利用的公布、监控、治理等日常业务场景。作为运维侧的重要平台和开框架的提供者,EDAS 3.0 帮忙用户能够更专一业务。微服务架构降级后,业务具备程度扩大能力,具备撑持千万级 DAU 后劲。作为国内首款弹唱 App,唱鸭在产品翻新上的一直摸索为音乐行业带来了全新的用户价值,包含弹唱、音效键盘等性能,让它在过来一年中迅速成为了领有千万级用户量的音乐产品,其中“95后”占比超过 90%。 新的需要随着公司业务的疾速倒退,公司亟需晋升数字化竞争力,延长价值链条。唱鸭也和泛滥互联网企业一样依靠于以微服务化为根底的互联网架构,并抉择用全站上云的形式放慢企业倒退的步调,但过程中遇到了以下难题: 业务须要实现短时间疾速上云,不足微服务框架实现教训,导致研发须要投入大量人力去钻研微服务底层相干技术,对于业务来说投入产出比很低,并且老本也过高。客户业务应用容器公布,然而容器技术门槛较高,不足相干业余人员及教训,重大妨碍大规模,全站上云。微服务架构下,利用数量暴增,依赖关系盘根错节,因为不足微服务治理工具和教训,使得微服务架构下的利用运维和故障排查变得异样艰难。新的解法 通过利用阿里云 EDAS 3.0、MSE、ACM 等云产品构建微服务化利用架构,解决用户自建微服务根底框架的问题,实现疾速接入,即开即用,极大的升高微服务架构的复杂度,同时缩小开发人员工作量。让研发不必再关注底层技术原理和实现,专一于业务的自身。通过利用 EDAS 3.0 能够十分不便的和容器服务 ACK 集成,极大升高了应用容器技术的门槛。通过 EDAS 3.0 的服务治理性能实现服务鉴权、服务测试、无损下线、离群实例摘除、金丝雀灰度公布、邻近路由等微服务外围性能,一站式解决微服务治理的痛点和难点。上云价值EDAS 3.0 提供一站式利用全生命周期治理,集成了容器调度,利用监控,资源管理等能力,使得唱鸭研发效率晋升15%。同时,EDAS 3.0 提供的微服务治理,很好的反对了唱鸭 APP 实现微服务利用的公布、监控、治理等日常业务场景。作为运维侧的重要平台和开框架的提供者,EDAS 3.0 帮忙用户能够更专一业务。微服务架构降级后,业务具备程度扩大能力,具备撑持千万级 DAU 后劲。 举荐产品企业级分布式应用服务 EDAS 3.0 :https://www.aliyun.com/product/edas 微服务引擎 MSE :https://www.aliyun.com/product/aliware/mse 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

May 8, 2021 · 1 min · jiezi

关于运维:Java-SDK集成测试概述及实践

我的项目背景作为长期专一于区块链底层平台设计和研发的业余团队,趣链科技对产品质量尤其器重。软件测试能够说是平台的质量保证的最要害一环。底层的技术平台通常会提供对外交互的SDK,在测试环节中,能够通过SDK对系统进行集成测试,从而验证零碎的各项性能是否可能失常应用。Java SDK是软件开发中利用最宽泛的一类,以在BitXMesh我的项目测试的实际为背景,介绍Java SDK集成测试的一些心得体会。零碎提供的性能次要有如下几点:资源库中资源管理,包含文件/数据库/模型/Restful接口等联邦计算跨节点资源获取和展现零碎和用户治理 起初测试工具较为零散,新增模块或者性能之后往往趋势新建一个小的测试项目进行测试。然而随着性能和客户越来越多,质量保证的要求不能放松,构建一个欠缺的测试项目成为必然要求。本文以该我的项目为例,具体介绍测试项目的剖析、布局、实现、具体模块示例以及最终造成的测试报告。 测试项目剖析在测试项目中,最外围的一个环节就是测试用例设计,要想设计出优雅的测试用例,首先要对我的项目自身有充沛的理解,依据对我的项目的性能和代码构造剖析,将测试项目用例构造分为以下三类:用户权限相干测试:验证不同类型的用户对模块操作的权限失常异样数据测试:包含数据异样和性能逻辑异样失常功能测试 独自的用例实现起来难度不大。但要充分考虑到后续保护,特地是权限测试和异样测试两方面。因而在设计测试用例的时候要秉承以下两点准则:优化代码构造,缩小代码冗余,减少可读性;测试用例数据和测试代码拆散,不便前面独自保护测试用例。 测试项目布局测试框架TestNG是一个开源自动化测试框架,其灵感来自JUnit和NUnit,但引入了一些新的性能,使其性能更弱小,应用更不便,它在很大水平上借鉴了Java注解来定义测试。本我的项目应用TestNG进行测试。Excel保护用例数据,封装函数读取其中数据,应用dataProvider传递给测试函数进行测试。数据驱动测试,函数传参模式因为零碎性能耦合性较强,因而单个用例往往蕴含较多操作。咱们把相似流程的测试用例组合到一起,对各个操作进行地位编号,应用Pair<Integer, Integer>的模式传参,对预期出现异常的地位进行断言。测试过程中异样捕捉和解决权限相干的测试,每个操作都可能有权限或者没有权限,因而每个操作实现后间接与预期进行比照进行即可,捕捉到异样就断言错误码。流程相干的测试,如果前一个操作对前面操作有影响,检测到该操作抛出异样后间接对错误码进行断言,而后退出以后测试,持续前面测试;反之持续进行前面操作。主动触发Jenkins我的项目构建应用触发器执行主动构建,具体配置参考第六板块【继续集成】 我的项目构造用例组织形式测试用例在外部的Thoughts环境以表格的模式编写,用例来源于需要文档和零碎测试剖析文档。测试项目构造在这个我的项目中应用项目管理工具Maven来治理构建和报告。我的项目构造如下: 版本控制版本号与待测我的项目版本号保持一致,在Git中进行保护。 局部实现示例BitXMesh中有多种不同类型的用户,这些用户对不同模块和资源的操作权限不一样,因而须要逐个进行权限测试,看是否有脱漏或者越权问题。另外,BitXMesh需要中对局部输出信息有限度,如长度/是否为空/反复/非凡格局等,须要对边界值和其余相干逻辑进行测试。权限测试(有对立的报错代码)模块中权限次要包含创立/删除/查看/批改/上传/下载/赋权操作等。因为创立是前面操作的根底,因而独自指定用例对创立性能进行权限测试;其余操作共用一个用例,每轮对不同用户执行用例时,让指定用户先创立,再执行前面操作。一个用户在一个模块中的所有权限作为一组测试数据;有权限时操作失常实现,没有权限时抛出异样,状态码为指定值;获取错误信息之后对捕捉到的每个异样状态码进行断言比照即可,以后测试持续进行。异样数据测试(有专门的报错代码)这里对模块性能做全流程测试。当测试程序捕捉到有操作抛出异样的时候就间接返回,不执行后续测试。为了不便进行数据驱动测试,咱们把用例中每个操作程序进行标注,从1开始递增;如果冀望在第n个操作处捕捉到异样,则能够传入(n, errCode)进行断言验证 继续集成Jenkins配置编写部署脚本,应用shell命令运行集成测试触发流程Git webhook检测到打tag或者骨干分支有合并之后,触发上游Jenkins打包工作,生成可执行文件,并推送到Nexus仓库生成可执行文件工作胜利后,触发集成测试工作,近程拉取可执行文件,执行部署和测试程序运行环境Jenkins slave节点提供的Docker容器。因为单个BitXMesh占用资源不多,因而能够在一个Docker容器中同时运行测试程序和多个BitXMesh节点程序。 测试报告本我的项目应用了maven插件maven-surefire-plugin来生成测试报告。我的项目测试实现之后,主动生成target/surefire-reports/emailable-report.html报告,在Jenkins中指定相应测试报告门路即可。pom.xml中配置如下: 总结权限测试和异样测试是测试过程中两个须要留神的点,须要在自动化测试中提前布局。前者容易导致代码比拟臃肿;后者难以一次性思考全面,须要后续进行保护。通过正当的数据驱动测试能够解决这两块的问题,再加上一些工程化的形式就能够实现比较完善的自动化测试。大多数测试人员是界面功能测试入门,对后盾服务测试须要肯定工夫进行理解。Java SDK实质是把零碎调用接口封装成类库,供客户端应用;发展集成测试时,须要提前相熟SDK应用文档,而后通过分层架构去进行布局即可。 作者简介代家雄来自数据网格实验室团队次要负责分布式数据共享平台整体质量保证工作

May 6, 2021 · 1 min · jiezi

关于运维:Python8对象与类中

引言这篇文章介绍Python如何将函数与数据整合成类,并通过一个对象名称来拜访它们。 文章目录0×5.获取对象信息0×6.实例属性与类属性0×7.属性和办法的动静绑定0×8.如何将类办法封装成属性 0×5.获取对象信息除了应用isinstance来匹配对象类型外,还能应用type来获取这些对象的类型,请看上面的实例: #!/usr/bin/env python#coding=utf-8#types模块中定义的常量可用于判断函数类型import types#输入对象的类型print(type("www.qingsword.com"))#判断对象是否为字符串类型print(type("qingsword.com")==str)#程序输入<class 'str'>TRUE#如果对象是一个函数,就须要借助types模块中定义的常量来判断了#--------def fx():    return 0#判断fx是否为函数类型print(type(fx)==types.FunctionType)#判断是否为lambda类型print(type(lambda :0)==types.LambdaType)#判断len是否为内置的函数类型print(type(len)==types.BuiltinFunctionType)#判断表达式是否为列表生成器类型print(type((x for x in range(10)))==types.GeneratorType)#程序输入都为True#isinstance同样可能实现这些操作,例如将判断fx函数的语句改成上面这样,返回值同样是Trueprint(isinstance(fx,types.FunctionType))除了下面的两种对象类型判断外,配合getattr()、setattr()以及hasattr(),咱们能够间接操作一个对象的状态,请看上面的实例: #!/usr/bin/env python#coding=utf-8class Ob_A(object):    #---------    def __init__(self,x=0):        if type(x)==int:            self.a=x        else:            raise TypeError("传入参数类型(%s)谬误,正确的参数类型int"%type(x))    #---------    def sq(self):        return self.a*self.aoba=Ob_A(12)#判断oba对象中是否有属性(或办法)a,返回Trueprint(hasattr(oba,"a"))#获取属性(或办法)a,本例中a是一个属性值12,所以被print间接打印了进去print(getattr(oba,"a"))#是否有属性(或办法)b,返回Falseprint(hasattr(oba,"b"))#给对象设置一个属性b,值为13setattr(oba,"b",13)#因为曾经给对象增加了属性b,再次判断,返回True,并且打印出b的值13print(hasattr(oba,"b"))print(getattr(oba,"b"))#判断oba对象中是否存在sq属性(或办法)print(hasattr(oba,"sq"))#应用sq对象指向oba对象的sq办法sq=getattr(oba,"sq")#从type能够看到sq是一个办法类型print(type(sq))#执行sq办法,返回144print(sq())#程序输入TRUE12FALSETRUE13TRUE<class 'method'>144这三个函数可用于探测对象中的信息,只有在不晓得对象信息的时候,才会应用这三个函数,如果曾经明确晓得了一个对象中蕴含了哪些属性和办法,请间接调用他们。 0×6.实例属性与类属性python是动静语言,在实例化后,还能给实例增加新的属性,但最好不要与类中的属性同名,请看上面的实例: #!/usr/bin/env python#coding=utf-8#Ob_A类中定义了一个类属性x,并且配置了其值为2class Ob_A(object):    x=2#实例化Ob_A类oba=Ob_A()#给oba实例创立一个新属性x,因为和Ob_A类中的属性同名,所以会笼罩原有属性值oba.x=1#打印出1print(oba.x)#类中的属性放弃不变,打印出2print(Ob_A.x)#此时如果手动删除oba实例的x对象,再次打印oba实例的x对象,就会打印出原类中绑定的属性x值,打印出2del oba.xprint(oba.x)#程序输入122类在实例化后,如果须要给实例新增属性,倡议属性名不要应用与原类中曾经存在的属性同名,因为雷同名称的实例属性将屏蔽掉类属性。 0×7.属性和办法的动静绑定Python属于高级动静语言,与动态语言不同,当咱们实例化一个类对象后,能够动静的给这个类实例绑定属性或办法,请看上面的实例: #!/usr/bin/env python#coding=utf-8from types import MethodType#定义一个类,仅蕴含一个age属性class Ob_A(object):    def __init__(self,age=0):        self.age=age#实例化Ob_A类a=Ob_A(23)#给Ob_A类的实例a新增一个name属性a.name="qingsword"#定义一个内部办法,稍后将它绑定到a实例def get_sex(self):    return "male"#应用types模块中的MethodType办法,将get_sex这个内部办法绑定到a实例的getsex变量上a.getsex=MethodType(get_sex,a)#执行a实例的getsex()就相当于执行了get_sex()print(a.getsex())#程序输入male#getsex名称仅限于a实例调用,如果此时再实例化一个Ob_A类,除非再次应用MethodType绑定一个新的get_sex办法,否则这个新的类实例是不能应用get_sex这个内部办法的从下面这个实例能够看出,Python不会限度一个对象实例绑定多少内部属性和办法,但如果要限度他们,能够在类中应用__slots__属性,请看上面的实例: #!/usr/bin/env python#coding=utf-8from types import MethodType########class Ob_A(object):    def __init__(self,age=0):        self.age=age    #定义了 __slots__属性后,Ob_A本身和所有实例,都只能应用这个元组中所蕴含的元素作为属性或办法名称    __slots__=("name","age","get_sex")#########但__slots__属性对继承它的子类有效,除非这个子类中也蕴含一个__slots__属性,那么这个子类能够定义的属性或办法名就是本人的__slots__元组中蕴含的元素加上父类__slots__元组中蕴含的元素的汇合class Ob_B(Ob_A):    x=0########def get_sex(self):    return "male"a=Ob_A(23)a.name="qingsword"a.get_sex=MethodType(get_sex,a)print(a.get_sex())#Ob_B类尽管继承Ob_A,但它没有蕴含__slots__属性,所以实例b能够增加任何属性或办法名,本例增加了一个web属性,指向了本站网址这段字符串地址b=Ob_B()b.web="www.qingsword.com"print(b.web)0×8.如何将类办法封装成属性这一部分将应用python内置的@property装璜器,将类中的办法转换成属性,在内部看来,这个办法就像一个一般属性那样应用,请看上面的实例: #!/usr/bin/env python#coding=utf-8from datetime import datetime########class Ob_A(object):    def __init__(self,birth=2016):        """初始化配置出身年份"""        self.__birth=birth    #应用@property装璜器将birth办法转换成属性    @property    def birth(self):        """获取出身年份"""        return self.__birth    #应用@办法名.setter将这个办法设置成可写属性(一个办法名称必须先应用过property装璜器,能力应用setter)    @birth.setter    def birth(self,birth):        """设置出身年份"""        self.__birth=birth    #仅有一个@property没有setter的办法,相当于一个只读属性    @property    def age(self):        """返回年龄"""        y=datetime.now()        return y.year-self.__birthx=Ob_A(2008)print(x.birth)#能够像设置属性值那样复制(如果是办法语法应该是x.birth(2000))x.birth=2000print(x.birth)print(x.age)#程序输入2008200016尽管下面的实例中,并没有对年龄做进一步的检测(比方年龄范畴,输出类型等),但也不难看出,将函数封装成属性的款式能够让调用者写出更直观代码(比方x.birth=2000,而不是x.birth(2000)),而对封装者而言,能够在函数中去做各种条件判断来保障逻辑的正当。

May 1, 2021 · 1 min · jiezi

关于运维:探秘在阿里云做产品经理是怎样的体验

简介:许力(仁威) 阿里云数据库产品事业部高级产品经理,目前负责阿里云原生多模数据库Lindorm产品许力(仁威) 阿里云数据库产品事业部高级产品经理,目前负责阿里云原生多模数据库Lindorm产品 教授级高工、工学博士国家软件架构新技术重点实验室研究员中国计算机学会(CCF)、高级会员美国电子电气工程协会(IEEE)会员等曾发表国内外期刊论文20余篇申请发明专利40余项,编写《利用智能运维实际》等2本专著。 Q您十分喜爱画画,您感觉画画和做产品有什么关系? 答:我感觉画画跟做产品有相通的中央。首先,你须要有审美的情怀和感觉。产品像艺术品一样,画画开始的时候首先要画轮廓,而后再去填细节,逐步欠缺的过程中,你就发现这画越来越饱满。 做产品也一样,你首先须要理解用户需要,做出一个最小可用版的产品,性能不见得很弱小,应用的过程中,用户会提出各种问题,再逐步饱满,一直磨难,去欠缺你的性能,最初你就发现进去一款十分棒的产品,这就是做产品的一个过程。 就像咱们当初用的Office办公软件Excel,开始也是很简略的性能,用户在应用过程中,缓缓填充了很多性能,最初变得十分弱小。 Q您取得过很多荣誉奖项,也出过论文、技术专著,还有很多发明专利。在阿里这么忙,平时怎么治理工夫,保障这么多产出? 答:我感觉工夫治理还得按本人的习惯,不论是哪个岗位的工作,都会有很多杂事,然而咱们首先要把所有的事梳理分明,哪些是重点,哪些是能够缓一缓的。比方我要做一款产品的设计,设计的工作必须得要有苏醒的头脑,这个我就放在早上。如果要写一些PPT,或者是整一些报告,这个工夫我放到早晨。 另外,就是必须得给本人设指标,就是你在短期内要实现什么指标,长期要实现什么指标。为了达成每个指标,你就必须得保持每天后退一点,这样有一个指标感,工夫的利用效率也会十分高。 Q您是如何保持下来和排解压力的呢? 答:保持,保持做一件事件。这个艰难的问题解决不了,今天持续解决。心理健康最重要,你能够背个包间接就出去玩嘛,放松一下情绪! Q那您是怎么放弃发量的? 答:放弃发量最要害的一点还得锻炼身体,能够去健身房流动流动,健健身嘛,我感觉这个还是挺必要的,另外睡眠工夫还得要保障。 Q能跟咱们说说您的高光时刻吗? 答:大略能够总结三点:第一点就是在博士毕业的时候,五年就拿到博士学位,这个在咱们学院外面也比拟少,个别都是八九年工夫才拿到。第二点就是拿了40多个创造软件专利,出了两本专著,还发了20多篇论文。另外就是公司2万多人选中2集体去硅谷轮岗,其中就有我,这个也是比拟荣幸的一个时刻。 Q您感觉硅谷开发者与国内开发者最大不同在哪里? 答:其实硅谷的工程师,我感觉论聪慧和才华,也不比咱们国内的工程师要强,最次要的就是他们会有一种很天然的激情投入到工作中。不论是搞产品的研发,还是搞一些测试,他们都会退出一些集体的想法,包含上班后他们业余时间很多也都花在了和同行交换上。 在硅谷很风行的就是 meetup ,而后大家在很随和的一个气氛外面,有吃有喝的一个环境下,去开展思维碰撞。这个过程会激发一些很好的想法,很特地的一些思路。这是我倡议国内工程师去向国外的公司和工程师学习的一个中央。 Q您感觉工程师将来要具备什么样的技能? 答:首先将来必定是一个智能互联的时代,咱们所有的电器、办公设备、汽车都要联网。在这个过程之中,会产生各种各样的数据,各种异构数据,所以将来工程师最重要的是要把握这项技能,解决这些简单的、异构的、遍在的数据。 咱们须要学很多货色,然而这些学习的曲线太过平缓了,间接拿阿里云Lindorm数据库就能够轻松地解决这个问题,也欢送大家去阿里云上搜寻Lindorm数据库试用。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

April 30, 2021 · 1 min · jiezi

关于运维:数栈运维实例Oracle数据库运维场景下智能运维如何落地生根

从马车到汽车是为了晋升运输效率,而随着时代的倒退,现在咱们又心愿用主动驾驶把驾驶员从开车这项体力劳动中解放出来,减少运行效率,同时也可缩小交通事故发生率,这也是企业对于智能运维的诉求。 从人工运维到自动化运维是为了缩小人力老本,升高操作危险,进步运维效率,但自动化运维的实质仍然是人与自动化工具相结合的运维模式,仍有局限性。为了继续高空向大规模、高复杂性的零碎提供高质量的运维服务,智能运维(AIOps)应运而生。 本文,袋鼠云将跟大家分享智能运维大数据平台(一款开箱即用的运维监控平台)在Oracle数据库运维场景下的具体利用。 一、数据采集应用平台第一步是数据接入。要做好Oracle的运维,须要哪些数据撑持?依据咱们运维Oracle日常的经验总结,以下几类数据是特地重要的: 实例和数据库根底信息 包含实例的版本、Patch、启动工夫、实例参数、主机根本配置信息。 数据库健康检查 查看数据库是否能失常连贯,读写响应工夫是否失常。 实例根底性能数据 包含业务的QPS、TPS,实例和主机的CPU使用率、内存使用率、连接数使用率,SQL解析状况,数据库的逻辑读、物理读,数据库锁期待情况,以及RAC集群间的通信情况。 Oracle期待事件 采集Oracle外部期待事件的类型、期待次数和耗费工夫。从期待事件能够判断实例运行的整体健康状况,定位实例瓶颈。 数据库空间应用信息 包含表空间文件占用空间、表空间应用空间、长期表空间应用状况、UNDO表空间应用状况。须要实时监控表空间应用状况,防止表空间占满引起故障。 数据库Session信息 Session信息记录了实例以后运行的SQL状况,记录了以后阻塞Session的具体信息,比拟常见的如锁期待。通过Session信息,不便疾速定位实例中的阻塞景象。 数据库备份状况 在数据库运维畛域,备份重于泰山。每天都须要查看数据库的备份状况,包含备份是否胜利,备份耗时,备份占用空间等。 DataGuard运行状况 DataGuard是Oracle高可用最罕用的计划之一。须要实时检测Oracle DataGuard的运行状况,包含日志传输是否失常,日志利用提早。 日志信息 数据库的告警日志、TNS监听日志。从日志中能够发现数据库外部运行谬误、异样的客户端连贯信息等。 上述的数据采集,曾经集成在产品中。用户只须要在数据库性能采集模块配置接入信息,就会主动采集这些数据。 数据接入之后,产品上会从几个方面来应用这些数据: 仪表盘 零碎默认带了Oracle场景的通用仪表盘。用户也能够依据本人的应用习惯,通过SPL的形式配置自定义仪表盘。 监控告警 零碎内置常见的监控告警。也能够通过SPL的形式配置自定义告警项。数据只有采集到了,就能够用于配置告警。 智能巡检 零碎反对配置自定义巡检规定,按用户定义的工夫距离,定期进行数据库巡检。 日志剖析 基于零碎采集的Oracle告警日志、TNS监听日志,除了应用根本的日志搜寻、监控告警,也能够配置一些日志剖析的场景。 本文重点介绍仪表盘的应用。 二、Oracle仪表盘仪表盘是数据可视化展示的根本模式,便于用户从直观上理解零碎的整体运行状况。 1、Oracle实例总览 Oracle总览Dashboard次要包含这几个局部: 实例统计,包含实例总数,异样实例数,数据库数量,实例版本散布。通过这几个指标,能对接入零碎中的实例有一个大体的理解。TOP实例,包含忙碌率TOP实例,沉闷会话数TOP实例。通过这2个指标定位忙碌的实例。! 异样实例列表这个表格展现所有无奈连贯的实例,包含连贯报错信息。TOP性能趋势图选取数据库的外围指标,对整体实例的运行状况有一个整体的理解。选取的指标: · DB Time使用率:体现实例整体忙碌水平 · DB CPU使用率:CPU资源的使用率。 · 流动会话数:是否后SQL积压 · 会话数使用率:Session资源使用率 · QPS/TPS:展示业务申请吞吐量2、Oracle实例详情 该仪表盘用于展示单个实例的运行具体情况。仪表盘次要分如下几个局部。 1)实例信息 显示实例的根本信息,包含主机状况,实例运行状态,实例的版本,数据库的角色,读写模式等 2)实例运行状况 展示实例的外围运行指标。 阻塞会话数/沉闷会话数DB Time使用率实例以后会话数使用率CPU使用率趋势实例会话数趋势SQL执行量/SQL解析量实例逻辑读/物理读实例网络流量实例IO申请次数3、 Oracle实例空间总览 该仪表盘展示实例的空间应用状况。次要包含几个局部: 1)实例总空间散布 展示所有实例的空间散布状况。 2)实例应用空间TOP 展示空间使用率TOP实例的空间变化趋势。 3)实例表空间相干信息 展示所选实例的表空间数量、实例总空间以及空间同比和环比、UNDO空间和TEMP空间、闪回区空间应用状况。 4)实例表空间使用率和占用空间排名。 5)实例表空间使用率TOP趋势 ...

April 28, 2021 · 1 min · jiezi

关于运维:钉钉宜搭版本更新

简介:4月15日钉钉宜搭进行了版本更新,新增五个性能,同时对一些已有的性能进行了优化降级。4月15日,钉钉宜搭公布了版本更新,本次版本更新次要新增的性能包含了:尊享版反对附件在线编辑、上线行业解决方案馆、新增了宜搭价目表信息及更新版本性能差别表,平台同步钉钉角色,首页新增平台布告等五大性能。同时,本次版本更新还对一些已有的性能进行了优化降级。 性能新增新增性能1:尊享版反对附件在线编辑性能应用场景:反对用户在线实现附件的编辑操作在本次更新版本中,宜搭尊享版将反对附件在线编辑性能,用户能够自主抉择是否配置开启。尊享版用户在附件组件中开启「在线编辑」,开启后,配置组件权限状态为“可编辑”,就能够反对附件的在线编辑。 目前附件在线编辑反对 word、ppt、excel 三种 office 文档。 操作指南step1:附件组件须要关上 “在线编辑” 开关 在线编辑的开关关上后,仅阐明该表单有在线编辑的能力,然而如果须要在提交数据后编辑上传的附件,还须要配置权限。 step2:配置权限 表单:找到对应表单>>设置>>权限设置>>增加权限组>>在附件一栏勾选上可编辑的权限 流程表单:找到对应流程表单>>流程>>设置好审批节点>>配置以后审批节点审批人的操作权限>>在附件一栏选抉择可操作(审批人在审批时有权限就能够进行在线编辑) 配置好后,点击表单详情进去能够对附件进行在线编辑,如图所示: 具体操作具体能够点此查阅:https://www.yuque.com/yida/support/hgdfkl 新增性能2:宜搭行业解决方案馆上线应用场景:针对行业的特色化问题,由宜搭平台优良的认证服务商提供行业化解决方案本次更新版本正式上线了宜搭平台行业解决方案,首期正式上架了30+款由宜搭优良认证服务商基于宜搭平台打造的行业化解决方案,集中笼罩了政务、医疗、教育、餐饮、制作、修建、通用等行业。 宜搭平台行业解决方案能依据行业用户的需要提供灵便、高效的贴身定制服务,让最终交付的计划可能齐全贴合业务。 行业解决方案馆地址:https://www.aliwork.com/isvSolution.html?spm=a1z332.10384403.0.0.5f8e5d87hVRLdZ新增性能3:资源价目信息表及更新版本性能差别表应用场景:宜搭各版本资源价目及版本性能差别高深莫测,不便用户依据本身需要做购买参考。新增宜搭各版本资源价目明细表,包活版本人数、数据条数、附件总容量、数据扩容资源包及价格信息;更新体验版、标准版、尊享版的性能差别点; 查看入口及门路版本信息\>>\>>降级服务 宜搭官网\>>\>>产品规格\>>\>>查看详情 新增性能4:宜搭平台同步钉钉角色应用场景:宜搭平台将能够实现把用户钉钉通讯录「平台治理」>「角色设置」本次更新的版本,能够反对用户将本身钉钉通讯录角色同步到宜搭平台角色中。在本次新增的这一性能中,钉钉角色目前只有宜搭平台管理员及钉钉奴才管理员有权限可在「平台治理」>「角色设置」治理查看,其余人员不可见; 钉钉角色在宜搭平台内仅展现,如果须要批改,须要登录到钉钉治理后盾通讯录中治理; 在利用治理后盾,抉择角色的页面,能够同时抉择到钉钉角色和宜搭角色;不过,目前钉钉角色暂不反对搜寻,预计在5月份会反对; 新增性能5:宜搭平台首页新增平台布告本次版本更新中,宜搭平台首页新增了平台布告内容显示。 性能优化本次版本更新还对一些已有的性能进行了优化降级: 修复逻辑编排分支连接器不可用修复逻辑编排音讯内容里表单字段不显示修复模板核心我公布的利用越权破绽修复拜访页面中数据管理页面部门搜寻条件无奈抉择部门修复页面数据源经常出现反复,导致表单无奈保留修复数据筹备数据减速异样修复数据筹备已连贯胜利的服务编辑后无奈保留修复流程加密回调不失效修复高级流程保留报错信息欠缺修复解决流程呈现【环】的状况,导致预测失败修复单据详情页公式未执行修复通过自定义页面的分页页配置的外部页面链接,点击关上后,无奈提交表单修复1.0利用单据或流程表单保留,数据管理页字段查问报错修复数据批改触发服务回调,将表单数据传给业务零碎时,表单数据传的是编辑前的值修复用户大批量首次登录导致无数数据库CPU高修复平安扫描导致宜搭goc告警修复利用模板上线导致后端服务器频繁FULL GC敬请期待优化让咱们一起来看看,后续还会呈现哪些新性能: Excel表格场景一键降级数字化企业应用:能够实现将传统的Excel协同形式一键升级成宜搭利用;子表性能迎来重大降级:扩容数据量从50条数据晋升至200条数据,页面加载体验进一步优化降级、子表/关联组件优化等ISV利用散发优化:散发权限等;高级流程降级优化:反对部门条件、间断多级审批等将来,宜搭也会持续致力一直新陈代谢,给用户更好地体验。 欢送钉钉扫码关注“宜搭”服务窗,理解更多宜搭产品培训、最新性能和客户案例 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

April 26, 2021 · 1 min · jiezi

关于运维:函数计算助力闲鱼构建云端一体化变成模式

简介:闲鱼是依靠阿里电商体系的前台型业务,有十分独特的业务特点和用户诉求,在底层依靠阿里零碎的同时,在体现层和业务层须要摸索适宜闲鱼的、并且更加疾速灵便的研发体系。客户介绍闲鱼是依靠阿里电商体系的前台型业务,有十分独特的业务特点和用户诉求,在底层依靠阿里零碎的同时,在体现层和业务层须要摸索适宜闲鱼的、并且更加疾速灵便的研发体系。 从 2018 年开始,闲鱼架构负责人王树彬率领闲鱼技术团队布局 Serverless。颠覆性翻新往往是从边缘性的中央呈现,而向云原生化/Serverless 化降级,对于闲鱼是一条全新的路,但趟出了这条路,对于很多做线上交易的公司有着微小的借鉴意义。 客户痛点客户端交互层、服务端业务胶水层、畛域层边界划分不清晰,这就导致很小的业务需要就须要整条链路的同学参加,协同老本高,开发调试周期长。服务端存在巨型利用,研发耦合、公布耦合、运维耦合重大,甚至零碎稳定性也受到很大挑战,单个业务问题往往会影响整个利用。运维老本极高。为了保障业务的稳定性和可用性,阿里对每一个利用上线都有相应的标准和规定。哪怕是一个很小的外部利用,一天可能只有一两个访问量,上线也须要恪守既有的标准,这势必会耗费一些固定资源。单个利用耗费的资源可能很无限,但所有利用耗费的资源累积起来也是一个不小的数字。而对于巨型利用,因为影响面微小,公布时要有更加严格的流程和步骤,一次公布至多要耗时 6 小时,运维老本极高。解决方案Serverless 的呈现,一方面使云端一体化研发成为可能,很多小业务需要的协同老本能够大大降低。另一方面,Serverless 使业务胶水层的巨型利用,有了比微服务更加正当的拆分形式。 云原生/Serverless 这些新技术的呈现,能够使利用运维能力下沉,传统巨型利用的老本(速度)、稳固、品质互相制约的瓶颈才有可能被突破。闲鱼在落地新技术的过程中,先围绕 Flutter 重点攻坚了 Flutter 混合工程体系、高性能组件库。而后围绕 Serverless 重点攻坚云端一体化研发体系、服务端业务组装层架构体系。 闲鱼客户端基于 Flutter 进行架构演进与翻新,通过 Flutter 对立 Android 和 iOS 双端晋升研发效力之后,心愿通过 Flutter+Serverless 解决各角色间存在的大量的协同问题,正是这些问题导致整体研发效率低,挪动端离业务越来越远,服务端没有工夫做底层畛域积淀。通过 Serverless 的引入,闲鱼会显著看到整体研发效率的晋升。 应用成果云端编程模型一体化框架(Nexus API)。这个框架的指标是使 Flutter、FaaS 的编程模型对立,买通UI、交互、数据、逻辑。王树彬提到,一开始说要做 Flutter + FaaS 一体化的时候,咱们对“一体化“这三个字的认知绝对比拟含糊,只是晓得端侧的同学能够用 Dart 这门语言来写 FaaS 函数,这其实还停留在语言上的一体化。对于 FaaS 所能做的事,也仅仅停留在前端施行已久的 BFF 层面。CLI 开发工具标准化。云端一体化开发时,通过 CLI(命令行工具)屏蔽 FaaS 开发的一些细节,使客户端开发 FaaS 时的开发体验标准化,合乎客户端同学的本地开发习惯。根底服务 BaaS 化。过来两年,咱们在逐步简化根底服务能力,如对象存储、音讯、搜寻。同时,建设业务畛域层服务的元数据中心,这些简化的根底服务能力,再加上已有的业务畛域层服务,使客户端同学能够疾速组装业务。云端工程一体化,闲鱼在胜利引入 Flutter 后,在端侧造成了以 Flutter 为主、H5为辅的跨端研发体系,使传统的 Android 和 iOS 的两端研发,合并成一端。在端上的生产力失去开释时,咱们发现端的同学有机会向上层走一点,使服务端面向简略的数据组装逻辑,由端的同学一人闭环实现,这套模式尤其实用于一些小业务的需要。传统巨型利用的 Serverless 化革新。Serverless 不是银弹,但与业务胶水层的特点很匹配,十分实用于解决胶水层的传统巨型利用的拆分,这也是闲鱼正在攻坚的下一个难题。从最开始不被外界看好,甚至被调侃为“咸鱼”,到现在实现了千万 DAU,盘活了一个万亿级市场,闲鱼的呈现,无论是对前端的电商生态,还是用户在互联网上的生存模式,都产生了重要的影响。 为了撑持起闲鱼万亿的交易规模,王树彬和技术团队正在紧锣密鼓地进行传统巨型利用的 Serverless 化革新,“闯过了 Serverless 的这一关,才是我比较满意的状态。” ...

April 23, 2021 · 1 min · jiezi

关于运维:利用-blackboxexporter-对网站运行状态进行监测

装置blackbox_exporter下载安装包[root@local ~]# wget https://github.com/prometheus/blackbox_exporter/releases/download/v0.18.0/blackbox_exporter-0.18.0.linux-amd64.tar.gz将安装包解压[root@local ~]# tar -xf blackbox_exporter-0.18.0.linux-amd64.tar.gz进入解压目录并启动服务[root@local ~]# cd blackbox_exporter-0.18.0.linux-amd64/[root@local ~]# nohup ./blackbox_exporter &查看服务运行状态[root@local ~]# nohup ./blackbox_exporter &^C[root@local ~]# ss -ntulp | grep 9115tcp LISTEN 0 128 [::]:9115 [::]:* users:(("blackbox_export",pid=3143,fd=3))自定义Prometheus配置文件写入一个文件prometheus-additional.yamlvim prometheus-additional.yaml- job_name: 'blackbox-http' metrics_path: /probe params: modelue: [http_2xx] static_configs: - targets: - https://12bit.cn #须要监控的url - http://els-prod.yiyiny.com - http://wanjia-nfcp.yiyiny.com - http://pqlp.yiyiny.com relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: 47.116.130.219:9115 #部署blackbox_exporter主机ip把这个文件创建为一个secret对象kubectl create secret generic additional-configs --from-file=prometheus-additional.yaml -n monitoringsecret "additional-configs" created批改prometheus-prometheus.yaml[root@kube-node01 manifests]# vim prometheus-prometheus.yamlsecurityContext: fsGroup: 2000 runAsNonRoot: true runAsUser: 1000 additionalScrapeConfigs: #新增 name: additional-configs #新增 key: prometheus-additional.yaml #新增 serviceAccountName: prometheus-k8s serviceMonitorNamespaceSelector: {}增加实现后,apply下这个文件[root@kube-node01 manifests]# kubectl apply -f prometheus-prometheus.yamlprometheus.monitoring.coreos.com “k8s” configured验证拜访http://192.168.1.10:8002/targets进行验证 ...

April 23, 2021 · 1 min · jiezi

关于云原生:Ask-Me-Anything-1-我是新晋CNCF-TOC张磊你有什么想问我的

起源 | 阿里巴巴云原生公众号 Ask me anything 是 start.aliyun.com 阿里云知口头手实验室的固定栏目,每双周会找一位技术大佬聊一下你最关怀的技术趋势解读、职业抉择、个人成长等问题,关注每一位开发者的成长! 美国当地工夫 2021 年 2 月 2 日,寰球顶级开源社区云原生计算基金会(Cloud Native Computing Foundation,简称 CNCF)正式发表其新一届技术监督委员会(Technical Oversight Committee,简称 TOC)席位改选后果。阿里云高级技术专家张磊入选,成为本届 TOC 9 个席位中惟一一位来自中国企业的代表。 在成为 CNCF TOC 之前,咱们就能看到,张磊在推动中国外乡环境下的云原生概念遍及、生态倒退上,做出了巨大贡献,他推动 CNCF 联结阿里云公布收费的《云原生技术公开课》,置信很多开发者都是通过张磊的“第一堂云原生课”开始了对云原生的认知。 明天咱们很荣幸地邀请到了张磊做“Ask me anything”栏目的第一期嘉宾,和咱们聊聊云原生技术趋势,以及集体开发者在新技术浪潮下的成长问题。 Q:你如何对待 Cloud Native 近几年的倒退和演变? 张磊:随着云原生技术的极大遍及,咱们曾经看到这种全新的利用交付形式正在联合“规范利用模型”、“基于 Mesh 的渐进式公布”等关键技术,一起成为业界构建利用平台的支流方向。 明天大家所熟知的云原生(Cloud Native)理念,实质上是一套“以利用云计算技术为用户降本增效”的最佳实际与方法论。所以,云原生这个术语自诞生,到壮大,再到明天的极大遍及,都处于一个一直的自我演进与变革的过程当中。 无论是 2014 年以 Docker 为代表的容器技术的巨大成功,还是 2019 年后以 Kubernetes 为代表的容器编排技术的迅速崛起,又或者是明天云原生简直“无所不包”般的无处不在,都是 Cloud Native 理念在从概念到实际,再积淀出新的理念和架构过程的真实写照。这种以一个核心理念为根底的一直演进、逐渐影响到整个云计算畛域方方面面的过程,是近几年云原生生态发展壮大背地的一个主旋律。 Q:你在去年看到的云原生畛域次要变动是什么?你认为它会带来什么影响? 张磊:在 2020 年,咱们可能看到云原生的迅速遍及正在给越来越多的畛域带来基于“云”的改革,并且通过云原生体系让这些畛域迅速融入到了云计算的能力池当中,从而为最终用户间接带来了“降本增效”的微小价值。仅以 CNCF 开源社区为例,在 2020 年,阿里云有 OpenYurt 边缘容器我的项目(边缘畛域变革)和 OpenKruise 工作负载治理( 利用治理能力下沉)我的项目进入了 CNCF 沙箱,还有 Virtual Cluster (Serverless 基础设施畛域变革)技术成为了 Kubernetes 官网子项目,更有多个外围我的项目比方 OAM/KubeVela (利用交付畛域变革 + 能力下沉)正在孵化中。这些开源技术的涌现和遍及,不仅为云原生生态的继续倒退和演进提供了至关重要的牵引力,也正在不同畛域里让“开释云计算红利”的外围指标真正的成为事实。 ...

April 22, 2021 · 1 min · jiezi

关于zabbix:干货丨Zabbix-源码解析之监控项数据采集流程

转自@twt社区,作者:张帆 一、概述 监控项数据采集是一个监控工具最根本的性能,监控数据采集的精确、实时、无效是Zabbix其它监控性能失常运行的前提。因而,Zabbix运维人员有必要理解监控项数据采集流程,并有针对性的设计巡检和问题解决流程,确保监控数据品质。 Zabbix 的监控采集类型很丰盛,我最罕用的是Agent形式,因而,就筛选Linux的内存监控(Zabbix内置key:vm.memory.size)为例来梳理一下监控项数据采集流程。 二、程序流程图 下图是咱们梳理的vm.memory.size监控项采集流程图,数据采集的过程设计得周密而简单: 上面,咱们将对次要流程和具体实现进行解析,波及函数的具体实现解析写在了代码正文中。 三、相干数据结构定义 在介绍vm.memory.size具体实现之前,咱们先介绍几个相干数据结构的定义。 (1)struct ZBXMETRIC 该构造体用于记录zabbix的监控项配置信息 (2) struct AGENTREQUEST 该构造体用于记录zabbix Agent的监控项申请信息 (3) struct AGENTRESULT 该构造体用于记录给zabbix Agent返回的采集数据 四、监控项vm.memory.size配置 用法: vm.memory.size[] mode参数: •total (*) - 总物理内存. mode的默认值 •free (*) - 可用内存. •active - 内存以后应用或最近应用,它在RAM中是沉闷的。 •inactive - 未应用内存. •wired - 被标记为始终驻留在RAM中的内存,不会挪动到磁盘。 •pinned - 同“wired”。 •anon - 与文件无关的内存(不能从新读取)。 •exec - 可执行代码,通常来自于一个(程序)文件。 •file - 缓存最近拜访文件的目录。 •buffers (*) - 缓存磁盘读写数据。 •cached (*) - 缓存文件系统读写数据。 •shared - 能够同时被多个过程拜访的内存。 ...

April 15, 2021 · 2 min · jiezi

关于云原生:阿里巴巴云原生-etcd-服务集群管控优化实践

作者 | 陈星宇(宇慕)起源 | 阿里巴巴云原生公众号 背景Kubernetes 采纳 etcd 存储其外部外围元数据信息。通过这些年的倒退,尤其是随同着这两年云原生的疾速倒退,Kubernetes被人们宽泛认同并大规模被应用。随同阿里外部容器平台 ASI 及私有云 ACK 集群数飞速增长,底层存储 etcd 集群取得井喷式地增长,etcd 集群数从原来的十几个倒退到了目前达到几千个,它们散布在世界各地,为下层 Kubernetes 集群以及其余产品服务,服务用户超万个。 这些年,阿里云原生 etcd 服务产生了天翻地覆的变动,这篇文章次要分享一下 etcd 服务在面对业务量大规模增长下遇到的问题以及咱们是如何解决的,心愿对读者理解 etcd 的应用和管控运维提供教训分享。 具体将分三个局部进行介绍: etcd 集群老本优化,利用率晋升etcd 管控运维效率晋升etcd 内核架构降级etcd 集群运行老本优化、利用率晋升近些年,etcd 集群数井喷式增长。它的运行状态经验了从 1.0 到 2.0 到 3.0 的变动,具体如下图: 1.0 物理机时代在一开始,咱们管控的 etcd 集群数比拟少,咱们在宿主机上应用 docker 间接运行 etcd 容器。即图中的 1.0 模式。 2.0 云上时代1.0 模式运行 etcd 非常简单,但也存在应用物理机运行软件低效等常见问题,随着阿里巴巴全面上云的步调,etcd 也全面将运行环境切到了云上 ecs,存储也换成了云盘 ssd 或 essd。 全面上云劣势显著,利用阿里云底层 Iaas 的 ecs 弹性和存储云盘,etcd 集群可疾速实现垂直程度伸缩,故障迁徙也比 1.0 时容易的多。以集群升配操作为例,整个降级工夫从最后的半小时升高到当初的 10 分钟,能够兼顾业务应用峰值和日常一般压力,稳固承载阿里外部双十一业务顶峰以及内部多个私有云客户春节大促流动。 ...

April 14, 2021 · 2 min · jiezi

关于devops:DevOps效能度量

前言之前做了几个公司的DevOps转型,发现不少公司都比拟热衷于如何去度量DevOps效力。(一部分起因是领导们想要以此来考核KPI。) 度量的形式有很多种,这里我就基于这些年DevOps征询的教训,总结了一些可度量的指标供大家参考。 大家能够依据不同的指标组合应用,并联合本人的团队的理论状况,量力而为。有些指标须要本人依据状况开发脚本来统计。 其实目前市面上的大部分DevOps工具或平台,都或多或少的有了各种数据报表,来帮忙团队进行DevOps效力度量。 DevOps效力度量指标 效力等级效力次要分为4个等级: 精英效力高效能中等效力低效能精英效力则是以谷歌、微软、亚马逊等公司的DevOps先驱团队为代表的团队水准。 高效能是目前大部分DevOps实际做得好的团队水准。 中等效力则代表了大部分正在DevOps摸索路上的团队水准。 低效能则是大部分还没开始应用DevOps的团队水准。 度量指标度量指标有两种: 后果指标过程指标过程指标远多于后果指标,过程指标是帮忙咱们改良麻利开发过程的。后果指标多用于做总结汇报。 阶段分类DevOps是一个十分长的价值流,那么在这个过程中,咱们大抵能够把它分为三个阶段来进行效力度量。 麻利开发治理继续交付技术运维第一个阶段次要对应了需要和治理局部。 第二个阶段次要针对整个研发过程。 第三个阶段次要针对上线后的运维局部。 所有的指标又能够分为交付效率和品质两类。 因而把所有指标汇总一下,就如下图一样。 DevOps效力度量指标详解用户故事交付周期 - 用户故事从创立到上线所须要的工夫。- 计算形式:一个用户故事从创立到上线所需的工夫。用户故事吞吐量 - 一个迭代内能实现的用户故事总数。- 计算形式:迭代内实现用户故事数。用户故事完成率 - 一个迭代内,布局的用户故事数与实现的用户故事数的比率。- 计算形式:理论实现用户故事数/布局用户故事数。团队速率 - 一个团队每个迭代能实现故事点的数量。- 计算形式:每个迭代实现故事点数。故事点完成率 - 一个迭代内,布局的故事点数与实现的故事点数的比率。- 计算形式:理论实现的故事点/布局的故事点。需要停留时长 - 一个需要从创立到剖析实现后,并进入开发所花的工夫。- 计算形式:需要移动到“开发中”列的工夫点 - 需要呈现在“待处理”列的工夫点。- 备注:需要剖析实现后在期待开发中也算期待老本。这里其实度量的就是Processing time。研发停留时长 - 一个需要开发实现所须要的工夫。- 计算形式:需要移动到“测试中”列的工夫点 - 需要呈现在“开发中”列的工夫点。- 备注:需要开发实现后在期待测试中也算期待老本。这里其实度量的就是Processing time。测试停留时长 - 一个需要测试实现所须要的工夫。- 计算形式:需要移动到“待上线”列的工夫点 - 需要呈现在“测试中”列的工夫点。- 备注:这里其实度量的就是Processing time。部署频率 - 代码部署到服务器的频率,不论是测试环境还是生产环境。- 计算形式:距离多久部署一次公布频率 - 代码公布到生产环境的频率。- 计算形式:距离多久公布一次。- 备注:公布频率是小于部署频率的。公布时长 - 一次公布上线的过程所需的工夫。- 计算形式:一次公布所需工夫。公布失败率 - 公布上线有可能失败,此指标用于统计失败率。- 计算形式:公布失败次数/公布总次数变更前置工夫 ...

April 14, 2021 · 1 min · jiezi