关于运维:mac系统升级导致VirtualBox报Kernel-driver-not-installed-rc1908

一、背景最近将我的Mac升级成了Monterey版本,后果发现之前的装置的VirtualBox虚拟机无奈启动,报了如下谬误。 Kernel driver not installed (rc=-1908)Make sure the kernel module has been loaded successfully.where: suplibOsInit what: 3 VERR_VM_DRIVER_NOT_INSTALLED (-1908) - The support driver is not installed. On linux, open returned ENOENT. 在网上搜寻了一下,大多是linux零碎的解决方案,此处记录一下mac零碎的解决方案。 二、解决方案1、从新下载一个最新的VirtualBox虚拟机下载地址 https://www.virtualbox.org/wiki/Downloads 2、卸载旧的虚拟机如果机器上关上了旧的虚拟机界面,先将旧的虚拟机敞开。不然在启动卸载程序后,也会倡议先敞开本地启动的虚拟机。1、双击启动程序 2、点击卸载程序 3、输出yes、明码后开始卸载 4、卸载实现后,装置 5、装置的过程中须要容许下方的这个更新 6、重新启动零碎7、重新启动之前曾经存在的虚拟机能够发现虚拟机曾经能够失常启动了,至此这个问题曾经解决了。

December 3, 2021 · 1 min · jiezi

关于运维:阿里云-Serverless-助力企业全面拥抱云原生

简介:置信随着云计算的倒退,Serverless 将成为云时代默认的计算范式,越来越多的企业客户将会采纳这个技术。作者:洛浩 视频解析点击此处,可查看相干直播回放~ Serverless 利用引擎的组件架构最早的时候,大家设计软件个别依照单体架构,包含和软件相干的数据库,存储等,会间接部署到一台物理服务器上。然而单体利用的问题在于,随着企业的规模逐渐增大,扩展性较差,公布效率非常低。起初,就进入了微服务时代,微服务次要用的框架是基于 Java 语言。微服务架构的一个劣势在于迭代效率十分高,扩展性也比拟好,然而微服务对资源的占用和老本绝对较高。随着技术的演进,容器化减速了微服务的落地。但并不是所有的企业都适宜微服务,随着零碎复杂性的晋升,微服务的效率,运维老本也在减少。企业选用单体架构,还是微服务取决于零碎的复杂程度。 随着私有云的倒退,越来越多的用户会把业务部署到云上。随着云的应用深度越高,架构的劣势也就越显著。第一阶段叫 Rehost,就是从新托管,应用云主机替换本地物理服务器,不改利用,然而这种托管模式是最根底应用云的形式,它的效率并没有达到最大化。随着进一步的倒退,咱们须要 Re-platform,应用托管的云服务替换自建利用基础设施,根本不改利用。但 Re-platform 也不是最好的一种形式,随着进一步的倒退,咱们能够从新去架构这个利用,即 Refactor。这个时候,能够用微服务加容器的形式,重构底层架构和软件架构,把云的价值施展到最大。从长期来看,整体的收益是最大的,然而短期内它的迁徙老本要求也是比拟高的。 如果利用可能依照云上原生的产品或服务进行重构开发,就可能最深的享受云计算的便利性。但与此同时它有几个问题: 投入老本(迁徙/革新);云厂商绑定水平;云的易用性(上手门槛/保护);安全性。阿里云推出了 Serverless 利用引擎(SAE),专门针对利用或者微服务,提供一个全托管的平台。比方 Java 微服务,目前能够做到零革新迁徙部署到云上,并且反对残缺的微服务治理能力。如果用户想做容器化降级,也能够应用这个平台。 Serverless 利用引擎的核心技术SAE 由哪些组件形成?是怎么把各种产品能力联合到一起的?能够看下这个组件架构。图中绿色局部,是用户须要关注的,是各种各样的业务利用。同时,SAE 会提供各种工具,比方 Cloudtoolkit 插件辅助本地代码部署到云端,比方对接云效提供流水线能力。图中橘黄色局部,就是 SAE 平台,会提供很多种能力。比如说写了一个商城利用,前台就是一个独立的服务模块,能够独自迭代、开发或者治理。还能够给前台服务配置弹性策略,例如在大促期间,前台服务能够依据理论流量主动弹性伸缩,这个也是 SAE 的一个外围价值。所以 SAE,既能够提供资源管理能力,又能提供利用生命周期治理、微服务治理,是一个全托管式的利用平台。在资源层面,SAE 封装了K8s 集群,K8s 之下是基础设施,由神龙服务器和平安容器构建,SAE 在资源层面,会帮忙用户提供资源管理和调度能力。 接下来讲一下 SAE 的外围能力。首先,咱们先看一下传统企业用户部署利用的整个流程,首先是须要购买 ECS 资源,而后搭一个集群,对集群进行初始化,而后构建环境。研发开发实现后,开始进行测试部署,另外还要去部署监控、日志等组件。等业务全副上线后,就进入保护状态,包含资源的运维和业务的运维。而应用 SAE 能够省掉很多步骤,首先底层的 K8s 集群由云厂商来保护,用户只用提交镜像或者 JAR 包,就能够把零碎部署到 SAE 平台。其次,监控和日志零碎,这些曾经由平台提供,用户只须要关注业务逻辑,不须要去保护资源。 如果用户想要做灰度公布该怎么办?SAE 也给用户提供了单批、分批、金丝雀等公布策略。让部署到平台上的业务可能做到不停机更新,这个能力也是默认就提供的。 对于用户诉求十分强烈的金丝雀公布,SAE 能够以做到按申请内容灰度 ,和按流量比例灰度。比方要做流量比例灰度,分批公布间接 50%,两批即可发完。同时,也能够依照精准的流量比例进行灰度。 用户应用这个平台也会十分关注弹性能力,而 SAE 提供了十分丰盛的弹性配置。能够基于根底监控指标(CPU、Mem)和业务监控指标(QPS 、RT)来触发程度伸缩 。依照这种负载模型去做弹性扩缩容,个别比拟实用于突发流量、或者有典型脉冲的利用场景。比方互联网游戏,社交平台。第二种是定时弹性,这种模型比拟适宜像餐饮,出行这种有波峰波谷的利用场景。 那么弹性效率能不能跟得上弹性诉求呢?失常状况下,当咱们把一个镜像部署到平台,零碎要通过一个资源调度,而后创立 POD,拉用户镜像,创立容器,启动容器等几个步骤。为了晋升这个效率,SAE 首先针对利用做了原地降级能力。就是针对利用降级公布,能够间接在原有资源上,间接拉用户最新的镜像进行更新和部署,防止重建 POD,从而帮用户晋升了 42% 的部署效率。 ...

December 2, 2021 · 1 min · jiezi

关于运维:2021云上架构与运维峰会12月10日线上开启五大精彩看点不容错过

简介:本次峰会,心愿通过分享云上架构与运维的最佳实际,促成业内DevOps与IaC理念的落地,帮忙企业“用好云管好云”,开释云的技术红利。报名链接 12月10日,2021云上架构与运维峰会,将于13:30在线上正式开启,欢送大家在官网预约或观看直播。 本次峰会,心愿通过分享云上架构与运维的最佳实际,促成业内DevOps与IaC理念的落地,帮忙企业“用好云管好云”,开释云的技术红利。 云计算所领有的“软件定义所有”的个性,推动了麻利弹性、DevOps、智能运维和基础设施即代码等自动化运维趋势。云计算,曾经是任何一个运维人员、架构师,甚至是程序员必备的专业技能和常识。 小编为你总结了本次峰会的五大看点: 上手体验云端自动化工具,支付精美礼品阿里云技术大咖,分享云原生时代架构与研发运维体系进化方向云上自动化运维(CloudOps)成熟度模型公布,帮忙企业自测CloudOps阶段优良企业分享云上架构与运维的最佳实际,欢送互相学习、交流经验资深技术从业人员,探讨国内运维与DevOps现状、分享从业发展前景心动不如口头,点击此处或扫描下方海报底部的二维码,即可进入大会官网预约直播。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

December 1, 2021 · 1 min · jiezi

关于运维:解读如何安全快速建立IT治理环境

简介:云计算通过十多年的倒退,从根底的IAAS,大数据,到各种的PaaS有丰盛的产品和生态,十分无效地助力了业务增长和技术创新,并进步了业务的效率。最直观的感触是过来须要几天到一个月的资源交付,当初只须要秒级就能够实现。视频解读:https://yqh.aliyun.com/live/cloud\_governance\_center 背景云计算通过十多年的倒退,从根底的IAAS,大数据,到各种的PaaS有丰盛的产品和生态,十分无效地助力了业务增长和技术创新,并进步了业务的效率。最直观的感触是过来须要几天到一个月的资源交付,当初只须要秒级就能够实现。 但在取得云的高效的同时,咱们也会发现很多企业因为短少对立的治理治理布局会遇到以下这些问题: 第一类是身份危险。例如呈现危险操作没有方法追溯到责任人,或把AK写在代码外面,不小心泄露进来,导致IT资产被黑客管制,又或是员工到职后不能及时发出权限,员工进行歹意操作等这些都是身份畛域可能会遇到的危险。第二类是老本失控。常见的问题是企业上云之初没有管控,多员工进行云资源无限度的购买,造成老本失控。或企业资源从属于多个账号,因检测艰难造成资源闲置、无奈复用的问题。第三类是治理挑战。例如没有好的布局,运维人员因为业务的须要随便申请一些网络,导致呈现网段的抵触。又例如没有标准化的标准,导致只可能人肉运维,无奈自动化,稳定性受到挑战,整体运维效率低。第四类是合规上的危险。因为国家的监管要求会越来越严格,做等保合规的时候,很多企业才发现其实本人有很多破绽。那这些破绽其实是上云之初没有做好正当的布局,没有设置平安基线导致的。那企业如何尽量避免这些危险,从而高效疾速的进行云落地呢? 上述这些问题外表上看起来扩散,然而在实际过程中,是否统一规划治理会对企业上云效率带来较大的影响。阿里云在服务泛滥企业客户过程中,总结发现企业客户上云存在以下两种类型: 一类是治理优先型企业,例如较成熟的跨国企业,因为IT 治理方面已有较成熟的教训和体系。所以在上云之前,就会向阿里云提出十分精确的 IT 治理需要,把网络合规平安、财务和运维等根底的治理框架在业务上云前搭建好,之后在上云的过程中就可防止上述这些IT治理的问题,可疾速的交付资源,更快的享受云的高效便捷,实现云价值的最大化。另外一类是业务优先型企业,例如互联网企业,因为处于业务增长期,更加看重业务的敏捷性。如果在上云的初期没有做对立的治理布局,在业务上云的过程中,问题就会逐步裸露进去,比方身份泄露,网络地址抵触等,这时就须要投入大量的人力物力一直的修补这些问题,影响业务云上交付的效率。另外,在修补的过程中,如果没有久远的考量,只是长期制定方案去解决问题,可能会为将来留下更大的隐患,整体的上云曲线会更加漫长。从以上两类客户的剖析能够发现,无论客户是业务优先还是治理优先的形式上云,都须要从上云初期有对立的治理治理布局,才可能让企业在云上的IT治理更加顺畅。 那这个治理治理的布局是否有办法,如何在企业中落地?云治理核心就是咱们施行落地的重要产品。 云治理核心定位云治理核心是为企业提供对立的云资源管理治理的平台。一方面云治理核心提供敌对的向导,能够升高学习门槛,一站式疾速搭建LandingZone上云框架。 另外一方面云治理核心提供了对治理状况的继续观测跟踪,当企业的业务、合规要求发生变化的时候,便于保护和更新,保障云上环境始终可能合乎企业的需要。 云治理核心的外围性能 具体来说,云治理核心具备以下这些外围能力: 第一个是帮忙企业剖析以后的治理现状,个别操作系统都有一个root或者admin管理员账号。但在阿里云上,咱们倡议客户应用多账号的治理构造,须要创立一个最高权限云账号,称为master账号,它能够治理整个企业的云资源。这个账号的平安要求十分高,因而如何决策十分要害。对于首次上云的企业,云治理核心能够把以后的空白账号设定为管理员账号。对于曾经在云上开展业务的企业,云治理核心能够剖析以后的账号状况,帮忙客户决策是否须要优化,或者要创立一个新的治理账号。第二个能力是自动化配置多账号环境,多账号是landingzone上云框架的根底,云治理核心能够帮忙客户布局以后的多账号构造,包含商业关系,资源目录,和必要的职能账号,如日志、共享服务账号等。第三个能力是设置合规基线,很多客户有合规的须要,然而不晓得应该如何设定,哪些是必要的合规规定。云治理核心会给企业举荐可用的合规规定,次要利用阿里云的配置审计的能力和管控策略的能力,这些规定策略会主动利用到企业下的所有账号,不须要客户对每个账号都进行配置,可能保障企业中所有的云账号都受到监管,从而升高业务危险。第四个能力是正在开发的账号创立能力,称为账号工厂。在最佳实际中,咱们倡议每个独立的业务单元都创立一个账号进行治理,不便结算、资源和权限的隔离。然而一个新的账号要受到企业的监管并且须要事后设定企业的合规配置,比方平安组、标签、用户角色等,是比较复杂的过程。通过云治理核心的账号工厂,能够很便捷的创立统一的合规云账号,疾速交付给业务团队应用。对于业务团队而言,他们拿到这样的账号,不须要过多关怀平安、网络和资源的合规权限,只须要专一业务的需要创立云资源 ,把业务迁徙上云即可。第五个性能是可继续治理,通过云治理核心监控企业中所有账号资源是否合规,包含企业资源目录是否被改变,是否有擅自创立的权限,是否有哪个账号不合乎基线要求呈现了危险,哪个账号有欠费等。另外在云治理核心能够晋升资源跨账号的可观测性,管理员可能观测到企业所有资源的散布状况和变化趋势。云治理核心的场景从场景上看,当企业遇到以下问题的时候,能够通过云治理核心进行对立的治理。 第一个是有大量的账号短少对立治理。因为各个云账号分属各个业务线治理,企业无奈获知到底有多少账号,这些账号治理不善可能导致企业数据的泄露。 第二个是企业的员工账号管理混乱。企业局部账号存在过大受权,到职员工账号没有对立回收,导致可能存在被歹意操作的危险。 第三个是企业须要合乎内外部监管的要求,对日志进行对立归集,设定对立的合规规定。 开明以上介绍了如何应用云治理核心搭建对立的IT治理环境,大家若感兴趣能够通过在阿里云官网搜寻“云治理核心”开明试用。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

November 30, 2021 · 1 min · jiezi

关于运维:企业级训练营火热来袭速来报名企业运维训练营之云原生和Kubernetes-实战第1期

简介:本训练营涵盖云原生方向学习畛域的根底课程与外围课程,是成为云原生运维和实际工程师的必修之路。训练营将通过课程讲授与丰盛的入手试验,使得学员对课程实践有更直观和深刻的了解,晋升学员故障解决与疑难处理的能力。阿里云寰球技术服务部联结开发者学堂,重磅推出第一期【企业运维训练营之云原生和Kubernetes 实战】!让运维从业者成长有据可依、有路可循,避开低价值的漫长成长之路,促成精准疾速倒退! 全程收费带学,带你从0到1相熟云原生及K8s概念/技术/架构,多种工具&学习材料助你实操与常识积淀,更有企业级运维最佳实际倾情分享,赋能更多从业者迈入数字原生时代! 当初训练营限时收费抢报,快来看➡ 报名工夫:11月26日-12月07日 上课工夫:12月07日-12月30日 上课工夫:每周2-周4,19:00-21:00钉群直播授课, 开营名额:仅限200人 课程内容 12月7日-12月9日:云原生和k8s根底入门(试验-从0开始创立云原生利用) 12月14日-12月16日:阿里云容器技术深刻介绍(试验-利用部署进阶) 12月21日-12月23日:kubernetes集群原理深度解析(试验-灰度公布) 12月28日-12月30日:ack集群治理(试验-流水线部署) 课程会在钉群直播,老师将以实战与实践相结合的形式,带着你学习基础知识,并把握实战能力,同时也会群内答疑。 授课专家 授课讲师均为阿里云企业服务售后技术专家,具备十年以上的云原生和k8S运维教训,为衰弱码、游戏行业头部客户、体育赛事、金融等大型项目提供专家服务与上线护航。 报名看这里 报名链接:https://developer.aliyun.com/learning/trainingcamp/gts/cloudnative1 钉钉交换群二维码 参营播种 欠缺的常识体系,打造属于运维从业者的云原生技能树 与常识体系相辅相成的四项试验,丰盛入手实际体感 企业级云原生技术最佳实际倾情分享,晋升运维从业者故障解决与疑难解决能力 福利奖品 实现打卡工作并通过测试的同学可取得电子证书 考取满分的第1-20位同学,每人取得一份便携蓝牙音响 通过考试(80分及以上)的第21-40位同学,每人取得一套电脑清洁套装 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

November 30, 2021 · 1 min · jiezi

关于运维:阿里云云效发布研发协同工具以新的产研协同工作方式助力实现BizDevOps

简介:2021云栖大会云效BizDevOps分论坛上,阿里云云效技术负责人陈鑫公布阿里云云效产品研发协同工具撑持ALPD实践,以新的产研协同工作形式助力实现BizDevOps。 编者按:10月21日,2021云栖大会云效BizDevOps分论坛上,阿里云云效技术负责人陈鑫公布阿里云云效产品研发协同工具撑持ALPD实践,以新的产研协同工作形式助力实现BizDevOps。 往年6月份的时候,在峰会提出了双敏和BizDevOps的概念,咱们产品技术团队始终在思考,咱们用什么样的产品能够承接这个理念及咱们产品的发展趋势是什么,以及咱们在当初这个阶段可能给各位开发者或者企业管理者带来什么样的收益,本文将从项目管理projex新产品和云原生利用交付平台appstack为你具体解说。 企业为什么须要建设研发效力体系? 企业为什么须要建设研发效力体系?初创型公司须要对立的研发流程和工具体系缩小集体依赖。随着业务增长利用变多,运维人员会呈现线上公布到中午的况,咱们发现将Ops工作给Dev做晋升了咱们的黏性。产品团队、技术团队和业务团队要拉通对齐须要好的工具解决协通问题。中大型企业最大的资产就是积攒资产和优秀人才。对外招聘不如对内求人效取得的收益更高。企业在倒退历程中可能要面对的五大问题,因而须要建设研发效力体系去解决。 建设研发体系对中小企业的老本是十分高的,次要面临三个艰难: 建设老本高,专家能力有余,难以继续迭代的演进。建设体系须要招聘专职的工程师投入机械老本。开源软件搭建是否好用,软件是否有安全性,是否让生产零碎延续性。数字化和云原生如何调整工艺体系去适配,所以咱们认为中小企业去建设研发效力体系是十分难的。 1)云研发体系的必然趋势 在过来的五年中,云效曾经服务了几十万的企业、组织和上百万的开发者,从云下走到云上应用云原生工具体系是云原生企业的最佳抉择。起因有四点: ①:建设云原生研发体系的老本对于中小企业是微小的,在云上提供开箱即用的云原生体系的SaaS服务就具备了非常低的门槛和老本。 ②:一体化将成为将来的一大趋势,它可能会成为将来研发工具的外围能力,咱们缺的是将工具连贯、将研发效力数据连贯、将组织连贯的能力。 ③:阿里云公布了一系列云原生产品发表咱们全面进入云原生时代。依据Gantner权威咨询机构预测,在2022年有57%的企业将采纳云原发技术 咱们调研发现企业往往在测试环节或者小微模式当中遇到了艰难而没有大规模的利用。 ④:企业效力改良要对研发数据进行建模和剖析。研发、大数据和相干算法演变出智能利用将成为将来冲破集体能力下限的重要方向。 2)云原生DevOps工具链,让研发运维更高效 云效曾经具备从项目管理、代码开发再到交付运维的全链路工具链,像ECS、ACK等产品都做了集成让开发工程师在云效上开箱即用很容易构建。咱们提供代码的平安曝露扫描和加密水印工程增强了企业的平安危险来保障企业的外围资产平安。 上图是云效产品性能图,工具套件包含本地IDE插件Gloudtookit和全云端开箱即用IDE平台Devstudio,咱们在本地提供了虚构断点和实时诊断能力能够近程调试适宜诊断线上问。DevStudio对于前端数据做了优化反对十分多的自定义环境和插件。云效DevOps产品包含我的项目合作产品Projex和利用合作平台Appstack,它们是撑持BizDevOps理念和双敏理念落地的重要产品。 如上图图是咱们云效DevOps产品矩阵。第一个是新一代我的项目合作产品projex,还有咱们利用合作平台appstack,这两个产品是撑持咱们BizDevOps理念和双敏理念落地的重要产品。 云效我的项目合作平台projex我的项目合作平台的全新降级叫做projex,是基于原来产品的降级,基于一个理念。 咱们全新降级的合作平台是projex,将来合作流程次要分为三步: 定义价值。个体发明价值。继续改良。定义价值的外围是要需要品质,在团队效率不高时要解决业务团队和产品团队之间的协同问题。如何拉通?如何确保业务需要转变为产品需要?如何在看到产品需要变动和是否达到预期?上图两头这部分是产能工作流,它重点解决是产品和技术之间合作的问题。最初是继续改良。对研发数据的剖析让咱们晓得团队协同的瓶颈在哪里以及如何继续改良。这代产品重点针对需要治理能力、交付过程能力以及咱们效力洞察数字化能力做了降级。 多角色、跨我的项目合作;需要自动化流转;自定义工作项视图;数字化效力度量;1)多角色、跨我的项目合作 反对需要的结构化组织,多角色间实现需要的合成指派,让跨职能合作更加顺畅。 反对跨我的项目间需要流转,灵便反对Scrum、KANBAN合作,同时反对LeSS、ALPD等简单我的项目合作模式。 2)需要自动化流转 通过自定义自动化规定,实现需求状态主动流转,需要的主动调配,及告诉的主动催办。 通过集成内部平台集成,定义内部零碎事件与需要治理的自动化规定,实现跨零碎的自动化事件触发。 3)自定义工作项视图 通过过滤条件,创立各角色自定义工作项数据,并保留为视图分享给更多用户。 提供了需要/工作待办的多样式反对,如数据、列表、树型列表、看板、甘特图等出现形式,反对不同的治理及合作场景。 4)数字化效力度量 全面的数字化指标体系,让产品研发过程透明化。 全面笼罩团队、我的项目、迭代、需要、品质治理等价值交付流的数据度。 面向效力治理各场景,提供效力晋升数据领导。 原文链接本文为阿里云原创内容,未经容许不得转载。

November 26, 2021 · 1 min · jiezi

关于运维:又一款性能监控利器火焰图

前言工具的进化始终是人类生产力提高的标记,正当应用工具能大大提高咱们的工作效率,遇到问题时,正当应用工具更能放慢问题排查的进度。这也是我为什么十分喜爱 shell 的起因,它丰盛的命令行工具集加管道个性解决起文本数据集来真的精准而优雅,让人迷醉。 但很多时候文本的表现力十分无限,能够说匮乏,表白绝对值时,天然是无往不利,但在展现相对值时,就有些顾此失彼了,就更不用说多维数据了。 咱们用 shell 能够十分疾速地查问出文本内的累加值、最大值等,但一遇到两组值的相关性剖析时,就大刀阔斧了。这个时候,就须要应用另一种剖析工具 – 图了,如散点图就能很清晰地展现相关性。 明天就筹备介绍一种图,火焰图,之前组内大神分享过它的应用方法,但我之后很久都没有用过,以至于对它没有什么深刻印象,最近排查咱们 Java 利用负载问题时试用了一下,这才对它的用处有了点心得。 介绍引子在排查性能问题时,咱们通常会把线程栈 dump 进去,而后应用 grep --no-group-separator -A 1 java.lang.Thread.State jstack.log | awk 'NR%2==0' | sort | uniq -c | sort -nr 相似的 shell 语句,查看大多数线程栈都在干什么。而由线程栈的呈现频率,来推断 JVM 内耗时最多的调用。 至于其原理,构想广场上有一个大屏幕在不停地播放各种广告。如果咱们随机对大屏幕拍照,次数多了,统计照片中各个广告呈现的频率,根本能够得出每个广告的播放时长占比了。 而咱们利用的资源就像大屏幕,每次调用就像是播放一次广告,统计 dump 出的线程栈呈现比例,也就根本能看出线程栈的耗时占比,尽管有误差,然而屡次统计下应该差不了多少。这也就是为什么有些家长每次进孩子房间都发现孩子在看零碎桌面后认为孩子平时喜爱对着桌面发愣的起因。:) 2444 at org.apache.catalina.loader.WebappClassLoaderBase.loadClass(WebappClassLoaderBase.java:1200)1587 at sun.misc.Unsafe.park(Native Method)795 at java.security.Provider.getService(Provider.java:1035)293 at java.lang.Object.wait(Native Method)292 at java.lang.Thread.sleep(Native Method) 73 at org.apache.logging.log4j.core.layout.TextEncoderHelper.copyDataToDestination(TextEncoderHelper.java:61) 71 at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method) 70 at java.lang.Class.forName0(Native Method) 54 at org.apache.logging.log4j.core.appender.rolling.RollingFileManager.checkRollover(RollingFileManager.java:217)然而这样有些问题,首先写 shell 挺麻烦的,另外如果我想查看自栈顶第二个栈的最多调用,即便批改了 shell 命令,后果也不直观。 ...

November 26, 2021 · 1 min · jiezi

关于运维:Perf工具及火焰图

perf工具常用命令1、Perf Stat:剖析性能(Ctrl +C 完结收集)perf stat -p $pid -d # 过程级别统计perf stat -a -d sleep 5 # 零碎整体统计2、Perf Top:实时显示零碎/过程的性能统计信息# 默认性能事件为 cycles ( CPU 周期数 )。与 Linux top tool 性能相似perf top -p $pid -g # 过程级别perf top -g # 零碎整体3、Perf Record:记录一段时间内零碎/过程的性能事件# 默认性能事件为 cycles ( CPU 周期数 )。perf record -p $pid -g #过程采样perf record -p $pid -g -e cycles -e cs #过程采样,指定事件perf record -a -g -e cycles -e cs #零碎整体采样4、perf report: 统计每个调用栈呈现的百分比,而后从高到低排列。# 读取perf record创立的数据文件(默认读取当前目录perf.data),perf report -n --stdioperf后果转换火焰图1、下载火焰图工具# 工具源码外部脚本文件能够间接应用git clone https://github.com/brendangregg/FlameGraph.git 2、记录# 执行频率是 99Hz(每秒99次)perf record -F 99 -p 13204 -g -- sleep 303、用perf script工具对perf.data进行解析perf script -i perf.data &> perf.unfold4、将perf.unfold中的符号进行折叠:FlameGraph/stackcollapse-perf.pl perf.unfold &> perf.folded5、最初生成svg图:FlameGraph/flamegraph.pl perf.folded > perf.svg6、浏览器关上svg文件

November 25, 2021 · 1 min · jiezi

关于运维:实施一个EDI项目究竟涉及哪些内容

您是否想通过施行EDI来简化您的供应链,但不确定到底要进行哪些操作?你不是一个人! 从久远的角度来看,过渡到更适宜您的业务需要的B2B集成解决方案能够极大地提高效率和老本。然而,即便曾经充沛理解了降级现有B2B流程和EDI供应商的益处,许多决策者依然谬误地认为该过程将是漫长而令人丧气的,因而他们仍抉择推延施行EDI我的项目。正如咱们接下来将要理解到的,事实并非如此。 在本文中,咱们将经验施行EDI所波及的不同阶段,并逐个说明每个步骤。心愿到最初,您将对EDI我的项目施行流程有一个更清晰的理解。 1.抉择适合的供应商毫不夸大地说,施行任何胜利的EDI我的项目,第一步都是抉择适合的供应商。因为EDI我的项目施行周期较长,并且EDI是供应链业务胜利的不可或缺的组成部分,因而不要急于实现此过程! 在评估和抉择供应商时要问的一些关键问题包含: 您违心在本地做多少工作?您是否领有EDI专业知识?您未来可能有什么要求?他们提供API连贯吗?他们可能帮忙升高VAN老本吗?他们有必要的认证吗?他们是否有足够的IT技术?该解决方案对用户敌对吗?他们是否提供全天候业务文件监督?如果产生谬误,是否能够及时纠正?解决方案能适应将来一直倒退的业务吗?是否存在隐性老本?2.制订我的项目策略抉择EDI供应商后,就有必要为EDI的推广确定最合适的策略。最无效的EDI施行办法是采纳循序渐进的形式让您的交易搭档退出EDI。 在此阶段要思考的三个关键问题包含: 拟议的时间表是什么?是否应该思考任何可能影响此时间表的内部因素?预期的后果是什么?一旦您确定了时间表和冀望的后果,下一步就是要确定您的合作伙伴应退出的程序。这通常波及思考许多不同的因素。这些可能包含(例如): 合作伙伴对您业务的价值每月替换的音讯数疾速降低成本的后劲(例如,退出某些合作伙伴能够使您打消不必要的VAN老本)紧急性(例如,如果业务合作伙伴更改了EDI要求,并且须要尽快施行新的连贯)地位(例如按国家)以后提供商/解决方案胜利实现此阶段将确保您在尽可能短的工夫内从实现中取得最大价值。 3.连贯到您的ERP零碎只管并非所有解决方案都须要执行此步骤,但如果要从良好的数据可见性中受害,则必不可少。API连贯(例如知行之桥EDI零碎中提供的API连贯)容许您和您的供应商之间进行端到端的音讯监督——所有这些都在您现有的ERP界面中,金蝶、用友或任何其余零碎。 除了API连贯之外,能够应用任何其余抉择的协定在ERP零碎和提供商之间替换数据。在这种状况下,通常首选AS2或SFTP。一次性设置波及建设和测试您与提供者之间的连贯。 4.测试和映射设置这个阶段须要丰盛的教训和技术特长。从实质上讲,此阶段的胜利决定了交易搭档连贯的可靠性,并将确定上线后纠正错误和音讯失败所需的工作量。 为了确保您与交易搭档的分割牢靠,必须先建设映射并进行彻底的测试,而后再进行公布。这波及测试所有相干文档类型的每个可能的迭代。例如,诸如未测试含增值税和不含增值税的发票替换之类的忽略可能导致上线后的大麻烦。 现实的连贯技术步骤以下是与交易搭档建设连贯过程中波及的许多技术步骤。只管这些都是重要的步骤,然而在这些阶段中不同的EDI供应商和解决方案将会为您带来不同水平的帮忙。 EDI传输协定确定首选协定,例如AS2,OFTP2,SFTP等与EDI搭档替换通信参数(例如AS2参数)建设和测试连贯音讯格局 替换语法协定(XML,EDIFACT,纯文本,CSV)对于规范或子集的协定——例如:EDIFACT,ANSI ASC X12,VDA,ODETTE等。替换测试音讯 对于所有文档类型–创立理论的导出数据(发送者)收件人各自零碎中的文档转换和解决业务团队验证导入的音讯并行任务 通过EDI和旧渠道并行替换音讯(例如PDF)业务团队进行的音讯比拟纠正数据不匹配现场操作 一旦EDI失常运行,就能够敞开旧的连贯 如何进行EDI我的项目的继续跟踪呢?只管在所有连贯都投入使用并按预期工作后,能够将EDI施行我的项目视为“实现”,但应记住EDI是一个继续的过程。为了确保连贯持续以最大的效率运行,音讯监督是必不可少的,同时还须要不断的反对和谬误解决。 如果您的EDI供应商没有提供足够的反对,则必须采纳外部流程来确保您可能在问题降级之前疾速无效地解决问题。 知行之桥EDI零碎如何解决EDI施行?知行软件在施行EDI我的项目的过程中遵循分阶段的办法。对于所有连贯,都严格执行流程化的推动办法。 知行软件进行我的项目施行的流程,保障在我的项目上线过程中和上线后,尽可能减少客户的工作量,咱们会全力以赴,让企业能够自在地专一于本人最善于的事件! EDI我的项目施行期间为了保障更加及时无效的沟通,咱们为所有的客户提供专门的项目经理。项目经理将负责兼顾我的项目进度,与您的交易搭档进行沟通,获取必要的我的项目信息以确保连贯的可靠性。而您只须要向咱们提供测试数据即可。 我的项目上线之后应用知行之桥EDI零碎,顺利完成我的项目上线后并不意味着我的项目完结。对于知行而言EDI我的项目是一个间断的过程。尽管此时客户曾经能够将EDI我的项目切换至正式的生产模式,并且我的项目也会在知行之桥EDI零碎上稳固运行,但知行软件的运维工程师团队依然会继续为您服务,帮忙您疾速解决任何突发问题。 注:文案局部图片及内容来源于网络,版权归原创作者所有,如有进犯到您的权利,请您分割咱们进行删除,给您带来困扰,咱们深感道歉。

November 25, 2021 · 1 min · jiezi

关于运维:用户增速与体验质量并存博睿数据携阿里云发布双十一电商网站用户体验报告

在新「经济模式」+新「技术」加持下,互联网企业如雨后春笋般不断涌现。但随着互联网渗透率一直晋升,互联网所面临的增量空间逐渐收窄,无论是巨头企业还是出场企业,新流量都已成为稀缺资源。与此同时,企业将更多精力投入到现有用户体验、产品内容等方面。能够看到, 随着市场竞争加剧与市场环境不稳固,流量与体验成为互联网企业实现业务增长和企业倒退的外围因素。 具体到电商行业,随同着互联网用户增速放缓,传统电商渠道流量红利触顶。电商企业流量竞争开始转变思路,不再依赖于行业宏观层面的用户数减少,而是更多关注视线之外的增量高地开掘与针对用户体验的精耕细作。电商平台吸引了用户大量工夫与精力,在多畛域和场景下染指用户日常生活与生产决策,用户体验价值一直凸显,用户开始要求更多元与严格的体验。 双十一作为互联网行业最早最大的购物盛宴,直播、秒杀、满减、定金,等各种伎俩层出不穷。但这些背地,用户体验都是重要的组成部分。因而,博睿数据基于阿里云ARMS云拨测产品,出品《双十一电商行业网站用户体验报告》,旨在与泛滥互联网从业者独特理解面对全球化营销以及大促带来的流量浪涌,电商行业各大玩家如何应答分布在寰球不同地区与国家的海量用户,及时发现流量激增带来的用户体验与性能问题。 (1) 监测背景: 监测指标:国内及东南亚支流电商站点首页 监测工夫:2021年11月10日 00:00 -12日 23:59 监测工具:阿里云ARMS-云拨测,抉择国内外次要省市挪动、联通、电信接入Last mile节点 (2) 指标阐明: l 整体性能:从页面开始浏览到最初一包数据接管实现之间的工夫距离 l 首屏用时:从输出URL开始到页面已渲染区域高度大于等于指定高度的时间差,平台默认是600像素高。 l 可用性:执行监测工作的客户端对指标拜访的成功率,可用性=无效监测次数/总监测次数*100% l DNS查问用时:输出的域名转换成IP地址所需的工夫 l 解析错误率:解析域名产生谬误数占比,解析谬误数/解析域名总数*100% (3) 报告内容-国内电商 从整体趋势上来看,国内电商平台整体性能趋势安稳。整体性能方面,大部分电商均维持在9s以内。其中整体性能最高值13.214s,次要是 因为总下载字节数、均匀页面体积较大。首屏用时方面,各厂商体现优良,均在0.5s以内,客户能够疾速浏览到页面内容。可用性方面,各 厂商均在99.9%以上,行业体现优良。 三大运营商整体可用性良好,都在99.8%以上。首屏用时在把握0.5s以下,为用户提供了良好的拜访体验。 从谬误总结能够看到,各电商或多或少均呈现了一些谬误,电商谬误主机、工夫比拟扩散,属于失常网络抖动导致。 网络方面,局部厂商时延耗时较高,平均值超过了50ms,Tracert时延与跃点数也是最高的。 大部分厂商均在30ms以内体现良好;丢包率、查问耗时、解析错误率各厂商体现良好。 各电商三大运营商体现来看,DNS查问工夫广泛管制在0.02s左右,丢包率控制在0.8%以下。 (4) 报告内容-东南亚电商 从工夫趋势来看,五家海内电商测试期间的性能趋势体现安稳。首屏用时方面,除了个别厂商,大部分厂商管制在1.8秒以内,为用户提供了较为顺畅的体验。可用性方面,大部分厂商均放弃99%以上。 丢包率与DNS查问用时方面,各厂商均体现良好。时延方面,大部分厂商均放弃在100ms以内。 落地性能与体验优化的根本准则与流程 – 根底准则 能够看到各个厂商都在用户体验等方面进行了大量优化。那么,其余行业该如何优化本身的产品呢?在开始优化前,咱们须要思考一个问题:如果网站性能与体验问题能在用户感知之前当时发现与修复,在研发交付过程中就进行回避或修改 ,是否能无效晋升产品NPS甚至营收?以及咱们是否能承受在那些会深远影响用户规模以及企业营收的问题呈现之后再修复?而这就是性能 与体验优化的出发点。所以,这里有几个根底准则须要在落地开始前明确: l 数据驱动准则:优化策略须要建设在精确的性能与体验数据上,确保最终用户体验以及优化收益可被量化。 l 尽早尽快准则:尽早发现未裸露的问题,缩小对用户体验的继续影晌。发现问题后,尽快解决次要问题,升高影响水平。 l 最佳收益准则:产品不同生命阶段须要均衡性能体验与产研效力,优先选择以后期间最简略、性价比最高的优化计划。 l 单元化准则:因为不同组件都会对性能与体验造成影响,因而须要从前端到后端逐层剥离,相干组件、模块进行单元测试,确定要害优化指标。 l 继续优化准则:性能与体验优化并非一劳永逸的工作,须要产品在迭代的过程中一直发现问题优化问题,并在这一过程中避免性能与体验进化。 落地性能与体验优化的根本准则与流程 – 团队建设 在理解根底准则后,咱们就能够开始组建性能与体验优化团队,该团队能够是实体架构团队,也能够是虚构团队,但这其中都须要拉通不同 研发职能的同学,这其中包含: l 产品经营:用户以及经营角度设计优化用户流程路线,为工程师提供用户场景解读,帮忙工程师疾速了解业务。 l 架构师:通过优化零碎架构解决性能瓶颈,晋升服务执行效率。 l 前端工程师:通过迭代前端逻辑和代码,晋升前端程序执行效率。对前端性能数据进行收集和剖析。针对与竞品进行评测,提出针对性 竞争优化策略。 l 后端工程师:针对影响性能的组件、模块、接口进行继续迭代。 ...

November 24, 2021 · 1 min · jiezi

关于运维:Linux-是洗衣粉关于Linux-的10个趣事

明天,Linux操作系统驱动着超级计算机、子弹头列车、好莱坞电影、潜艇、国内空间站、纽约证券交易所等等。然而,Linux的诞生和旅程有许多发人深省和惊人的事实。 1、Linux作为一个目录名诞生对于那些不晓得的人,Torvalds最后将他的内核命名为“FREAX”——由“free”、“freak”和“x”(暗指Unix)组合而成。 当他的共事Ari Lemmke(他过后是FTP服务器的意愿管理员之一)将内核上传到FTP站点时,他不喜爱这个名字,他为源代码创立了子目录,并在没有询问Torvalds的状况下将其重命名为Linux。 2、Tux以Torvalds的名字命名当给这只吉祥物命名时,Torvalds找不到,所以开发人员发动了一场较量,在Linus不在的时候给这只企鹅命名。 上面是Torvalds最喜爱的企鹅照片,它是Tux的灵感起源。 Linux 是洗衣粉!对于Linux 的10个趣事Linux 是洗衣粉!对于Linux 的10个趣事 詹姆斯·休斯是第一个叫燕尾服的人。据他说,这是Torvalds UniX的首字母缩写。 已知的第一次尝试命名“企鹅The Penguin”的信息在此邮件上发现的: Let's name the penguin! (was: Re: Linux 2.0 really is released..)Henning Schmiedehausen (barnard@forge.franken.de)10 Jun 1996 16:18:56 +0200torvalds@cs.helsinki.fi (Linus Torvalds) writes: Ok, I took the plunge, and Linux-2.0 is out there on the normalsites. I even got the energy to write some inane announcementabout it on cola, so it's too late to chicken out any more.So it's the 'Electrified Penguin on Cola' release? ;-)Anyway: Congratulations for this great achievement.Let's start the 'We name that penguin while Linus is not around' contest.I vote for 'Homer' (Of course) :-)CiaoHenning接下来的回复仿佛是第一次应用“Tux”这个名字:Re: Let's name the penguin! (was: Re: Linux 2.0 really is released..)James Hughes (jamesh@interpath.com)Mon, 10 Jun 1996 20:25:52 -0400(T)orvolds (U)ni(X) --> TUX!这就为这个名字提供了一个解释。 ...

November 23, 2021 · 2 min · jiezi

关于运维:kubernetes-基于jenkins-spinnaker的cicd实践二sonarqube安装与简单使用

背景:程序有点乱了在ci/cd过程中应该是先进行代码的动态扫描再去进行扫描镜像的呢,就佛系的写了。反正步骤都是独立的。这里写一下sonarqube的装置与集成,预计实际的我还要好好钻研一下! helm装置sonarqube参照官网文档:https://docs.sonarqube.org/8.9/setup/sonarqube-on-kubernetes/ helm减少repo仓库[root@k8s-master-01 helm]# helm repo add sonarqube https://SonarSource.github.io/helm-chart-sonarqube[root@k8s-master-01 helm]# helm repo update helm fetch包到本地[root@k8s-master-01 helm]# helm search repo sonarqube[root@k8s-master-01 helm]# helm fetch sonarqube/sonarqube-lts没有方法,墙裂...手动下载ing,rz上次到服务器 解压缩tgz包并批改value.yaml文件[root@k8s-master-01 helm]# tar zxvf sonarqube-lts-1.0.20+140.tgzvalue.yam就批改了存储storageclass:如下 helm install装置sonarqube到kube-ops namespace[root@k8s-master-01 sonarqube-lts]# helm install sonarqube -f values.yaml . -n kube-ops [root@k8s-master-01 anchore-engine1]# kubectl get svc -n kube-ops[root@k8s-master-01 anchore-engine1]# kubectl get pods -n kube-ops ingress对外映射ingress应用的traefik,详情参照:Kubernetes 1.20.5 装置traefik在腾讯云下的实际 apiVersion: networking.k8s.io/v1kind: Ingressmetadata: name: sonarqube-sonarqube-lts namespace: kube-ops annotations: kubernetes.io/ingress.class: traefik traefik.ingress.kubernetes.io/router.entrypoints: webspec: rules: - host: sonarqube.xxxx.com http: paths: - pathType: Prefix path: / backend: service: name: sonarqube-sonarqube-lts port: number: 9000 ...

November 23, 2021 · 3 min · jiezi

关于运维:Dataphin核心功能四安全基于数据权限分类分级和敏感数据保护保障企业数据安全

简介: 《数据安全法》的公布,对企业的数据安全应用和治理提出了更高的要求。Dataphin提供基于数据分级分类和数据脱敏的敏感数据辨认和爱护能力,助力企业建设合规的数据安全体系,保障企业数据安全。本篇,咱们就来聊聊Dataphin的数据安全能力。 作者:龙裔 1、企业的数据安全挑战“2021年6月10日,经第十三届全国人民代表大会常务委员会第二十九次会议审议,通过了《中华人民共和国数据安全法》(简称‘《数据安全法》’),该法将于2021年9月1日起实施。” 近几年,随着消费者集体意识的崛起和对隐衷的器重,数据安全成为了一个越来越热门的话题,国家也陆续公布了一些相干规定,来标准数据的采集和应用。而《数据安全法》的正式公布,标记着数据的开发利用和数据的平安保障正式进入法律领域,从而对企业的数据安全管控提出了更高的要求。 在企业的倒退过程中,如果不器重敏感数据的爱护,不器重数据安全体系的建设,那么一旦产生了敏感数据透露事件,轻则企业口碑受损,业务受影响;重则会直接触法律,受到主管部门的处罚和制裁。对企业来说,能够思考以下措施,来构建合规的数据体系: 1、建立全面的数据合规理念。对数据安全相干的法律法规进行关注和及时响应,同时建设企业外部的平安合规团队,对企业数据安全的方方面面进行平安设计和审计。 2、事先:做好数据分类分级和敏感数据爱护。基于法律法规、主管部门要求和本身行业和业务的须要,建设企业的数据分类分级制度,并对敏感数据制订相应的爱护策略。 3、事中:做好危险审计和危险辨认。成立专门的数据安全小组,定期发展数据安全的危险评估,及时发现危险,毁灭危险。 4、预先:做好事变追溯和补救措施,加固安全措施。呈现安全事故后,要立刻追责,同时视影响的重大水平,上报主管部门,并即时进行止损,将影响升高到最小。 本文,咱们重点关注一下数据资产平安能力,资产平安为Dataphin提供了数据生命周期中对立的敏感数据辨认与爱护能力。通过数据分类分级、敏感数据辨认、敏感数据脱敏等措施,帮忙客户建设欠缺的数据安全体系,确保数据应用的平安合规。 2、Dataphin的数据安全能力数据安全如此重要,当然不能只靠人来治理,而须要有一套成熟的产品和流程来进行平安的管控。这时候,企业个别面临着自建零碎和洽购第三方平安零碎的决策问题。 抉择企业本人建设数据安全产品,存在较多的弊病: 1、耗费大量的研发资源,且后续须要一直投入资源进行保护降级 2、在产品的设计和实现上可能存在破绽,导致安全隐患 3、存在生产和理论存在偏差,导致无奈落地到理论生产中的状况。比方数据安全产品和数据生产平台联合不严密;产品性能没有满足国家的数据安全规范等。 比照企业自建数据安全产品,应用Dataphin数据安全产品,存在以下劣势: 1、Dataphin数据安全能力齐全,开箱即用,帮忙您低成本的疾速构建数据安全体系 2、Dataphin数据安全能力和数据开发过程紧密结合,确保数据开发全链路上的数据安全 3、Dataphin实时跟踪政策和行业动态,一直降级平安能力,保障您的企业始终享受先进技术的爱护 4、Dataphin有欠缺的专家征询和专业化服务,帮忙您更好的在企业构建数据安全体系 Dataphin作为智能数据构建与治理平台,作为企业数字化转型中的外围引擎,对数据生产和治理过程中的数据安全,当然十分重视。Dataphin提供了残缺的产品能力,来保障数据建设中的数据安全,并且整个平安体系和数据研发生产紧密结合,确保数据从进入Dataphin开始,到从Dataphin输入的全链路,都平安可控。 图1:Dataphin平安概览 Dataphin平安能力图解在Dataphin的能力大图上,平安模块呈现在资产治理模块,但在理论的平安体系中,从零碎的底座平安、研发过程的数据处理平安、到数据资产的治理、数据生产的平安,都会波及到并提供平安保障。 以后Dataphin提供了以下平安能力来确保客户的数据安全: 1、底座平安:保障底层的系统安全和网络安全,这一部分次要由云底座提供平安保障。在底座的安全措施之外,Dataphin提供了租户隔离、网络管制、敏感信息安全加密存储等平安性能,确保零碎的底层平安。 2、平台平安(权限):在Dataphin外部,提供了残缺的角色体系,以及权限申请与审批性能。让企业可能实现精细化受权治理,能够对用户执行最小粒度的受权和管控,避免权限破绽。 3、数据安全:Dataphin提供了数据分类分级、敏感数据辨认和脱敏性能,来保障数据流转过程中的数据安全。通过敏感数据爱护性能,在不扭转底层数据的状况下,保障日常流转中展现的数据都是加密脱敏后的数据,确保敏感数据不透露。 4、平安服务:为了更好的帮忙客户建设数据安全体系,Dataphin还集成了泛滥生态产品、专家服务和文档服务,保障客户建设起欠缺的数据安全体系。 图2:Dataphin平安能力图解(简化版) 上图是Dataphin平安能力的整体图解,为了不便了解,简化了模块外部的具体性能。能够看到,Dataphin对整个数据的生产和管理体系,进行了全方位的数据安全保障。 3、Dataphin数据安全利用场景首先,咱们先看一下数据安全模块的利用场景,从而对数据安全的价值有一个更直观的认知。以下是通过Dataphin实现数据安全爱护的一些典型的场景: 场景1:数据业务中的敏感数据爱护 在日常的数据业务运行中,数仓工程师/数据研发、数据分析师/业务分析师,须要常常接触数据,包含对数据的查问、统计、批改等。在这个过程中,存在着大量的数据透露的危险,比方能够间接查问到用户的姓名、手机号等。尽管能够通过受权的形式,严格控制人员的数据权限,然而因为接触的是明文的敏感信息,所以依然存在数据透露的危险。 而基于Dataphin的敏感数据辨认和爱护能力,能够让敏感数据在日常的流转和查问中,对外展现的始终是脱敏之后的数据,如姓名【张三】显示为【三】,手机【18612345678】显示为【186*5678】,确保数据在流转过程中,不会异样透露。 场景2:脱敏白名单的灵活运用 后面两个场景简略介绍了在失常场景下对数据的爱护,那在有些场景下,有须要看到最原始的数据,那么就须要用到脱敏白名单的性能,在特定的工夫,对特定的用户或者角色凋谢原始数据。 场景1:对于企业中一些比拟敏感的数据,比方上市公司的财务数据,非凡人员(如高层级的员工、公司宏观决策反对分析师)在肯定时间段(比方公司财报公布前一个月)是能够看到明文,然而个别人员或这些人员其余工夫不能够,就能够通过设置脱敏的白名单及无效工夫来实现。 场景2:对于电商每天的销售额,失常状况下不能展现实在数字,个别都是脱敏展现为*元,然而在双十一等非凡场景,须要显示实在销售额用于宣传的状况下,能够开启为期一天的白名单,能够看到当天的销售额数据。 4、如何应用Dataphin实现敏感爱护那么如何利用Dataphin的平安能力,来保障企业的数据安全呢? 在Dataphin中,实现敏感数据爱护,次要能够分为以下三个步骤: 1、辨认敏感数据:即设定数据分类、数据分级、辨认规定等内容 2、设置敏感数据保护方式:为辨认的敏感数据抉择适合的脱敏算法、设定脱敏规定 3、数据生产:在即席查问、开发数据写生产等场景进行数据生产时脱敏 通过Dataphin实现数据安全体系建设的具体过程能够参考:如何基于Dataphin实现敏感数据爱护 图3:Dataphin数据安全外围操作流程图 5、将来瞻望尽管以后Dataphin曾经有了比较完善的数据安全体系,然而基于客户需要的多样性以及对政策的钻研与响应,将来会陆续反对以下性能和优化,从而帮忙客户更好的构建数据安全体系,实现业务倒退的平安与合规。 1、数据安全审计:提供平安审计性能,具体的记录用户对敏感数据的每一次查问、下载操作,从而发现危险操作,进行事变追责和体系优化。 2、危险主动发现与告警:基于规定和算法,主动发现异常的用户操作,并进行告警提醒,及时发现危险、阻断危险,将数据危险的影响最小化 3、更多业务场景中的平安脱敏:反对数据集成和数据服务过程中的数据脱敏,确保数据的每一次生产和应用都平安可控,将敏感数据透露的危险从源头毁灭。 4、集成更多的生态产品和专家服务,帮忙客户更好的建设起可继续、可经营、有效率、有成果的数据安全体系。 在新的法律环境和数据安全的挑战下,Dataphin也会一直想客户所想,以发明更大的客户价值为己任,继续加强数据安全能力,来帮忙客户建设欠缺的数据安全体系,为客户的业务倒退保驾护航。 原文链接本文为阿里云原创内容,未经容许不得转载。

November 19, 2021 · 1 min · jiezi

关于运维:海外服务器适合自助建站吗

很多个人用户想要领有一个属于本人的站点。其实当初搭建网站真的不难,费用不高,流程也不多。咱们在建站之前,须要确定好网站次要经营的产品或服务,而后依据网站内容及品牌来抉择适合的网站域名,当确定想要注册的域名,便能够到域名注册商那里进行注册。而后就是抉择自助建站了! 一、选域名 域名相当于是网站的门牌号,在选域名的时候,先理解一下它的价格。市场上目前一个域名大略几十块钱,依据后缀不同价格也有所差别,当然,这里指的是一般域名,一些高级域名不在内。 而后理解一下前期的续费价格是多少,防止前期呈现不一样有争议。再者,注册域名的时候,一些相干的信息千万要真实有效,这对后续保护有很重要的影响。 二、选空间 选一个网站空间其实就相当于给一个网站找一个家,有了门牌号,那势必要让网站有一个寄存的中央。这个中央就是虚拟主机。 在选网站空间的时候要留神,是不是兼容你网站的搭建程序,流量、空间是不是可能满足本人的需要。配置越高,那么它的价格也就越贵。集体不必买最贵的,适合的才是最好的。 三、建站模板的抉择 1、简略易用,应用门槛低 自助建站系统对操作人员的要求比拟低,不须要懂代码,有些更是简略,间接一键装置,这样简略的操作模式,更是合乎技术小白和中小型企业的需要。 2、成本低,建站速度快 如果抉择网站建设公司来进行开发,一般的网站价格就要几万到十几万的老本,而如果应用自助建站零碎,那么只须要几百块钱便能够搞定。此外,应用自助建站零碎,整个过程大略只须要几十分钟便能够实现,而且能够依据自定义模块对网站进行调整和批改,建站速度快。 3、多种模板,随便抉择 自助建站有很多建站模板能够抉择,咱们能够依据产品或服务的特点,来抉择合乎的主色系模板,如果对于模板的版块布局不称心,还能够通过编辑来自定义其版块的地位。即便操作人员不懂得编程,曾经能够通过拖拽行为来对网站进行批改。如果想批改局部图片或者性能,也能够进行替换。 4、系统维护比拟不便 网站的日常治理、网站降级、版本更新都只须要在自助建站零碎上进行治理便可,胜利解决了传统网站治理的简单之处。 自助建站零碎不仅具备建站方面的劣势,还有网站经营及SEO优化方面的劣势,比方网站地图的生成、网站三要素的设置、面包屑导航设置等,不须要开发人员另行开发,而后再进行上传,只须要装置相干插件,便能够轻松实现对网站的优化。 咱们在本地搭建好网站后,便能够上传到服务器,而后对服务器参数进行设置。如果抉择的是香港主机或美国主机等,上传解析域名后,便能够上线拜访。如果抉择国内大陆主机搭建网站,须要对网站进行备案,备案实现后能力进行拜访。所以,如果用户对网站的规模、非凡性能和要求不是很高,那么,自助建站当是首选TG:li9047。

November 16, 2021 · 1 min · jiezi

关于运维:基于-Istio-的全链路灰度方案探索和实践

简介: 本文介绍的基于“流量打标”和“按标路由” 能力是一个通用计划,基于此能够较好地解决测试环境治理、线上全链路灰度公布等相干问题,基于服务网格技术做到与开发语言无关。同时,该计划适应于不同的7层协定,以后已反对 HTTP/gRpc 和 Dubbo 协定。 作者|曾宇星(宇曾) 背景微服务软件架构下,业务新性能上线前搭建残缺的一套测试零碎进行验证是相当费人费时的事,随着所拆分出微服务数量的一直增大其难度也愈大。这一整套测试零碎所需付出的机器老本往往也不低,为了保障利用新版本上线前的性能正确性验证效率,这套零碎还必须始终独自保护好。当业务变得宏大且简单时,往往还得筹备多套,这是整个行业独特面临且难解的老本和效率挑战。如果能在同一套生产零碎中实现新版本上线前的性能验证的话,所节约的人力和财力是相当可观的。 除了开发阶段的性能验证,生产环境中引入灰度公布能力更好地管制新版本软件上线的危险和爆炸半径。灰度公布是将具备肯定特色或者比例的生产流量调配到须要被验证的服务版本中,以察看新版本上线后的运行状态是否合乎预期。 阿里云 ASM Pro(相干链接请见文末)基于 Service Mesh 所构建的全链路灰度计划,能很好帮忙解决以上两个场景的问题。 ASM Pro 产品性能架构图: 外围能力应用的就是上图扩大的流量打标和按标路由以及流量 Fallback 的能力,上面具体介绍阐明。 场景阐明全链路灰度公布的常见场景如下: 以 Bookinfo 为例,入口流量会带上冀望的 tag 分组,sidecar 通过获取申请上下文(Header 或 Context) 中的冀望 tag,将流量路由散发到对应 tag 分组,若对应 tag 分组不存在,默认会 fallback 路由到 base 分组,具体 fallback 策略可配置。接下来详细描述具体的实现细节。 入口流量的 tag 标签,个别是在网关层面基于相似 tag 插件的形式,将申请流量进行打标。 比方将 userid 处于肯定范畴的打上代表灰度的 tag,思考到理论环境网关的抉择和实现的多样性,网关这块实现不在本文探讨的范畴内。 上面咱们着重探讨基于 ASM Pro 如何做到全链路流量打标和实现全链路灰度。 实现原理 Inbound 是指申请发到 App 的入口流量,Outbond 是指 App 向外发动申请的进口流量。 上图是一个业务利用在开启 mesh 后典型流量门路:业务 App 接管到一个内部申请 p1,接着调用背地所依赖的另一个服务的接口。此时,申请的流量门路是 p1->p2->p3->p4,其中 p2 是 Sidecar 对 p1 的转发,p4 是 Sidecar 对 p3 的转发。为了实现全链路灰度,p3 和 p4 都须要获取到 p1 进来的流量标签,能力将申请路由到标签所对应的后端服务实例,且 p3 和 p4 也要带上同样的标签。关键在于,如何让标签的传递对于利用齐全无感,从而实现全链路的标签透传,这是全链路灰度的关键技术。ASM Pro 的实现是基于分布式链路追踪技术(比方,OpenTracing、OpenTelemetry 等)中的 traceId 来实现这一性能。 ...

November 10, 2021 · 4 min · jiezi

关于运维:git-rebase-与git-merge

1.区别rebase:也称为变基,会将以后分支的 commit 放到公共分支的最初面。就如同从公共分支又从新拉进去这个分支一样。举例:如果你从 master 拉了个feature分支进去,而后你提交了几个 commit,这个时候刚好有人把他开发的货色合并到 master 了,这个时候 master 就比你拉分支的时候多了几个 commit,如果这个时候你rebase master 的话,就会把你以后的几个 commit,放到那个人 commit 的前面。merge: 会把公共分支和你以后的commit 合并在一起,造成一个新的 commit 提交。一般来说,本地和远端对应同一条分支,优先应用rebase,而不是merge 2.为什么不要在公共分支应用rebase?因为往后放的这些 commit 都是新的,这样其余从这个公共分支拉出去的人,都须要再 rebase,相当于你 rebase 货色进来,就都是新的 commit 了 1-2-3 是当初的分支状态这个时候从原来的master ,checkout进去一个prod分支而后master提交了4.5,prod提交了6.7这个时候master分支状态就是1-2-3-4-5,prod状态变成1-2-3-6-7如果在prod上用rebase master ,prod分支状态就成了1-2-3-4-5-6-7如果是merge1-2-3-6-7-8…….. |4-5|会进去一个8,这个8的提交就是把4-5合进来的提交 3.merge和rebase实际上只是用的场景不一样比方rebase,你本人开发分支始终在做,而后某一天,你想把主线的批改合到你的分支上,做一次集成,这种状况就用rebase比拟好.把你的提交都放在主线批改的头上如果用merge,脑袋上顶着一笔merge的8,你如果想回退你分支上的某个提交就很麻烦,还有一个重要的问题,rebase的话,原本我的分支是从3拉进去的,rebase完了之后,就不晓得我过后是从哪儿拉进去的我的开发分支同样的,如果你在主分支上用rebase, rebase其余分支的批改,是不是要是他人想看主分支上有什么历史,他看到的就不是残缺的历史课,这个历史曾经被你篡改了。 4.如果在master分支上面搞一个新的分支,开发的同时,master有了新增代码,然而须要在新的master下面持续开发,怎么办呢?1、先把本人写的代码,保留到本地库,而后推送到来近程库(至关重要),而后拉下来近程库,这很重要2在git命令中输出:git rebase origin/master,这样就会把当初正在开发的分支中曾经写好的代码与最新的master分支的代码交融在一起3.输出 git status 显示抵触的文件,而后找到那个文件解决抵触,git add 文件名,这样才算解决一个抵触,输出 git rebase --continue ,持续git status ....... 晓得所有的抵触全副解决(git status如果不显示抵触文件,但又处于rebase状态,输出git rebase --skip)如果不想解决抵触了,输出 git rebase --abort ,回到最后的状态,后面解决的所有抵触都会复原到以前的状态4.解决完抵触后,推送到近程库。 参考链接:https://www.jianshu.com/p/407...https://git-scm.com/book/zh/v...

November 8, 2021 · 1 min · jiezi

关于运维:演进实录|不同阶段的企业如何搭建监控体系

简介: 企业业务倒退越来越迅速,对 IT 的要求也愈发严苛且简单。这不仅仅体现在运维团队架构与工作流程上,也体现在工具选型与平台搭建上。 明天咱们好好聊一下工具选型与平台搭建思路与实际关键点。来看看阿里云会给出如何的最佳实际! 作者|涯海 在陪伴泛滥企业独特经验业务上云与云上原生之后,咱们能够看到每个企业的运维监控体系搭建过程都非常艰苦。这是因为企业业务倒退迅速,对 IT 的要求也愈发严苛且简单。这不仅仅体现在运维团队架构与工作流程上,也体现在工具选型与平台搭建上。只管不同阶段不同规模的企业须要面对各种各样事实问题,但依然有些最佳实际有迹可循,明天咱们好好聊一下工具选型与平台搭建思路与实际关键点。 工具选型与平台搭建必然趋势要特地阐明的是,监控平台不是轻易下载一个开源监控工具就能够,它须要依据监控的业务特点进行整合与二次开发,以达到与理论业务状况相吻合。通过大量实际后,咱们发现企业普遍存在的监控体系需要与倒退方向: 自动识别与采集云原生带来了跨技术栈与高动静的技术架构。因而面向复杂多变的被监控环境,采集器尽可能做到对环境的自动识别,对指标的自主采集成为所有的开始。数据都无奈采集,如何监控? 数据管理能力一直强化云、容器和微服务的呈现使被监控的对象数量减少了几个数量级。当业务飞速发展,面对几亿甚至十亿级别时序数据,咱们该如何治理? 数据看板体系成为刚需随着数据量爆发式增长,传统的线图、直方图、散点图等数据展现办法很难让运维人员找到数据背地的异样或暗藏瓶颈。如何针对不同业务或者不同监控对象,找到更适合的数据看板以及展示模式,成为了每个运维人员的必修课。 中台枢纽作用随着技术飞速发展,监控零碎在整体运维零碎的中台枢纽作用越来越显著,运维监控从传统的流程驱动转变为数据驱动。如何更便捷的与其它泛滥运维子系统对接整合,也是运维团队在监控体系搭建之初须要思考的问题。 企业监控体系演进历程联合上述特点,咱们讲企业监控体系的演进历程演绎为以下阶段。 推广期:服务器数量 50~100 台之间 这个阶段因为服务器数量较少、业务规模较小,因而,运维团队对监控的需要也绝对简略。可能实现根本的告诉问题、疾速定位与解决问题即可。此时的平台搭建次要是让研发、运维等同学可能逐步相熟产品应用,并通过体验和反馈,确认是否满足企业 IT 运维以及业务特色需要,这其中几个要害特点包含: (1)部署简略,有成熟的文档与服务体系,上手易用; (2)稳固运行,SLA 保障; (3)告警体系的告诉模式不必太丰盛,但确保绝对及时、可用; (4)低成本费用或收费。 基于以上需要,很多初创企业可能会抉择 Nagios,Cacti,Zabbix,Ganglia 等开源工具。热门的开源监控产品文档绝对残缺,可疾速上手且有大量企业实际可供参考。但这里存在问题就在于开源产品的性能、应用场景无奈满足随着业务场景的倒退以及业务量增长,进而呈现各种各样的问题。与此同时,高可用成为致命问题,毕竟开源社区不会时刻有志愿者帮咱们排查故障。 暴发期:服务器数量 200~1000 台之间 这个阶段因为服务器数量变多、技术架构产生了变动、组件越发丰盛,监控需要也开始变得复杂。但面对泛滥服务模块或运维零碎,咱们须要分批次有序接入,在保障稳定性的前提下,疾速上量、对立技术栈。监控零碎次要用于告警告诉,发现问题并防止同样问题再次发生。这其中具备几个要害特点: (1)监控内容汇总与分类 因为监控对象以及信息随着技术架构与业务规模扩充而增多,须要针对软硬件、业务等不同维度的数据实现全笼罩式监控。并针对不同监控用处,须要对监控进行分类汇总,比方零碎根底监控数据、网络监控数据和业务监控数据。尽可能多的监控笼罩,尽快发现重要问题,确保业务稳固运行。 (2)多种告警形式,及时无漏报 依据监控对象的重要水平、紧急水平进行分类,并通过邮件、微信、短信、电话等不同级别不同形式进行告警告诉,每个监控对应到不同责任人,确保每个告警都有人及时跟进解决。 (3)告警策略优化与信息收敛 因为须要监控的服务越来越多,告警信息数量激增,每天都可能收到上千封报警邮件。过多的告警信息就失去了精准告知的意义。如何对告警策略进行配置和优化,尽量减少不必要的告警邮件,成为策略设置的外围。 成熟期:服务器数量 1000 台以上 因为业务持续增长,对服务器的需要越来越大,当服务器超过 1000 台当前,意味着外围零碎须要全副接入,并构建新的稳定性保障体系,包含监控大盘、告警告诉、应急值班等。能力确保整个业务与技术大盘的稳固。这其中,须要关注: (1)监控延时与告警滞后 当业务规模越老越大,因为组件或服务的耦合关系,很可能因为部分的细小故障导致整个业务零碎的瘫痪。因而,及时发现问题成为了所有的大前提。但如果还在抉择时开源产品,这时可能就有不小的麻烦。以 Zabbix 举例,当规模达到一定量后,有时候会呈现监控数据不能及时显示,告警延时等问题。咱们的确能够通过各种优化形式进行调整。但业务呈现问题而造成的损失并不能挽回。 (2)监控零碎本身的 SLA 当收集运维数据飞速增长,监控零碎本身的高可用也成为了重要关注点。毕竟,失去了监控零碎意味着对整个技术与业务的运行状态失去了管制。 更具性价比的解决方案:利用实时监控服务 ARMS面对上述不同阶段的痛点,ARMS 成为了最佳的解决方案。与此同时,阿里云推出 ARMS 3.0 普惠打算旨在通过更灵便的计费计划,帮忙不同类型的用户在不同应用阶段,以更正当的老本获取更高性价比的可观测体验。在 2021 年 10 月行将推出的利用监控根底版(按量计费)模式反对 0 元用:指标收费存储 3 天,调用链根底采样收费存储 1 天,性能与原有根底版保持一致,可按量付费缩短存储周期或进步链路采样。详情可参考利用监控根底版性能列表或产品计费阐明。 ...

November 3, 2021 · 1 min · jiezi

关于运维:业内首款云原生技术中台产品云原生-Stack-来了

简介: 云原生 Stack 满足了各种典型场景下客户对于线下高集成平台的诉求,让企业数字话转型不受技术束缚,专一业务自身,减速企业数字化迭代。明天,企业数字化转型仍然面临很大的挑战,尽管有很多新技术不断涌现,云厂商、ISV 在帮忙企业做转型,然而在理论落地过程中,企业依然须要解决一些痛点,比方:以后,业界技术产品和理念十分繁多,怎么用新技术实现业务疾速翻新?目前的门路还不是很清晰。 其次,分布式技术复杂度高,运维老本高,业务稳定性挑战大,零碎搭建进去之后,存在稳定性不好的问题,在后续运行中也可能呈现多种问题。还有就是技术组合集成度有余,不足对立的布局和端到端统一的解决方案。 正是因为看到企业在数字化转型中面临的技术难点,阿里云公布业界首款云原生技术中台产品——云原生 Stack(简称 CNStack)。 云原生 Stack,是云原生时代的技术中台,能够线下轻量、麻利的输入。技术中台基于 ACK 麻利版,在用户的基础设施环境,轻量敏捷地享受到与 ACK一样平安、稳固的容器服务,天生具备多集群治理能力。 同时,云原生 Stack 也是业务利用平台,能够满足线下各行各业客户在数字化转型中遇到的所有技术挑战。云原生 Stack 岂但能够麻利输入,也能够规模化输入,更能够在异构 IaaS 上输入。 云原生 Stack 补齐了云原生线下能力,提供了四大外围产品状态: 第一个是云原生 Stack for Application:它是企业数字化的一站式技术底座,把 ACK 麻利版、EDAS 利用平台、利用高可用服务 AHAS、可观测 ARMS 集成在一个平台上,具备较高的集成度和统一的体验。云原生 Stack for Application 解决了开发运维一体化,减速业务迭代,内置分布式中间件,一站式满足行业利用云原生的所有诉求,并且提供了大量的解决方案,包含异地多活计划、企业互联网架构计划、业务中台计划、平安生产计划、资源混部计划等。 以阿里云资源混部解决方案为例,它能够将 IT 基础设施资源的日均匀利用率从 10% 的业界平均水平晋升到 45%,帮忙企业升高 50% 的 IT 老本。让企业数字化不受技术束缚,更轻量、更简略。 第二个状态是云原生 Stack for SaaS:以容器为代表的云原生技术带来的外围价值是:向下治理资源,向上撑持利用,程度管理软件生命周期。过来在单机时代,软件的装置治理比拟容易。然而到了云计算时代,在分布式软件、分布式环境、分布式算力的背景下,软件想要部署公布,降级保护就会变得很简单,以前行业中齐全没有这个问题的解法。 明天,阿里云开创性地提出云原生 Stack for SaaS。让 SaaS 软件的交付更简略,它屏蔽了 IaaS 的差异性,什么环境都能够部署,什么环境都能够适配,每一种硬件、芯片都能够适配。云原生 Stack for SaaS能够让部署提效 5 倍,集群测试提效 5 倍,并且升高依赖组件 90% 运维工作量。当初曾经有超过 50 家企业软件在对接、应用、落地这个产品。 ...

November 1, 2021 · 1 min · jiezi

关于运维:软件测试之怎样做好系统测试

分享来自作者多测师11的原创作品《软件测试之怎么做好零碎测试》GoodMai 好买网  一套软件做完了,在给客户上线之前,咱们本人要进行残缺的零碎测试,这个工作听起来如同没什么,但其实是很不好做的,这要求测试人员要熟悉业务、相熟零碎的各个性能项、还要有一套残缺的测试方法。咱们软件销售部从开始做系统分析工作,当初又开始担当零碎测试的角色了,没方法,公司人手不够,只能担当多种角色了。不过对于咱们来说也有肯定益处,系统分析设计是咱们做的,当初做好的零碎由咱们来测试,一是咱们对业务比拟相熟,二是对咱们来说也是一种自我的测验,测验一下本人设计的零碎是否正当,为当前更好的系统分析打好根底。 好了,言归正传,讲一下咱们在测试工作中的一点领会吧,写进去一面为本人理一下思路,二也是为本人做工作的一个总结。 一、 测试之前要充沛把握业务流程 首先,在进行零碎测试之前,要晓得零碎的业务流程,也就是说要分明每项业务间产生的前后程序。只有晓得了业务的先后顺序,你的测试数据能力持续在ERP零碎性能间流转,否则,无奈进行各项业务的全面笼罩测试。 其次,还要明确每一项业务中的具体流程和各个环节波及的角色,一项比较复杂的业务其具体流程往往比拟多,只有了彻底把握了这项业务,能力对以后业务环节进行全方位的测试。比方:订单治理中,销售业务员创立了一个销售订单,还要通过主管审核,方可执行订单,订单执行结束后敞开订单。 二、 理解业务流程对应的ERP零碎的性能 对整个业务有了总体的意识,再把业务分块,在ERP中找出相应的模块与业务对应起来。只有把业务和REP性能齐全对应上了,能力说有可能对ERP零碎进行全面的笼罩测试。 三、 零碎性能集中测试和测试方法 找到与具体业务对应的ERP子系统,依据以后业务的流程与角色,对ERP子系统进行集中测试。测试还要讲求办法,尽量做到全笼罩测试,其中留神几点: 1)、按失常场景进行测试 依据业务流程,按着失常的程序,用正确的测试数据测试零碎;查看零碎的后果是否与预期的后果雷同,如果后果相符,示意以后零碎模块合乎业务逻辑;否则,零碎有问题,将错误信息记录到BUG报告中,及时提交开发部门。 2)、测试异样场景 依据业务流程,输出异样的测试数据测试零碎,查看零碎提醒哪些异样信息,并查看是否有异样判断,如果有,则示意零碎做过异样思考解决,否则示意零碎漏掉了以后异常情况,须要提醒开发部门,增加以后异常情况的思考解决。 3)、非凡数据的解决 依据业务流程,在输出测试数据时,输出边缘数据、空值等特殊字符,查看零碎是否做了数据录入范畴和要求的判断,如果没有,示意零碎脱漏数据范畴和录入要求的思考,须要提醒开发部门,增加相应数据范畴和要求的解决。 以上三方面的思考,是比拟常见而且不可脱漏的测试局部,当然,能够用测试用例来标准。 四、 提交BUG报告 通过前边的测试,把得出的错误信息,以BUG报告的模式展示进去,转发给开发部门相应人员,以例开发部集中批改零碎错误信息。下边说一下BUG报告的内容:谬误序号、发现日期、子系统名称、二级模块名称、三级模块名称、产生页面、谬误形容、发现者、是否批改状态、批改人意见、批改人、批改日期、确认人、确认日期。依照上边这几项内容,将错误信息以BUG报告的模式列表进去,转发给相应的部门批改。 五、 回归测试 BUG批改结束后,更新ERP零碎,更新结束后,对已往的错误信息进行二次测试,以确保错误信息的正确批改。

October 26, 2021 · 1 min · jiezi

关于运维:Shell-脚本中的exit状态解释

命令的返回值是其退出状态,退出状态用于查看命令执行的后果(胜利/失败)。如果退出状态为0,则命令执行胜利。如果命令失败,则退出状态为非零。上面表格中是返回值对应着退出状态的解释: 返回值 退出状态0 胜利非0状态 失败2 用法不正确126 不是可执行文件127 没有找到指令$?非凡变量shell中的变量名$?是一个非凡的内置变量,能够获取最初一次执行命令的退出状态。Shell 脚本中的exit状态解释Shell 脚本中的exit状态解释news.163.com/17/1212/09/D5EQJ2A400014AEE.htmlwww.techweb.com.cn/prnews/qiyenews/archives/59589.html在执行shell函数后,$?返回函数中最初一次执行命令的退出状态。在执行shell脚本后,$?返回脚本中最初一次执行命令的退出状态。蕴含退出状态的脚本实例以下exit_status.sh脚本显示了几种退出状态: [root@localhost scripts]# vim exit_status.sh ! /bin/bashecho -e "Successful execution"echo -e "====================="echo "hello world" 退出状态为0,因为命令执行是胜利的。echo "Exit status" $? echo .echo -e "Incorrect usage"echo -e "====================="ls --option 应用了谬误的用法,所以退出状态为2。echo "Exit status" $? echo .echo -e "Command Not found"echo -e "====================="bashscript 退出状态为127,因为该脚本或者命令不存在。echo "Exit status" $? echo .echo -e "Command is not an executable"echo -e "============================="touch execution.shls -l execution.sh./execution.sh 退出状态为126,因为该文件没有执行权限。echo "Exit status" $?echo .echo -e "Custom status"echo -e "====================="function test1(){ if [ ! -x "./execution.sh" ]; then ...

October 26, 2021 · 1 min · jiezi

关于运维:告别救火式IT运维时代如何打造高效运维监控系统

GoodMai咱们常说,IT运维人员要有危机意识,明确有可能呈现哪些问题,呈现这些问题后该如何去迅速解决。 在零碎运维中,为了无效保障系统上线后的失常运行,须要对服务器进行继续的监控,保障其性能的稳固,并通过统计分析每天的各种数据,从而能及时反映出服务器哪里存在性能瓶颈、安全隐患等。上面咱们就针对如何做好零碎运维的监控工作,提出几点倡议: 一、上线之前的筹备工作 1、首先是备份,做好定时备份策略,备份所有你认为重要的数据,并且定期检查你的备份是否无效、全面; 2、日志轮换,无论你想用哪种轮换形式,管制日志增长防止驱动器已满是你的目标; 3、做肯定的安全措施,如防火墙iptables的访问控制,用denyhosts避免黑客近程暴力破解; 4、mysql近程登录权限等等; 5、最初就是服务器、网元设施的监控。 二、监控策略 1、定义告警优先级策略 个别的监控到的后果是胜利或者失败,如Ping不通、拜访网页出错、连贯不到Socket,产生时这些称之为故障,故障是最优先的告警。除此之外,还能监控到返回的延时、内容等,如Ping返回的延时、拜访网页的工夫、拜访网页取到的内容等。 利用返回的后果能够自定义告警条件,如Ping监控的返回延时个别是10-30ms之间,当延时大于100ms时候,示意网络或者服务器可能呈现问题,引起网络响应慢,须要立刻查看是否流量过大或者服务器CPU太低等问题。 2、定义告警信息内容规范 当服务器或利用产生故障时告警信息内容十分多,如告警运行业务名称、服务器IP、监控的线路、监控的服务谬误级别、出错信息、产生工夫等。 事后定义告警内容及规范使收到的告警内容具备规范性及可读性。这点对于用短信承受告警内容特地有意义,短信内容最多是70个字符,要在70个字符齐全晓得故障内容比拟艰难,更须要事后定义内容标准。如:“视频直播服务器10.0.211.65 在2012-10-18 13:00电信线路监控第到1次失败”,清晰明了的晓得故障信息。 3、通过邮件接管汇总报表 每天收到一封网站服务器监控的汇总报表邮件,花个两三分钟就大抵理解网站和服务器状态。 4、 集中监控和分布式监控相结合 被动(集中)监控尽管能不须要装置代码和程序,十分平安和不便,但短少很多粗疏的监控内容,如无奈获取硬盘大小、CPU的使用率、网络的流量等,这些监控内容十分有用,如CPU太高示意有网站或者程序出问题,流量太高示意可能被攻打等。 被动(分布式)监控罕用的是SNMP(简略网络管理协定),通过SNMP能监控到大部分你感兴趣的内容。大部分操作系统反对SNMP,开明治理十分不便,也十分平安。SNMP毛病是比拟占用带宽,会耗费肯定的CPU和内存,在CPU太高和网络流量大状况下,无奈无效进行监控。 5、定义故障告警主次 对于监控同一台服务器的服务,须要定义一个次要监控对象,当次要监控对象呈现故障,只发送次要监控对象的告警,其它主要的监控对象暂停监控和告警。 例如用Ping来做次要监控对象,如果Ping不通呈现Timeout,示意服务器曾经当机或者断网,这时只发送服务器Ping告警继续监控Ping,因为再持续监控和告警其它服务曾经没有必要。这样能大大减少告警音讯数量,又让监控更加正当、更加有效率。 6、本地监控脚本的规范化部署 对在本地部署的监控脚本要进行对立标准的部署并记录到KM零碎。 7、实现对常见性故障业务自我修复性能 实现对常见性故障业务自我修复性能脚本进行对立部署并对修复后故障进行查看告警查看频次不多于3次。 8、对监控的业务零碎进行分级 一级零碎实现724小时告警,二级零碎实现712小时告警,三级零碎实现5*8小时告警。 9、 监控范畴及指标 实现对负载平衡设施、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等IT资源的全面监控治理; 同时主动收集、过滤、关联和剖析各种治理性能产生的故障事件,实现对故障的提前预警和疾速定位; 对网络和业务利用等IT资源的性能进行监控,定期提供性能报表和趋势报表,为性能优化及将来零碎扩容提供科学依据。 通常状况下,咱们能够将监控对象这么来分: 1.服务器监控,次要监控服务器如:CPU 负载、内存使用率、磁盘使用率、登陆用户数、过程状态、网卡状态等。 2.应用程序监控,次要监控该应用程序的服务状态,吞吐量和响应工夫,因为不同利用须要监控的对象不同,这里不一一列举。 3.数据库监控,只所以把数据库监控独自列出来,足以阐明它的重要性,个别监控数据库状态,数据库表或者表空间的应用状况,是否有死锁,谬误日志,性能信息等等。 4.网络监控,次要监控以后的网络情况,网络流量等。 以上四条应该算是最根本的,也是保障网站失常运行必须要晓得的几点内容,这样能力实现咱们常说的“运筹帷幄之中,决胜千里之外”。好买网(www.goodmai.com)IT技术交易平台

October 25, 2021 · 1 min · jiezi

关于运维:PrometheusInfluxDBGrafana-打造高逼格监控平台

在本模块中,我将把几个罕用的监控局部给梳理一下。后面咱们提到过,在性能监控图谱中,有操作系统、应用服务器、中间件、队列、缓存、数据库、网络、前端、负载平衡、Web 服务器、存储、代码等很多须要监控的点。显然这些监控点不能在一个专栏中全副笼罩并一一细化,我只能找最罕用的几个,做些逻辑思路的阐明,同时也把具体的实现形容进去。如果你遇到了其余的组件,也须要一一实现这些监控。 在本篇中,次要想说明确下图的这个监控逻辑。 这应该是当初最风行的一套监控逻辑了吧。我明天把常见的应用 Grafana、Prometheus、InfluxDB、Exporters 的数据展现形式说一下,如果你刚进入性能测试畛域,也能有一个理性的意识。 有测试工具,有监控工具,能力做后续的性能剖析和瓶颈定位,所以有必要把这些工具的逻辑跟你摆一摆。 所有做性能的人都应该晓得一点,不论数据以什么样的模式展现,最要紧的还是看数据的起源和含意,以便做出正确的判断。 我先阐明一下 JMeter 和 node_exporter 到 Grafana 的数据展现逻辑。至于其余的 Exporter,我就不再解释这个逻辑了,只说监控剖析的局部。 JMeter+InfluxDB+Grafana 的数据展现逻辑个别状况下,咱们用 JMeter 做压力测试时,都是应用 JMeter 的控制台来查看后果。如下图所示: 或者装个插件来看后果: 或者用 JMeter 来生成 HTML: 这样看都没有问题,咱们在后面也强调过,对于压力工具来说,咱们最多只关怀三条曲线的数据:TPS(T 由测试指标定义)、响应工夫、错误率。这里的错误率还只是辅助排查问题的曲线,没有问题时,只看 TPS 和响应工夫即可。 不过采取以上三种形式有几个方面的问题整顿后果时比拟浪费时间。在 GUI 用插件看曲线,做高并发时并不事实。在场景运行工夫比拟长的时候,采纳生成 HTML 的形式,会呈现耗费内存过大的状况,而实际上,在生成的后果图中,有很多生成的图咱们并不是那么关注。生成的后果保留之后再查看比拟麻烦,还要一个个去找。那么如何解决这几个问题呢?用 JMeter 的 Backend Listener 帮咱们实时发送数据到 InfluxDB 或 Graphite 能够解决这样的问题。 Graphite Backend Listener 的反对是在 JMeter 2.13 版本,InfluxdDB Backend Listener 的反对是在 JMeter 3.3 的版本,它们都是用异步的形式把数据发送进去,以便查看。 其实有这个 JMeter 发送给 InfluxDB 的数据之后,咱们不须要看下面的那些 HTML 数据,也能够直观地看到零碎性能的性能趋势。 ...

October 25, 2021 · 4 min · jiezi

关于运维:同步服务器日志到-SeaTable让日志更好的可视化和协同处理

SeaTable 开发者版是一款收费易用、可扩大的数据中台产品。它同时联合了协同表格的易用性和数据库弱小的数据处理能力。SeaTable 提供了 Restful API,这样你就能够很不便的随时随地通过 HTTP 协定来写入数据。 本文咱们次要介绍怎么用 SeaTable 来记录服务器上多种服务的谬误日志,实现日志的可视化,避免错误信息被忽视。总体的架构如下图: 示例如下图: 特色包含 日志用 Markdown 格局放在一个代码块中并记录到 SeaTable 的长文本列中咱们能够用 SeaTable 多视图的性能建设多个不同的视图,每个视图包含特定的过滤条件,不便咱们疾速的删选查看数据上面来具体介绍搭建过程。 用 filebeat 来把日志发送到 Redis装置 filebeat在宿主机上安装,以 Ubuntu 20.04 为例 apt update && apt install filebeat -y filebeat 配置文件vim /etc/filebeat/filebeat.yml 内容如下,依据理论配置批改 https://github.com/seatable/s... filebeat.inputs: - type: log paths: - /opt/seatable/shared/seatable/logs/dtable_web.log # 日志门路 tags: ["dtable-web"] # 对应表格中的 Service multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}|^[[0-9]{4}-[0-9]{2}-[0-9]{2}' multiline.negate: true # 多行匹配,以日期结尾的信息,例如:'2021-10-12' 或 '[2021-10-12' multiline.match: after - type: log paths: - /opt/seatable/shared/seatable/logs/dtable-server.log tags: ["dtable-server"] multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}|^[[0-9]{4}-[0-9]{2}-[0-9]{2}' multiline.negate: true multiline.match: afteroutput.redis: hosts: ["redis host"] password: "redis password" db: 0 timeout: 5 keys: - key: "seatable-error-logs" # Redis key,不可批改 when.contains: message: "[ERROR]" # 匹配日志中的关键词以上的示例配置适宜于日志中的工夫格局为相似 2021-10-12 或者 [2021-10-12结尾,可能辨认出多行的谬误日志。 ...

October 22, 2021 · 1 min · jiezi

关于运维:一个能快速使用开源项目的小工具

最近我团队在开发一个新我的项目,该我的项目须要用到网关。我的项目工夫紧迫,我须要疾速决定网关的技术选型,并尽快和团队分享Demo。为了晋升效率,我找了技术大牛敌人举荐靠谱的开源网关我的项目,他举荐了一个,并且发来链接。我立刻关上网站,在查阅了产品介绍和网友的评分后,初步判断该我的项目靠谱,随即开始尝试装置我的项目验证性能。 依据产品文档,只需几个步骤就能启动一个案例,但没想到因为我平时喜爱摸索各种新技术,导致我本地环境污染重大,在装置的第一步就遇到了无奈启动etcd数据库的问题。我一边解决工作音讯、一边清理环境,尝试解决装置问题。待我可能启动etcd数据库的时候,曾经耗时1个多小时了! 看着工作任务栏还有沉积的待实现文档,我十分心愿有一个工具或者平台,可能替我解决装置难题,疾速实现部署,尽快开始测试。这时我想到了工程师解决问题的思路:“你遇到的问题,可能后面曾经有许多人遇到过了”。因而我开始了搜寻,并求助了技术大牛敌人,在通过一系列尝试之后,发现了TeamCode的平台,它有一个名叫Tin的产品主打疾速POC测试,让开源我的项目即开即用。尽管之前没听说过这个工具,然而看起来挺靠谱且能解决我的问题?秉持着工程师的摸索精力,注册了账号后我开始了尝试。 从利用界面来看,它目前反对三种创立形式:Git Repo, Docker Repo, Dockerfile.接着依据产品手册,创立利用,填写端口、变量、entry point等。整个过程只花了几分钟,网关利用就被创立结束。 我关掉日志界面看到上面有一个Endpoint模块,提供公开拜访的URL。复制URL之后,呈现了网关的治理界面。之后我又尝试build了其它几个开源我的项目,只有局部胜利。但总体来说,这是一款不错的晋升研发效力的工具,它免去了开源我的项目繁琐的装置流程,节约工夫,让咱们关注手上更重要的事件。对于当前来说,TIN开发者能够从晋升用户体验登程,减少产品对更多开源我的项目的反对,咱们在技术选型的时候能够更便捷地去体验我的项目,高效地做出决定。

October 20, 2021 · 1 min · jiezi

关于运维:传统定价模式与现代化集成的许可模式有何区别

软件许可的范畴从永恒到订阅、局部受权和无限度受权。决定哪种办法最适宜您的公司呢?通常状况下,抉择哪种办法取决于软件供应商定价政策以及买方估算。在当今无服务器技术、PB 级数据挪动和高可用性云产品的世界中,传统的定价模式不再适宜以后的新模式。定价须要一直倒退,以满足数据和 IT 界一直变动的需要。 知行之桥EDI零碎的定价与咱们的产品集成一样轻松。咱们置信通明的 EDI 和可控文件传输 (MFT) 定价可能满足咱们客户的要求,在保障产品经济实惠和操作简略之外,同时使他们可能充分利用古代数据生态系统并使 EDI 流程自由化。咱们为知行之桥应用基于连贯的简略许可模式,使企业可能扩大 B2B 文件传输和利用集成,并且不会产生低廉的许可费用。 传统定价模式EDI VAN、医疗保健 EDI 票据交换所,甚至许多 EDI 软件供应商都应用基于以下构造的传统定价模型: 与合作伙伴替换的每份文件的费用单据中每个行我的项目的费用超出交易月度合同限度每种传统的定价模式都有其本身的毛病。超出交易月度合同限度可能是企业的一项费用提议。依据合同的不同,这些超额可能会因条款的多样性而稳定,使它们难以了解和预测。这会使组织面临 EDI 和 MFT 流程中出现意外的和不必要的老本。 对每项交易、文件或文件中的行我的项目免费,会给企业带来意想不到和计划外的费用。适当的估算和费用调配,因为公司无奈打算、了解或预测他们的EDI和MFT过程的每月费用。此外,因为无奈打算或理解这些交易的老本,企业在交换文件时可能会遇到更多意料之外的昂扬费用。 现代化集成的许可模式知行之桥打消了定价凌乱,让咱们的客户可能轻松地为他们所有的 EDI 和 MFT 需要进行估算和打算。咱们的定价很简略——基于连贯(集成)。咱们让咱们的客户和合作伙伴尽可能的远离不确定性,并为他们提供一种办法,使他们能够在任何规模、任何环境中实现低代码地解决他们想要的任意数量的 EDI 或 MFT 交易。这为咱们的客户提供了一种经济高效的古代文档和文件替换办法。 以Green Supply为例。Green Supply 与 EDI VAN 单干,并领取了超过 100,000 美元的费用,用来与应用 AS2 的合作伙伴交换文件。Green Supply须要一种新办法,这种新办法可能为没有EDI能力的客户应用基于CSV的FTP连贯。通过与我的项目经验丰富的EDI供应商单干,制订个性化的EDI解决方案,显著升高了 EDI 交易成本。 通过应用知行之桥,Green Supply 当初领有具备老本效益且牢靠的 EDI 解决方案来反对他们的供应链和供应商数据交换要求。据EDI技术负责人Luke Patchett 说,Green Supply 的施行速度很快,在一个月内别离实现了知行之桥与亚马逊Amazon和亚马逊Amazon Dropship的整合,这两者是 Green Supply EDI 交易最大的两个起源。Patchett 持续说道:“咱们在 1 个月内上线了两个次要的 EDI 交易平台,而通过 SPS Commerce 建设相似我的项目则须要 3-4 个月。” 与传统 VAN 相比,应用EDI进行对接的速度是相当快的。 ...

October 20, 2021 · 1 min · jiezi

关于运维:Linux一学就会第五章-Linux基本操作和服务器硬件选购指南

October 20, 2021 · 0 min · jiezi

关于运维:Linux中source命令的使用方式

source命令是一个内置的shell命令,用于从以后shell会话中的文件读取和执行命令。source命令通常用于保留、更改以后shell中的环境变量。简而言之,source一个脚本,将会在以后shell中运行execute命令。source命令可用于: 刷新以后的shell环境在以后环境应用source执行Shell脚本从脚本中导入环境中一个Shell函数从另一个Shell脚本中读取变量source命令的语法source命令它须要一个文件,如果提供了参数,那么将用作传递脚本的地位参数。 source FILENAME [ARGUMENTS]也能够应用.代替source命令: . FILENAME [ARGUMENTS]如何应用source命令 刷新以后的shell环境能够在以后的shell环境中定义一个别名。为ls -al定义一个别名为ll:[root@localhost ~]# echo "alias ll='ls -al'" >> ~/.bashrc 在~/.bashrc文件中定义完别名,能够应用source命令刷新以后shell环境: [root@localhost ~]# source ~/.bashrc 当初能够应用ll别名列出当前目录里所有文件了,包含暗藏文件。Linux中source命令的应用形式Linux中source命令的应用形式 在以后环境应用source执行Shell脚本Shell脚本不晓得你在以后Shell环境中定义的变量。source命令可用于在以后会话中执行你的Shell脚本。上面在定义一个变量: [root@localhost ~]# website=https://www.linuxprobe.comLinux中source命令的应用形式Linux中source命令的应用形式创立一个脚本: [root@localhost ~]# vim web.sh !/bin/bashecho $websiteLinux中source命令的应用形式Linux中source命令的应用形式应用source在以后shell会话中执行它: [root@localhost ~]# source web.sh https://www.linuxprobe.comLinux中source命令的应用形式Linux中source命令的应用形式当应用sh运行脚本时,找不到环境中定义的变量:Linux中source命令的应用形式Linux中source命令的应用形式 从脚本中导入环境中一个Shell函数首先创立一个脚本,定义一个函数:[root@localhost ~]# vim func.sh !/bin/bashfoo(){ echo "test function!"}Linux中source命令的应用形式Linux中source命令的应用形式要在以后的shell会话中导入上述脚本的性能,应用上面命令: [root@localhost ~]# source func.sh 上面在终端中执行以下func.sh脚本中的foo函数试试: [root@localhost ~]# footest function!Linux中source命令的应用形式Linux中source命令的应用形式source完脚本之后,能够看到在以后回话的终端中能够执行脚本外面的函数。 从另一个Shell脚本中读取变量首先创立带有一些变量的shell脚本,请输出:[root@localhost ~]# vim var.sh !/bin/basha=1b=2c=3Linux中source命令的应用形式Linux中source命令的应用形式再创立一个脚本,该脚本读取上一个脚本var.sh中的变量: [root@localhost ~]# vim read.sh !/bin/bashsource ~/var.shecho $aecho $becho $c在脚本中首先应用source将var.sh中的变量到处到以后回话,而后echo显示变量值。上面执行read.sh看一下:Linux中source命令的应用形式Linux中source命令的应用形式 读取并执行命令source命令能够从文件读取和执行命令。上面的一个文本文件中带有两个命令,应用source命令运行该文件,看看是否会执行外面的命令。上面创立一个文件cmd.txt,保留两个命令: ...

October 18, 2021 · 1 min · jiezi

关于运维:微软拿掉测试版的头衔正式推出Windows-11-PC健康检查工具

为了不便 Windows 10 老用户评估以后设施是否合乎可降级至新一代 Windows 11 操作系统的最低条件,微软过来三个月始终在致力测试所谓的“PC 健康检查工具”。在经验了宽泛的验证之后,微软当初终于拿掉了“测试版”的头衔,现可供任何有须要的客户应用这款收费工具。微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具 Windows Latest 指出:微软于 6 月最初一周推出了《PC Health Check Tool》,但因为一系列问题反馈,该工具还是很快被从官网撤下。 接着微软变得有些审慎,先是将修改版《PC 健康检查工具》推给 Windows 预览体验成员进行测试,而后再推向更宽广的非预览体验成员。 微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具 周末的时候,咱们发现修订版《PC 健康检查工具》已在微软官网上正式上线。在此之前,该公司仅将之列作“行将推出”。但当初,你可通过以下地址进行获取: https://download.microsoft.co... 微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具 通过该工具,用户可能确认他们以后的桌面配置是否足以反对新一代 Windows 11 操作系统的运行。 若设施不符合要求,微软也不会强制 Windows 10 老用户在 2025 年之前更换降级。 至于通过“官网破绽”装置运行 Windows 11 的用户,微软也敬告危险自负。 微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具微软拿掉“测试版”的头衔,正式推出Windows 11 PC健康检查工具 据悉,从 Windows 11 开始,微软将逐渐进行对不兼容 TPM 2.0 可信赖平台模块的旧设施的反对。 与 Windows 10 操作系统不同,Windows 11 官宣最低须要 8 代英特尔酷睿、以及 AMD 锐龙 2000 系列处理器。 ...

October 15, 2021 · 1 min · jiezi

关于运维:KubeMeet|聊聊新锐开源项目与云原生新的价值聚焦点

简介: 10 月 16 日上海,OAM/KubeVela、OpenKruise、OCM 三大开源我的项目的社区负责人、外围贡献者和企业用户将齐聚 KubeMeet,和现场 100 名开发者聊聊新的技术环境和企业需要下,无关“云原生利用治理”的那些事儿。随着云原生关注点逐步往应用层转移,云原生生态正在向一系列标准化趋势演进,并带来全新的利用交付状态。 从阿里云与微软联结开源的 OAM + OpenKruise 组合锋芒毕露,再到阿里云进一步使能平台构建者的开源框架 KubeVela 迅速走红,再到多集群治理开源我的项目 OCM 呈现,为什么“云原生利用治理与交付”会成为 Kubernetes 之上重要的价值聚焦点?当业务倒退到肯定规模,呈现更多粒度的隔离、容灾等需要,如何应用开源我的项目帮忙企业解决多集群治理挑战?这些新锐的开源我的项目近期又为社区带来了哪些变动? 10 月 16 日上海,OAM/KubeVela、OpenKruise、OCM 三大开源我的项目的社区负责人、外围贡献者和企业用户将齐聚 KubeMeet,和现场 100 名开发者聊聊新的技术环境和企业需要下,无关“云原生利用治理”的那些事儿。 基于 KubeVela实现面向混合云环境的利用交付在云原生理念迅速遍及的明天,混合环境部署(混合云/多云/分布式云/边缘)曾经成为了大多数企业应用、SaaS 服务、利用继续交付平台的必然选择,而云原生技术的发展趋势也正在朝着“统一的、跨云、跨环境的的利用交付”一直迈进。KubeVela 作为一个开箱即用、面向古代微服务架构的利用交付与治理平台,面对混合云环境的利用交付难题,提出一个开源、规范,又不失灵便度的解法。 分享嘉宾:曾庆国(悦达),OAM/KubeVela Maintainer 阿里云技术专家 混合云容器编排引擎 OCM 在蚂蚁金服的实际OCM 技术曾经利用到蚂蚁团体的基础设施中,作为第一步,通过使用一些相似与社区 Cluster API 的运维伎俩将 OCM Klusterlet 一一部署到被治理的集群中去,从而把蚂蚁域内几十个线上线下集群的元信息对立接入到了 OCM 中。这些 OCM Klusterlet 为下层的产品平台提供了多集群治理运维的根底能力不便当前的性能扩大。本次分享介绍由阿里巴巴和红帽联手推出的新一代多云混合云容器编排引擎 Open-Cluster-Management 我的项目、其在蚂蚁金服中的落地实际,以及如何参加社区并颁布后续布局建设的系列个性。 分享嘉宾:金敏(左修),阿里云开发工程师,Kubernetes 维护者 基于 GitLab+KubeVela 的 GitOps 实际KubeVela 是以利用为核心,将复杂多变的微服务交付环境形象为了简略可配置并且好观测的 Application,买通了利用与根底设置之间交付的壁垒,而 GitLab 则提供了欠缺的 GitOps 能力来促成基础架构、运维和开发团队间的合作。GitLab+KubeVela 使用户更加自信地频繁部署,进步软件环境的稳定性、可靠性和安全性。 分享嘉宾:郭旭东,极狐(GitLab)云原生架构师,云原生社区管委会成员&上海站站长 OpenKruise 带给云原生利用治理的新变动原生 Kubernetes 的根底利用治理能力,在大规模利用和生产环境下逐步顾此失彼,较为固化的部署模式与面向终态机制都为这些场景下的利用带来了诸多负面效应。对于这类问题,咱们看到很多公司都做过一些定制的改变与开发来满足本身业务的诉求。而 OpenKruise 开源我的项目致力于补救与扩大 Kubernetes 在利用治理畛域的有余,围绕云原生利用的部署、公布、拓扑分区、平安防护、运维操作等方方面面提供了更加弱小的性能。本次分享将会一览以后 OpenKruise 的能力与布局,带你理解为什么 OpenKruise 能力成为大规模生产集群中的利用治理利器。 ...

October 15, 2021 · 1 min · jiezi

关于运维:Joint-Consensus两阶段成员变更的单步实现

简介: Raft提出的两阶段成员变更Joint Consensus是业界支流的成员变更办法,极大的推动了成员变更的工程利用。但Joint Consensus成员变更采纳两阶段,一次变更须要提议两条日志, 在一些零碎中间接应用时有些不便。那么Joint Consensus成员变更是否只应用单步实现呢? 作者 | 祥光起源 | 阿里技术公众号 一 引言分布式系统运行过程中节点常常会呈现故障,须要反对节点的动静减少、删除和替换。 成员变更是分布式系统绕不开的话题,特地是在一致性零碎中,对于晋升运维能力和服务可用性都有很大的帮忙。 Raft提出的两阶段成员变更Joint Consensus是业界支流的成员变更办法,极大的推动了成员变更的工程利用。但Joint Consensus成员变更采纳两阶段,一次变更须要提议两条日志, 在一些零碎中间接应用时有些不便。尽管Raft也提出了单步成员变更办法,但单步成员变更办法一次只能减少或缩小一个成员,限度较大,并且容易踩坑,个别不举荐应用。 那么很天然的想到,Joint Consensus成员变更是否只应用单步实现呢?本文对这个问题进行了深入探讨。 二 成员变更咱们先来回顾下一致性协定中的成员变更问题。成员变更是在集群运行过程中扭转运行一致性协定的节点,如减少、缩小节点、节点替换等。成员变更过程不能影响零碎的可用性。 成员变更也是一个一致性问题,即所有节点对成员配置达成统一。然而成员变更又有其特殊性,因为在成员变更的过程中,参加投票的成员会发生变化。 图1 成员变更的某一时刻Cold和Cnew中同时存在两个不相交的多数派 如果将成员变更当成个别的一致性问题,成员变更过程中,各节点从旧成员配置Cold切换到新成员配置Cnew的时刻可能有差别,可能在某一时刻Cold和Cnew中同时存在两个不相交的多数派,造成双Quorum,毁坏一致性。 为了解决这个问题,Raft提出了两阶段的成员变更办法Joint Consensus。 1 Joint Consensus成员变更Joint Consensus成员变更为了防止双Quorum问题,引入一个联结成员配置Cold,new作为过渡配置, Cold,new是Cold和Cnew的组合。Cold与Cold,new的Quorum有交加,Cold,new与Cnew的Quorum也有交加。成员变更先从Cold切换到Cold,new,待Cold,new提交后,再切换到Cnew,保障Cold与Cnew不同时应用,因此不会造成双Quorum,保障安全性。 图2 Cold与Cold, new与Cnew三者的Quorum汇合之间的关系 Joint Consensus应用两条日志实现成员变更过程。Leader收到成员变更申请后,先向Cold和Cnew同步一条Cold,new日志,尔后所有日志都须要Cold和Cnew两个多数派的确认。Cold,new日志在Cold和Cnew都达成多数派之后能力提交,尔后Leader再向Cold和Cnew同步一条只蕴含Cnew的日志,尔后日志只须要Cnew的多数派确认。Cnew日志只须要在Cnew达成多数派即可提交,此时成员变更实现,不在Cnew中的成员主动下线。 图3 Joint Consensus成员变更过程 成员变更过程中如果产生Failover,老Leader宕机,Cold,new中任意节点都可能成为新Leader,如果新Leader上没有Cold,new日志,则持续应用Cold,Follower上如果有Cold,new日志会被新Leader截断,回退到Cold,成员变更失败;如果新Leader上有Cold,new日志,则持续将未实现的成员变更流程走完。 2 单步成员变更Joint Consensus成员变更之所以须要两个阶段,是因为对Cold与Cnew的关系没有做任何假如,为了防止Cold和Cnew各自造成不相交的多数派而造成双Quorum,才引入了两阶段计划。 如果加强成员变更的限度,假如Cold与Cnew的Quorum交加不为空,Cold与Cnew就无奈造成双Quorum,则成员变更就能够简化为一阶段。 实现单步的成员变更,关键在于限度Cold与Cnew,使Cold与Cnew的Quorum交加不为空。那么怎么样限度Cold与Cnew,能力使Cold与Cnew的Quorum交加不为空呢?办法就是每次成员变更只容许减少或删除一个成员。 图4 减少或删除一个成员时Cold与Cnew的Quorum 减少或删除一个成员时的情景,如图4所示,能够从数学上严格证实,只有每次只容许减少或删除一个成员,Cold与Cnew不可能造成两个不相交的Quorum。因而只有每次只减少或删除一个成员,从Cold可间接切换到Cnew,无需过渡成员配置,实现单步成员变更。 单步成员变更一次只能变更一个成员,如果须要变更多个成员,如实现替换成员等,能够通过执行屡次单步成员变更来实现。 单步成员变更实践尽管简略,但却埋了很多坑,理论用起来并不是那么简略。先前的文章Raft成员变更的工程实际中有具体介绍。 三 两阶段成员变更的单步实现Joint Consensus成员变更尽管通用然而采纳两阶段,一次变更须要提交两条日志,单步成员变更尽管只须要提交一条日志,然而限度较大,一次只能变更一个成员。两者的劣势是否联合呢?Joint Consensus成员变更是否只用单步实现呢? Joint Consensus成员变更过程中,Cold,new日志的提交曾经让各节点对Cnew配置达成了统一,那么Cnew日志有什么作用呢?是否在Cold,new日志提交后就从Cold,new配置切换到Cnew配置呢?这样是不是就能够不须要Cnew日志,变成单步实现了呢? 思考Joint Consensus成员变更中Cnew日志的作用,Cnew日志在Cold,new日志提交之后发动提议,节点收到并长久化Cnew日志后从Cold,new配置切换到Cnew配置,不在Cnew配置中的成员在Cnew日志提交后下线。依据这个过程,能够总结出Cnew日志的作用: 告诉节点在收到并长久化Cnew日志后从Cold,new配置切换到Cnew配置。告诉不在Cnew配置中的节点在Cnew日志提交后下线。成员变更过程中产生Failover后,本地有Cnew日志的节点具备优先选举权。如果能不应用Cnew日志同时又实现Cnew日志的工作,不就能够用单步实现两阶段的Joint Consensus成员变更吗?事实上曾经有零碎摸索过这条路。 1 ZooKeeper成员变更ZooKeeper从3.5.0版本开始在Zab的根底上反对了成员变更。ZooKeeper具备Primary Order个性,而应用两条日志的Joint Consensus成员变更无奈保障Primary Order个性,为了既满足成员变更的通用性,又不丢失Primary Order个性,ZooKeeper在论文《Dynamic Reconfiguration of Primary/Backup Clusters》中提出了本人的成员变更办法,并在ZooKeeper中利用了此办法,比Raft的提出还早。 ...

October 14, 2021 · 1 min · jiezi

关于运维:业界首个机密计算容器运行时Inclavare-Containers正式进入CNCF

简介: Inclavare Containers 通过云原生计算基金会(CNCF)TOC 投票正式成为 CNCF 官网沙箱我的项目。 作者|彦荣 2021 年 9月 15 日,Inclavare Containers 通过云原生计算基金会(CNCF)TOC 投票正式成为 CNCF 官网沙箱我的项目。Inclavare Containers 是一个最后由阿里云操作系统平安团队和云原生容器平台团队独特研发,并联结 Intel 独特打造的业界首个面向秘密计算场景的开源容器运行时我的项目。 Inclavare Containers 我的项目地址:https://github.com/alibaba/in... 首个秘密计算开源容器运行时- Inclavare Containers云原生环境下,秘密计算技术基于硬件可执行环境,为用户在应用(计算)过程中的敏感数据提供了机密性和完整性的爱护,然而同时也面临着开发、应用和部署门槛高、敏感利用容器化操作简单、Kubernetes 不提供原生反对、以及不足对立的跨云部署计划等一系列问题;而 Inclavare Containers 正是为解决这些问题而生的。 Inclavare Containers 零碎架构图 Inclavare Containers 可能与 Kubernetes 和 Docker 进行集成,是业界首个面向秘密计算场景的开源容器运行时,其指标是为业界和开源社区提供面向云原生场景的秘密容器技术、秘密集群技术和通用的近程证实平安架构,并力争成为该畛域的事实标准。该我的项目于 2020 年 5 月开源,短短一年多工夫内倒退迅速,吸引了泛滥领域专家和工程师的关注与奉献。 五大特色性能,为用户数据保驾护航Inclavare Containers 采纳了新鲜的办法在基于硬件的可信执行环境中启动受爱护的容器,以避免不受用户信赖的实体拜访用户的敏感数据。其外围性能和特点包含: 移除对云服务提供商的信赖,实现零信赖模型:Inclavare Containers 的平安威逼模型假如用户无需信赖云服务提供商,即用户工作负载的安全性不再依赖云服务提供商管制的特权组件。提供通用的近程证实平安架构:通过构建通用且跨平台的近程证实平安架构,可能向用户证实其敏感的工作负载是运行在真实可信的基于硬件的可信执行环境中,且硬件的可信执行环境能够基于不同的秘密计算技术。定义了通用的 Enclave Runtime API 标准:通过规范的 API 标准来对接各种状态的 Enclave Runtime,在简化特定的 Enclave Runtime 对接云原生生态的同时,也为用户提供了更多的技术抉择。目前,Occlum、Graphene 和 WAMR 均为 Inclavare Containers 提供了 Enclave 运行时的反对。OCI兼容:Inclavare Containers 我的项目设计并实现了合乎 OCI 运行时标准的新型 OCI 运行时 rune,以便与现有的云原生生态系统保持一致,实现了秘密容器状态。用户的敏感利用以秘密容器的模式部署和运行,并放弃与应用一般容器雷同的应用体感。与 Kubernetes 生态无缝整合:Inclavare Containers 能够部署在任何公共云 Kubernetes 平台中,实现了对立的秘密容器部署形式。减速云原生基础设施拥抱秘密计算Inclavare Containers 开源我的项目致力于通过联合学术界的原创钻研和工业界的落地实际能力,减速云原生基础设施拥抱秘密计算,通过中立化的社区构建云原生秘密计算平安技术架构。除了曾经与 Intel 建设了单干关系外,打算在之后与其余芯片厂商陆续建设相似的单干关系;此外,咱们曾经开始与高校和学术界建设新的单干关系,以挖掘出 Inclavare Containers 在秘密计算畛域的更多潜能。 ...

October 12, 2021 · 1 min · jiezi

关于运维:一文看懂微服务背后的技术演进与应用实践

简介: 2021年7月2日,阿里云用户组(AUG)第一次线下流动在济南召开。阿里云云原生资深专家李国强联合本身微服务畛域教训,现场跟数十家山东企业分享了云原生的代表技术之一“微服务”的演进和利用实际。本文依据作者的现场演讲整顿而成。 2021年7月2日,阿里云用户组(AUG)第一次线下流动在济南召开。阿里云云原生资深专家李国强联合本身微服务畛域教训,现场跟数十家山东企业分享了云原生的代表技术之一“微服务”的演进和利用实际。本文依据作者的现场演讲整顿而成。 背景在企业外部分为运维或开发,但最终所有做的事件都是为了解决业务的问题。如果你做一件事件,只有技术指标而没有业务指标,失败是很常见的。 什么样的业务诉求会驱动一个企业去思考微服务呢? 随着架构的演进,当你的业务越来越简单,组件越来越多,对于每个业务组件的独立性要求或者技术栈的异构老本越来越高的时候,就会须要去思考微服务。换言之,如果这个业务是一个比拟安稳、没有什么大的挑战,其实不须要去做微服务的革新。 各企业须要联合本人的业务去进行剖析是否真的需要微服务。很多企业可能为了沟通,或者架构师、CTO有本人的诉求,想要这个技术当先去做微服务,最终惨淡开场,其实这种案例是十分多的。微服务的适用性肯定是从一个业务驱动的这个角度思考的,须要思考的是业务的复杂程度。 比拟单体和微服务之间的一个区别,什么状况下须要它,和复杂程度是十分相干的。当你的一个业务的复杂程度比拟低,处于单体时代的时候,前端后端数据库都是一体的,须要进行变更时,一个数据包下来,所有的这个业务都下来了。并且,当你的业务足够简略的时候,单体效率肯定是最高的。 业务一直往前演进,复杂度越来越高的时候,单方面的公布可能会影响到他人。比方我有一个数据包,里边对应一个模块,在这个模块上线的时候,须要去思考别的模块怎么上线。业务流量进行扩缩容的时候,须要对整个业务进行沟通,而不是对单个模块进行沟通,你会发现资源节约会很高。这个时候就会到一些拐点,不论是你的发版或者是你的资源利用率都会呈现一些问题,生产效率开始升高。单体利用架构的效率呈现的拐点就是客户思考是否须要微服务架构的一个工夫点。 微服务的利用架构1、利用架构的演进历程微服务最早的时候其实还是单品为主。当初的微服务对支流的一些技术框架,像 Java 体系的四分之二的 Double 类,其余语言都没有搁置。但实际上其余语言都有十分多的微服务框架能够抉择,像 PDP 等都会有一些。 之前云栖大会做过一次统计,账号体系在整个后端开发中的位置,50%的投票是 Java 后端开发。但当初企业越来越多元化,之前 Java 占统治的位置曾经产生了变动。规模略大的公司基本上都是多元体系,外面有很多种,不同业务线的诉求不一样,可能有的业务线是 Java;有些业务偏前端框架,会用 PAP、PYTHON;还有就是企业的并购,也会带来很多元的体系。 多元数据的解法就是用一个多种的维度计划或是用新的技术模式,再往后就是容器化,微服务带来的很多问题是通过容器来解决的。包含微服务器,有些人可能间接放弃不必了。负责人看到 Double 这个体系,间接用 K8sS Service 去做它的这个运行的裸露单元,益处是和语言无关,什么样的体系外面都能够是一个 K8s Service。但在用了微服务后裸露进去的问题会比拟多,咱们须要对这么多的业务组件进行治理。 K8s 自身是不强的,就是为了要进一步解决这个问题,引入了更多的网格技术。去年开始越来越多的企业开始做网格网络,这外面就包含用 Service Mesh 这个服务网解决跨语言的调研和服务治理。还有一个更新的叫做 Dapr 的技术解决供应链依赖问题。 能够发现,利用架构的演进是一个业务一直地提出问题,而后产出新框架,新的框架又可能会引入新的问题,一直推动着技术的运行过程。 阿里利用架构演进 整个阿里巴巴外部是齐全走过一遍上述流程的,因为业务的快速增长,对技术团队也在一直地进行挑战。PHP 是世界上最好最早的语言,淘宝商城其实就是用的 PHP。然而起初业务倒退,淘宝的体量越来越快后,岂但不可能撑持这个业务,PHP 自身的扩大能力也撑不住了。 2009 年,阿里先做了分布式业务。阿里正式地从单体变成了分布式业务,那时候体量曾经比拟大,还没有双十一,但曾经促成了阿里外部去做本人的分布式框架。除了会有分布式的服务框架,还有一些分布式的数据库和分布式的相应规定,在外部称为三辆马车,这也是从单体变成分布式框架时,必须要解决的三件事。 到 2011 年时,阿里开始摸索容器化,先做了 T4 我的项目,是对于容器化的技术实现,最初变成 Pouch 的容器化的实现,它也是合乎容器规范的容器化的实现。这体现出针对微服务后带来的运维挑战,容器是一个十分好的解决方案。 再往后到 2013 年,整个 Oracle 包含小型机在阿里下线,全副变成本人的开源的技术栈。2015 年开始,阿里全面拥抱云原生技术,包含容器技术的对外开放等业务,整个体系逐渐深入。2016 年到 2019 年间,阿里做了云原生上云,蕴含曾经全面拥抱的 K8s 体系,以及微服务的革新、治理等。 到当初这段时间,咱们做的事件是图上画的最初一个阶段:基于网格进一步对服务点的反对,多语言越来越常见。阿里有很多业务是从内部合并进来的,阿里原来的整套技术策略全部都是 Java,对外部合并进来的用户十分不敌对,因为他们不可能全副配好重启,不得不去适配 Java。所以,近来咱们在做的事件就是基于网格的新一代微服务架构做演进,会有一些技术让微服务的框架自身对于多元的反对变得更好,包含治理也能够去解耦,这也是老本较高的一个起因。 ...

October 11, 2021 · 2 min · jiezi

关于运维:KubeVela-11-发布开启混合环境应用交付新里程碑

简介: KubeVela 作为一个开箱即用、面向古代微服务架构的利用交付与治理平台,明天正式公布了 1.1 版本,以更加用户敌对和欠缺的功能集,开启了“让混合环境利用交付更加简略高效”的重要里程碑。 在云原生理念迅速遍及的明天,混合环境部署(混合云/多云/分布式云/边缘)曾经成为了大多数企业应用、SaaS 服务、利用继续交付平台的必然选择,而云原生技术的发展趋势也正在朝着“统一的、跨云、跨环境的的利用交付”一直迈进。然而,无论是 Kubernetes 自身还是现有的各类利用交付零碎,都没有在现今混合、分布式的部署环境之上引入统一的下层形象来为利用交付进行建模。这种不足对立下层形象的利用交付过程,往往同底层基础设施严密耦合,导致用户心智累赘很重并且重大依赖于用户集体的教训和能力。这不仅会大幅影响用户体验、降低生产效率,甚至还会导致谬误和故障的产生。 而当初,这个问题终于有了一个开源、规范,又不失灵便度的解法。它就是: KubeVela 作为一个开箱即用、面向古代微服务架构的利用交付与治理平台,明天正式公布了 1.1 版本,以更加用户敌对和欠缺的功能集,开启了“让混合环境利用交付更加简略高效”的重要里程碑。 具体来说,1.1 版本的 KubeVela 与现有各类利用交付零碎相比,有着显著的不同和劣势: 齐全以利用为核心 - 与各类“搭积木”式的 PaaS 零碎或者利用平台不同,KubeVela 我的项目自身是构建于一套欠缺的利用交付模型与实践根底之上的,这就是“凋谢利用模型(OAM)”技术。OAM 模型可能通过申明式的定义来捕捉面向混合环境的微服务利用交付的整个过程,甚至包含云服务的拉起与绑定、可观测性、多集群散发策略、流量调配和滚动更新等各种运维行为和特色。通过这样一个对立的、基础设施无关的下层模型,KubeVela 人造就可能做到让用户无需关怀任何基础设施细节、只专一于业务价值和交付过程,真正实现了齐全 Serverless 化的利用治理与交付体验。 可编程式交付工作流 - 在 Kubernetes 面向终态的根底上,KubeVela 还通过“交付流水线(Workflow)“来反对面向过程的利用交付流程,同时通过 Kubernetes 终态能力来保障该流水线执行的正确性与幂等性。在内核中,KubeVela 流水线是通过 CUE 来实现的。CUE 是一种诞生自 Google Borg 零碎的数据配置语言(即:borgcfg),它能够将利用交付过程的所有步骤、所需资源、关联的运维动作以可编程的形式定义成一个 DAG(有向无环图),并以此作为用户最终的交付打算。这使得 KubeVela 的交付流水线不仅应用简略、扩展性极强,也更合乎古代 GitOps 利用交付的趋势与要求。 基础设施无关 - 在 1.1 版本中,KubeVela 实现了 100% 的“管制平面化”。这意味着它自身成为了一个运行在管控集群中的、齐全与利用运行基础设施无关的交付管制立体。这种“应用 Kubernetes 作为管控立体、面向任何基础设施进行利用交付与治理”的新架构,使得 KubeVela 能够依照用户定义的工作流与交付策略,面向任何环境交付和治理任意类型的利用组件,包含:容器、云函数、数据库、云服务、虚拟机实例等等。 KubeVela 1.1 介绍自 Kubevela 1.0 版本公布以来,KubeVela 社区倒退十分迅速,截止目前曾经有超过 100+ 名开发者参加奉献,而且就在上个月,KubeVela 和 OAM 我的项目也曾经整体捐献给了 CNCF 基金会进行托管。在 1.1 版本中,KubeVela 更加聚焦面向混合环境的利用交付流程,带来了多集群交付、交付流程定义、灰度公布、私有云资源接入等多个开箱即用的能力和更加敌对的用户体验。这其中,有两个外围能力值得特地关注: ...

October 11, 2021 · 2 min · jiezi

关于运维:Owncloud一键安装入门教程

如何装置部署owncloudowncloud是一个自在且开源的客户端到服务器端的软件,可作为集体云存储解决方案。 包含两个局部:服务器和客户端。owncloud相似百度网盘,能够进行云备份,云存储图片,视频和文档等。ownclowd性能存储:图片,文档,视频,通讯录以及其余等等客户端反对:Android,IOS,MaxOS,Windows,Web,Linux分享:能够间接共享间接链接给敌人在线看视频,文档,音乐。非常适合作为家庭网络存储核心,全家共享能够自行批改性能(作为开发者)上面咱们就来学习一下如何简略疾速的装置部署好owncloud服务1.找到owncloud的装置服务可点击试用。 2.装置部署增加节点-抉择版本-填写参数-部署胜利 装置部署过程简略又疾速,具体的装置教程如下:如何增加节点?https://www.bilibili.com/vide...如何装置部署owncloud?https://www.bilibili.com/vide...

October 11, 2021 · 1 min · jiezi

关于运维:记一次Kafka服务器宕机的真实经历

大家好,我是冰河~~ 预计节前前祭拜服务器不灵了,年后服务器总是或多或少的呈现点问题。不知是人的问题,还是风水问题。昨天上班时,跟运维小伙伴交代了好几遍:如果应用Docker装置Kafka集群的话,也须要把Kafka集群的服务器硬盘调配的大一些,公司业务量很大,很多服务的通信、数据的流转、日志采集的传输等,都是通过Kafka音讯总线进行的。 没想到明天早上一到公司,刚刚做到工位上,关上我的电脑,邮件里霎时收到大量服务器告警信息,紧接着看到监控大屏上显示,内网几台测试服务器挂了。此时,我的表情是这样的。 我靠,啥状况?刚一来就搞事件?哪些服务器出问题了?再定睛一看大屏,我去,这不是昨天跟运维小伙伴说的那几台Kafka集群服务器吗? 刚测试就挂了?不会这么衰吧? 于是,我连忙走到运维小伙伴旁边,说:你昨天怎么配置的服务器啊? 他说:我没配置啊?不是测试环境吗?我就没怎么配置,我是每台服务器给了120G空间,依照默认设置装置的Kafka集群啊! 我:不是跟你说了让你把服务器磁盘空间设置的大一些吗?。。。 心里再怎么无语,也要解决问题啊!于是我连忙登录服务器,在服务器命令行执行命令,将以后服务器终端所在的目录切换到Docker镜像默认的目录下。 [root@localhost ~]# cd /var/lib/docker后果却报错了,报错信息如下所示。 [root@localhost ~]# ls -bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间-bash: 无奈为立刻文档创立临时文件: 设施上没有空间 无奈切换目录了。咋办?我下意识的看下服务器的磁盘状况,后果一看出事了。 [root@localhost ~]# df -lh文件系统 容量 已用 可用 已用% 挂载点devtmpfs 3.8G 0 3.8G 0% /devtmpfs 3.9G 0 3.9G 0% /dev/shmtmpfs 3.9G 82M 3.8G 3% /runtmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup/dev/mapper/localhost-root 50G 50G 0G 100% //dev/sda1 976M 144M 766M 16% /boot/dev/mapper/localhost-home 53G 5G 48G 91% /hometmpfs 779M 0 779M 0% /run/user/0overlay 50G 50G 0G 100% /var/lib/docker/overlay2/d51b7c0afcc29c49b8b322d1822a961e6a86401f0c6d1c29c42033efe8e9f070/mergedoverlay 50G 50G 0G 100% /var/lib/docker/overlay2/0e52ccd3ee566cc16ce4568eda40d0364049e804c36328bcfb5fdb92339724d5/mergedoverlay 50G 50G 0G 100% /var/lib/docker/overlay2/16fb25124e9b85c7c91f271887d9ae578bf8df058ecdfece24297967075cf829/merged我去,根目录磁盘空间占用率100%,果然跟我想的一样。 而且输入的后果信息中,显示了几个重要的信息,如下所示。 ...

October 9, 2021 · 2 min · jiezi

关于运维:理解脸书是如何从互联网消失的

原文: [https://blog.cloudflare.com/o...]译: 时序 “FB不会宕机,不是吗?”,咱们想了几分钟这个问题 明天2021.10.4 16:51 UTC,咱们建了一条题目为“FB DNS 查问返回SERVFAIL”的单子,因为咱们放心咱们的DBS 1.1.1.1呈现了问题。但当咱们要在咱们的的[公共状态]页面公布状态时咱们发现可能有更重大的问题正在产生。 社交媒体迅速发酵报道了这件事同时咱们的工程师也确认了。FB以及它的关联服务WhatsApp与Instagram也全宕了。它们的DNS域名进行了解析,它们的基础设施IP也不可用了。那就像是有人将他们的数据中心同时“拔了网线”,让他们从互联网上隐没了。 这怎么会产生呢? 会会BGPBGP的全名是边界网关协定(Border Gateway Protocol)。它是一种用来在互联网上的自主Autonomous零碎(AS)与路由信息替换信息的协定。微小的的路由让互联网能够让路由疾速更新连通的列表来传递网络包到指标地址。没有BGP,互联网路由不晓得怎么做,互联网就不工作了。 互联网基本上就是一堆网络中的网络,它是被BGP协定划分。BGP让一个网络(这里是指FB)来向互联网中的其余网络告知其的存在。因为咱们后面提到FB没有播送它的存在,ISP服务商和其余网络不晓得如何能找到FB的网络,所以它就不可用了。 每个独立的子网都有一个ASN:(Autonomous System Number)。一个Autonomous零碎(AS)都是一个应用了独自外部路由策略的独立网络。一个AS能够生成前缀(表明它们管制一组IP地址),其也能够传送前缀(表明它们晓得如果到达一组特定的IP地址)。 Cloudflare的ASN是AS13335.每个ASN都要应用BGP申明它的前缀路由到互联网;不然的话,没有人晓得如何连上并查找咱们。 咱们的[学习核心]有对于[BGP]和[ASN]如何工作的很好的材料。 这是一张简化的图,你能看到互联网有6个autonomous零碎,2条一个数据包能够用来从开始点到完结点的路由。 AS1->AS2->AS3是最快的,AS1->AS6->AS5->AS4->AS3是最慢的,但如果第一条路出问题了也能够走。在1658UTC咱们留神到FB进行向路由播送它们的DNS前缀。这示意,至多FB的DNS服务器不可用了。因为这个起因Cloudflare的1.1.1.1的DNS无法回答对于facebook.com或instagram.com的IP地址查问。route-views>show ip bgp 185.89.218.0/23% Network not in tableroute-views> route-views>show ip bgp 129.134.30.0/23% Network not in tableroute-views>同时,其余的FB IP地址依然是可路由的,但因为没有FB的DNS相干信息根本没什么用:route-views>show ip bgp 129.134.30.0 BGP routing table entry for 129.134.0.0/17, version 1025798334Paths: (24 available, best #14, table default) Not advertised to any peer Refresh Epoch 2 3303 6453 32934 217.192.89.50 from 217.192.89.50 (138.187.128.158) Origin IGP, localpref 100, valid, external Community: 3303:1004 3303:1006 3303:3075 6453:3000 6453:3400 6453:3402 path 7FE1408ED9C8 RPKI State not found rx pathid: 0, tx pathid: 0Refresh Epoch 1route-views> ...

October 5, 2021 · 1 min · jiezi

关于运维:Linux中如何使用alias命令

alias命令在Linux中常常应用,能够使在Linux命令行上的工作更加顺畅,然而它们也可能很简单且难以记住,这篇文章探讨了如何使alias命令。通常状况下alias命令适宜上面场景: 简化过长且过于简单的命令记住简单名称的命令应用你常常应用的命令节省时间如何创立alias例如,设置一个别名列出所有文件包含暗藏文件,别名为la: [root@server1 ~]# alias la='ls -al'执行一下别名la看一下: [root@server1 ~]# latotal 68dr-xr-x---. 3 root root 216 May 25 13:13 .drwxr-xr-x. 19 root root 271 May 7 15:12 ..-rw-------. 1 root root 1178 Dec 29 2019 anaconda-ks.cfg-rw-------. 1 root root 14798 May 20 01:48 .bash_history-rw-r--r--. 1 root root 18 May 11 2019 .bash_logout-rw-r--r--. 1 root root 176 May 11 2019 .bash_profile-rw-r--r--. 1 root root 176 May 11 2019 .bashrcdrwx------ 3 root root 17 Mar 11 11:17 .cache-rw-r--r--. 1 root root 100 May 11 2019 .cshrc-rw------- 1 root root 64 May 25 13:13 .lesshst-rw-r--r-- 1 root root 234 May 19 09:52 sample.html-rw-r--r--. 1 root root 129 May 11 2019 .tcshrc-rw-r--r-- 1 root root 1178 May 19 09:32 test.txt-rw------- 1 root root 15904 May 25 10:15 .viminfoLinux中如何应用alias命令Linux中如何应用alias命令如果要永恒应用,能够将该命令写入~/.bashrc文件外面。 ...

October 4, 2021 · 1 min · jiezi

关于运维:使用Dmidecode获取硬件信息使用实例

Dmidecode是一个可读性的检索系统硬件信息的工具。Dmidecode的意思是DMI表(桌面治理接口)解码器,顾名思义,它从DMI表读取数据,并以人类可读的格局输入。DMI表蕴含零碎硬件细节,如BIOS,序列号,RAM(DIMMs)和CPU细节等,除了这个,dmidecode还能够检索对于零碎反对的最大配置的细节(如DIMMs和处理器等)。了解dmidecode输入的信息运行dmidecode命令之后,屏幕会输入大量记录,能够应用less分页查看,每个记录有4个不同的值: Handle: 标识符号DMI type: DMI类型,下图中类型为0,指的是BIOS信息。占用的大小: 指的是这条记录占用的大小解码值: 对于记录类型的信息。下图中,显示BIOS的厂商名、版本号、公布日期等信息。运行如下命令: [root@localhost ~]# dmidecode | less应用Dmidecode获取硬件信息应用实例应用Dmidecode获取硬件信息应用实例 dmidecode命令中DMI类型列表SMBIOS标准定义了以下DMI类型: Type Information──────────────────────────────────────────── 0 BIOS 1 System 2 Baseboard 3 Chassis 4 Processor 5 Memory Controller 6 Memory Module 7 Cache 8 Port Connector 9 System Slots 10 On Board Devices 11 OEM Strings 12 System Configuration Options 13 BIOS Language 14 Group Associations 15 System Event Log 16 Physical Memory Array 17 Memory Device 18 32-bit Memory Error 19 Memory Array Mapped Address 20 Memory Device Mapped Address 21 Built-in Pointing Device 22 Portable Battery 23 System Reset 24 Hardware Security 25 System Power Controls 26 Voltage Probe 27 Cooling Device 28 Temperature Probe 29 Electrical Current Probe 30 Out-of-band Remote Access 31 Boot Integrity Services 32 System Boot 33 64-bit Memory Error 34 Management Device 35 Management Device Component 36 Management Device Threshold Data 37 Memory Channel 38 IPMI Device 39 Power Supply 40 Additional Information 41 Onboard Devices Extended Information 42 Management Controller Host Interface输入时能够应用关键字来代替数字模式的类型。须要增加--type参数。 ...

September 30, 2021 · 2 min · jiezi

关于运维:喜报腾讯安全斩获三项数据安全大奖

9月23日-24日,由中国信息协会主办的2021第三届中国电子政务平安大会在北京顺利召开,腾讯平安在本次大会推优评比中摘得“2021中国数据安全领导力企业”、“2021中国数据安全优良解决方案”、“2021中国数据安全优良样板工程”三项大奖。 “政府数字化转型离不开信息安全的保驾护航,随着网络化、数字化、智能化的日益深刻,新的平安挑战将继续存在数字化转型全过程。”中国信息协会副会长吴钰在开幕式中提到,本次大会心愿汇聚政企产学研等各方力量,研究数字经济时代下数字政府建设的平安凋谢共享问题,踊跃寻求可落地、可借鉴的数据安全治理领导。 数字化转型已是当今世界不可逆转的趋势。据理解,联合国193个成员国中,已有151个国家制订了数字化转型策略。我国“十四五”布局和2035年近景指标大纲中也明确提出:增强数字社会、数字政府建设,晋升公共服务、社会治理等数字化智能化程度。这将进一步推动我国数字政府的建设步调。 数据安全解决方案,护航政务体系数字化转型 腾讯数据安全产线负责人崔卓受邀缺席此次大会,进行了“政务大数据平台数据安全思考与实际”的主题分享。他提到,政务数据的流转和散布简单,其危险包含潜在内部攻打、数据合规、以及因为第三方的存在,数据须要进行的内外部流转。 腾讯平安将整个政务数据安全体系划分成两局部:一是管理体系,二是技术体系。基于分层解耦的建设思路,又将数据安全架构划分为数据安全服务、数据安全核心、数据安全能力三个档次。 其中,数据安全核心是整个解决方案的外围,起到承前启后的作用。基于接口标准,数据安全核心对上述的数据安全能力进行对立编排、治理,为企业或组织提供云原生、SaaS化数据安全能力,实现数据安全能力的即开即用、弹性扩容、按需免费。企业及组织能够依据理论状况,联合数据安全服务提供的倡议,疾速抉择、组合、搭建适宜本身的数据安全能力,也可基于接口标准,集成第三方的数据安全能力,实现横向扩容,大幅升高数据安全解决方案的施行老本与保护难度。 顶层布局+继续经营,腾讯数据安全落地10+政务平台 基于腾讯20多年的黑灰产反抗教训,腾讯平安在数据安全畛域积攒并积淀了扎实的实战能力,能够为政府和企业客户提供从顶层的数据安全布局、数据安全生命周期的平安防护以及继续的数据安全经营能力,目前已胜利在“武汉智慧城市”、“数智贵阳”、“长沙城市超级大脑”、“江门人才岛”、“重庆市大数据资源核心”等数十个我的项目中无效落地。 以“武汉智慧城市”为例,基于以后武汉市智慧城市安全形势和环境,腾讯云以政务云主导,以数据安全为平安中台,整合公共资源,为公民和企业的间接需要提供云服务的创新型服务平台,以“四大中枢”(数据、人工智能、区块链、利用)为撑持,构建数据交融贯通、利用对立撑持、运行精准剖析、指挥高效协同的智慧城市根底平台,并充分利用现有充分利用现有安全控制措施及最新技术,满足整个平安计划的交付,如 SDN、VXLAN、存储虚拟化、网络虚拟化技术等。 “咱们也在摸索数据安全沙箱的做法,将在政务大数据平台开拓独立空间建设数据安全沙箱,当用户或者机构须要数据时,并非间接凋谢数据,而是把数据放到沙箱里,凋谢对应权限。”崔卓提到,数字沙箱里的数据能够进行建模、剖析等相干操作,甚至还能够把内部数据补充到沙箱里,进行其余操作,但原始数据可能始终保障平安,在数据“不落地”的状况下进行替换和共享。 崔卓示意,腾讯平安会继续进行思考与摸索,建设数据安全治理体系,推动相干政策、规范、制度、流程等咨询服务的落地,并将数字技术广泛应用于各政务服务的职能之中,晋升数字化政府服务效力,进一步施展数字政务的特点。

September 29, 2021 · 1 min · jiezi

关于运维:consul查用命令

1、查看consul集群详细信息curl xxxx:8050/v1/operator/raft/configuration2、consul集群读写测试curl --connect-timeout 10 -X PUT --data "test" http://${hostip}/v1/kv/foocurl http://${hostip}/v1/kv/foo3、consul备份数据curl http://xxx:8050/v1/snapshot?d... -o registry_31.tgzcurl http://xxx:8050/v1/snapshot?d... -o registry_30.tgz

September 27, 2021 · 1 min · jiezi

关于运维:我写了一个脚本可在任意服务器上执行命令

大家好,我是冰河~~ 冰河之前保护着上千台服务器组成的服务器集群,如果每次须要在服务器上执行命令的时候,都要手动登录每台服务器进行操作的话,那也太麻烦了。你想想,如果在上千台服务器的集群中,每台服务器中只须要简略的执行一个雷同的命令,那别说执行命令了,就是让你顺次手动登录上千台服务器,那也够你受的了。预计顺次登录上千台服务器,给你三天工夫你可能都登不完,那怎么办呢?有没有什么好的办法来解决这个问题呢? 别急,咱们明天就是来解决这个问题的。 说实话,我在保护上千台服务器集群的时候,并没有去顺次手动登录每台服务器,为啥?没错,就是因为我懒啊!我懒的去登录,并且顺次登录那么多台服务器,整个人都会解体的。 于是,我就想方法能不能写个脚本,让这个脚本接管我要执行的命令,而后将命令顺次散发到集群上所有的服务器中执行,这不就解决问题了吗?说干就干。 不过,这里,有个须要留神的中央:那就是:须要提前配置好集群中每台服务器的主机名和IP地址的对应关系,可能相互应用主机名进行通信,并配置了SSH免明码登录。这一点不行放心,只有让运维在布局和调配服务器的时候,布局好就行了,无需前面再顺次登录服务器解决。 为了不便小伙伴们了解,这里咱们就假如集群中存在1024台服务器,每台服务器的主机名为binghe1~binghe1024。每台服务器能够通过主机名进行通信,接下来,我写了一个名称为distribute_command.sh的脚本,内容如下所示。 #!/bin/bashpcount=$#if (( pcount<1 )) ; then echo no args; exit;fi#先在本机上执行命令echo ------------binghe$host-----------------$@#循环在集群中的近程节点上执行命令for (( host=1 ; host<=1024; host=host+1)) ; do echo ------------binghe$host----------------- ssh binghe$host $@done;这个脚本的含意为:接管传递进来的命令,将命令散发到主机名为binghe1~binghe1024的服务器上执行,也就是说,应用这个脚本咱们可能做到:同时在集群的服务器上执行雷同的命令。 接下来,为distribute_command.sh脚本赋予可执行权限,如下所示。 chmod a+x ./distribute_command.sh应用格局如下: ./distribute_command.sh 在服务器上执行的残缺命令应用示例 在集群中的每台服务器的/home目录下创立hello.txt文,内容为hello world./distribute_command.sh echo "hello world" >> /home/hello.txt查看集群中每台服务器上hello.txt文件的内容./distribute_command.sh cat /home/hello.txt删除集群中每台服务器上的hello.txt文件./distribute_command.sh rm -rf /home/hello.txt是不是很简略啊?所以说,有时候,不要自觉的去执行。很多时候,在做事件之前,要先思考下有没有更好的解决方案,有没有效率更加高效的解决方案。就比方这篇文章上说的,在上千台服务器上执行一条命令,如果顺次手动登录每台服务器执行命令,预计花三天工夫都搞不定;如果咱们写了一个脚本的话,预计也就1分钟之内就搞定了。所以,效率和品质才是做事件须要谋求的指标。 好了,明天就到这儿吧,我是冰河,咱们下期见~~

September 25, 2021 · 1 min · jiezi

关于运维:云网管云上构建网络自动化体系

简介: 云网管是基于阿里云网络多年技术和教训积淀打造的云上智能网络管理运维平台,提供企业网络全生命周期治理运维的能力,让部署更快捷、运维更高效、网络更通明。 一、背景云网管是基于阿里云网络多年技术和教训积淀打造的云上智能网络管理运维平台,提供企业网络全生命周期治理运维的能力,让部署更快捷、运维更高效、网络更通明。 用户痛点 装置部署难传统网管大多都是本地部署,用户须要负责物理资源布局、中间件装置、安装包部署等等工作,通常须要业余的网络和IT保护人员数天甚至数周能力部署上线。 集中管理难网络设备自有的厂商网管,个别只能提供本地web拜访形式,不能集中管理,更做不到跨厂商治理,无奈给用户提供对立的治理视角,须要多套网管零碎之间切换应用。 网络扩大难办公、批发场合随着业务的扩大,常常须要全国各地疾速开店,目前网络的交付都是网络工程师通过console口登录一台台配置下发,效率低下且容易出错。 二、产品介绍1、 网络管理范畴 如下图定义网络管理的全生命周期,传统的网管零碎,对网络的治理次要针对网络退役阶段,面向的是已上线网元的资源管理和运维监控等,无奈做到网络设备的全生命周期治理。 图1 网络管理全生命周期 云网管对网络的治理是贯通整个生命周期的,在网络未上线的时候,能够离线规划设计,定义网络架构;在建设交付的时候,将定义好的网络架构以我的项目的形式进行施行,整个交付过程流程可控,品质可管;验收通过后,网络正式进入退役阶段,在该阶段网络的外围诉求是稳固运行、少出故障以及故障产生后的疾速定位和故障复原,云网管的监控、变更、巡检等模块确保网络退役阶段的稳固运行直到网络下线。在整个网络生命周期中,资源管理确保网络资源与实在网络的一致性。 2.产品性能介绍2.1 建设交付 架构设计 在网络尚未上线时能够事后进行网络布局,网络架构用于定义网络组网的互联标准和技术规格,提供图形化的架构设计和治理性能,通过图形化的形式进行组网拓扑的灵便编排,并对各个网络组件的具体规格进行配置。 如图通过可视化的形式进行网络架构设计,定义网络模块的数量和连贯关系。图2 网络架构设计 联合设计好的网络布局和配置标准,主动生成可一键导入的规范配置文件。 图3 配置文件生成 建设交付 建设交付是将网络计划以我的项目的模式进行设施下发,在每个我的项目中以工单的模式管制交付过程和保障品质。 图4 建设交付我的项目施行 2.2 智能运维 态势感知 通过全局视角和分支视角对网络整体状态进行实时感知。 衰弱度: 联合设施告警状况、网络巡检情况、监控笼罩水平等多维度对网络情况进行评分。 动静拓扑: 通过LLDP和MAC扫描技术准实时拓扑更新,设施连贯关系、端口信息等实时出现。 一体化监控 一个办公分支或者门店的网络,个别是涵盖了多个档次的网络,蕴含多种网络状态的设施。通常包含接入运营商的网关设施,进行数据转发的网络设备(路由器或交换机),提供WLAN的无线设施以及形形色色的终端利用。一套从网到端全链路笼罩的监控计划是必要的,因为往往端侧的异样,可能是有线网络的问题,有线侧的故障,会影响上游端侧多个终端或利用的应用。 云网管针对有线网络、无线网络、终端利用等不同网络档次的设施,通过被动采集、事件接管、插件部署、被动拨测等多种监控技术,从网关到终端全链路监控网络运行状况。在如下的监控视图里将交换机上联口流量、到运营商的进口流量、AP的终端连接数以及终端的监控信息等有线和无线的指标在一个视图里实现监控。 网络编排 云网管提供可视化的流程编排引擎,用户通过拖拽的形式将网络操作的原子能力串联起来,保障业务下发时的事务残缺和平安。 残缺业务流程编排定义 单步配置流程可视化下发 故障自愈 日常高频的故障场景,基于云网管的网络编排能力,能够将告警联动解决计划,疾速实现故障止血和业务复原。 三、架构介绍1.技术架构 协定插件 云网管的协定插件集成了管理网络所须要的ssh、telnet、netconf、snmp、grpc等协定,反对治理市面常见的商用网络设备。 协定插件通过加密的平安通道与云端的采集管制实例进行通信,高效执行云端下发的设施操作指令和采集工作,并将数据压缩后实时反馈给云端进行剖析和展现。 协定插件的Agent反对以云网管自有硬件、软件安装包、集成SDWAN网关等多种形式输入。 采集管制 采集管制实例在云端部署,在云网管的整体架构中起承前启后的作用。 调度引擎的工作流程: 接管网络编排下发的工作,按工作优先级、调度打算等策略,将工作进行正当拆解和调度。依据设施厂家型号等维度将指令通过模板翻译映射为操作设施的具体指令。将指令下发到Agent执行,期待接管执行后果工作执行后果剖析和拼装。模板治理: 模板分为“用户模板”和“设施模板”两类,“用户模板”只具备业务含意,屏蔽了厂家差别,在网络编排中间接援用,“设施模板”是细化到厂商、型号粒度,不同的厂商之间都有显著差别。例如:“ACL策略”的设施模板,思科和华为是不同的指令。 网络编排 网络编排负责业务模型的对立形象和定义,网络编排将原子能力按业务流程进行串连,造成具体的网络计划。网络计划通过流程引擎驱动采集管制实例执行每一步的原子操作,以工单的形式管制事务残缺和链路追踪。 利用 网络编排以API的模式对利用提供能力和数据接口,应用层实现具体的“资源管理”、“网络巡检”、“网络变更”、“故障复原”等能力,反对运维人员进行日常的网络运维、业务配置等工作。 2.部署架构云网管SaaS化部署,分钟级开明云上网管实例,用户侧只用部署探针(硬件版只须要上电和网络可达)即可。 云网管的计算和存储资源都是应用的阿里云资源,能够依据规格随时扩容,基于阿里云ASK集群实现的CI/CD性能,能够随时迭代上线新性能。 四、总结云网管致力于为简单、异构、分支泛滥的线下网络打造一款免部署、易上手、集中管理的SaaS化网络运维治理平台。 原文链接本文为阿里云原创内容,未经容许不得转载。

September 23, 2021 · 1 min · jiezi

关于运维:云备份和恢复的优缺点

云备份的优缺点是什么?为什么要应用云备份,以及云备份为什么实用于企业的备份策略?人们须要理解这些问题的答案以及更多信息。 云备份和复原能够帮忙企业避免数据失落和停机。对于小型企业而言,每次停机的均匀损失为8000美元,中型和大型企业的损失则更高。随着勒索软件的威逼无处不在,云备份不再是预先的想法。 在过来,数据保护在企业优先级和估算调配列表中处在靠后的地位。现在,企业难以承当宕机、数据失落和数据泄露的危险,云备份和复原因而成为一种风行的数据保护伎俩。 在探讨云备份的优缺点之前,首先理解一下定义。 什么是云备份? 云备份这个术语将云计算技术与备份相结合。云计算平台是指由Microsoft Azure、AWS等云服务提供商提供的异地数据中心。备份提供了可用于复原数据的平安正本。当这两者联合在一起应用时,它们意味着创立备份并将它们存储在云平台中(异地数据中心)。 次要的云备份服务提供商包含Veritas、Backblaze、StoneFly等公司。 每个翻新的解决方案都有其长处和毛病。云备份也不例外。以下是云备份的优缺点: 云备份和复原的长处 (1)将数据从任何地位复原到任何硬件 无论在何处,云备份都可能复原企业的业务数据。应用云备份,无需重启物理服务器、更换损坏的硬盘或修复网络问题。只有企业的硬件已启动并正在运行,实现云复原只需点击键盘即可。 企业能够将数据恢复到相似或不同的硬件中,这样能够避免次要数据失落。 须要留神的次要区别是云备份不提供对数据的间接拜访。如果须要拜访数据,必须先将其复原到某处。存储在云端的备份数据将会“脱水”。脱水意味着它被压缩并且格局无奈间接读取。 (2)应用云劫难复原疾速复原 云劫难复原服务使企业可能在产生劫难时“水化”解决云中的数据。水化数据意味着以能够间接读取的格局复原它。 以最小提早复原和拜访数据的能力无效地缩小了复原工夫指标(RTO)。这一性能在产生自然灾害、硬件故障和勒索软件攻打时特地有用。 (3)不须要采纳硬件和更少的保护 云备份和复原不须要采纳任何额定的硬件。为了设置云备份,企业须要做的就是在其零碎上装置备份代理。在配置备份和还原作业之后,大部分过程都会自行处理。 不再采纳硬件会带来以下益处: 打消硬件老本。 打消硬件能耗和保护老本。 治理数据保护所需的IT人员更少。 装置和设置能够在几小时而不是几个月内实现。 数据管理简略、容易且老本更低。 (4)更容易实现合规性 HIPAA/HITRUST、FedRAMP、CJIS、FISMA等数据法规具体规定了企业须要如何爱护其客户数据。数据合规是一项简单而具备挑战性的考验。因为大多数云服务提供商踊跃投资于数据安全,因而云备份有助于合规性。 应用合规性服务对企业的确有所帮忙。通过应用合规的云备份,能够简化合规性过程。 (5)按需应用资源 云备份易于扩大。这一性能为云计算用户发明了机会,能够在数据增长时从小规模开始并进行扩大。按需应用资源能够升高云备份的老本。对于心愿缩小收入并取得更多收益的企业来说,这是一个很好的抉择。 随着备份数据的增长,云计算用户能够减少CPU、内存和存储容量。 (6)按应用内容付费 按需应用资源也有助于管制云备份老本。云备份用户只需为他们应用的内容付费。与其相同,企业外部部署的硬件须要大量的后期投资,其中大部分长时间未应用。 尽管云备份并不能齐全代替外部部署数据中心,但它们的确是无效数据保护策略的重要组成部分。 云备份和复原的毛病 (1)没有连贯就无奈实现云备份和复原 将备份数据存储在异地的次要毛病是,如果没有网络连接,则无奈应用它。如果没有互联网,将无奈备份或复原数据。 (2)残缺的数据恢复须要更长的工夫 如果企业的生产环境呈现故障,从云备份下载和复原数据须要更长的工夫。其复原速度取决于数据量、互联网速度、可用带宽和硬件性能。 这不要与云劫难复原混同。云劫难复原通过将数据恢复到云平台来帮忙企业复原操作。将数据从云平台复原到硬件十分耗时。 (3)取得的技术支持令人丧气 私有云服务提供商并不以其品质反对而闻名。依据问题的不同,反对申请包含来回发送电子邮件、长时期待和数月的解决工夫。 对公有云的反对品质因供应商而异。应用私有云/公有云的第三方服务提供商也是如此。 (4)定期云备份须要更多的带宽 企业能够每小时、每天、每周甚至每月安顿云备份。对于热层工作负载,能够实时安顿备份。依据企业的业务优先级和云备份打算,带宽耗费往往很高。 能够必定地说,如果企业应用定期备份,那么数据保护零碎将须要更多的带宽。这带来了在云备份和日常业务经营之间调配可用带宽的挑战。 论断 云备份提供了一种经济高效的形式来爱护企业的要害业务数据。它们能够主动执行日常工作,并简化大量数据的数据保护。如果配置正确,云备份不仅是必需品,而且也是企业的资产。 (起源:企业网D1Net)

September 15, 2021 · 1 min · jiezi

关于运维:findmnt命令查找已挂载的文件系统

findmnt命令用于列出Linux中已挂载的文件系统。该命令将在/etc/fstab, /etc/mtab或者/proc/self/mountinfo中查找特定的文件系统。findmnt命令蕴含在util-linux软件包中,该软件包附带了其余一些工具,例如hwclock。 Centos零碎中应用上面命令装置: [root@localhost ~]# yum -y install util-linux这个安装包在零碎中默认已装置。 Findmnt默认选项如果未指定设施或者设施的挂载点 ,则默认状况下,此命令将提供所有已装置文件系统的列表。 [root@localhost ~]# findmnt findmnt命令查找已挂载的文件系统findmnt命令查找已挂载的文件系统 Findmnt的实时监督模式findmnt命令可用于监督/proc/self/mountinfo文件中的更改。上面实例中,挂载光盘,能够看到findmnt捕捉到了挂载的动作: [root@localhost ~]# findmnt -pACTION TARGET SOURCE FSTYPE OPTIONSmount /mnt /dev/sr0 iso9660 ro,relatime,nojoliet,check=s,map=n,blocksize=2048findmnt命令查找已挂载的文件系统findmnt命令查找已挂载的文件系统对/proc/self/mountinfo文件所做的任何更改都将在终端上自动更新。上图中挂载或者卸载光盘,都会捕捉到动作。 相似于df输入如果应用df命令,则findmnt命令也能够用来模拟输出。能够通过应用带有--df选项来实现此目标,如以下示例所示: [root@localhost ~]# findmnt --dffindmnt命令查找已挂载的文件系统findmnt命令查找已挂载的文件系统能够看到findmnt --df和df -hT输入的信息很类似。 Findmnt列表选项如果不喜爱默认树状输入,则能够应用--list或-l选项。这将以列表格局输入。 [root@localhost ~]# findmnt --listfindmnt命令查找已挂载的文件系统findmnt命令查找已挂载的文件系统 从/etc/fstab文件中列出挂载信息应用--fstab选项,将会从/etc/fstab文件中获取挂载信息。 --evaluate选项会将所有标签(例如LABEL,UUID,PARTUUID或PARTLABEL)转换为理论设施名称。该选项能够与--fstab选项联合应用,以打印文件中的所有文件系统。fstab选项以列表格局输入,因而应用--fstab时无需调用--list选项。 [root@localhost ~]# findmnt --fstabTARGET SOURCE FSTYPE OPTIONS/ /dev/mapper/cl-root xfs defaults/boot UUID=26309fe5-0c1d-4b28-b20f-7231a83cc9ef ext4 defaultsswap /dev/mapper/cl-swap swap defaults[root@localhost ~]# findmnt --fstab --evaluateTARGET SOURCE FSTYPE OPTIONS/ /dev/mapper/cl-root xfs defaults/boot /dev/nvme0n1p1 ext4 defaultsswap /dev/mapper/cl-swap swap defaultsfindmnt命令查找已挂载的文件系统findmnt命令查找已挂载的文件系统 ...

September 15, 2021 · 1 min · jiezi

关于运维:crazy-games一个神奇的网站

crazygames的倒退及其惊人, 从2014年成立以来曾经倒退到相当的规模。CrazyGames is a free online games website with more than 10 million active users monthly. The company was founded in 2014 by Tomas and Raf Mertens and has grown to 9 people. The platform features games ranging from 3D shooters to puzzle games. The most popular categories are driving games, clicker games, minecraft games, stickman games, and .io games.CrazyGames is a member of KBC Start-it. CrazyGames - An Amazing Free Online Game Website ...

September 14, 2021 · 3 min · jiezi

关于运维:什么是-SSL-证书为什么我需要一个

blog_15418_large.jpg 有没有想过浏览器中网站域名旁边的小挂锁是什么?这表明该网站是由 SSL 证书加密的。如果您没有看到一个(或者如果锁是关上的/红色的),则可能意味着您正在通过不平安的连贯拜访该站点,其余任何人都能够“监听”该连贯。 什么是 SSL 证书? SSL 证书通过以下形式使您的网站更加平安: · 通过浏览器信赖的证书颁发机构证实连贯是平安的 · 加密您的网站与其访问者之间发送的数据 它们还通过在浏览器地址栏中显示平安锁来帮忙减少信任度(和销售量!)。 当数据在网络上平安传输时,它应用HTTPS连贯。HTTPS 代表超文本传输协定平安。它是 HTTP 的平安版本,是计算机通过 Internet 进行通信的默认形式。 为什么 SSL 和 HTTPS 很重要? SSL 和 HTTPS 对于避免特定类型的虚构威逼(称为中间人攻打)至关重要。在这些状况下,黑客会连贯到您的 wifi 网络(例如,在公共咖啡馆中)并拦挡在您的网站和您的设施之间传输的未加密数据。在更简单的攻打中,他们甚至能够伪装是您的网站,而毫无戒心的客户提交新的信用卡订单。 其中一些数据(例如明码和信用卡信息)十分敏感,不应通过不平安的连贯传输。一旦连贯被加密,即便黑客拦挡了数据,他们也无奈破译和了解它。 blog_9607_large.jpg 防止中间人攻打 领有 HTTPS 连贯也是 Google 等搜索引擎的已知排名因素,也是拜访您网站的人的信赖因素。即便不晓得 SSL 证书是什么的人也能够将损坏的红色挂锁辨认为好事,并且某些浏览器当初会阻止您通过 HTTP 拜访站点,除非您明确承受拜访不平安网站的危险。 换句话说,如果您的网站上没有无效的 SSL 证书,您的流量就会缩小,人们拜访您网页的工夫也会缩小。因为网站的全副意义在于吸引和帮助访问者,因而没有 HTTPS 连贯是一个大问题。 如何取得 SSL 证书? 高级 SSL 证书通常能够从您的托管服务提供商或业余平安提供商处订购,而根本 SSL 证书通常与网络托管打算捆绑在一起。 如果您的主机帐户蕴含根本的 SSL 安全性,它可能会应用由Let's Encrypt或 WHC反对的主动 SSL 配置技术,cPanel 的AutoSSL主动筹备一个证书供您应用。 网络托管、经销商托管、云服务器和专用服务器曾经蕴含收费的根本 SSL。 blog_10395_large.jpg 我须要什么样的 SSL? ...

September 14, 2021 · 1 min · jiezi

关于运维:如何安装部署Redmine

Redmine是用Ruby开发的基于web的项目管理软件,是用ROR框架开发的一套跨平台我的项目管理系统,据说是源于Basecamp的ror版而来,反对多种数据库,有不少本人独特的性能,例如提供wiki、新闻台等,还能够集成其余版本管理系统和BUG跟踪零碎,例如Perforce、SVN、CVS、TD等等。这种 Web 模式的我的项目管理系统通过“我的项目(Project)”的模式把成员、工作(问题)、文档、探讨以及各种模式的资源组织在一起,大家参加更新工作、文档等内容来推动我的项目的进度,同时零碎利用工夫线索和各种动静的报表模式来主动给成员汇报我的项目进度。上面咱们就来学习一下如何简略疾速的装置部署好Redmine服务1.找到Redmine的装置服务可点击试用。 2.装置部署增加节点-抉择版本-填写参数-部署胜利 装置部署过程简略又疾速,具体的装置教程如下: 如何增加节点?https://www.bilibili.com/vide... 如何装置部署Redmine?https://www.bilibili.com/vide...

September 13, 2021 · 1 min · jiezi

关于运维:linux下磁盘多路径multipath使用方法

Linux下多路径multipath配置 一、multipath在linux中的根本配置:通过命令:lsmod |grep dm_multipath 查看是否失常装置胜利。如果没有输入阐明没有装置那么通过yum性能装置一下软件包:yum –y install device-mapper device-mapper-multipath接着通过命令:multipath –ll 查看多路径状态查看模块是否加载胜利 [root@liujing ~]# multipath –ll 查看多路径状态 Mar 10 19:18:28 | /etc/multipath.conf does not exist, blacklisting all devices. Mar 10 19:18:28 | A sample multipath.conf file is located at Mar 10 19:18:28 | /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf Mar 10 19:18:28 | You can run /sbin/mpathconf to create or modify /etc/multipath.conf Mar 10 19:18:28 | DM multipath kernel driver not loaded ----DM模块没有加载 如果模块没有加载胜利请应用下列命初始化DM,或重启零碎---Use the following commands to initialize and start DM for the first time: ...

September 11, 2021 · 7 min · jiezi

关于运维:tcpdump-如何抓包

how-to-use-tcpdumpTcpdump command is a famous network packet analyzing tool that is used to display TCP IP & other network packets being transmitted over the network attached to the system on which tcpdump has been installed. Tcpdump uses libpcap library to capture the network packets & is available on almost all Linux/Unix flavors. Linux Tcpdump: Filter ipv6 ntp ping packets Tcpdump: capture DHCP & DHCPv6 packets 20 Advanced Tcpdump Examples On Linux ...

September 11, 2021 · 9 min · jiezi

关于运维:DNS工作原理分析

DNS协定是互联网外围协定之一。不论是上网浏览,还是编程开发,都须要理解一点它的常识。 一、什么是DNS?DNS( Domain Name System)是“域名零碎”的英文缩写,是一种组织成域层次结构的计算机和网络服务命名零碎,它用于TCP/IP网络,它所提供的服务是用来将主机名和域名转换为IP地址的工作。你能够把它设想成一本微小的电话本。举例来说,如果你要拜访域名math.stackexchange.com,首先要通过DNS查出它的IP地址是151.101.129.69。这些都称为DNS记录。 What is DNS? DNS MeaningUnderstanding DNS Port 53 with Examples Understanding DNS Records - PTR MX SRV CNAME AAAA 二、DNS域名空间构造域名零碎作为一个层次结构和分布式数据库,蕴含各种类型的数据,包含主机名和域名。DNS数据库中的名称造成一个分层树状构造称为域命名空间。 根域:DNS域名应用中规定由尾部句点'.'来指定名称位于根或者更高层次的域层次结构。 顶级域:用来批示某个国家、地区或者组织。采纳三个字符,如com -> 商业公司,edu -> 教育机构,net -> 网络公司,gov -> 非军事政府机构等等。 二级域:集体或者组织在Internet应用的注册名称。采纳两个字符,如:cn -> 代表中国,jp -> 日本,uk -> 英国,hk -> 香港等等。 主机:主机名处于域名空间构造中的最底层,主机名和域名联合形成FQDN,主机名是FQDN最左端的局部。 Flush DNS Cache with Command Quick Guide 三:DNS 服务器运行DNS 服务器程序的计算机,贮存DNS 数据库信息.DNS 服务器会尝试解析客户机的查问申请. 在解答查问时,如果DNS 服务器能提供所申请的信息,就间接回应解析后果,如果该DNS 服务器没有相应的域名信息,则为客户机提供另一个能帮忙解析查问的服务器地址,如果以上两种办法均失败,则回应客户机没有所申请的信息或申请的信息不存在. Best and Fastest DNS Server For PS4 PS5Best and Fastest DNS Servers For GamingFree DNS Servers in 2021 ...

September 10, 2021 · 2 min · jiezi

关于运维:OpenKruise-v0100-版本发布新增应用弹性拓扑管理应用防护等能力

简介: 阿里云开源的云原生利用自动化治理套件、CNCF Sandbox 我的项目 -- OpenKruise,明天公布 v0.10.0 新版本,这也会是 OpenKruise v1.0 之前的最初一个 minor 版本。 本文将带你一览 v0.10.0 的新变动,其中新增的 WorkloadSpread、PodUnavailableBudget 等大颗粒个性后续还将有转文具体介绍其设计实现原理。 作者 | 酒祝 背景阿里云开源的云原生利用自动化治理套件、CNCF Sandbox 我的项目 -- OpenKruise,明天公布 v0.10.0 新版本,这也会是 OpenKruise v1.0 之前的最初一个 minor 版本。 本文将带你一览 v0.10.0 的新变动,其中新增的 WorkloadSpread、PodUnavailableBudget 等大颗粒个性后续还将有转文具体介绍其设计实现原理。 新性能概览1. WorkloadSpread:旁路的利用弹性拓扑治理能力在利用部署运维的场景下,有着多种多样的拓扑打散以及弹性的诉求。其中最常见、最根本的,就是按某种或几种拓扑程度打散,比方: 利用部署须要按 node 维度打散,防止重叠(进步容灾能力)利用部署须要按 AZ(available zone)维度打散(进步容灾能力)这些根本的诉求,通过 Kubernetes 原生提供的 pod affinity、topology spread constraints 等能力目前都可能满足了。但在理论的生产场景下,还有着太多更加简单的分区与弹性需要,以下举一些理论的例子: 按 zone 打散时,须要指定在不同 zone 中部署的比例数,比方某个利用在 zone a、b、c 中部署的 Pod 数量比例为 1 : 1 : 2 等(因为一些事实的起因比方该利用在多个 zone 中的流量不平衡等存在多个 zone 或不同机型的拓扑,利用扩容时,优先部署到某个 zone 或机型上,当资源有余时再部署到另一个 zone 或机型上(往后以此类推);利用缩容时,要按反向程序,优先缩容前面 zone 或机型上的 Pod(往前以此类推)存在多个根底的节点池和弹性的节点池,利用部署时须要固定数量或比例的 Pod 部署在根底节点池,其余的都扩到弹性节点池 ...

September 10, 2021 · 3 min · jiezi

关于运维:2021-年云原生技术发展现状及未来趋势

简介: 作者于雨负责了 2021 年 GIAC 会议云原生专场的出品人兼讲师,组织了前后四个场子的演讲,在这个过程中作者同时作为听众从这些同行的演讲中学到了很多十分有用的常识。本文算是对 2021 GIAC 云原生专场的侧记,管中窥豹,以观 2021 年云原生技术倒退现状及将来一段时间内的趋势。 作者 | 于雨 自己有幸负责了 2021 年 GIAC 会议云原生专场的出品人兼讲师,组织了前后四个场子的演讲,在这个过程中集体同时作为听众从这些同行的演讲中学到了很多十分有用的常识。本文算是对 2021 GIAC 云原生专场的侧记,管中窥豹,以观 2021 年云原生技术倒退现状及将来一段时间内的趋势。 云原生这个词含意宽泛,波及到资源的高效利用、交付、部署及运维等方方面面。 从零碎层次分能够辨别出云原生根底设置【如存储、网络、治理平台 K8s】、云原生中间件、云原生利用架构以及云原生交付运维体系,本次专场的四个议题也根本涵盖了这四大方向: 亚马逊的资深技术专家黄帅的《一个云原生服务的爆炸半径治理》快手基础架构核心服务网格负责人姜涛的《快手中间件 Mesh 化实际》Tetrate 可观测性工程师柯振旭的《应用 SkyWalking 监控 Kubernetes 事件》自己以 Dubbogo 社区负责人出品的《Dubbogo 3.0:Dubbo 在云原生时代的基石》上面依据集体现场笔记以及集体回顾别离记述各个议题的要点。因工夫以及自己能力无限,一些谬误不免,还请里手多多斧正。 云原生服务的爆炸半径集体了解,黄的这个议题属于云原生利用架构领域。 其演讲内容首先从亚马逊 AWS 十年前的一个故障说开:AWS 某服务的配置核心是一个 CP 零碎,一次人为的网络变更导致配置核心的冗余备份节点被打垮,当运维人员紧急复原变更后,因为配置核心不可用【无效正本数少于一半】导致了整个存储系统其余数据节点认为配置数据一致性不正确拒绝服务,最终导致整个零碎服务解体。 复盘整个事变的间接起因是:CAP 定理对可用性和一致性的定义限定十分严格,并不适宜利用于理论的生产零碎。因而作为线上管制面的配置核心的数据应该在保障最终一致性的前提下,首先保障可用性。 更进一步,古代分布式系统的人为操作谬误、网络异样、软件 Bug、网络/存储/计算资源耗尽等都是不可避免的,分布式时代的设计人员个别都是通过各种冗余【如多存储分区、多服务正本】伎俩保证系统的可靠性,在不牢靠的软硬件体系之上构建牢靠的服务。 然而这两头有一个误区:有时候一些冗余伎俩可能因为雪崩效应反而会导致系统的可靠性升高。 如下面的事变,人为的配置谬误导致了一连串的软件体系故障,且这些故障之间是高度强相干的,最终导致了雪崩效应,能够称之为“程度扩大的毒药效应”。此时思考的维度就从“在不牢靠软硬件体系上提供牢靠服务”进一步拓展为“通过各种隔离伎俩减小事变的爆炸半径”:当不可避免的故障产生时,尽量把故障损失管制到最小,保障在可承受范畴内,保障服务可用。 针对这个思路,黄给出了如下故障隔离伎俩: 服务粒度适中微服务的服务粒度并不是拆分的越细越好。如果服务粒度过细,会导致服务数量过多,其第一个结果就是导致一个组织内简直无人能搞清楚服务整体逻辑的前因后果,减少保护人员的累赘:大家只敢小修小补无人敢做出大幅度的优化改良。服务粒度过细的第二个结果是造成整体微服务单元体指数级减少,造成容器编排部署成本上升。适中的服务粒度要兼顾架构体系的进化与部署老本的升高。 充沛隔离进行服务编排时,获取数据核心的电源和网络拓扑信息,保障强相干零碎之间部署做到“不远”且“不近”。“不近”是指同一个服务的正本不在应用同一个电源的同一个机柜部署,也不在应用了同一个网络立体的 Azone 内部署。“不远”是指部署间隔不能太远,例如多正本能够同城多 IDC 部署。应用这两个准则兼顾性能与系统可靠性。 随机分区所谓的随机分区这块,其实质就是在混合服务申请,保障某个服务的申请能够走多通道【队列】,保障在某些通道挂掉的状况下不影响某个服务的申请解决,利用随机分区技术,将用户打散在多个 Cell 中,大幅度降低爆炸半径。与 K8s APF 偏心限流算法中的洗牌分片(Shuffle Sharding)颇为类似。 混沌工程通过继续内化的混沌工程实际,提前踩雷,尽量减少“故障点”,晋升系统可靠性。 应用 SkyWalking 监控 Kubernetes 事件这个议题尽管被安顿在第三场演讲,属于云原生交付运维体系,然而与上个议题关联性比拟强,所以先在此记述。 ...

September 8, 2021 · 2 min · jiezi

关于运维:当微服务遇上-Serverless-微服务容器化最短路径微服务-on-Serverless-最佳实践

简介: 阿里云Serverless利用引擎(SAE)初衷是让客户不改任何代码,不扭转利用部署形式,就能够享受到微服务+K8s+Serverless的残缺体验,开箱即用免运维。 前言微服务作为一种更灵便、牢靠、凋谢的架构,近年来失去迅速倒退,和容器技术的联合能够轻松实现微服务化后的DevOps,越来越多的企业寻求微服务容器化落地之道来让企业应用更好的上云。然而因K8s自身的学习曲线、运维复杂度、适配微服务的服务注册发现、版本治理、灰度策略,已有会话解决等,让这些客户望而生畏,爱而不得。 阿里云Serverless利用引擎(SAE)就是在这个背景下诞生的,初衷是让客户不改任何代码,不扭转利用部署形式,就能够享受到微服务+K8s+Serverless的残缺体验,开箱即用免运维。底层基于对立的K8s底座,帮用户屏蔽IaaS和K8s集群运维,WAR/JAR/PHP zip包无需容器化革新间接部署。在应用层,给用户提供了全栈的能力,重点包含利用治理和微服务治理。在开发者工具/SaaS方面也做了良好的集成,能够说SAE笼罩了利用上云的残缺场景。 SAE深度集成MSE,微服务治理能力业界当先SAE深度集成了微服务引擎(MSE),将阿里深耕十余年历经双11考验的微服务最佳实际产品化。在开源Spring Cloud/Dubbo的根底上,提供了更多收费的高级治理能力。如微服务金丝雀/灰度流量能力,能让利用发新版时,基于header/cookie等各种纬度进行精准灰度,管制最小爆炸半径;微服务的无损下线和无损上线能力,能在Provider降级过程中,通过SAE利用内挂载的agent被动刷新服务列表和被动告诉,Consumer不会呈现调用报错。服务启动过程中,无论公布/扩容都实现流量平滑和稳固。还有杀手锏的全链路灰度能力,能实现从七层入口流量到后端一系列微服务的级联流量灰度,极大的升高了客户多套环境搭建老本,晋升灰度成果。 SAE冲破Java冷启动瓶颈,提速40%Java冷启动效率慢始终是困绕开发者多年的难题,加载的类较多,依赖包大,会重大拖慢效率。SAE除了镜像减速、镜像预热效率优化伎俩外,也在竭力打造极致的Java利用启动效率:基于Alibaba Dragonwell 11 加强的AppCDS 启动减速技术,将利用第一次启动的过程生成缓存保存起来,后续间接通过缓存启动利用。同比规范的OpenJDK,在冷启动耗时场景下晋升40%,极大晋升了利用启动和弹性效率 。该项技术已大范畴利用于团体生产业务,也收到了少数企业用户的频频点赞。 SAE业界首发混合弹性策略SAE提供了业界最丰盛的弹性指标,最灵便的弹性策略。不同的场景应用不同的弹性策略。除K8s规范提供的cpu/mem外,SAE新增反对利用监控指标如QPS、RT、TCP连接数等,基于业务来弹更精准。除定时弹性和监控指标主动弹性外,SAE新增反对混合弹性策略,解决了在线教育、互娱、文化传媒等行业中定时弹性和监控弹性互斥,不能同时启用的痛点问题,并且在手工干涉扩容后,还能零碎复原主动弹性能力。 SAE提供面向大促的高可用解决方案Serverless利用引擎(SAE)尤其实用于电商、新批发、互娱、在线教育、餐饮、出行、文化传媒等时有突发流量的行业,能做到精准容量+极致弹性+限流降级。 有人说微服务跑在 Serverless上是胡思乱想,也有人说Serverless与微服务是天作之合,置信随着Serverless利用引擎(SAE)这款产品的一直倒退,这类争执会逐步地隐没,而SAE也会成为微服务容器化的最短门路和微服务on Serverless的最佳实际。 原文链接本文为阿里云原创内容,未经容许不得转载。

September 7, 2021 · 1 min · jiezi

关于运维:jenkins配置webhook当仓库有推送时自动构建

前置条件在应用webhook之前,咱们须要在jenkins中装置对应的插件 在dashboard->插件治理中搜寻Generic Webhook Trigger并装置 创立token接口须要一些认证信息,所以咱们要为我的项目所属的用户创立一个token 无关jenkins的自动化配置看这里无关jenkins的tty问题看这里无关jenkins的反向代理配置看这里无关jenkins的java11问题看这里无关jenkins的私钥格局谬误问题看这里无关jenkins的webhooks配置看这里 在dashboard->用户列表中抉择你的我的项目所对应的用户,在用户名列表最右侧有位于字段提醒您该用户所蕴含的我的项目 点击该用户名,随后在新的页面点击设置 此时您会看到API Token选型,只须要点击增加新的Token即可取得一个token,将这个token复制一下,您很快就会用到它。 配置在你须要治理的构建我的项目中勾选Generic Webhook Trigger 接下来您能够什么也不配置就间接应用Webhook 配置仓库的webhook在您的仓库中抉择webhook选项,按如下格局填入信息即可 http://<您的jenkins拜访门路>/generic-webhook-trigger/invoke?token=<您刚刚复制的token>或者您能够应用另一种格局 http://<您jenkins的用户名>:<您刚刚复制的token>@<您的jenkins拜访门路>/generic-webhook-trigger/invoke测试主动构建当一切顺利时,您应该能发送测试申请,并在jenkins中看到曾经开始的构建流程 为了缩小未来可能存在的麻烦,咱们可能须要进行如下配置 优化配置如果您有多个我的项目部署,则要辨别push的是哪个仓库,否则勾选的generic webhook trigger的Jenkins我的项目都会触发构建查看残缺配置项请看这里

September 6, 2021 · 1 min · jiezi

关于运维:Jenkinsthe-input-device-is-not-a-TTY

如果您在应用jenkins执行docker容器内命令时,应用的了-t参数 docker exec -it test_container bash build.sh<!-- more --> 可能会有如下报错 the input device is not a TTY因为docker的-t参数会为输入增加一个伪终端Allocate a pseudo-TTY,所以jenkins无奈捕捉到输入,您只须要去掉-t参数即可 docker exec -i test_container bash build.shpseudo-TTY:在Linux中,TTY兴许是跟终端有关系的最为凌乱的术语。TTY是TeleTYpe的一个老缩写。Teletypes,或者teletypewriters,原来指的是电传打字机,是通过串行线用打印机键盘通过浏览和发送信息的货色,和古老的电报机区别并不是很大。之后,当计算机只能以批处理形式运行时(过后穿孔卡片阅读器是惟一一种使程序载入运行的形式),电传打字机成为惟一可能被应用的“实时”输出/输出设备。最终,电传打字机被键盘和显示器终端所取代,但在终端或TTY接插的中央,操作系统依然须要一个程序来监督串行端口。一个getty“Get TTY”的处理过程是:一个程序监督物理的TTY/终端接口。对一个虚构网络服务器(VNC)来说,一个假装的TTY(Pseudo-TTY,即混充的TTY,也叫做“PTY”)是等价的终端。当你运行一个xterm(终端仿真程序)或GNOME终端程序时,PTY对虚构的用户或者如xterm一样的伪终端来说,就像是一个TTY在运行。“Pseudo”的意思是“duplicating in a fake way”(用伪造的办法复制),它相比“virtual”或“emulated”更能实在的阐明问题。而在的计算中,它却处于被放弃的阶段。 tty也是一个Unix命令,用来给出以后终端设备的名称。终端是一种字符型设施,它有多种类型,通常应用tty来简称各种类型的终端设备。 无关jenkins的自动化配置看这里无关jenkins的tty问题看这里无关jenkins的反向代理配置看这里无关jenkins的java11问题看这里无关jenkins的私钥格局谬误问题看这里无关jenkins的webhooks配置看这里

September 6, 2021 · 1 min · jiezi

关于运维:基于-MySQL-Tablestore-分层存储架构的大规模订单系统实践架构篇

简介: 本文简要介绍了基于 MySQL 联合 Tablestore 的大规模订单零碎计划。这种计划反对大数据存储、高性能数据检索、SQL搜寻、实时与全量数据分析,且部署简略、运维成本低。 作者 | 弘楠起源 | 阿里技术公众号 一 背景订单零碎存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个十分宽泛、通用的零碎。对于这类零碎,在过来十几年倒退中曾经造成了经典的做法。然而随着互联网的倒退,以及各企业对数据的器重,须要存储和长久化的订单量越来越大,数据的器重水平与数据规模的收缩带来了新的挑战。首先,订单量对于数据的存储、长久化、拜访带来了挑战,这不仅减少了开发面对的艰难,也为零碎的运维带来了挑战。其次,随着大数据技术的倒退以及经营程度的一直进步,订单数据的后续数据分析工作,如流批处理、ETL,也越来越重要,这也对数据的存储系统提出了更高的要求。 本文提出了一种基于MySQL + Tablestore 的大规模订单零碎设计方案。这种计划基于分层存储的思维,应用 Tablestore 辅助 MySQL 共同完成订单零碎反对。在零碎中,利用 MySQL 的事务能力来解决对事务强需要的写操作与局部读操作;利用 Tablestore 的检索能力、大数据存储能力等补救 MySQL 在性能上的短板。具体可见文章:云上利用零碎数据存储架构演进。 本文作为 MySQL + Tablestore 分层存储架构的大规模订单零碎的架构篇。 首先具体论述,在大规模订单零碎中,存在哪些需要,存在哪些痛点。进而比拟传统的架构,其现状如何,各存在什么样的劣势,无奈满足哪些需要。而后讲述 MySQL + Tablestore 架构,论述这种架构是如何满足大规模订单零碎的需要的。 二 需要场景订单零碎,面向 C 端,除了在零碎性能要求高外,对于数据的存储、后续数据的计算、数据实时处理、数据批处理都有肯定的要求。而对于 C 端客户、产品经营、零碎运维等不同的角色,他们对系统的需要也有所不同。 1 C 端需要对于 C 端客户以及面向 C 端的开发而言,零碎首先须要反对高并发、高稳定性。其次,零碎须要可能反对基于用户 id 的搜寻以及搜寻用户 id 下蕴含特定关键词的记录。具体的需要有: 基于用户 id 查找用户近一月的订单。基于订单号查问订单详情。搜寻用户购买过的蕴含某关键字的商品。这对于零碎的索引能力以及搜寻能力有较高的要求。 2 经营需要经营同学须要可能在不影响线上的状况下应用 SQL 对实时数据进行剖析,可能依据非主键字段进行检索;他们还须要零碎对流批计算的反对,须要流式数据处理来进行实时数据统计,须要批处理来进行历史数据统计。经营同学常见的需要场景有: 统计在某旗舰店生产过的用户有哪些。统计生产过某一件产品的客户有哪些并且他们还购买了什么产品,进而向客户举荐商品。实时统计双十一开始后的实时成交额,用于宣传时的实时数据展现。统计某店铺过来 10 年的成交额。依赖订单数据对客户做实时更新的画像剖析,以反对商品的举荐。3 运维需要运维同学更关注零碎的稳定性、复杂度并期待低运维老本。而基于 MySQL + Tablestore 的订单零碎能够将运维同学从繁琐的运维工作中解放出来,大大降低运维老本。它可能做到: ...

September 6, 2021 · 2 min · jiezi

关于运维:Grep使用方法

Linux grep命令Linux grep命令用于查找文件里符合条件的字符串;也能够用于查找内容蕴含指定的范本款式的文件。它能应用正则表达式搜寻,用于在文件中搜寻指定的字符串模式,列出含有匹配模式子符串的文件名,并输入含有该字符串的文本行。 grep的工作形式是这样的:它在一个或多个文件中搜寻字符串模板。如果模板包含空格,则必须被援用,模板后的所有字符串被看作文件名。搜寻的后果被送到规范输入,不影响原文件内容。 根本语法: grep [options] pattern [files][options]的主要参数: -a 或 –text : 不要疏忽二进制的数据。 -A<显示行数> 或 –after-context=<显示行数> : 除了显示合乎范本款式的那一列之外,并显示该行之后的内容。 -b 或 –byte-offset : 在显示合乎款式的那一行之前,标示出该行第一个字符的编号。 -B<显示行数> 或 –before-context=<显示行数> : 除了显示合乎款式的那一行之外,并显示该行之前的内容。 -c 或 –count : 计算合乎款式的列数。 -C<显示行数> 或 –context=<显示行数>或-<显示行数> : 除了显示合乎款式的那一行之外,并显示该行之前后的内容。 -d <动作> 或 –directories=<动作> : 当指定要查找的是目录而非文件时,必须应用这项参数,否则grep指令将回报信息并进行动作。 -e<范本款式> 或 –regexp=<范本款式> : 指定字符串做为查找文件内容的款式。 -E 或 –extended-regexp : 将款式为延长的一般表示法来应用。 -f<规定文件> 或 –file=<规定文件> : 指定规定文件,其内容含有一个或多个规定款式,让grep查找合乎规定条件的文件内容,格局为每行一个规定款式。 -F 或 –fixed-regexp : 将款式视为固定字符串的列表。 -G 或 –basic-regexp : 将款式视为一般的表示法来应用。 ...

September 5, 2021 · 2 min · jiezi

关于运维:ping和traceroute原理

ping原理ping次要是用来探测主机和主机之间是否能够进行通信,如果不能ping到某台主机,示意不能与这台主机建设连贯。ping应用的是ICMP协定,他发送ICMP回送申请音讯给目标主机。ICMP协定规定:目标主机必须返回ICMP回送应答音讯给源主机,如果源主机在肯定工夫内收到应答,表明主机可达。ICMP协定是通过IP协定发送的,IP协定是无连贯的,不牢靠的数据报协定。 ping是用来检测网络是否畅通或者网络连接速度的命令 在同一网段内: 在主机 A 上运行“Ping 192.168.0.5”后,都产生了些什么呢? 首先,Ping 命令会构建一个固定格局的 ICMP 申请数据包, 而后由 ICMP 协定将这个数据包连同地址“192.168.0.5”一起 交给IP 层协定,IP 层协定将以地址 “192.168.0.5”作为目标地址。本机 IP 地址作为源地址,加上一些其余的管制信息,构建一 个 IP 数据包,并想方法失去 192.168.0.5 的MAC 地址,以便交给数据链路层构建一个数据帧。要害就在这里,IP层协定通过机器B的IP地址和本人的子网掩码,发现它跟本人属同一网络,就间接在本网络内查找这台机器的 MAC,如果以前两机有过通信,在 A 机的 ARP 缓存表应该 有 B 机 IP 与其 MAC 的映射关系,如果没有,就发一个 ARP 申请播送,失去 B 机的 MAC, 一并交给数据链路层。后者构建一个数据帧,目标地址是 IP 层传过来的物理地址,源地址则是本机的MAC地址,还要附加上一些管制信息,根据以太网的介质拜访规定,将它们传送 进来。 主机 B 收到这个数据帧后,先查看它的目标地址,并和本机的MAC地址比照,如合乎, 则接管;否则抛弃。接管后查看该数据帧,将 IP 数据包从帧中提取进去,交给本机的 IP 层 协定。同样,IP 层查看后,将有用的信息提取后交给 ICMP 协定,后者解决后,马上构建 一个 ICMP 应答包,发送给主机 A,其过程和主机 A 发送 ICMP 申请包到主机 B 截然不同。 ...

September 5, 2021 · 1 min · jiezi

关于运维:traceroute-如何使用

通过 traceroute 咱们能够晓得信息从你的计算机到互联网另一端的主机是走的什么门路。当然每次数据包由某一同样的出发点(source)到达某一同样的目的地(destination)走的门路可能会不一样,但基本上来说大部分时候所走的路由是雷同的。linux零碎中,咱们称之为traceroute,在MS Windows中为tracert。 traceroute通过发送小的数据包到目标设施直到其返回,来测量其须要多长时间。一条门路上的每个设施traceroute要测3次。输入后果中包含每次测试的工夫(ms)和设施的名称(如有的话)及其IP地址。 在大多数状况下,咱们会在linux主机零碎下,间接执行命令行:traceroute hostname 而在Windows零碎下是执行tracert的命令:tracert hostname 1、命令格局 traceroute 参数 2、命令性能 traceroute 指令让你追踪网络数据包的路由路径,预设数据包大小是40Bytes,用户可另行设置。 具体参数格局:traceroute -dFlnrvx-g<网关>...-m<存活数值>-s<起源地址>-w<超时秒数>数据包大小 3、命令参数 -d 应用Socket层级的排错性能。 -f 设置第一个检测数据包的存活数值TTL的大小。 -F 设置勿离断位。 -g 设置起源路由网关,最多可设置8个。 -i 应用指定的网络界面送出数据包。 -I 应用ICMP回应取代UDP材料信息。 -m 设置检测数据包的最大存活数值TTL的大小。 -n 间接应用IP地址而非主机名称。 -p 设置UDP传输协定的通信端口。 -r 疏忽一般的Routing Table,间接将数据包送到远端主机上。 -s 设置本地主机送出数据包的IP地址。 -t 设置检测数据包的TOS数值。 -v 具体显示指令的执行过程。 -w 设置期待远端主机回报的工夫。 -x 开启或敞开数据包的正确性测验。 4、应用实例 实例1:traceroute 用法简略、最罕用的用法 命令:traceroute www.baidu.com 输入: root@localhost ~# traceroute www.baidu.com traceroute to www.baidu.com (61.135.169.125), 30 hops max, 40 byte packets ...

September 5, 2021 · 4 min · jiezi

关于运维:Dog用于DNS查询的命令行工具

Dog是一个用于DNS查问的命令行工具,它的工作原理相似于dig。它具备丰富多彩的输入,反对DNS-over-TLS 和 DNS-over-HTTPS协定,并且能够输入JSON格局。零碎环境Ubuntu 20.04.1 LTSDog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具 装置Dog是用Rust编写的DNS查问工具。Dog须要rustc的版本高于1.45.0,咱们应用apt装置的版本达不到这个要求,上面咱们会应用其余形式装置rustc。上面须要先装置libssl-dev安装包: bob@ubuntu-20-04:~$ sudo apt install -y cargo libssl-dev上面装置rust,因为依照官网文档装置rust,有时下载没有进度,所以在这里先批改镜像源,改成国内的,而后执行装置: bob@ubuntu-18-04:~$ export RUSTUP_DIST_SERVER=https://mirrors.ustc.edu.cn/r...bob@ubuntu-18-04:~$ export RUSTUP_UPDATE_ROOT=https://mirrors.ustc.edu.cn/r...bob@ubuntu-18-04:~$ curl https://sh.rustup.rs -sSf | shDog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具在上面的中央,抉择选项1.Dog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具 Dog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具装置实现,须要执行上面命令,能力失常应用cargo命令: bob@ubuntu-18-04:~$ source $HOME/.cargo/env上面查看rustc的版本: bob@ubuntu-18-04:~$ rustc --versionrustc 1.47.0 (18bf6b4f0 2020-10-07)Dog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具从github下载dog安装包,并解压: bob@ubuntu-20-04:~$ wget https://github.com/ogham/dog/...bob@ubuntu-20-04:~$ tar xvf v0.1.0.tar.gz 进入解压进去的目录,并构建dog程序: bob@ubuntu-20-04:~$ cd dog-0.1.0/Dog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具应用默认的仓库地址更新会比较慢,在这里按ctrl+c完结更新,在家目录会生成一个.cargo文件夹,进去新建一个config配置文件,将上面内容增加进去这样批改默认仓库,更新速度就快许多了: bob@ubuntu-20-04:~/dog-0.1.0$ cat ~/.cargo/config [source.crates-io]registry = "https://github.com/rust-lang/crates.io-index" 替换成你偏好的镜像源replace-with = 'sjtu' replace-with = 'ustc'清华大学[source.tuna]registry = "https://mirrors.tuna.tsinghua.edu.cn/git/crates.io-index.git" 中国科学技术大学[source.ustc]registry = "git://mirrors.ustc.edu.cn/crates.io-index" 上海交通大学[source.sjtu]registry = "https://mirrors.sjtug.sjtu.edu.cn/git/crates.io-index" rustcc社区[source.rustcc]registry = "git://crates.rustcc.cn/crates.io-index"Dog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具批改实现之后,再回到dog-0.1.0目录外面,从新构建dog程序,并运行测试以下: bob@ubuntu-18-04:~/dog-0.1.0$ cargo buildbob@ubuntu-18-04:~/dog-0.1.0$ cargo testDog-用于DNS查问的命令行工具Dog-用于DNS查问的命令行工具 ...

September 1, 2021 · 1 min · jiezi

关于运维:mPaas-运维流程介绍

简介: 金融级挪动开发平台 mPaaS(Mobile PaaS)为 App 开发、测试、经营及运维提供云到端的一站式解决方案,能无效升高技术门槛、缩小研发老本、晋升开发效率,帮助企业疾速搭建稳固高质量的挪动利用。在咱们日常运维过程中发现,大部分用户对蚂蚁的研发流程比拟感兴趣,特地是在上百个开发者同时在一个app的环境内进行高效开发,技术选型、研发流程还有线上运维是怎么做的,成为大家关注的重点。以下分享我的一些了解。 一 背景金融级挪动开发平台 mPaaS(Mobile PaaS)为 App 开发、测试、经营及运维提供云到端的一站式解决方案,能无效升高技术门槛、缩小研发老本、晋升开发效率,帮助企业疾速搭建稳固高质量的挪动利用。在咱们日常运维过程中发现,大部分用户对蚂蚁的研发流程比拟感兴趣,特地是在上百个开发者同时在一个app的环境内进行高效开发,技术选型、研发流程还有线上运维是怎么做的,成为大家关注的重点。以下分享我的一些了解。 二 技术选型目前研发模式分为Native模式和动态化模式两种,其中Native技术栈次要笼罩根底中间件,还有外围高保链路或者变更很少的一些根底页面,比方收银台,登录页面,付款码等。其余场景业务个别会通过动态化的形式,解耦客户端版本公布。其中,在线H5个别实用于流动营销流动,离线包场景个别用于有固定入口的常驻业务,如果有跨端多投场景,个别会抉择小程序,通过小程序的跨端公布实现多端投放。 三 研发流程 1.需要阶段:次要是需要评审,大家意见达成统一。 2.开发阶段:代码开发,代码合并以及打包等 3.测试阶段:测试案例的编写,功能测试,兼容性测试等 4.集成阶段:代码改变申请进对应的集成基线,进行集成验证 5.公布阶段: 通过内灰,外灰,渠道包全量,站内全量实现公布上线 四 分支治理准则:基于分支开发,基于骨干公布 1. 变更操作流程创立变更 抉择仓库,基于 Master 创立分支 在分支上打工程包,打安装包,自测(能够基于变更分支创立 feature 分支,并行开发) 合并到 Master 打包、提测 申请集成、公布 独立公布次要用做区别于日常变更的独立公布迭代,比方独自针对某个厂商做的预装包适配迭代,就实用于独立公布。 多App治理(双Master)应用场景:聚宝、香港支付宝、口碑、支付宝共用同一个代码仓库,同一代码库须要多app并行,须要有本人独立的master分支,在合并的时候,在不同的app端进行多骨干的合并。 五 线上运维1. 多维度灰度公布能力MDS提供多维度的公布模式,公布前须要通过白名单灰度,外部灰度,内部灰度,百分比灰度等多层次灰度,不断扩大灰度范畴,直到Crash率,ANR率等稳定性指标达标后才进行全量的公布。 2. 多角度线上监控MAS提供了多角度的实时监控指标监控,包含Crash率,ANR率等外围指标,同时这些外围的指标上报都是通过实时通道实现的上报,不便问题的疾速发现。 3. 舆情监控除了以上一些外围指标的监控,同时提供了舆情的监控平台,开发者能够设置本人关注的关键字,在灰度期间去查看相干产品的线上用户舆情,实在的反馈用户问题。 4. 线上问题定位通过上述的多渠道发现问题后,首先能够通过客户端上报的行为日志进行剖析,同时也能够通过MAS提供的日志拉取性能,拉取用户的具体日志进行进一步的诊断剖析。 5. 主动容灾降级在积攒了多年的客户端问题解决教训后,客户端SDK外部也积淀了一套自复原的容灾降级策略。比方对于屡次启动后反复闪退的用户,客户端会尝试在启动后革除app公有目录下的一些文件,解决因为脏数据导致的极其反复闪退。 6. 线上问题修复针对不同的问题提供了不同的能力实现动静修复,比方对Native模块实现动静修复的hotpatch机制。 原文链接本文为阿里云原创内容,未经容许不得转载。

September 1, 2021 · 1 min · jiezi

关于运维:DDD领域设计概念梳理

工具与资源核心帮忙开发者更加高效的工作,提供围绕开发者全生命周期的工具与资源https://developer.aliyun.com/... 概念及阐明了解畛域畛域与具体开发技术无关。就是你的软件系统要解决的理论问题相干的所有货色的汇合。按问题域了解:每个限界上下文专一于解决某个特定的子域的问题,限界上下文能够了解为问题空间(Problem Space),随着设计和含意的清晰化,限界上下文会迅速的转换为解决方案空间(Solution Space)十分构造清晰的一张图畛域的整体概念图 限界上下文限界上下文(Bounded context)是一个显式边界(边界:通常是一个子系统或者一个特定团队的工作),畛域模型存在于边界之内。建设模型过程中造成了通用语言,通用语言在特定上下文中才有明确的意义。限界高低文书语义和语境上的边界,用于表白其边界内的软件模型。在限界上下文内的软件模型有着特定的含意并且在解决独特的事务。按团队工作了解:一个团队应该在一个限界上下文中工作,依据组织大小可能对应一个大部门也可能对应一个小团队,如果是大部门,则小团队围绕着子域/聚合工作。 上下文映射图限界上下文之间会相互集成,这种集成关系称为上下文映射上下文映射图不是一种企业架构,也不是零碎拓扑图,他是梳理限界上下文的重要伎俩,能够用upstream和downstream这种关系来形容,也能够用其余形式。在DDD中存在多种组织模式和集成模式,如下。1、 单干关系2、共享内核3、客户方和供应方开发4、遵奉者5、防腐层, 简称ACL6、凋谢主机服务,简称OHS7、公布语言,简称PL8、另谋塔路9、大泥球待跟进——上下文映射设计工具,有必要学习和实际https://contextmapper.org/ 外围域当限界上下文被当作组织的要害战略决策进行开发和运维,则这部分软件模型上外围域,外围域是当下或者将来一段时间企业的主航道,因为企业策略不是变化无穷的,外围域也是动静调整的。外围域的辨认是一个继续精炼的过程,从一堆混淆在一起的组件中提炼出最重要的内容。——舍九取一的能力外围域尽管只是一个逻辑概念,然而它体现了器重度关注度,体现了资源的歪斜,架构设计中要清晰的辨认出外围域,并确保在执行中可能把最好的资源投入到外围域中。 子域子域是畛域更细粒度的划分,依据重要性与性能将畛域分为大抵三类(视我的项目理论状况而定)的多个子域,别离是外围子域、撑持子域和通用子域。外围域是业务胜利的次要促成因素,次要竞争力,撑持子域是撑持外围域的,而通用子域是业务零碎的专用局部。 外围域同上 撑持域零碎非核心业务,撑持性质的问题域撑持子域不须要适度的思考可拓展性和兼容性,可重用性并非技术着力方向,可替代性才是,咱们须要对撑持子域有着明确的契约标准和业务约束条件。 通用域能够公共复用的问题域 畛域模型限界上下文是一个显示的边界,在边界外部的软件模型的表白就是畛域模型,畛域模型由模块、聚合、畛域服务组成。 策略设计次要从业务视角登程,建设业务畛域模型,划分畛域边界,建设通用语言的限界上下文,限界上下文能够作为微服务设计的参考边界。畛域设计的工作形式在策略层面,DDD十分强调针对业务问题的剖析和合成,通过辨认外围问题域来升高剖析的复杂度。在战术层面,DDD强调通过辨认问题域里的不同业务上下文来进行面向业务需要的组件化。最初在实现层面利用成熟的技术模式屏蔽掉技术细节的复杂度。战术设计聚合畛域事件畛域服务 聚合根聚合根是实体,有实体的特点,具备全局惟一标识,有独立的生命周期。一个聚合只有一个聚合根,聚合根在聚合内对实体和值对象采纳间接对象援用的形式进行组织和协调,聚合根与聚合根之间通过 ID 关联的形式实现聚合之间的协同。聚合根的次要目标是为了防止因为简单数据模型短少对立的业务规定管制,而导致聚合、实体之间数据不一致性的问题。首先它作为实体自身,领有实体的属性和业务行为,实现本身的业务逻辑。其次它作为聚合的管理者,在聚合外部负责协调实体和值对象依照固定的业务规定协同实现独特的业务逻辑。 实体值对象命令命令(Command):是执行者发动的操作,形成要件是执行者和行为 MVP(Minimun viable Product)MVP(Minimum Viable Product),最小可行性产品,是研发新产品过程中罕用的一个名词,意指恰好满足指标用户外围需要的最简模式产品。 BDD-行为驱动开发(behavior-driver-development)行为驱动开发是一种麻利软件开发办法,它激励软件我的项目中的开发者、测试和业务人员之间的合作,包含验收测试和客户测试驱动等实际。实例化需要(Specification by Example)也是一种用于定义软件产品的需要和面向业务的功能测试合作办法,它和行为驱动开发表白的是同样的概念,采纳的也是同样的实际。行为驱动开发是在需要梳理阶段对TDD测试驱动开发的响应,体现在测试验收方面,验收测试通常指面向业务(用户)的(性能)测试,因而它还承载着限界需要阐明和测试代码的职责。验收测试最好应用业务人员、开发人员、测试人员都能了解的“语言”来形容,尽可能防止需要了解的偏差。在麻利开发中,咱们举荐应用用户故事中的验收条件来形容需要,采纳自然语言和“如果/当/那么”(Given/Wher/Then)的固定格局。架构边界清晰的益处之一是测试聚焦,让测试聚焦某区域,某档次的测试而发展测试治理 思考与了解• 动态变化,畛域模型动态变化• 主权意识的思考:畛域设计强调畛域的限界上下文内的主权意识,团队要承当起主权的捍卫者• 软件的模型会随着业务的增长继续的突破边界,走向凌乱,继续的畛域设计是在做凌乱的治理,反熵增的,一套面向畛域的软件研发体系,大家依照畛域独立工作,并且反抗凌乱,即零碎能够自带垃圾清理机制,减少零碎的可持续性。• 一个对象在不同的业务场景都用利用,在这种状况下,该当按业务场景(上下文)将对象扩散其中,而不是用一个对接去贯通所有业务场景。——这里可能是畛域设计与面向对象的区别,或者说畛域设计是在业务边界内的面向对象设计。见《畛域设计精粹》23页• 边界清晰的益处之一是测试聚焦,让测试聚焦某区域,某档次的测试而发展测试治理参考资料:https://insights.thoughtworks... 本文转自:https://developer.aliyun.com/...

August 30, 2021 · 1 min · jiezi

关于运维:聊一聊用小鸟云服务器搭建网站常用的伪静态设置规则

用云服务器搭建网站后,网站自身是动静的网页,就比方.php、.asp、.aspx等格局,这类网页还带“?”加参数来读取数据库。在设置伪动态后,动静的网页能够被转换写成动态网页类型的页面。 明天设置伪动态的时候碰到问题,推敲半天不得其解,最初是参考了小鸟云的文章才把伪动态设置好的。 参考如下: Discuz X3.2 1.RewriteEngine On2.RewriteBase /3.RewriteCond %{QUERY_STRING} ^(.*)$4.RewriteRule ^topic-(.+)\.html$ portal.php?mod=topic&topic=$1&%15.RewriteCond %{QUERY_STRING} ^(.*)$6.RewriteRule ^article-([0-9]+)-([0-9]+)\.html$ portal.php?mod=view&aid=$1&page=$2&%17.RewriteCond %{QUERY_STRING} ^(.*)$8.RewriteRule ^forum-(\w+)-([0-9]+)\.html$ forum.php?mod=forumdisplay&fid=$1&page=$2&%19.RewriteCond %{QUERY_STRING} ^(.*)$10.RewriteRule ^thread-([0-9]+)-([0-9]+)-([0-9]+)\.html$ forum.php?mod=viewthread&tid=$1&extra=page\%3D$3&page=$2&%111.RewriteCond %{QUERY_STRING} ^(.*)$12.RewriteRule ^group-([0-9]+)-([0-9]+)\.html$ forum.php?mod=group&fid=$1&page=$2&%113.RewriteCond %{QUERY_STRING} ^(.*)$14.RewriteRule ^space-(username|uid)-(.+)\.html$ home.php?mod=space&$1=$2&%115.RewriteCond %{QUERY_STRING} ^(.*)$16.RewriteRule ^blog-([0-9]+)-([0-9]+)\.html$ home.php?mod=space&uid=$1&do=blog&id=$2&%117.RewriteCond %{QUERY_STRING} ^(.*)$18.RewriteRule ^archiver/(fid|tid)-([0-9]+)\.html$ archiver/index.php?action=$1&value=$2&%119.RewriteCond %{QUERY_STRING} ^(.*)$20.RewriteRule ^([a-z]+[a-z0-9_]*)-([a-z0-9_\-]+)\.html$ plugin.php?id=$1:$2&%1Wordpress 1.RewriteEngine On2.RewriteBase /3.RewriteRule ^index\.php$ - [L]4.RewriteCond %{REQUEST_FILENAME} !-f5.RewriteCond %{REQUEST_FILENAME} !-d6.RewriteRule . /index.php [L]Typecho 1.RewriteEngine On2.RewriteBase /3.RewriteCond %{REQUEST_FILENAME} !-f4.RewriteCond %{REQUEST_FILENAME} !-d5.RewriteRule ^(.*)$ /index.php/$1 [L]

August 25, 2021 · 1 min · jiezi

关于运维:Windows-Server-2019-安装提要-及-VS-2019-Build-Tool-续

The Essentials: After Windows Server 2019 Evaluation Installed - PART II上一次写了 Windows Server 2019 装置提要 (及 VS 2019 Build Tool),而后形容了根本的装置后配置工作。不过这离我的指标——一个轻量级(22GB之轻)的 MSVC 构建环境——还差得远。 所以持续追加配置过程中遇到的问题。如下。 装置后提要装置 Chocolatey装置 Chocolatey: powershell Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1')) chocolatey 是一个命令行的包管理器。像 apt。 在 choco 官网的软件仓库页面能够查找特定的软件包:https://chocolatey.org/packages 。 装置 nano 编辑器用惯了命令行中的繁难编辑器,nano 能够满足少数的轻量级编辑需要。 装置它: choco install -y nano而后能够在命令行中间接 nano 1.txt。 订正环境变量在 Server Core 的命令行界面中,你默认处于 cmd 提示符下,能够输出命令 “powershell” 来进入到 PowerShell 提示符模式。 在 cmd 提示符中,set 和 set PATH 仍旧无效,能够用来显示全副或指定的环境变量,set PATH="%PATH%;xxx" 能够设置环境变量。 ...

August 19, 2021 · 3 min · jiezi

关于运维:从入门到精通7天轻松玩转云速搭CADT所见即所得的云架构工具

简介:所见即所得(英语:What You See Is What You Get,缩写:WYSIWYG)是由菲利普·威尔逊(Flip Wilson)所提出的一种电脑文本编辑器方面的技术,使得编辑文字时在屏幕上间接出现最终显示成果,如打印到纸张上的成果,故也称可视化操作。 “我感觉云计算的UI应该朝着这个方向去倒退。” ——阿里云MVP anxin前言在云计算越来越趋于基础设施化的明天,宽广中小客户应用云时通常会遇到的一些挑战,阿里云提供了大量的云服务,将云服务配置成客户的利用架构须要肯定的专业知识,客户云资源扩散在不必的云服务中,不便于从利用架构的角度来开明、运维、治理资源,阿里云地面架构师云速搭CADT是一款为上云利用提供自助式云架构治理的产品。 云速搭CADT是一款为上云利用提供自助式云架构治理的产品,显著地升高利用云上治理的难度和工夫老本。本产品提供丰盛的预制利用架构模板,同时也反对自助拖拽形式定义利用云上架构;反对较多阿里云服务的配置和治理。用户能够不便的对云上架构计划的老本、部署、运维、回收进行全生命周期的治理。 课程介绍云速搭CADT系列教程由各位产品技术专家联结出品,从产品产生背景、入门教程到高级进阶,全方位向您介绍CADT的性能利用和具体操作。 序列课程名称教程地址1产品介绍云速搭CADT系列课程第一期2以后反对的云服务云速搭CADT系列课程第二期3公共模板列表云速搭CADT系列课程第三期4公有模板列表云速搭CADT系列课程第四期5创立利用部署架构云速搭CADT系列课程第五期6架构资源校验云速搭CADT系列课程第六期7导出利用架构图&配置单云速搭CADT系列课程第七期8利用部署云速搭CADT系列课程第八期9架构老本剖析报告&利用资源部署报告云速搭CADT系列课程第九期10架构调整云速搭CADT系列课程第十期11用户Dashboard视图云速搭CADT系列课程第十一期12架构资源开释云速搭CADT系列课程第十二期13地面架构师-一键分享云速搭CADT系列课程第十三期14AI减速场景架构部署云速搭CADT系列课程第十四期15多地区模板云速搭CADT系列课程第十五期16手动导入保有资源云速搭CADT系列课程第十六期17CADT充值计费阐明云速搭CADT系列课程第十七期18部署挂载CPFS的EHPC集群云速搭CADT系列课程第十八期CADT部署解决方案阿里云最佳实际是基于泛滥客户上云的胜利案例萃取而成的最优化企业上云领导,在升高企业上云门槛的同时能够满足客户自服务的需要。目前,云速搭CADT已集成相干最佳实际为官网模板,能够一键部署所需场景利用。 云上网站经典架构利用场景 在守业型公司或阿米巴模式经营的公司,新我的项目公布初期存在较大的不确定性,既要思考我的项目将来的扩展性,又要掂量我的项目的经营老本。本解决方案为客户提供低成本,麻利快捷的最佳实际。理解详情>>一键部署 PAI平台搭建企业级个性化举荐零碎利用场景 PAI是阿里云推出的人工智能平台,提供一站式的 机器学习解决方案。本最佳实际利用PAI平台联合 阿里云RDSforMySQL版、对象存储OSS和云数 据库Redis版等产品构建一个高效的离线训练+在 线推理的举荐业务零碎。理解详情>>一键部署 容器利用DevOps for ACK集群利用场景 DevOps的目标是构建一种文化和环境,使构建,测试,公布软件更加快捷,频繁和牢靠。而到了容器时代,须要部署的机器岂但量更大,变动更激烈,有的甚至须要依据条件主动升缩,为了满足企业麻利的需要,继续部署也成了必须,本计划应用云效实现容器利用(小程序后端服务)的自动化构建和继续部署。理解详情>>一键部署 利用IPv6革新最佳实际利用场景 某些企业现有的IT零碎为纯IPv4网络,企业因业务倒退需要,须要面向IPv6客户端提供服务。然而零碎革新反对IPv6是一个简单的系统工程,革新难度大,周期长,通常为企业的一个痛点。阿里云提供多种解决方案,在不改变或少改变企业现有IT零碎的状况下,可疾速实现IPv6转换。理解详情>>一键部署 更多解决方案模板更多利用场景模板,请拜访>>云速搭CADT官网模板库 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 19, 2021 · 1 min · jiezi

关于运维:如何使用awk处理文本内容

Awk是为高级文本处理而设计的十分弱小的工具。它逐行搜寻扫描文件,将输出的每行宰割成字段,将输出行或字段与模式进行比拟,并对匹配的后果执行操作。本节将应用sub和gsub函数和awk命令来删除文件中的制表符和空格。咱们将应用以下文本文件作为本文中所有示例的输出文件: [root@localhost ~]# cat << EOF >> content.txt呈现大于号时将一下内容复制到终端,将文本内容保留到content.txt文件中。 hitesh engineer sales 30000jayesh director account 25000vyom manager purchase 20000 bhavesh engineer sales 30000 rajesh directory sales 40000niraj clerk account 20000jay peon purchase 23000deep clerk sales 20000EOF如何应用awk解决文本内容如何应用awk解决文本内容 删除文件中的所有空白行能够应用awk的非凡变量NF,从文件中删除所有空白行。例如,删除文件content.txt中的所有空白行。 [root@localhost ~]# awk NF content.txt 如何应用awk解决文本内容如何应用awk解决文本内容 删除每行结尾或者开端的空格和制表符应用awk命令在文件结尾找到一个或多个空格或制表符并删除。能够应用以下命令: [root@localhost ~]# awk '{ sub(/^[ \t]+/, ""); print }' content.txt如何应用awk解决文本内容如何应用awk解决文本内容命令行中的意思是:应用sub函数找到结尾是制表符和空格的行,并替换空格和制表符为空。留神:sub()函数替换只产生在第一次匹配的时候,也就是一行中有多个空格或多个制表符,只替换右面的第一个。 删除开端的空格和制表符能够应用上面的命令: [root@localhost ~]# awk '{ sub(/[ \t]+$/, ""); print }' content.txt同时查问结尾和开端的空格和制表符,能够应用上面命令: [root@localhost ~]# awk '{ gsub(/^[ \t]+|[ \t]+$/, ""); print }' content.txtgsub函数示意满足条件,替换所有的匹配字符。 ...

August 19, 2021 · 1 min · jiezi

关于运维:李欲晓加强关键信息基础设施安全保护的法治基石

增强要害信息基础设施平安爱护的法治基石 中国网络空间平安协会 李欲晓 新世纪以来,以互联网为代表的信息技术反动在寰球迅速遍及和利用,推动经济社会的数字化转型并带来了生产力新的解放和飞跃。要害信息基础设施的平安爱护曾经成为各国推动数字经济倒退、参加国际竞争的重要保障。当今世界正经验百年未有之大变局,国内环境日趋简单,不稳定性不确定性明显增强。要害信息基础设施平安事关国家网络安全和数据安全,日益成为国家网络空间平安能力建设的外围和要害。 近日,国务院正式颁布了《要害信息基础设施平安爱护条例》(以下简称《条例》)。该《条例》是我国针对要害信息基础设施平安爱护的专门性行政法规,也是领导国家网络安全保障工作的基础性行政法规。认真学习体会《条例》内容,对于推动要害信息基础设施平安保障能力建设,保护国家网络空间平安利益具备粗浅意义。 一、制订《要害信息基础设施平安爱护条例》立法背景意识 要害信息基础设施在国家经济和社会服务中承当着重要角色并施展着关键作用。随着我国国民经济和社会信息化的全面推动,传统的社会活动一直向网络空间延长扩大,经济与国家平安高度依赖于要害信息基础设施。欠缺要害信息基础设施爱护法律体系,全面晋升要害信息基础设施平安保护意识、保障能力和程度,曾经成为网络安全博弈的制胜要害。 党的十八大以来,党中央高度重视要害信息基础设施平安爱护工作,就增强要害信息基础设施平安爱护工作作出了一系列重大决策和部署。在地方网络安全和信息化领导小组第一次会议上,总书记指出,要欠缺要害信息基础设施爱护等法律法规。在2016年的网络安全和信息化工作座谈会上,总书记明确要求“放慢构建要害信息基础设施平安保障体系”。2021年我国公布的《中华人民共和国国民经济和社会倒退第十四个五年布局和2035年近景指标大纲》明确强调要“建立健全要害信息基础设施爱护体系,晋升平安防护和保护政治平安能力”。作为“十四五”开局之年公布的一项重要法规,《条例》是推动我国网络安全法治化工作的又一项重要动作和成绩,对建立健全我国要害信息基础设施平安爱护体系具备里程碑式的意义。《条例》从突出重点爱护、保持问题导向、与已有相干法律法规无效连接三方面登程,迷信总结网络安全工作实践经验,并回升为法规制度,为要害信息基础设施平安爱护工作提供法治保障。 二、《条例》重点内容了解 从内容上看,《条例》保持总体国家安全观和网络强国的重要思维,保持平安倒退、改革翻新、问题导向的指导方针,保持综合协调、分工负责、依法爱护,充分发挥行政法规的引领和推动作用,放慢推动要害信息基础设施平安保障体系建设。具体来说,《条例》次要内容有以下几个亮点: 一是清晰了要害信息基础设施的定义,并依照抓重点、保要害的思路,围绕要害、信息、根底这三个因素迷信界定了要害信息基础设施的范畴。《条例》站在总体国家安全观的视角,对要害信息基础设施范畴的明确界定,有利于更好地推动国家网络空间平安外围能力建设,筑牢国家网络空间平安的屏障。 二是明确了爱护工作部门职责,在充分考虑重点行业、畛域业务及网络安全需要的特殊性、专业性的前提下,将行业畛域主管监管部门明确为要害信息基础设施平安爱护部门,组织领导和监督管理本行业、本畛域要害信息基础设施平安爱护工作。 三是强化了运营者平安治理,特别强调建设“一把手负责制”,明确了运营者次要负责人负总责,切实保障人财物投入,为平安爱护工作的物质基础提供了法律保障。 四是规定了国家保障和促成措施。《条例》明确了建设网络安全信息共享机制、欠缺监测预警和应急体系、组织发展查看检测、能源和通信服务优先保障、增强平安捍卫和防备打击违法犯罪、出台相应规范领导标准等6个方面的保障措施。为体现国家重点反对,《条例》从人才培养、财政金融、技术创新、产业倒退、军民交融、表彰处分、宣传教育等7个方面提出了促成措施。 五是确立了监督管理体制。《条例》规定,在国家网信部门兼顾协调下,国务院公安部门负责领导监督要害信息基础设施平安爱护工作;国务院电信主管部门和其余无关部门按照本条例和无关法律、行政法规的规定,在各自职责范畴内负责平安爱护和监督管理工作;省级人民政府无关部门根据各自职责对要害信息基础设施施行平安爱护和监督管理。 三、要害信息基础设施平安爱护工作重点工作的思考 在网络安全威逼和危险日益突出,要害信息基础设施面临的安全形势日趋严厉的大背景下,《条例》的出台正当其时,也时不我待。《条例》正式施行后,我国要害信息基础设施平安爱护工作将进入新的倒退阶段,对于将来相干工作重点工作次要有以下几方面的思考: (一)要害信息基础设施是国家网络安全保障工作的外围和基石,须要国家总体部署、兼顾协调。 要害信息基础设施承载或撑持着重要行业和畛域要害业务,并成为各行各业运行体系所依赖的要害节点,一旦受到毁坏,通过关联行业、畛域逐步传递,会给国民经济和国家平安造成连锁连片影响的严重后果。作为经济社会运行的神经中枢,要害信息基础设施日益施展着基础性、全局性、撑持性作用,“牵一发而动全身”。因而,晋升我国网络安全保障能力,筑牢国家网络安全屏障,保护国家网络空间平安,就要切实抓住要害信息基础设施平安这个“牛鼻子”。 作为国家网络安全保障的外围及全局性工作,要害信息基础设施平安爱护必须要保持总体部署。从这个意义上来说,在地方网络安全和信息化委员会领导下,国家网信部门应施展好兼顾协调职能,一直强化要害信息基础设施平安爱护工作的顶层设计、总体布局、兼顾协调、整体推动。国务院公安部门增强对要害信息基础设施平安爱护工作的领导监督。国务院电信主管部门和其余无关部门应依据《条例》规定的职责施行平安爱护和监督管理。 (二)持续性的能力评估是欠缺要害信息基础设施平安爱护工作的疏导和方向。 通过总结我国要害信息基础设施爱护实践经验以及相干法律政策的爱护要求,在“十四五”期间,提出适宜于我国的要害信息基础设施平安爱护能力程度评估体系具备重要的现实意义。平安能力评估是要害信息基础设施平安爱护的重要环节,其后果能够间接反映要害信息基础设施的平安爱护情况,发现存在的薄弱点,并为要害信息基础设施平安整改和前期平安布局制订提供根据。从久远上看,持续性能力评估是为要害信息基础设施的建设运维治理保障提供了方向,可能起到以评促建、以评促管、以评促改的成果。 (三)做好要害信息基础设施平安爱护工作要切实施展我国制度劣势,会聚社会各界力量。 一是要充分发挥我国集中力量办小事的体制劣势,进一步增强政企单干、军地协同,施展政策劣势,要由自我爱护向国家、行业、运营者独特爱护转变,造成工作合力,独特推动要害信息基础设施平安爱护工作,应答危险挑战。二是要持续做大做强我国网络安全产业,培养一批自主核心技术突出、经济效益劣势显著、生态引领能力显著的领航型品牌企业,以及保障具备技术特色、成长性好的中小企业健康成长,依靠其技术、产品、人力和服务劣势,整合共享资源,推动平安爱护的集约化、专业化、常态化,更好地为要害信息基础设施平安保障提供撑持。三是要施展行业组织的桥梁纽带作用,踊跃对接要害信息基础设施运营者与网络安全技术、服务提供者供需双方的理论需要,无力撑持要害信息基础设施平安爱护技术创新和产业倒退。四是要继续做好要害信息基础设施平安爱护相干政策宣贯工作,倡议将要害信息基础设施平安爱护的相干法律法规学习纳入领导干部和相干企业负责同志的网络安全意识培训之中,将贯彻落实状况逐渐纳入各级要害信息基础设施平安爱护责任部门和机构的考核之中,并通过“国家网络安全宣传周”等常态化网络安全宣传教育流动,动员全社会独特参加,切实晋升全社会要害信息基础设施平安保护意识,造成国家网络安全的弱小凝聚力和离心力。 《条例》为我国营造凋谢、平安、衰弱的数字生态,坚固国家网络安全保障根底,强化数字资源平安爱护能力提供了刚强的法治后盾,也为要害信息基础设施平安爱护工作提供了科学化、系统化、精细化的工作指引。瞻望“十四五”期间,随着《条例》的施行,我国网络安全工作必将乘势而上,向着实现网络强国战略目标一直奋勇前进。

August 19, 2021 · 1 min · jiezi

关于运维:一款炫酷轻量级性能监控系统

对于监控平台,民工哥在以往的文章中介绍过太多太多,仔细的读者都发现了。 不过,话说回来,监控零碎对于任何业务来说都是重中之重,部署实现之后,除了必要的逻辑优化与更新迭代,监控与报警显得更加重要。 往期介绍的【监控零碎】在这里。大家能够依据本人的理论生产环境与业务需要抉择适合的。 所以,明天民工哥又给大家安利一款轻量级、酷炫的监控零碎。 简介Webfunny是一款轻量级前端异样监控和前端性能监控零碎,致力于帮忙前端工程师定位并解决各种线上问题,确保我的项目衰弱良好的运行。这是一款由前端工程师设计的软件,咱们深知前端的痛点,咱们心愿前端的工作更有效率。 Webfunny 反对千万级别日PV量,可能满足用户的各种场景需要。同时,针对不通过企业和用户,提供一对一的领导服务,满足更多业务需要。 Webfunny 专一于微信小程序、H5前端、PC前端线上利用实时监控,实时监控前端网页、前端数据分析、谬误统计分析监控和BUG预警,第一工夫报警,疾速修复BUG!反对私有化部署,容器化部署! 环境要求请装置NodeJS,版本号:10.6.0及以上。日活十万UV以内:1核2G内存及以上,单点即可。日活百万UV左右:2核4G内存及以上,单点即可。(为保障稳定性,倡议至多2核2G以上)装置部署第一步、下载(clone)最新部署包,初始化#本地克隆代码$:git clone https://github.com/a597873885/webfunny_monitor.git#应用码云仓库$:git clone https://gitee.com/webfunnyMonitor/webfunny_monitor.git(github网络不稳固,能够应用码云地址)#在我的项目根目录下执行初始化命令和装置命令$:npm run init && npm install#确认是否装置了pm2,如果没有装置pm2,请执行装置命令$:npm install pm2 -g第二步、配置数据库(Mysql)连贯装置Mysql数据库Mysql装置教程: 创立数据库数据库名称:webfunny_db。字符集设置:[Default Character set]:utf8、 [Default Collation]:utf8_bin数据库连贯配置 进入webfunny_monitor/bin/mysqlConfig.js文件中(如果没有数据库,能够分割我,应用测试数据库哦)module.exports = {write: { ip: 'xxx.xxx.xxx.xxx', // 近程ip地址 port: '3306', // 端口号 dataBaseName: 'webfunny_db', // 数据库名 userName: 'root', // 用户名 password: '123456' // 明码}}第三步、本地部署运行1)此时此刻,本地配置曾经实现了,尝试运行命令$: npm run prd 如果提醒报错:Script already launched,阐明程序曾经运行了,请应用$: npm run restart 2)关上浏览器,拜访地址:http://localhost:8010/webfunn... (初始化管理员账号,并登录) 3)创立新我的项目后,能够看到探针部署教程,实现部署。 第四步、生产环境部署IP地址或者域名配置(形式一) 进入webfunny_monitor/bin/domain.js文件中(留神,对应的端口号要保持一致),IP地址配置形式:module.exports = {localServerDomain: 'xxx.xxx.xxx.xxx:8011', // 日志上报域名localAssetsDomain: 'xxx.xxx.xxx.xxx:8010', // 前端页面域名localServerPort: '8011', // 日志上报端口号localAssetsPort: '8010', // 前端页面端口号}代理域名配置,去掉端口号(形式二) ...

August 17, 2021 · 2 min · jiezi

关于运维:如何安装部署MySQL

MySQL是一种关系型数据库管理系统,是最风行的关系型数据库管理系统之一,关系数据库将数据保留在不同的表中,而不是将所有数据放在一个大仓库内,这样就减少了速度并高了灵活性。MySQL所应用的SQL语言是用于拜访数据库的最罕用标准化语言。MySQL所应用的 SQL 语言是用于拜访数据库的最罕用标准化语言。MySQL 软件采纳了双受权政策,分为社区版和商业版,因为其体积小、速度快、总体领有成本低,尤其是开放源码这一特点,个别中小型网站的开发都抉择 MySQL 作为网站数据库。 上面咱们就来学习一下如何简略疾速的装置部署好MySQL服务 1.找到MySQL的装置服务可点击试用。 2.装置部署增加节点-抉择版本-填写参数-部署胜利 装置部署过程简略又疾速,具体的装置教程如下: 如何增加节点?https://www.bilibili.com/vide... 如何装置部署MySQL?https://www.bilibili.com/vide...

August 17, 2021 · 1 min · jiezi

关于运维:解决容器运行-Go-代码-unknown-time-zone-的正确姿势

明天在生产环境中运行我的一个golang代码时,忽然呈现个报错,就感觉很奇怪,本地运行的好好的,放到服务器运行就报错。。。 找到办法解决了问题,顺便记录一下,以供各位大佬参考 1、问题阐明在线上运行 Go 语言中的工夫时区 这里的一段代码时,竟然报错了,导致程序 panic,谬误的内容为: could not load time location: unknown time zone Asia/Shanghai2.问题起因这就难堪了,因为在本地运行得很好的,所以就找了一下,起因发现居然是因为我用的 Base Image 是 alpine,当然,如果你用的是 busybox 也是会有问题的,因为他们都没有 Go 所需的 timezone 的配置。 3.问题解决所以解决办法就是须要在镜像中装置这个tzdata 包,在Dockerfile中退出以下这一段即可。 FROM golang:1.14.3-alpine... ...FROM alpine... ...RUN apk update && apk add tzdata... ...

August 16, 2021 · 1 min · jiezi

关于运维:Alibaba-Cloud-Linux-技术图谱首发

简介:作为开发者,你对Linux的理解有多少呢?到底要学到什么水平,能力被断定是“精通”呢?如果小白想要动手Linux,该从哪里学起呢? 这时你须要一条无效的学习门路,能囊括具体的知识点解说,这对Linux的学习提效和深刻把握,都尤为重要。学习课程,在本文下方留言,写出你的学习心得得大奖!具体流动规定看文末介绍 2021年年初,开发者学堂上新了多张面向开发者的技术图谱,笼罩多个技术畛域,旨在通过图谱将知识点演绎总结,为有着不同学习需要、不同年龄层面的开发者提供更具专业性的参考资料,帮忙新时代的开发者更好地把握技术常识,发明新价值。 全新上线的Alibaba Cloud Linux技术图谱是基于 Alibaba Cloud Linux生态,再联合阿里巴巴工程师的一线实战经验,邀请行业退职运维工程师授课,全力打造的一张最新最全的零根底小白入门Linux技术图谱。 它承载的课程内容涵盖 Linux 基础知识、罕用业务服务保护、自动化运维、自动化运维监控、KVM 虚拟化等诸多重点常识,更有电子书和相干体验室正在筹备上线,为同学们打造一站式“课程输出-体验输入-读书积淀”的成熟学习闭环。 图谱地址:https://developer.aliyun.com/graph/Linux 图谱地址:https://developer.aliyun.com/graph/Linux 学习更多精选内容:https://developer.aliyun.com/learning 学习有奖在本帖子评论区分享你的学习心得,获赞前十五名的同学可取得电动牙刷!同时还有踢楼流动哦,第28楼、48楼、68楼、88楼、108楼……以此类推,踢到相应楼层的同学分享学习心得可取得小米耳机哦! 快快退出学习中吧! 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 16, 2021 · 1 min · jiezi

关于运维:如何自动接受SSH密钥指纹

首次连贯到Linux零碎时,SSH会提醒你承受计算机的指纹以胜利建设连贯,因为“ known_hosts”文件中没有指纹。如何主动承受SSH密钥指纹?如何主动承受SSH密钥指纹?指纹是零碎公钥的缩写版本,为了爱护本人免受中间人攻打(MITM),ssh程序应用自上次连贯以来存储的指纹验证近程零碎ssh的指纹。如果指纹已更改,零碎将揭示你并询问是否要持续。 有时你可能须要主动承受SSH指纹。例如,如果创立了一个shell脚本用来远程管理多台linux服务器。 能够应用以下两种办法来实现此操作。 应用StrictHostKeyChecking=no选项主动承受ssh指纹。应用ssk-keyscan命令承受ssh指纹。首次连贯到近程计算机时,将正告你无奈建设主机的真实性,并提供密钥指纹以进行验证。如何主动承受SSH密钥指纹?如何主动承受SSH密钥指纹?承受指纹后,它将被保留在“known_hosts”文件中,当从新连贯到同一个近程主机时,SSH依据known_hosts文件查看指纹,以验证其身份。 1、如何应用SSH选项主动承受SSH密钥指纹?此办法简单明了,只需应用SSH命令增加选项即可实现。应用此选项时,ssh会主动将新的主机密钥增加到用户known_hosts文件中。 [root@localhost ~]# ssh -o "StrictHostKeyChecking no" localhostWarning: Permanently added 'localhost' (ECDSA) to the list of known hosts.root@localhost's password: Last login: Mon Jan 25 20:01:53 2021 from 192.168.43.1如何主动承受SSH密钥指纹?如何主动承受SSH密钥指纹?以上正告表明它已将一个密钥增加到known_host文件。如何主动承受SSH密钥指纹?如何主动承受SSH密钥指纹? 2、如何应用ssk-keyscan命令主动承受SSH密钥指纹?这是另一种办法,ssh-keycan容许你将ssh指纹附加到known_hosts文件中。当你想要批量增加时,此工具十分有用。应用上面命令操作: [root@localhost ~]# ssh-keyscan -H 192.168.43.138 >> ~/.ssh/known_hosts 192.168.43.138:22 SSH-2.0-OpenSSH_7.4192.168.43.138:22 SSH-2.0-OpenSSH_7.4192.168.43.138:22 SSH-2.0-OpenSSH_7.4应用以下命令将多台近程主机的ssh指纹增加到known_hosts。必须将近程主机的IP地址增加到一个文件中,并应用ssh-keyscan命令调用它,如下所示,将各个近程服务器的ip地址保留在文本文件外面: [root@localhost ~]# cat remote-hosts.txt 192.168.43.137192.168.43.138192.168.43.166而后应用ssh-keyscan工具将它们的ssh指纹增加到known_hosts: [root@localhost ~]# ssh-keyscan -f ./remote-hosts.txt >> ~/.ssh/known_hosts 192.168.43.138:22 SSH-2.0-OpenSSH_7.4192.168.43.137:22 SSH-2.0-OpenSSH_7.8192.168.43.137:22 SSH-2.0-OpenSSH_7.8192.168.43.137:22 SSH-2.0-OpenSSH_7.8192.168.43.138:22 SSH-2.0-OpenSSH_7.4192.168.43.138:22 SSH-2.0-OpenSSH_7.4192.168.43.166:22 SSH-2.0-OpenSSH_7.4192.168.43.166:22 SSH-2.0-OpenSSH_7.4192.168.43.166:22 SSH-2.0-OpenSSH_7.4如何主动承受SSH密钥指纹?如何主动承受SSH密钥指纹? 总结首次连贯到Linux零碎时,SSH会提醒你承受计算机的指纹以胜利建设连贯,因为“ known_hosts”文件中没有指纹。 ...

August 15, 2021 · 1 min · jiezi

关于运维:爆款来了88物联网大促智能好物都在这

简介:88物联网大促,爆款好物来这里88物联网大促曾经开始了,泛滥设施上云,不晓得买什么?明天就给大家曝光,须要回购的必要【爆款】好物 提供企业构建物联网必要的基础设施能力,新用户低至每天11元起 HAAS开发板全新降级,开箱即用,不须要开发环境搭建,兼容开源,还有阿里小二技术支持 PS:8月9日和16日上午10点开始秒杀,留神珍藏,定好闹钟! 实用于多场景,升高了部署运维老本;一张SIM卡反对三家运营商网络,晋升了设施在线率和在线时长;流量限时1.25折。省钱!给力!灵便! 在人脸识别等等根底上,联合景区主题模板,主动实现多镜头的玩耍动线串联,让你轻松领有明星式的跟拍Vlog 轻设施、重云端的轻量化无人值守停车场服务计划 啥也别说了 8月8-18日锁定88大促物联网狂欢节 智能爆款单品等你来抢! 清单曾经帮你们做成长图啦 欢送长按图片保留!珍藏!分享! !!!敲重点!!! 流动期间,全场1折起,满10000元送1000元代金券哟~ 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 12, 2021 · 1 min · jiezi

关于运维:TKE-1206搭建KubePrometheusprometheusoprator

背景:线上开明了tke1.20.6的集群。嗯腾讯云有个原生的Prometheus的监控,开明了应用了一下。不过我没有怎么玩明确。文档也不全。还是想了下本人手动搭建一个Prometheus-oprator吧!根本过程根本参照:Kubernetes 1.20.5 装置Prometheus-Oprator。上面讲一下不一样的和须要留神的 过程以及根本留神的:1.前提反复操作1.1-1.4操作根本保留都没有问题! 2. 增加 kubeControllerManager kubeScheduler监控拜访了一下Prometheus页面和前几个版本一样仍然木有kube-scheduler 和 kube-controller-manager 的监控。然而没有搞明确 为什么kube-apiserver只有两个呢?两个apiserver 169结尾的ip形式也有些让我惊讶......先再master节点执行了下netstat命令发现tke原生监控的都是ipv6的地址不是127.0.0.1的,我也就疏忽了批改control-manager和scheduler配置文件了! netstat -ntlp这里没有批改kube-controller-manager.yaml kube-scheduler.yaml的配置文件,顺便看了一眼/etc/kubernetes/manifests目录,what?还有cilium的包? tke 1.20.6是不是也是用了cilium?部署一下control-manager和scheduler的service服务: cat <<EOF > kube-controller-manager-scheduler.ymlapiVersion: v1kind: Servicemetadata: namespace: kube-system name: kube-controller-manager labels: app.kubernetes.io/name: kube-controller-managerspec: selector: component: kube-controller-manager type: ClusterIP clusterIP: None ports: - name: https-metrics port: 10257 targetPort: 10257 protocol: TCP---apiVersion: v1kind: Servicemetadata: namespace: kube-system name: kube-scheduler labels: app.kubernetes.io/name: kube-schedulerspec: selector: component: kube-scheduler type: ClusterIP clusterIP: None ports: - name: https-metrics port: 10259 targetPort: 10259 protocol: TCPEOF kubectl apply -f kube-controller-manager-scheduler.ymlkubectl get svc -n kube-system开启一下endpoints: ...

August 10, 2021 · 4 min · jiezi

关于运维:首批唯一阿里云视频直播服务获信通院首批唯一认证

简介:阿里云视频直播服务 7 月 28 日,由中国信息通信研究院主办的 2021 可信云大会上,阿里云凭借在视频直播 “云 - 边 - 端” 的产品技术劣势,以最高规范通过了可信云视频云解决方案能力评估(视频直播场景),成为国内首批惟一通过该测评的企业。 据悉,中国信通院可信云倒退十年,为云计算产业建设了一套残缺的规范及评估体系。该视频云解决方案(视频直播场景)能力评估认证从企业属性、视频云根底能力、视频云要害能力、视频云要害性能、服务经营能力、运维能力、平安保障能力和服务齐备性等方面开展评估。 阿里云视频直播服务提供了蕴含视频采集、解决、散发和播放等环节的核心技术计划,以大规模的散发网络和分布式实时转码技术打造便捷接入、高清晦涩、低提早、高并发的音视频直播平台,为寰球客户提供优质、毫秒级延时的直播服务。其卓越的服务能力,不仅撑持了淘宝、钉钉、优酷等阿里团体的重点业务,还与泛滥卓越客户联结打造了 2018 世界杯、双十一狂欢夜、CCTV 春晚等数百个经典案例。 在数字经济浪潮下,“直播 +” 商业模式涌现,为助力企业疾速低成本搭建直播平台,阿里云视频云在 2021 年推出了互动直播和互动课堂等一站式直播平台搭建计划。将来,阿里云视频云团队将继续加码直播畛域技术创新,致力于打造更疾速、更清晰、更互动、更智能和更低成本的视频云,让视频云成为数字经济时代的基础设施,让世界因为视频变得更加美妙。 「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 5, 2021 · 1 min · jiezi

关于运维:Linux-网络管理技术-OSI-七层模型和-TCPIP-四层模型

OSI 七层参考模型,TCP/IP 四层参考模型公众号:“学神来啦”OSI 七层模型:OSI(Open System Interconnection)开放系统互连参考模型是国际标准化组织(ISO)制订的一个用于计算机或通信零碎间互联的规范体系。 TCP/IP 四层模型:TCP/IP 参考模型是计算机网络的祖父 ARPANET 和其后继的因特网应用的参考模型。 分层作用:方便管理七层模型长处: [CCNA] 1、把简单的网络划分成为更容易治理的层(将整个宏大而简单的问题划分为若干个容易解决的小问题) 2、没有一个厂家能残缺的提供整套解决方案和所有的设施,协定. 3、独立实现各自该做的工作,互不影响,**分工明确,下层不关怀上层具体细节,分层同样有益于网络排错** 性能与代表设施 分层 名字 性能 工作在该层的设施7 应用层 提供用户界面 QQ,IE 。应用程序6 表示层 示意数据,进行加密等解决 QQ,IE 。应用程序5 会话层 将不同应用程序的数据拆散 QQ,IE 。应用程序4 传输层 提供牢靠或不牢靠的传输,在重传前执行纠错 ***3 网络层 提供逻辑地址,路由器应用它们来抉择门路 三层交换机、路由器2 数据链路层 将分组拆分为字节,并讲字节组合成帧,应用 MAC 地址提供介质拜访,执行谬误检测,但不纠错二层交换机,网卡1 物理层 在设施之间传输比特,指定电平,电缆速度和电缆针脚 集线器为什么古代网络通信过程中用 TCP/IP 四层模型,而不是用 OSI 七层模型呢? OSI 七层模型是实践模型,个别用于实践钻研,他的分层有些冗余,理论利用,抉择 TCP/IP 的四层模型。而且 OSI 本身也有缺点,大多数人都认为 OSI 模型的档次数量与内容可能是最佳的抉择,其实并非如此,其中会话层和表示层简直是空的,而数据链路层和网络层蕴含内容太多,有很多的子层插入,每个子层都有不同的性能。 常见网络相干的协定ARP(Address Resolution Protocol):地址解析协定,将 IP 解析成 MAC 地址 地址解析协定,即 ARP(Address Resolution Protocol),是依据 IP 地址获取物理地址的协定。 ...

August 4, 2021 · 2 min · jiezi

关于运维:一份不大的救命文档一场时间与生死的接力

简介:一份文档,能成为照亮光明的灯塔,关上一条求生通道。2021年7月20日,一场暴雨突破了一座城市的平静。短短24小时,就让这座黄河边上的“中原粮仓”变成了一片汪洋。 常见的特大暴雨席卷了整个河南,大雨冲毁了城市里大部分的基础设施,通信碰壁导致大量灾区民众无奈取得无效的救济,许多人曾经在水里泡了好几个小时却无人知晓。 自7月20晚开始,大量河南暴雨的信息开始在各类社交媒体急速流传,各类在线文档也开始呈现。不同类型的救济信息,被志愿者们分门别类地编辑进不同类型的文档,一时间“待救济人员名单”、“避险名单”、“住宿交通物资信息”等文档开始在各类社交媒体内进行流传。 放在平时,一份文档对于咱们来说可能是工作和生存的必备工具。但在这次的灾情中,每一份文档都是一条信息高速通道,每一个字符都寄托着社会各界对受灾同胞的殷殷关切。 文档是救济的方舟,在此刻显得尤为重要,石墨文档在第一工夫向奋战在抗汛一线的政府部门 / 医疗机构 / 公益组织 / 社会个人 / 集体志愿者等收费提供高级版产品及服务。助力各方做好信息收集与公布,实现更高效的沟通协调。 依据目前的数据,自20日晚起,截止本周,全国共创立了超过1600个灾情相干文档,累计为数百万设施提供了文档合作服务。主题包含现场求援、物资同步、洪灾志愿者填报、洪涝自救常识科普等。在灾情产生24小时内,石墨文档挪动端访问量激增5.4倍以上。 《河南洪灾紧急求助信息登记表》分省市拜访趋势图 灾情相干文档实时热度图 一条又一条的救命信息,为灾区人民提供了活力,但也让石墨文档背地的IT零碎面临着微小的挑战。而其中最重要的挑战就是:如何保证系统的安稳运行。 只有零碎安稳地运行,用户能力在第一工夫对各类救命文档进行整顿、编辑、演绎等操作,让更多人参加到文档的独特合作当中,让各条救命信息能送到真正有须要的人手中。 在此次灾情中,石墨文档杰出地实现了作为“信息载体”的工作,确保文档始终稳固可用。而此次在灾情期间石墨文档能有如此杰出体现,很大一部分起因是因为石墨文档早在5个月之前利用阿里云构建了一整套智能运维零碎,买通零碎全链路可观测数据,实现了对立治理,智能告警和预检能力。 在河南疫情产生不久后,石墨文档SRE团队工程师在7月20日晚值班时忽然接到告警电话,电话那头语音主动播报石墨线上K8S集群资源使用率飙升,PV 同比增加200%以上。紧接着又收到某些业务接口访问量骤增和多个资源快到压力位的告警信息,并且随同着屡次容器主动扩容的事件产生。通过基于 SLS 打造的一条全渠道事件总线,疾速定位到事件起因:多个文档的读写次数和拜访人数出现异常增多。 定位到相干文档后,发现原来是有人应用石墨文档统计救灾信息,所以才有大量用户同时拜访。因为拜访人数增长过快,不晓得后续上涨趋势如何,于是SRE工程师紧急协调了数倍于来日的阿里云计算资源对基础设施进行了大规模扩容。确保这些救灾文档在数千人同时合作,数百万人次浏览的状况下也能保持稳定、晦涩的体验,保障救灾工作顺利进行。 一份文档,牵动一城的心;一份文档,关上一条求生通道;一份文档,为河南的受灾大众带去新的心愿…… 在进入云原生时代后,逐步欠缺的IT基础设施,推动者企业业务进行数字化翻新。而如何晋升用户体验,让业务疾速且稳固地为用户服务,是企业在这个时代倒退的要害。尤其在面对各种突发状况须要用到该业务时,只有做到“疾速且稳固”能力让该业务在关键时刻起到最大的作用。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 4, 2021 · 1 min · jiezi

关于运维:学习周刊2021年第23周

0,前言这里记录咱们每周工作学习过程中遇到学到的优良开源我的项目,优良文章,以及优良博客。有很多优良的内容,都值得被铭刻,值得被分享,值得被更多人学习,咱们想通过这里每周的记录分享,一方面强化本人对优良内容的意识与学习,另一方面可能把优质内容对立汇总,以飨公众。 咱们的内容会以运维技术和Golang为主,以及GitHub上优良我的项目或教训。曾经通过一次筛选过滤的内容,品质不会太差,在你闲暇无事的时候,能够过去轻易看看,必能有所收益。 该我的项目保护在这里,目前由eryajf和clay-wangzhi一起保护更新,你能够在这里或者这里查看汇总周刊。 1,开源我的项目我的项目地址:quick-look-plugins我的项目阐明:应用如下命令装置所有brew install qlcolorcode qlstephen qlmarkdown quicklook-json qlimagesize suspicious-package apparency quicklookase qlvideo相干文章:维基我的项目地址:go-bindata我的项目阐明:反对将动态文件打入到go二进制当中相干文章:README我的项目地址:gotable我的项目阐明:开箱即用,在命令行通过表格模式输入咱们想要打印的货色相干文章:阐明文档我的项目地址:json-to-go我的项目阐明:能够间接将json转换成go构造体,不便定义相干文章:在线拜访我的项目地址:cobra我的项目阐明:一款命令行cli包相干文章:阐明文档2,优良文章Linux中strace的输入间接grep strace 间接执行没方法间接grep,这是因为strace将其所有输入写入stderr,而不是stdout,应用 2>&1 能够将之转化。应用 Linux 的 strace 命令跟踪/调试程序的罕用选项 文章介绍了几种常见的零碎调用追踪Mac电脑装置pip 通过文中介绍的形式,亲测装置胜利Go语言-打包动态文件 文章介绍了几种将动态文件打包进二进制的工具Golang之应用Cobra,cobra 包简介,golang常见库cobra 介绍了cobra的应用姿态3,优良博客博客地址:Casstiel简略阐明:go,docker,Linux,内容不错博客地址:EnjoyToShare简略阐明:内容丰盛,是个有心的博主

August 3, 2021 · 1 min · jiezi

关于运维:拒做背锅侠如何利用网站性能优化驱动产品体验提升

简介:对于运维工程师而言,如果要票选五大最抓狂运维撑持场景,花样繁多的各种促销流动肯定榜上有名。每个促销季上线都是局促不安的不眠夜。大量内容更新、大量客户涌入,大量数据读写,虽有着各种技术计划或工具服务保障着大促顺利进行。但仍有可能收到譬如“商品图片加载不进去”、“页面关上迟缓”、“无奈实现订单领取”等诸多各地用户投诉。这些因为用户体验与网站性能造成的用户转化低、业务增长迟缓等蹩脚后果,最终都会让运维工程师成为“众望所归”的背锅侠。白屿 对于运维工程师而言,如果要票选五大最抓狂运维撑持场景,花样繁多的各种促销流动肯定榜上有名。每个促销季上线都是局促不安的不眠夜。大量内容更新、大量客户涌入,大量数据读写,虽有着各种技术计划或工具服务保障着大促顺利进行。但仍有可能收到譬如“商品图片加载不进去”、“页面关上迟缓”、“无奈实现订单领取”等诸多各地用户投诉。这些因为用户体验与网站性能造成的用户转化低、业务增长迟缓等蹩脚后果,最终都会让运维工程师成为“众望所归”的背锅侠。 针对「用户体验与网站性能」问题,咱们与泛滥企业运维工程师以及独立站长开展访谈,发现大家的观点集中在以下方面: (一)「产品与用户体验之间的差距」带来的性能与体验问题 因为互联网红利消退,产品性能与用户体验设计越发内卷。产品性能逻辑设计与用户应用时的了解存在差距,大量秒杀流动、推广流动、UGC内容让产品逻辑愈发简单,哪怕提供了各种疏导与阐明文档,用户依然须要工夫了解并造就应用习惯。与此同时,为了让功能模块进一步丰盛,大量富媒体、第三方组件、客户广告一直被增加进来,对外单干内容过多且不合理,减轻零碎负载,连累产品性能。既要、又要、还要,最终的代价就是不得不就义肯定的网站性能与用户体验。 (二)「盘根错节的网络环境」带来的性能与体验问题 家喻户晓,全国各地充斥着各种各样一级、二级运营商,这大幅晋升了全国网络环境复杂度,因为运营商基础架构更新慢、突发性人为问题多,造成会经常性的IDC故障,企业只能安抚用户并躺平期待修复,而这些问题的排查耗时都只能事在人为。与此同时,广大的地区散布、零散的用户散布及个性化入网形式造成接入网络简单,企业对于用户应用环境无奈无效估计。哪怕借助宽泛散布的数据中心以及多线BGP接入,想要解决网络环境问题仍旧顾此失彼,这进一步加剧了网络环境的优化难度,让实在用户的理论应用体验更加难以预测。 (三)「差别显著的PC端环境」差别带来的性能与体验问题 作为世界上领有最大网民规模的国家,我国这些海量用户规模背地是微小的用户端硬件配置差别,可能有人应用着 i9-11900K+RTX3080 Ti 在 bilibili 上看 4K 高清直播视频,也有人用着千禧年公布的 Pentium 4 与集成显卡在门户网站浏览文字新闻。这造成不同浏览器版本、本身渲染机制、本地主机性能差别的不同群体,存在譬如拜访异样、慢速、本地资源耗费等用户体验差别。面对这一情况,如何去理解宽广用户理论体验状况,均衡或评估用户端体验差别,在其中进行取舍成了每个网站运维与研发必须面对的难题。 (四)「谋求迭代速度的后遗症」带来的零碎可用性保障问题 因为互联网竞争疯狂内卷,产品在性能窗口期与精密调优这道选择题上,不得不选择性漠视产品架构与稳定性。架构不谨严、业务倒退超过架构撑持能力造成零碎负载过载、导致系统解体、响应超时等问题,造成这一问题的因素很多: 首先,业务迭代速度十分快,侵入式监控伎俩无奈在短时间落地,但业务零碎呈现故障时须要疾速感知; 其次,开发资源缓和或不配合,基础设施相干监控又不能间接反馈业务问题,利用监控施行老本太高。 最初,本身利用调用第三方API接口,第三方API接口的可用性无奈保障,出故障了无奈及时响应和解决。 拆解来看,咱们会感觉这些都是单点问题,但业务上量后呈现连锁反应,就会将这些问题叠加放大,间接影响用户体验。 (五)「不足用户视角的监控伎俩」导致应答客诉比拟被动 尽管产品性能在上线时会通过各种测试,经营团队也继续关注用户应用状况。但对运维团队而言,只有客户投诉后才晓得零碎产生了问题,应答起来非常被动,甚至异样复现、定位问题可能就要破费一天工夫,重大影响NPS;常见监控伎俩也大多从本身视角登程,无奈直观反映用户的问题。 那么,面对这么多的影响因素,咱们到底该如何以实在用户视角去对本人网站进行测试,量化网站用户体验,定位网站性能瓶颈?这里,咱们以电商行业营销流动举例。随着竞争越发强烈,双十一、618 等促销流动成为电商等泛交易行业的年度重要营销流动。但大量用户的短时间涌入,会造成网站加载提早,或业务服务卡顿等影响用户体验的问题。 具体问题包含: 上线前,无奈模仿实在用户,测试峰值用户高并发拜访时的产品理论体验状况。 对于用户理论的浏览门路途程没有精确评估,无奈定位转化瓶颈环节,不晓得如何优化。 大促阶段商品信息更新较频繁,更新后常常收到各地用户投诉“商品图片加载不进去”、“页面关上迟缓”等投诉。 同业竞品流动性能状况无奈获取,没法理解竞品营销态势变动。 在过往,以上问题都难以解决,具体难以解决的起因包含: 尽管有工作墙等形式,但运维团队无奈找到足够多且符合实际需要的实在流量进行产品用户体验测试,洽购相干流量又耗时又低廉。 营销大促广泛产品上线窗口期非常紧迫,留给研发团队的交付工夫绝对无限。想要退出相干侵入式探针来进行监测,既拖慢产品交付速度又可能影响产品稳定性。 运维团队无奈被动测试相干,导致问题只能在理论用户体验过程中发现,只能被动排障。但问题复现以及故障定位,可能就会拖住整个运维团队,导致修复工夫无限期拖长。 因而,经营团队与运维团队须要一个可能解决上述问题的产品或者解决方案。云拨测作为面向业务的非侵入式云原生监测产品,成为最佳的抉择。通过阿里云遍布寰球的服务网络,模仿实在用户行为,全天候继续监测网站及其网络、服务、API端口可用性与性能。实现页面元素级、网络申请级、网络链路级细颗粒度问题定位。丰盛的监测关联项与分析模型,帮忙企业及时发现与定位性能瓶颈与体验暗点,压降经营危险,晋升服务体验与效力。 (一)寰球监测节点笼罩 寰球超过20万LM,500余个IDC终端监测节点,海内外400+运营商以及数十万量级注册会员,确保监测规模满足日益宏大的业务规模。 (二)无需嵌码,开箱即用 零侵入式监测,只需输出URL并进行简略配置即可,无需研发反对。数分钟即可取得残缺的网站性能数据分析报告。资源包&按量付费多种购买模式,满足运维测试需要。 (三)面向业务,预置多种分析模型 监测周期精密至分钟级别,7大类20余项监测关联参数设置、反对多种支流协定,为站点和业务端口等提供7×24小时细颗粒度故障实时监测、告警及性能剖析服务。以最终客户视角,通过地区、运营商等多维度组合分析,下钻剖析单样本详情,利用丰盛的指标体系与图表类型,直观定位问题、受影响范畴及其根因,压降剖析工夫,晋升运维效率。真正做到精细化监测。 (四)智能告警,精准定位 针对首屏用时、整体性能、可用性实现实时告警,丰盛的告警策略设置,与阿里云告警核心深度集成,无效缩短MTTR。反对发现页面元素级谬误,问题归因精准定位至单次网络申请过程,晋升问题定位效率。 以某电商企业的营销大促举例,该网站月活用户数超百万,用户群体次要散布在全国三四五线城市,每年网站经营保护支出费用超过200万元。但因为大促阶段商品信息更新较频繁,更新后常常收到各地用户投诉“商品图片加载不进去”、“页面关上迟缓”,造成用户转化低,也导致运维团队被投诉。 面对这一窘境,咱们通过云拨测产品实现解决这一问题并进一步优化网站性能,以便撑持业务大促。 (一)压力测试 在企业的营销流动或新零碎上线前,应用云拨测选取全国不同城市运营商的监测点,设定浏览和网络工作,即时获取第一线的实在用户拜访体验数据,精准定位呈现问题的页面元素,帮忙技术团队及时修复问题。模仿峰值用户高并发拜访,通过减少峰值压力,察看次要性能指标变动状况,开掘性能瓶颈。 (二)用户体验优化 通过首屏监测以及即时监测性能能够立即进行问题验证和故障复现,对网站性能进行评估与优化。并通过事务流剖析,理解用户实在体验流程,优化浏览门路,开掘转化瓶颈环节,晋升转化率。 (三)竞品剖析迭代 借助零侵入个性,收集剖析同行业竞品营销流动性能状况,理解竞品营销态势变动以及应答计划,并针对进行针对性IT投入以及调优迭代,补救营销短板,巩固领先地位。 通过以上相干措施,网站性能大幅提高,用户体验相干量化指标晋升30%以上,无效驱动业务增长。除上述场景外,云拨测还可广泛应用于网络接口、服务可用性监测、CDN服务监控与选型、DNS解析状态、劫持剖析等泛滥场景。 为了满足更多企业与独立站长的拨测需要,云拨测上线公布不同规格的月资源包,并发展限时优惠活动。新购用户将取得九折优惠。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 3, 2021 · 1 min · jiezi

关于运维:阿里云混合云联合信通院发布基于云计算的数字化业务安全工程要求

简介:7月28日,国内首部专一于数字化业务平安生产的《基于云计算的数字化业务安全工程要求》规范在2021可信云大会上公布。该规范由阿里云混合云和中国信通院联结牵头,多家国内知名企业参加制订,填补了数字化业务平安生产规范的空白,标记着该畛域进入到了有标可依的新阶段。 7月28日,国内首部专一于数字化业务平安生产的《基于云计算的数字化业务安全工程要求》规范在2021可信云大会上公布。该规范由阿里云混合云和中国信通院联结牵头,多家国内知名企业参加制订,填补了数字化业务平安生产规范的空白,标记着该畛域进入到了有标可依的新阶段。 数字化转型意味着传统行业基础设施、业务架构会产生实质变动,企业的业务零碎将面对人员误操作、程序缺点、硬件故障等来自企业外部的威逼和挑战,若不进行无效管制,将给企业和用户带来巨大损失。如何保障业务零碎的失常运行,晋升零碎的可用性、可靠性和稳定性,是企业数字化转型迫切需要解决的重要问题。 《基于云计算的数字化业务安全工程要求》应运而生,该规范既联合了传统风险管理、系统工程、管制实践等办法,又排汇了阿里巴巴以及各参编企业的实践经验,以组织、人员、制度、标准、流程、实际、应急等体系化的顶层设计为框架,被动故障预防为外围指标,建设涵盖故障前中后的危险管制的体系化办法,从六大维度对企业的安全工程能力进行评测和考查。 此前,阿里云混合云也以满分的问题通过了由信通院组织的企业安全工程能力测评,满足全副6大能力域26小项共计184条测试用例要求,成为国内首家通过此评估的云厂商。这意味着,阿里云混合云具备了无效解决云上客户业务外部平安危险的能力,可能让平安生产危险看得见、摸得着、管得了、控得住,让用户用云像应用水电一样平安可控。 《基于云计算的数字化业务安全工程要求》规范既能够帮忙企业解决数字化转型阶段面临的业务稳定性危险,同时对于企业迷信建设本身的安全工程能力具备重要的指导意义。 阿里云混合云为政企提供量身打造的混合云解决方案 从建好云、管好云、用好云三大维度提供客户视角的一体化云平台服务 更多混合云资讯,返回【混合云官网】 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 2, 2021 · 1 min · jiezi

关于运维:开放报名-阿里云-Serverless-研修班走进四川大学

简介:8.14 阿里云 Serverless 将走进四川大学! 为响应和反对教育部对于振兴中西部高校的若干意见,推动四新教育建设,保障教育部-阿里云产学单干协同育人我的项目顺利进行,阿里云联结多所西部高校举办 “飞天云 • 西部高校行” 教育部-阿里云产学单干协同育人我的项目师资研修班打算。8 月 14 日,阿里云 Serverless 团队将携泛滥技术专家来到四川大学,带来为期 3 天的“云计算 Serverless 技术架构”研修班,让云计算新范式 Serverless 技术走近高校师生。 研修班面向全国高校相干业余老师、对 Serverless 技术感兴趣开发者凋谢,现正在报名中! 研修班详情工夫:8 月 14 日— 8 月 17 日地点:四川成都 • 四川大学望江校区费用:研修班会务费为 800 元/人/期,研修班期间集体差旅和食宿费用须自理如何报名点击 https://jinshuju.net/f/Oxy3KU 立刻报名 研修班议程 <span class="lake-fontsize-9">日期</span><span class="lake-fontsize-9">工夫</span><span class="lake-fontsize-9">主题</span><span class="lake-fontsize-9">内容</span><span class="lake-fontsize-9">8.14</span><span class="lake-fontsize-9">下午</span><span class="lake-fontsize-9">报到注册</span><span></span><span class="lake-fontsize-9">8.15</span><span class="lake-fontsize-9">上午</span><span class="lake-fontsize-9">初识 Serverless</span><span class="lake-fontsize-9">通过云计算到 Serverless 的过程,再到零根底上手 Serverless 架构,分享Serverless 的“点滴”故事。</span><span class="lake-fontsize-9">Serverless 架构原理分析</span><span class="lake-fontsize-9">通过 Serverless 架构的一些原理剖析率领大家进行 Serverless 架构的粗疏学习,并近距离接触“人造分布式”的云原生宠儿:Serverless 架构的成长之路</span><span class="lake-fontsize-9">下午</span><span class="lake-fontsize-9">Serverless 架构在前端畛域的重要作用和价值</span><span class="lake-fontsize-9">Serverless 架构被称为是云计算的下一个十年,更是被很多前端工程师视为“改变命运的转折点”,通过 Serverless 架构,“前端不再是单纯的前端”,通过 Serverless 架构,“人人都是全栈工程师”,那么 Serverless 架构和前端的碰撞到底是什么样子的?</span><span class="lake-fontsize-9">入手实操:Serverless疾速上手</span><span class="lake-fontsize-9">Serverless疾速上手</span><span class="lake-fontsize-9">8.16</span><span class="lake-fontsize-9">上午</span><span class="lake-fontsize-9">Serverless 在阿里团体的大规模落地案例</span><span class="lake-fontsize-9">分享 Serverless 在阿里巴巴实现的规模化落地实际,并且以前端场景为例全面解析 Serverless 落地条件;揭秘 Serverless 研发提效以及云端一体化研发模式。</span><span class="lake-fontsize-9">Serverless 场景实际1: 解构在线游戏行业痛点</span><span class="lake-fontsize-9">联合具体的游戏场景的 Serverless 技术落地实际, 解构在线游戏行业的痛点,开释 Serverless 的技术价值。</span><span class="lake-fontsize-9">下午</span><span class="lake-fontsize-9">Serverless 场景实际2: 世纪联华的 Serverless 之路</span><span class="lake-fontsize-9">介绍世纪联华超市技术多年来的架构实际演进过程,数年走过去一路踩到过的技术坑与技术倒退决定。</span><span class="lake-fontsize-9">入手实操:Serverless 架构与业务开发</span><span class="lake-fontsize-9">Serverless 架构与业务开发</span><span class="lake-fontsize-9">8.17</span><span class="lake-fontsize-9">上午</span><span class="lake-fontsize-9">Serverless 时代 DevOps 的最佳打开方式</span><span class="lake-fontsize-9">随着 Serverless 理念的普以及应用场景的不断扩大,用户能够切实地享受到技术提高带来的全托管、免运维、按需应用、按量付费等各方面的红利。而在应用 Serverless 的过程中,传统开发运维人员更关怀的是“开发阶段,如何升高调试测试老本?”,“部署阶段,如何开箱即用的构建的整个 CICD 流程?”,“运行阶段,如何晋升线上问题诊断的效率?”,本次直播将会为您一一解说。</span><span class="lake-fontsize-9">如何通过 Serverless 进步 Java 微服务治理效率?</span><span class="lake-fontsize-9">介绍 SAE 在 Java 微服务治理方面的能力,并通过企业场景案例,介绍通过 SAE 的 Serverless 落地实际。</span><span class="lake-fontsize-9">下午</span><span class="lake-fontsize-9">如何通过 0 革新,让单体或微服务利用成为 Serverless Application?</span><span class="lake-fontsize-9">Serverless 通过这么多年的倒退,曾经笼罩了越来越多的畛域,呈现了越来越多的产品状态,那么看看你当初保护的单体利用或者微服务利用?是否也在思考如何能享受 Serverless 免运维、极致弹性、极致老本的劣势呢?本次分享将让你的利用零革新享受 Serverless 技术红利!</span><span class="lake-fontsize-9">入手实操:更加迷信的Serverless 架构利用上手</span><span class="lake-fontsize-9">更加迷信的 Serverless 架构利用上手</span><span class="lake-fontsize-9">入手实操:Serverless 利用引擎部署线上小商城</span><span class="lake-fontsize-9">Serverless 利用引擎部署线上小商城</span>## 局部讲师介绍 王庆阿里云云原生中间件前端负责人 2016 年退出阿里中间件从事云产品企业控制台研发工作,目前带队负责中间件 20 多款云产品的前端研发工作,次要技术栈为大前端通用技术,包含不限于 Node.js、TypeScript、React、Electron、ReactNative 等。对前端研发效力晋升,前端数字化体验管理体系建设有多年的实践经验,目前专一在 Serverless 开发者工具链的建设,是云原生 Serverless Devs 研发负责人。关注前端最新技术动静,关注云原生技术对前端群体的影响,致力于向前端群体推广遍及云原生理念。 西流阿里云智能云原生函数计算技术专家 负责阿里云函数计算产品性能开发(runtime 开发、事件源集成以及企业级 Serverless 解决方案落地等),目前专一在 Serverless 开发者工具链的建设,是云原生 Serverless Dev Tools 研发负责人之一,主导了 S/fc 组件的开发工作。关注 Serverless 最新技术动静以及在企业级解决方案的落地,致力于推动 Serverless 在开发者群体的风行。 刘宇阿里云 Serverless 产品体验侧负责人 NUDT 在读博士,开源社区 Serverless Framework 国内贡献者,Serverless Devs 我的项目发起人,Serverless 架构布道师,阿里云 CIO 学院特聘讲师,纸质图书《Serverless 架构》、《Serverless 工程实际》作者,电子书《架构师特刊:人人都能学会的 Serverless 实际》作者。.png") 陈涛阿里云 Serverless 利用引擎架构师 十年软件开发教训,关注云原生、微服务、Serverless 等技术畛域,致力于构建下一代轻量的 Serverless 利用平台,打造极致的 Serverless 体验。曾在淘宝、滴滴等公司任职,并具备 4 年守业经验,积攒了在云计算、电商、从 0 到 1 守业等方面的研发、治理和业务教训。目前就任于阿里云,在云原生利用平台从事 Serverless 利用引擎(SAE)的设计和研发工作。## 对于咱们 阿里云是国内最早提供 Serverless 计算服务的云厂商,阿里云 Serverless 服务不仅可能满足小程序 /Web/Mobile/API 后端服务、事件触发等日常业务场景,而且还满足了免运维 Serverless AI 平台、Serverless 大数据计算等创新型业务场景。权威咨询机构 Forrester 公布 2021 年第一季度 FaaS 平台评估报告,阿里云凭借产品能力寰球第一的劣势怀才不遇,在八个评测维度中拿到最高分,这也是首次有国内科技公司进入 FaaS 领导者象限。为解决 Serverless 开发者工具之困,阿里巴巴开源 Serverless 开发者平台 Serverless Devs,成为业内首个反对支流 Serverless 服务/框架的云原生全生命周期治理的平台。2021 年天猫 双11, 阿里巴巴实现国内首次 Serverless 规模化落地场景,再次印证了 Serverless 对于企业和社会的微小价值。> 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 2, 2021 · 2 min · jiezi

关于运维:还在为多集群管理烦恼吗RedHat-和蚂蚁阿里云给开源社区带来了OCM

简介: 为了让开发者、用户在多集群和混合环境下也能像在单个 Kubernetes 集群平台上一样,应用本人相熟的开源我的项目和产品轻松开发性能,RedHat 和蚂蚁、阿里云独特发动并开源了 OCM(Open Cluster Management,我的项目官网 (\_https://open-cluster-manageme...\_),旨在解决多集群、混合环境下资源、利用、配置、策略等对象的生命周期治理问题。目前,OCM 已向 CNCF TOC 提交 Sandbox 级别我的项目的孵化申请。 作者:冯泳(鹿惊) 在云计算畛域如果还有人没听过 Kubernetes,就如同有人不晓得重庆火锅必须有辣椒。Kubernetes 曾经像手机上的 Android ,笔记本上的 Windows 一样成为治理数据中心事实上的规范平台了。围绕着 Kubernetes ,开源社区构建了丰盛的技术生态,无论是 CI/CD、监控运维,还是利用框架、平安反入侵,用户都能找到适宜本人的我的项目和产品。可是,一旦将场景扩大到多集群、混合云环境时,用户可能依赖的开源技术就比比皆是,而且往往都不够成熟、全面。 为了让开发者、用户在多集群和混合环境下也能像在单个 Kubernetes 集群平台上一样,应用本人相熟的开源我的项目和产品轻松开发性能,RedHat 和蚂蚁、阿里云独特发动并开源了 OCM(Open Cluster Management,我的项目官网 (\_https://open-cluster-management.io/\_),旨在解决多集群、混合环境下资源、利用、配置、策略等对象的生命周期治理问题。目前,OCM 已向 CNCF TOC 提交 Sandbox 级别我的项目的孵化申请。 Open Cluster Management 多集群治理倒退历史让咱们把工夫拉回到几年前,当业界关注/争执的焦点还在 Kubernetes 是否生产级可用的时候,就呈现了最早一批登陆“多集群联邦”技术的玩家。它们大都是体量上远超均匀水准的 Kubernetes 实际先驱,从最早 Redhat 、谷歌入场做了 KubeFed v1 的尝试,再到起初携手 IBM 吸取经验又推出 KubeFed v2 。除了这些大型企业在生产实践 Kuberentes 的场景中摸索多集群联邦技术,在商业市场上,各个厂商基于 Kubernetes 包装的服务产品也大多经验了从单集群产品服务到多集群状态、混合云场景进化的过程。其实,无论是企业本身还是商业用户都有共性的需要,聚焦在以下几个方面: 多地区问题:当集群须要在异构基础设施上或者横跨更广地区进行部署。** Kubernetes 集群依赖 etcd 作为数据长久层,而 etcd 作为分布式系统对系统中各个成员之间的网络提早上有要求,对成员的数量也有一些限度,尽管在提早可能容忍的状况下能够通过调整心跳等参数适配,然而不能满足跨国跨洲的全球性部署需要,也不能保障规模化场景下可用区的数量,于是为了让 etcd 至多能够稳固运行,个别会按地区将 etcd 布局为多个集群。此外,以业务可用和安全性为前提,混合云架构越来越多地被用户承受。逾越云服务提供商很难部署繁多 etcd 集群,随之对应的,Kubernetes 集群也被决裂为多个。当集群的数量逐步增多,管理员疲于应答时,天然就须要一个聚合的管控零碎同时治理协调多个集群。 ...

July 28, 2021 · 2 min · jiezi

关于运维:一分钟完成ECS机器数据的智能巡检告警

工具与资源核心帮忙开发者更加高效的工作,提供围绕开发者全生命周期的工具与资源 https://developer.aliyun.com/... 简介: 对于运维的日常工作来说,服务器监控是必须且最根底的一项内容。在企业基础设施运维过程中,管理员必须可能把握所有服务器的运行状况,以便及时发现问题,尽可能减少故障的产生。本次次要介绍如何应用智能巡检,帮忙您疾速实现机器(ECS)相干指标的监控,升高您设置告警的简单规定和冗余的设置。系列文章• 一分钟实现拜访数据的智能巡检告警对于运维的日常工作来说,服务器监控是必须且最根底的一项内容。在企业基础设施运维过程中,管理员必须可能把握所有服务器的运行状况,以便及时发现问题,尽可能减少故障的产生。本次次要介绍如何应用智能巡检,帮忙您疾速实现机器(ECS)相干指标的监控,升高您设置告警的简单规定和冗余的设置。 设置步骤创立MetricStore,实现机器组配置• 创立MetricStore • 抉择须要监控的机器,装置Logtail采集插件 • 期待插件装置实现 • 针对配置的机器,将实现采集的机器组 设置针对机器指标的采集配置SLS的主机监控计划非常简单,只须要装置一个Logtail就能够采集各个主机的根底指标,服务端都是云化,无需运维,默认SLS提供了可视化的仪表盘,也能够通过Grafana来进行更加业余的可视化。 目前Logtail采集了主机罕用的根底指标,包含CPU、内存、网络、磁盘等,其中对较为要害的指标都做了可视化,便于间接查看。通过对采集配置中(插件配置)的模式下,应用如下配置,能够实现上述指标的采集。{ "inputs": [ { "detail": { "IntervalMs": 30000 }, "type": "metric_system_v2"}]}在接入的过程中,有个辅助的开关【开启指标巡检】,如果抉择了开启,则会同时创立对应的【巡检工作】和寄存巡检后果的LogStore。咱们通过如下操作,能够查看对应的资源状况。 后果剖析根底数据分析| select DISTINCT name from "machine_metric_logtail.prom" where name != '' limit 10000在MetricStore中,应用如上的剖析语句,能够查看咱们一共采集了多少指标,以及对应的指标内容。 智能巡检后果可视化 如何应用巡检大盘• 用户能够在【巡检大盘】中抉择【异样列表】中对应【hostname】这一列,抉择从机器维度登程,去查看对应的异常情况• 在【异样显示】局部,每个异样都会标注在指标的曲线中,您可通过鼠标拖拽抉择工夫区间,点击异样点查看异样详情并跳转到具体的监控页面 用户能够在【仪表盘】中,找到对应的【巡检仪表盘】,能够通过手动拖拽的模式选中对应的区间,能够实现多个图表联动的可视化,更加便于您查看单个机器的状态是否失常。

July 27, 2021 · 1 min · jiezi

关于运维:Linux通过-liveCD-进入救模式重装-grub-修复损坏的系统

很多 Linux发行版本曾经被设计为所谓的“LiveCD”,即能够间接疏导为可用 Linux 零碎的 CD。与大多数广为利用的发行版本中能够应用的“援救模式(rescue mode)”疏导选项相同,这些 LiveCD 的设计是,当从 CD 疏导起来后,提供一整套能够应用的工具,其中有一些是通用的,有一些是高度专用的。David Mertz 介绍了 Linux 市场中这一迅速成长的分支。Linux-通过 liveCD 进入救模式-重装 grub 修复损坏的零碎场景:当零碎坏了,进不去了,还须要把外面的数据复制进去,怎么办?能够进入救济模式拷贝数据 基于 6 版本零碎进入救济模式批改 BIOS 启动程序,间接以光盘疏导零碎ramfs: 内存文件系统chroot /mnt/sysimage # 切换文件系统根 此时咱们就能够把数据 copy 进去了。 Exit Reboot 想要获取相干文档和材料增加咱们小姐姐====>Linux文件查找常用命令-具体笔记

July 27, 2021 · 1 min · jiezi

关于运维:学习周刊2021年第22周

0,前言这里记录咱们每周工作学习过程中遇到学到的优良开源我的项目,优良文章,以及优良博客。有很多优良的内容,都值得被铭刻,值得被分享,值得被更多人学习,咱们想通过这里每周的记录分享,一方面强化本人对优良内容的意识与学习,另一方面可能把优质内容对立汇总,以飨公众。 咱们的内容会以运维技术和Golang为主,以及GitHub上优良我的项目或教训。曾经通过一次筛选过滤的内容,品质不会太差,在你闲暇无事的时候,能够过去轻易看看,必能有所收益。 该我的项目保护在这里,目前由eryajf和clay-wangzhi一起保护更新,你能够在这里或者这里查看汇总周刊。 1,开源我的项目我的项目地址:zadig我的项目阐明:Zadig 是 KodeRover 公司基于 Kubernetes 自主设计、研发的开源分布式继续交付 (Continues Delivery) 产品,为开发者提供云原生运行环境,反对开发者本地联调、微服务并行构建和部署、集成测试等。相干文章:官网文档我的项目地址:github-markdown-toc我的项目阐明:给GitHub仓库中README生成TOC目录的工具,反对本地近程相干文章:README我的项目地址:gitalk我的项目阐明:一个基于 GitHub Issue 和 Preact 开发的评论插件,可用于Hugo,docsify等动态博客。相干文章:中文文档,在线示例我的项目地址:shields我的项目阐明:markdown中自定义徽标相干文章:在线拜访我的项目地址:kubectl-debug我的项目阐明:便捷地进行 Kubernetes 上的 Pod 排障诊断相干文章:中文阐明我的项目地址:vuepress我的项目阐明:以 Markdown 为核心的我的项目构造,以起码的配置帮忙你专一于写作相干文章:中武官网我的项目地址:awesome-vuepress我的项目阐明:如名相干文章:我的项目地址:vuepress-theme-vdoing我的项目阐明:一款设计十分优良的vuepress博客主题相干文章:官网文档我的项目地址:vuepress-theme-hope我的项目阐明:又一款不错的vuepress博客主题相干文章:官网文档2,优良文章GitHub与Gitee双向主动同步gitee没有主动同步性能,通过Github Actions咱们能够实现这个需要Go 语言优良资源整顿,为我的项目落地减速 作者收集整理了一大批go语言我的项目,值得关注,开源地址3,优良博客博客地址:团队首领打算简略阐明:职场教训,人生感悟,内容丰盛博客地址:Java 全栈常识体系简略阐明:Java技术栈博客地址:IT外卖小哥简略阐明:博客敌人王植同学的博客,十分有心,内容丰盛博客地址:awesome-bookmarks简略阐明:作者将本人的网络收藏夹做成了博客模式博客地址:前端禅意花园简略阐明:作者虽步入互联网,却颇有一份酷爱文学的气味博客地址:全栈直通车简略阐明:作者很有心,博客标签为:致力做个影响别人滴人

July 26, 2021 · 1 min · jiezi

关于运维:将企业安全基线复制上云实现云上IT运维的持续风控

简介:汉高在寰球范畴内经营平衡且多元化的业务组合,如何联合阿里云配置审计性能,将云上运维实现持续性风控?应用阿里云配置审计服务(Config),汉高胜利将企业始终践行的平安内控基线搬迁上云,且在云上实现了高效、继续、主动的平安合规监管,无效躲避日常云上运维中的潜在危险。 对于汉高汉高在寰球范畴内经营平衡且多元化的业务组合。通过弱小的品牌、卓越的翻新和先进的技术,公司在工业和生产畛域的三大业务板块中确立了领先地位。汉高粘合剂技术业务部是寰球粘合剂市场的领导者,服务于寰球各行各业。洗涤剂及家用护理以及化妆品/美容用品两大业务也是各国市场和泛滥应用领域中的当先品牌。公司于 1876 年在德国成立,迄今已有140多年光芒历史。现在,中国是汉高寰球三大市场之一。 汉高在中国有约5000 名员工,24 个工厂和办事处,涉足三大策略业务畛域,并领有泛滥出名的国际品牌,如施华蔻、乐泰、宝莹等。 存在挑战为了通过IT伎俩躲避数据泄露、业务中断等可能呈现的危险,汉高外部制订了对立的合规基线,要求所有业务零碎确保实时听从。业务IT零碎部署在云上后,会有多个运维人员每天进行简单高频的运维动作,管控的灵活性和敏捷性的晋升以致运维管控的安全性和可控性大幅升高。这两头每一个可能的误操作都潜藏着微小的危险。如何在高频变更下继续监控和保障IT运维始终听从合规要求,以起码人力和工夫实现这种继续监管,是汉高在上云的同时要解决的重要问题。 解决方案&客户收益汉高通过应用配置审计服务实现云上IT零碎的继续风控。配置审计服务能及时感知云上IT资源的变更并记录配置历史快照,再依据汉高设置的平安基线规定实时对资源配置执行合规评估,当发现不合规的资源配置时及时向汉高发送告警或主动执行修改动作。从而实现主动继续的风控治理。 汉高在配置审计中自定义了20条合规规定,波及账号权限、审计、IT平安、资源管理四个重要方面。当产生IT变更时规定将主动执行评估,及时发现和解决合规问题,以此确保在简单的日常运维中IT零碎的继续合规性,以躲避潜在危险。 账号权限合规基线:检测云上是否存在弱认证、超大权限、冗余受权等问题,防止权限治理不当造成的越线操作等危险。审计合规基线:检测云上是否开启了残缺的审计记录,避免出现问题时无数据根据而无奈定位问题本源和责任人。平安合规基线:检测云上对于主机平安、网络安全、数据安全的各项防护和配置是否设置正确,避免出现被攻打、被公网窃取数据等问题。资源一致性治理合规基线:检测云上资源是否都具备必备标签,以反对后续的资源批量治理。汉高基于配置审计施行的继续风控体系: 相比传统的人工定时抽检更平安可控,系统化形式解决了人工检测的滞后性、不可靠性、低效、人力耗费微小等问题,防止因人工检测不及时不全面而无奈发现潜在的危险相比于企业自建这样一个平台和能力,间接应用配置审计产品升高了至多70%的人力和工夫老本,使业务更早进入风控监管使云上运维变得可见、可控、可修复,实现继续自主的风控如需理解更多配置审计相干应用细节,可查看产品文档:https://help.aliyun.com/document\_detail/127388.html 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 26, 2021 · 1 min · jiezi

关于运维:最佳实践丨云上私有池如何为客户业务的确定性连续性保驾护航

工具与资源核心帮忙开发者更加高效的工作,提供围绕开发者全生命周期的工具与资源 https://developer.aliyun.com/... 简介:企业业务上云后,还面临特定可用区购买云上特定计算产品实例失败的窘境?云上公有池pick一下 Why 云上业务为什么须要资源确定性、服务连续性云计算正朝着像水电煤一样的基础设施演进,反对用户按需应用、按量付费。目前,国内外各云服务商联结生态搭档,致力晋升云产品服务的疾速迭代、推广应用,然而事实很骨感:用户仍然面临偶发的在特定可用区购买云上特定计算产品实例失败的窘境。云服务的计算理念--随时随地弹性,怎么这个场景下就不Work了?咱们来剖析剖析。目前,客户云上业务整个生命周期过程,须要感知算力的“商品化”载体:例如某客户A,将集体博客的Web服务迁徙到阿里云上时,须要购买阿里云弹性计算云服务器,客户须要感知云服务器规格信息,如最新的ecs.g7.xlarge。例如某客户B,将在线制作3D创意成果的业务部署在阿里云上,依靠阿里云弱小GPU等算力资源,此时,须要购买阿里云弹性计算的GPU云服务器,如ecs.gn7i-c8g1.2xlarge。艰深了解:相似用户向“酒店”租住一个“房间”。云上环境,用户购买云上的一个具体的计算实例规格。这与水电煤“即插即用”存在区别:云上的算力须要感知商品实例信息。水电煤是对立的‘用量’,屏蔽了后端的供货商(哪个电网供电、哪条线路输送)、供货的生产设施(水力发电、火力发电、风能发电、太阳能发电等)。目前国内外头部云服务供应商的算力服务售卖实体,支流仍然是算力对应具体商品。因为面向具体商品,那么就存在商品之间服务个性、适宜的业务场景、业务所需数量等差别。云服务供应商也就须要在不同地区提前准备好不同的商品,以及供给数量。因为很难精准地预测各种具体算力商品的用户量级、购买工夫、购买数量,一旦呈现行业热点,同一行业的大多数客户短时间大量购买某一个个性的商品,较容易呈现针对特定商品的抢购而导致局部用户购买失败。典型如疫情背景下,挖矿、在线教育的衰亡,对本地盘、视频编解码算力需要旺盛,导致相干商品抢购景象突出。艰深了解:相似“酒店”的残余房间曾经用完了,新客户入住失败。对应云环境,用户在云上购买计算实例,短时库存售磬,可能购买失败。另外,电商每年在不同时间段会有各种“节日”促销流动,典型如618、双11。在促销期间和促销完结的一段时间内,须要大量的算力资源反对在线流动和流动完结后的海量数据分析。客户服务经验“失常态”、“大促态”、“大促收尾态”、“失常态”这样的典型服务间断过程。客户为了确保全年服务的连续性,特地是资源需要按预期布局确定进行,那么,云上资源确定性交付就是重要撑持。艰深了解:例如奥运这样的预期流动,用户入住酒店,保险的措施就是提前预订好房间。对于云环境,就是在云上预订一个虚构的IDC(公有池),这样就能够在公有池上确定性地交付资源。图1-水电煤基础设施与云计算基础设施“服务状态”现阶段的比照综上剖析,现阶段,在云服务的支流服务售卖模式仍然是“算力商品化”的大背景下,用户须要感知业务在云上生命周期过程所需商品个性,云平台须要面向商品进行供给生产。因为需要的变动和市场环境的不确定性,供给和需要短时间的不匹配比拟容易产生。所以,服务特定行业的特定客户、针对特定算力商品的确定性购买,即云上资源确定性交付就成为解决这种窘境的重要能力。 How 如何保障云上业务资源确定性、服务连续性后面剖析了主观现状,存在特定地区、特定时间段、特定算力商品的短时购买失败景象。对客户来说,须要联合本身场景,市场上云商品供给状况,适合的老本投入来实现资源交付的确定性,从而确保业务连续性。下文的剖析以整体性概念为主,具体到客户的业务场景,还须要具体案例具体分析。例如预约地区的抉择、实例规格的抉择、预约时长的抉择、预约数量的抉择、总的老本最优等。资源交付的一种划分如图2所示,其中公有池是确定性交付的重要实现形式。联合业务场景,举荐最佳的公有池选购计划本文暂不介绍,后续专门出文档形容,帮忙用户更好地依靠云的产品服务,实现资源的确定性交付,保障业务服务的连续性。图2-资源交付的一种划分图3-确定性交付的可选策略图4-灵便弹性交付的可选策略 Aliyun 公有池选购和价值1- 相干概念公有池: 当用户在ECS 控制台,“资源保障”服务标签页下,购买“弹性保障”或者“容量预约”等产品后,就取得了云上的一个具备确定性库存资源预留,并且是专属调配应用的资源池。如图5-公有池模式形象和多种产品实现。图5左侧,一个公有池的服务有两个阶段:公有池预留和公有池资源交付。针对公有池预留,产品指标是履约:确保公有池真正被应用。例如弹性保障EA elastic assurance,一次性预收取这个公有池费用。图5-公有池模式和多种产品实现iCR:immediately Capacity Reservesion 立刻失效按量预留CR,公有池全副用完,无额定的老本开销,只在公有池有残余容量的时候,收取残余容量局部费用。aCR:advance Capacity Reservation 指定工夫、提早失效的容量预约,基于信用分等级收取一些预订金,信用等级越高,预定金越低。针对公有池资源交付,产品指标是:确定性交付、零门槛应用。当实例开进去后,会按实例进行失常的免费。资源保障:资源保障是包含资源供应量化感知、资源的确定性预约、公有池布局应用的全链路资源确定性服务,它可能全面晋升您在查问、预约、购买、应用资源过程中的体验,使您在复杂多变的市场环境下仍然可能享受到专有保障资源。弹性保障:通过弹性保障,您只须要领取一笔较低的保障费用,即可换取固定周期(反对1个月~5年)的资源确定性保障。购买弹性保障时设置可用区、实例规格、保障数量等属性,零碎会以公有池的形式预留指定数量属性相匹配的资源,例如在华东1(杭州)可用区I预留10台ecs.c6.large规格的实例。在弹性保障有效期内,您创立按量付费实例时抉择应用公有池的容量,即可享受到资源确定性保障。在弹性保障有效期内,您能够反复创立/开释指定数量的实例而无需放心资源供给的问题。超出弹性保障有效期或者弹性保障曾经没有闲暇的容量时,资源确定性保障将不再提供。立刻失效容量预约:您能够随时购买立刻失效容量预约,预约胜利后立刻失效,即可享受资源确定性服务。容量预约失效后即开始依照按量实例费率免费,直至立刻失效容量预约到期主动开释或者您提前手动开释。购买立刻失效容量预约时设置可用区、实例规格、操作系统类型、容量大小等属性,零碎会以公有池的形式预留指定数量属性相匹配的资源。在容量预订有效期内,您创立按量付费实例时抉择应用公有池的容量,即可享受到资源确定性保障。通过一般场景购买的ECS,因为资源的供给变幻无穷,线上的资源可能无奈每时每刻满足您的定制化需要;而在容量预订有效期内,您能够反复创立/开释指定数量的实例而无需放心资源供给的问题。容量预约未处于失效状态或者容量预约曾经没有闲暇的容量时,资源确定性保障将不再提供。在容量预约计费周期内,如果您购买了按量实例,并且应用了资源确定性,这部分按量实例的计算资源费用将会抵扣与按量实例匹配的容量预约的局部或者全副费用。当一个按量实例与弹性保障和容量预订均匹配时,零碎会优先选取容量预约产品对应的公有池进行匹配。2- 公有池价值价值1: 确定性资源交付随着云原生概念和实际的宽泛遍及,基于云的算力研发已成为新常态。客户业务云原生后,业务的疾速倒退过程中,往往针对特定场景,有着资源确定性交付的诉求,冀望100%地保障业务按既定布局上线、经营、推广等。资源保障相干产品提供了全链路确定性交付能力。具备确定性交付的能力,从业务角度就防止了云上某个可用区下、某种稀缺资源的抢购带来的购买成功率低的不确定性危险,例如GPU大规格实例。在原有共有资源池弹性交付根底上,配合确定性交付,能够进一步保障高优先级业务的资源100%保障。例如之前按量购买了20台A规格实例,这些实例会有业务的一些运维、变更等操作,购买20个A规格形成的公有池,这样就确保这些实例操作运维过程中资源具备100%确定性,不会被其余客户抢占。失常状况下20个A规格公有池容量被20个A规格实例全副应用,无任何闲暇容量,从而无任何额定老本投入。当理论应用资源确定性的A实例数量有余20个的时候,例如仅应用18个实例,产生2个闲暇容量,此时闲暇容量会按秒级计费,按小时出账单。价值2: 资源专属调度调配应用在客户业务架构、业务演进深度交融云产品服务的迭代降级过程中,除了资源确定性交付之外,资源灵活性交付也随之成为重要的诉求。阿里云资源保障服务目前曾经反对基于云上公有池的专属调度调配,用户专属调度目前有两种实际形式。形式一:用户基于Open、Target、None的匹配规定,进行实例的调度调配用户在创立公有池的时候,指定公有池的匹配属性:Open(凋谢)、Target(指定)。在创立实例的时候指定实例匹配属性Open 或者Target(应用Target模式须要显示指定公有池ID),后端进行属性匹配调度。当实例匹配属性值为Open的时候,零碎会优先从用户公有池创立实例;如果无匹配的公有池,则依照共有池流程创立实例,同时保留资源确定性特色,一旦发现有闲暇的容量,零碎会准时的主动将这些实例从新与闲暇公有池进行匹配和关联;当实例匹配属性值为Target的时候,明确指定某个公有池,此时零碎在指定的公有池进行容量和公有池资源规定的匹配校验。例如公有池region、zone、instanceType、platform、payType等校验。运行过程中,当实例的匹配属性产生批改,零碎会准时进行实例和公有池的从新匹配,确保实例尽可能地关联到公有池,从而缩小用户的费用老本(公有池的闲暇容量及时应用掉);当匹配模式为Open的公有池被开释的时候,零碎会准时的对与该公有池关联的并且应用Open匹配模式的实例从新匹配,确保实例尽可能地关联到公有池,从而缩小用户的老本(公有池的闲暇容量及时应用掉)。形式二:用户基于Tags匹配规定,进行实例的调度调配用户在创立公有池的时候,指定公有池的tag信息,而后创立实例的时候指定tag信息,后端就能够依照客户指定的tag匹配规定,从公有池或者共有池进行精细化资源调度调配。为了升高用户应用门槛,或者零门槛,不管形式一还是形式二,阿里云资源保障服务都反对用户在现有CreateInstance、RunInstnaces接口根底上,间接应用形式一或者形式二进行资源专属调度。例如用户申请白名单后,后端按用户需要,将用户创立实例时候的匹配属性指定为默认值,这样用户既有的集成接口参数毋庸改变。3- 公有池的获取控制台购买获取https://help.aliyun.com/docum...OpenAPI集成式获取相干Demo如下:1.1 Java下载地址:https://search.maven.org/sear...1.2 Pythonhttps://pypi.org/project/aliy...Python可间接通过pip装置:pip install aliyun-python-sdk-ecs2.将SDK导入到工程中具体操作步骤可参考官网帮忙文档,地址:https://help.aliyun.com/docum...3.创立立刻失效容量预约公有池创立容量预约公有池的对应API为CreateCapacityReservation其中<accessKeyId>和<accessSecret>须要替换为对应购买账号的AK信息。3.1 Java版Demo创立公有池:立刻失效容量预留在线接口体验:https://api.aliyun.com/?spm=5...import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import com.aliyuncs.exceptions.ServerException;import com.aliyuncs.profile.DefaultProfile;import com.google.gson.Gson;import java.util.*;import com.aliyuncs.ecs.model.v20140526.*;public class CreateCapacityReservation { public static void main(String[] args) { DefaultProfile profile = DefaultProfile.getProfile("cn-hangzhou", "<accessKeyId>", "<accessSecret>"); IAcsClient client = new DefaultAcsClient(profile); CreateCapacityReservationRequest request = new CreateCapacityReservationRequest(); request.setRegionId("cn-hangzhou"); List<String> zoneIdList = new ArrayList<String>(); zoneIdList.add("cn-hangzhou-i"); request.setZoneIds(zoneIdList); request.setInstanceType("ecs.c6.2xlarge"); request.setPeriod(1); request.setPeriodUnit("Hour"); request.setPrivatePoolOptionsName("PrivatePoolName"); request.setDescription("PrivatePoolDescription"); request.setPrivatePoolOptionsMatchCriteria("Open"); request.setEndTimeType("Unlimited"); request.setInstanceAmount(10); List<RunInstancesRequest.Tag> tagList = new ArrayList<RunInstancesRequest.Tag>(); RunInstancesRequest.Tag tag1 = new RunInstancesRequest.Tag(); tag1.setKey("11"); tag1.setValue("22"); tagList.add(tag1); request.setTags(tagList);//注入tags try { CreateCapacityReservationResponse response = client.getAcsResponse(request); System.out.println(new Gson().toJson(response)); } catch (ServerException e) { e.printStackTrace(); } catch (ClientException e) { System.out.println("ErrCode:" + e.getErrCode()); System.out.println("ErrMsg:" + e.getErrMsg()); System.out.println("RequestId:" + e.getRequestId()); }}}创立实例-Open 凋谢匹配在线接口体验:https://api.aliyun.com/?spm=5...import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import com.aliyuncs.exceptions.ServerException;import com.aliyuncs.profile.DefaultProfile;import com.google.gson.Gson;import java.util.*;import com.aliyuncs.ecs.model.v20140526.*;public class RunInstances { ...

July 26, 2021 · 2 min · jiezi

关于运维:AIRec个性化推荐召回模型调参实战

简介:本文是《AIRec个性化举荐召回模型调参实战(电商、内容社区为例)》的视频分享精髓总结,次要由阿里巴巴的产品专家栀露向大家分享AIRec个性化举荐召回模型以及针对这些召回模型在电商和内容行业下进行的实战调参演示。一、典型举荐场景 (一)场景概念的引入 场景,它是智能举荐外面设定的一个概念。场景不论是在上传数据的表上,还是在管制台上都会有相干的概念,场景能够了解为,是一个用户流量的入口,一个流量入口代表肯定的拜访心智。比方,一个用户他进入到了一个大促的页面,他的心智就是去看一看以后有没有感兴趣的商品、有购买欲望的商品在参加大促流动,如果有就去下单,而如果是非大促期间,失常的关上APP进入一个页面,浏览最近是否有陈腐好玩的商品,这时候会带着不同的心智,这里就是在用户流量入口上做了辨别。 用户流量入口一旦确定之后,一个页面要打造的用户拜访逻辑,实现目标根本确定,也就意味着从用户的流量入口到用户的拜访逻辑,决定了咱们在这个页面的选品逻辑。选品逻辑是咱们可能直观体验到的,包含投放上的一些策略,到最终咱们会把它绑定到一系列的算法逻辑上,那也就意味着一个场景它代表了惟一的选品逻辑和惟一的算法逻辑的联合。 如果有多个举荐场景,但其中多个举荐场景实质是一套算法策略,这个时候咱们能够把它合并为一个场景;但如果存在差别,就能够把它拆分成不同的场景。 (二)新建举荐场景的过程 在不采纳云服务的条件下,新建一个场景,个别的做法是首先圈选物品,从数据库中圈选出以后场景须要哪些物品用作举荐,接下来要做链路买通,比方平台里所有的用户的行为数据,剖析出咱们给用户做举荐的时候,如何可能让这样一个新场景页面它可能尽量避免从零起步做训练和预测,而是进行一些数据的复用。 整体过程中,首先是数据对接,而后做数据验证,如果是基于自建的模式,还须要筹备特色工程,包含去组装召回排序的链路,以及业务编排上所波及的策略,如此相对来说它的工夫线会拉得很长,包含想要去设置一套举荐零碎,还要思考离线近线和在线的这样的链路设计。 (三)疾速搭建个性化举荐页面 咱们通过应用智能举荐产品,能够疾速搭建个性化举荐页面。从对接服务开始,实现数据对接,接口调试之后,将主动拉起行业定制算法模板,启动各种计算逻辑,包含表回流逻辑工作等。服务拉起后,就能够疾速定制场景、公布场景。 在落地上线之后,须要做场景定制与业务调优,次要通过两种办法,第一种是通过算法的维度来解决业务上适配的问题。第二种是通过经营策略的维度去解决这个问题,比如说去定制一些选品的规定,投放的规定,比方在搀扶策略上做歪斜,以及依据物品的举荐时效性去做整体策略的调整。 场景的调优的门路,也就是在咱们优先实现服务后,再独自对场景作算法、经营策略的定制和优化。 二、经典算法模型简介 (一)协同过滤 算法逻辑 智能举荐利用的协同过滤为 itemCF,算法逻辑为,依据输出的平台行为数据,联合点击与否的判断,产出一个相似PPT中的表格,计算出每个item之间的打分表,点了ID等于1的item之后,点ID为2的概率值,这个概率值代表了这两个item之间类似水平。 运作形式 首先要先找到右边的item,找右边item时须要联合实时的用户行为,比如说采集到用户点击口红商品,命中惟一的口红商品ID。在下一刷时,通晓用户对以后口红感兴趣的状态下,去举荐更相似的一些口红,容易失去更多的点击,随后进一步转化为订单数据,依照图中的打分状况,ID为2的 item举荐给这个用户,这就是整个协同过滤,从用户产生行为到调取这一张咱们计算出来的表格,最终给用户补充到召回链路的这样的一个过程。 优化算子 父类目和子类目标收敛优化:相比于啤酒尿不湿的item关联,它可能帮忙学习到实质上的确比拟类似的物品,因为他们同属于一个父类目或子类目。逻辑即,将优先看,如果说这两个比如说这外面的1和2,它两个是同属于一个父类目或者同属于一个子类目标时候,可认为它的类似度是比拟高的,能够在链路外面让它呈现的概率更大一些。 swing:零碎会思考一些用户的pair,用户行为对整体计算item类似度过程中的重要水平减少了判断逻辑,比如说两个用户他们的行为,他们点击的点击序列里,发现没有什么太大的类似度,但相同如果两个用户尽管不类似,然而他们的确有那么两个物品是一起点击过的,就发现这两个物品它可能自身就是有比拟大的这样的类似度。如果说一个用户对他的行为都是比拟相似的,两个用户的比拟像,在这个过程中他们两个独特点击独特命中的这些item,我可能在计算的时候就会给它降权,轻易的这种办法,它其实是很大水平的利用了用户协同这样的一种能力去发现item之间的关联度。 (二)用户历史偏好召回 算法逻辑 咱们刻画一个用户的偏好,次要是通过用户的产生的行为,比方从过来30天的行为,以及实时行为进行计算和剖析,会发现在电商行业内影响咱们生产决策的一些特色,例如商品的品牌,店铺标签以及商品类目。这些可能是影响消费行为比拟重要的特色,所以去看这些重要特色,映射到用户的身上有什么样的偏好。那么依据用户历史的行为去剖析以后的用户,他可能在当初或者在过来对哪些类目是有偏好,对哪些品牌是有偏好的,基于他实时的趣味,咱们也能够预测它将来可能对哪些品牌哪些内容是有偏好的,将这两者交融也就形成了咱们大家能够常说的用户画像。 形成了用户画像之后,咱们再联合画像去映射到item表上的这些特色,从而进行一个组合和展现。在电商行业外面,大家也能够看到在这条链路外面咱们能够定制的也是它的敞开和启用的状态,以及咱们最大召回的数量,包含说在咱们外部的一个优先级,外面会波及很多的特色,比如说类目、品牌、店铺和标签。 那么在抉择这些特色的时候,咱们一个方面要思考在咱们行业里,在咱们的商业模式下,这些特色是不是用户次要生产决策的特色。 但另一个方面就是在这些特色的保护上,比方咱们可能标签打得十分好,我能够把连衣裙的格调都打好,那标签对于我来说,我能够很大水平去利用它的劣势,那我就能够把标签的优先级去往上调一调,这个就是咱们能够联合这样的召回链路去做优化的一个策略和形式。 (三)向量召回 算法逻辑 向量召回embedding是特色维度较高的状况下,罕用的算法。通过将多维度特色映射为向量的表达方式,进行向量间隔的计算,产出类似度的打分。比方基于题目的向量召回,咱们首先会将item的题目通过NLP的形式进行剖析分词,失去一个个词向量之后,咱们以word2vector的形式,计算出词向量之间的类似相关度,所以当有2个item咱们想要剖析他们是否类似时,就能够先找出item的向量表白,去比对向量之间的间隔,间隔越短也就意味着类似度越高。基于标签的向量召回也是类似的思路,基于用户行为序列,能够了解为在一次会话中,用户会产出一系列点击序列,这些点击序列就像一个趣味流转的sectence,利用同样的思路,就像商品表白的连贯的一个题目 ,咱们也能够通过相似的形式计算出item之间的类似度。 如果说大家不太分明向量召回可能给咱们的成果带来多大的晋升的话,咱们也能够进行一些平台化的试验,而后去通过查看试验报表的这样的一种模式,去看这一路召回是不是起到了比拟重要的作用。 (四)新品算法策略 新品算法策略比拟容易了解,就是咱们新公布的这样的一些商品或者内容的推广的策略。在推广的过程中,首先咱们要让整个零碎去晓得哪些商品,哪些内容是新品,这就要求对于咱们字段上,比如说pub\_time、字段要进行实时更新,或者说是更加精确的更新。 在这个过程中,咱们其实都晓得新品它是一个冷启动的问题,在咱们没有任何行为的条件,也不晓得新品品质的条件上来做一个散发,有可能会打击到咱们的成果数据,因为有一些新品它的品质并不是很好,咱们去举荐进去了就会损失一些点击损失一些购买量。 在这个过程中咱们能够提供基于策略的计划,上文提到咱们在基于用户的历史偏好的时候,就曾经计算出来了用户的一些趣味标签,这时咱们也能够利用到新品的算法策略里,比方咱们能够基于用户的偏好类目去做搀扶,偏好品牌去做搀扶,以及咱们基于标签去做搀扶。除了有一些行业咱们对新品的要求维度会更高一点,我不肯定要求他是有个性化的,可能就要求他是要基于咱们新品它公布之后整个的热度分进行排序,我就想发现一个最后劲的新品,而后也有可能是,我就要优先新公布的内容要先上,咱们就去调整策略,比方第6个点的优先级去进行一个调整,其实咱们如何去抉择一个适配的算法模型,也是依据咱们实质的业务诉求来的,比方像内容行业,尤其是咱们须要激励创作的点上来看的话,咱们对新品这块,不论是它的流量,它的口径都要给它开更大的一个口子,让新品可能更加无效的失去曝光。 (五)其余典型召回算法模型 除了前文提到的算法,咱们也有一些其余的典型召回的算法和排序的算法,智能举荐标准版给大家归档了一些,比如说协同过滤、用户偏好召回、新品召回以及向量召回这样的一些召回链路,并且这些召回链路外面能够让大家进行一些参数的优化。如果大家有更高阶的需要,比方想要去应用高阶的算法模型,可能须要咱们本人去解决数据,去进行一些特色工程解决,产出打分表,而后再注册到咱们线上的模型一起组合应用,这个是产品高级版会提供的性能。 三、电商行业优化最佳实际 电商行业的优化最佳实际次要围绕三个维度 第一个是如何联合c端用户的刷新过程中,提供实时反馈的体验。 第二个就是在咱们做这个模板,标准化的产品到嵌入到咱们业务零碎外面的个性化举荐,怎么去做好特色歪斜和成果的晋升。 第三个就是个性化举荐,它其实属于一个流量的入口,咱们如何让用户在流量的入口外面失去咱们平台营销触达的价值的最大化,咱们可能会有一些曝光过滤、点击过滤的策略能够来组合进行配置和应用。 (一)实时反馈体验晋升 首先实时反馈怎么来了解?就是当咱们的用户实时地产生一些行为的时候,咱们给他下次的举荐后果中就进行了进一步的跟进和反馈。比方这外面给到大家的一张淘宝页面的截图,首先咱们看到它曝光了很多商品,当然前面这两个商品露出不全,咱们就认为它是有效曝光,曝光了4个商品之后,用户可能对张云雷代言的彩妆礼盒是比拟感兴趣的,他就会点击到这个商品去查看详情,这就是一次点击行为,如果他更感兴趣,他可能还会把它去进行一个加购行为。 在这个过程中,咱们会发现用户对化妆品和护肤相干的内容是比拟感兴趣的,而且近期他加购行为示意有购买用意。咱们能够首先采集到这一条点击的行为,实时的回传给举荐零碎,另外咱们心愿在二刷三刷n刷的时候,也会联合它的趣味做反馈,这个时候咱们就能够应用刚刚在零碎过滤算法中跟大家讲到,咱们联合于类目标这样的一个收敛优化,比方咱们基于商品的类目,以后的商品的类目是属于国产品牌的彩妆或者彩妆套装的类目。在这些类目下咱们是能够优先召回进去,跟以后商品比拟类似的去举荐给用户,这也就是咱们在配置算法优先级的时候,能够把类目收敛的优先级给进步。 (二)特色歪斜与成果晋升 比方左边咱们给到的一些商品的特色,首先它是美妆套装,而后品牌是稚优泉,店铺是稚优泉天猫旗舰店,而后标签是明星联名礼盒,化妆品。可能有一些商城是强调店铺的概念的,有一些可能一家店会卖很多品牌,咱们就须要先思考店铺和品牌对于咱们这个行业来说哪个是更重要的,咱们会加上一些店铺和品牌的一个特色,另外咱们认为生产决策上咱们这个标签是很重要的,咱们是能够去调整标签的优先级。 判断的逻辑就是咱们认为生产决策或者趣味决策,它的首要特色是什么?主要特色是什么?咱们的保护是否是相对来说比拟优质的,来调整这一路召回的一个优先级,去晋升咱们的举荐成果。 (三)营销触达策略利用 购买一件商品,尤其是女生在做购买决策的时候,可能会加购很多,过一段时间始终没有下单,然而如果反复地给她举荐进去的话,她会认为她还是很想买,就把它下单了。这其实是消费者的心理逻辑,就是在产生一个曝光点击珍藏加购行为之后,不肯定会很快的购买,可能在某个时间段用意被触达了之后,就下单,在这个过程中咱们能够思考在平台里去尝试应用一些营销触达的策略,去帮忙用户去做生产决策。 例如这里咱们配置了曝光过滤的工夫是3天,点击过滤的工夫是1天,这意味着咱们第一次看到这些商品,比方这4件商品外面对太阳帽和服装进行了曝光和点击,而其余就只有曝光。在一天之后它不肯定是这样的排序,在咱们的页面外面,它可能又呈现了我之前点击过的一个商品,零碎给了他一次反复曝光的机会,如果这一次用户又产生点击行为,零碎还能够再给他一次反复曝光的机会。如果说这次反复曝光机会触发了用户的购买,也到了这样的一个曝光过滤的工夫,零碎就不会再举荐了。 如果零碎给了一次反复举荐的机会,然而用户没有点击它,示意临时用户对它曾经没有了,零碎也不会再对它进行一个二次举荐,现实的状态就是在咱们反复举荐的过程中去促成用户生产的决策和下单,这个也是咱们电商行业外面比拟常见的一种策略。 像一些长视频、长内容,会波及到咱们的停留时长的优化的时候,咱们也可能会应用到相似的策略。 四、内容行业最佳实际 (一)多地区/多Feature划分页面搭建 如果内容社区外面,波及到多个地区,或者多个feature的一个划分,它也可能波及到一些用户的逻辑,比方有些用户咱们须要对它做一些非凡的过滤,青少年模式,比方非凡的 VIP用户,就不给他展现某类标签。在这个过程中,咱们如果抉择以往的场景搭建的模式,可能会滋生进去很多个场景,上百上千个场景对于运维来说是十分难以去保护的。这个时候咱们外部是有一套举荐性能叫在线属性过滤,大家能够利用地理位置的特色,细分品类的特色,给视频打上的非凡的标签的特色,去对它进行一些交加并集,最终拿到一个举荐过滤的后果,而后绑定在一个场景上,咱们能够在这一个场景下来进行多个这样属性过滤的逻辑拼装,从而产出多个举荐的落地页面,这样去晋升咱们的运维效率,不便咱们更快的进行调优。 ...

July 26, 2021 · 1 min · jiezi

关于运维:学习周刊2021年第21周

0,前言这里记录咱们每周工作学习过程中遇到学到的优良开源我的项目,优良文章,以及优良博客。有很多优良的内容,都值得被铭刻,值得被分享,值得被更多人学习,咱们想通过这里每周的记录分享,一方面强化本人对优良内容的意识与学习,另一方面可能把优质内容对立汇总,以飨公众。 咱们的内容会以运维技术和Golang为主,以及GitHub上优良我的项目或教训。曾经通过一次筛选过滤的内容,品质不会太差,在你闲暇无事的时候,能够过去轻易看看,必能有所收益。 该我的项目保护在这里,目前由eryajf和clay-wangzhi一起保护更新,你能够在这里或者这里查看汇总周刊。 1,开源我的项目我的项目地址:opsant我的项目阐明:赵班长负责的云原生开源运维平台,期待后续更多功能凋谢相干文章:官网我的项目地址:VictoriaMetrics我的项目阐明:疾速,经济高效的监控解决方案和工夫序列数据库,可用于prometheus或grafana的存储相干文章:官网文档,官网我的项目地址:Tree-Style-History我的项目阐明:浏览器插件,树状展现浏览器历史记录相干文章:chrome网上利用商店地址我的项目地址:AwesomeSearch我的项目阐明:网上各种awesome套娃式成长,这里能够搜寻很多awesome相干文章:在线拜访我的项目地址:duf我的项目阐明:比du更好看的磁盘空间占用查看工具相干文章:README2,优良文章Go平安指南 腾讯出品的go语言开发tipsGo 语言优良资源整顿,为我的项目落地减速 作者收集整理了一大批go语言我的项目,值得关注,开源地址看房一个半月领会 作者真切的描述了一个普通人看房买房的情绪万字总结,体系化带你全面意识 Linux 系统安全强化 平安方面,内核优化等3,优良博客博客地址:liqiankun简略阐明:go,java博客地址:kubernetes实际指南简略阐明:作者转到别处更新了,不过这里的文章还值得看。博客地址:羡辙杂俎简略阐明:一个前端男子,酷爱开源,内容乏味博客地址:格物简略阐明:go,github博客地址:腾讯云压测团队简略阐明:里边的文章有不少能够借鉴学习的博客地址:Junedayday Blog简略阐明:go博客地址:Coding-Notes简略阐明:内容及其丰盛,拜服作者为此破费的心血博客地址:小弟调调简略阐明:作者创立了许多高质量的分享

July 25, 2021 · 1 min · jiezi

关于运维:学习周刊2021年第19周

0,前言这里记录咱们每周工作学习过程中遇到学到的优良开源我的项目,优良文章,以及优良博客。有很多优良的内容,都值得被铭刻,值得被分享,值得被更多人学习,咱们想通过这里每周的记录分享,一方面强化本人对优良内容的意识与学习,另一方面可能把优质内容对立汇总,以飨公众。 咱们的内容会以运维技术和Golang为主,以及GitHub上优良我的项目或教训。曾经通过一次筛选过滤的内容,品质不会太差,在你闲暇无事的时候,能够过去轻易看看,必能有所收益。 该我的项目保护在这里,目前由eryajf和clay-wangzhi一起保护更新,你能够在这里或者这里查看汇总周刊。 1,开源我的项目我的项目地址:Weibo-Picture-Store我的项目阐明:早在18年折腾图床的时候,发现有人举荐微博图床,而这个插件,是体验了泛滥图床之后,最好用的一个。相干文章:谷歌利用商店插件地址我的项目地址:kube-prometheus我的项目阐明:应用Prometheus监督Kubernetes和在Kubernetes上运行的应用程序相干文章:官网文档我的项目地址:etcdmanager我的项目阐明:一个etcd客户端,看起来不错,只不过有好久没更新了。相干文章:官网2,优良文章如何查看、批改Linux弹性云服务器的内核参数? 华为云官网文档针对Linux内核参数的阐明。TCP connect EADDRNOTAVAIL(99)谬误起因剖析 主机扩容时内核参数没有优化好,从而在压测时引发的一波谬误,此文从根本上解说了此问题起因。Adblock Plus过滤器阐明 代理配置匹配规定阐明,忘了的时候,能够过去看看。如何用prometheus监控k8s集群中业务pod的metrics 基于k8s本身发现机制来监控pod中的透出的metrics指标。用Prometheus监控K8S,目前最实用的部署形式都说全了 基于k8s本身发现机制来监控pod中的透出的metrics指标。超具体教程应用Github和阿里云减速拉取国外Docker镜像 日常构建有拉不下来的镜像,能够通过这种形式借助阿里云进行拉取生产prometheus-operator 监控二进制kubernetes 监控k8s实际Kubernetes集群用户指南 阿里云k8s文档3,优良博客博客地址:Huang Huang 的博客简略阐明:Python,Go,LeetCode博客地址:DevOps运维笔记简略阐明:Jenkins系列实战很不错,以及其余一些devops方面工具博客地址:盛世浮生简略阐明:kubernetes,DevOps,微服务博客地址:k8s生态简略阐明:知乎专栏,k8s相干文章博客地址:超级小豆丁简略阐明:k8s,Java相干,作者是一个认真的分享者。博客地址:Vermouth简略阐明:云原生,k8s,etcd,值得浏览。博客地址:张首富简略阐明:作者的文章很用心,值得学习。

July 25, 2021 · 1 min · jiezi

关于运维:学习周刊2021年第18周

0,前言这里记录咱们每周工作学习过程中遇到学到的优良开源我的项目,优良文章,以及优良博客。有很多优良的内容,都值得被铭刻,值得被分享,值得被更多人学习,咱们想通过这里每周的记录分享,一方面强化本人对优良内容的意识与学习,另一方面可能把优质内容对立汇总,以飨公众。 咱们的内容会以运维技术和Golang为主,以及GitHub上优良我的项目或教训。曾经通过一次筛选过滤的内容,品质不会太差,在你闲暇无事的时候,能够过去轻易看看,必能有所收益。 该我的项目保护在这里,目前由eryajf和clay-wangzhi一起保护更新,你能够在这里或者这里查看汇总周刊。 1,开源我的项目我的项目地址:kubedog我的项目阐明:Kubedog是一个库,用于监督和跟踪CI / CD部署管道中的Kubernetes资源。同时它也提供了一个二进制cli程序,让咱们可能疾速通过命令行对刚刚构建胜利的利用状态做一些观测与打印。相干文章:通过kubedog助力利用部署的状态监测与打印我的项目地址:quay我的项目阐明:Red Hat 开源镜像仓库,相似harbor相干文章:公有镜像仓库选型:Harbor VS Quay我的项目地址:wxwork-bot-go我的项目阐明:企业微信群机器人接口 Golang 封装,比照了很多,这个好用相干文章:参考我的项目README阐明。我的项目地址:go-gitlab我的项目阐明:一个GitLab API客户端,使Go程序可能以简略对立的形式与GitLab进行交互相干文章:官网接口文档我的项目地址:notable我的项目阐明:一个Markdown编辑器,看起来比照typora多了标签等性能,不过如同没有实时渲染的性能。相干文章:官网我的项目地址:buildkit我的项目阐明:比docker build领有更多新个性的构建工具,利用切当可能带来很高的提效。相干文章:官网博客介绍2,优良文章压测nginx呈现no live upstreams while connecting to upstream的问题剖析 实际参考文中的思路以及办法,调优之后的压测成果达到了调优之前的2倍之多。Linux 跟踪连贯netfilter 调优万字总结,体系化带你全面意识 Nginx ! 一个前端同学写的Nginx汇总常识,值得浏览以及珍藏。蚂蚁构建服务演进史 讲述了蚂蚁的构建倒退以及不同阶段的技术计划,学到了一个 buildkit基于BuildKit优化Dockerfile的构建 在这个工具泛滥新个性当中,目前比拟可能切中我的痛点的,就是分阶段构建时,可能挂载缓存的性能,这将为编译性的分阶段构建镜像,带来许多倍的提效!3,优良博客博客地址:PoorOPS简略阐明:运维博客,作者分享了很多不错的运维实际。博客地址:latte Studio简略阐明:一个来过公司面试的运维小伙伴,博客内容不错,蕴含运维以及go的基础知识。博客地址:怀老师简略阐明:PHP,Nginx,Linux,还有生存文章博客地址:Tony Bai简略阐明:go开发者,作者保持写了多年博客,其中还给两个女儿创立博客,十分有意思博客地址:Robin Blog简略阐明:go开发者,Mac,云原生博客地址:KLBLOG简略阐明:Java开发者,然而典型的诠释了Java开发者全面倒退的高素养

July 25, 2021 · 1 min · jiezi

关于运维:CNCF-TOC-委员张磊不断演进的云原生给我们带来了什么

简介:任何一种云原生技术,它不再是某种能力的补救,而是更多地将云的能力以某种形式更简略、更高效地透出给我的利用去应用。无论是容器、K8s 还是 Service Mesh,他们都是在不同的环节帮忙利用自身可能更好地去应用云服务。作者|张磊 云原生是什么? 即便“云原生”的提出曾经有一段时间,但不少人还是会有这样一个问题:到底什么是云原生?或者说云原生的确切定义是什么? 实际上,当咱们接触到很多云原生的开源技术和产品之后,会逐步发现一个景象——云原生实质上其实并不是一个十分确切的物体。也就是说,云原生其实不存在什么具体定义,它指的是一个一直演进的过程。与其谈云原生的实质,不如咱们将它了解为一套愿景。 那么这套愿景的内容又是什么呢? 在将来云的时代,咱们的软件或者利用是人造的生于云上,长于云上。之所以会呈现这样一种景象或这样一个事实,正是因为云计算可能最大水平地去帮忙这些软件降本提效,开释软件自身最大的业务价值。这才是云原生真正想要去做的一件事件,所以它并不是某一项具体的技术,也不是某一个办法,更不是某一个具体的科研项目。 一直演进的云原生 下图可能直观地说明云原生整体的状态到底是怎么去演进和倒退的。 云原生十分强调利用云的个性,所以它的外围方法论和外围概念都是围绕如何让咱们的软件和利用去利用云的个性。那么云的个性是什么呢?比如说云是可能有限弹性的、云的资源是能够疾速交付的、云的应用办法是能够按量付费的,这些都是云十分实质的个性。 围绕这些云的个性,云原生才有了一套最根底的方法论和概念。比方大家可能据说过不可变基础设施,当我的利用部署在云上,假如这个利用载体是不可变的,我就能够随时把它删掉或替换掉,那么要更新我的利用会非常容易。如果要降级利用,能够间接采纳删掉旧的、上线新的形式去做,而不是说须要去动静变更利用外面的某项配置,甚至动静更改代码去实现。所以,不可变基础设施就是一套十分典型的、基于利用云的疾速资源交付能力而造成的方法论。 再比如说,云原生强调要高度的自动化,实现自运维甚至自愈,其实也是心愿软件自身可能去更好地利用云的个性。因为云的能力是十分弱小的,云可能提供各种各样的运维能力,所以利用或者软件可能从开发的时候,就要思考到云其实可能提供很多能力到应用层,而不是说先开发完利用,再去思考怎么借助云的能力去运维,这样是构建不进去云原生利用的。 再比如说,云原生利用无所谓用什么语言写,用什么框架写,这也是很显著的一个特点。因为云自身是一个基础设施能力,那么就不应该也不会去用某种语言或者框架去锁定。同样也是心愿这个世界上所有的软件都可能去利用云的能力,而不是说云只能服务于某种语言。 以上这些都是在云的背景下,云原生提出的一些十分重要的概念。而这些概念自身在咱们的技术钻研当中就会被映射成为一系列的零碎,或者说架构思维。比如说后面提到不可变基础设施,能够把一个利用旧的实例删掉换成新的实例,像这样的一套办法怎么去实现?就要靠容器技术。容器技术实质上提供容器镜像,一个容器镜像是自蕴含一个利用的运行环境,包含利用自身,能够随时把这个镜像版本替掉,上线一个新的版本就能够了。这其实代表着容器是不可变基础设施的一个十分良好的实现。 那么这是不是意味着将来会有某一种技术,可能更好地去实现不可变基础设施呢?这是很有可能的,并且这项技术当然也是云原生的。当将来可能有一个新的技术去实现不可变基础设施,或者更好地实现不可变基础设施,那么这样一个技术也肯定是属于云原生的外围领域。与之类似的,像咱们云原生明天强调的 Sidecar 架构,就是把中间件能力通过一个叫 Sidecar 容器的形式去对接到业务容器里去,而不是说在业务自身下来做定制,集成中间件去解决问题。这其实是心愿可能去实际咱们强调的与语言无关、与框架无关的这样一套方法论所提出的一个架构。而这个架构的特点就是,中间件能力不再须要以语言或者框架的形式嵌到业务代码自身里去,所以说 Sidecar 加上容器都可能去实现这样的一套办法。 这就是云原生方法论背地一直推演出来的一系列技术和架构,而这些技术架构最终在云原生生态外面,往往是以开源的技术我的项目来给大家去应用的。比如说后面提到的容器就会有 Docker 上的我的项目,咱们提到的 Sidecar 和自运维的这套思维,最终会通过 Kubernetes 去帮你去实现。 再比如说最近比拟炽热的 Service Mesh,它实质上在帮你去做中间件的能力,只不过是通过 Sidecar 这种与语言无关的形式去做;再比如说咱们将来或者说当初就曾经比拟火的 eBPF、WASM,他们其实都是在实际云原生这套体系背地的某项思维和某种架构,以开源的形式去满足让用户应用的场景。而正是因为有了这一系列的开源我的项目,咱们能力做到说当我的用户拿到这样的开源我的项目,拿到这样的技术,他可能去真正实际云原生理念,从而达到咱们后面讲到的这两种云带来的实质成果: 第一个是晋升效率,比如说研发效率、交付效率、经营效率。例如我的利用自身通过容器实现了不可变基础设施的这样一套理念,那么它的交付就能够非常简单,我只须要做镜像,交付镜像后它就能够运行在每一个中央;再比如说咱们的运维,当你的软件自身曾经实现了自运维,那么它的运维的难度和老本肯定是升高的,所以咱们肯定可能借助云的能力去提效。 第二个是降低成本,这里包含了资源老本,也包含了人力老本。比如说通过 Kubernetes 或者说通过容器这样的我的项目,我的利用能够更好地、更多地去集成云服务,通过云服务来缩小运维老本和人力投入,这些都是很显著的老本升高。再比如说我的利用通过云原生实现了上云,又通过云原生架构,能够很疾速地进行资源交付和更新的模式,让整个利用的资源老本也变得很低,这同样也是通过云原生技术,让利用可能更好地应用到云的实质能力的一种十分好的体现和实际。 总体而言,你会发现这一套云原生的办法其实是一个很欠缺的闭环,先一直去地看、一直地去摸索如何利用云的个性帮忙用户去提效降本,而后把这一系列的办法或者这一系列的思维,总结积淀成为云原生的概念和方法论,再通过一系列相应的架构和对应的开源我的项目将其实现,最初再让用户可能去应用这些技术,从而达到开释云计算红利的实质目标。 所以说云原生它没有一个具体的定义,它实际上是一套一直自我演进的理论体系加上最佳实际的组合。 明天的云原生 明天的云原生可能是围绕着容器和 Kubernetes 来构建的,而这样的我的项目实际上在帮忙咱们去实际很多云原生背地的实质思维,包含不可变基础设施、自动化等。明天 Kubernetes 被认为是一个云时代的通用管制立体,也有人把它叫做操作系统,就是说你的所有操作都能够借助 Kubernetes 在云上对立去实现。 1、Kubernetes 我的项目的“安卓化” Kubernetes 我的项目的角色可能会越来越像一个安卓。举一个例子,比如说明天的 Kubernetes 其实正在做到无处不在,每个中央每个云层都有 Kubernetes,甚至部署在端的用户、或者部署在边缘的环境下都是十分失常的,就跟安卓一样,车上也有,咱们电视里也有,甚至空调也会有可能有一个安卓。 那么更重要的是,用户应用 Kubernetes 的实质目标是什么?是交付和治理它的软件。比如说我用 Kubernetes 肯定是在下面部署了某一个货色,比如说 AI 的服务或者淘宝,用户的实质目标是应用这套货色来管理软件。而 Kubernetes 自身其实对上裸露的是一系列格式化的形象,比如说 Deployment、Service、Ingress,让我可能去治理和交付我的利用;而对下它启动了一套标准化的接口,比如说通过 CNI 就能够对接阿里云网络,对接自研网络插件,所以它实质上是一个中间层,即一个管制立体,接入了大量的基础设施,而他们裸露的货色成为了我的利用所须要的一些能力,让我可能去用这些能力去治理利用。 ...

July 23, 2021 · 1 min · jiezi

关于运维:浅谈云原生架构的-7-个原则

简介:作为一种架构模式,云原生架构通过若干准则来对利用架构进行外围管制。这些准则能够帮忙技术主管和架构师在进行技术选型时更加高效、精确,本文将就这些准则开展具体介绍。作为一种架构模式,云原生架构通过若干准则来对利用架构进行外围管制。这些准则能够帮忙技术主管和架构师在进行技术选型时更加高效、精确,上面将开展具体介绍。 服务化准则在软件开发过程中,当代码数量与开发团队规模都扩张到肯定水平后,就须要重构利用,通过模块化与组件化的伎俩拆散关注点,升高利用的复杂度,晋升软件的开发效率,升高保护老本。 如图 1,随着业务的一直倒退,单体利用可能承载的容量将逐步达到下限,即便通过利用革新来冲破垂直扩大(Scale Up)的瓶颈,并将其转化为撑持程度扩大(Scale Out)的能力,在全局并发拜访的状况下,也仍然会面临数据计算复杂度和存储容量的问题。因而,须要将单体利用进一步拆分,按业务边界从新划分成分布式应用,使利用与利用之间不再间接共享数据,而是通过约定好的契约进行通信,以进步扩展性。 图 1 应用服务化扩大 服务化设计准则是指通过服务化架构拆分不同生命周期的业务单元,实现业务单元的独立迭代,从而放慢整体的迭代速度,保障迭代的稳定性。同时,服务化架构采纳的是面向接口编程形式,减少了软件的复用水平,加强了程度扩大的能力。服务化设计准则还强调在架构层面抽象化业务模块之间的关系,从而帮忙业务模块实现基于服务流量(而非网络流量)的策略管制和治理,而无须关注这些服务是基于何种编程语言开发的。 无关服务化设计准则的实际在业界已有很多胜利案例。其中影响最广、最为业界称道的是 Netflix 在生产零碎上所进行的大规模微服务化实际。通过这次实际,Netflix 在寰球不仅承接了多达 1.67 亿订阅用户以及寰球互联网带宽容量 15% 以上的流量,而且在开源畛域奉献了 Eureka、Zuul、Hystrix 等杰出的微服务组件。 不仅海内公司正在一直进行服务化实际,国内公司对服务化也有很高的认知。随着近几年互联网化的倒退,无论是新锐互联网公司,还是传统大型企业,在服务化实际上都有很好的实际和胜利案例。阿里巴巴的服务化实际发端于 2008 年的五彩石我的项目,历经 10 年的倒退,稳固撑持历年大促流动。以 2019 年“双 11”当天数据为例,阿里巴巴的分布式系统创单峰值为每秒 54.4 万笔,实时计算解决为每秒 25.5 亿笔。阿里巴巴在服务化畛域的实际,已通过 Apache Dubbo、Nacos、Sentinel、Seata、Chaos Blade 等开源我的项目分享给业界, 同时,这些组件与 Spring Cloud的集成 Spring Cloud Alibaba 已成为 Spring Cloud Netflix 的继任者。 尽管随着云原生浪潮的衰亡,服务化准则一直演进、落地于理论业务,但企业在理论落地过程中也会遇到不少的挑战。比方,与自建数据中心相比,私有云下的服务化可能存在微小的资源池,使得机器错误率显著进步;按需付费减少了扩缩容的操作频度;新的环境要求利用启动更快、利用与利用之间无强依赖关系、利用可能在不同规格的节点之间随便调度等诸多须要思考的理论问题。但能够预感的是,这些问题会随着云原生架构的一直演进而失去逐个解决。 弹性准则 弹性准则是指零碎部署规模能够随着业务量变动主动调整大小,而无须依据当时的容量布局筹备固定的硬件和软件资源。优良的弹性能力不仅可能扭转企业的 IT 老本模式,使得企业不必再思考额定的软硬件资源老本收入(闲置老本),也能更好地反对业务规模的爆发式扩张,不再因为软硬件资源储备有余而留下遗憾。 在云原生时代,企业构建 IT 零碎的门槛大幅升高,这极大地晋升了企业将业务布局落地为产品与服务的效率。这一点在挪动互联网和游戏行业中显得尤为突出。一款利用成为爆款后,其用户数量出现指数级增长的案例不在少数。而业务呈指数级增长会对企业 IT 零碎的性能带来微小考验。面对这样的挑战,在传统架构中,通常是开发人员、运维人员疲于调优零碎性能,然而,即便他们使出浑身解数,也未必可能齐全解决零碎的瓶颈问题, 最终因零碎无奈应答一直涌入的海量用户而造成利用瘫痪。 除了面临业务呈指数级增长的考验之外,业务的峰值特色将是另一个重要的挑战。比方,电影票订票零碎下午时段的流量远超凌晨时段,而周末的流量相比工作日甚至会翻好几倍;还有外卖订餐零碎,在午餐和晚餐前后往往会呈现订单峰值时段。在传统架构中,为了应答这类具备显著峰值特色的场景,企业须要为峰值时段的流量提前准备大量的计算、存储及网络资源并为这些资源付费,而这些资源在大部分工夫内却处于闲置状态。 ...

July 23, 2021 · 2 min · jiezi

关于运维:倒计时-724-阿里云-Serverless-Developer-Meetup-杭州站报名火热进行中

简介:扫描文中二维码收费报名,本周六来现场与咱们相互交换,一起实操吧!本周六阿里云 Serverless Developer Meetup行将亮相杭州 工夫:7.24 本周六 13:30 - 17:30地点:杭州市良睦路 999 号乐佳国内 1-3-7 特洛伊星这一次咱们邀请了阿里云、初创互联网公司、开源中国 Gitee 的技术专家和独立开发者为你带来: Serverless Devs 全新性能公布,像淘宝一样享受 Serverless初创互联网公司 Serverless 落地和踩坑全记录架构师视角:Serverless 利用典型场景及案例分析如何破解 Serverless 弹性伸缩和跨云部署难题?Serverless Workshop 首次倒闭现场礼物收费报名来现场相互交换,一起实操吧! 线上直播观看地址: https://developer.aliyun.com/live/247101?preview=1 分享嘉宾 & 议题介绍13:30-14:00 | Serverless Devs:那些你不得不知的新个性 江昱 阿里云 Serverless 产品经理 议题简介:业内首个反对支流 Serverless 服务/框架的云原生全生命周期治理的平台 Serverless Devs 将带来 Serverless Desktop 全新公布,本次公布将为开发者在 Serverless 利用,疾速部署,运维,可视化编辑方面带来质的晋升,此外另外还有惊喜性能公布,扩大 Serverless 利用开发想象力。 14:05-14:35 | Serverless 典型利用场景&用户及案例解析 洛浩 阿里云 Serverless 高级架构师 议题简介:本议题次要介绍如何基于 Serverless 开发落地利用,目前有哪些通用的场景和计划;并选取典型的落地场景(如音视频解决、ETL 数据处理等),分享落地实际案例。 14:40-15:10 | 踩坑与远眺,初创互联网公司的 Serverless 落地实录 ...

July 22, 2021 · 1 min · jiezi

关于运维:从零开始带你玩转一站式实时数仓Hologres

简介:本次系列直播课程,将会从零开始带您玩转一站式实时数仓Hologres,让您从入门到精通。在大数据畛域,Hologres始终以其超牛的性能、超高的性能,低成本的运维等劣势广受好评,然而随着越来越多的企业开始应用Hologres,大家对Hologres的期待也越来越多: Hologres的性能那么多,应该从哪里开始疾速入门? 文档介绍太具体,性能应用的最佳实际到底是什么? 怎么跟大数据生态产品相结合,施展出最优的能力? 应用注意事项有哪些?怎么防止误入“坑”? ...... 于是,这个夏天,为了让大家更加理解并精通Hologres,由阿里云Hologres业余团队打造的《玩转一站式实时数仓Hologres实操干货20讲》重磅来袭,从7月20日开始,每周二到周四晚19:00定时直播,让你一次学到爽! 超强嘉宾阵容手把手教学阿里云10+技术专家齐上阵,精心打磨课程内容,直击应用Hologres遇到的痛点问题,手把手实操教学,无关Hologres的独门绝学全副倾囊传授,让您躺平就能玩转一站式实时数仓Hologres! 超级实操干货0根底入门6大板块,20节实操课程,从疾速入门,到离线数仓减速,实时数仓实时写入,再到性能调优,企业级平安与运维,只有你想学的,咱们都收费教教教!保障节节有干货,场场有惊喜,让您从零开始,入门到精通,成为大数据领域专家不是梦! 以下是本系列直播课的具体内容概括: 疾速狙击Hologres入门精华:从场景登程,深入浅出简介Hologres开发体系和根底,带您30分钟疾速入门。领悟数仓开发外围:全方位解说如何将数据高性能写入Hologres,手把手教学如何搭建一站式实时数仓,大数据开发不再是盲盒。满足自助运维需要:从性能测试到性能调优,再到监控告警,企业级平安与运维常识全副囊括,分分钟成为大数据运维巨匠严密学习节奏一刻也不节约本系列直播课程将会从7月20日开始,每周二到周四晚19:00在Hologres用户交换群准时直播,欢送扫描下方二维码退出钉钉交换群! 同时咱们也将会在开发者社区同步直播,欢送珍藏开发者社区直播页随时随地看直播, 点击进入直播页>>https://www.aliyun.com/page-source//developer/special/hologres/practices?spm=5176.20960838.0.0.5252305eTKUriW 这个夏天,你要偷偷致力,而后惊艳所有人! 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 20, 2021 · 1 min · jiezi

关于运维:让大型机构的管理和灾备更简单一云多Region解决方案

简介:7月14日,阿里云新品发布会上,阿里云混合云产品总监谢宁正式发表 阿里云混合云 Apsara Stack 重磅降级:企业版能力全面降级、麻利版场景化新品公布,为政企搭建上云高速。观看发布会:https://yqh.aliyun.com/live/apsara\_stack\_new\_release 更多混合云资讯:https://www.aliyun.com/solution/hybridcloud 7月14日,阿里云新品发布会上,阿里云混合云产品总监谢宁正式发表 阿里云混合云 Apsara Stack 重磅降级:企业版能力全面降级、麻利版场景化新品公布,为政企搭建上云高速。 混合云模式下的“一云多Region”解决方案是本次重磅降级的重要能力之一,能够按需分层部署多个Region,各个Region之间互相关联、对立治理。 这个“一云“和”多Region”到底是个啥?企业能够用这个架构解决什么问题? 多Region:超大部署规模和跨域容灾咱们晓得,大型机构或大型企业通常业务遍布全国甚至寰球,往往会抉择在团体总部搭建本人的“专有云”,总部上面有很多分层的职能机构,每一个职能机构又会运行一朵独立的云,从而造成团体外部的云生态,对于这种简单的总分型场景,多Region架构能够很好的撑持业务的互通互联,通过大规模部署实现更高、更灵便的工作负载。不同于传统做法将多个物理集群进行级联造成超大规模,阿里云混合云单集群即可超过1万台,益处有两个,一个是单集群内的资源能够做到弹性调用,一个是反对进行跨域的大数据计算,让资源和算力真正做到“一朵云”,晋升云平台的伸缩能力并显著升高治理复杂度与老本。 但Region数量多了,平安和稳固的保障就变得分外重要,阿里云混合云针对超大规模简单场景设计了“总部强管控+分级云“计划,在总部的核心Region及各分级云的单元Region中,可建设同城容灾以确保以后Region内的业务高可用及容灾切换能力;而在各单元Region与单元/核心Region之间可建设异地容灾,反对任意Region到另外一朵云的容灾;这样就能够做到核心Region或任意单元Reigon故障都不会影响到其余Region,保证系统业务继续不间断运行。 除了在故障产生时刻的保障,日常数据能够通过多个Region向一个Region或者另外一朵云的形式进行跨Region的异地备份,即使真的产生了故障,数据也能够疾速的进行复原。 一云:混合云治理平台自核心到分支的对立治理与运维如果说多Region解决了企业内多云相互联通与平安隔离的问题,那么一云就是要解决简单场景下多云的治理和运维问题。 总部所在的核心Region可通过阿里云混合云治理平台(Apsara Uni-manager)对多Region进行无效治理,混合云治理平台是面向阿里云专有云和混合云场景的企业级云治理平台,提供全方位的云资源供应、运维和经营治理能力,具备一体化管控、自动化运维、智能化剖析及个性化扩大等外围竞争力,致力于简化混合云治理。 面对大型企业中的简单组织架构治理,核心Region能够看做是组织的司令部,而混合云治理平台就是驻扎在司令部的智能指挥官。其次要采纳了分权分域治理模型,在云资源应用和保护层面能够使领有一个区域资源管理权限的管理员只能治理本人所辖区域的设施以及应用相干的性能,不能治理其余区域的资源和设施。在业务和数据配置层面让各个治理区域的管理员也同样只需关注本区域的业务和数据等资源,无受权时不能查看、批改其余区域的资源。 通过混合云治理平台,造成集中管理形式下的分域合作模式,使核心Region和一般Region以省为单位建设、跨本地网部署、资源共享和协同治理,节俭配套投资。 同时,利用Region中心化治理或边缘Region自治治理的灵便切换和配置能力,能够让保护治理更灵便,充分利用区域运维资源,进步区域运维效率,加重核心Region所在的区域的产品应用和运维压力,从而优化跨区域合作的运维流程。 除了一云统管外,阿里云混合云目前能够反对飞天操作系统兼容X86、ARM、RISC-V等多种芯片架构,传统IT时代围绕芯片建设IT生态,但云计算从根本上扭转了这一模式,云操作系统能够将服务器芯片、专用芯片等硬件封装成规范算力,无论底层芯片是X86、ARM、RISC-V还是硬件加速,给客户提供的都是规范的、高质量的云计算服务。 一云多Region”的最佳实际目前政务、传媒、能源等多个行业头部企业已采纳阿里云的“一云多Region”解决方案,如其中某能源公司已建设了3个总部数据中心和13个省(市)数据中心,部署的服务器(蕴含内网、外网)累计超过1.1万台。省(市)分公司的数据中心与总部的3个“核心region”造成了物理扩散、逻辑对立的“一朵云”,能够进行对立账号权限治理、对立资源监控和调度、对立服务和治理、对立经营和运维、对立数据开发和服务。 结语2021年的明天,云计算早已深刻到企业千万家,从“全面上云”到“云上翻新”,云化业务的规模和复杂度都显著增长,阿里云混合云在提供平安和稳固服务的根底上,致力于让建云更简略、管云更精密、用云更高效,真正帮忙企业业务跑的更快,更有收益。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 20, 2021 · 1 min · jiezi

关于运维:国内首批阿里云实时计算-Flink-版通过信通院大数据产品能力测试

简介:阿里云实时计算 Flink 版通过信通院分布式流解决平台测评,成为国内首批通过测试的厂商。2021年6月24日,中国信息通信研究院(以下简称“中国信通院”)在北京主办“2021大数据产业峰会成绩发布会”,发布会上信通院第十二批“大数据产品能力评测”后果正式颁布,阿里云实时计算 Flink 版通过分布式流解决平台测评,成为国内首批通过测试的厂商。据理解,该专项测试是信通院往年首次开设的全新资质测评方向,仅2款产品通过本次测评。 近年来,“中国信通院大数据产品能力评测”作为国内首个大数据产品权威评测体系,已成为厂商产品研发和用户洽购选型的风向标。本次阿里云实时计算 Flink 版在该项性能测评中,通过了12个子我的项目评测,作到整体性能较开源我的项目进步200%;在利用场景的检测中,实时计算 Flink 版实现在亿级数据低压环境下,数据不重不丢和精准统一,高分通过本次测评。 作为国内最早布局实时计算技术方向的企业之一,早在2016年阿里巴巴就曾经开始大规模上线应用实时计算产品。本次通过测试的阿里云实时计算 Flink 版,是国内齐全以“Ververica Platform”为内核的阿里云产品。实时计算 Flink 版产品绝对于开源 Apache Flink领有更具劣势的性能和稳定性,除了运维方面的劣势,开箱即用也让用户更加不便。 实时计算 Flink 版产品在阿里巴巴的倒退历程 实时计算 Flink 版产品在团体外部各类大促环境中也失去了广泛应用,双十一和618等重大电商流动中都体现了卓越的能力。2021年618流动中阿里巴巴实时计算 Flink 版完满承载高达了50 亿 的峰值流量测验。2021年实时计算 Flink 版成为中国惟一进入Forrester强劲表现者象限的产品,并被数据中心联盟圈定为国内大数据流计算根底平台第一梯队。 阿里云流计算产品进入 Forrester 数据流剖析报告 目前阿里云实时计算 Flink 版曾经积淀了互联网娱乐,在线交易,金融,在线教育等近百个行业案例场景,多行业全方位实际场景,为业务稳固倒退保驾护航。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 19, 2021 · 1 min · jiezi

关于运维:6月场完美收官阿里云最佳实践workshop实战训练营

简介:最佳实际workshop实战训练营是基于角色扮演的场景化沉迷式实操训练,通过现场加入实训帮忙客户疾速把握场景的落地技术计划,通过产品组合实战实操来帮忙客户疾速理解阿里云各产品及计划的劣势。阿里云解决方案最佳实际是基于泛滥客户上云的胜利案例萃取而成的最优化企业上云领导。每个最佳实际包含应用场景、多产品部署架构及部署手册。帮忙客户更好地了解阿里云的产品和解决方案,升高企业上云门槛的同时满足客户自服务的需要。更多信息,请拜访:https://bp.aliyun.com 最佳实际workshop实战训练营是基于角色扮演的场景化沉迷式实操训练,通过现场加入实训帮忙客户疾速把握场景的落地技术计划,通过产品组合实战实操来帮忙客户疾速理解阿里云各产品及计划的劣势。 01 IT治理workshop - 上海场工夫:2021年6月1日-2日Workshop主题:云上IT治理。针对客户常遇到的云上资源构造治理、费用老本治理、身份集成、网络布局、IT合规和审计和根底平安防护等问题,以实践+实操的形式,帮忙客户疾速相熟云上IT治理。客户反馈: “咱们尽管曾经用阿里云很长时间了,然而还是用的比较简单的ECS/RDS这些货色,通过这次workshop,使咱们对治理相干的内容有了整体的理解。意识到咱们短少的货色将来须要去做改善。” “最大的播种是对于阿里云技术的理解,从我做为运维工程师的角度去看,咱们是按不同岗位去进行操作。通过workshop,咱们心愿是深入浅出,把云上云下的方方面面纳入到咱们的治理范畴之内,从整体的视角来布局资源,把业务做好。心愿当前有更多这样的学习机会。” 02 IT治理workshop - 上海场工夫:2021年6月10日-11日Workshop主题:云上IT治理。针对客户常遇到的云上资源构造治理、费用老本治理、身份集成、网络布局、IT合规和审计和根底平安防护等问题,以实践+实操的形式,帮忙客户疾速相熟云上IT治理。客户反馈 如有同学现场提到“是加入培训以来第一次全程不打瞌睡的实际流动”、“对业务平安有全面理解,回去肯定分享给同学”、“对接下来用好云有十分好的帮忙”等。 03 IT治理workshop - 北京场工夫:2021年6月11日Workshop主题:云上IT治理。针对客户常遇到的云上资源构造治理、费用老本治理、身份集成、网络布局、IT合规和审计和根底平安防护等问题,以实践+实操的形式,帮忙客户疾速相熟云上IT治理。客户反馈 “后面的实践局部讲的挺好的,前面的实操环节也做的比拟粗疏,感觉当前有相似的流动,还心愿加入。” “咱们用阿里云挺早的,以前用的比拟散,听完这个课后,感觉比拟零碎了,回升到方法论的高度,对当前的工作有比拟好的借鉴。”04 企业上云workshop - 杭州场工夫:2021年6月17日-18日Workshop主题:业务迁徙上云。从高可用布局、网络布局、平安布局以及迁徙布局等方面介绍如何应用阿里云基础设施服务托管客户业务,并从模仿的业务零碎和办公零碎上云的实战演练,帮忙客户疾速相熟阿里云相干产品,升高上云的老本。客户反馈: “培训很有意义,心愿阿里云多发展相似的培训我的项目” “这种流动挺好的,能够多多做,也违心多加入,能够学到技术,还要实战机会” “安顿的还是很紧凑,成果也不错”【分割阿里云客户经理取得更多workshop场次安顿】版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 16, 2021 · 1 min · jiezi

关于运维:什么是-shell

1 什么是 shell?Shell 是一个命令解释器,它在操作系统的最外层,负责间接与用户进行对话,把用户的输出解释给操作系统,并解决各种各样的操作系统的输入后果,输入到屏幕反馈给用户。这种对话形式能够是交互式也能够是非交互式的咱们所输出的命令计算机是不辨认的,这时就须要一种程序来帮忙咱们进行翻译,变成计算机能识别的二进制程序,同时又把计算机生成的后果返回给咱们。 以后终端应用的哪种 shell?大多数 linux 发行版本默认 shell 应用的是 bash 2扩大:编程语言分类编程语言次要用:低级语言和高级语言 1)低级语言:机器语言:二进制语言汇编语言:符号语言,应用助记符来代替操作码,也就是用符号代替机器语言的二进制码它们都是面向机器的语言 2)高级语言:它是比拟靠近自然语言或者说人类语言的一种编程,用人们可能容易了解的形式进行编写程序,动态语言:编译型语言 如:c 、 c++ 、 java,动静语言:解释型语言 如: php 、 shell 、 python 、perlgcc 编译器:(解释器)将人类了解的语言翻译成机器了解的语言动态语言和动静语言的区别:动态语言编译时,变量的数据类型是确定的,动态语言对硬件更敌对,运行效率更高。动静语言,运行时确定变量的数据类型,且运行时可扭转变量的类型。动静语言更简洁,对人类更友好,能够把更多精力放在业务逻辑上。 3什么是 SHELL 脚本?shell 脚本:就是说咱们把原来 linux 命令或语句放在一个文件中,而后通过这个程序文件去执行时,咱们就说这个程序为 shell 脚本或 shell 程序;咱们能够在脚本中输出一系列的命令以及相干的语法语句组合,比方变量,流程管制语句等,把他们有机联合起来就造成了一个功能强大的 shell 脚本。先手写一个脚本体验一下: [root@xuegod63 ~]# vim test.sh #写入以下内容#!/bin/bash#This is shell.echo "hello world"mkdir /tmp/testtouch /tmp/test/a.txt正文:1、!/bin/bash 作用:通知脚本应用的是哪种命令解释器。如不指 shell,以以后 shell 作为执行的shell。2、在 shell 中以#示意结尾,整个行就被当作一个正文。执行时被疏忽。3、shell 程序个别以.sh 结尾 [root@xuegod63 ~]# chmod +x test.sh[root@xuegod63 ~]# ./test.sh #执行hello world创立 shell 程序的步骤:第一步:创立一个蕴含命令和控制结构的文件。第二步:批改这个文件的权限使它能够执行。应用 chmod +x test.sh第三步:检测语法错误bash -x abc.sh第四步:执行 ./exampleshell 脚本的执行通常有以下几种形式1、/root/test.sh 或者 ./test.sh (以后门路下执行脚本的话要有执行权限 chmod +x test.sh)2、bash test.sh 或 sh test.sh (这种形式能够不对脚本文件增加执行权限)3、source test.sh (能够没有执行权限) .test.sh4、sh < test.sh 或者 cat test.sh |sh(bash) ...

July 15, 2021 · 1 min · jiezi

关于运维:KubeVela-上手|让云端应用交付更加丝滑

简介:KubeVela 是阿里云和微软独特发动的 OAM(Open Application Model)规范的技术实现,旨在打造对立、规范、跨环境的云端利用交付,省时省力,轻松简略作者|KubeVela 社区 作者|KubeVela 社区 本文适宜所有软件工程师进行浏览应用,尤其是心愿开辟后端技术视线的前端、挪动端和全栈工程师们。 前言 在软件开发越来越麻利的明天,后端技术架构也始终一刻不停地演进以适应需要的变动。 从最后的物理机时代、云计算萌芽的虚拟机时代,再到大暴发的容器时代,所有这所有,咱们原本都朝着一个确定方向倒退,即:让利用交付更好、更快和更强。目前处在容器时代的咱们,一边迎接 Kubernetes 等云原生技术浪潮带来的丰盛能力,一边又不得不面对这些懊恼: Kubernetes 平缓的学习曲线和一堆目迷五色的概念,使得利用开发人员的开发效率很难令人满意。服务利用开发的平台团队,却没有一个适合的框架来构建用户敌对且高度可扩大的形象。尤其在将来的混合云、多云、分布式云这些日益简单的业务场景中,利用交付更是变得碎片化。KubeVela 是阿里云和微软独特发动的 OAM(Open Application Model)规范的技术实现,旨在打造对立、规范、跨环境的云端利用交付,省时省力,轻松简略: 以应用程序为核心- KubeVela 引入了凋谢应用程序模型(OAM)来作为更高级别的 API,通过高度一致的工作流来捕捉面向混合环境的微服务交付的所有信息。包含多集群散发策略、流量调配和滚动更新等运维特色,都申明在利用级别。用户无需关怀任何基础设施细节,只须要定义和部署利用即可。可编程式交付工作流- KubeVela 的模型层是利用 CUE 来实现的。它使得你能够轻松地将利用交付工作流申明为一个 DAG,并将所有步骤和利用部署需要以可编程的形式粘合在一起。这里没有任何限度,原生可扩大。运行时无关 - KubeVela 是一个齐全与运行时无关的利用交付与管理控制立体。它能够依照你定义的工作流与策略,面向混合环境交付和治理任何利用组件:包含容器、云函数、数据库甚至 AWS EC2 实例。当初快跟我来,走进 KubeVela 一探到底! 能够先相熟的概念 Docker:罕用的一种容器。 Image:容器镜像。Docker 的最外围组成,简略了解为可拷贝的装置光盘。 DockerHub:Docker 公司负责保护的一个容器镜像公开下载核心。 Kubernetes:容器编排规范,工作是对立治理调度容器。 YAML:一种配置文件格式。 话不多说,来欢快地敲代码学习吧! 试玩 KubeVela 环境搭建 这一次,咱们将介绍应用 Kind(Kubernetes in Docker)来搭建本地 Kubernetes 环境。顾名思义,Kubernetes in Docker,所以持续往下看之前,请确保追随链接先装置好 Docker(\_https://docs.docker.com/desktop/\_)和 Kubernetes 的命令行工具 kubectl(\_https://kubernetes.io/zh/docs/tasks/tools/\_)。 ...

July 15, 2021 · 2 min · jiezi