关于云计算-大数据:博睿数据携手火山引擎共建新云新未来

近日,火山引擎正式公布了全系云产品,包含云根底、视频及内容散发、数据中台、开发中台、人工智能等5大类、共计78项服务。博睿数据作为火山引擎APM 生态合作伙伴亮相生态论坛。 火山引擎云产品是字节跳动“麻利开发”技术实际的对外输入,脱胎于字节跳动9年的增长累积。从2017年首次对外提供举荐服务开始,到2020年正式上线,再到明天,火山引擎目前曾经服务了包含互联网、生产电子、金融、汽车、批发等泛滥行业的标杆客户,笼罩了从数字体验、数字营销到大数据技术、人工智能等诸多业务场景。 博睿数据作为APM 行业的领军者,单方独特致力于晋升云原生环境下的可观测性,从Trace(调用链)、Metric(指标)、Log(日志)等维度,构建残缺的云原生监控管理体系,确保业务在容器化、高并发等简单业务环境的稳固运行与疾速问题定位。博睿数据APM产品的易用性、稳定性和AI能力,为单干提供了无力撑持,并成为了火山引擎的“得力助手”。 随着微服务、容器化的衰亡,云原生带来的利用复杂度呈指数级回升。企业对于零碎可观测能力提出更高的要求。博睿数据与火山引擎的本次携手聚焦利用性能监控畛域。火山引擎利用性能监控全链路版通过先进的技术,无门槛接入、疾速定位问题、全链路监控、高效灵便,为企业提供全链路的利用性能监控服务,助力企业晋升异样问题排查与解决的效率。 博睿数据依附多年的技术教训积淀,创新性的提出了服务可达的数据链DNA理念,可买通从代码到用户(Code to Customer)拜访的全过程,被动把握全链路各环节的服务品质及性能,帮忙企业一直晋升用户体验,实现监控体系由企业视角“利用可用”监控,到用户视角“服务可达”的过渡。 博睿数据与火山引擎联合单方劣势,在利用性能监控畛域发展了深度摸索与单干。将来,单方也将携手独特助力企业数字化转型。

December 9, 2021 · 1 min · jiezi

关于云计算-大数据:快速上手-Serverless-入门第一课

一、 从云计算到 Serverless自世界上第一台通用计算机ENIAC(图左)诞生以来,计算机科学与技术的倒退就从未进行过后退的脚步。2003年-2006年,谷歌先后发表了这三篇十分经典的论文(图右),指明了HDFS(分布式文件系统)、MapReduce(并行计算)和HBase(分布式数据库)的技术根底及将来机会,为云计算倒退方向奠定了根底。所以说从。埃尼阿克到谷歌的3篇经典论文,计算机科学与技术的倒退是在一直的后退。而到了云计算时代,能够说计算机科学与技术的倒退是在飞速的后退。 云计算的概念对于云计算的界定,学术界的和工业界有不同的了解,回顾下云计算的倒退历程: 1、2006年,谷歌首席执行官在搜索引擎大会上首次提出云计算的概念;同年亚马逊将其弹性计算能力作为云服务器进行售卖,标记着云计算这种新兴商业模式正式诞生;2、2008年,微软公布云计算平台 Windows Azure,尝试将技术和服务托管化、线上化;3、2009年,《伯克利云计算白皮书》发表,文中明确指出云计算的定义:云计算蕴含互联网上的应用服务以及在数据中心提供这些服务的软硬件设施。 明确定义后,伯克利提出了对于云计算瞻望,同时也指出云计算所面临的10个问题,如服务的可用性,数据的失落或者数据安全性和可审计性等。 二、Serverless 概念定义Serverless 翻译成中文是无服务器,所谓的无服务器并非是说不须要依附服务器等资源,而是说开发者再也不必过多思考服务器的问题,能够更专一在产品代码上,同时计算资源也开始作为服务呈现,而不是作为服务器的概念呈现,Serverless是一种构建和治理基于微服务架构的残缺流程,容许用户在服务部署级别而不是服务器部署级别来治理用户的利用部署。与传统架构的不同之处在于,它齐全由第三方治理,由事件触发,存在于无状态(Stateless),暂存(可能只存在于一次调用的过程中)在计算容器内,Serverless 部署利用毋庸波及更多的基础设施建设,就能够根本实现主动构建、部署和启动服务。 Serverless 架构右边是传统意义上来说比拟常见的web 利用的架构, 它是由客户端、服务端、数据库等元素组成。 以往做此类我的项目时,开发者须要在服务端做很多操作,如购买服务器、思考购买数量、宽带、操作系统、部署在哪几个区、环境、软件等等问题。随后还须要人为对这台服务器的衰弱要实时去监控,一直的去感知。 而在Serverless架构下,开发者只须要关怀咱们的业务代码即可,在我的项目整个的开发、上线、保护过程中,用户并不需要关注服务器层面的保护,也无需为流量的波峰波谷进行运维资源的投入,这一部分将由云厂商来负责;同时在Serverless架构下,用户也无需为闲置资源进行额定收入。 Serverless长处Serverless 架构领有零服务器运维和闲暇时无计算成本等特点;其交付心智能够体现为将简单留给云厂商,把便捷带给更多开发者。综上所述Serverless的劣势能够体现在如下: 1)降本提效 云厂商为使用者提供服务器的治理和运维工作,为使用者提供数据库、对象存储等 Baas 服务,让用户将更多的注意力放在本身的业务逻辑上,晋升研发效率,放大我的项目的翻新周期,同时 Serverless 的使用者不必更多的放心本身的服务器运维,基础设施的运维等工作,更不必为这部分有额定的费用收入,无需承当更多的运维工作老本等;Serverless 架构提供了较为欠缺、全面的按量付费模型,使用者只须要依照本人理论应用的资源量付费即可;Serverless 架构在这一层面有较为明确的劣势。 升高运维老本升高人力老本进步研发效率升高翻新周期按量付费、升高收入老本2)平安、不便、牢靠 把更业余的事件交给更业余的人去做,Serverless 架构将更多服务器运维、平安相干的事件交给云厂商来做,大规模晋升我的项目整体的安全性;同时,Serverless 架构显著比其它架构更简略,因为更多的 Baas 服务都是云厂商提供的,使用者将会治理更少的组件,这意味着 Serverless 的使用者能够更简略更不便的治理我的项目;同时 Serverless 架构领有着弹性能力,即主动伸缩的能力,该能力能够让我的项目在流量减少的时候,主动进行扩容,在流量升高的时候,主动进行缩容,进而保障整个业务的平安、稳固。业余团队为用户保障平安,保障性能,这使得 Serverless 架构: 平安危险更低资源开销更小合乎“绿色”计算思维更加方便管理弹性伸缩,服务更牢靠总体来说,托管给云厂商之后呢,不仅能够大规模的晋升我的项目整体的安全性和稳定性,Serverless 架构也是显著比其余架构更为简略的。 面临挑战Serverless架构尽管呈现多年然而真正步入“元年”并得以疾速倒退的工夫其实很短暂;因而Serverless架构拥虽有诸多长处,然而也面临一些艰难和挑战,包含但不限于冷启动问题重大、开发工具不欠缺、厂商锁定等景象。然而近些年Serverless架构热度持续上升,人们对它寄予厚望,各个厂商也加大投入,置信目前的问题都是临时的,Serverless架构会朝着更好用、更易用的方向一直演进。 Serverless 架构为使用者提供全新的编程范式的同时,当用户在享受 Serverless带来的第一波技术红利的时候, Serverless的毛病也逐步地裸露了进去,例如函数的冷启动问题,就是现在颇为严厉且备受关注的问题。因为 Serverless架构具备弹性伸缩的能力, Serverless服务的供应商会依据用户服务的流量稳定进行实例的减少或缩减,其示意图如图所示。以阿里云函数计算为例,当零碎接管到第一个触发函数的事件时,它将启动一个容器来运行代码。如果此时收到了新的事件,而第一个容器仍在解决上一个事件,平台将启动第二个代码实例来解决第二个事件, Serverless架构的这种主动的零管理水平缩放,将继续到有足够的代码实例来解决所有的工作负载为止。当然,不仅仅是并发状况下会比拟容易触发函数冷启动,在函数的前后两次触发工夫距离超过了实例开释工夫的阈值时,也会触发函数的冷启动,如下图所示。然而这里就波及一个问题,当新的申请或者说是事件到来时,在狭义上可能呈现以下两种状况: 存在闲暇且能够间接复用的实例:热启动。不存在闲暇且能够间接复用的实例:冷启动。在本地执行一个函数,通常状况下是环境都曾经筹备得当,每次执行只须要执行函数对应的办法即可,然而 Serverless架构下并不是,本地与FaS的函数调用区别示意图如图所示。 三、典型利用场景Serverless 架构自提出到当初通过若干年的倒退,曾经在很多畛域中有着十分多的最佳实际,CNcf总结出一些Serverless架构所适宜的场景。1、 实时文件解决视频利用、社交利用等场景下,用户上传的图片、音视频往往总量大、频率高,对解决零碎的实时性和并发能力都有较高的要求。例如,对于用户上传的图片,能够应用多个函数对其别离解决,包含图片的压缩、格局转换等,以满足不同场景下的需要。2、数据ETL解决通常要对大数据进行解决,须要搭建 Hadoop或者 Spark等相干大数据的框架,同时要有一个解决数据的集群。通过 Serverlesst技术,只须要将取得到的数据一直的存储到对象存储,并且通过对象存储相干触发器触发数据拆分函数进行相干数据或者工作的拆分,而后再调用相干处理函数,解决实现之后,存储到云数据库中。函数计算近乎有限扩容的能力能够使用户轻松地进行大容量数据的计算。利用Serverless架构能够对源数据并发执行多个mapper和reducer函数,在短时间内实现工作,整个流程能够简化为以下图中所示;相比传统工作形式,应用Serverless架构更能防止资源的闲置节约,从而节省成本。3、 实时数据处理通过 Serverless架构所反对的丰盛的事件源,通过事件触发机制,能够通过几行代码和简略的配置对数据进行实时处理,例如:对对象存储压缩包进行解压、对日志或数据库中的数据进行荡涤、对MNS音讯进行自定义生产等。4、 机器学习(AI推理预测)在AI模型实现训练后,对外提供推理服务时,能够应用 Serverless架构,通过将数据模型包装在调用函数中,在理论用户申请达到时再运行代码。绝对于传统的推理预测,这样做的益处是无论是函数模块还是后端的GPU服务器,以及对接的其余相干的机器学习服务,都是能够进行按量付费以及主动伸缩,从而保障性能的同时也确保了服务的稳固。5、 Web利用/挪动利用后端Serverless架构和云厂商所提供的其余云产品进行联合,开发者可能构建可弹性扩大的挪动或Web应用程序,轻松创立丰盛的无服务器后端,而且这些程序可在多个数据中心高可用运行,无需在可扩展性、备份冗余方面执行任何管理工作。6、 音视频转码 在视频利用、社交利用等场景下,用户会上传一些视频,通常上传的视频会进行一些转码,包含转换为不同的清晰度。 Serverless技术与对象存储相干产品组合后,可利用对象存储相干触发器,即上传者将视频上传到对象存储中,触发 Serverless架构的计算平台(FaaS平台)对其进行解决,解决之后将其从新存储到对象存储中,这个时候其余用户就能够抉择编码后的视频进行播放,还能够抉择不同的清晰度,如图所示。综上所述, Serverless架构的典型利用场景更多是由 Serverless架构的特点决定的。当然,随着工夫的一直推移, Serverless架构也在一直演进,特点会更加突出,劣势会被补救。 ...

October 28, 2021 · 1 min · jiezi

关于云计算-大数据:kubernetes-降本增效标准指南|理解弹性应用弹性

弹性伸缩在云计算畛域的简述弹性伸缩又称主动伸缩,是云计算场景下一种常见的办法,弹性伸缩能够依据服务器上的负载、按肯定的规定、进行弹性的扩缩容服务器。弹性伸缩在不同场景下的含意: 对于服务运行在自建机房的公司,弹性伸缩通常意味着容许一些服务器在低负载时进入睡眠状态,从而节俭电费(以及用于冷却机器的水费和水费)。对于应用在托管在云上的机房的公司而言,主动扩大可能意味着更低的费用,因为大多数云提供商都基于总使用量而不是最大容量进行免费。即便对于不能在任何给定工夫缩小运行或领取的总计算能力的公司,它们也能够在低流量时升高服务器的负载。弹性伸缩解决方案还能够用来替换异样状态的实例,从而在肯定水平上避免硬件,网络和应用程序故障。在生产工作负载常常变动且不可预测的状况下,弹性伸缩能够提供更长的失常运行工夫和更高的可用性。援用自:https://zh.wikipedia.org/wiki/%E5%BC%B9%E6%80%A7%E4%BC%B8%E7%BC%A9 弹性伸缩的三大要害因素1. 基于什么特色和属性弹性伸缩,顾名思义某种机制可能让某些对象进行弹性的扩容和缩容。在云计算和容器相干畛域也有较多的对于弹性伸缩的能力,有基于零碎负载进行弹性扩缩容的,有基于业务日志进行弹性扩缩容的,也有基于资源预申请进行弹性扩缩容的。最罕用的次要有以下记录: 基于零碎负载指标扩缩容对象应用场景:当您的应用程序承当更多负载时,往往须要更多的 CPU 和内存资源,这时您能够设置一个 CPU 和内存利用率的指标,零碎会主动设置正本数以动静承当不同的负载状况,避免资源利用率过低的资源节约或负载过高时应用程序无奈承当。限度:有时利用的负载变高但 CPU 和内存的利用率并没有很高,这时基于零碎负载指标扩缩容是有效的。并且具体应用哪一种零碎负载指标,以及利用率的阈值设定都是比拟须要教训的。基于业务日志扩缩容对象应用场景:业务的日志有专门记录和存储,并且能够通过日志剖析失去以后利用的理论负载状况,这时能够依据业务的日志主动扩缩容。限度:须要领有日志存储和剖析工具;日志信息量广泛很大,基于日志的弹性扩缩容易误判、漏判。基于资源申请扩缩容对象应用场景:当有些利用不适宜程度扩缩容时,此时能够通过调整对资源的申请量来实现扩缩容。相较形式1是扩容正本数实现程度扩缩容,此时扩容的是容器对资源的申请量,属于垂直扩缩容。限度:以后这种形式须要重建容器,可能会引发服务的中断;并且垂直扩容依赖以后容器运行的节点容量大小,如果节点自身没有残余资源,也无奈实现垂直扩容。基于事件扩缩容对象应用场景:例如当您的业务须要解决 Kafka 音讯队列中的工作时,Kafka 中每多一条 topic,须要生成一个新的副原本解决这个 topic;或者数据库每多一条工作数据,会主动生成一个新的副原本承载这个工作。限度:齐全依赖事件的触发,但事件自身解决时长有长有段,负载水平有高有低,完全相同的正本无奈灵便应答。当然还能够用其余的特色和属性进行扩缩容对象,这里也未全副枚举,具体业务应用弹性伸缩,按需抉择不同的特色和属性,特色和属性则是弹性伸缩的根底。2. 依据什么策略基于上述的特色和属性取得了数据之后,那么就须要肯定的策略和判断规定。 总结来说就是: 上述的特色和属性在什么状况和边界下或进行扩容、扩多少、扩什么对象、怎么个扩法?上述的特色和属性在什么状况和边界下或进行缩容、缩多少、缩什么对象、怎么个缩法?举个 kubernetes Cluster AutoScaler 的例子:在腾讯云容器服务里节点的缩容策略: CA(Cluster Autoscaler)监测到利用率(取 CPU 利用率和 MEM 利用率的最大值)低于设定的节点。计算利用率时,能够设置 Daemonset 类型不计入 Pod 占用资源。CA 判断集群的状态是否能够触发缩容,须要满足如下要求: 节点闲暇时长要求(默认10分钟)。集群扩容缓冲工夫要求(默认10分钟)。CA 判断该节点是否合乎缩容条件。您能够按需设置以下不缩容条件(满足条件的节点不会被 CA 缩容): 含有本地存储的节点。含有 Kube-system namespace 下非 DaemonSet 治理的 Pod 的节点。阐明:CA 驱赶节点上的 Pod 后开释/关机节点(不会解决包年包月节点)。 齐全闲暇节点可并发缩容(可设置最大并发缩容数)。非齐全闲暇节点一一缩容。上述就是 Kubernetes 对节点缩容的解决逻辑,也就是弹性伸缩三大要害因素的扩缩容策略局部。总结来说,策略是决定弹性伸缩相干的能力是否足够匹配业务场景的最要害的局部。 3. 弹缩什么对象弹性伸缩在云服务商上的服务对象往往就是服务器的数量,还有更多弹性伸缩的对象如:云服务器的资源配置(CPU/内存)、还能够是承载用户业务的 Kubernetes 里的 Pod、还能够是其余企业所须要应用的云产品,业务只有有按需应用云资源的诉求,随用随取的资源皆可成为弹性伸缩的对象。 云上弹性伸缩的实质和目标:就是对弹性伸缩对象的按需付费。 弹性跟云计算成本的关系弹性伸缩能够升高哪些老本腾讯云云原生团队后续打算推出云原生白皮书, 其中将会介绍来着 1000+ 企业在老本方面的经验总结, 整体分成了三个局部:了解老本->管制老本->优化老本。利用云的弹性伸缩是企业优化老本的三大办法之一。 1、弹性伸缩可升高 IT 设施老本通过《降本增效|容器化计算资源利用率景象分析》中的调研剖析,充分利用弹性伸缩能力,是进步资源利用率,升高资源老本的关键点之一,比照未应用弹性伸缩的状况下整体资源利用率可能进步20%、30%以上。腾讯云原生团队提出了容器化资源利用率成熟度模型中的 level2 就是业务利用容器和云的弹性伸缩能力,联合 Kubernetes 的 HPA、VPA、CA 等能力,顶峰扩容、闲暇缩容,极大进步资源利用率。 ...

May 31, 2021 · 2 min · jiezi

关于云计算-大数据:还不懂云数据库Redis是什么快上车一张图带你了解

更多精彩,尽在浪潮云

March 10, 2021 · 1 min · jiezi

关于云计算-大数据:图灵测试已过时AI-需要新基准测试别了FlashAdobe播放器正式停运

开发者社区技术周刊又和大家见面了,让咱们一起看看,过来一周有哪些值得咱们开发者关注的重要新闻吧。 软件绿色联盟《新一代 3D 数据文件对立技术规范 1.0》正式公布Flash再见!Adobe播放器1月1日起正式停运深度操作系统 deepin 新版公布中国电信推出业内首款量子平安通话产品“量子密话”图灵测试已过期,AI 须要新基准测试微软文件确认 Win10 Cloud PC 云电脑降级AAAI 2021 | 在手机上实现19FPS实时的YOLObile指标检测RealFormer:把残差转移到Attention矩阵下面去技 术 要 闻 Industry   News 1、软件绿色联盟《新一代 3D 数据文件对立技术规范 1.0》正式公布 据软件绿色联盟音讯,由京东、华为、阿里巴巴、腾讯、网易、Cocos、艾迪普等企业联结制订的《新一代 3D 数据文件对立技术规范 1.0》(下称《标准 1.0》)正式公布。 本次公布的《标准 1.0》次要范畴包含: 定义对立 3D 文件格式根本构造、高效编辑、存储以及解析的根本个性和实现要求;定义可疾速实现数据加载个性及实现要求;定义能够适配多种渲染引擎的接口,实现不依赖引擎,除渲染和动画外,没有任何其余运行时行为,均能够应用的 3D 数据格式;定义残缺的 3D 场景示意:除了单个模型外,包含整个 3D 场景(节点、变换、网络、材质、相机和动画等);定义可扩大的属性,反对自定义扩大。2、Flash再见!Adobe播放器1月1日起正式停运 3、深度操作系统 deepin 新版公布 深度操作系统 deepin 20.1 (1010) 已公布,新版本采纳了稳定版的 Kernel 5.8 内核,将底层系统升级至 Debian 10.6,晋升了零碎稳定性和兼容性,还更新了深度全家桶利用,并针对启动工夫、安装时间、资源占用、启动响应等方面进行了优化。 4、中国电信推出业内首款量子平安通话产品“量子密话” 近日,中国电信正式对外发表推出行业内首款量子平安通话产品“量子密话”,应用量子信息技术爱护通话平安。量子信息技术次要分为量子通信、量子计算、量子测量三大畛域,其中量子通信技术正在从基础科学钻研阶段进入产业化利用阶段。_本次推出的“量子密话”是应用量子随机数和量子密钥散发机制生成认证密钥和通话密钥,实现了通话过程中从主叫方手机到被叫方手机间的端到端的加密。_目前我国曾经建成寰球规模最大的量子通信网络,量子通信目前曾经初步具备商用条件,作为保障将来社会信息安全的关键技术,将来量子通信将无望在政务、金融、商务、医疗、国防、电力等多个畛域实现大规模利用。 5、图灵测试已过期,AI 须要新基准测试 图灵(Alan Turing)在 1950 年发表了模拟游戏论文引入图灵测试去答复“机器是否思考”这个问题。测试的目标是判断机器是否能体现出人类也无奈辨别的对话行为。图灵预言,到 2000 年在模拟游戏中普通人能辨别人与机器人的概率将会低于 70%。亚马逊语音助手 Alexa 部门的首席科学家 Rohit Prasad 认为,随着 AI 被宽泛整合到手机、汽车和家庭,人们当初关怀的是人机之间的互动,而不是辨别机器和人类。他认为图灵测试过期了,AI 须要新基准测试。Rohit Prasad 指出,最近几年的聊天机器人程序曾经能坑骗三成以上的裁判置信它是人类,而愚弄 30% 的裁判这一阈值实际上是任意设定的,并无多大的意义。 ...

January 6, 2021 · 1 min · jiezi

关于云计算-大数据:我国一项物联网安全测试技术成为国际标准Windows-10将支持安卓应用

开发者社区技术周刊又和大家见面了,让咱们一起看看,过来一周有哪些值得咱们开发者关注的重要新闻吧。 京东智联云无人配送落地航天基地Windows 10将反对安卓利用 预计明年下半年推正式性能数字人民币生产战报 京东数科12.12:首单领取仅0.5sKubernetes 1.20正式公布我国一项物联网平安测试技术成为国际标准谷歌新钻研在设施上同时进行面部,手部和姿态预测材料科学中的数据挖掘:晶体图神经网络解读与代码解析最新综述:多标签学习的新趋势技 术 要 闻 Industry   News 1,京东智联云无人配送落地航天基地 日前,西安航天基地管委会联结京东团体,在西安航天基地实现了我国中西部首个凋谢路线的无人配送场景落地。在展现的京东智联云无人配送服务中,一辆和快递小车“身材”差不多的红色四轮车以 10km/h 的速度匀速行驶在航天基地的路线上,遇到红绿灯可自动识别,主动避障绕行,倒车时还会收回语音揭示;车辆的两侧面装置了 18 个尺寸不同的快递柜,达到指定停靠点后无人配送车会主动向用户发送短信,内置的京东智能外呼机器人同时拨打电话揭示,用户通过京东 APP 扫码或输出验证码即可实现取件。 2,Windows 10 将反对安卓利用 预计明年下半年推正式性能 CNMO 之前有报道称,微软外部有一个名为"Latte"的我的项目,使用户能够在 Windows 10 上运行安卓利用。12月12日,有音讯指出,这一我的项目的确存在,微软将于2021 年下半年正式推出这一性能。此前微软已经在 Windows Phone 上的 Windows 10 零碎上胜利运行安卓应用程序,运行成果好于预期,这一我的项目代号为"Astoria"。然而该我的项目引起谷歌的批评和 UWP 开发人员的不满,导致"Astoria"我的项目搁浅。现在微软从新开始该我的项目,将安卓应用程序引入 Windows 10 零碎,而这里的 Windows 10 指向的是 PC 平台。据 windowsunited 介绍称,开发人员只须要将安卓应用程序打包成 MSIX 程序并上线 Microsoft Store 即可,不须要对代码进行重大更改。 3,数字人民币生产战报 京东数科12.12:首单领取仅0.5s 12月12日晚,京东数科公布数字人民币 12.12 电商平台生产战报,数据显示,从 12月11日20时-12月12日20 时的 24 小时,在京东场景有近 20000 笔订单通过数字人民币领取,其中最大单笔线上领取金额超过 1 万元。全国首单电商平台数字人民币生产诞生于 11日20:00:02 ,来自苏州的一位 90 后消费者在京东商城下单,并通过数字人民币领取,领取过程耗时仅 0.5s ,与现有领取形式体验统一。 ...

December 15, 2020 · 1 min · jiezi

关于云计算-大数据:京东1111大促背后那些系统架构经历了些什么

一年一度的京东11.11电商大促,是一次用户的狂欢,也是一次京东智联云架构师们的大型测验。在海量流量、高频用户拜访和大量不确定性的DDos攻打之下,零碎架构面临了太多考验。在往年京东11.11期间,京东物流的异步音讯零碎流量一度达到了恐怖的 百亿级 然而如果你也在11.11期间参加到京东的流动中,你肯定会发现往年整体流动相比今年尽管业务量再次减少,体验却没有升高。那么作为京东批发大促背地的技术基石,京东智联云的架构师们为此做了哪些事件呢?在 十亿、百亿级别的流量 背后,京东智联云的架构师们又是如何均衡老本与可靠性,保障数据库高可用,晋升零碎架构稳固的呢?12月5日,2020年京东智联云技术沙龙·北京站行将启动,本次沙龙的主题为 《京东11.11大促,亿级流量背地的战场》 ,开发者敌人们一起来线下和这些南征北战的架构师们独特摸索流量背地的机密吧! 流动工夫:12月5日下午 13:00~17:30 流动地点:北京市海淀区中关村守业大巷12号楼5层多功能厅 议程简介 13:00-13:30 _流动签到_13:30-14:10 _京东实时全链路用户激励零碎11.11稳定性保障_14:10-14:50 _百亿级异步音讯零碎构建实际分享_14:50-15:30 _数据中心的翻新与减速赋能_15:30-15:45 互动&短休15:45-16:25 _极限压力下京东智联云存储系统的可靠性与老本均衡_16:25-17:05 _TTS服务20亿峰值调用下,NeuHub网关架构演进之路_17:05-17:30 互动&交换议题介绍议题一:京东实时全链路用户激励零碎11.11稳定性保障 分享讲师: 周默,京东批发用户增长与运营部数据团队负责人,系统工程与利用算法畛域的技术专家,JDR数据与算法通道委员会委员 主题摘要: 京东业务零碎大促备战框架;实时引擎的技术架构;全链路用户行为激励零碎的大促备战计划;实时零碎应答流量洪峰的将来瞻望。议题二:百亿级异步音讯零碎构建实际分享 分享讲师: 陈昊龙,京东物流架构师。 主题摘要: 路由零碎作为京东物流的外围零碎,负责计算包裹的物流打算和物流效率考核。分享包含作为解决异步音讯零碎的架构特点与大促备战难点;线上环境进行流量复制压测的教训分享;分库数据架构的降级计划。议题三:数据中心的翻新与减速赋能 分享讲师: 周宏兴,英特尔技术计划专家。 主题摘要: 讲述英特尔在数据中心的相干解决方案,以及与京东在计算、存储、网络等方面的单干案例。 议题四:极限压力下京东智联云存储系统的可靠性与老本均衡 分享讲师: 曹雪林,京东智联云专家架构师、存储研发组负责人。 主题摘要: 京东智联云块存储、对象存储、文件存储 三个典型存储产品在不同业务场景下的技术挑战;京东智联云存储为反对 11.11 大促的工作筹备,既要兼顾 IT 老本,又要确保大促期间零碎安稳运行;京东智联云存储在极限压力下的预案筹备与应答措施。议题五:TTS服务20亿峰值调用下,NeuHub网关架构演进之路 分享讲师: 史伟航,NeuHub人工智能开放平台架构师。 主题摘要: API网关在AI场景下面临的挑战;TTS API服务凋谢的难点;程度扩容撑持TTS业务爆发式增长;流式调用缩小TTS网络开销;亿级调用最佳实际。报名渠道京东11.11大促流动虽已过来,但本次流动背地的技术反抗相比线上的各类抢购其精彩水平也不遑多让。而在此次沙龙中,各位开发者将会有机会与这些已经在一线作战的技术工程师们面对面交换,感触流量之下的零碎架构迭代魅力。 对此次沙龙感兴趣的小伙伴能够点击 【 浏览原文 】 或扫描 【二维码】 参加报名,让咱们12月5日线下一聚! 举荐浏览:11.11 TECK TALK | 京东千亿订单背地的纵深平安进攻体系11.11 TECK TALK | 11.11应答海量拜访的网络基石 京东智联云自研交换机倒退之路11.11 TECK TALK | 媲美物理机 裸金属云主机极致性能轻松应答11.11大促欢送点击【京东智联云】,理解开发者社区 ...

December 1, 2020 · 1 min · jiezi

关于云计算-大数据:如何应对大促流量洪峰揭秘京东技术人的备战手册

如何应答大促流量洪峰?揭秘京东技术人的备战手册 又是一年11.11,大促备战也如期而至,但往年11.11前的大长假给咱们备战的筹备带来了很大挑战。如何在工夫紧、工作重的状况下疾速让团队进入状态?如何梳理繁冗的零碎危险点、筹备资源?作为京东大促的技术基石,京东智联云是如何做到备战的传承和一直迭代优化的?本篇文章中就将为大家一一揭秘。 首先,咱们来回顾一下《大促前技术人的“备战”手册》,大促备战须要做好这八步——从资源评估到模仿压测、从预案整顿到线上演练,直至最终的大促复盘。 01、辨认保障范畴所谓辨认保障范畴就是为大促流动确定大的边界范畴,整个团体的业务线成千上万条,哪些业务是这次大促外围链路上的业务,哪些是外围0级零碎,哪些是外围1级零碎?在大促备战开始之前须要明确边界范畴,明确要保障的业务优先级,能力更不便前面大促保障工作的开展。 02、业务量预估及预查看例如一个业务拜访的网络流量预估是10 Gbps,拜访QPS预估是100w/s或者订单数预估每秒有多少万单等,基于评估的业务量就能够去评估整个业务链路上须要的资源量。比方负载均衡器带宽是否足够,应用服务器部署的实例数是否足够,缓存大小是否满足需要,数据库空间以及性能是否满足需要等。如果不够须要扩容的就能够提前进行扩容,如果整个资源池资源缓和,还须要发动洽购的就须要提前发动洽购,确保大促之前资源可能到位。 03、预案整顿各个下层业务团队以及根底零碎团队都须要提前整顿好预案,尤其是外围预案。所谓外围预案就是大促期间能够疾速保命的预案,预案的解决准则要求尽量简略间接高效。如服务的高可用,在真正有异样时,预案可能就是主备切换。当然这种主备切换在很多零碎中是主动的,如云数据库RDS。当零碎检测到主库宕机时会在几秒钟工夫内将从库晋升为主库,从而确保整个线上业务简直不受影响。除了这种主动切换外,咱们还须要做好兜底计划,万一主库因为某些非凡状况体现异样,心愿能够被动做一下主从切换时也能够人工在控制台一键切换。 ▲图1 京东智联云应用界面示意图▲在预案整顿环节中, 服务高可用是十分重要的局部 。服务高可用能够分为几个级别:首先是Region级别的,如图1所示京东智联云上有提供华北-北京、华南-广州、华东-宿迁、华东-上海地区。Region级别指的就是一个地区,通常是城市级别的,Region下还会再分AZ(Availability Zone, 可用区),能够简略了解为一个AZ约等于一个独立的机房,比方京东智联云华北-北京这个Region下有可用区A、可用区B、可用区C三个独立的可用区。 对于重要业务如果有须要能够把重要的数据从北京同步到上海。像物流很多库房是散布在全国各地的,资源部署上也会在就近的Region部署相应的服务。每个零碎在同一个Region里部署的时候都须要思考跨AZ的状况,比方利用实例部署到云主机的时候须要跨AZ部署,确保一个AZ异样时另一个AZ的利用能够失常对外服务。申请云数据库或者云缓存等其余资源时,抉择跨AZ就能够间接创立出一个跨AZ的数据库或者缓存实例,当某个AZ异样时,能够平滑地切换到另一个AZ,确保业务尽量不受影响。服务高可用个别是靠主备或者无状态的服务部署多份(跨Region或者跨AZ)等来解决单点问题。依据场景不同,当出现异常时能够是主动切换的,也能够是人工在控制台进行切换。 除了服务高可用, 预案整顿还有一个十分重要的局部是业务降级 。所谓业务降级个别指当某个业务如果超过了其不能接受的范畴时,能够进行限定爱护,就义掉一部分业务流量从而保障至多有一部分是能够胜利拜访的。例如当某个用户拜访申请十分大时,能够将用户做肯定的限度,超过阈值时拜访将会失败,从而确保在整体资源无限的状况下其余失常申请的用户能够拜访胜利。甚至当失常的流量大到肯定水平当前也是须要有能力放弃一部分流量来保障其余大部分流量是失常的。 降级思路理论是贯通在整个业务链路中的,比方当利用实例部署很多时,每个利用实例的数据库连接池也是须要做好管制的。如果连接池过大很可能造成数据库压力太大,而站在数据库的角度天然也是须要做好最大链接数限度,确保即便利用实例的连接池配置得过大造成有数据库压力大的时候,数据库本身还是有能力爱护本人不被打趴下。这种贯通整个链路的降级爱护思路也能够了解为零碎间不信赖准则的体现,即任意的A服务(模块)去调用B服务(模块)时,尽管在外部理论开发的过程中,A服务会尽量的去爱护B服务,但B永远是不信赖A的,B须要依据本身的状况做好本人的爱护工作。 除了降级爱护以外,还有一类是弹性扩容预案, 个别资源扩容在大促之前就会全副扩容结束,坐等流量洪峰的到来。然而也不排除在大促中会呈现大量业务的流量超过了料想值,或者依赖的资源因为机器较老性能较差导致承接流量洪峰时压力较大的状况。尤其是当上游零碎的生产流量曾经往上游走的时候,上游压力比拟大,此时除了降级爱护以外还须要能疾速在线上扩容来满足整个生产流量往下走。在大促业务压力顶峰工夫点进行扩容在工程实际上来讲理论是一把双刃剑,对各级零碎的考验还是十分大的。大促这种有明确的工夫点预期以及压力预期的业务场景中,如果能够提前在业务低峰期做好适合的扩容筹备才是最现实的。 04&05、监控及报警梳理监控是咱们看零碎的眼睛,是线上零碎的感知体系。如果监控没有做到位的话,整个零碎就是两眼一抹黑的状态,线上运行是否失常就全靠人品和运气了,整个零碎的运行就变成了玄学,所以做好系统监控是至关重要的。 监控和报警总是相辅相成的,监控是通过各种形式一直去观测整个零碎的各种指标,报警则是发现指标有异样时能够及时告诉到对应的值班人员及时染指解决。 监控能够分很多类别,最根本的是存活监控,我把它们称为如何活下来,也就是优先要保障是否活下来这个底线,存活监控个别包含 IP存活 、 端口存活 、 服务存活 等,一个服务是死是活是须要能够明确感知的,如果服务宕机了,须要第一工夫能够检测到并发出报警,除了这些机器及服务层面的存活,还有整个AZ(机房)的存活,如果整个AZ出问题了,对整个业务的影响是什么,是否监控到是否发出报警等。 在活下来这个底线保住的状况下,第二类监控是解决如何活得更好的问题,比方TP99到了几秒,CPU使用率是不是过高,内存占用比例是不是过大,磁盘IO压力是不是过低等。这类监控个别能够帮忙你疾速发现零碎压力,在零碎真正故障或者不可用前及时染指解决,确保整个零碎运行安稳。除了CPU、内存、磁盘等通用指标的监控,实际上还会有很多带有较强业务属性的监控。比方某个工作如果长期处于中间状态,很可能是某个环节呈现了没有思考到的异样,这种就须要有专门的监控用于发现这种长期处于中间状态的工作。 06、业务压测及预案演练当业务评估、监控报警、预案整顿都梳理完,下一步重要的事件就是将整个业务链路残缺串起来。例如某个业务预估订单量是10w/s,那就须要采纳压测机器人模仿相当的业务量从源头开始压测,观测整个链路在压测过程中的监控指标变动状况。如果有异样要能及时报警,并按预案进行解决。这种残缺的业务链路压测代价其实是比拟大的,各个上下游零碎须要可能解决辨认出模仿压测的订单,确保压测产生的订单不会影响到线上生产的订单。 除了业务全链路压测以外,各个系统还须要依据各自零碎的特点进行演练,比方云数据库RDS,在大促之前会对线上外围业务结构主库宕机等异常情况,观测零碎主动切换工夫以及线上业务的体现等,保障即便数据库产生异样也能够秒级主动切换,确保业务体现安稳。此外,数据库还会独自演练数据一键复原等性能,云数据库除了每天会做一个全量备份外,还会实时将增量备份上传到云存储(oss),确保即便有异样,在云上也是能够一键将数据还原,解除下层利用的后顾之忧。 07、值班京东大促备战的绝大部分工作,不论是业务评估、预案整顿、监控报警、业务压测还是预案演练都是后期筹备工作,当这些后期筹备工作做到位后,开门大促开始时反倒是从容的,须要做的就是做好值班工作。值班同学24小时无缝连接,确保线上报警能够第一工夫响应,如有异样按预案解决即可。  08、技术复盘大促完结后,还有一个重要工作是大促复盘,团队一起回顾大促备战到大促完结的整个过程,扫视哪些是后续须要改良欠缺的中央,哪些是将来须要进一步增强的,为下一次大促做更久远的筹备。 介绍完经典的八步备战指南,再来看看这次11.11备战咱们又遇到了哪些挑战? 第一个挑战是资源需要。咱们先思考一个问题,在云没有被宽泛承受和利用之前,各个业务团队和技术团队是怎么的关系?之前京东的业务在没有上云之前,咱们的业务部门要提前好几个月开始备战,因为有大量的扩容需要,各团队为了机器须要付出大量的精力去和大家争抢无限的资源,同时波及机器洽购,周期也会很长,备战周期长而且无奈优化,陷入一个死结。 云能够解决这个问题吗?答案是yes,这是因为云的背地有一套商业逻辑驱动,以前IT基础设施对于业务部门是老本核心,是辅助部门。然而云的世界里IT基础设施是商品,商品就有其商业行为去驱动,云依照商品去提供标准化的服务,获取对应的支出,业务依照本人的需要去购买对应的服务,同时通过账单和资源使用率严格控制老本,大家各取所需,造成良性循环。所以第一点要和大家分享的是举荐大家上云。同时咱们利用云的规模效应,将闲暇工夫以便宜价格售卖给渲染和须要大量计算然而对老本敏感、时效性要求不高的资源进步价格,回收给大促使用,从而满足泛滥客户的需要的同时大大提高云资源的利用率,升高所有用户的老本。 第二点,咱们要对业务零碎梳理,辨认出有危险的0级或者1级零碎。然而随着大家业务逐步上云,资源应用也越来越多,从几百到几千、上万,每个都核查一遍根本不事实,咱们疾速利用Devops零碎依照业务利用的角度疾速导出所有业务零碎的依赖项,依据零碎的等级标识和业务部门核查黄金流程里的0级零碎的需要和危险点,疾速实现扩容和调整,这种将京东大促等泛滥业务场景的需要积淀在咱们的零碎、流程和产品里的思维贯通在咱们所有产品的设计中。以此实现将来将备战逐步淡化掉,咱们的零碎随时能够应答大促。 第三个优化项是咱们近两年逐步引入的开门红,即6.1和11.1,提前为前面更高的大促顶峰做一次实在的演练,这次咱们的开门红曾经超过了去年11.11大促的量,这对咱们验证后期筹备和为11.11的大促做了一次很好的实操,对于发现的问题要及时修复、超过预期峰值的要尽快扩容,以更好地护航11.11大促。 第四点,咱们引入协同理念。往年的黑天鹅疫情让大家越来越适应了近程沟通,协同办公的零碎也被越来越多的公司引进,甚至催生了多家独角兽,京东智联云的协同办公零碎,包含挪动化、邮件、在线文档等等,大大提高了咱们沟通和进度跟踪的效率。 大促备战是一个定频的行为,不能每次都从零开始,传承和积攒,以及一直迭代优化是咱们必须要保持的,只有这样能力一直优化咱们的流程和打造更合乎用户理论需要的产品。 举荐浏览:2692 亿狂欢背地 只需这8步就可做好大促备战大促流动如何抵挡大流量DDos攻打?400%存储容量增长背地的成长之路欢送点击【京东智联云】,理解开发者社区 更多精彩技术实际与独家干货解析 欢送关注【京东智联云开发者】公众号

November 11, 2020 · 1 min · jiezi

阿里张磊云计算生态价值点正迅速聚焦到应用上

导读:云原生不再只是基础设施的开发和运维人员的关注点,在应用交付领域小组成立之后,CNCF 基金会正在同应用开发和应用运维人员更紧密的联系在一起。云原生的理念如今正如火如荼。它不仅仅是一种技术,更是社区基于对云的思考,逐渐提炼出的一系列技术、最佳实践与方法论的集合。不过,到目前为止云原生的讨论较多局限在基础设施的开发和运维人员群体中。 相比之下,更关注业务本身的应用开发同学,与云原生技术带来的资源利用率提升、分布式系统的弹性扩展与可靠性等能力之间,始终存在着一定的隔阂。对这部分同学来说,云原生技术更多时候还停留在“知其然”的阶段。 然而,伴随着云原应用的理念持续普及,我们正看到整个云计算生态的核心关注点正在发生着微妙的变化。 2019 年 9 月 12 日,云原生基金会 CNCF 宣布成立应用交付领域小组(Application Delivery SIG)。阿里巴巴高级技术专家、Kubernetes 社区资深成员张磊,软件智能公司 Dynatrace 的首席技术与战略创新官 Alois Reitbauer,与 VMware 资深专家 Bryan Liles 共同当选为该小组首届联席主席。 该领域小组是 CNCF 基金会官方成立的第一个以“应用”为中心的领域小组,也被社区誉为是 “CNCF 里最具价值的领域小组”。 那么,为什么 CNCF 会将“应用交付”设立为新的核心关注点呢?云原生的本质,是一种让应用最大程度享受云计算红利的架构思想。这种思想,实际上是在云计算技术不断普及的过程中,应用基础架构不断朝着”让专业的人做专业事“的方向持续演进、然后逐步沉淀下来的一套最佳实践和架构范式。 实际上,在云计算真正普及之前,基础设施能力(比如服务发现、流量控制、监控与可观测性、访问控制、网络控制、存储层抽象等)并不是开发者唾手可得的资源。所以应用基础设施必须以某种方式屏蔽底层基础设施对它的缺失和薄弱的环节进行增补,才能够让开发者更好的专注于业务逻辑这个最具价值的事情。 所以在这个时期,传统应用基础架构与应用之间是非常紧密的耦合关系,要么应用基础设施直接接管应用开发本身的各个阶段(比如 ESB),要么就是应用基础设施直接成为应用开发过程中的一部分(比如 各种编程框架和中间件)。这种架构下,应用本身的能力与演进,实际上是跟应用基础设施的命运被紧紧的绑定在了一起。 当然,这个情况如今已经今非昔比。云计算的迅速崛起,使得当今的基础设施能力正逐渐通过 Kubernetes 这样的标准的平台层下沉到了更加专业的云服务体系当中,而不再拘泥和锁定于传统中心化应用基础设施和中间件自身的能力。云原生技术体系,打通了云与应用之间最后的隔阂,也使得后续涌现出的 Service Mesh 思想得以进一步解耦“应用”与“应用基础设施”,使得应用可以直接通过 localhost,即可连接到原先必须由中心化应用基础设施或者中间件才能提供的各项能力当中。 伴随着云原生应用架构的逐步落地,应用开发者的心智正逐步从基础设施层当中解放出来。这也使得社区的价值聚焦点,开始从“资源效能”逐步向“研发效能”和“交付效能”靠拢。这个变化,将会接下来成为云原生生态继续发展的一个重要趋势。 如何解读云原生基金会 CNCF 成立应用交付领域小组?对于这一新成立的领域小组,其后续会做哪些事情是广大云计算领域开发者非常关注的,张磊表示: 一、领域小组将逐步确立和推进“云原生应用管理与标准交付体系”云原生应用管理与交付是一个随着云原生技术日渐成熟之后迅速成为新一代云计算技术聚焦点的重要技术领域。在当前的技术生态当中,Kubernetes 正在构建一个受到全世界普遍认同的、标准化的应用基础设施层;Serverless 则提供了一种高效的调度与资源管理模型;而 Service Mesh 则进一步明确了应用之间非侵入式的服务治理机制。这些能力,我们都统一称之为“平台层能力”,也是之前 CNCF 基金会主要关注的领域。 而本次 CNCF 应用交付领域小组所关注的,则是在“平台层”之上的“应用管理层”的技术架构和演进方向。这一层,也是未来云计算生态的价值聚焦点。 应用交付领域小组将致力于与整个云原生社区协作,共同在“应用”、“最终用户”和“平台层”之间,构建出一套高效、标准和可信赖的交付与连通体系。这个思想贯穿应用交付的声明周期,我们可以通过一个标准的分层结构(云原生应用分层模型)来将其形象表达出来: 在这个模型下,“应用定义”,“应用部署与交付”,和“应用实例管理”之间会进行清晰的分层和协作。这种分层理念,是目前整个云计算生态都缺失的。而云原生应用分层模型,将会成为后续云原生应用交付生态向“标准化”、“插件化”、和“职责分离”的方向不断演进的重要理论基础。 二、云原生应用交付最佳实践与架构范式应用交付领域小组将协同云原生开源社区一起,在上述“云原生应用分层模型”体系下逐步抽象与提炼出各层对应的最佳实践、基础范式、参考架构与项目范例,同时对主流开源社区中的应用管理项目进行梳理和汇总。最终,这些内容都会以《CNCF 云原生应用架构白皮书》的方式同整个生态见面。 三、推动云原生应用交付生态向分层与标准的架构上不断演进在上述理论和实践基础上,应用交付领域小组将会联同社区和生态,共同推进主线应用管理开源项目逐步向分层、统一、标准的方向持续演进。此外,领域小组也会持续在这套体系下进一步甄别和孵化开源项目,并通过编制《云原生应用交付生态指南(Cloud Native App Delivery Lanscape)》来帮助云原生用户和开发者进行选型和架构参考。这些都有望让云原生社区的终端用户真正成为应用交付领域小组最大的受益者。 ...

October 14, 2019 · 1 min · jiezi

2019年云计算十大趋势预测

10年之后,世界云计算战场已经成为中美之间的角逐,中国云计算产业迎来了它的发展期!首先,关于2019云计算行业的趋势,这里分享一份来自云计算行业从业人士、分析师和企业决策层,对云计算产业2019年的发展趋势所作出的十大预测,供各位参考。 参自IDC圈:2019年云计算十大趋势:云成为获取人工智能主要途径 以下为云计算行业十大发展趋势: 1、广泛使用智能决策成为企业先进标志 人工智能走出“娱乐界”,开始在企业运营中广泛辅助人类做决策。 今后,一个企业是否先进,主要的衡量指标之一就是智能协助员工(不仅仅是服务于高管)做决策的比例。云不再是技术圈层讨论的问题,更多是企业决策者关注的问题。 企业对于使用人工智能等技术进行业务创新比以往任何时候都更迫切。同时,以云为基础的智能商业也将触发企业进行组织变革。 2、企业将整体上云 更多大型企业逐渐放弃自建的IT基础设施,整体迁移到公有云,出现“云基原生企业”。 美国视频网站Netflix的基础设施已经全部搬迁到亚马逊AWS上。中国少数企业在2018年实现了这样的整体上云搬迁,而在2019年预计这样整体搬迁上云的案例将会大量涌现。 生产资料的云化意味着一个新时代的开启。 3、云成为企业获取人工智能最重要路径 云天然解决了企业数据和技术的统一,并构成了企业获取人工智能能力的最重要路径。 目前,公有云平台已经成为客户低成本获取人工智能服务的最重要渠道。 在商业领域,经过云服务商自身业务验证的人工智能技术备受企业决策者青睐。 4、 硬件云服务商逐步告别公有云市场 2018年传统硬件起家的厂商在公有云时代集体遭遇水土不服。 IBM的云计算份额下滑,此前惠普、思科、富士通等企业借助开源OpenStack 技术进入公有云市场先后挫折。分析认为硬件厂商在公有云市场折戟,在于没有搞清楚云计算的本质。 云计算的本质并非“计算机”而是服务,加上此类企业几乎与互联网时代完美错身。由此,上述厂商的硬件基因如此强大既有商业如此成功以至于面临“创新者的窘境”。 5、公有云市场进一步集中 根据权威市场研究机构Gartner和IDC的统计,包括亚马逊AWS、微软Azure、阿里云、谷歌云在内四家厂商成为了全球公有云市场的主导力量,并且这四家厂商的营收增长速度都远超行业平均增长。 华尔街投行高盛预计,2019年亚马逊、微软、阿里巴巴等巨头厂商将占据核心云计算市场约84%的份额。这些厂商在人才、技术、运营、服务、资本、生态等多方面都大幅领先行业对手,可以预见2019年全球云计算市场集中度将进一步提高,并在未来几年更加显著。 6、企业更偏好全栈解决方案 过去一年,随着智能技术在商业领域的加速渗透,很多企业已经在部分业务环节中实现了智能化。 但是,相对人工智能技术提升某一业务或者环节而言,越来越多的CEO群体表示更加青睐全面的解决方案。这类方案不但可以实现公司业务的数据化,还提供一整套经过验证的智能工具,帮助企业实现智能决策。 2019年,更全面的智能解决方案将会不断出现,并得到市场欢迎。 7、企业因为安全拥抱云计算 过去提到上云,安全成为一个阻碍因素。 很多企业在选择是否上云时,最重要的担忧是安全问题,不仅担忧自身的信息安全,也担心业务系统的稳定性。但是随着全社会数字化转型,各类企业业务经营将不可能避免地触网,为了寻求业务安全反而开始成为促进企业积极上云的驱动因素。 云计算厂商拥有强大的安全团队,服务过多类型的客户,可以让企业低成本获得了强大的安全防护能力,这改变了以往企业在安全方面的投资习惯。 8、云计算渗透率进一步提高 经过10多年发展,云计算技术已经逐渐成熟,企业对于云计算的接受程度也在进一步提高。 由于云计算能够给企业IT运营、业务创新等带来明显效用,上云已经成为企业常态。 2019年,全社会将把越来越多的预算投放在云计算领域,而这将进一步提升云计算在整体IT支出的占比。华尔街投行高盛预测,2019年云计算的市场渗透率将首次突破10%,到2021年该数字将跃升至15%。这意味着,云计算将进一步蚕食企业IT支出,提升在IT市场的影响力。 9、云计算产业并购活动将更加频繁 2018年,云计算领域出现了诸多规模巨大的并购交易,这些交易分部在芯片、安全、人工智能、开发者社区、云解决方案等不同领域。 主流云计算厂商为了维持高速增长,需要推出更多高附加值的产品或者服务,并不断扩大付费客户群体规模,通过合并或者收购成为快速见效的手段。 2019年,云计算巨头公司针对技术或者客户方向的收购活动预计还将高频出现。此外,部分公司还可能通过收购跨界进入云计算产业。 10、云厂商尝试向产业上游延伸 随着主流云计算厂商在IT市场上拥有更强大的市场影响力,它们开始尝试向产业上游延伸,尝试涉足芯片、服务器等核心环节,这给传统硬件产业链带来冲击。 过去几年,诸多云计算厂商先后宣布人工智能芯片、物联网芯片等开发计划,比如谷歌推出TPU(张量处理器)、阿里云开发神经网络芯片Ali-NPU、亚马逊AWS开发人工智能芯片Inferentia等。2019年,预计更多云厂商主导的专用芯片或者其他硬件将会上市。在特定场景下,这些专用芯片将挑战传统芯片的绝对统治地位。 2019年,云计算行业将会见证越来越多的传统企业上云。 银行、保险、制造业等均选择云计算作为未来战略转型升级的重要支撑载体,一改过去主要以互联网客户为主的现状。云计算产业正在进入广泛的应用渗透,以及产品迭代升级与客户拓展交互推进的阶段,整体行业正在进入业绩逐步兑现的阶段。 2019年,云计算市场无论是放眼全球还是聚焦国内,已然百家争鸣的云服务市场将会迎来新一轮的洗牌。 包括全球六大云计算巨头:亚马逊AWS,谷歌,阿里云,IBM,微软Azure和甲骨文,也包括云服务市场的新玩家、初创企业等,从全球到国内,2019年云服务市场将不会太安静。 “马太效应”这个词经常会被拿来形容云计算这个行业,这和云计算产品既有的行业基因有密切联系,规模化竞争,布局及盈利、重资产化、先入为主,意味着更早入局的拥有更多资源的云服务商往往拥有更大的获胜机会,亚马逊AWS能有今天的成绩便是最好的例证。 当然,这也并不是意味着新来的玩家没有机会,不过对于新玩家而言无疑也提出了更高的要求:具有对云计算行业的掌控力、具备扩展行业应用和计算能力、具有能够提供一站式解决方案能力、具有能够满足差异化需求和定制化服务能力、需要更加专注在所属领域的纵向发展和延伸,以达到更高的产品进入壁垒,保持在所属细分领域存在价值和竞争力,这样新玩家才可以在云服务的江湖占有一方天地,云计算市场将会呈现多寡头和垂直领域云服务商并存发展的局面。 2019年,云计算将会向成为「云生态」更进一步,不只是孤立独自发展,将会与人工智能、大数据和物联网、5G等技术做更多的融合、交流和碰撞,彼此依附且相互助力!

July 16, 2019 · 1 min · jiezi

Docker初体验

前言Docker可以解决环境一致性问题,并且运行速度比虚拟机快,部署起来更方便。Docker是学习云计算的利器,本文将介绍在Ubuntu系统上安装docker,并体验下Docker的快捷。 安装DockerDocker只支持64位机器,操作系统需要64位的。 step 1: 安装必要的一些系统工具 sudo apt-get updatesudo apt-get -y install apt-transport-https ca-certificates curl software-properties- commonstep 2: 安装GPG证书 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -step 3: 写入软件源信息 sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu$(lsb_release -cs) stable"step 4: 更新并安装 Docker-CE sudo apt-get -y updatesudo apt-get -y install docker-cestep 5:测试是否安装成功 sudo docker version 如果Client和Server都有信息则表示安装成功 搭建Go环境step 1:重启Docker,从网上拉取一个golang image docker pull golangstep 2:查看是否拉取成功 docker image ls step 3:进入golang 镜像 docker run -it --rm golang bash ...

July 5, 2019 · 1 min · jiezi

指南 | 传统企业如何设计“上云”安全解决方案

如今,大数据、云计算等新兴技术正在以一种前所未有的方式迅速改变着这个世界。企业级用户不愿意把自身业务迁移到公有云,最主要的因素还是出于对价格、数据安全、以及稳定性等方面。但近几年的政策持续利好,国内云计算市场掀起一阵发展浪潮。“上云”已经成为大多数企业的势在必行的举动。传统企业数字化转型的浪潮高歌猛进,但每一个企业在转型过程中也经历着切肤之痛。或担心于企业数据安全、业务稳定,或受制于陈旧的IT基础设施,或困惑于新技术、新概念更新迭代之快,企业“上云”的选择与条件,需因地制宜。今天与大家分享的是一个典型的大型传统企业:品牌+连锁”的经营战略线下专卖店规模庞大(≥1000家)经营范围包括了产品全生命周期在这样的场景下,“上云”的安全性是企业的首要考虑的问题。1、核心数据库监管审计安全管控难?对于传统企业“上云”而言,线上交易和库存管理等核心交易系统转变为云服务模式,对应核心数据库监管审计的管控是十分重要的一环。 数据安全的核心是对“数据”全方位的安全防护,其产品及解决方案直接涉及企业的核心机密。因此数据库审计方面,京东云团队为核心交易数据库提供了访问记录、安全审计、数据库防注入等。2、对粗放式安全管理的挑战?企业用户的核心系统采用云端服务对传统防火墙等粗放式安全管理是一项不小的挑战。在IP高防方面,我们设计了弹性DDOS防护能力,并且智能调度用户流量,为客户提供四层防护。Web应用防火墙针对大型传统企业应用层提供七层防护,防御SQL注入、XSS跨站脚本、常见Web服务器插件漏洞、木马上传、等OWASP常见攻击,抵御恶意CC攻击,为网站保驾护航。3、防护安全能力未知?传统企业“上云”涉及的上线智慧门店系统,多会面临企业定制开发的应用模块,防漏洞、防注入、防篡改等能力未知的问题。漏洞扫描服务必不可少,整体扫描线上系统,找出系统漏洞和高危漏洞,并给出改进建议是一个“优秀”的安全解决方案需要具备的能力。防渗透测试也为客户解决了应用系统安全问题和被攻击问题等。4、不可预知的公网安全风险?传统大型企业IT系统全线上云之后其实会面临着更多不可预知的公网安全风险。这时候安全优化是我们需要做的第一步,这其中包含云端系统安全部署优化建议和应急响应。(应急响应是当用户遇到黑客入侵、病毒、重点时期等特殊问题时,及时快速帮助用户分析问题,提供解决方案。)安全解决方案之大型传统企业客户案例在了解传统企业用户“上云”的安全痛点及建议后,我们给出了一个大型传统企业客户“上云的案例解决方案:方案解读规划自己的专属 VPC,包含网段及 IP 分配信息;在专属 VPC 内创建与生产中心一一对应的灾备云主机和控制台,用以承载灾备数据 和管理控制灾备任务;通过数据专线连通生产中心与京东云灾备 VPC,提高备份数据传输效率和安全性;在生产中心物理服务器和京东云灾备主机上部署 Agent,用以监控系统状态和数据 变化;通过统一管理界面,实现集中运维管理,实现应用系统到京东云的容灾。使用产品借助以上京东安全解决方案,在低成本、短建设周期的前提下可为客户实现异地灾备中心的建设,并可享有专属灾备培训和指导。同时,利用京东云公有云弹性伸缩、按量计费等普惠优点,降低传统运维维护成本,提高自有数据安全性和业务连续性,在提升运维管理效率的同时将更多精力放在业务创新上。我们也通过此方案,在过去两年中,帮同量级的企业客户实现了营业收入突破百亿元。????在不同的业务场景下,我们给出了一份企业安全“上云”指南:01 账号口令安全指南杜绝弱口令,弱口令是最容易出现的也是最容易被利用的漏洞。为所有服务配置强密码,要求至少8个字符以上,包含大小写字母、数字、特殊符号,并且不定期更新口令。Linux系统,禁止使用root账号直接登录,使用证书登录,设置可信登录主机的IP。Windows系统,修改 administrator 默认名称,设置可信登录主机的IP。Web应用系统,必须使用强密码安全策略和验证码,防止暴力破解和撞库。数据库系统(Redis、MongoDB、MySQL、MSsql Server)禁止使用弱密码或无密码。增强安全策略,使用多因素验证机制(MFA)、强制密码安全策略(如:锁定策略),和审计功能(异常告警)。02 网络架构安全指南使用虚拟专有网络(VPC),隔离企业内部不同安全级别的云主机,避免同网络环境下一台服务器被入侵后影响到其它云主机。在VPC中使用NAT提供上网服务,禁止云主机直接绑定公网IP,直接绑定公网IP会导致云主机完全暴露在互联网遭受攻击入侵。对互联网提供服务,通过负载均衡(LB)将需要开放对外的端口(如:80,443)代理到后端的应用服务,并将对外服务放置在独立的子网中。防火墙隔离(安全组)是云上的主要网络安全隔离手段,通过安全组设置在网络层过滤服务器的访问行为,限定服务器对外/对内的的端口访问,授权访问地址,从而减少攻击面,保护服务器的安全。高危网络端口,开启的服务端口越多越不安全。只对外开放提供服务的必要端口,禁止将RDP、SSH、Redis、MongoDB、MySQL、MSsql等高危服务直接暴露在互联网上。03 应用开发安全指南对应用服务软件(如 Tomcat、Apache、Nginx 等软件),建议使用官方最新版的稳定版。及时更新Web应用版本,如:Struts、ElasticSearch非最新版都爆发过远程命令执行漏洞。WDCP、TOMCAT、Apache、Nginx、Jekins、PHPMyAdmin、WebLogic、Jboss等Web服务管理后台不要使用默认密码或空密码;不使用的管理后台建议直接关闭。使用安全扫描工具 (例如,系统漏扫工具:Nessus、Nexpose,Web漏扫工具:Appscan、AWVS)上线前扫描应用服务,是否仍存在高风险漏洞,修复完漏洞后再发布使用。04 系统运维安全使用跳板机/堡垒机进行远程维护,实施强密码策略,合理分配权限,对于所有操作行为严格记录并审计。为操作系统云服务器安装防病毒软件,并定期更新病毒库。定期更新补丁,修补操作系统漏洞,关注安全漏洞情报,当出现高风险漏洞时,及时更新操作系统所有补丁。Windows系统的补丁更新要一直开启,Linux系统要设置定期任务执行yum update -y来更新系统软件包及内核。开启系统日志记录功能,集中管理日志和审计分析。对所有业务系统进行实时监控,当发现异常时,立即介入处理。对软件安全加固(Apache、Nginx、Tomcat、Mysql、MSsql、Redis等服务)标准化安全配置,禁止随意修改。内容支持 :京东云安全团队、京东云企业云业务团队

April 3, 2019 · 1 min · jiezi