关于云计算:一看就懂|焱融云舟数据服务平台上手指南

焱融云舟 是焱融科技构建在私有云基础架构上的 NAS 共享数据服务,反对多个支流的私有云。用户通过注册,就能够在云舟平台上,为不同私有云上运行的业务创立本人的共享文件存储空间,通过简略几步,就能够将这个存储空间共享至本人独立的租户和 VPC 内,应用程序能够应用 NFS 或 POSIX 公有协定客户端(行将推出)拜访这些数据。 对于云舟 SaaS 数据服务试用体验您可通过以下 2 种形式理解并注册试用 焱融科技官网:https://www.yanrongyun.com/zh...也可扫描下方二维码注册体验: 具体操作流程如下:01 零碎需要操作系统:云舟反对大多数 Linux 发行版本。私有云区域:云舟是构建在私有云平台之上的数据服务,云舟服务和用户的应用服务(交换机)只有在同一区域,能力通过私有云提供的网络技术买通网络。目前云舟反对的区域有 AWS(cn-northwest-1c)和阿里云(北京H)。账户信息:云舟须要买通不同 VPC 之间的连贯,请用户提前准备私有云账户的 ARN(账户ID)以及 VPC CIDR 等信息。02 创立文件系统云舟数据服务须要通过官方网站控制台创立文件系统,新用户请先在 焱融云舟网站上实现注册。登录到控制台,点击“创立文件系统”按钮。 服务器区域 :用来指定客户的应用服务器连贯交换机所在的服务商及区域。后续文件系统挂载操作时,用户须要使本人的 VPC 与云舟 VPC 之间建设连通性,请正确填写该局部内容。如果设置的云服务商或区域不在列表中,表明云舟暂未反对该区域。 ARN(账户ID) :用来连贯网络时候的验证,请依据图示正确填写。 时长:公测暂定为4个月。 03 挂载文件系统文件系统创立实现,返回至文件系统列表页,点击该文件系统,依照挂载步骤操作,通过网络连接及挂载执行,即可将新创建的文件系统挂载至客户的服务器。 云舟通过私有云提供的网络技术进行 VPC 之间的互联。私有云终端节点服务,用户须要提供账户 ID 来增加终端节点的白名单。建设连贯时,请正确抉择您的服务器所用的交换机,并为您的服务器增加相干端口的入站规定。云舟容量型服务,应用通用的 NFS 标准协议进行挂载,须要通过终端节点提供的 DNS 进行拜访。

October 20, 2021 · 1 min · jiezi

关于云计算:倒计时-3-天1023-相约杭州云原生-Meetup-等你来

云原生技术交换 Meetup 杭州站开启,快来报名吧!流动简介随着云原生技术的遍及,整个市场曾经变成了节奏十分快的软件驱动型市场,应用云原生技术栈来迭代公布利用曾经成为常态,然而如何更好的利用云原生技术来给企业带来价值呢? 为了让大家对云原生技术有更多更深的理解,以及可能更好的去利用云原生技术,同时促成云原生技术在不同行业的最终用户进行更宽泛的流传。KubeSphere 社区杭州用户委员会打算于 2021 年 10 月 23 日在杭州举办一场「云原生技术交换」为主题的 Meetup。 本次流动由 KubeSphere 社区全力支持,由杭州用户委员会站长尹珉、副站长薛兴林全权主导和负责组织。 依据趣味主题投票后果以及招募状况,本次流动议题次要波及以下几个方向: DevOps云原生数据库云原生存储云原生区块链流动议程本次流动是第一场由 KubeSphere 社区用户委员会发动并主导的流动,流动议程见下方海报。 工夫和地点流动工夫:10 月 23 日 下午 14:00-17:40 签到工夫:13:30-14:00 流动地点:浙江省杭州市西湖区黄龙时代广场B座 14F 东 527 流动报名目前曾经开启招募,若您心愿获取教训,期待和各位极客交换,那就放松报名吧!地位无限,先到先得! 扫描海报中二维码即可进入到报名页面进行报名,流动收费! 互动礼品本次流动特地设置了互动礼品,KubeSphere 周边礼品以及技术书籍。但凡参加互动的,均可取得相应礼品。 本文由博客一文多发平台 OpenWrite 公布!

October 20, 2021 · 1 min · jiezi

关于云计算:存储大师班-浅谈数据保护之快照与备份

作者简介:徐林波NeonSAN 开发人员,具备丰盛的存储畛域从业教训,资深存储系统软件研发工程师,相熟以后支流及新型存储介质。引言面对以后企业数字化转型浪潮,信息数据曾经成为企业赖以生存的根底,数据损坏或失落将给企业带来难以估计的巨大损失。存储系统中的数据保护技术,如数据快照与备份,即为应答这一挑战的必备个性。 相比备份个性,快照作为更加底层的技术,具备十分宽泛的利用,例如作为备份的源、作为数据挖掘的源、作为保留应用程序状态的检查点,甚至就是作为单纯的数据复制的一种伎俩等。 快照技术存储网络行业协会 SNIA(StorageNetworking Industry Association)将快照技术定义为:对于指定数据汇合的一个齐全可用拷贝,该拷贝包含相应数据在某个工夫点(拷贝开始的工夫点)的映像;快照能够是其所示意的数据的一个正本,也能够是数据的一个复制品。 与照相机一样,快门一闪,就把刚刚的人像停留在了相片上。存储系统中的数据快照与咱们生存中所说的“照片”十分类似,所不同的是,快照的对象不是人,而是数据。就如同照片留住了咱们过来的摸样和岁月,快照把数据在某一时刻的映像保留了下来。 为什么要应用快照呢?快照其实也能够了解为数据的一种刹时备份,利用它能够实现惯例备份软件无奈实现的分钟级别的 RPO;同时用户能够通过创立定时主动快照,并且把快照作为数据近程备份的源,在须要回滚时,疾速回滚到指定的工夫点上来,从而大大的进步了业务零碎可用性。 快照依照分类能够分为全量快照和增量快照,全量快照是实现所有数据的一个残缺的只读正本,增量快照是基于全量快照的一个差异化数据影像。 在存储系统中,快照能够在不同层面实现,如在磁盘阵列、文件系统、卷管理器、NAS 零碎或备份零碎等中央来实现。为了升高快照所占用的存储空间,以后罕用的为写时复制(COW ,Copy-On-Write)和写重定向(ROW,Redirect-on-Write)快照技术。另外,还呈现了其余一些快照技术的实现形式,如镜像拆散、日志、继续数据保护等,这些形式,能够晋升快照的某一方面的相干个性,以应答一些非凡的场景。 上面以卷管理层实现的快照为例子,介绍两种次要的快照技术。 一 COW 快照COW 技术也称为第一次写时复制技术,如图 1 所示,当数据第一次写到某个存储地位时,首先会将这个地位原有的数据复制一份到快照空间(为快照调配的存储空间),随后才会将数据写入该存储地位,下一次的写入则不会再执行写时复制动作,实现了保留原始数据的成果。 图 1 COW 快照 COW 实现的快照,其源卷的数据分布不会发生变化,实时更新的是快照卷的元数据信息,源卷的读性能不受影响;但写入时,因为每次都须要拷贝后再写入,理论是产生了一次读两次写,因而写性能受到影响。 二 ROW 快照ROW 又称指针重映射快照,这种实现形式与 COW 十分类似,区别在于对原始数据卷的首次写操作将被重定向到预留的快照空间。如图 2 所示,当数据被首次重写时,ROW 会抉择一个新的地位,同时指向该数据的指针也被从新映射,指向更新后的数据。 图 2 ROW 快照 ROW 实现的快照,其源卷的数据分布始终在发生变化,源卷的元数据信息实时更新,不会有额定的拷贝数据动作,卷的最新数据在快照卷上,在对卷数据进行读操作时须要重定向到最新地位。因而 ROW 对读性能有肯定的影响,对写无影响;另外在删除快照时,快照数据须要拷贝到源卷,有肯定的耗时,因而,依据快照数据的大小,删除操作执行的工夫也会有变动。 三 COW 与 ROW 技术比照 在利用场景适应性上,由表1可见,COW 适宜读密集型业务,ROW 适宜写密集型业务。 备份技术在数据保护中,对数据进行备份是极为常见的一种做法,常见的备份问题其实都能够基于快照+复制技术来解决,备份依照其爱护的层级分为业务级、利用级和数据级。依照备份时的零碎状态是否在持续解决业务,能够分为在线备份和离线备份,也能够称冷备份和热备份。备份依照业务能够分为齐全备份(也称全量备份)、增量备份、差别备份。如图 3 所示,齐全备份为上一个时刻点上的全量数据;差别备份为上一次齐全备份后的变动数据;增量备份为上一备份点(齐全备份、差别备份、增量备份)之后有变动的数据。 图 3 备份类型 备份技术在业界应用更多的是拉远的在线数据备份技术,即近程备份。近程备份个别会用到近程复制的技术,包含同步复制、异步复制。其中同步近程复制,须要在主从存储 IO 都写实现的状况下返回至下层利用,以保证数据的一致性;而异步近程复制是在 IO 下发至主端存储缓存后就反馈以后 IO 写实现,数据复制到从端是在后盾异步执行的。 备份经常和容灾技术一起提出,更多是作为一个整体的灾备解决方案。灾备解决方案依据不同的业务场景会有不同的部署形式。但不论是怎么的解决方案,掂量容灾备份零碎有两个要害的技术指标,RPO(Recovery Point Objective):即数据恢复点指标,次要指的是业务零碎所能容忍的数据失落量。RTO(Recovery Time Objective):即复原工夫指标,次要指的是业务所能容忍的进行服务的最长工夫,也就是从劫难产生到业务零碎复原服务性能所须要的最短时间周期。 ...

October 20, 2021 · 1 min · jiezi

关于云计算:为金融场景而生的数据类型Numeric

笔者曾做过数据库 Data Type 相干的设计和从 0 到 1 的源码实现,对 Numeric(与 Decimal 等价,都是规范 SQL 的一部分), Datetime, Timestamp, varchar … 等数据类型的设计、源码实现及在内存中计算原理有比拟深的了解。 本篇基于 PostgreSQL 源码,解析 PostgreSQL 中 Numeric 类型的内存计算构造和磁盘存储构造。 c 源码 :https://github.com/postgres/p... 头文件:https://github.com/postgres/p... 精度的要求在编程的过程中,大家可能对内置的 4 字节 float 和 8 字节 doulbe 类型比拟相熟,进行加减乘除运算。尽管浮点数是通过迷信计数法来存储,但在二进制和十进制相互转换机制中,对一部分二进制数,其精度是有缺失的。 对于相似金融场景,动辄存储微小的数值,以及对数据精度的高要求,哪怕再小的精度损失都是不可承受的。市面上各式各样的数据库根本都蕴含 Numeric 类型,通过字符串来准确存储每一位数,做到浮点数都做不到的准确计算。 Numeric 语法简介NUMERIC(precision, scale) precision:numeric 中全副数字个数的总和scale:小数点前面的数字个数例如:12.345,那么 precision 是 5、scale 是 3。 注意事项: 所有的整数都能够看成 scale 为 0 的 numeric;precision 必须为负数,scale 能够为 0 或者负数;numeric(precision) 语法,默认的 scale 是 0;语法中不带任何参数,则任意 precision 和 scale 的值都能够被存储,只有不超过 precision 的最大值;只有 numeric 中申明了 scale,则输出的值都要强制的去匹配这个 scale(即进行 round 操作,round 为四舍五入);如果输出的 scale 数值溢出,则报错。不指定精度的状况时各数值类型的取值范畴【常见】: ...

October 20, 2021 · 3 min · jiezi

关于云计算:DL4J实战之五矩阵操作基本功

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 本篇概览作为《DL4J实战》系列的第五篇,在后面对深度学习有肯定的理解后,本篇会暂停深度学习相干的操作,转为基本功练习:矩阵操作,即INDArray接口的根本用法INDArray的类图如下,因为BaseNDArray是个抽象类,因而在理论应用中,咱们用的都是NDArray的实例: 之所以用一篇文章来学习矩阵操作,是因为前面的实战过程中处处都有它,处处离不开它,若不纯熟就会举步维艰;本篇波及的API较多,因而先做好归类,前面的代码依照分类来写会清晰一些,一共分为五类:矩阵属性、创立操作、读操作、写操作、矩阵计算,接下来用思维导图列出每一类的罕用API矩阵属性: 创立操作: 读操作: 写操作: 矩阵计算: 源码下载本篇实战中的残缺源码可在GitHub下载到,地址和链接信息如下表所示(https://github.com/zq2599/blo...):名称链接备注我的项目主页https://github.com/zq2599/blo...该我的项目在GitHub上的主页git仓库地址(https)https://github.com/zq2599/blo...该我的项目源码的仓库地址,https协定git仓库地址(ssh)git@github.com:zq2599/blog_demos.git该我的项目源码的仓库地址,ssh协定这个git我的项目中有多个文件夹,《DL4J实战》系列的源码在<font color="blue">dl4j-tutorials</font>文件夹下,如下图红框所示: <font color="blue">dl4j-tutorials</font>文件夹下有多个子工程,本次实战代码在<font color="blue">ndarray-experience</font>目录下,如下图红框: 创立工程在父工程<font color="blue">dl4j-tutorials</font>下新建名为<font color="blue">ndarray-experience</font>的子工程,其pom.xml如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>dlfj-tutorials</artifactId> <groupId>com.bolingcavalry</groupId> <version>1.0-SNAPSHOT</version> </parent> <modelVersion>4.0.0</modelVersion> <artifactId>ndarray-experience</artifactId> <dependencies> <dependency> <groupId>org.nd4j</groupId> <!--留神要用nd4j-native-platform,否则容器启动时报错:no jnind4jcpu in java.library.path--> <artifactId>${nd4j.backend}</artifactId> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> </dependency> </dependencies></project>接下来的代码都写在<font color="blue">ndarray-experience</font>工程中最根本的办法先列出两个最根本的办法,前面学习时会频繁用到它们:rand:秩,维数,例如2行3列的二维矩阵,rand办法返回值等于2shape:矩阵每个维度的大小,如2行3列的二维矩阵,shape办法返回值等于<font color="blue">[2, 3]</font>筹备一个静态方法,能够将INDArray实例的详情打印进去,用的就是rand和shape办法: private static void disp(String type, INDArray indArray) { StringBuilder stringBuilder = new StringBuilder("*****************************************************\n"); stringBuilder.append(type) .append("\n维度 : ").append(indArray.rank()) .append("\n形态 : ").append(Arrays.toString(indArray.shape())) .append("\n残缺矩阵 : \n").append(indArray); System.out.println(stringBuilder); }创立矩阵全零矩阵:zeros// 创立2行3列的全零矩阵INDArray indArray0 = Nd4j.zeros(2, 3);disp("全零矩阵", indArray0);执行后果全零矩阵维度 : 2形态 : [2, 3]残缺矩阵 : [[ 0, 0, 0], [ 0, 0, 0]]全1矩阵:ones// 创立2行3列的全一矩阵INDArray indArray1 = Nd4j.ones(2, 3);disp("全一矩阵", indArray1);执行后果全一矩阵维度 : 2形态 : [2, 3]残缺矩阵 : [[ 1.0000, 1.0000, 1.0000], [ 1.0000, 1.0000, 1.0000]]全是指定值的矩阵:valueArrayOf// 创立2行3列的全是指定值的矩阵INDArray indArray2 = Nd4j.valueArrayOf(new int[] {2, 3}, 888);disp("全是指定值(888)的矩阵", indArray2);执行后果全是指定值(888)的矩阵维度 : 2形态 : [2, 3]残缺矩阵 : [[ 888.0000, 888.0000, 888.0000], [ 888.0000, 888.0000, 888.0000]]rand:随机矩阵(0到1之间的随机数)// 创立2行3列的随机矩阵INDArray indArray2 = Nd4j.rand(2, 3);disp("随机矩阵", indArray2);执行后果随机矩阵维度 : 2形态 : [2, 3]残缺矩阵 : [[ 0.7236, 0.5159, 0.1908], [ 0.9458, 0.4413, 0.4173]]随机高斯分布的矩阵(平均值为0,标准差为1):randn// 创立2行3列的随机高斯分布矩阵INDArray indArray3 = Nd4j.randn(2, 3);disp("随机高斯分布矩阵", indArray3);执行后果随机高斯分布矩阵维度 : 2形态 : [2, 3]残缺矩阵 : [[ -0.4287, -0.5790, 0.5004], [ -0.5122, 1.0551, -0.1998]]等差数列:linspace// 创立等差数列,// 从1到6、长度为10的等差数列INDArray indArray4 = Nd4j.linspace(1,6, 10);disp("等差数列", indArray4);执行后果等差数列维度 : 1形态 : [10]残缺矩阵 : [ 1.0000, 1.5556, 2.1111, 2.6667, 3.2222, 3.7778, 4.3333, 4.8889, 5.4444, 6.0000]依据数组创立矩阵:create(float[] data, int[] shape)// 依据数组创立2行3列的矩阵INDArray indArray6 = Nd4j.create(new float[] {1, 2, 3, 4, 5, 6}, new int[] {2,3});disp("依据数组创立矩阵", indArray6);执行后果依据数组创立矩阵维度 : 2形态 : [2, 3]残缺矩阵 : [[ 1.0000, 2.0000, 3.0000], [ 4.0000, 5.0000, 6.0000]]三维矩阵// 三维矩阵INDArray indArray7 = Nd4j.valueArrayOf(new int[] {2, 2, 3}, 888);disp("三维矩阵", indArray7);三维矩阵维度 : 3形态 : [2, 2, 3]残缺矩阵 : [[[ 888.0000, 888.0000, 888.0000], [ 888.0000, 888.0000, 888.0000]], ...

October 20, 2021 · 5 min · jiezi

关于云计算:浪潮云说丨浪潮云AI能力广场-集成AI服务打造AI开放平台

依据头豹研究院数据表明,2020年中国AI开发平台营收冲破200亿元,现阶段算力、数据、模型调用、部署/运维四项业务占AI开发平台营收的占比为4:3:2:1。将来,随着AI在各垂直场景中利用的深刻,模型调用业务的营收占比预计将晋升。在此背景之下,浪潮云AI能力广场应运而生。产品定义浪潮云AI能力广场提供图像剖析、文字辨认、自然语言解决等AI服务,是一个集服务在线体验、服务计量、服务监控于一体的能力开放平台。产品性能浪潮云AI能力广场提供人体剖析类、车辆剖析类等图像类视觉服务,卡证类辨认、票据类辨认、证件类服务等文字辨认服务,分词标注、词性标注、命名实体辨认、情感剖析等自然语言解决服务以及城管、水利、应急治理等行业场景定制服务。浪潮云AI能力广场提供对上述服务调用的计量统计,能够监测服务的调用次数及调用成功率;同时,浪潮云AI能力广场还提供局部服务的在线体验,能够线上体验服务成果,并提供RestFulAPI接口调用形式利用于业务零碎。产品劣势 利用场景利用场景1——办公报销浪潮云AI能力广场提供多方面多类型的AI服务,包含文字辨认、自然语言解决等。利用文字辨认服务,精准辨认车票、发票、身份证等信息,确定人票统一,缩小代报、错报等状况,进步报销的准确性。同时,联合以后电子发票的遍及,精准辨认票据金额及内容,不便财务人员计费与结算,晋升报销流程的晦涩度,升高报销危险,进步报销工作整体的工作效率。 利用场景2——园区进出平安治理浪潮云AI能力广场面向各行各业提供丰盛的场景利用,比方园区进出平安防疫,利用人脸检测、人脸活体检测及身份证辨认服务,组成实人认证性能,对于园区的工作人员,通过比对即可进入园区,对于外来人员,通过采纳身份证与人脸比对的形式,作为进入园区的证实。实人认证能够精准辨认园区进出人员,收集人员进出记录,实现园区无接触进出平安治理。随着人工智能的倒退,AI服务调用已成为人工智能行业必不可少的一部分,且占比逐步增大。浪潮云AI能力广场能够无效整合浪潮云AI资产,丰盛AI服务品种,晋升AI服务利用率,打造属于浪潮云的AI能力开放平台,为无力撑持政企客户数智化转型输入浪潮云的AI技术能力。

October 19, 2021 · 1 min · jiezi

关于云计算:Kubernetes-CRI-分析-kubelet-创建-Pod-分析

kubelet CRI 创立 Pod 调用流程本文以 kubelet dockershim 创立 Pod 调用流程为例做剖析。kubelet 通过调用 dockershim 来创立并启动容器,而 dockershim 则调用 Docker 来创立并启动容器,并调用 CNI 来构建 Pod 网络。 kubelet dockershim 创立 Pod 调用流程图 dockershim 属于 kubelet 内置 CRI shim,其余的 remote CRI shim 创立 Pod 调用流程其实与 dockershim 调用基本一致,只不过是调用了不同的容器引擎来操作容器,但一样由 CRI shim 调用 CNI 来构建 Pod 网络。 上面是具体的源码剖析。 kubeGenericRuntimeManager 的 SyncPod 办法,调用 CRI 创立 Pod 的逻辑将在该办法里触发。 从该办法代码也能够看出,kubelet 创立一个 Pod 的逻辑为: 先创立并启动 Pod sandbox 容器,并构建好 Pod 网络。创立并启动 ephemeral containers。创立并启动 init containers。最初创立并启动 normal containers(即一般业务容器)。这里对调用 m.createPodSandbox 来创立 Pod sandbox 进行剖析,用 m.startContainer 等调用剖析能够参照该剖析主动进行剖析,调用流程简直统一。 ...

October 19, 2021 · 8 min · jiezi

关于云计算:云原生爱好者周刊有一份-DevOps-修炼指南请您查收

云原生一周动静要闻: Cilium 成为 CNCF 孵化我的项目Argo Rollouts v1.1 公布云原生平安微调查结果颁布IBM 为 Linux 内核引入 CPU NamespaceBFE Ingress Controller 正式公布开源我的项目举荐文章举荐如果你在学习 DevOps 的过程中感到迷茫,无妨看看国外一位工程师开源的 DevOps 常识图谱。这个图谱蕴含了十分明确的学习门路,以及不同场景所需的各种可选工具。 想获取高清全图可关注公众号「KubeSphere 云原生」,公众号后盾发送暗号 devops 即可获取。 如果你更偏向国内的课程,能够关注 KubeSphere 开源社区联结尚硅谷公布的《云原生实战》系列课程,该课程不仅仅蕴含了 DevOps,而是对云原生技术栈进行了全面的解说,课程和材料全副能够收费获取和学习。 云原生动静Cilium 成为 CNCF 孵化我的项目日前,CNCF 技术监督委员会(TOC)投票承受 Cilium 成为 CNCF 的孵化我的项目。 Cilium 通过充当 CNI 和应用 eBPF 的 Kubernetes 加强网络层,为云原生环境提供网络、平安和可观测性。 Cilium 我的项目由多个组件和层组成,这些组件和层能够互相独立应用。这容许用户抉择特定的性能,或者将 Cilium 与其余 CNI 联合运行。 代理:代理在所有 Kubernetes 工作节点和承载工作负载的其余服务器上运行。它提供了外围 eBPF 平台,是所有其余 Cilium 组件的根底。网络插件(CNI):CNI 插件使组织可能应用 Cilium 为 Kubernetes 集群和其余依赖 CNI 标准的编配零碎提供网络连接。Hubble:Hubble 是 Cilium 的可观测局部。它提供网络和平安日志、指标、跟踪数据和几个图形用户界面。ClusterMesh:ClusterMesh 实现了一个网络或服务网格,它能够逾越多个集群和运行在内部虚拟机或裸金属服务器上的内部工作负载。它提供跨集群和工作负载的连接性、服务发现、网络安全性和可察看性。负载均衡器:负载均衡器能够在集群中运行,实现 Kubernetes 服务,也能够在 Kubernetes 集群前独立运行,提供南北负载平衡。作为 CNCF 孵化我的项目,Cilium 曾经布局了残缺的路线图,并正在踊跃增加新的性能和个性。该团队将在现有 Envoy Proxy 集成的根底上减少新的服务网格性能,包含对 OpenTelemetry 我的项目和 L7 负载平衡管制的反对。它们还将蕴含用于本地部署的其余个性,包含高级 IPAM 模式、多宿主、服务更改和对外部工作负载的加强反对。最初,该团队将通过增加进一步的身份集成、更深刻的工作负载可见性以及持续关注基于身份的施行来重点倒退平安性能。 ...

October 18, 2021 · 2 min · jiezi

关于云计算:制造业中的云计算从不可能到不可或缺

随着网络技术和云计算服务的倒退,制造商能够取得全新的基础设施选项,他们能够应用这些选项来改良他们生产车间经营的形式。这些选项包含用于解决近实时用例的边缘计算;出于合规性起因必须采纳的公有云;以及使他们可能取得大规模生产、创新能力和灵活性的私有云。 大多数制造商都相熟“智能工厂”、“将来工厂”或“数字工厂”等术语。但无论应用什么术语,都意味着数字技术可能进步生产力、效率、安全性,以及创立合规性的生产环境。可怜的是,这也意味着大多数制造商的以后状态与其现实的生产环境仿佛相去甚远。为什么?因为从历史上看,制作IT我的项目已被证实是一种工夫漫长的、老本昂扬的我的项目,并且在许多状况下存在危险——尤其是在须要近程托管制作应用程序的状况下。 然而,制造业的数字化利用在过来几年有所减速,次要由三个因素驱动: 电信供应商在多个地区以可接受的价格推出了高速和高可用性的网络服务。 云计算技术一直倒退,带来了基于云的解决方案,能够显著缩短制造商的价值实现工夫。 新冠疫情造成的中断迫使制造商从新扫视他们的传统技术和办法。 随着网络技术和云计算服务的倒退,制造商能够取得全新的基础设施选项,他们能够应用这些选项来改良他们生产车间经营的形式。这些选项包含用于解决近实时用例的边缘计算;出于合规性起因必须采纳的公有云;以及使他们可能取得大规模生产、创新能力和灵活性的私有云。这就是所谓的“Cloud Continuum”模式,这种新模式将集中式和分布式计算资源相结合,以确保新的IT和业务效率。 与云计算相干的IT效率是家喻户晓的。例如,与未充分利用的传统现场基础设施相比,如果设计切当,灵便的按应用付费计算能力能够升高20%~40%的老本。云计算还容许取得行业当先服务提供商(如AWS、Azure、谷歌、Oracle等公司)提供的更多功能,以放弃基础设施失常运行,而不是依赖过期的软件或易受攻击的传统基础设施。通过正确利用云计算服务,企业能够缩小IT劳动力和经营老本。 从业务效率的角度来看,制造商能够通过应用以下组件来开释价值: 用于管制和实时供应链集成的剖析工具,让位于更智能、更疾速的经营决策。 确定联盟以使来自不同企业的用户无需创立界面即可合作。 容许预测保护和品质事件的机器学习算法和数字孪生。 用于资产监控的工业物联网,可延长工厂的失常运行工夫。 用于企业共享的工程和制作数据的数据湖。 用于危险检测的计算机视觉,例如检测没有采纳集体防护设施的人员或限度区域的人员,以及用于产品查看。 用于语音到文本应用程序(例如日志)的自然语言解决。 用于与原料供应商或消费者进行数据交换的长期数据库。 用于疾速工作流程自动化和数据收集的低代码/无代码。 但依然存在一个问题:云计算带来这么多益处,那么为什么制造商依然对在工厂中应用基于云计算的解决方案当机立断? 从基础设施的角度来看,大多数制造商都晓得与近程托管制作应用程序相干的危险,例如性能、可用性和安全性,但加重这些危险的办法却并非如此。直到最近,许多制造商才提供、理解或负担得起5G和多接入边缘计算等新解决方案以减少安全性。 从软件的角度来看,直到几年前,云计算对制造商的价值还是十分无限的。云计算已经被视为虚构数据中心,将制作行业的应用程序迁徙到该核心并不代表一个引人注目的商业案例。然而,随着软件供应商推出新的基于云计算的产品,人们见证了采纳云计算带来的巨大变化。采纳基于云计算的解决方案曾经变得越来越有吸引力,尤其是对于那些寻求翻新办法来解决问题的企业来说,否则依然只能采纳过于低廉或简单的外部部署设施来解决。 基础设施的提高以及云计算软件产品的指数级增长,减速了供应链的数字化,使制造商可能以更加通明和自动化的形式经营和互动。一些制造商正在迅速扩大其经营智能,从繁多资产描述性剖析转向须要理解的事件;规范性剖析能够告知制造商应答行将产生的事件的选项。 Cloud Continuum反对的指数级价值发明周期不仅仅取决于IT。它要求企业领有明确定义的愿景、适当的经营模式以及设计正当的一套技术采纳准则。采纳没有这三个组件的云计算解决方案,通常会导致难以扩大和维持预期收益。 总之,云计算技术在制造业中的利用从一个被认为不可能实现的概念或至多在经济上不可行的概念,倒退成为制造商在数字世界中无效竞争的不可或缺的形式。能够了解的是,在这个畛域有太多的新事物,而为了进步生产率、效率、安全性,制造商须要一直从摸索和实际中学习。 (起源:企业网D1Net)

October 18, 2021 · 1 min · jiezi

关于云计算:基于-KubeSphere-的-AI-平台开发实践

概述本文基于 “KubeSphere & Friends 2021 Meetup 北京站” 分享次要内容整顿而来,具体内容倡议观看视频,本文有肯定删减。 作者:胡涛(Daniel),马上生产金融高级云平台研发工程师。 本次分享次要分为四个局部: 什么是 AI 中台为何须要 KubeSphereKubeSphere 的引入二次开发和参加社区什么是 AI 中台首先简略介绍一下背景,对于咱们是谁? 马上生产金融股份有限公司(简称“马上生产”)是一家经中国银保监会批准,持有生产金融牌照的科技驱动型金融机构。截止 2020 年底,注册资本金达 40 亿元,注册用户已冲破 1.2 亿,累计发放贷款超过 5400 亿元,累计征税近 33 亿元,公司技术团队人数超过 1000 人。 咱们的技术类部门架构大抵如下: 能够看到 AI 中台团队隶属于“人工智能研究院”大部门下,与负责“云平台”的技术部两头有一个很高的部门墙。也因而,AI 中台所须要的底层云计算相干技术并不能很好的依赖于技术部,两边有不同的考核机制、指标、痛点,所以 AI 中台团队须要本人搭建底层云平台,这也是咱们引入 KubeSphere 的一个重要起因。 咱们这边次要开发的产品如下,AI 中台是作为三大中台之一,在公司外部运行在金融云之上。然而因为 AI 中台须要思考对外输入,而金融云临时没有这个布局,所以 AI 中台也须要独立的云方面的解决方案,换言之 AI 中台自身必须是一个残缺的容器云 + AI 架构。 目前产品主页大抵长这样: 首页次要展现的是监控相干信息,这些都来自 Promethues。另外从右边能够看到咱们的九大功能模块:数据中心、在线标注、我的项目开发、算法治理、训练任务、模型公布、模型 AB、利用治理等。监控信息相对来说还是比拟毛糙,下面三个圈局部是集群纬度的整体信息,包含 CPU、内存、GPU 整体信息,上面是机器纬度、利用纬度、应用人纬度别离的汇总信息。另外咱们也保留了原生的监控页面: 目前 grafana 社区并没有一个适合的 GPU 纬度展现模板,NVIDIA 也只给了一个主机纬度的绝对毛糙的 Dashboard。目前咱们用的 GPU Dashboard 是本人开发的。还有一个调用链纬度的监控: ...

October 18, 2021 · 2 min · jiezi

关于云计算:科技热点周刊|GitLab-上市LinkedIn-中国停止运营Visual-Studio-2022-正式版将发布

GitLab 登陆纳斯达克,首日大涨 35%10 月 14 日源代码托管平台 GitLab(股票代码“GTLB”) 登陆纳斯达克,发行价为 77 美元,开盘价为 94.25 美元/股,截止开盘,报收于 103.89 美元/股,上市首日上涨了35%。GitLab 目前市值达 165 亿美元。 Gitlab 成立于 2011 年,是一个软件开发运维一体化 DevOps 平台,将开发、经营、IT、平安和业务团队联合在一起,容许团队合作和独特工作,以缩短开发生命周期,提供企业所需的业务成绩。 软件共享平台畛域参与者泛滥,像 GitHub、RedHat、Bitbucket、Atlassian 等都是其强有力的竞争对手,其中 GitHub 造成的威逼最大。2018 年 6 月,微软以高达 75 亿美元的价格收买 GitHub。而在过后,GitHub 的营收约为 3 亿美金。自此 GitLab 迅速成长为市场上惟一的大型独立玩家。除此之外,GitLab 于 2021 年 3 月,在中国湖北武汉与红杉宽带、高成资本合资成立了极狐公司,将同国内外乡公司竞争。 参考链接:【1】https://www.cnbc.com/2018/06/... 【2】https://www.cnbc.com/2021/10/... 【3】https://about.gitlab.com/ LinkedIn 将于往年进行在中国的经营10 月 14 日晚,有音讯称微软将敞开领英中国服务,随后领英中国官网公布“致领英中国会员的一封信”示意,将对目前的策略进行调整,于往年内公布一系列全新的产品及服务,将来将专一于提供“连贯职业机会”的价值,不再涵盖用户原创内容的公布与互动性能。 LinkedIn 工程部门高级副总裁 Mohak Shroff 在英文版公司博文中写道:“尽管咱们在帮忙中国会员找到工作和经济机会方面获得了胜利,但在共享内容、放弃知情的更重视社交的方面并没有获得同样水平的胜利。” Shroff 还示意:“咱们在中国还面临极具挑战性的经营环境和更高的合规要求。鉴于此,咱们已决定在往年晚些时候停止使用目前中国人拜访的本地化版本 LinkedIn。” 据称,LinkedIn 将在往年晚些时候改而提供一个名为 InJobs 的纯工作新闻源(feed),这“将不包含社交新闻源或分享帖子或文章的性能。” LinkedIn(领英)作为一家寰球的职场社交平台,创立于 2003 年,总部位于美国硅谷。截至 2021 年 7 月,领英寰球会员总数已超过 7.74 亿,笼罩 200 多个国家和地区,其中,中国会员总数已逾 5400 万。2014 年,领英正式发表进入中国,曾推出职场社交产品赤兔,但于 2019 年敞开。 ...

October 18, 2021 · 2 min · jiezi

关于云计算:浪潮云荣登中国数字安全能力图谱信息计算环境多项安全能力者领域

基于网络安全三元论的三大支点--信息技术、业务利用和网络攻防,数世征询推出2021年度《中国数字平安能力图谱》,图谱分为七大方向:信息基础设施爱护、信息计算环境保护(信息安全)、行业环境平安、利用场景平安(业务平安)、根底通用、体系框架、平安服务(网络攻防)。近日,数世征询正式推出《中国数字平安能力图谱-信息计算环境(2021.10)》。 浪潮云此次共有四项平安能力入选“能力者”畛域,别离是云主机平安、云利用平安、云平安治理平台以及平安云/资源池,代表着浪潮云在云平安畛域占据重要的市场位置。浪潮云再次上榜中国数字平安能力图谱,更代表了多年来自主研发的技术劣势和长期以来为用户服务的深厚实际与积攒,是平安行业业余机构对浪潮云综合实力的又一高度认可。 始终以来,浪潮云保持为用户输入最优质的平安服务,基于不同业务场景、平安需要,打造了全面平安治理平台和平安资源池产品体系,包含平安治理平台和平安资源池产品体系等平安产品服务,云御平安防护体系实现客户从主机平安、边界平安、利用平安、数据安全等方面的全方位笼罩,最终达到平安的可管、可控、可视、可调度、可继续。 将来,浪潮云将持续加大研发投入,不断创新进步本身能力,保持为云上用户输入最优质的网络安全产品和服务。肩负起为人民守护网络家园的使命担当,为国家网络安全建设奉献应有力量,晋升宽广人民大众在网络空间的取得感、幸福感、安全感。

October 15, 2021 · 1 min · jiezi

关于云计算:新品发布-Cloudpods-38-版本上线

Cloudpods是一个开源的Golang实现的云原生的多云和混合云交融平台。Cloudpods不仅能够治理本地的虚拟机和物理机资源,还能够治理其余私有云和公有云平台的资源。 Cloudpods由北京云联壹云技术有限公司主导开发,并于2019年9月于Github开源。Cloudpods采纳外围开源模式,其商业版本云联壹云企业版(YunionCloud)自2017年开始研发,曾经服务了上百家企业客户。 10月12日, Cloudpods 3.8 版本正式上线!本次大版本更新重点性能如下: Cloudpods内置公有云宿主机的默认装置内核降级为kernel-lt-5.4.130-1,解决之前无奈初始化系统盘为xfs的CentOS 8虚拟机的问题。同时能享受新内核带来的诸多益处,如宿主机的默认IO调度器改为bfq,在兼顾IO公平性的前提下取得更好的IO性能。 多云资源纳管方面,3.8版本开始反对Cloudpods内置公有云的纳管。在部署了多个Cloudpods公有云实例的状况下,能够用一个Cloudpods环境纳管这些实例。 反对了Cloudpods服务集群的数据和配置的备份与复原性能,在平台运行呈现问题时能够疾速通过备份进行复原。 将云监控数据采集模块cloudmon开源,当前Cloudpods能够不便查看纳管云资源的监控数据。 此外,在多云治理方面,咱们持续依据客户需要进行对接,如京东云、华为公有云在线版及更多的资源。 在计费方面,咱们本次重点反对了账单的二次定价,不便用户依据理论状况来进行账单定制。 在监控方面,咱们减少了告警屏蔽性能,解决运维对已知告警音讯反复提醒的问题。 本次大版本更新干货满满,欢送用户装置或降级体验。以下为本次版本更新详情: 新性能 (New Features) 【部署】3.8 CentOS 宿主机默认应用 kernel-lt-5.4.130-1 内核 【主机】阿里云及腾讯云虚拟机反对关机不免费 【主机】删除主机同时反对删除数据盘、快照及EIP 【物理机】反对 Adaptec RAID 控制器 【多云】Cloudpods(云联壹云公有云平台)对接,实现自治理 【多云】HCSO(华为公有云在线版)对接 【多云】京东云对接 【多云】MongoDB对接-阿里云、腾讯云 【多云】Memcache对接-腾讯云 【多云】TDSQL对接-腾讯云 【多云】Ckafka对接-腾讯云 【多云】Elasticsearch Service对接-腾讯云 【多云】CDN对接-腾讯云、阿里云 【多云】标签同步策略 【多云】WAF对接 【多云】Azure LB Appgateway对接 【监控】cloudmon 监控采集组件开源 【监控】告警反对屏蔽 【费用】反对对私有云账单进行二次定价 (企业版) 【费用】Google反对BIGQUERY账单 (企业版) 【费用】包年包月的资源账单反对费用摊派 (企业版) 【费用】新增域、我的项目、标签等多维度剖析 (企业版) 【费用】反对纳管Azure未在平台纳管的子账号账单 (企业版) 【费用】费用剖析反对自定义维度 (企业版) 【费用】反对账单货币对立展现 (企业版) 【零碎】ocboot 工具反对平台备份与复原 【零碎】资源列表减少状态总览,不便用户疾速定位状态异样资源 【零碎】反对音讯订阅设置 (企业版) 优化 (Enhancements) 【主机】迁徙/增加备份机反对预调度 ...

October 15, 2021 · 1 min · jiezi

关于云计算:10-月-30-日-北京-LiveVideoStack-阿里云视频云专场限量赠票-100-张

10 月 30 日 | 北京 LiveVideoStack 将携手阿里云共邀 4 位技术大咖,一起探讨从上云到翻新,视频云的新技术与新场景。阿里云视频云依靠阿里云服务数百万开发者的卓越服务能力与实际,在本专场演讲中,将从云计算服务、网络调度到端侧出现等视频生产与生产的全流程角度登程,分享下一代技术趋势和判断,并从实际角度分享算法、架构、AI 等多个具备实际指导意义的话题。 ⏰ 流动工夫:2021/10/30 14:00-18:00 参加形式:扫码海报二维码领票,线下参加 「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。

October 15, 2021 · 1 min · jiezi

关于云计算:低复杂度-服务网格的下一站

译者: 作为一个已经在制造业企业的基础架构团队任职,为反对公司的“互联网基因”和“数字化转型”落地了云原生基础设施平台,并在尝试采纳服务网格未成的我来说,看到这篇文章深有感触。尤其是文中所说的“人少,问题多,须要疾速输入价值”,直戳到了痛处。无限的人手无限的工夫,咱们须要将大部分精力集中在解决成熟度曲线较低的根本问题上,要想很好的运行简单的零碎是十分艰难的。 服务网格是一个新的基础设施层,能够承载很多的性能,将来还会有更大的设想空间和光明的将来。 以上的种种原因,也促使我起初抉择进入一家提供服务网格的产品企业,也心愿服务网格能够被更简略的应用。 “道阻且长,行则将至!” 本文翻译自 Chris Campbell 的 How Unnecessary Complexity Gave the Service Mesh a Bad Name 要害要点采纳服务网格有微小的价值,但必须以轻量级的形式进行,以防止不必要的复杂性。在施行服务网时,要采取求实的办法,与技术的外围性能保持一致,并小心烦扰(译者:注意力的扩散)。服务网格的一些外围个性包含标准化监控、主动加密和身份辨认、智能路由、牢靠的重试和网络可扩展性。服务网格能够提供弱小的性能,但这些性能会扩散本应答外围劣势的关注,并且这些性能也不是施行服务网格的次要起因。在初始施行服务网格时没有必要去关注那些显著会扩散注意力的性能,比方简单的管制立体、多集群反对、Envoy、WASM 和 A/B 测试。服务网格是 Kubernetes 世界中的一个热门话题,但许多潜在的采纳者曾经有些悲观了。服务网格的落地受到压倒性的复杂性和看似无穷无尽的供应商解决方案的限度。在我亲自浏览了这个畛域之后,我发现采纳服务网格具备微小的价值,但它必须以轻量级的形式实现,以防止不必要的复杂性。只管普遍存在破灭感,但服务网格的将来仍然光明。 在工作中学习我进入服务网格的世界始于我在一家老牌的财产 500 强技术公司负责云计算架构师的角色。在开始咱们的服务网格之旅时,我身边有许多弱小的工程师,但大多数人简直没有云计算开发教训。咱们的组织诞生于云计算之前,齐全实现云计算的价值须要工夫。咱们的传统业务线次要集中在技术栈的硬件元素上,云计算的决策最后是由为运送硬件或为该硬件提供固件和驱动程序而开发的流程驱动的。 随着该组织经验其“数字化转型”,它越来越依赖于提供高质量的软件服务,并逐步开发出更好的办法。但作为云计算架构师,我仍在为优先思考硬件的业务流程,以及具备不同技能、流程和信念的工程团队导航。随着工夫的推移,我和我的团队在将 .NET 应用程序迁徙到 Linux、采纳 Docker、迁徙到 AWS 以及与之相干的最佳实际(如继续集成、自动化部署、不可变基础设施、基础设施即代码、监控等)方面变得纯熟并胜利。但挑战仍然存在。 在此期间,咱们开始将咱们的应用程序拆分为一组微服务。起初,这是一个迟缓的转变,但最终这种办法流行起来,开发人员开始更喜爱构建新的服务而不是增加到现有服务。咱们这些基础设施团队的人把这看作是一种胜利。惟一的问题是与网络相干的问题数量激增,开发人员正在向咱们寻求答案,而咱们还没有筹备好无效地应答这种冲击。 服务网格的挽救我第一次据说服务网格是在 2015 年,过后我正在钻研服务发现工具并寻找与 Consul 集成的简略办法。我喜爱将应用程序职责卸载到“sidecar”容器的想法,并找到了一些能够帮忙做到这一点的工具。大概在这个时候,Docker 有一个叫做“链接”的性能,让你能够将两个应用程序放在一个共享的网络空间中,这样它们就能够通过 localhost 进行通信。此性能提供了相似于咱们当初在 Kubernetes pod 中所领有的体验:两个独立构建的服务能够在部署时进行组合以实现一些附加性能。 我总是抓住机会用简略的计划来解决大问题,因而这些新性能的力量立刻感动了我。尽管这个工具是为了与 Consul 集成而构建的,但实际上,它能够做任何你想做的事件。这是咱们领有的基础设施层,能够用来一次为所有人解决问题。 这方面的一个具体例子呈现在咱们采纳过程的晚期。过后,咱们正致力于跨不同服务的日志标准化输入。通过采纳服务网格和这种新的设计模式,咱们可能将咱们的人的问题——让开发人员标准化他们的日志——换成技术问题——将所有流量传递给能够为他们记录日志的代理。这是咱们团队向前迈出的重要一步。 咱们对服务网格的实现十分求实,并且与该技术的外围性能十分吻合。然而,大部分营销炒作都集中在不太须要的边缘案例上,在评估服务网格是否适宜你时,可能辨认这些烦扰是很重要的。 外围性能服务网格能够提供的外围性能分为四个要害责任畛域:可察看性、安全性、连接性和可靠性。这些性能包含: 标准化监控咱们获得的最大胜利之一,也是最容易采纳的,是标准化监控。它的经营老本非常低,能够适应你应用的任何监控零碎。它使组织可能捕捉所有 HTTP 或 gRPC 指标,并以规范形式在整个零碎中存储它们。这管制了复杂性并加重了应用程序团队的累赘,他们不再须要实现 Prometheus 指标端点或标准化日志格局。它还使用户可能公正地理解其应用程序的黄金信号。 主动加密和身份辨认证书治理很难做好。如果一个组织还没有在这方面进行投入,他们应该找到一个网格来为他们做这件事。证书治理须要保护具备微小安全隐患的简单基础设施代码。相比之下,网格将可能与编排系统集成,以理解工作负载的身份,在须要时能够用来执行策略。这容许提供与 Calico 或 Cilium 等功能强大的 CNI 提供的平安态势相当或更好的平安态势。 智能路由智能路由是另一个个性,它使网格可能在发送申请时“做正确的事”。场景包含: 应用提早加权算法优化流量拓扑感知路由以进步性能并降低成本依据申请胜利的可能性使申请超时与编排系统集成以进行 IP 解析,而不是依赖 DNS传输降级,例如 HTTP 到 HTTP/2这些性能可能不会让普通人感到兴奋,但随着工夫的推移,它们从根本上减少了价值 ...

October 15, 2021 · 1 min · jiezi

关于云计算:DL4J实战之四经典卷积实例GPU版本

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 本篇概览作为《DL4J实战》的第四篇,明天咱们不写代码,而是为今后的实战做些筹备:在DL4J框架下用GPU减速深度学习的训练过程;如果您电脑上有NVIDIA显卡,并且胜利的装置了CUDA,那么就随本文一起实际操作吧,全文由以下内容形成:软硬件环境参考信息DL4J的依赖库和版本应用GPU的具体操作步骤GPU训练和CPU训练比照软硬件环境参考信息家喻户晓,欣宸是个富人,因而带NVIDIA显卡的电脑就是一台破旧的联想笔记本,相干信息如下:操作系统:Ubuntu16桌面版显卡型号:GTX950MCUDA:9.2CPU:i5-6300HQ内存:32G DDR4硬盘:NvMe 1T实际证明,以上配置能够顺利运行《DL4J实战之三:经典卷积实例(LeNet-5)》一文中的实例,并且能够通过GPU减速训练(GPU和CPU的比照数据会在前面给出)在Ubuntu16环境装置NVIDIA驱动和CUDA9.2的过程,能够参考文章《污浊Ubuntu16装置CUDA(9.1)和cuDNN》,这外面装置的CUDA版本是9.1,请自行改为9.2版本DL4J的依赖库和版本首先要强调的是:不要应用CUDA 11.2版本(这是执行nvidia-smi时输入的版本),截止写本文时,应用CUDA 11.2及其依赖库,在启动时会有ClassNotFound异样CUDA 10.X版本我这里也没有试过,因而不做评论CUDA 9.1和9.2版本都尝试过,能够失常应用为什么不必9.1呢?咱们先去地方仓库看看DL4J外围库的版本状况,如下图,最新的版本曾经到了<font color="blue">1.0.0-M1</font>: 再看看CUDA 9.1对应的nd4j库的版本状况,如下图红框,最新的是2018年的<font color="blue">1.0.0-beta</font>,与外围库差距太大了: 好了,再来看看CUDA 9.2对应的nd4j库的版本状况,如下图红框,最新的是<font color="blue">1.0.0-beta6</font>,与外围库差两个版本,因而,倡议应用CUDA 9.2: 应用GPU的具体操作步骤应用CPU还是GPU,具体操作步骤非常简单:切换不同的依赖库即可,上面别离介绍如果您用CPU做训练,则依赖库和版本如下:<!--外围库,不论是CPU还是GPU都要用到--><dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-core</artifactId> <version>1.0.0-beta6</version></dependency><!--CPU要用到--><dependency> <groupId>org.nd4j</groupId> <artifactId>nd4j-native</artifactId> <version>1.0.0-beta6</version></dependency>如果您用GPU做训练,且CUDA版本是9.2,则依赖库和版本如下: <!--外围库,不论是CPU还是GPU都要用到--><dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-core</artifactId> <version>1.0.0-beta6</version></dependency><!--GPU要用到--><dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-cuda-9.2</artifactId> <version>1.0.0-beta6</version></dependency><!--GPU要用到--><dependency> <groupId>org.nd4j</groupId> <artifactId>nd4j-cuda-9.2-platform</artifactId> <version>1.0.0-beta6</version></dependency>java代码就不在这里贴出了,用的是《DL4J实战之三:经典卷积实例(LeNet-5)》中的代码,不做任何扭转内存设置应用IDEA运行代码的时候,能够依照以后硬件状况将内存适当调大,步骤如下图: 请酌情调整,我这里设置为8G 设置结束,接下来在同一电脑上别离用CPU和GPU执行训练和测试,通过比照查看GPU减速成果CPU版本在这台破旧的笔记本电脑上,用CPU做训练是十分吃力的,如下图,简直被榨干: 控制台输入如下,耗时<font color="blue">158</font>秒,真是个漫长的过程:=========================Confusion Matrix========================= 0 1 2 3 4 5 6 7 8 9--------------------------------------------------- 973 1 0 0 0 0 2 2 1 1 | 0 = 0 0 1132 0 2 0 0 1 0 0 0 | 1 = 1 1 5 1018 1 1 0 0 4 2 0 | 2 = 2 0 0 2 1003 0 3 0 1 1 0 | 3 = 3 0 0 1 0 975 0 2 0 0 4 | 4 = 4 2 0 0 6 0 880 2 1 1 0 | 5 = 5 6 1 0 0 3 4 944 0 0 0 | 6 = 6 0 3 6 1 0 0 0 1012 2 4 | 7 = 7 3 0 1 1 0 1 1 2 964 1 | 8 = 8 0 0 0 2 6 2 0 2 0 997 | 9 = 9Confusion matrix format: Actual (rowClass) predicted as (columnClass) N times==================================================================13:24:31.616 [main] INFO com.bolingcavalry.convolution.LeNetMNISTReLu - 实现训练和测试,耗时[158739]毫秒13:24:32.116 [main] INFO com.bolingcavalry.convolution.LeNetMNISTReLu - 最新的MINIST模型保留在[/home/will/temp/202106/26/minist-model.zip]GPU版本接下来依照后面给出的依赖关系批改pom.xml文件,即可启用GPU,运行过程中,控制台输入以下内容示意已启用GPU:13:27:08.277 [main] INFO org.nd4j.linalg.api.ops.executioner.DefaultOpExecutioner - Backend used: [CUDA]; OS: [Linux]13:27:08.277 [main] INFO org.nd4j.linalg.api.ops.executioner.DefaultOpExecutioner - Cores: [4]; Memory: [7.7GB];13:27:08.277 [main] INFO org.nd4j.linalg.api.ops.executioner.DefaultOpExecutioner - Blas vendor: [CUBLAS]13:27:08.300 [main] INFO org.nd4j.linalg.jcublas.JCublasBackend - ND4J CUDA build version: 9.2.14813:27:08.301 [main] INFO org.nd4j.linalg.jcublas.JCublasBackend - CUDA device 0: [GeForce GTX 950M]; cc: [5.0]; Total memory: [4242604032]这次的运行过程显著晦涩了许多,CPU使用率降落了不少: ...

October 15, 2021 · 3 min · jiezi

关于云计算:DL4J实战之三经典卷积实例LeNet5

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 本篇概览作为《DL4J》实战的第三篇,指标是在DL4J框架下创立经典的LeNet-5卷积神经网络模型,对MNIST数据集进行训练和测试,本篇由以下内容形成:LeNet-5简介MNIST简介数据集简介对于版本和环境编码验证 LeNet-5简介是Yann LeCun于1998年设计的卷积神经网络,用于手写数字辨认,例如当年美国很多银行用其辨认支票上的手写数字,LeNet-5是晚期卷积神经网络最有代表性的试验零碎之一LeNet-5网络结构如下图所示,一共七层:C1 -> S2 -> C3 -> S4 -> C5 -> F6 -> OUTPUT 这张图更加清晰明了(原图地址:https://cuijiahua.com/blog/20...),可能很好的领导咱们在DL4J上的编码: 依照上图简略剖析一下,用于领导接下来的开发:每张图片都是28*28的单通道,矩阵应该是[1, 28,28]C1是卷积层,所用卷积核尺寸5*5,滑动步长1,卷积核数目20,所以尺寸变动是:28-5+1=24(设想为宽度为5的窗口在宽度为28的窗口内滑动,能滑多少次),输入矩阵是[20,24,24]S2是池化层,核尺寸2*2,步长2,类型是MAX,池化操作后尺寸减半,变成了[20,12,12]C3是卷积层,所用卷积核尺寸5*5,滑动步长1,卷积核数目50,所以尺寸变动是:12-5+1=8,输入矩阵[50,8,8]S4是池化层,核尺寸2*2,步长2,类型是MAX,池化操作后尺寸减半,变成了[50,4,4]C5是全连贯层(FC),神经元数目500,接relu激活函数最初是全连贯层Output,共10个节点,代表数字0到9,激活函数是softmaxMNIST简介MNIST是经典的计算机视觉数据集,起源是National Institute of Standards and Technology (NIST,美国国家标准与技术研究所),蕴含各种手写数字图片,其中训练集60,000张,测试集 10,000张,MNIST来源于250 个不同人的手写,其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员.,测试集(test set) 也是同样比例的手写数字数据MNIST官网:http://yann.lecun.com/exdb/mn...数据集简介从MNIST官网下载的原始数据并非图片文件,须要按官网给出的格局阐明做解析解决能力转为一张张图片,这些事件显然不是本篇的主题,因而咱们能够间接应用DL4J为咱们筹备好的数据集(下载地址稍后给出),该数据集中是一张张独立的图片,这些图片所在目录的名字就是该图片具体的数字,如下图,目录<font color="blue">0</font>外面全是数字0的图片: 上述数据集的下载地址有两个:能够在CSDN下载(0积分):https://download.csdn.net/dow...github:https://raw.githubusercontent...下载之后解压开,是个名为<font color="blue">mnist_png</font>的文件夹,稍后的实战中咱们会用到它对于DL4J版本《DL4J实战》系列的源码采纳了maven的父子工程构造,DL4J的版本在父工程<font color="blue">dlfj-tutorials</font>中定义为<font color="red">1.0.0-beta7</font>本篇的代码尽管还是<font color="blue">dlfj-tutorials</font>的子工程,然而DL4J版本却应用了更低的<font color="red">1.0.0-beta6</font>,之所以这么做,是因为下一篇文章,咱们会把本篇的训练和测试工作交给GPU来实现,而对应的CUDA库只有<font color="red">1.0.0-beta6</font>扯了这么多,能够开始编码了源码下载本篇实战中的残缺源码可在GitHub下载到,地址和链接信息如下表所示(https://github.com/zq2599/blo...):名称链接备注我的项目主页https://github.com/zq2599/blo...该我的项目在GitHub上的主页git仓库地址(https)https://github.com/zq2599/blo...该我的项目源码的仓库地址,https协定git仓库地址(ssh)git@github.com:zq2599/blog_demos.git该我的项目源码的仓库地址,ssh协定这个git我的项目中有多个文件夹,《DL4J实战》系列的源码在<font color="blue">dl4j-tutorials</font>文件夹下,如下图红框所示: <font color="blue">dl4j-tutorials</font>文件夹下有多个子工程,本次实战代码在<font color="blue">simple-convolution</font>目录下,如下图红框: 编码在父工程 <font color="blue">dl4j-tutorials</font>下新建名为 <font color="red">simple-convolution</font>的子工程,其pom.xml如下,可见这里的dl4j版本被指定为<font color="red">1.0.0-beta6</font>:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>dlfj-tutorials</artifactId> <groupId>com.bolingcavalry</groupId> <version>1.0-SNAPSHOT</version> </parent> <modelVersion>4.0.0</modelVersion> <artifactId>simple-convolution</artifactId> <properties> <dl4j-master.version>1.0.0-beta6</dl4j-master.version> </properties> <dependencies> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-core</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.nd4j</groupId> <artifactId>${nd4j.backend}</artifactId> <version>${dl4j-master.version}</version> </dependency> </dependencies></project>接下来依照后面的剖析实现代码,曾经增加了具体正文,就不再赘述了:package com.bolingcavalry.convolution;import lombok.extern.slf4j.Slf4j;import org.datavec.api.io.labels.ParentPathLabelGenerator;import org.datavec.api.split.FileSplit;import org.datavec.image.loader.NativeImageLoader;import org.datavec.image.recordreader.ImageRecordReader;import org.deeplearning4j.datasets.datavec.RecordReaderDataSetIterator;import org.deeplearning4j.nn.conf.MultiLayerConfiguration;import org.deeplearning4j.nn.conf.NeuralNetConfiguration;import org.deeplearning4j.nn.conf.inputs.InputType;import org.deeplearning4j.nn.conf.layers.ConvolutionLayer;import org.deeplearning4j.nn.conf.layers.DenseLayer;import org.deeplearning4j.nn.conf.layers.OutputLayer;import org.deeplearning4j.nn.conf.layers.SubsamplingLayer;import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;import org.deeplearning4j.nn.weights.WeightInit;import org.deeplearning4j.optimize.listeners.ScoreIterationListener;import org.deeplearning4j.util.ModelSerializer;import org.nd4j.evaluation.classification.Evaluation;import org.nd4j.linalg.activations.Activation;import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;import org.nd4j.linalg.dataset.api.preprocessor.DataNormalization;import org.nd4j.linalg.dataset.api.preprocessor.ImagePreProcessingScaler;import org.nd4j.linalg.learning.config.Nesterovs;import org.nd4j.linalg.lossfunctions.LossFunctions;import org.nd4j.linalg.schedule.MapSchedule;import org.nd4j.linalg.schedule.ScheduleType;import java.io.File;import java.util.HashMap;import java.util.Map;import java.util.Random;@Slf4jpublic class LeNetMNISTReLu { // 寄存文件的地址,请酌情批改// private static final String BASE_PATH = System.getProperty("java.io.tmpdir") + "/mnist"; private static final String BASE_PATH = "E:\\temp\\202106\\26"; public static void main(String[] args) throws Exception { // 图片像素高 int height = 28; // 图片像素宽 int width = 28; // 因为是黑白图像,所以色彩通道只有一个 int channels = 1; // 分类后果,0-9,共十种数字 int outputNum = 10; // 批大小 int batchSize = 54; // 循环次数 int nEpochs = 1; // 初始化伪随机数的种子 int seed = 1234; // 随机数工具 Random randNumGen = new Random(seed); log.info("检查数据集文件夹是否存在:{}", BASE_PATH + "/mnist_png"); if (!new File(BASE_PATH + "/mnist_png").exists()) { log.info("数据集文件不存在,请下载压缩包并解压到:{}", BASE_PATH); return; } // 标签生成器,将指定文件的父目录作为标签 ParentPathLabelGenerator labelMaker = new ParentPathLabelGenerator(); // 归一化配置(像素值从0-255变为0-1) DataNormalization imageScaler = new ImagePreProcessingScaler(); // 不管训练集还是测试集,初始化操作都是雷同套路: // 1. 读取图片,数据格式为NCHW // 2. 依据批大小创立的迭代器 // 3. 将归一化器作为预处理器 log.info("训练集的矢量化操作..."); // 初始化训练集 File trainData = new File(BASE_PATH + "/mnist_png/training"); FileSplit trainSplit = new FileSplit(trainData, NativeImageLoader.ALLOWED_FORMATS, randNumGen); ImageRecordReader trainRR = new ImageRecordReader(height, width, channels, labelMaker); trainRR.initialize(trainSplit); DataSetIterator trainIter = new RecordReaderDataSetIterator(trainRR, batchSize, 1, outputNum); // 拟合数据(实现类中实际上什么也没做) imageScaler.fit(trainIter); trainIter.setPreProcessor(imageScaler); log.info("测试集的矢量化操作..."); // 初始化测试集,与后面的训练集操作相似 File testData = new File(BASE_PATH + "/mnist_png/testing"); FileSplit testSplit = new FileSplit(testData, NativeImageLoader.ALLOWED_FORMATS, randNumGen); ImageRecordReader testRR = new ImageRecordReader(height, width, channels, labelMaker); testRR.initialize(testSplit); DataSetIterator testIter = new RecordReaderDataSetIterator(testRR, batchSize, 1, outputNum); testIter.setPreProcessor(imageScaler); // same normalization for better results log.info("配置神经网络"); // 在训练中,将学习率配置为随着迭代阶梯性降落 Map<Integer, Double> learningRateSchedule = new HashMap<>(); learningRateSchedule.put(0, 0.06); learningRateSchedule.put(200, 0.05); learningRateSchedule.put(600, 0.028); learningRateSchedule.put(800, 0.0060); learningRateSchedule.put(1000, 0.001); // 超参数 MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder() .seed(seed) // L2正则化系数 .l2(0.0005) // 梯度降落的学习率设置 .updater(new Nesterovs(new MapSchedule(ScheduleType.ITERATION, learningRateSchedule))) // 权重初始化 .weightInit(WeightInit.XAVIER) // 筹备分层 .list() // 卷积层 .layer(new ConvolutionLayer.Builder(5, 5) .nIn(channels) .stride(1, 1) .nOut(20) .activation(Activation.IDENTITY) .build()) // 下采样,即池化 .layer(new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX) .kernelSize(2, 2) .stride(2, 2) .build()) // 卷积层 .layer(new ConvolutionLayer.Builder(5, 5) .stride(1, 1) // nIn need not specified in later layers .nOut(50) .activation(Activation.IDENTITY) .build()) // 下采样,即池化 .layer(new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX) .kernelSize(2, 2) .stride(2, 2) .build()) // 浓密层,即全连贯 .layer(new DenseLayer.Builder().activation(Activation.RELU) .nOut(500) .build()) // 输入 .layer(new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD) .nOut(outputNum) .activation(Activation.SOFTMAX) .build()) .setInputType(InputType.convolutionalFlat(height, width, channels)) // InputType.convolutional for normal image .build(); MultiLayerNetwork net = new MultiLayerNetwork(conf); net.init(); // 每十个迭代打印一次损失函数值 net.setListeners(new ScoreIterationListener(10)); log.info("神经网络共[{}]个参数", net.numParams()); long startTime = System.currentTimeMillis(); // 循环操作 for (int i = 0; i < nEpochs; i++) { log.info("第[{}]个循环", i); net.fit(trainIter); Evaluation eval = net.evaluate(testIter); log.info(eval.stats()); trainIter.reset(); testIter.reset(); } log.info("实现训练和测试,耗时[{}]毫秒", System.currentTimeMillis()-startTime); // 保留模型 File ministModelPath = new File(BASE_PATH + "/minist-model.zip"); ModelSerializer.writeModel(net, ministModelPath, true); log.info("最新的MINIST模型保留在[{}]", ministModelPath.getPath()); }}执行上述代码,日志输入如下,训练和测试都顺利完成,准确率达到0.9886:21:19:15.355 [main] INFO org.deeplearning4j.optimize.listeners.ScoreIterationListener - Score at iteration 1110 is 0.1830062561364003421:19:15.365 [main] DEBUG org.nd4j.linalg.dataset.AsyncDataSetIterator - Manually destroying ADSI workspace21:19:16.632 [main] DEBUG org.nd4j.linalg.dataset.AsyncDataSetIterator - Manually destroying ADSI workspace21:19:16.642 [main] INFO com.bolingcavalry.convolution.LeNetMNISTReLu - ========================Evaluation Metrics======================== # of classes: 10 Accuracy: 0.9886 Precision: 0.9885 Recall: 0.9886 F1 Score: 0.9885Precision, recall & F1: macro-averaged (equally weighted avg. of 10 classes)=========================Confusion Matrix========================= 0 1 2 3 4 5 6 7 8 9--------------------------------------------------- 972 0 0 0 0 0 2 2 2 2 | 0 = 0 0 1126 0 3 0 2 1 1 2 0 | 1 = 1 1 1 1019 2 0 0 0 6 3 0 | 2 = 2 0 0 1 1002 0 5 0 1 1 0 | 3 = 3 0 0 2 0 971 0 3 2 1 3 | 4 = 4 0 0 0 3 0 886 2 1 0 0 | 5 = 5 6 2 0 1 1 5 942 0 1 0 | 6 = 6 0 1 6 0 0 0 0 1015 1 5 | 7 = 7 1 0 1 1 0 2 0 2 962 5 | 8 = 8 1 2 1 3 5 3 0 2 1 991 | 9 = 9Confusion matrix format: Actual (rowClass) predicted as (columnClass) N times==================================================================21:19:16.643 [main] INFO com.bolingcavalry.convolution.LeNetMNISTReLu - 实现训练和测试,耗时[27467]毫秒21:19:17.019 [main] INFO com.bolingcavalry.convolution.LeNetMNISTReLu - 最新的MINIST模型保留在[E:\temp\202106\26\minist-model.zip]Process finished with exit code 0对于准确率后面的测试结果显示准确率为<font color="blue">0.9886</font>,这是<font color="red">1.0.0-beta6</font>版本DL4J的训练后果,如果换成<font color="red">1.0.0-beta7</font>,准确率能够达到<font color="blue">0.99</font>以上,您能够尝试一下;至此,DL4J框架下的经典卷积实战就实现了,截止目前,咱们的训练和测试工作都是CPU实现的,工作中CPU使用率的回升非常显著,下一篇文章,咱们把明天的工作交给GPU执行试试,看是否借助CUDA减速训练和测试工作;你不孤独,欣宸原创一路相伴Java系列Spring系列Docker系列kubernetes系列数据库+中间件系列DevOps系列欢送关注公众号:程序员欣宸微信搜寻「程序员欣宸」,我是欣宸,期待与您一起畅游Java世界...https://github.com/zq2599/blog_demos

October 14, 2021 · 4 min · jiezi

关于云计算:浪潮云说直播间第九期今晚2000准时开播

【浪潮云说】直播间第九期将于今晚20:00准时开播 工夫:10月13日 星期三 20:00-20:45 主题:分布式SQL引擎架构 主讲人:云溪数据库SQL研发负责人-冯友旭老师

October 13, 2021 · 1 min · jiezi

关于云计算:科技热点周刊|2021-Cloud-100-解读苹果员工泄密Facebook-大规模宕机

苹果前员工被刑事考察据报道,苹果公司前物料主管西蒙·兰卡斯特(Simon Lancaster)因涉嫌向媒体泄露未公开的产品信息而被起诉,目前正因涉嫌窃取商业秘密而承受刑事考察。兰卡斯特于 2019 年来到苹果公司时,他取得了一大批标有“秘密”字样的文件,包含 “Project X”,据悉该我的项目被猜想为 AR/VR 硬件。 参考链接: 【1】https://www.macrumors.com/202... Facebook 史上最重大宕机美国东部工夫 10 月 4 日上午 11 点 39 分左右,美国社交媒体 Facebook、Instagram 和即时通讯软件 WhatsApp 呈现大规模宕机,此次宕机长达近 7 个小时,刷新了 Facebook 自 2008 年以来的最长宕机时长。 美国互联网监控网站 DownDectors 的监控状况显示,Facebook 在欧洲、美洲、大洋洲简直是齐全下线,在亚洲的日本、韩国、印度等国也无法访问。据悉,WhatsApp 和 Facebook Messenger 两款“微信”类即时通信产品,别离在寰球范畴领有 20 亿用户和 13 亿用户,社交平台 Instagram 用户数也达到了 10 亿用户。 参考链接: 【1】https://www.futuriom.com/arti... 【2】https://www.thousandeyes.com/... 【3】https://eveningreport.nz/2021... 谷歌正式公布 Android 1210 月 5 日,谷歌发表正式将源代码推送到 Android 开源我的项目 (AOSP),并正式公布最新版本的 Android 12 大版本更新。Android 12 将在接下来的几周内从谷歌 Pixel 系列手机开始推送,预计将会在往年晚些时候开始推送其余品牌手机,包含三星 Galaxy、一加、OPPO、realme、小米等设施。 UI 界面方面,Android 12 引入了一种名为 Material You 的新设计语言,可帮忙开发者构建更加个性化、好看的利用。此外,新版本还提供了从新设计的小部件,更新了告诉设计,减少了新的“拉伸”适度滚动成果,还为所有利用引入了启动画面。性能体现上,Android 12 提供了更快、更高效的零碎性能,改良了应用程序启动工夫并优化了 I/O,以放慢应用程序加载速度。 ...

October 13, 2021 · 2 min · jiezi

关于云计算:云栖大会|感受万物数字化体验千行视频化

“前沿·摸索·想象力”,往年的云栖大会行将与大家如期见面。 从10月19日至22日,云栖大会将带来100+场新思维论坛、450+最热科技新品、1000+数字新物种、40000平米的“云栖数字谷”沉迷科技体验,以及一系列炫目的极客盛会。 阿里云视频云将持续亮相云栖大会,带来音视频主题论坛及一系列重磅公布,更有音视频技术展区、开发者展区的泛滥互动体验,与参会者独特摸索内容与交互的全新可能。 视频云的极致进化论下一代音视频技术的极致化趋势? 视频云如何赋能多产业的视频化发展? 多端时代的超高清和智能时代的直播有什么新体验? 云端一体如何施展最大效力,推动实时“零解决”的新纪元?……10月21日下午,阿里云视频云将开启云栖大会《产业视频化翻新与最佳实际》主题论坛,10位分享者将围绕阿里云视频云自研的实时音视频、端智能、超高清、视频AI、低代码开发等技术在产业中的新摸索与新实际,面向全产业提供一场触手可及的音视频新体验。 论坛还将重磅公布一系列场景化、行业化利用的新产品,凸显视频云技术的前瞻性成绩和新技术将带来的新商业价值。 云端一体的音视频空间站基于多重体验和云原生的低代码开发,是音视频技术的下一代吗? AI驱动的智能媒体生产,在产业全流程是如何作业和提效的? 如何一站式补齐企业协同的最初一块短板?……云栖大会期间,阿里云视频云将在线下 “音视频”技术展区,以“企业全场景音视频开发和利用”为内核,围绕“智能媒体生产技术”、“音视频低代码开发”、“一站式企业音视频合作”三大板块,展示PaaS、APaaS、SaaS为企业在云端转型所提供的丰盛的视频类工具集,参会者还可通过阿里云视频云的产品与技术能力,现场体验搭建自有的音视频业务,摸索“云端一体”下的多种场景。 音视频展区示意图 AI演播室示意图 AI演播室示意图 开发者的极客公园在“实验室”,参加48小时不停电的黑客马拉松; 在“中枢系统”中,散步开源长廊、体验技术产品; 在“停机坪”上,与行业大咖休闲交换; 在“能源补给站”里,下一盘开发者飞行棋……对于充斥极客精力的开发者来说,本次云栖大会的“Developer Space”(开发者空间站)也十分值得期待。入手编码试验、互动游戏、技术体验、交换分享……这些以开发者视角展现的更具互动性的玩法,将会为开发者带来高度的身份认同,开掘开发者科技感之外的乏味可恶。 在开发者产品技术体验展示区“天池数据博物馆”中,阿里云视频云的“卡通智绘”我的项目将作为展厅爆款的互动体验我的项目展出,参会者可在现场体验2.5次元的虚构人物世界,更有童话、三国、油画等各种格调畅选。利用先进的生成反抗网络及迁徙学习技术,所生成的极具集体特质的卡通形象,可广泛应用于人像美颜、短视频社交、直播等丰盛场景,现场不可错过这份卡通世界的实在体验。 阿里云视频云卡通智绘 万物数字化的未来式沉迷身处数字时代,在咱们驶向星辰大海的征途中,许多技术已人不知;鬼不觉成为不可或缺的当先驱动力。阿里云一直积攒并始终保持当先的技术,将在超40000平的技术展区亮相,无影云电脑、浸没式液冷服务器、平头哥芯片等云技术相干展品及太空八音盒、仿生机器鱼、外骨骼机器人等各类前沿科技展品等将逐个展出,独特眺望万物数字化的将来。 航天主题展区示意图 仿生鱼机器人展区示意图 元宇宙是以后科技界的新议题,参观者将被数字人疏导着穿梭元宇宙隧道,从了解概念开始,在云栖现场逐渐理解利用场景、畅想趋势,再通过VR游戏、全息影像等技术沉迷体验元宇宙。 元宇宙隧道示意图 来2021云栖大会,感触万物数字化,体验千行视频化 阿里云视频云 期待和你 共赴这一场年度盛会 即刻扫码,收费预约门票 入群获取更多大会信息 报名链接:https://yunqi.aliyun.com/2021... 「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。

October 13, 2021 · 1 min · jiezi

关于云计算:云原生爱好者周刊VMware-Tanzu-社区办发布无任何限制

云原生一周动静要闻: VMware Tanzu 推出社区版Kubernetes Cluster API 1.0 版已生产就绪Linkerd 2.11 公布Cartografos 工作组推出云原生成熟度模型OpenEBS 3.0 公布开源我的项目举荐文章举荐云原生动静VMware Tanzu 推出社区版世界正在向基于 Kubernetes 构建的云原生基础设施倒退。这就是 VMware 创立 VMware Tanzu 的起因。然而,仅有技术自身是不够的,如果没有开发人员、基础设施和平台操作员、站点可靠性工程师以及其余领有应用技术所需常识和技能的人,即便有再好的技术也杯水车薪。 Tanzu 社区版蕴含了利用 Kubernetes 实现端到端利用交付自动化所需的所有开源技术,以及定制平台的能力。这意味着你能够从小事做起,而后随着你的需要增长,随时轻松地减少新的性能。而且,无论将来你走到哪里,你用 Tanzu 社区版开发的常识、技能和工件都能够随身携带,并且能够齐全转移到 Tanzu 的商业产品中。 Tanzu 社区版是收费的开源软件,不受应用限度或性能限度的影响。 详情见 Kubernetes Cluster API 1.0 版已生产就绪Cluster API v1.0 已筹备好投入生产并正式迁徙到 v1beta1 API。Cluster API 是一个 Kubernetes 我的项目,它为 Kubernetes 启用申明式治理,应用 API 轻松创立、配置和更新集群。它是一种端到端的办法,能够简化 Kubernetes 生命周期的重复性工作,同时在对立的基础架构中放弃一致性和可重复性。 Cluster API 的次要指标是使集群生命周期治理变得干燥。API 和可扩展性模型有一个成熟的生产记录;随着工夫的推移,Cluster API 的指标是进一步坚固根底,并建设形象,以简化终端用户的体验。 详情见 Linkerd 2.11 公布Linkerd 2.11 公布,此版本标记着 Linkerd 向前迈进了一大步。Linkerd 2.11 引入了“策略”,这是一项期待已久的性能,容许用户管制容许哪些服务相互连接和发送申请。此版本还引入了许多改良和性能加强,包含 gRPC 调用的重试、容器启动程序问题的个别修复、更小的代理、更小的管制立体等等。 ...

October 12, 2021 · 3 min · jiezi

关于云计算:云计算改变了企业的传统思考方式

什么是云计算?简略地说,云计算是通过互联网(“云”)交付计算服务——包含服务器、存储、数据库、网络、软件、剖析和智能,以提供更快的翻新、灵便的资源和规模经济。您通常只需为应用的云服务付费,从而帮忙您升高经营老本、更高效地运行基础架构并随着业务需要的变动而扩大。 云计算的次要劣势云计算是企业对 IT 资源的传统思考形式的重大转变。以下是组织转向云计算服务的七个常见起因: 老本云计算打消了购买硬件和软件以及设置和运行现场数据中心的资本收入——服务器机架、用于供电和冷却的全天候电力以及治理基础设施的 IT 专家。 寰球范畴内云计算服务的益处包含弹性扩大的能力。用云来说,这意味着在须要时从正确的地理位置提供适量的 IT 资源,例如,或多或少的计算能力、存储、带宽。 体现最大的云计算服务在寰球平安数据中心网络上运行,这些数据中心定期降级到最新一代疾速高效的计算硬件。与单个企业数据中心相比,这提供了多项劣势,包含缩小应用程序的网络提早和更大的规模经济。 平安许多云提供商提供了一系列宽泛的策略、技术和控制措施,能够加强您的整体平安情况,帮忙爱护您的数据、应用程序和基础设施免受潜在威逼。 速度大多数云计算服务都是自助服务和按需提供的,因而即便是大量计算资源也能够在几分钟内提供,通常只需点击几下鼠标,为企业提供了很大的灵活性并加重了容量布局的压力。 生产率现场数据中心通常须要大量“机架和重叠”——硬件设置、软件修补和其余耗时的 IT 治理杂务。云计算打消了对其中许多工作的需要,因而 IT 团队能够将工夫花在实现更重要的业务指标上。 可靠性云计算使数据备份、劫难复原和业务连续性变得更容易且老本更低,因为数据能够在云提供商网络的多个冗余站点上进行镜像。 如果感觉阿观的分享帮到你,心愿能留下赞+关注,谢谢您嘞!

October 11, 2021 · 1 min · jiezi

关于云计算:自动替换-Kubernetes-镜像

前几天有敌人在问如何在某云上拉取 Tekton 的镜像,这种状况其实比拟广泛不只是某云。工作中常常要用到过某些靠运气能力拉取到的镜像,这对工作来说真是极度的不敌对。 因而也萌发了个想法,保护一个后网络敌对的仓库镜像,在 Pod 创立时将镜像仓库切换到自保护的仓库,从自保护的仓库拉取镜像。 前几天体验了极狐Gitlab 的容器镜像库,便是为这个想法做的筹备。当然其余的云厂商也有提供针对个人版的收费镜像仓库和企业版仓库。 正好 Pipy 作为策略引擎,非常适合实现这种策略的执行。 实现思路 Admission WebhookKubernetes 动静筹备管制 的 MutatingWebhookConfiguration 能够 hook Pod 的创立或者更新,而后调用指标服务对 Pod 资源对象进行 patch 操作。 策略引擎Pipy 作为利用的外围,也就是 MutatingWebhookConfiguration 的指标服务,以策略引擎的角色实现策略的执行。 Pipy 反对从文件或者 HTTP 地址加载脚本,这里为了便于策略的更新,应用了后者。 对于从 HTTP 地址加载脚本,HTTP 地址返回内容的第一行会作为 Pipy 的主脚本,Pipy 启动时会加载主脚本,其余的文件也会被缓存到内存中。 #地址 http://localhost:6080/repo/registry-mirror/$ curl http://localhost:6080/repo/registry-mirror//main.js/config.jsonPipy 会每隔 5s 查看脚本和配置文件的 etag(就是文件的最初更新工夫),如果与以后文件的 etag 不统一,则会缓存并从新加载。 利用 Pipy 的这个个性,便能够策略和配置的准实时更新。 策略对于策略的局部,咱们将其逻辑和配置进行了拆散。配置局部,配置了须要进行替换的镜像的前缀,以及替换成的内容;而逻辑,这是对 MutatingWebhookConfiguration 的 AdmissionReview 的对象进行查看。 配置: { "registries": { "gcr.io/tekton-releases/github.com/tektoncd/pipeline/cmd": "registry.gitlab.cn/flomesh/registry-mirror/tekton-pipeline" }}比如说,对于镜像 gcr.io/tekton-releases/github.com/tektoncd/pipeline/cmd/controller:v0.28.1,将 gcr.io/tekton-releases/github.com/tektoncd/pipeline/cmd 替换成 registry.gitlab.cn/addozhang/registry-mirror/tekton-pipeline。 ...

October 6, 2021 · 3 min · jiezi

关于云计算:极狐GitLab-SaaS-内测轻度体验

感激极狐团队为 GitLab(SaaS)本地化的致力,同时也感激小马哥提供的内测资格。 最近忽然想到了个点子,须要应用一个公有的镜像仓库。极狐GitLab 有提供容器镜像库,正好和 CICD 一起做个轻度体验。 容器镜像库 Container Registry文档介绍在这里,目前还是英文。(应该本地化的工作量很大,文档还没翻译。) 容器镜像库能够作为独立镜像仓库应用(为什么要这么用,卖个关子下篇文章见),就是应用 docker 命令将构建好的镜像推送到 容器镜像库。 当然也能够同 CICD 流水线联合应用,后文也会介绍。 独立应用本地登录 Container Registry 有两种验证形式: 应用用户名和明码开启了双重身份验证,能够应用拜访集体拜访令牌其实,不论是否开始双重验证,都倡议应用拜访令牌。 docker login registry.gitlab.cn#依据提醒输出用户名和明码或者令牌image 的名字最多有三层,即 registry.example.com/[namespace] 之后的内容最多有 3 层。比方上面的 image 名字 myproject/my/image registry.example.com/mynamespace/myproject/my/image:rc1其次 image 名字的第一层必须是镜像名,如下面的 myproject。 尝试将 tekton 的镜像推送下来: docker tag gcr.io/tekton-releases/github.com/tektoncd/pipeline/cmd/controller:v0.28.1 registry.gitlab.cn/addozhang/registry-mirror/tekton-pipeline/controller:v0.28.1docker push registry.gitlab.cn/addozhang/registry-mirror/tekton-pipeline/controller:v0.28.1 请疏忽公布工夫,原镜像的 Created 字段就有问题。 同样能够应用 REST API 进行拜访: curl --location --request GET 'https://gitlab.cn/api/v4/projects/addozhang%2Fregistry-mirror/registry/repositories/155/tags' \--header 'PRIVATE-TOKEN: TOKEN_HERE'[{"name":"v0.28.1","path":"addozhang/registry-mirror/tekton-pipeline/controller:v0.28.1","location":"registry.gitlab.cn/addozhang/registry-mirror/tekton-pipeline/controller:v0.28.1"}]应用 CICD 构建和推送见下文。 CICD我将之前 github 的应用的测试 tekton 的我的项目镜像到了这里,并增加了一个 .gitlab-ci.yml 的流水线定义文件。 ...

October 1, 2021 · 1 min · jiezi

关于云计算:浪潮云洲荣获两项工业自动化及数字化行业年度大奖

9月28日,2021中国智能制作数字化转型峰会暨维科杯工业自动化及数字化行业年度评比颁奖典礼在深圳举办。峰会由深圳市工信局、深圳市福田区政府领导,中国高科技门户OFweek维科网主办。 凭借在工业互联网畛域的翻新实际,浪潮云洲荣获“维科杯·OFweek 2021中国智能制作数字化工厂年度标杆企业奖”、“维科杯·OFweek 2021中国工业互联网年度优良解决方案奖”。 维科杯·OFweek2021中国工业自动化及数字化行业年度评比启动后,各行业知名企业踊跃参评,经主办方筛选,对近300份符合条件的参评申请线上投票,综合行业专家评分,评比出各大奖项入围名单140个,最终获奖名单81个。 依靠浪潮云洲工业互联网平台,浪潮服务器工厂打造“5G+工业互联网”智能工厂,打造中国第一个服务器智能柔性生产基地,在业界首次实现信息化配备生产制作从大规模标准化向大规模定制化模式的降级。基于此,浪潮云洲荣获“维科杯·OFweek 2021中国智能制作数字化工厂年度标杆企业奖”。 在工业互联网利用实际中,工业仿真是推动企业数字化转型的重要形式。浪潮云洲推出基于AR/VR的虚拟现实工业仿真解决方案,服务于企业设计、制作等场景。凭借解决方案的深刻利用,浪潮云洲荣获“维科杯·OFweek 2021中国工业互联网年度优良解决方案奖”。 将来,浪潮云洲将充分发挥国家级双跨平台劣势,聚焦构筑“工业互联网+智能制作”产业生态,真正助力企业数字化转型与高质量倒退。

September 30, 2021 · 1 min · jiezi

关于云计算:腾讯首个CNCF沙箱开源项目

作者SuperEdge开发者、腾讯云容器产品核心边缘计算团队、腾讯开源生态治理协会 SuperEdge 进入 CNCF 沙箱2021 年 9 月 14 日,云原生分布式边缘容器零碎 SuperEdge 通过了寰球顶级开源基金会 CNCF 技术监督委员会的评定正式成为 CNCF 沙箱我的项目。后续该我的项目代码、文档、官网等内容的所有权将正式转交给 CNCF 基金会进行托管。这不仅意味着 SuperEdge 失去了云原生开源社区的认可,也标记着该我的项目与其背地的所有商业公司齐全解耦,为原生的 Kubernetes 在边缘落地迈出了重要一步。 SuperEdge 是基于原生 Kubernetes 的分布式边缘云容器管理系统,由腾讯云牵头,联结英特尔、VMware 威睿、虎牙、寒武纪、美团、首都在线等多家厂商在2020年12月独特发动的边缘计算开源我的项目,旨在将把 Kubernetes 弱小的容器治理能力无缝的扩大到边缘计算和分布式资源管理的场景中,为边缘 IoT,边缘 AI,边缘智慧行业等赋能,推动物联网和数字化的落地。 边缘计算在云计算畛域处在一个承前启后的地位。SuperEdge 我的项目在开源之初就联结了从硬件厂商,到边缘利用开发商、到边缘利用应用方的各类型企业,以开源治理的形式去推动 SuperEdge 的倒退和边缘规范的确立。本次将我的项目捐献给 CNCF 云原生计算基金会,最大水平的保障了我的项目的中立性,有利于寰球开发者、技术社区、合作伙伴等独特参加边缘的建设,合作共赢,减速边缘技术的落地和边缘规范的建设。 SuperEdge社区和开发者 自 SuperEdge 开源以来,10个月曾经公布6个稳固版本,30多篇技术文章,吸引了30+ Contributors,590+ Github Star 和 137 Fork,前后有600多人参加探讨或者应用过 SuperEdge。在此感激一下十大卓越开发者,没有你们的奉献,就不会有 SuerEdge。 欢送应用SuperEdge和参加SuperEdge的开发,SuperEdge欢送每个使用者和开发者和咱们共建边缘生态。 腾讯云边缘容器产品SuperEdge 来自腾讯云边缘容器产品 TKE Edge,是其边缘能力的汇合。 值得一提的是自 SuperEdge 开源开始,腾讯云外部就删除了 SuperEdge 的外部仓库,商业产品私有云 TKE Edge 和私有化 TKE Edge 所有边缘能力的开发和问题修复都在 Github 的 https://github.com/superedge/... 对立进行,无一例外。 ...

September 29, 2021 · 1 min · jiezi

关于云计算:终于有人把数据存取与加密讲明白了

简介随着航海征程的推动,乔巴的背包是越来越鼓,也越来越大了。看着轻装上阵的搭档们,它的心田是简单的。 乔巴 OS :我也想找个中央贮存一下我的背包,可是我又放心背包外面的内容,被人窃取了可怎么好? 针对乔巴的需要,QingStor 对象存储提供了一套残缺的解决方案。既能满足你多种多样的数据存取的需要,同时,还能确保你的数据安全。 本文中用到的相干名词有: 什么是加密QingStor 对象存储提供怎么的计划,来打消乔巴的担心呢?咱们先来看看存/取数据的流程: 通过上图,咱们能够晓得,乔巴要将背包存起来,首先须要将背包运送到存储地点(QingStor 对象存储)。 以后曾经有比拟成熟的做法用来保障数据在传输过程中的平安,也就是通用的 SSL 协定,这里不做具体阐明了。 除此之外,乔巴也能够给本人的背包加个锁,即:客户端加密。这部分操作,是由乔巴自发实现并监管的。这里也不做具体阐明。 等背包运输到 QingStor 了,QingStor 再对背包进行加密,这个就是服务端的数据加密。 为了打消乔巴的担心,QingStor 对象存储提供了一套残缺的解决方案:SSL 协定 + 服务端数据加密。 具体怎么做的呢?上面咱们来具体说一下整个的加密/解密过程吧。好期待哦! 加密过程乔巴当初想把背包(数据)交由 QingStor 对象存储,那么整个过程如下: 乔巴在本人的背包上贴上密钥,依据密钥生成的 MD5 值,和加密算法等标签。并保留这些信息。乔巴将贴有这些标签的背包,交给 QingStor 对象存储。QingStor 在收到乔巴提交的背包后,先取下密钥,计算出密钥的 MD5 值。QingStor 取下乔巴背包上的 MD5 值,与计算出的 MD5 值进行比对,以确认密钥在提交过程中没有被批改。如果 QingStor 发现 MD5 值不统一了,揭示乔巴,背包内容可能会被窃取,需从新对背包贴标签,并再次提交。如果 QingStor 发现 MD5 值统一时,阐明密钥没有被批改,背包提交过程中是平安的,这个时候从背包上取下加密算法,对背包外面的数据进行加密。为了确保背包外面的数据仅乔巴一个人能够获取,在加密实现后,QingStor 抛弃背包上的密钥,仅保留依据密钥计算出来的 MD5 值,用于取数据时的认证。至此,乔巴就能够拿着加密信息来到了。 解密过程一段时间后,乔巴要从 QingStor 取回背包了,那么整个过程又是怎么的呢? 乔巴提出取数据的申请,并在申请外面提交过后存储背包时的标签:密钥,依据密钥生成的 MD5 值,和加密算法给 QingStor。QingStor 收到乔巴提交的申请后,先取下密钥,计算出 MD5 值。QingStor 再取下乔巴取包申请上的 MD5 值,与计算出的 MD5 进行比对,以确认密钥在提交过程中没有被批改。若 QingStor 发现两个 MD5 值不统一,揭示乔巴,依据约定,你这个背包取不了,需从新回去找找密钥,再次提交申请啊。若 QingStor 发现两个 MD5 值统一,阐明这个申请是非法的。QingStor 用乔巴提交的密钥将背包数据进行数据。QingStor 将解密后的背包返回给乔巴。至此,乔巴就能够拿到本人的原始背包了。 ...

September 29, 2021 · 4 min · jiezi

关于云计算:云原生动态周刊你订阅-GitHub-README-播客了吗

云原生一周动静要闻: Apache Kafka 3.0.0 公布Deis Labs 推出 WebAssembly PaaS 平台 HippoMirantis Flow 将数据中心重塑为云原生零碎Docker 团队减速开发 Docker 桌面的新性能CNCF 最终用户技术雷达提供对 DevSecOps 的洞察开源我的项目举荐文章举荐编程通常被认为是一项孤单的工作,但实际上它是由开源维护者、贡献者和团队领导的世界上规模最大的社区工作,这些无名英雄破费了漫长的工夫来构建软件、修复问题、答复问题和治理社区。 为了让更多人听到宽广开发者的声音,GitHub 创立了 README 我的项目,该我的项目主要职责是与社区互动并摸索围绕开源世界的故事、挑战、技术和文化。目前有四大板块: 专题文章:这些故事展现了为解决世界上最辣手的问题而在GitHub上创立的我的项目和相干人员。开发者故事:意识每天都在推动开源世界向前倒退的维护者和开发者。最佳实际:由专家级开发者和团队给大家分享软件工程、合作和文化方面的最佳实际。Podcast:通过播客凝听您最喜爱的开源我的项目,以及创立这些我的项目的开发人员。举荐大家订阅 Podcast,有助于理解目前寰球顶尖的那些开源我的项目是如何运作的。PC 端能够应用 Google Podcast 来收听。 云原生动静Apache Kafka 3.0.0 公布日前,Apache Kafka® 社区发表 Apache Kafka 3.0 的公布。Apache Kafka 3.0 在很多方面都是一个重要的版本。Apache Kafka 3.0 引入了各种新性能,对 API 进行了突破性的批改,并改良了 KRaft--Apache Kafka 的内置共识机制,该机制将取代 Apache ZooKeeper™。 新性能如下: 增加 InsertHeader 和 DropHeaders 连贯转换 KIP-145在 KIP-500 模式下实现 createPartitions如果分区从 fetcher 中删除,正本 fetcher 不应在发散期间更新分区状态惯例变动: 弃用 Kafka 中对 Java 8 的反对弃用 Kafka 中对 Scala 2.12 的反对要查看性能和加强性能的残缺列表,请浏览 Apache Kafka 3.0.0 发行阐明。 ...

September 29, 2021 · 2 min · jiezi

关于云计算:斗鱼直播云原生实践之注册中心篇

作者孔令圳,斗鱼首席架构师,全面负责斗鱼全站技术架构体系布局和建设,10 余年中大型互联网产品架构教训,善于高并发、高可用场景下的架构与方案设计。 于竞,斗鱼技术保障运维专家,负责斗鱼高可用基础架构建设,善于注册核心、监控体系等技术畛域,同时也是斗鱼多活根底保障负责人。 唐聪,腾讯云资深工程师,极客工夫专栏《etcd 实战课》作者,etcd 沉闷贡献者,次要负责腾讯云大规模 k8s/etcd 平台、有状态服务容器化、在离线混部等产品研发设计工作。 陈鹏,腾讯云容器服务产品架构师,多年专一云原生畛域,帮忙了大量用户云原生容器化革新和生产落地,领有丰盛的一线实践经验,也发表了海量的云原生技术文章。 业务背景和痛点斗鱼直播作为业界当先的游戏直播平台,每天为数以亿计的互联网用户提供优质的游戏直播观看、互动和娱乐等服务。 随着近年直播市场的炽热,斗鱼直播平台作为业内口碑和体验俱佳的互联网公司,用户量也呈现井喷式增长。海量用户给平台带来的稳定性技术挑战也越发强烈,斗鱼的老架构如下图所示,无论是业务撑持还是架构设计,均存在肯定的危险和隐患。 斗鱼老架构 图一 斗鱼老架构 为了给用户带来更好的可用性体验,斗鱼急需解决繁多数据中心的问题,将老架构从单数据中心降级到多数据中心。 多数据中心挑战在实现单活降级为多活的过程中,为了确保无故障的迁徙降级,咱们面临一系列挑战,比方: 有状态服务 etcd、zookeeper 等如何多数据中心同步?利用彼此之间存在 1 个简单的树状或网状依赖关系,应该从哪里开始迁徙?按什么维度来划分指标的边界,怎么防止业务焊死在一起,造成无从下手的场面?如果迁徙后呈现问题,如何疾速复原,并且不株连已迁徙胜利的业务?因单活降级到多活的过程中,波及零碎泛滥,本文将是斗鱼直播多活革新系列的第一篇,只聚焦于注册核心模块,因而咱们先和你介绍下注册核心背地的 etcd 和 zookeeper。 zk/etcd 承当的角色dubbo 通过注册核心来解决大规模集群下的服务注册与发现问题,以下是注册核心架构图: dubbo 默认反对 zookeeper 注册核心,尽管新版也有 etcd 实现,但该实现尚不足大规模投产的先例,Java 技术栈采纳 etcd 作为注册核心的案例也比拟常见。 当采纳 zookeeper 作为 dubbo 注册核心时,其注册关系为树形构造,具体构造如下图所示: 因为 zookeeper 是基于相似文件系统的树形构造来存储数据,但 etcd 却是采纳键值对存储,二者之间的差别会给注册关系同步带来较大艰难。 此外,如果从 zookeeper 迁徙到 etcd,则在整个迁徙过程中:已有的线上服务不能受损,更不能停服;如果迁徙失败,还要能回退到到 zookeeper。 同城双活与多活新架构为了实现多活,咱们通过跨数据中心的同步服务、服务依赖梳理与边界划分、可控变更等技术手段和运维理念,胜利解决了以上挑战,设计了如下一套新的架构来实现多活,如下图所示: 图二 斗鱼多活新架构 在新的架构下,能够按域名甚至是 URL 来细粒度的调度流量,RPC 层面也具备了主动就近调用的能力,其中注册核心的部分架构图如下: 图三 斗鱼注册核心老架构 注册核心多活计划选型与指标在注册核心多活革新过程中,咱们面临多个计划,如下表所示: 因为历史起因,咱们有 zookeeper(以下简称 zk)和 etcd 这 2 套注册核心,加上咱们有 Java、Go、C++、PHP 这 4 个技术栈,因而在注册核心畛域依然一些有余,心愿能对立到 etcd 来解决痛点问题,并达到以下指标: ...

September 29, 2021 · 5 min · jiezi

关于云计算:科技热点周刊|GitLab-将上市芯片战争欧洲云计算市场份额下降

GitLab 将上市随着支出持续增长和亏损扩充,DevOps 宠儿 GitLab 终于申请了首次公开募股 (IPO)。 GitLab 始终致力于成为开发人员的一站式商店,与 GitHub(2018 年被微软以 75 亿美元高价收买)和其余 DevOps 公司竞争。 在 IPO 文件中,GitLab 示意在截至 2022 财年,其支出无望增长至 2.33 亿美元。相比之下,2021 财年报告的支出为 1.522 亿美元,而前一年为 8,120 万美元。 参考链接:【1】https://www.theregister.com/2... 【2】https://www.sec.gov/Archives/... 英特尔正寻求以 300 亿美元的价格收买 GlobalFoundries为了更好地与台积电和三星竞争,有传言称英特尔将以 300 亿美元的价格收买 Global Foundries 。格罗方德半导体股份有限公司 (Global Foundries) 是一家总部位于美国加州硅谷桑尼维尔市的半导体晶圆代工厂商, 成立于 2009 年 3 月。格罗方德半导体股份有限公司由 AMD 拆分而来、与阿联酋阿布扎比先进技术投资公司 (ATIC) 和穆巴达拉倒退公司 (Mubadala) 联结投资成立的半导体制作企业。GLOBALFOUNDRIES 旗下领有德国德累斯顿、美国奥斯汀和纽约州(建设中)等多座工厂。自今年年初以来,英特尔已承诺在将来 2 年内建设两家芯片制作工厂,总投资 200 亿美元,并将再投资 35 亿美元降级其现有的新墨西哥工厂。英特尔还在游说一些欧洲政府筹集 100 亿美元在他们的地区建设芯片设施。 参考链接:【1】https://searchdatacenter.tech... 欧洲云厂商市场份额降落自 2017 年以来,欧洲云市场可能增长了近 4 倍,当初约 88 亿美元,但钻研表明,本地服务提供商的份额持续输给美国云厂商。 ...

September 28, 2021 · 2 min · jiezi

关于云计算:纯净Ubuntu16安装CUDA91和cuDNN

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 本篇概览本人有一台2015年的联想笔记本,显卡是GTX950M,已装置ubuntu 16.04 LTS桌面版,为了应用其GPU实现deeplearning4j的训练工作,本人入手装置了CUDA和cuDNN,在此将整个过程记录下来,以备未来参考,整个装置过程分为以下几步:筹备工作装置Nvidia驱动装置CUDA装置cuDNN特地问题阐明依照个别步骤,在装置完Nvidia显卡驱动后,会提醒对应的CUDA版本,接下来依照提醒的版本装置CUDA,例如我这里提醒的是11.2,失常状况下,我应该装置11.2版本的CUDA然而我抉择9.1版本就行装置,因为之前的开发中发现deeplearning4j应用了11.2的SDK后,启动利用会有ClassNotFound的谬误,此问题至今未修复(羞愧,欣宸程度如此之低...),因而,我在Nvidia驱动提醒11.2版本的状况下,仍然装置了9.1版本,起初在此环境运行deeplearning4j利用一切正常如果您没有我这类问题,齐全能够依照驱动指定的版本来装置CUDA,具体的操作步骤稍后会具体说到;筹备工作接下来的操作,除了在网页下载,其余都是ssh近程连贯到ubuntu机器操作的,ssh登录的帐号为一般帐号,并非root如果已有驱动,请先删除:sudo apt-get remove --purge nvidia*禁用nouveau驱动(很重要),用vi关上文件<font color="blue">/etc/modprobe.d/blacklist.conf</font>,在尾部减少以下内容,而后保留退出:blacklist nouveaublacklist lbm-nouveauoptions nouveau modeset=0alias nouveau offalias lbm-nouveau off敞开nouveau:echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf更新initramfs:update-initramfs -u执行reboot重启电脑重启后,执行以下命令,应该不会有任何输入,证实nouveau曾经禁用:lsmod|grep nouveau获取Kernel source:sudo apt-get install linux-source装置过程中显示信息如下图: 依据上图红框中的信息,可知内核版本号为<font color="blue"></font>,于是执行以下命令:sudo apt-get install linux-headers-4.4.0-210-generic下载和装置Nvidia驱动拜访Nvidia网站,地址<font color="blue">https://www.nvidia.cn/Downloa...</font>,而后抉择对应的显卡和操作系统,我的抉择如下图所示: 点击上图<font color="blue">搜寻</font>按钮后,进入下图页面,点击下载: 下载失去的文件名为<font color="blue">NVIDIA-Linux-x86_64-460.84.run</font>敞开图形页面:sudo service lightdm stop给驱动文件减少可执行权限:sudo chmod a+x NVIDIA-Linux-x86_64-460.84.run开始装置:sudo ./NVIDIA-Linux-x86_64-460.84.run -no-x-check -no-nouveau-check -no-opengl-files遇到下图,抉择红框: 遇到下图,间接回车:复原图形页面:sudo service lightdm start执行命令<font color="blue">nvidia-smi</font>,如果驱动装置胜利,会显示以下内容:will@lenovo:~/temp/202106/20$ nvidia-smiSun Jun 20 09:02:11 2021 +-----------------------------------------------------------------------------+| NVIDIA-SMI 460.84 Driver Version: 460.84 CUDA Version: 11.2 ||-------------------------------+----------------------+----------------------+| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC || Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. || | | MIG M. ||===============================+======================+======================|| 0 GeForce GTX 950M Off | 00000000:01:00.0 Off | N/A || N/A 41C P0 N/A / N/A | 0MiB / 4046MiB | 1% Default || | | N/A |+-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+| Processes: || GPU GI CI PID Type Process name GPU Memory || ID ID Usage ||=============================================================================|| No running processes found |+-----------------------------------------------------------------------------+从上述内容可见<font color="blue">CUDA Version: 11.2</font>示意该驱动对应的CUDA版本应该是<font color="red">11.2</font>,正如后面所说,我这边遇到了问题,因而接下来会装置9.1版本,然而您能够抉择装置<font color="red">11.2</font>装置CUDA浏览器拜访<font color="blue">https://developer.nvidia.com/...</font>,点击红框中的链接: ...

September 28, 2021 · 2 min · jiezi

关于云计算:云成功道路上IT-团队不能犯的-4-个错误

随着企业大规模上云,云团队须要足够的能力解决各类云我的项目,现实状况下,云团队简直能够通过任何一个云我的项目来驱动业务。然而,经常有些谬误可能会使我的项目脱轨,云团队的成功之路充斥了艰难。为了最大水平利用好云,这 4 个常见的谬误值得你思考。 谬误的团队和技能绝对简略的云我的项目可能会在多数云专家的帮忙下取得成功。但胜利的云我的项目可能须要不同技能的云团队成员配合实现。例如,须要应用 Java 进行软件开发的云我的项目,无奈让专门钻研 PHP 脚本语言的开发人员来进行。 “团队是一个工具包。为手头的工作抉择适合的工具。” 企业也能够针对云团队的要害角色进行额定招聘或者培训。 没有后备打算云不是一个“有”或“无”的命题,有很多办法能够应用云。尽管云服务厂商在持续增长,但随着业务需要的一直变动,云服务也可能发生变化,厂商可能会中断客户认为必不可少的服务。 很多时候,云团队遵循“云优先”或“仅云”的心态,并且他们不开发“去云我的项目”[1] 或迁徙到其余云厂商的备份。一些我的项目可能难以达到预期或者彻底失败。衰弱的云团队或者企业应该意识到这些危险,并将这些因素纳入他们的团队和我的项目布局中。 不足流程性云我的项目的胜利有时不在于实现工作,而更多地在于如何实现工作。 云计算的绝大部分,尤其是安全性和合规性,依赖于成熟且通过三思而行的最佳实际、流程和程序。最佳实际应该领导从初始架构设计到我的项目后的监控[2] 和剖析的所有内容。漠视流程重要性的组织和云团队将面临可能提早或危及我的项目的危险。 沟通不畅技术工作受害于云团队成员之间的凋谢沟通[3] 和密切协作,应及时关注云技术和云服务的倒退并及时共享信息。 “沟通和合作推动翻新。” 商业首领和项目经理必须竭力促成这种分割,以防止可能妨碍思维和翻新流动的技术孤岛或领地。不足沟通还会导致谬误和忽略、反复工作以及其余对团队工夫和能力的节约。 【1】https://searchcloudcomputing.... 【2】https://searchcloudcomputing.... 【3】https://www.indeed.com/career... 【4】原文链接:https://searchcloudcomputing.... 作者Stephen J. Bigelow 本文由博客一文多发平台 OpenWrite 公布!

September 27, 2021 · 1 min · jiezi

关于云计算:用Calico网络策略设置主机node防火墙规则

Cloudpods的服务运行在一个Kubernetes集群之上,该Kubernets集群的网络计划采纳了Calico。因而运行Cloudpods服务的节点的iptables规定被Calico接管。这就导致咱们在Cloudpods服务节点上配置的防火墙规定会被Calico配置的iptables规定笼罩,导致防火墙规定不失效。本文介绍如何应用Calico的HostEndpoint和GlobalNetworkPolicy来设置主机节点的防火墙规定。1、筹备calicoctl工具 下载二进制 curl -O -L https://github.com/projectcal...chmod +x calicoctl 设置环境变量 export DATASTORE_TYPE=kubernetesexport KUBECONFIG=/etc/kubernetes/admin.conf 2、配置HostEndpoint规定 对每一台主机的每个须要管制防火墙规定接口,定义对应的HostEndpoint规定 apiVersion: projectcalico.org/v3kind: HostEndpointmetadata: name: <node_name>-<interface_name> labels: role: masterenv: productionspec: interfaceName: <interface_name> node: <node_name> expectedIPs: ["<interface_ip>"] apiVersion: projectcalico.org/v3kind: HostEndpointmetadata: name: <node_name>-<interface_name> labels: role: masterenv: productionspec: interfaceName: <interface_name> node: <node_name> expectedIPs: ["<interface_ip>"] 利用该规定: ./calicoctl apply -f hep.yaml 3、定义网络规定 定义好HostEndpoint之后,采纳Calico的GlobalNetworkPolicy定义防火墙规定。 apiVersion: projectcalico.org/v3kind: GlobalNetworkPolicymetadata: name: <whitelist_gnp_name>spec: order: 10 preDNAT: true applyOnForward: true ingress: - action: Allow protocol: TCP source: nets: [<src_net_block1>, <src_net_block2>] destination: ports: [<dst_port1>, <dst_port2>]selector: "role==\"master\"" ...

September 27, 2021 · 1 min · jiezi

关于云计算:为了企业上云超过20的成本浪费不可避免

“企业上云”是指企业通过利用便捷的网络资源,实现治理、业务等方面的数字化转型,重构企业的外围竞争力,最大限度发明企业价值。 即便企业目前还没到利用大数据和云计算的阶段,但作为企业的老板或企业的高层管理者,理解云、了解云,并且早做策略布局曾经成为必修课。 企业上云的劣势 毋庸置疑,上云对于企业将来的倒退是大势。在过来的2020年,这个势头因为疫情的催化,变得更加迅猛,无关考察显示,因为新冠疫情大风行,将近40%的公司放慢了业务向云的迁徙。各行各业都在减速推动数字化转型的过程。 企业上云的劣势有很多: 1)大大降低了开发技术的老本 云上有丰盛的服务。相比购买物理硬件的价格,应用云极具性价比,能够帮忙很多企业缩小很多不必要的开销。 2)企业数据,随时监控 “云”的劣势在于其灵活性和移动性。借助云,管理人员能够随时随地查看和治理数据,而不受工夫、空间的限度。企业管理者也不用局限于本人应用的观看设施,台式机、笔记本电脑、平板电脑、手机都能够应用。 3)精准营销,最低老本取得客户 通过“云”,企业能够通过全渠道经营治理,享受产品红利,用最新的营销工具升高企业的老本。 4)整合资源,构建企业流量池,构建行业云平台 企业整合利用周边上中下游产业资源,搭建产业云平台,为产业链提供一站式服务。正当利用平台,绑定单干客户,也能够打造企业流量池,不必放心资源获取。 企业上云老本增高 云计算的按需应用、灵活性高、可扩展性强等特点,博得了泛滥企业的青眼,然而如何无效地上云,降低成本,却成为很多企业所关注的问题。 随着云计算日益成熟,其商用场景也越来越宽泛,在其市场快速增长中,很多云服务商在推广云服务时,都广泛提到企业上云能节约企业老本,然而在理论状况中,这一说法并不精确,企上云模式多样化,各自业务与并重也不同,在云化过程中,老本账还须要好好算算。 局部上云的企业就面临云计算技术老本投入超支的状况。例如,依据 CNCF 与 FinOps 基金会联结公布的报告显示,10% 的受访者每月在 Kubernetes 部署上的收入超过 100 万美元,67% 的开发者在过来 12 个月中收入减少了 20% 甚至更多。随着收入的晋升,企业难以对将来老本进行精确预测。 依据云服务机构 HashiCorp 近期公布的一份报告,不同规模、不同行业及不同地区的企业,对云老本的敏感性存在很大差别。 企业规模越大,云估算也越高。约62%的小型企业估算低于10万美元,而大型企业云估算有余10万美元的比例仅为7%。另外,34%的大型企业每年设定了至多1000万美元的云估算,能达到这个估算规模的小型企业只有 1%。 依据相干数据分析,组织的云估算数额越大,产生超支的可能性就越高。在估算在 200 万~1000 万美元的企业中,近半数(46%)呈现了超支;但估算低于 10 万美元的企业中,只有四分之一(27%)产生超支。三分之二的已超支受访者预计,新一年内云估算将持续超支。 很显著,老本曾经成为不少企业上云面临的重要问题,而且因为云收入的跟踪与管制比较复杂,很多企业节约了20%甚至更高的云收入。 Gartner 钻研显示:均匀来说企业上云会节俭14%的老本,然而因为不足老本优化伎俩,80%企业的云资源老本将会大幅超出预算;同时,45% 的企业因为不足优化措施,在间接迁徙上云的过程中会超买 55% 的资源,并且在上云初期的18个月内多破费 70%。 如何治理云老本 要升高云老本,必须首先通过发现云资源的低效应用来辨认节约。云老本治理不是一个一劳永逸的过程,但如果解决了节约的大部分云收入和估算超支的要害畛域,就能够立刻开始节俭云基础设施老本。 1、打算和剖析 仅仅采纳云计算技术并不是主动节省成本的办法。而进行周密的打算,而后进行具体的老本效益剖析至关重要。 云老本的治理要从布局以后资源开始,并对每项服务的全年需要进行最佳估算。而后进一步进行布局,能够确定须要多长时间的特定资源。最初,应用这些信息购买预约或预付资源,通过承诺资源应用多少和收入程度,节俭总资源收入。 2、致力优化 将企业原有工作负载和零碎迁徙到公共云时,须要预测其配置需要,并适当理解本人的云计算配置。 一旦进入云平台,须要进行资源适度配置的传统数据中心做法。依附主动扩大、无服务器产品和云计算的弹性,能够疾速动静地响应需要稳定。 3、发明老本意识文化 企业进行云迁徙既是一种文化改革,也是一种技术改革。激励以节约老本和进步性能为重点的一种重视老本的云计算文化十分重要。 老本优化是每个人的责任。例如,交付团队不仅应负责提供代码,还应负责管理其固定和可变老本。他们是承当这一责任的最佳载体,因为他们能够做出与老本相干的最佳衡量和优化决策。 通过老本通明和洁净的财务数据能力精确理解收入和老本节俭的机会。公共云提供商提供了大量具备价值的账单数据。对于企业来说,重要的是建设一种策略,以利用其余元数据(包含标签)来加强此数据,以便无效地应用这些信息。 最初,企业须要依据业务指标来掂量其云计算收入,例如总收入、订户和已实现的订单。这很重要,因为它容许企业在收入中增加场景,并将其对话主题从云计算成本更改为云计算投资回报率(ROI)。

September 27, 2021 · 1 min · jiezi

关于云计算:DL4J实战之二鸢尾花分类

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 本篇概览本文是《DL4J》实战的第二篇,后面做好了筹备工作,接下来进入正式实战,本篇内容是经典的入门例子:鸢尾花分类下图是一朵鸢尾花,咱们能够测量到它的四个特色:花瓣(petal)的宽和高,花萼(sepal)的 宽和高: 鸢尾花有三种:Setosa、Versicolor、Virginica明天的实战是用前馈神经网络Feed-Forward Neural Network (FFNN)就行鸢尾花分类的模型训练和评估,在拿到150条鸢尾花的特色和分类后果后,咱们先训练出模型,再评估模型的成果: 源码下载本篇实战中的残缺源码可在GitHub下载到,地址和链接信息如下表所示(https://github.com/zq2599/blo...):名称链接备注我的项目主页https://github.com/zq2599/blo...该我的项目在GitHub上的主页git仓库地址(https)https://github.com/zq2599/blo...该我的项目源码的仓库地址,https协定git仓库地址(ssh)git@github.com:zq2599/blog_demos.git该我的项目源码的仓库地址,ssh协定这个git我的项目中有多个文件夹,《DL4J实战》系列的源码在<font color="blue">dl4j-tutorials</font>文件夹下,如下图红框所示: <font color="blue">dl4j-tutorials</font>文件夹下有多个子工程,本次实战代码在<font color="blue">dl4j-tutorials</font>目录下,如下图红框: 编码在<font color="blue">dl4j-tutorials</font>工程下新建子工程<font color="red">classifier-iris</font>,其pom.xml如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>dlfj-tutorials</artifactId> <groupId>com.bolingcavalry</groupId> <version>1.0-SNAPSHOT</version> </parent> <modelVersion>4.0.0</modelVersion> <artifactId>classifier-iris</artifactId> <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> </properties> <dependencies> <dependency> <groupId>com.bolingcavalry</groupId> <artifactId>commons</artifactId> <version>${project.version}</version> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency> <dependency> <groupId>org.nd4j</groupId> <artifactId>${nd4j.backend}</artifactId> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> </dependency> </dependencies></project>上述pom.xml有一处须要留神的中央,就是<font color="blue">${nd4j.backend}</font>参数的值,该值在决定了后端线性代数计算是用CPU还是GPU,本篇为了简化操作抉择了CPU(因为集体的显卡不同,代码里无奈对立),对应的配置就是<font color="red">nd4j-native</font>;源码全副在Iris.java文件中,并且代码中已增加具体正文,就不再赘述了:package com.bolingcavalry.classifier;import com.bolingcavalry.commons.utils.DownloaderUtility;import lombok.extern.slf4j.Slf4j;import org.datavec.api.records.reader.RecordReader;import org.datavec.api.records.reader.impl.csv.CSVRecordReader;import org.datavec.api.split.FileSplit;import org.deeplearning4j.datasets.datavec.RecordReaderDataSetIterator;import org.deeplearning4j.nn.conf.MultiLayerConfiguration;import org.deeplearning4j.nn.conf.NeuralNetConfiguration;import org.deeplearning4j.nn.conf.layers.DenseLayer;import org.deeplearning4j.nn.conf.layers.OutputLayer;import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;import org.deeplearning4j.nn.weights.WeightInit;import org.deeplearning4j.optimize.listeners.ScoreIterationListener;import org.nd4j.evaluation.classification.Evaluation;import org.nd4j.linalg.activations.Activation;import org.nd4j.linalg.api.ndarray.INDArray;import org.nd4j.linalg.dataset.DataSet;import org.nd4j.linalg.dataset.SplitTestAndTrain;import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;import org.nd4j.linalg.dataset.api.preprocessor.DataNormalization;import org.nd4j.linalg.dataset.api.preprocessor.NormalizerStandardize;import org.nd4j.linalg.learning.config.Sgd;import org.nd4j.linalg.lossfunctions.LossFunctions;import java.io.File;/** * @author will (zq2599@gmail.com) * @version 1.0 * @description: 鸢尾花训练 * @date 2021/6/13 17:30 */@SuppressWarnings("DuplicatedCode")@Slf4jpublic class Iris { public static void main(String[] args) throws Exception { //第一阶段:筹备 // 跳过的行数,因为可能是表头 int numLinesToSkip = 0; // 分隔符 char delimiter = ','; // CSV读取工具 RecordReader recordReader = new CSVRecordReader(numLinesToSkip,delimiter); // 下载并解压后,失去文件的地位 String dataPathLocal = DownloaderUtility.IRISDATA.Download(); log.info("鸢尾花数据已下载并解压至 : {}", dataPathLocal); // 读取下载后的文件 recordReader.initialize(new FileSplit(new File(dataPathLocal,"iris.txt"))); // 每一行的内容大略是这样的:5.1,3.5,1.4,0.2,0 // 一共五个字段,从零开始算的话,标签在第四个字段 int labelIndex = 4; // 鸢尾花一共分为三类 int numClasses = 3; // 一共150个样本 int batchSize = 150; //Iris data set: 150 examples total. We are loading all of them into one DataSet (not recommended for large data sets) // 加载到数据集迭代器中 DataSetIterator iterator = new RecordReaderDataSetIterator(recordReader,batchSize,labelIndex,numClasses); DataSet allData = iterator.next(); // 洗牌(打乱程序) allData.shuffle(); // 设定比例,150个样本中,百分之六十五用于训练 SplitTestAndTrain testAndTrain = allData.splitTestAndTrain(0.65); //Use 65% of data for training // 训练用的数据集 DataSet trainingData = testAndTrain.getTrain(); // 验证用的数据集 DataSet testData = testAndTrain.getTest(); // 指定归一化器:独立地将每个特征值(和可选的标签值)归一化为0平均值和1的标准差。 DataNormalization normalizer = new NormalizerStandardize(); // 先拟合 normalizer.fit(trainingData); // 对训练集做归一化 normalizer.transform(trainingData); // 对测试集做归一化 normalizer.transform(testData); // 每个鸢尾花有四个特色 final int numInputs = 4; // 共有三种鸢尾花 int outputNum = 3; // 随机数种子 long seed = 6; //第二阶段:训练 log.info("开始配置..."); MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder() .seed(seed) .activation(Activation.TANH) // 激活函数选用规范的tanh(双曲正切) .weightInit(WeightInit.XAVIER) // 权重初始化选用XAVIER:均值 0, 方差为 2.0/(fanIn + fanOut)的高斯分布 .updater(new Sgd(0.1)) // 更新器,设置SGD学习速率调度器 .l2(1e-4) // L2正则化配置 .list() // 配置多层网络 .layer(new DenseLayer.Builder().nIn(numInputs).nOut(3) // 暗藏层 .build()) .layer(new DenseLayer.Builder().nIn(3).nOut(3) // 暗藏层 .build()) .layer( new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD) // 损失函数:负对数似然 .activation(Activation.SOFTMAX) // 输入层指定激活函数为:SOFTMAX .nIn(3).nOut(outputNum).build()) .build(); // 模型配置 MultiLayerNetwork model = new MultiLayerNetwork(conf); // 初始化 model.init(); // 每一百次迭代打印一次分数(损失函数的值) model.setListeners(new ScoreIterationListener(100)); long startTime = System.currentTimeMillis(); log.info("开始训练"); // 训练 for(int i=0; i<1000; i++ ) { model.fit(trainingData); } log.info("训练实现,耗时[{}]ms", System.currentTimeMillis()-startTime); // 第三阶段:评估 // 在测试集上评估模型 Evaluation eval = new Evaluation(numClasses); INDArray output = model.output(testData.getFeatures()); eval.eval(testData.getLabels(), output); log.info("评估后果如下\n" + eval.stats()); }}编码实现后,运行main办法,可见顺利完成训练并输入了评估后果,还有混同矩阵用于辅助剖析: ...

September 27, 2021 · 2 min · jiezi

关于云计算:浪潮云说丨浪潮云行物联边缘云产品让物联感知无微不至

近年来,随着智慧城市、工业互联网、智能家居等畛域的高速倒退,物联网设施连贯量持续增长,据艾瑞征询测算,2020年中国物联网设施连贯量达74亿,预计到2025年将冲破150亿。随着万物互联概念的提出,物联网设施逐步成为数据生产的核心,其生产数据的增长速度也愈来愈快。因为物联网设施在地理位置上的分散性,以及对响应工夫、安全性的要求越来越高,比方智慧工厂、智慧园区、智慧社区等利用场景,导致越来越多的物联网数据须要在边缘侧进行剖析、解决与存储。 基于此,浪潮云推出浪潮云行·物联边缘云产品,基于浪潮分布式云架构,整合计算、存储、网络、平安、边缘节点治理等多项根底服务,交融浪潮云物联感知类数据智能服务,满足政企客户对智慧城市、智慧社区、工业互联网利用场景中的物联网边缘数据接入与治理的迫切需要。 四种产品状态 满足客户多元化需要 浪潮云行·物联边缘云产品蕴含物联边缘云网关、边缘云节点、物联边缘云一体机、物联边缘云集装箱4种状态,共计5款产品: 三类典型场景 赋能物联网智能边缘市场 基于浪潮云行·物联边缘云产品的性能,其典型利用场景为:城市治理场景:面对简单的数据采集环境、多样的数据通信协定、海量的原始数据以及不同的数据流向需要,浪潮云行·物联边缘云产品能够通过物联感知功能模块组合,提供从城市感知数据采集、数据流转、数据分析到数据转发的一体化边缘计算应用服务,满足城市治理的大多数物联网场景的通用需要,助力实现城市治理工作的全面感测、对立凋谢、协同运作。 智能制作场景:在凑近智能制作工厂侧部署浪潮云行·物联边缘云产品,为客户提供低时延的计算服务以及物联网平台服务。依靠厂区现有网络,通过在工厂产线各要害地位部署传感器、摄像头等传感设施采集数据,在边缘侧建设丰盛的物联网连贯,实现协定解析、数据聚合、数据分析等性能,赋能各类信息化利用,撑持预测培修、近程运维、故障诊断等性能的实现,解决工业制作方面生产和设施管控需要。 能源监管场景:传统的能源管理体系不论是从布局,设计和运作曾经不能满足生产多样化能源企业的需要,浪潮云行·物联边缘云产品将在边缘侧助力建设新型能源管控零碎平台,实时采集从能源管理、监测、剖析以及利用等各方面的数据并主动录入零碎,比方,依靠模型算法反对用电负荷和能源消耗的预测,实时动静调整用电负载和功率,满足能源设施应用的监控和治理需要,实现稳固牢靠供给、晋升能源利用率、升高碳排放。 浪潮云行·物联边缘云产品将云端计算能力扩大到用户现场,通过平台化的网络、计算、存储、平安和物联网利用解决方案,提供疾速、低延时的设施接入、设施治理、数据分析、事件触发、指令下发以及规定引擎利用等物联网服务,为智慧城市、工业互联网、智慧交通等畛域用户提供智能边缘物联网行业利用,助力智能物联网利用翻新。将来,面向越来越多的物联终端接入与边缘运算需要,浪潮云行·物联边缘云产品的利用空间将无比广大!

September 26, 2021 · 1 min · jiezi

关于云计算:在-Azure-CNI-中启用-Calico-WireGuard

去年 6 月,Tigera[1] 首次发表在 K8s 上反对用于集群内加密传输的开源 VPN - WireGuard[2]。咱们从来不喜爱坐以待毙,因而咱们始终在致力为这项技术开发一些令人兴奋的新性能,其中第一个性能是应用 Azure 容器网络接口(CNI)[3] 在 Azure Kubernetes 服务(AKS)[4] 上反对 WireGuard。 首先,这里简略回顾一下什么是 WireGuard 以及咱们如何在 Calico 中应用它。 WireGuard 是一种 VPN 技术,从 Linux 5.6 内核开始默认蕴含在内核中,它被定位为 IPsec 和 OpenVPN 的替代品,旨在更加疾速、平安、易于部署和治理。正如不断涌现的 SSL/TLS 的破绽显示,明码的敏捷性会极大减少复杂性,这与 WireGuard 的指标不符,为此,WireGuard 成心将明码和算法的配置灵活性升高,以缩小该技术的攻击面和可审计性。它的指标是更加简略疾速,所以应用规范的 Linux 网络命令便能够很容易地进行配置,并且只有约 4000 行代码,使得它的代码可读性高、容易了解、审查。 WireGuard 是一种 VPN 技术,通常被认为是 C/S 架构,它同样能在对等的网格网络架构中配置应用,这就是 Tigera 设计的能够在 Kubernetes 中应用的 WireGuard 解决方案。应用 Calico,将所有启用 WireGuard 的节点互相对等造成一个加密的网格。它甚至反对在同一集群内同时蕴含启用 WireGuard 的节点与未启用 WireGuard 的节点,并且能够互相通信。 咱们抉择 WireGuard 并不是一个折中的计划。咱们心愿提供最简略、最平安、最疾速的形式来加密传输 Kubernetes 集群中的数据,mTLS、IPsec 或简单的配置不是咱们想要的。事实上,你能够把 WireGuard 看成是另一个具备加密性能的 overlay。 ...

September 26, 2021 · 2 min · jiezi

关于云计算:实时互动在毫秒间真真少不了它

September 24, 2021 · 0 min · jiezi

关于云计算:使用Linux-vfio将Nvidia-GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传须要应用 vfio 的形式。次要是因为在 vfio 形式下对虚构设施的权限和 DMA 隔离上做的更好。然而这么做也有个毛病,这个物理设施在主机和其余虚拟机都不能应用了。 qemu 间接应用物理设施自身命令行是很简略的,关键在于当时在主机上对系统、内核和物理设施的一些配置。 单纯从 qemu 的命令行来看,其实和一般虚拟机启动就差了最初那个 -device 的选项。这个选项也比拟容易了解,就是把主机上的设施 0000:00:01.0 传给了虚拟机应用。 $ qemu-system-x86_64 -m 4096 -smp 4 --enable-kvm \ -drive file=~/guest/fedora.img \ -device vfio-pci,host=0000:00:01.0零碎及硬件筹备BIOS中关上IOMMU设施直通在 x86 平台上须要关上 iommu 性能。这是 Intel 虚构技术 VT-d(Virtualization Technology for Device IO) 中的一个局部。有时候这部分的性能没有被关上。 关上的形式在 BIOS 设置中 Security->Virtualization->VT-d 这个地位。当然不同的 BIOS 地位可能会略有不同。记得在应用直通设施前要将这个选项关上。 内核配置勾选IOMMUINTEL_IOMMU│ Location: ││ -> Device Drivers ││ (2) -> IOMMU Hardware Support (IOMMU_SUPPORT [=y])内核启动参数enable IOMMUBIOS 中关上,内核编译选项勾选还不够。还须要在疏导程序中增加上内核启动参数 对应编辑 /etc/default/grub, 设置 GRUB_CMDLINE_LINUX=$ cat /etc/default/grub...GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt vfio_iommu_type1.allow_unsafe_interrupts=1 rdblacklist=nouveau nouveau.modeset=0"... ...

September 24, 2021 · 5 min · jiezi

关于云计算:一朵云一张网一体化-GRTN-打造最佳流媒体场景实践

阿里巴巴 GRTN 是面向流媒体云原生设计的,不便客户构建本人的流媒体云原生利用,让流媒体服务无处不在。在近期召开的分布式云主题报告会上,阿里云资深技术专家卢日发表了题为《GRTN 打造阿里云边缘云最佳流媒体场景实际》的精彩演讲。 卢日分享了他对分布式云的见解,他示意,Gartner 间断两年将分布式云列为寰球 10 大最顶级技术趋势,并预测到 2025 年超过 50% 的企业将会应用分布式云,分布式云代表了云计算的将来。 分布式云能够分为本地公共云、城域区域云、5G 挪动边缘云、IoT 边缘云、网络边缘云等,别离服务于不同的用户场景。分布式云目前曾经处于翻新驱动期,将来充斥了挑战时机和设想空间。 阿里云提出的云 - 边 - 端协同体系,云 + 端造成一朵云,与分布式云的理念不约而同。 越来越多的生态利用依赖于云 - 边 - 端的协同,边缘云在体系之中表演承前启后的角色:一方面,整合各种各样的边缘节点,建设无处不在的边缘笼罩;另一方面,基于自研的分布式操作系统,实现对立纳管、对立调度。 阿里巴巴下一代流媒体网络 GRTN 就是构建在云 - 边 - 端协同体系下典型分布式流媒体实际,卢日将其总结为九个字:一朵云、一张网和一体化。 一朵云,指阿里云 GRTN 构建在核心云原生和边缘云原生的基础设施之上,并将技术有机交融,借鉴 SDN 的设计理念,进行 CD 拆散,将管制放在核心,将数据面散布下沉到阿里云边缘云 2800 多个节点之上。 一张网,具备场景化的 QOS 能力、400 毫秒以内的实时通信能力和超低延时能力,GRTN 同时具备了全链路的 RTC 和动静组网能力,这些能力都是下一代流媒体传输网络的典型特色。 一体化,GRTN 提供了一体化解决方案,不仅反对视频上云,视频散发的流媒体个性,同时具备分布式计算、分布式存储解决能力。GRTN 能够为企业构建流媒体利用提供更加易用,更加业余的服务,阿里云将 GRTN 打造成流媒体云原生 aPaaS 服务,领有更麻利的计算、更实时的连贯、更多元的资源、更精密的管制、更迷信的评测等特色。 更麻利的计算典型的流媒体全链路分为七个环节:采集、编码、发送、散发、接管、解码和渲染。 在传统架构外面,为了构建企业的流媒体云端利用,开发者通常的做法是将自研流媒体处理程序和软件或零碎部署到云核心、边缘计算的虚拟机或容器里,这在某种程度上不仅是资源节约,还会付出额定的研发老本去针对虚拟机资源进行部署和调度。 其实开发者真正须要的只是一个媒体处理软件的落地环境,而不是捆绑了操作系统、CPU、磁盘、网卡的通用设施。 因而阿里云提倡流媒体云原生平台针对重计算,为开发者提供 Serverless 服务,开发者能够将自研的媒体处理程序,卢日称其为 Serverless 流媒体算子,流媒体云原生平台能够按需对算子进行部署和调度。算子能够分为前解决算子和后处理算子,为媒体流进行前解决和后处理。 更实时的连贯在七个环节当中,两头三个环节与传输和组网相干,这个子畛域的外围指标次要有规模,比方是否反对千万级并发以及一些外围的 QoE 指标,如首屏、延时 、卡顿等。 ...

September 24, 2021 · 1 min · jiezi

关于云计算:终于有人把-ZFS-文件系统讲明白了

本文次要介绍高级文件系统 ZFS,将探讨它的起源、它是什么以及为什么它在技术人员和企业中如此受欢迎。 留神: 本文屡次提到 ZFS ,当谈到 ZFS 性能和装置时,其实说的是 OpenZFS。自从 Oracle 进行对 OpenSolaris 更新代码之后[1],ZFS(由 Oracle 开发)和 OpenZFS 遵循了不同的门路。 ZFS 的历史ZFS 文件系统在 2001 年由 Matthew Ahrens 和 Jeff Bonwick[2] 创立。ZFS 旨在成为 Sun Microsystems Solaris 操作系统[3] 的下一代文件系统。2008 年,ZFS 被移植到 FreeBSD,同年开始将 ZFS 移植到 Linux[4] 中。然而,因为 ZFS 是依据 Common_Development_and_Distribution_License(CDDL)[5] 开发的,该许可证与 GNU General Public License (GPL)[6] 不兼容,因而它不能蕴含在 Linux 内核中。为了解决这个问题,大多数 Linux 发行版都提供了装置 ZFS 的办法。 在 Oracle 收买 Sun Microsystems 后不久,OpenSolaris 就成为了闭源。ZFS 的所有后续开发也变成了闭源。过后 ZFS 的许多开发人员对这一转变感到不满,于是大概三分之二的 ZFS 外围开发人员(包含 Ahrens 和 Bonwick)来到了 Oracle。他们于 2013 年 9 月退出其余公司并创立了 OpenZFS 我的项目[7],该我的项目引领了 ZFS 的开源。 ...

September 24, 2021 · 2 min · jiezi

关于云计算:DL4J实战之一准备

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 对于DL4JDL4J是Deeplearning4j的简称,是基于Java虚拟机的深度学习框架,是用java和scala开发的,已开源,官网:https://deeplearning4j.org/对于《DL4J实战》系列《DL4J实战》是欣宸在深度学习畛域的原创,旨在通过一系列入手操作,由浅入深理解深度学习的基本知识,把握通用操作,并且对DL4J逐步纯熟,进而在学习和工作中解决理论问题本篇概览作为《DL4J实战》系列的开篇,本文为前面的文章和实战做好筹备工作,蕴含以下内容:确定环境和版本信息创立名为<font color="blue">dl4j-tutorials</font>的maven工程作为父工程,前面整个系列的代码都是dl4j-tutorial的子工程创立名为<font color="blue">commons</font>的子工程,这外面是一些罕用的工具代码,例如下载数据集、绘图等源码下载本篇实战中的残缺源码可在GitHub下载到,地址和链接信息如下表所示(https://github.com/zq2599/blo...):名称链接备注我的项目主页https://github.com/zq2599/blo...该我的项目在GitHub上的主页git仓库地址(https)https://github.com/zq2599/blo...该我的项目源码的仓库地址,https协定git仓库地址(ssh)git@github.com:zq2599/blog_demos.git该我的项目源码的仓库地址,ssh协定这个git我的项目中有多个文件夹,《DL4J实战》系列的源码在<font color="blue">dl4j-tutorials</font>文件夹下,如下图红框所示: 版本信息本系列实战都是在以下环境进行,这里列出来供您参考: 操作系统:win10 64位专业版JDK:1.8.0_281maven:3.6.2IEDA:2021.1.1 (Ultimate Edition)DL4J:1.0.0-beta7《DL4J实战》系列源码的专用父工程《DL4J实战》系列的源码都搁置在同一个父工程下,除了治理代码不便,还能够将各个子工程的依赖库版本对立治理,接下来创立这个父工程;新建名为<font color="blue">dl4j-tutorials</font>的maven工程,该工程下只有pom.xml,内容如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.bolingcavalry</groupId> <artifactId>dlfj-tutorials</artifactId> <version>1.0-SNAPSHOT</version> <modules> <module>commons</module> <module>classifier-iris</module> </modules> <packaging>pom</packaging> <properties> <java.version>1.8</java.version> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <dl4j-master.version>1.0.0-beta7</dl4j-master.version> <!-- Change the nd4j.backend property to nd4j-cuda-X-platform to use CUDA GPUs --> <!-- <nd4j.backend>nd4j-cuda-10.2-platform</nd4j.backend> --> <nd4j.backend>nd4j-native</nd4j.backend> <java.version>1.8</java.version> <maven-compiler-plugin.version>3.6.1</maven-compiler-plugin.version> <maven.minimum.version>3.3.1</maven.minimum.version> <exec-maven-plugin.version>1.4.0</exec-maven-plugin.version> <maven-shade-plugin.version>2.4.3</maven-shade-plugin.version> <jcommon.version>1.0.23</jcommon.version> <jfreechart.version>1.0.13</jfreechart.version> <logback.version>1.1.7</logback.version> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <dependencyManagement> <dependencies> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.29</version> </dependency> <dependency> <groupId>io.netty</groupId> <artifactId>netty-common</artifactId> <version>4.1.48.Final</version> </dependency> <dependency> <groupId>org.nd4j</groupId> <artifactId>${nd4j.backend}</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-api</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-data-image</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-local</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-datasets</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-core</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-ui</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-zoo</artifactId> <version>${dl4j-master.version}</version> </dependency> <!-- ParallelWrapper & ParallelInference live here --> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-parallel-wrapper</artifactId> <version>${dl4j-master.version}</version> </dependency> <!-- Used in the feedforward/classification/MLP* and feedforward/regression/RegressionMathFunctions example --> <dependency> <groupId>jfree</groupId> <artifactId>jfreechart</artifactId> <version>${jfreechart.version}</version> </dependency> <dependency> <groupId>org.jfree</groupId> <artifactId>jcommon</artifactId> <version>${jcommon.version}</version> </dependency> <!-- Used for downloading data in some of the examples --> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.3.5</version> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>${logback.version}</version> </dependency> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-data-codec</artifactId> <version>${dl4j-master.version}</version> </dependency> <dependency> <groupId>org.bytedeco</groupId> <artifactId>javacv-platform</artifactId> <version>1.5.2</version> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version>1.16.16</version> </dependency> </dependencies> </dependencyManagement></project>子工程commons前面的实战中,咱们罕用到下载文件、绘图等性能,因而新增一个子工程,将下载绘图等性能对应的工具类都在这外面给其余工程应用在<font color="blue">dl4j-tutorials</font>下新增名为<font color="blue">commons</font>的子工程,其pom.xml内容如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>dlfj-tutorials</artifactId> <groupId>com.bolingcavalry</groupId> <version>1.0-SNAPSHOT</version> </parent> <modelVersion>4.0.0</modelVersion> <artifactId>commons</artifactId> <dependencies> <dependency> <groupId>org.datavec</groupId> <artifactId>datavec-api</artifactId> </dependency> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> </dependency> <dependency> <groupId>org.deeplearning4j</groupId> <artifactId>deeplearning4j-core</artifactId> </dependency> <dependency> <groupId>jfree</groupId> <artifactId>jfreechart</artifactId> </dependency> </dependencies></project>目前commons子工程中有四个类,并非欣宸原创,而是来自DL4J的官网demo,其性能简介如下:DataUtilities:下载和解压指定地址对应的文件DownloaderUtility:DL4J为咱们筹备了丰盛的数据集(例如150个鸢尾花数据,带标签),这些内容保留在云端(AZURE),通过DownloaderUtility能够很不便的下载和解压这些数据集PlotUtil:绘制二维图形VAEPlotUtil:绘制变分自编码图形上述四个类在工程中的地位如下图所示,限于篇幅就不贴出代码了,有需要的话请在github上获取: ...

September 24, 2021 · 1 min · jiezi

关于云计算:40万奖池-顶级云服务资源云计算大赛系列公开课正式开播

问世于80年前的的Fortran 编译器,现在仍旧广泛应用于气象建模、流体力学、计算化学和其余须要简单线性代数与弱小计算能力的学科。也正因为创造了Fortran 编译器,Frances(Fran)Allen成为世界上第一位图灵奖女性得主。 从2015年引力波的发现到人类基因组打算,你都能从这些重大迷信停顿的背地发现一个独特的身影——计算技术。咱们曾经不能否定,当初许多畛域的钻研尤其是人工智能畛域都基于高性能的计算来进行,这样的钻研模式在各个学科中越来越趋于广泛。提供越来越先进的计算技术和工具,扭转计算的风貌,也成了时代赋予领有先进计算技术的科技企业、科研机构的使命。 9月15日,由中国计算机学会高性能计算业余委员会和中国信息通信研究院(以下简称中国信通院)领导, ACM中国高性能计算专家委员会(ACMSIGHPC)和云计算开源产业联盟联结主办,亚马逊云科技和腾讯云反对,阿里云、华为云、UCloud、天翼云等厂商参加的2021寰球高性能云计算翻新大赛(以下简称2021 MAXP大赛)正式启动。大赛以高性能云计算为主题,旨在进一步推动国内高性能计算的倒退,并为参赛者提供了高达40万元的奖金池,还会提供实习机会和权威荣誉证书。 扫码返回大赛官网 其中由亚马逊云科技反对的命题赛道,设计了以后AI畛域炽热的图机器学习的算法题目《基于DGL框架的图机器学习工作》以及无服务器计算相干的题目《基于Labmda的无服务器计算工作》。 围绕两大技术赛题,亚马逊云科技技术团队将为参赛团队带来共计5讲的系列公开课直播。课程内容蕴含如:Amazon Lambda、DGL、SageMaker等热门云计算利用的应用实操详解,以及较量赛题的深度解析与技巧分享。 本次公开课的第一讲将于9月24日晚7点正式开播,由亚马逊解决方案架构师吕宁为大家带来赛题解说以及Amazon Lambda性能介绍。直播详情见下方海报: 对于Amazon Lambda无服务器计算(Serverless computing)又被称为性能即服务(Function-as-a-Service,缩写为 FaaS),是云计算的一种模型。它使开发者可能构建更麻利的应用程序,从而可能更快地翻新和响应变动。 Amazon Lambda 是亚马逊云科技(Amazon Web Services)提供的一种无服务器的计算服务,使开发人员无需预置或治理服务器即可运行代码。借助 Lambda,开发者可能专一于编写程序代码,能够用它为简直任何类型的应用程序或后端服务运行代码。Lambda 服务自身提供主动扩大、内置高可用性以及按需付费的计费模型。 欲了解更多大赛精彩内容,请扫描下方二维码增加官网比赛助手进入较量探讨群。增加时请备注“机构+姓名+较量赛道”(“MAXP 翻新”,“MAXP DGL”,“MAXP Lambda”) 扫码关注比赛助手进入大赛探讨群ID:biendata02

September 23, 2021 · 1 min · jiezi

关于云计算:工业互联-在云之洲丨5GAR远程协助作业解决方案-赋能装备更智能

编者按《说文解字》:州,同“洲”,江河地方能够寓居生存的岛。《诗经》有诗句说:关关雎鸠,在河之洲。“云洲”,云上之洲,交融新一代信息技术,打造数字化转型洼地。 高质量倒退的时代使命,召唤制造业转型倒退,与工业互联网携手前行。为此,浪潮推出“工业互联 在云之洲”——浪潮云洲行业解决方案系列报道,走近配备、电子、化工、采矿、食品、制药等要害行业,展现工业互联网赋能的翻新实际。 数字经济时代,智慧工厂、无人工厂引领着工业转型降级。其中,近程帮助的需要越来越强烈。浪潮云洲推出“5G+AR”近程帮助作业解决方案,重点服务配备制作行业,赋能配备更智能,合作更便捷。 近程帮助作业的需要凸显 从行业倒退潮流看,随着智慧工厂建设的推动,“5G+AR”技术的利用越来越多,近程帮助作业提供了全新工作形式,促成降本增效。 从配备制作行业企业痛点看,生产经营的需要,也深入着“5G+AR”在工业互联网畛域的利用。 一是生产车间属危险区域,即时通讯与沟通受限。在简单生产环境下,尤其是面对大型配备设施,须要工业级可穿戴智能设施帮助作业。二是现场技术专家无限,须要解决专家与一线操作人员的近程互动问题。 例如,将现场生产与治理日志录入企业外部管理系统,少数是现场人工记录,回到办公室后手工录入,信息的及时性、真实性和可追溯性都存在问题。 提供五大智能化服务 浪潮工业互联网副总经理宋志刚示意,浪潮云洲推出的“5G+AR”近程帮助作业解决方案,重点面向配备制作行业,具备多重劣势,包含部署灵便;全语音管制、解放双手;专为工业设计。 在2021金砖国家新工业革命展上 观众试戴AR智能眼镜 在利用方面,“5G+AR”近程帮助作业解决方案可提供五大智能化服务。 一是音视频通话。近程领导零碎可实现实时双向音视频通信,将现场第一视角音视频实时传递给后盾专家,不受时空限度,虽隔千里,却像身临其境。 二是截图标注。在通话过程中,专家通过剖析后,在挪动端和PC端应用截图性能,实时标注重要信息,实现同步领导。同时,也可实现在第一视角视频动静状况下,专家端将各种意见通过圈选标绘等模式,推送到一线操作人员的AR智能眼镜中。 三是材料传输。通话时,PC端和挪动端均可向眼镜端发送材料,实时叠加在一线操作人员的AR眼镜屏幕上,不便操作人员疾速把握操作技能。 四是动静AR标注追踪。前方专家可在后方第一视角动静画面上,进行画框勾选区域或物体,后盾进行图像算法计算后,锁定虚构画框与事实区域地位,防止现场人员获取领导意见时产生偏差和误会。 五是录屏。在眼镜端、挪动端、PC端,可将音视频通话视频录屏,存储至云服务器上,通过积攒,领有设施品质等与业务密切相关的精准数据库。 面向三大利用场景 宋志刚说,“5G+AR”近程帮助作业解决方案,次要服务于运维巡检、新员工培训、专家知识库建设等业务场景。 在运维巡检方面,进入工作流的工作界面,可提供作业规范和具体的作业领导。依照规范,一步步的实现工作。能够全程记录,确保巡检工作及时、平安、无效的进行。 在新员工培训方面,经验丰富的作业人员的作业流程存档,每一步骤提供语音、视频和图文提醒,新员工可通过快进、快退、暂停等操作命令观看学习,防止脱漏步骤,进步平安生产程度,升高事变危险。 在专家知识库建设方面,由专家依据须要全程或局部录制,造成包含圈点、批示、标注、图片文档推送、屏幕共享等领导全过程的图片和视频材料,存储于零碎服务器,造成知识库。企业员工或客户可随时通过拜访知识库,获取相干常识,推动教训传承,常识传递。 以国家电网某供电公司为例,利用浪潮云洲“5G+AR”近程帮助作业解决方案,用于分派巡检工作,查看现场信息,现场场景记录存证,近程反对与故障诊断,缩短了故障解决工夫,节俭了人力,无效晋升了平安管理水平。

September 23, 2021 · 1 min · jiezi

关于云计算:终于有人把云原生数据库讲明白了

背景随着云计算的蓬勃发展,IT 利用转向云端,云服务呈现如下若干特点: 提供按需服务。用户只愿领取经营费用而不愿领取资产费用。云服务提供商集群规模越来越大,甚至遍布寰球,集群达到云级规模(Cloud-Scale)。依据以上特点,要求云产品须要提供肯定 “弹性”(Elastic),而且达到云级规模;节点故障如同 “噪声” 一样不可避免,这又要求云服务有肯定的 “自愈”(Resilience)能力。 起初,通过借助 IaaS,间接将传统的数据库 “搬迁” 到云上,于是呈现了关系型数据库服务(RDS)。这样尽管能局部实现 “弹性” 与 “自愈”,然而这种计划存在资源利用率低,保护老本高,可用性低等问题。于是,设计适应云特点的云原生数据库就至关重要。 RDS 的挑战以 MySQL 为例,如果要实现高可用或者读写拆散集群,则须要搭建 binlog 复制集群。 图 1:MySQL 复制架构 如上图所示,除了页写入与 double write,redo log 写入操作外,还有 binlog 与 relay log 的写入。 云原生数据库简介为了解决以上问题,须要针对云上服务的特点,革新或者开发新一代云数据库,这便是云原生数据库。 通过解耦合与少状态,计算节点扩大就会很轻量,扩大速度近乎过程启动的速度。防止扩大计算资源的时候,不得不节约存储资源的困境。 解耦合也使得存储节点也少了肯定的束缚,能够应用成熟的分布式存储技术实现乖巧化,升高运维老本进步可用性。 接下来将介绍目前两种支流的技术路线和几种出名的计划。 1.Spanner 类以 Google 的 Spanner[2] 为代表,基于云原生开发全新的数据库。受其影响,产生了CockrochDB、TiDB、YugabyteDB 等产品。 1.1 架构以 TiDB[3] 架构图为例: 图 2:TiDB 架构图 总体来说,此类产品其特点都是在 key-value 存储根底上包装一层分布式 SQL 执行引擎,应用 2PC 提交或者其变种计划实现事务处理能力。计算节点是 SQL 执行引擎,能够彻底实现无状态,实质是一个分布式数据库。 1.2 存储高可用性Spanner 将表拆分为 tablet,以 tablet 为单位应用多正本 + Paxos 算法 实现。 ...

September 23, 2021 · 2 min · jiezi

关于云计算:硬实力再获认可焱融科技入选2021爱分析云计算厂商全景报告

近日,中国当先的产业数字化钻研与咨询机构爱剖析公布了《2021 云计算厂商全景报告》(以下简称“报告”)。该报告基于对甲方企业和典型厂商的调研以及桌面钻研,遴选出在云计算场景中具备成熟解决方案和落地能力的代表厂商,通过对重点行业的头部企业调研,梳理出13个重要场景,针对各场景的需要定义和代表厂商的能力解读,为企业的云平台建设布局与厂商选型提供参考。 作为独立的混合云文件存储领跑者,焱融科技凭借在软件定义存储畛域成熟的解决方案能力和行业利用背景中丰盛的落地能力,实力入选《2021爱剖析云计算厂商全景报告》中软件定义存储(SDS)场景的代表厂商,同时入选该报告的厂商还有阿里云、华为云、浪潮等知名企业。 图1:焱融科技入选SDS场景代表厂商 报告指出,Gartner 最终用户报告中提到非结构化数据以每年 30%至 60%的速度增长,与此同时,随着 AI、大数据等技术的疾速倒退,催生出主动驾驶、基因剖析等行业的泛滥高并发场景,对存储系统高吞吐和大规模并行读写访问能力提出了更高要求。然而,传统依赖硬件的存储模式横向扩大能力较差,难以满足海量数据的存储需要,同时存储硬件设施的扩散与差异性使企业治理面临诸多困难。为了应答企业 IT 中非结构化数据的新挑战,以焱融科 YRCloudFile 为代表的 SDS 厂商为企业提供高性能、高可用、高效麻利、云上部署、面向容器环境的存储解决方案。 YRCloudFile 是焱融科技自主研发的分布式文件存储产品(分布式 NAS),为企业提供高性能、高可用的文件拜访接口,实用于人工智能(AI)、主动驾驶(ADAS)、高性能计算(HPC)、视效渲染、GIS 实景三维、生命科学、基因剖析等多种应用场景,为支流容器编排框架 Kubernetes,提供高性能的容器长久化存储,并在寰球 IO500 存储系统性能测试中排在前列。 图2:YRCloudFile产品构架图 焱融科技作为软件定义存储(SDS)场景重点调研对象,爱剖析通过产品性能、产品性能以及服务能力三个维度作了全面的能力解读。 产品性能方面 YRCloudFile 反对高性能的海量文件读写以及满足云原生架构下的存储需要。首先,面对百亿量级文件,YRCloudFile 通过可扩大的元数据集群架构,保障客户端对元数据的操作性能以及读写性能的继续稳固;同时,YRCloudFile 可能将不同目录元数据的拜访扩散至不同的元数据节点,防止元数据拜访颈。其次,焱融科技在云原生方向业务布局较早,是国内首个进入 CNCF Landscape 的容器存储产品。YRCloudFile 利用 CSI 插件与容器云平台进行无缝对接,实现对 Kubernetes 及下层利用容器的无侵入性。 产品性能方面 YRCloudFile 具备易用性强、扩展性强、延时低的个性。首先,YRCloudFile产品的标准化水平高,用户可能疾速部署并且实现30分钟疾速扩容的成果。其次,YRCloudFile 扩展性体现在存储数据节点和元数据节点都可按需横向扩大,多元数据服务的架构设计,使集群对小文件及随机 IO 的拜访性能比开源或友商文件存储产品更优。另外,YRCloudFile 同时还具备低延时的个性,企业可通过客户端间接拜访存储节点数据,不需通过协定服务器跳转,拜访延时升高显著。 服务能力方面 焱融科技具备较强的服务响应能力和场景理解能力。焱融科技针对每个客户都会配置专门的团队(包含售前、售中、售后),以疾速响应客户的需要。同时,焱融科技基于对客户场景的了解,可能调整数据读写模型,使 YRCloudFile 更加贴合用户理论的应用场景。 截至目前,焱融科技服务于百余家客户涵盖人工智能、主动驾驶、金融、政府、视效渲染、制造业、互联网、实景三维等行业用户,包含中国移动、中国银行、国家电网、国家信息中心、科大讯飞、华控清交、中船重工、图森将来、新石器、树根互联、MOREVFX、解码基因、秒如科技、利星行等客户。本次入选爱剖析《2021 云计算厂商全景报告》,是行业及爱剖析对焱融科技技术创新的极大必定。焱融科技将一直适应各行业对数据存储的需要,打造国产高性能文件存储平台。为开发者和企业赋能,凋谢技术创新、开释数据有限价值,同时一直晋升产品性能和服务,助力企业疾速实现数字时代企业的转型和降级,进步企业业务收益和竞争力。

September 23, 2021 · 1 min · jiezi

关于云计算:QEMUOCFS2-使用OCFS2作为虚拟机磁盘文件的SAN存储文件系统

本文介绍OCFS2共享集群文件系统,如何配置以及如何在线扩容。 什么是OCFS2文件系统? OCFS2是 Oracle Cluster File System Version 2 的缩写,是Oracle公司外部开发的共享磁盘文件系统,于2011年开源,应用GNU GPL协定。 什么是共享磁盘文件系统呢?咱们上面通过解释三个概念的比照来阐明: 磁盘文件系统 这是最常见的文件系统,构建在本地的磁盘(块存储,Block Storage)之上。通过磁盘文件系统,磁盘上的内容以文件目录的模式进行组织,不便了用户无效应用磁盘上的存储空间。磁盘文件系统的例子有:ext4, xfs等。 共享文件系统 共享文件系统通过远端服务器上运行的服务程序拜访挂载在远端服务器上的文件系统。例子为:NFS(Network File System),Samba(CIFS)。 共享磁盘文件系统 共享磁盘文件系统又叫集群文件系统(Cluster File System),是专门构建在网络共享的磁盘上的文件系统。网络共享磁盘通过SAN(Storage Area Network)被多台主机独特拜访,和磁盘文件系统相比,共享磁盘文件系统除了要解决磁盘空间的无效治理问题之外,还要解决文件系统被多台主机同时拜访的并发批改问题。因而分布式锁机制是共享磁盘文件系统共有的机制。 从应用场景来看,三种文件系统的差异很显著:磁盘文件系统间接拜访本地磁盘,共享文件系统须要通过共享文件服务拜访挂载在服务器上的文件系统,而共享磁盘文件系统则间接访问共享磁盘。 因而,在网络共享的场景下,通过共享磁盘文件系统拜访SAN存储,能够间接访问共享存储设备。拜访门路短,效率高,并且能解决多主机并发访问共享存储的问题。 QEMU通过OCFS2应用共享SAN存储 QEMU应用共享SAN存储有多种计划。常见计划是在须要新建虚拟机磁盘时,应用SAN存储的治理API,调配出卷(LUN)之后,间接将卷挂载给QEMU虚拟机应用。这种计划的长处是QEMU虚拟机间接拜访LUN,损耗低,性能好。而毛病是须要应用存储设备特定的API,和设施绑定,不够通用。 本文介绍通过OCFS2共享磁盘文件系统,将一个大容量的SAN存储卷作为存储QEMU虚拟机虚构磁盘文件的存储,达到QEMU应用共享贮存的目标。 OCFS2文件系统的配置 筹备环境 这一步装置和配置软件 下载和装置ocfs2-tools的rpm包装置(也依赖net-tools)$ wget http://public-yum.oracle.com/... -O /etc/yum.repos.d/public-yum-ol7.repo$ rpm --import http://public-yum.oracle.com/...$ yum install yum-plugin-downloadonly -y$ mkdir /tmp/ocfs2 && cd /tmp/ocfs2/$ yum install --downloadonly --downloaddir=/tmp/ocfs2/ ocfs2-tools net-tools -y具体操作步骤见官网文档:https://docs.oracle.com/cd/E5..., Chapter 23 Oracle Cluster File System Version 2 装置Cloudpods内核,自带编译了ocfs2文件系统的内核模块因为OCFS2应用场景较少,在常见发行版的内核中都不会启用OCFS2的内核模块。咱们提供了事后编译好的启用了OCFS2的内核安装包: $ yum install -y yum-utils ...

September 23, 2021 · 3 min · jiezi

关于云计算:混合多云场景下的-Kubernetes-多集群管理

企业抉择混合多云的驱动力企业为什么要抉择混合多云模式,其中比拟次要的一个起因就是因为平安问题,这里我列举了一些国内外的安全事件,就一个产生比拟近的事件来说,2021 年 3 月,欧洲云计算 OVH,位于法国的机房产生火灾,导致 350 万家网站下线,局部客户数据永久性失落。最近国内也产生了数据泄露敏感事件,平安问题的确给企业带来麻烦,大家的解题答案惊人的统一:不能把鸡蛋放在一个篮子里,要将鸡蛋放到不同的篮子中,是驱动企业应用混合多云的根本原因。 云服务曾经成为水电一样的基础设施,对于用户来说,一旦呈现安全事件,将造成严重损失。 2018 年 3 月,Facebook 数据泄露丑闻暴发,股价大跌 7%,市值蒸发 360 多亿美元。2020 年 2 月,万豪酒店 520 万客人信息被泄露。2020 年 2 月,微盟的“删库”事件,影响业务 136 小时,连累微盟业绩,赔付总额达到 1.16 亿元,微盟股价累计跌幅超 20%。2020 年 5 月,泰国最大的挪动运营商泄露 83 亿条用户数据记录。对于云厂商来说,一旦呈现问题,将影响到千万用户。 2019 年 2 月,阿里云代码托管平台的我的项目权限设置仅仅因为有歧义,用户在上传代码时,可设置 private、internal 和 public。很多开发者认为抉择“internal”,就是平安的,于是选了此选项。因而蕴含万科、咪咕音乐、51 信用卡等 40 家企业在内的 200 多个我的项目代码被泄露。2020 年 5 月,有黑客宣称获取微软公司存储在 Github 私人仓库中的大量源代码片段,源码大小高达 63.2GB,波及 Azure、Office 和 Windows。2021 年 3 月,欧洲云计算巨头 OVH 位于法国斯特拉斯堡的机房产生重大火灾,导致 350 万家网站下线,局部客户数据失落无奈复原。往年 2 月,Hashicorp 对 300,000 名 HashiCorp 邮件订阅用户进行了对于“云策略现状”的考察,最终收到了来自世界各地技术从业人员和技术决策者的 3,205 份回复。约 3/4 的考察受访者曾经采纳了多云架构(多个云,私有云或公有云)。预计两年后,简直 90% 的企业都会采纳多云架构。 ...

September 22, 2021 · 3 min · jiezi

关于云计算:凌晨-12-点突发-istio-生产事故一顿操作猛如虎解决了

事变起因业务上新集群,原本认为"洒洒水",11 点切,12 点就能在家睡觉了。流量切过来后,在验证过程中,发现网页可能失常关上,在登录时返回了 502,当场懵逼。在相干的容器日志发现一个高频的报错条目“7000 端口无奈连贯”,向业务组理解到这是 redis 集群中的一个端口,前后端是通过 redis 交互的,该集群同时还有 7001-7003 其它三个端口。 用 nc 命令对 redis 集群进行连贯测试:向服务端发送 keys * 命令时,7000 端口返回的是 HTTP/1.1 400 Bad Request,其余三个端口是 redis 返回的 -NOAUTH Authentication required。 $ nc 10.0.0.6 7000keys *HTTP/1.1 400 Bad Requestcontent-length: 0connection: close$ nc 10.0.0.6 7003keys *-NOAUTH Authentication required判断 7000 端口连贯到了其余利用上,至多不是 redis。在宿主机上抓包发现没有抓到拜访 7000 端口的流量,而后查看容器的 nf_conntrackb 表,发现 7000 端口的数据只有到本地的会话信息;7003 的有两条会话信息,一条到本机的,一条到指标服务器的。 $ grep 7000 /proc/net/nf_conntrackipv4 2 tcp 6 110 TIME_WAIT src=10.64.192.14 dst=10.0.0.6 sport=50498 dport=7000 src=127.0.0.1 dst=10.64.192.14 sport=15001 dport=50498 [ASSURED] mark=0 zone=0 use=2$ grep 7003 /proc/net/nf_conntrackipv4 2 tcp 6 104 TIME_WAIT src=10.64.192.14 dst=10.0.0.6 sport=38952 dport=7003 src=127.0.0.1 dst=10.64.192.14 sport=15001 dport=38952 [ASSURED] mark=0 zone=0 use=2ipv4 2 tcp 6 104 TIME_WAIT src=10.64.192.14 dst=10.0.0.6 sport=38954 dport=7003 src=10.0.0.6 dst=10.64.192.14 sport=7003 dport=38954 [ASSURED] mark=0 zone=0 use=2由此判断出 istio 没有代理转收回 7000 的流量,这忽然就涉及到了我的常识盲区,一大堆人看着,办公室 26 度的空调,始终在冒汗。没方法了,在与业务磋商后,只能先敞开 istio 注入,优先复原了业务。回去后恶补 istio 的相干材料。终于将问题解决。记录下相干信息,以供日后参考。 ...

September 18, 2021 · 8 min · jiezi

关于云计算:新东方在有状态服务-In-K8s-的实践

作者|周培,新东方架构部容器组专家有状态服务建设始终以来都是 K8s 中十分具备挑战性的工作,新东方在有状态服务云化过程中,采纳定制化 Operator 与自研本地存储服务联合的模式,加强了 K8s 原生本地存储计划的能力,在摸索中稳步推动企业的容器化建设。 新东方有状态服务 In K8s 的现状 如上图所示,下层 Pod 由自定义的 Operator 和 StatefulSet 控制器来托管,Pod 关联 PVC,PVC 绑定 PV,最上层是存储服务。 最上层的存储服务蕴含本地存储和远端存储两类,对于个别的存储需要,首选是远端存储服务;而对于高性能 IO 的存储需要,那就要抉择本地存储服务。目前,本地存储服务蕴含 K8s 原生 local 存储服务和自研的 xlss 存储服务 2 种。 原生 K8s 撑持有状态服务的能力原生 K8s 撑持有状态服务的能力是有状态服务建设的根底,其管理模式是:StatefulSet 控制器 + 存储服务。 1. StatefulSet 控制器StatefulSet 控制器: 用来治理有状态利用的工作负载 API 对象的控制器。治理某 Pod 汇合的部署和扩缩,并为这些 Pod 提供长久存储和长久标识符。 StatefulSet 资源的特点: 稳固的、惟一的网络标识稳固的、长久的存储有序的、优雅的部署和缩放有序的、主动的滚动更新StatefulSet 资源的局限: 对于存储,StatefulSet 控制器是不提供存储供应的。删除或者缩容时,StatefulSet 控制器只负责 Pod。人工要建一个无头服务,提供每个 Pod 创立惟一的名称。优雅删除 StatefulSet,倡议先缩放至 0 再删除。有序性也导致依赖性,比方编号大的 pod 依赖后面 pod 的运行状况,后面 pod 无奈启动,前面 pod 就不会启动。这 5 点局限可进一步概括为:StatefulSet 控制器治理 Pod 和局部存储服务(比方扩容时 pvc 的创立),其它的就无能为力。有序性引起的依赖性也会带来负面影响的,须要人工干预治愈。 ...

September 18, 2021 · 3 min · jiezi

关于云计算:评审通过开建

近日,在“星火·链网”第五批骨干节点建设计划评审会上,浪潮云洲承建的珠海横琴骨干节点,顺利通过建设计划评审。 此次评审由中关村区块链产业联盟组织,中国信通院、北京航空航天大学等科研院所及行业当先企业的技术专家参加评审。 “星火·链网”(珠海横琴)骨干节点由浪潮云洲旗下的广东云湾工业互联网有限公司承建,珠海横琴融贯国内科技倒退公司经营,依靠浪潮及泰尔英福的区块链技术设计。 浪潮工业互联网广州核心负责人乌苏晋示意,该骨干节点基于“星火·链网”体系,依靠浪潮云洲工业互联网平台,面向粤港澳大湾区,提供区块链和标识解析服务,通过区块链资源分配和治理、标识注册及解析服务、信息系统建设和经营、服务利用对接和推广,实现对区块链的对立服务和监管,为大湾区深度单干提供可信数字基础设施。 下一步,“星火·链网”(珠海横琴)骨干节点将重点推动根底零碎、物联网零碎、操作系统、“澳门码”服务平台等的建设,进一步推动大湾区的产业整合、经济整合及区域整合。 “星火·链网”(珠海横琴)骨干节点建成后,将全面笼罩一产、民生、金融等多个畛域,摸索中药材、茶叶、医疗券等场景利用。 作为国家区块链新型交融基础设施,“星火·链网”在工信部的领导与专项反对下,由中国信通院牵头建设。其中,骨干节点是锚定对接超级节点主链与行业/区域链的一类要害角色。中关村区块链产业联盟受中国信通院委托,组织发展骨干节点建设计划的评审工作。

September 18, 2021 · 1 min · jiezi

关于云计算:捷报亚马逊云科技DGL项目荣获2021OSCAR开源尖峰案例

「关注」并「星标」咱们, 每天接管对于亚马逊云科技的最新资讯! 2021年9月17日,在中国信息通信研究院主办的“2021开源产业大会"上,亚马逊云科技 DGL 荣获“2021OSCAR开源尖峰案例”——开源社区及开源我的项目畛域奖项,彰显亚马逊云科技技术实力与开源奉献。 在每年的开源产业大会上,中国信息通信研究院都会隆重发表“OSCAR开源尖峰案例”奖项,旨在建立开源榜样,更好地推动开源技术在中国市场的落地。2021年,该奖项分“开源人物”、“开源社区及开源我的项目”、“开源企业—开源经营与生态建设”、“开源企业—开源治理”、“开源翻新(二次开发)”等五大畛域。而在“开源社区及开源我的项目”畛域中,通过云计算规范和开源推动委员会成员对来自泛滥知名企业的170多个优良我的项目的层层评比,亚马逊云科技 DGL 在强烈的竞争中怀才不遇,胜利荣获国家级认证认可,博得奖项。 DGL(Deep Graph Library)是一款面向图构造数据的专用深度学习框架。于2018年12月在Neurips大会上发表开源。开发团队最后次要来自NYU和NYU Shanghai,由张峥传授发动,现由张峥传授率领的亚马逊云科技上海人工智能研究院次要开发,我的项目上线初就取得宽泛关注和好评。 DGL是一项具备深远意义的开源我的项目,它易用性强,采纳以“图”为外围的编程形象,人造靠近图算法的语义;具备高性能,应用算子交融等技术,相比同类零碎能提速10倍甚至几十倍。借此,企业能够面向简单的业务场景,进步语音剖析、文字剖析、工夫序列剖析等惯例工作的效率和精准性;多平台反对,反对多款深度学习框架(PyTorch, MXNet, TensorFlow),用户能够基于此进行大规模图神经网络训练;海量巨图反对,反对多机多卡分布式训练,能够对十亿点规模的图做训练。DGL心愿帮忙开发者将图神经网络落到具体的业务场景中,改善业务模式,发明更多价值。 与其同时DGL在学术圈具备宽泛的影响力,基于DGL发表的学术论文有近400篇,包含图灵奖获得者Yann Lecun在内的诸多出名学者对我的项目给予高度评价。DGL在简直所有数据挖掘顶级会议上(KDD,WWW,WSDM等)做过专场实操教学。仅仅在两年工夫内,来自学界和业界内部我的项目贡献者曾经增长至140多位。此外,基于DGL的软件生态也初具雏形,衍生出面向分子生物,常识图谱,自然语言解决,举荐零碎等多款专用AI工具包。 DGL在开源后,在我的项目保护和社区建设方面也面临着一些挑战并采取踊跃应答: 挑战一:图深度学习是一个全新的,疾速演变的畛域。 DGL团队始终踊跃收集开源社区的反馈,进行无效的向后迭代。并联合最新的科研成果,进行疾速向前迭代。 挑战二:因为图构造数据的普适性,其利用散布十分宽泛,畛域性很强。 团队在社区经营上设置阶梯化的文档和教程,造就畛域开发者。放弃和学界、业界的沟通,从而建设共赢生态。 (文档建设方面独创“文档汉诺塔”的治理形式) 也正是我的项目的这些技术亮点和社区经营的劣势使得DGL被信通院评为2021OSCAR开源尖峰案例的开源社区及开源我的项目。 将来,亚马逊云科技将继续翻新,奉献更多的优良开源我的项目同时更好的反对开源并与云计算技术进行集成与交融,将减速以开源为根底的机器学习、人工智能等泛滥畛域技术在生产实践中的利用,为寰球用户及企业提供更加成熟的成长契机。

September 17, 2021 · 1 min · jiezi

关于云计算:面向无人驾驶-云端大脑-可用性的云原生实践

作者:张海立,驭势科技云平台研发总监行业背景驭势科技(UISEE)是国内当先的主动驾驶公司,致力于为全行业、全场景提供 AI 驾驶服务,交付赋能出行和物流新生态的 AI 驾驶员。因为须要保障各个场景下 “真 · 无人”(即无安全员在车上或跟车)的业务运作,咱们比拟重视在 “云端大脑” 上做了一些保障其高可用和可察看性方面的实际。 让咱们假如有这样一个场景:在一个厂区运行了几十台的无人物流拖车,思考到 “真无人” 环境下的平安经营,咱们会采取车云连贯长时间断开(个别为秒级)即停车的策略;如果在经营的过程中,云端呈现故障且不足高可用能力,这将造成所有车辆停运。显然这对业务经营会造成微小影响,因而云平台的稳定性和高可用性是十分重要和要害的。 为什么抉择 KubeSphere 咱们和 KubeSphere 的结缘能够说是 “始于颜值,陷于才华”。早在 KubeSphere 2.0 公布之时,咱们因缘际会在社区的新闻中留意到这个产品,并马上被它 “小清爽” 的界面所吸引。于是,从 2.0 开始咱们便开始在公有云上进行小范畴试用,并在 2.1 公布之后开始投入到咱们私有云环境的治理中应用。 KubeSphere 3.0 是一个十分重要的里程碑公布,它带来了 Kubernetes 多集群治理的能力、进一步加强了在监控和告警方面的能力,并在 3.1 中继续对这些能力进行夯实。由此,咱们也开始更大范畴地将 KubeSphere 利用到咱们自有的和客户托管的集群(及在其中运行的工作负载)的治理上,同时咱们也在进一步摸索如何将现有的 DevOps 环境和 KubeSphere 做整合,最终的指标还是心愿将 KubeSphere 打造成咱们外部面向云原生各利用、服务、平台的对立入口和集中管理的外围。 正是因为 KubeSphere 提供了这样优良的管控能力,使得咱们有了更多工夫从业务角度去晋升云平台的可用性。这次分享的两个内容就是咱们晚期和当初正在推动的两项可用性相干的实际。 “高可用”实际:提供热备能力的 Operator“高可用” 方面,咱们冀望解决的问题是如何确保云端服务呈现故障时能够用最快的速度从新复原到稳固运行的状态。限定区域 L4 无人驾驶场景的 “高可用” 诉求 “高可用” 从工夫量化的角度通常就是几个 9 级别抉择,但落到具体的业务场景,所面临的问题和挑战却是各不相同的。如上图所列举的,对于咱们 “限定区域 L4 无人驾驶场景” 而言,以 toB 业务为主所造成的客户公有云品种繁多、对于复原过程容忍度不同、以及客户定制服务产生的历史包袱较多是制约咱们构建高可用计划的几个次要问题。面对这些限度,咱们抉择了一个比拟 “简略粗犷” 的思路,试图 “化繁为简” 跳出跨云高可用老本高、为服务附加高可用能力交融危险高的常见问题包围圈。 一种通过 Operator 实热备切换的高可用办法 ...

September 17, 2021 · 3 min · jiezi

关于云计算:Qunar-云原生容器化落地实践

作者|邹晟 去哪儿网根底平台技术专家背景近几年,云原生和容器技术十分火爆,且日趋成熟,泛滥企业缓缓开始容器化建设,并在云原生技术方向上一直的摸索和实际。基于这个大的趋势, 2020 年底 Qunar 也向云原生迈出了第一步——容器化。 云原生是一系列能够为业务赋能的技术架构准则,遵循它能够使利用具备扩展性、伸缩性、移植性、韧性等特点。云原生也是下一代技术栈的必选项,它能够让业务更麻利。通过实际 DevOps、微服务、容器化、可观测性、反脆弱性(chaos engineering)、ServiceMesh、Serverless 等云原生技术栈,咱们便能够享受到云原生带来的技术红利。 Qunar 容器化发展工夫线一项新技术要在企业外部落地素来都不是欲速不达的,Qunar 的容器化落地也同样如此。Qunar 的容器后落地次要经验了 4 个工夫节点: 2014 - 2015: 业务线同学开始尝试通过 Docker、Docker-Compose 来解决联调环境搭建艰难的问题,不过因为 Docker-Compose 的编排能力无限、无奈解决实在的环境问题,因而容器化最初也没有推广起来。 2015 - 2017: ops 团队把为了进步 ELK 集群的运维效率,把 ES 集群迁徙到了 Mesos 平台上。起初随着 K8s 生态的成熟,把 ES 集群从 Mesos 迁徙到了 K8s 平台,运维效率失去了进一步的晋升。 2018 - 2019: 在业务需要一直减少的过程中,业务对测试环境的交付速度和品质有了更高的要求,为了解决 MySQL 的交付效率问题( 并发量大时,网络 IO 成为了瓶颈,导致单个实例交付时长在分钟级),为理解这个问题,咱们把 MySQL 容器化,通过 Docker on host 的模式能够在 10 秒之内就能够交付一个 MySQL 实例。 2020 - 2021: 云原生技术曾经十分成熟了,Qunar 也决定通过拥抱云原生来为业务减少势能。在各个团队群策群力的致力下,300+ 的 P1、P2 利用曾经实现了容器化,并且打算在 2021 年年底全副业务利用实现容器化。 ...

September 17, 2021 · 3 min · jiezi

关于云计算:穿越时空跟我一起探索云栖数字谷2021云栖大会免费送票

4 天 96 小时 数智沉迷极致体验 10 大技术板块、21 大行业 100+ 场 数字新思维论坛 450+ 最热科技新品 1000+ 数字生存新物种 40000 平米云栖数字谷…… 前沿・摸索・想象力一年一度,云栖大会如期而至。 10 月 19 日 - 10 月 22 日,2021 云栖大会以 “前沿・摸索・想象力” 为主题,与大家独特见证下一代前沿硬核技术的诞生,摸索数字化科技的新趋势,激发创新者对数智产业将来的全新想象力。(文末报名提前锁定) 前沿:硬核技术联动热门议题科技产品、数字技术、资讯密集度进一步降级!满载干货的四天大会,云栖小镇将从技术和产业人士汇聚的产业翻新胜地,降级为智能产品与产业 all in one 的 “云栖数字谷”。 上千名重磅演讲嘉宾倾情分享,话题涵盖云计算、大数据、人工智能、智能硬件、数据库、IoT、操作系统、金融科技、量子计算等笼罩 10 大技术板块、21 大行业,从前沿技术冲破、根底产品翻新,以及数字产业交融,与参会者一起见证数字翻新的最佳实际。 此外,阿里云还将首次公开技术策略,公布百余项最新技术和产业成绩。 大会将专项展出国内外顶尖科研机构与达摩院的最新研究成果和黑科技,在千行百业的数字翻新样本间中,参会者可能畅游数字时代的 “新京杭大运河”,体验上千种数字生存新物种和科技新品,放大科技与生存间的 “化学反应”。 摸索:产业视频化翻新与最佳实际在全新的大视频时代,社会全畛域都在趋于线上化、视频化演变,而 “视频云” 作为大视频产业的要害底座,交融了 “云 + 音视频 + AI” 的能力,正在扭转泛滥行业的倒退格局并发明第二增长曲线,新的商业逻辑、新的机会空间由此不断涌现。显性可见,智慧教育、数智传媒、互联网娱乐、“直播 +” 生态、协同办公等畛域在视频化浪潮下后行降级,而更多产业正在视频化翻新的摸索之中。 阿里云视频云将于 10 月 21 日下午,开展云栖大会 “产业视频化翻新与最佳实际” 专题论坛。届时,泛滥分享者将围绕阿里云视频云自研的超低延时、实时音视频、4K+HDR 超高清、视频 AI、低代码开发等技术在产业中的摸索与实际,面向全产业提供一场触手可及的全新技术体验。 ...

September 17, 2021 · 1 min · jiezi

关于云计算:disruptor笔记之七等待策略

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 《disruptor笔记》系列链接疾速入门Disruptor类剖析环形队列的根底操作(不必Disruptor类)事件生产知识点小结事件生产实战常见场景期待策略知识点补充(终篇)本篇概览本文是《disruptor笔记》的第七篇,咱们一起浏览源码,学习一个重要的知识点:期待策略,因为Disruptor的源码短小精干、简略易懂,因而本篇是个轻松愉快的源码学习之旅; 提前小结如果您工夫不富余,能够通过以下提前小结的内容,对期待策略有个大体的意识: BlockingWaitStrategy:用了ReentrantLock的期待&&唤醒机制实现期待逻辑,是默认策略,比拟节俭CPUBusySpinWaitStrategy:继续自旋,JDK9之下慎用(最好别用)DummyWaitStrategy:返回的Sequence值为0,失常环境是用不上的LiteBlockingWaitStrategy:基于BlockingWaitStrategy,在没有锁竞争的时候会省去唤醒操作,然而作者说测试不充沛,不倡议应用TimeoutBlockingWaitStrategy:带超时的期待,超时后会执行业务指定的解决逻辑LiteTimeoutBlockingWaitStrategy:基于TimeoutBlockingWaitStrategy,在没有锁竞争的时候会省去唤醒操作SleepingWaitStrategy:三段式,第一阶段自旋,第二阶段执行Thread.yield交出CPU,第三阶段睡眠执行工夫,重复的的睡眠YieldingWaitStrategy:二段式,第一阶段自旋,第二阶段执行Thread.yield交出CPUPhasedBackoffWaitStrategy:四段式,第一阶段自旋指定次数,第二阶段自旋指定工夫,第三阶段执行Thread.yield交出CPU,第四阶段调用成员变量的waitFor办法,这个成员变量能够被设置为BlockingWaitStrategy、LiteBlockingWaitStrategy、SleepingWaitStrategy这三个中的一个对于期待策略回顾一下后面的文章中实例化Disruptor的代码:disruptor = new Disruptor<>(new OrderEventFactory(), BUFFER_SIZE, new CustomizableThreadFactory("event-handler-"));开展上述构造方法,会见到创立RingBuffer的代码,默认应用了BlockingWaitStrategy作为期待策略: public static <E> RingBuffer<E> createMultiProducer(EventFactory<E> factory, int bufferSize) { return createMultiProducer(factory, bufferSize, new BlockingWaitStrategy()); }持续开展下面的<font color="blue">createMultiProducer</font>办法,可见每个Sequencer(留神不是Sequence)都有本人的watStrategy成员变量: 这个waitStrategy的最终用处是创立SequenceBarrier的时候,传给SequenceBarrier做成员变量: 在看看SequenceBarrier是如何应用waitStrategy的,一共两处用到,第一处如下图红框,原来是<font color="blue">waitFor</font>办法外部会用到,这个<font color="blue">waitFor</font>咱们后面曾经理解过,对消费者来说,期待环形队列的指定地位有可用数据时,就是调用SequenceBarrier的waitFor实现的: SequenceBarrier第二处用到waitStrategy是唤醒的时候: @Override public void alert() { alerted = true; waitStrategy.signalAllWhenBlocking(); }当初咱们晓得了WaitStrategy的应用场景,接下来看看这个接口有哪些具体实现吧,这样咱们在编程中就晓得如何抉择才最适宜本人BlockingWaitStrategy作为默认的期待策略,BlockingWaitStrategy还有个特点就是代码量小(不到百行),很容易了解,其实就是用ReentrantLock+Condition来实现期待和唤醒操作的,如下图红框: 如果您更偏向于节俭CPU资源,对高吞吐量和低延时的要求绝对低一些,那么BlockingWaitStrategy就适宜您了;BusySpinWaitStrategy(慎用)后面的BlockingWaitStrategy有个特点,就是一旦环形队列指定地位来了数据,因为线程是期待状态(底层调用了native的UNSAFE.park办法),因而还要唤醒后能力执行业务逻辑,在一些场景中心愿数据一到就尽快生产,此时BusySpinWaitStrategy就很适合了,代码太简略,全副贴出:public final class BusySpinWaitStrategy implements WaitStrategy{ @Override public long waitFor( final long sequence, Sequence cursor, final Sequence dependentSequence, final SequenceBarrier barrier) throws AlertException, InterruptedException { long availableSequence; while ((availableSequence = dependentSequence.get()) < sequence) { barrier.checkAlert(); ThreadHints.onSpinWait(); } return availableSequence; } @Override public void signalAllWhenBlocking() { }}上述代码显示,整个while循环的要害就是<font color="blue">ThreadHints.onSpinWait</font>做了什么,源码如下,这里要分外留神,如果<font color="blue">ON_SPIN_WAIT_METHOD_HANDLE</font>为空,意味着里面的while循环是个<font color="red">十分耗费CPU的自旋</font>: public static void onSpinWait() { if (null != ON_SPIN_WAIT_METHOD_HANDLE) { try { ON_SPIN_WAIT_METHOD_HANDLE.invokeExact(); } catch (final Throwable ignore) { } } }ON_SPIN_WAIT_METHOD_HANDLE为空是很可怕的事件,咱们来看看它是何方神圣?代码还是在ThreadHints.java中,如下所示,假相高深莫测,<font color="blue">它就是Thread类的onSpinWait办法</font>,如果Thread类没有onSpinWait办法,那么应用BusySpinWaitStrategy作为期待策略就有很高的代价了,环形队列里没有数据时生产线程会执行自旋,很消耗CPU:static { final MethodHandles.Lookup lookup = MethodHandles.lookup(); MethodHandle methodHandle = null; try { methodHandle = lookup.findStatic(Thread.class, "onSpinWait", methodType(void.class)); } catch (final Exception ignore) { } ON_SPIN_WAIT_METHOD_HANDLE = methodHandle; }好吧,还剩两个问题:Thread类有没有onSpinWait办法还不能确定吗?这个onSpinWait办法是何方神圣?去看JDK官网文档,如下图,原来这办法是从JDK9才有的,所以对于JDK8使用者来说来说,选用BusySpinWaitStrategy就意味着要面对没做啥事儿的while循环了: ...

September 17, 2021 · 2 min · jiezi

关于云计算:直播预告丨走进云溪数据库之高可用方案

云溪数据库线上沙龙本周四正式上线!线上沙龙将分为技术、学术、培训课程等系列,定期带来数据库畛域的最新动静以及云溪分布式数据库的技术分享。 本期技术流分享邀请云溪数据库正本团队负责人-管延信,介绍云溪数据库的高可用计划。管延信领有多年分布式数据库内核研发教训,在分布式一致性、高可用、事务并发管制、PLSQL等方面均有钻研,同时也是开源社区的沉闷贡献者。本次为大家带来的分享是《云溪数据库高可用计划》。感兴趣的开发者敌人千万不要错过! 直播工夫:2021年9月16日(周四)19:30 直播平台:B站;浪潮云直播间(敬请提前扫描海报中二维码关注) https://cloud.inspur.com/

September 16, 2021 · 1 min · jiezi

关于云计算:对象存储手把手教五-数据存取与加密

一 简介随着航海征程的推动,乔巴的背包是越来越鼓,也越来越大了。看着轻装上阵的搭档们,它的心田是简单的。 乔巴 OS :我也想找个中央贮存一下我的背包,可是我又放心背包外面的内容,被人窃取了可怎么好? 针对乔巴的需要,QingStor 对象存储提供了一套残缺的解决方案。既能满足你多种多样的数据存取的需要,同时,还能确保你的数据安全。 本文中用到的相干名词有: 名词释义密钥用于解密加密数据MD5用于确保密钥传输残缺统一的算法客户端加密在上传数据前实现加密服务端加密上传数据后,服务端对数据进行加密对象用户数据的统称源对象上传的原始对象指标对象拷贝或挪动后的对象SSL协定确保网络通信平安及数据残缺的协定二 什么是加密QingStor 对象存储提供怎么的计划,来打消乔巴的担心呢?咱们先来看看 存/取 数据的流程: 通过上图,咱们能够晓得,乔巴要将背包存起来,首先须要将背包运送到存储地点(QingStor 对象存储)。 以后曾经有比拟成熟的做法用来保障数据在传输过程中的平安,也就是通用的SSL协定,这里不做具体阐明了。 除此之外,乔巴也能够给本人的背包加个锁,即:客户端加密。这部分操作,是由乔巴自发实现并监管的。这里也不做具体阐明。 等背包运输到 QingStor 了,QingStor 再对背包进行加密,这个就是服务端的数据加密。 为了打消乔巴的担心,QingStor 对象存储提供了一套残缺的解决方案: SSL 协定 + 服务端数据加密。 具体怎么做的呢?上面咱们来具体说一下整个的加密/解密过程吧。好期待哦! 2.1 加密过程乔巴当初想把背包(数据)交由 QingStor 对象存储,那么整个过程如下: 乔巴在本人的背包上贴上密钥,依据密钥生成的 MD5 值,和加密算法等标签。并保留这些信息。乔巴将贴有这些标签的背包,交给 QingStor 对象存储。QingStor 在收到乔巴提交的背包后,先取下密钥,计算出密钥的 MD5 值QingStor 取下乔巴背包上的 MD5 值,与计算出的 MD5 值进行比对,以确认密钥在提交过程中没有被批改。如果 QingStor 发现 MD5 值不统一了,揭示乔巴,背包内容可能会被窃取,需从新对背包贴标签,并再次提交如果 QingStor 发现MD5 值统一时,阐明密钥没有被批改,背包提交过程中是平安的,这个时候从背包上取下加密算法,对背包外面的数据进行加密为了确保背包外面的数据仅乔巴一个人能够获取,在加密实现后,QingStor 抛弃背包上的密钥,仅保留依据密钥计算出来的MD5值,用于取数据时的认证。至此,乔巴就能够拿着加密信息来到了。 2.2 解密过程一段时间后,乔巴要从 QingStor 取回背包了,那么整个过程又是怎么的呢? 乔巴提出取数据的申请,并在申请外面提交过后存储背包时的标签:密钥,依据密钥生成的 MD5 值,和加密算法给 QingStorQingStor 收到乔巴提交的申请后,先取下密钥,计算出 MD5 值QingStor 再取下乔巴取包申请上的 MD5 值,与计算出的 MD5 进行比对,以确认密钥在提交过程中没有被批改若 QingStor 发现两个MD5值不统一,揭示乔巴,依据约定,你这个背包取不了,需从新回去找找密钥,再次提交申请啊若 QingStor 发现两个 MD5 值统一,阐明这个申请是非法的QingStor 用乔巴提交的密钥将背包数据进行数据QingStor 将解密后的背包返回给乔巴至此,乔巴就能够拿到本人的原始背包了。 ...

September 16, 2021 · 4 min · jiezi

关于云计算:KVSSD-结合-LSM-与-FTL-以实现写入优化的-KV-存储

本次分享的 Paper[1]:《 KVSSD:Close integration of LSM trees and flash translation layer for write-efficient KV store 》是在 18 年的 Design, Automation & Test in Europe Conference & Exhibition (DATE) 会议上呈现的 KVSSD,作者为:Sung-Ming Wu[2]、Kai-Hsiang Lin[3]、 Li-Pin Chang[4]。 这篇 Paper 次要思路是在 SSD 上间接提供 KV 接口,将 LSM Tree 与 FTL 深度联合,从而防止从 LSM Tree,主机文件系统到 FTL 多个软件层的写入放大。跟大家分享这篇 Paper ,一方面是蹭一蹭 KV 接口曾经胜利进入 NVMe 2.0 标准被标准化的热点,另一方面是为了和 TiKV / TiDB 的同学探讨将来存储硬件的更多可能性,心愿能带来一些启发。 本文将首先介绍问题的背景,什么是写放大,哪里产生了写放大,而后引出解决方案,介绍 KVSSD 做了哪些优化,之后再介绍 KVSSD 的性能评估数据,以及工业上的停顿。 背景首先咱们来聊聊背景。这是一个 TiKV 的架构图: ...

September 16, 2021 · 4 min · jiezi

关于云计算:使用ECS和OSS搭建个人网盘

体验简介本场景将提供一台配置了Centos 7.7版本的ECS实例(云服务器)和对象存储OSS实例。通过本教程的操作,您能够基于ECS和OSS疾速搭建一个集体网盘。 体验此场景后,能够把握的常识有: OSS基本操作。Linux 零碎根底命令。 背景常识本场景次要波及以下云产品和服务: 云服务器ECS: 云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳固牢靠、弹性扩大的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您洽购IT硬件的后期筹备,让您像应用水、电、天然气等公共资源一样便捷、高效地应用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS继续提供创新型服务器,解决多种业务需要,助力您的业务倒退。 对象存储OSS: 阿里云对象存储OSS(Object Storage Service)是阿里云提供的海量、平安、低成本、高长久的云存储服务。其数据设计持久性不低于99.9999999999%(12个9),服务可用性(或业务连续性)不低于99.995%。 OSS具备与平台无关的RESTful API接口,您能够在任何利用、任何工夫、任何地点存储和拜访任意类型的数据。 您能够应用阿里云提供的API、SDK接口或者OSS迁徙工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS当前,您能够抉择规范存储(Standard)作为挪动利用、大型网站、图片分享或热点音视频的次要存储形式,也能够抉择老本更低、存储期限更长的低频拜访存储(Infrequent Access)、归档存储(Archive)、冷归档存储(Cold Archive)作为不常常拜访数据的存储形式。 创立资源1.在试验主页面,页面左侧,单击 云产品资源 下拉列表,查看本次实验所需资源。 2.单击屏幕右侧 创立资源 ,收费创立以后实验所需云产品资源。 阐明: 资源创立过程须要1~3分钟。实现试验资源的创立后,您能够在 云产品资源 列表查看已创立的资源信息,例如:IP地址、子用户名称和子用户明码等。 连贯ECS服务器在页面右侧,单击 切换至 Web Terminal,将界面切换至 Web Terminal即可主动连贯到ECS服务器。 装置Cloudreve执行如下命令,下载cloudreve安装包。wget https://github.com/cloudreve/Cloudreve/releases/download/3.3.1/cloudreve_3.3.1_linux_amd64.tar.gz下载结束后,执行如下命令,解压cloudreve安装包。tar -zxvf cloudreve_3.3.1_linux_amd64.tar.gz执行如下命令,给cloudreve授予权限。chmod +x ./cloudreve执行如下命令,运行cloudreve。./cloudreve返回后果如下所示,您能够看到管理员账号和明码。 关上浏览器,拜访http://<ECS公网地址>:5212,顺次输出管理员账号和明码,单击登录。登录胜利界面如下。 在终端中按下Ctrl+C键,进行cloudreve运行。装置ossfsossfs能让您在Linux零碎中,将对象存储OSS的存储空间(Bucket)挂载到本地文件系统中,您可能像操作本地文件一样操作OSS的对象(Object),实现数据的共享。 执行如下命令,下载ossfs安装包。wget http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_centos7.0_x86_64.rpm下载结束后,执行如下命令,装置ossfs。yum localinstall ossfs_1.80.6_centos7.0_x86_64.rpm -y返回后果如下所示,示意ossfs装置胜利。 执行如下命令,配置账号访问信息,将Bucket名称以及具备此Bucket拜访权限的AccessKey ID和AccessKey Secret信息寄存在/etc/passwd-ossfs文件中。您须要将BucketName、yourAccessKeyId和yourAccessKeySecret替换成Bucket名称、AccessKey ID和AccessKey Secret。echo BucketName:yourAccessKeyId:yourAccessKeySecret > /etc/passwd-ossfs参数阐明: BucketName:阿里云OSS控制台中创立的bucket名称,可在第一大节中的云产品资源下拉列表中查看。yourAccessKeyId:具备此Bucket拜访权限的AccessKey ID,可在第一大节中的云产品资源下拉列表中的AKID查看。yourAccessKeySecret:具备此Bucket拜访权限的AccessKeySecret,可在第一大节中的云产品资源下拉列表中的AK Secret查看。图a:OSSbucket名称图b:AccessKey ID信息 执行如下命令,给passwd-ossfs文件授予权限。chmod 640 /etc/passwd-ossfs挂载OSS1.在终端中,执行如下命令,创立一个名为oss文件夹。 ...

September 16, 2021 · 1 min · jiezi

关于云计算:存储大师班-ZFS存储池块管理与事务模型

ZFS History ZFS 的诞生:ZFS 由 Sun 存储部门的 CTO 、研究员 Jeff Bonwick 率领团队开发。开发于 2001 年,作为 Sun Microsystems Solaris 操作系统的一部分。 率领开发 ZFS 的是 Jeff Bonwick。他首先有了对 ZFS 整体架构的构思,而后游说 Sun 高层,亲自组建起了 ZFS 开发团队。招募了过后刚从大学毕业的 Matt Ahrens,又从 Solaris 的 Storage Team 抽调了 UFS 局部的负责人 Mark Shellenbaum 和 Mark Maybee 来开发 ZFS。ZFS 的开源:在 2005 年,Sun 开源 Solaris 的大部分,包含 ZFS 开源;开源我的项目 OpenSolaris。illumos 我的项目成立,OpenZFS: 在 2010 年,Sun 被 Oracle 收买,ZFS 成为 Oracle 的注册商标。Oracle 进行为 OpenSolaris 和 ZFS 我的项目提供更新的源代码,三分之二的 ZFS 外围开发者决定来到 Oracle 公司。illumos 我的项目的成立,保护曾经存在的开源的 Solaris 代码,并且在 2013 年成立 OpenZFS 以配合 ZFS 开源的倒退。ZFS on Linux:2013 年,Linux 上 ZFS 的第一个稳固版本,持续倒退。ZFS Overview ...

September 15, 2021 · 4 min · jiezi

关于云计算:科技热点周刊|Google-隐私计算核心服务CutefishOSMongoDB-336-亿市值

Google 发表推出隐衷计算外围服务往年 5 月 Google I/O 开发者大会公布 Android 12 的同时,发表了隐衷计算外围(Private Compute Core)。这是一项开源打算,提供了一个沙盒式的平安环境,将智能回复、实时播放和字幕等服务与操作系统和应用程序的其余局部隔离。其目标是为了让数据在用户本人的设施上放弃私密,并以爱护隐衷的形式利用云。当初,Google 曾经通过隐衷计算外围服务(Private Compute Services)进一步增强了这一动作。 9 月 9 日,Android & Play 平安和隐衷产品副总裁 Suzanne Frey 在一篇博文中说,新套件将"在 Private Compute Core 和云之间提供一个爱护隐衷的桥梁"。 Google 提到,很多 Android 性能利用机器学习来更新模型,为用户提供较好的体验。有了隐衷计算外围服务,将确保这些更新通过公有门路进行,如智能回复和实时字幕等隐衷计算外围性能不会间接进入网络。这将通过利用专门的开源 API 来实现,这些 API 通过删除个人身份信息(PII)来爱护隐衷,并应用联邦学习、联结剖析和私人信息检索等技术。 参考链接:[1] https://www.xda-developers.co... [2] https://searchmobilecomputing... Linux 发行版新秀:CutefishOSUbuntu 报道了一款由国人主导开发的 Linux 发行版——CutefishOS,此我的项目基于 Ubuntu,定位是 Linux 桌面操作系统。 依据 CutefishOS 的官网介绍,其背地公司可恶鱼科技成立于 2021 年,是一家专一于 Linux 桌面端操作系统研发与服务的公司,可恶鱼寓意为酷爱与美妙。CutefishOS 作为外围产品,是一款具备古代格调设计与实用的 Linux 桌面操作系统,能够满足在各种场景下的应用需要。 从整体外观来看,CutefishOS 的格调与 macOS 比拟靠近,它的 Dock 底栏、图标格调、控制中心以及小部件等元素都受到了 macOS 的影响。CutefishOS 的桌面环境 CuteFishDE 应用了 KDE 框架、Qt 和 KDE Plasma 5,仿佛还借鉴了深度操作系统的桌面环境(DDE)、MATE 和 JingOS。 ...

September 15, 2021 · 2 min · jiezi

关于云计算:互动赠新书|当云原生遇到混合云如何实现求变与求稳的平衡

作者|郝树伟  Flexera 的《RightScale2021 云状态报告》中指出 92% 的大型企业采纳混合云策略。Gartner 也在一份报告中称将来 90% 中大型企业将利用混合云架构治理基础设施。  多年来,随着云计算技术的蓬勃发展和落地,越来越多的企业抉择采纳云计算技术来帮忙本人疾速实现业务数字化转型,以便能更好地适应市场变动,进而博得更大的市场空间。其中有很大一部分企业基于升高技术开发和运维老本、享受随时随地的即时服务等起因,抉择将本人的业务部署在云端;还有一部分企业因为数据主权和平安隐衷方面的思考,会抉择在本人外部数据中心环境中搭建本人的专有云平台;对于公共云和专有云都有需要的企业用户会抉择搭建混合云架构。    为什么须要混合云架构  企业本身业务安全性思考  对于企业用户,特地是大型企业用户来说,把公司的要害“生命线”业务齐全托付给一个内部云厂商来保障,是有肯定的危险的。尽管公共云厂商通常都提供了安全可靠的冗余计划来保障企业用户服务的不间断性,但也并不是没有意外产生。应用混合云计划能够保障企业用户同时具备 A B 两套计划抉择和切换,最大限度保障业务稳定性。  数据主权和平安隐衷方面的监管要求  一些法律法规或者公司本身的安全策略对其企业数据所存储或驻留的地点有硬性要求,比方欧盟的“通用数据保护条例”(GDRP)等对数据控制者和数据处理者的数字监管措施,比方企业政策要求数据只能驻留在指定地点,目标是为了爱护数据隐衷和安全性等等。混合云云架构能够帮忙企业用户满足这一类的需要。  享受云厂商的服务个性  本地云与公共云厂商提供的服务质量是有肯定的差异性的,这种差异性体现在方方面面,取决于用户的理论需要和考量。比方地区覆盖面的差异性,企业用户通常在本地云中自提供的服务,在某个特定的区域内云厂商提供的服务在拜访提早上更优,企业用户在此区域有重要客户且对云服务的拜访提早有较高要求,则企业用户会抉择将此区域的业务部署在公共云上,其余业务持续部署在本地云上。  老本优化  本地云在基础设施上不足灵便的扩缩容能力,无奈在业务顶峰和低谷期依据理论需要合理安排根底计算资源,造成很大水平上的资源节约和成本增加,而云上弹性麻利、按需扩缩容的个性,能够补救本地云的这一缺点。  追寻技术革新  对与一些相似人工智能、机器学习、物联网等高精尖技术的技术革新和演进上,通常云厂商可能第一工夫提供与之绝对应的云服务,企业用户能够以更小的老本应用这些云服务,并推动企业本身的技术革新和倒退,混合云架构能够让企业随时随地采纳最好的云服务。  云原生如何助力混合云架构演进  公共云和本地云自身就是两朵不同的云,它们有不同的基础设施、不同的能力个性以及不同的 API 接口,构建混合云架构,一方面须要云提供商消耗大量精力在适配和整合云平台的能力上,另一方面,用户在这种架构下也无奈真正按需切换云服务提供商,反而是另一种模式的绑定。传统混合云的种种缺点,导致这种云架构无奈造成标准化的生态体系,也是始终以来咱们无奈针对这种云架构构建对立治理、对立交付的起因。  Kubernetes 的呈现让混合云云架构进入 2.0 时代,Kubernetes 的多项个性及其相干生态体系为混合云的标准化提供了可能性:  以 Kubernetes 为代表的云原生技术屏蔽了基础设施的差异性,目前各个云厂商以及大量的数据中心都曾经落地这些技术,使得利用“一次定义,到处部署”成为可能。 Kubernetes 标准化、申明式的 API,简化了利用的部署,让利用交付变得越来越标准化和统一化,反对在不同的云上应用雷同的形式形容和编排利用 网格服务技术能够逾越多个 Kubernetes 集群,实现对立的流量治理和服务治理,使得混合云云架构下的应用服务对立到一个管制立体进行治理。 在云原生时代,以 Kubernetes 为代表的云原生技术推动了以利用为核心的混合云架构的到来,Kubernetes 曾经成为企业多集群治理的事实根底。  云原生混合云多集群的典型应用场景  异地多活——跨地区容灾  尽管从基础设施服务和 Kubernetes 容器平台两个维度来看,用户能够低成本搭建一个高可用利用业务架构,但对于容灾能力要求更高的一些业务,还须要通过异地多活这样的地区级容灾能力来实现。  用户能够在繁多云厂商的不同区域搭建多个集群,也能够别离在线下 IDC 和线上云厂商的不同区域搭建多个集群来实现业务利用的异地多活部署。下图展现了混合云场景下 IDC 内的容器集群和公共云上的容器集群 Active-Active 部署,在异地多活架构下,利用的业务负载同时部署在多个集群上,而后应用一个全局的 DNS 服务将申请转发到对应的后端集群,当其中一个集群产生故障无奈解决申请时,DNS 服务会主动解决并只转发申请到衰弱的集群。    低延时——就近拜访  对于发展全球化国内业务的用户来说,服务的访问者散布宽泛,如果服务器部署在某个特定的区域,势必会造成其余局部地区网络体验差的问题。  在这种场景下,咱们就能够抉择在多个地区别离部署集群,通过智能 DNS 解析将用户申请转发至间隔最近的集群解决,最大限度缩小网络带来的提早。例如下图中,某应用服务别离部署于北京,成都,香港三个地区的 Kubernetes 集群,来自华北区域的用户申请会被智能解析到北京的 Kubernetes 集群,来自东北区域的用户申请会被智能解析到成都的 Kubernetes 集群,来自海内的用户申请则会被智能解析到香港的 Kubernetes 集群,这样能够最大限度地缩小天文间隔带来的网络提早,为各地用户带来统一的服务体验。    ...

September 15, 2021 · 1 min · jiezi

关于云计算:disruptor笔记之五事件消费实战

欢送拜访我的GitHubhttps://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等; 《disruptor笔记》系列链接疾速入门Disruptor类剖析环形队列的根底操作(不必Disruptor类)事件生产知识点小结事件生产实战常见场景期待策略知识点补充(终篇)本篇概览本篇是《disruptor笔记》的第五篇,前文《disruptor笔记之四:事件生产知识点小结》从实践上梳理剖析了独立生产和独特生产,留下了三个工作,明天就来成这些工作,即编码实现以下三个场景: 100个订单,短信和邮件系统独立生产100个订单,邮件系统的两个邮件服务器独特生产;100个订单,短信零碎独立生产,与此同时,两个邮件服务器独特生产;源码下载本篇实战中的残缺源码可在GitHub下载到,地址和链接信息如下表所示(https://github.com/zq2599/blo...):名称链接备注我的项目主页https://github.com/zq2599/blo...该我的项目在GitHub上的主页git仓库地址(https)https://github.com/zq2599/blo...该我的项目源码的仓库地址,https协定git仓库地址(ssh)git@github.com:zq2599/blog_demos.git该我的项目源码的仓库地址,ssh协定这个git我的项目中有多个文件夹,本次实战的源码在<font color="blue">disruptor-tutorials</font>文件夹下,如下图红框所示: <font color="blue">disruptor-tutorials</font>是个父工程,外面有多个module,本篇实战的module是<font color="red">consume-mode</font>,如下图红框所示: 编写公共代码为了实现工作,编码实现下面那三个场景,咱们须要先把公共代码写好;首先是在父工程<font color="blue">disruptor-tutorials</font>上面新建名为<font color="red">consume-mode</font>的module,其build.gradle内容如下:plugins { id 'org.springframework.boot'}dependencies { implementation 'org.projectlombok:lombok' implementation 'org.springframework.boot:spring-boot-starter' implementation 'org.springframework.boot:spring-boot-starter-web' implementation 'com.lmax:disruptor' testImplementation('org.springframework.boot:spring-boot-starter-test')}springboot启动类:package com.bolingcavalry;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;@SpringBootApplicationpublic class ConsumeModeApplication { public static void main(String[] args) { SpringApplication.run(ConsumeModeApplication.class, args); }}订单事件定义:package com.bolingcavalry.service;import lombok.Data;import lombok.NoArgsConstructor;import lombok.ToString;@Data@ToString@NoArgsConstructorpublic class OrderEvent { private String value;}订单事件的工程类,定义事件实例如何创立:package com.bolingcavalry.service;import com.lmax.disruptor.EventFactory;public class OrderEventFactory implements EventFactory<OrderEvent> { @Override public OrderEvent newInstance() { return new OrderEvent(); }}订单事件生产者类,定义如何将业务信息通过事件公布到环形队列:package com.bolingcavalry.service;import com.lmax.disruptor.RingBuffer;public class OrderEventProducer { // 存储数据的环形队列 private final RingBuffer<OrderEvent> ringBuffer; public OrderEventProducer(RingBuffer<OrderEvent> ringBuffer) { this.ringBuffer = ringBuffer; } public void onData(String content) { // ringBuffer是个队列,其next办法返回的是下最初一条记录之后的地位,这是个可用地位 long sequence = ringBuffer.next(); try { // sequence地位取出的事件是空事件 OrderEvent orderEvent = ringBuffer.get(sequence); // 空事件增加业务信息 orderEvent.setValue(content); } finally { // 公布 ringBuffer.publish(sequence); } }}生产订单事件的短信服务,实现EventHandler接口,所以是用在<font color="red">独立生产</font>的场景:package com.bolingcavalry.service;import com.lmax.disruptor.EventHandler;import lombok.extern.slf4j.Slf4j;import java.util.function.Consumer;@Slf4jpublic class SmsEventHandler implements EventHandler<OrderEvent> { public SmsEventHandler(Consumer<?> consumer) { this.consumer = consumer; } // 内部能够传入Consumer实现类,每解决一条音讯的时候,consumer的accept办法就会被执行一次 private Consumer<?> consumer; @Override public void onEvent(OrderEvent event, long sequence, boolean endOfBatch) throws Exception { log.info("短信服务 sequence [{}], endOfBatch [{}], event : {}", sequence, endOfBatch, event); // 这里延时100ms,模仿生产事件的逻辑的耗时 Thread.sleep(100); // 如果内部传入了consumer,就要执行一次accept办法 if (null!=consumer) { consumer.accept(null); } }}生产订单事件的邮件服务,实现EventHandler接口,所以是用在<font color="red">独立生产</font>的场景:package com.bolingcavalry.service;import com.lmax.disruptor.EventHandler;import lombok.extern.slf4j.Slf4j;import java.util.function.Consumer;@Slf4jpublic class MailEventHandler implements EventHandler<OrderEvent> { public MailEventHandler(Consumer<?> consumer) { this.consumer = consumer; } // 内部能够传入Consumer实现类,每解决一条音讯的时候,consumer的accept办法就会被执行一次 private Consumer<?> consumer; @Override public void onEvent(OrderEvent event, long sequence, boolean endOfBatch) throws Exception { log.info("邮件服务 sequence [{}], endOfBatch [{}], event : {}", sequence, endOfBatch, event); // 这里延时100ms,模仿生产事件的逻辑的耗时 Thread.sleep(100); // 如果内部传入了consumer,就要执行一次accept办法 if (null!=consumer) { consumer.accept(null); } }}生产订单事件的邮件服务,实现WorkHandler接口,所以是用在<font color="red">独特生产</font>的场景:package com.bolingcavalry.service;import com.lmax.disruptor.WorkHandler;import lombok.extern.slf4j.Slf4j;import java.util.function.Consumer;@Slf4jpublic class MailWorkHandler implements WorkHandler<OrderEvent> { public MailWorkHandler(Consumer<?> consumer) { this.consumer = consumer; } // 内部能够传入Consumer实现类,每解决一条音讯的时候,consumer的accept办法就会被执行一次 private Consumer<?> consumer; @Override public void onEvent(OrderEvent event) throws Exception { log.info("独特生产模式的邮件服务 : {}", event); // 这里延时100ms,模仿生产事件的逻辑的耗时 Thread.sleep(100); // 如果内部传入了consumer,就要执行一次accept办法 if (null!=consumer) { consumer.accept(null); } }}最初,将公布和生产事件的逻辑写在一个抽象类里,然而具体如何生产事件并不在此类中实现,而是留给子类,这个抽象类中有几处要留神的中央稍后会提到:package com.bolingcavalry.service;import com.lmax.disruptor.dsl.Disruptor;import lombok.Setter;import org.springframework.scheduling.concurrent.CustomizableThreadFactory;import javax.annotation.PostConstruct;import java.util.concurrent.CountDownLatch;import java.util.concurrent.atomic.AtomicLong;import java.util.function.Consumer;public abstract class ConsumeModeService { /** * 独立消费者数量 */ public static final int INDEPENDENT_CONSUMER_NUM = 2; /** * 环形缓冲区大小 */ protected int BUFFER_SIZE = 16; protected Disruptor<OrderEvent> disruptor; @Setter private OrderEventProducer producer; /** * 统计音讯总数 */ protected final AtomicLong eventCount = new AtomicLong(); /** * 这是辅助测试用的, * 测试的时候,实现事件公布后,测试主线程就用这个countDownLatch开始期待, * 在生产到指定的数量(countDownLatchGate)后,生产线程执行countDownLatch的countDown办法, * 这样测试主线程就能够完结期待了 */ private CountDownLatch countDownLatch; /** * 这是辅助测试用的, * 测试的时候,实现事件公布后,测试主线程就用这个countDownLatch开始期待, * 在生产到指定的数量(countDownLatchGate)后,生产线程执行countDownLatch的countDown办法, * 这样测试主线程就能够完结期待了 */ private int countDownLatchGate; /** * 筹备一个匿名类,传给disruptor的事件处理类, * 这样每次处理事件时,都会将曾经处理事件的总数打印进去 */ protected Consumer<?> eventCountPrinter = new Consumer<Object>() { @Override public void accept(Object o) { long count = eventCount.incrementAndGet(); /** * 这是辅助测试用的, * 测试的时候,实现事件公布后,测试主线程就用这个countDownLatch开始期待, * 在生产到指定的数量(countDownLatchGate)后,生产线程执行countDownLatch的countDown办法, * 这样测试主线程就能够完结期待了 */ if (null!=countDownLatch && count>=countDownLatchGate) { countDownLatch.countDown(); } } }; /** * 公布一个事件 * @param value * @return */ public void publish(String value) { producer.onData(value); } /** * 返回曾经解决的工作总数 * @return */ public long eventCount() { return eventCount.get(); } /** * 这是辅助测试用的, * 测试的时候,实现事件公布后,测试主线程就用这个countDownLatch开始期待, * 在生产到指定的数量(countDownLatchGate)后,生产线程执行countDownLatch的countDown办法, * 这样测试主线程就能够完结期待了 * @param countDownLatch * @param countDownLatchGate */ public void setCountDown(CountDownLatch countDownLatch, int countDownLatchGate) { this.countDownLatch = countDownLatch; this.countDownLatchGate = countDownLatchGate; } /** * 留给子类实现具体的事件生产逻辑 */ protected abstract void disruptorOperate(); @PostConstruct private void init() { // 实例化 disruptor = new Disruptor<>(new OrderEventFactory(), BUFFER_SIZE, new CustomizableThreadFactory("event-handler-")); // 留给子类实现具体的事件生产逻辑 disruptorOperate(); // 启动 disruptor.start(); // 生产者 setProducer(new OrderEventProducer(disruptor.getRingBuffer())); }}上述代码,有以下几处须要留神:init办法是spring bean实例化后要执行的办法,这外面实例化Disruptor,还启动了生产线程,并且实例化了事件生产者,具体的事件生产逻辑,由子类在disruptorOperate办法中实现;eventCountPrinter是个匿名类实例,传给事件生产的handler后,每生产一个事件都会执行一次eventCountPrinter.accept办法,这样就把生产事件的总数精确的保留在eventCount变量中了;countDownLatch和countDownLatchGate是为了辅助单元测试而筹备的,测试的时候,实现事件公布后,测试主线程就用这个countDownLatch开始期待,在生产到指定的数量(countDownLatchGate)后,生产线程执行countDownLatch的countDown办法,这样测试主线程就能够完结期待了至此,专用代码就写完了,可见形象父类曾经做好了大部分事件,咱们的子类能够聚焦事件生产的逻辑编排了,开始挨个实现那三个场景;100个订单,短信和邮件系统独立生产两个消费者独立生产的逻辑非常简单,就一行代码,调用<font color="blue">handleEventsWith</font>办法把所有消费者实例传进去,就完事了:package com.bolingcavalry.service.impl;import com.bolingcavalry.service.ConsumeModeService;import com.bolingcavalry.service.MailEventHandler;import com.bolingcavalry.service.SmsEventHandler;import org.springframework.stereotype.Service;@Service("independentModeService")public class IndependentModeServiceImpl extends ConsumeModeService { @Override protected void disruptorOperate() { // 调用handleEventsWith,示意创立的多个消费者,每个都是独立生产的 // 这里创立两个消费者,一个是短信的,一个是邮件的 disruptor.handleEventsWith(new SmsEventHandler(eventCountPrinter), new MailEventHandler(eventCountPrinter)); }}单元测试代码如下,要留神的中央是公布完<font color="red">100</font>事件后,调用<font color="blue">countDownLatch.await()</font>办法开始期待,直到消费者线程调用<font color="blue">countDownLatch.countDown()</font>办法解除期待,还有就是预期的生产音讯总数等于<font color="red">200</font>:package com.bolingcavalry.service.impl;import com.bolingcavalry.service.ConsumeModeService;import lombok.extern.slf4j.Slf4j;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.beans.factory.annotation.Qualifier;import org.springframework.boot.test.context.SpringBootTest;import org.springframework.test.context.junit4.SpringRunner;import java.util.concurrent.CountDownLatch;import static org.junit.Assert.assertEquals;@RunWith(SpringRunner.class)@SpringBootTest@Slf4jpublic class ConsumeModeServiceTest { @Autowired @Qualifier("independentModeService") ConsumeModeService independentModeService; /** * 测试时生产的音讯数量 */ private static final int EVENT_COUNT = 100; private void testConsumeModeService(ConsumeModeService service, int eventCount, int expectEventCount) throws InterruptedException { CountDownLatch countDownLatch = new CountDownLatch(1); // 通知service,等生产到expectEventCount个音讯时,就执行countDownLatch.countDown办法 service.setCountDown(countDownLatch, expectEventCount); for(int i=0;i<eventCount;i++) { log.info("publich {}", i); service.publish(String.valueOf(i)); } // 以后线程开始期待,后面的service.setCountDown办法曾经通知过service, // 等生产到expectEventCount个音讯时,就执行countDownLatch.countDown办法 // 千万留神,要调用await办法,而不是wait办法! countDownLatch.await(); // 生产的事件总数应该等于公布的事件数 assertEquals(expectEventCount, service.eventCount()); } @Test public void testIndependentModeService() throws InterruptedException { log.info("start testIndependentModeService"); testConsumeModeService(independentModeService, EVENT_COUNT, EVENT_COUNT * ConsumeModeService.INDEPENDENT_CONSUMER_NUM); }}单元测试执行后果如下,合乎预期: ...

September 15, 2021 · 4 min · jiezi

关于云计算:Knative-Autoscaler-自定义弹性伸缩

背景现在各大云厂商都开始提供 Serverless Kubernetes 服务,简化集群治理,升高运维管理负担,让 Kubernetes 更加简略。那么问题来了,一个零碎到底须要具备怎么的能力能力更好地撑持 Serverless 利用呢? Serverless 利用须要的是面向利用的治理性能,比方:降级、回滚、灰度公布、流量治理以及弹性伸缩等性能。 Knative 就是建设在 Kubernetes 之上的 Serverless 利用编排框架。Knative 的次要性能之一是主动缩放应用程序的正本,包含在没有收到流量时将应用程序缩放为 0。默认 Autoscaler 组件监督流向应用程序的流量,并依据配置的指标向上或向下扩大正本。本期次要解说 Knative Autoscaler 的原理和应用。 阐明:如需实际 Knative Autoscaler 的应用,您能够先理解以下内容。Kubernetes:须要筹备一个 Kubernetes 的集群,并学习相干的命令。Knative Serving:您能够依照入门指南装置 Knative 。Autoscaler 原理Autoscaler 依据监控到的指标(concurrency、rps、cpu等),并依据配置的指标来放大或放大正本,从而实现主动扩缩容。 (起源:Kubernetes Autoscaler) KPA VS HPAKnative Serving 反对 Knative Pod Autoscaler(KPA)和 Kubernetes 的 Horizontal Pod Autoscaler(HPA)。以下是不同 scaler 的性能和局限性。 KPAKnative Serving 外围的一部分,并且在装置 Knative Serving 后默认启用;反对从 0 扩大性能;不反对基于 CPU 的主动缩放。HPA不是 Knative Serving 外围的一部分,装置 Kubernetes 后默认启动;不反对从 0 扩大性能;反对基于 CPU 的主动缩放。scaling 配置通过以上介绍,咱们初步理解了 Autoscaler 执行原理,接下来介绍如何配置 KPA 或 HPA。 ...

September 14, 2021 · 2 min · jiezi

关于云计算:科技热点周刊|Zoom-1-亿美元Docker-收费380-亿美元-Databricks

Zoom 颁布其“1 亿美元倒退基金”的首轮投资名单一年多来,Zoom 始终致力于从应用程序转变为平台。为此,它去年公布了三项布告:Zoom Apps 开发工具、Zoom Apps 市场和 1 亿美元的倒退基金,用于投资一些更有前途的初创公司在其平台上构建工具。 目前曾经进行了首轮投资,投资金额在 25 万~ 250 万美金之间,除了资金之外,还利用外部资源为初创企业提供倡议和执行反对。投资对象蕴含合作和生产力、社区和慈悲、DE&I 和 PeopleOps,以及游戏和娱乐等类别,如销售工具 Warmly、语音转录工具 Fathom、即时申请和收集捐款工具 Pledge、招聘面试工具 Canvas 等。 参考链接: [1] https://techcrunch.com/2021/0... Docker Desktop 发表免费近日 Docker 官网发表一项新的动作,行将产品订阅划分为集体、业余、团队和商业不同版本。如果企业规模在 250 名员工以上或年收入超过 1000 万美元的公司想要应用 Docker Desktop,那么必须应用付费订阅。付费订阅一共蕴含了三种:Pro、Team、Business。其中,Pro 为每月 5 美元,Team 为每月 7 美元。Docker Business 将以每月每位用户 21 美元的规范免费! 参考链接: [1] https://www.docker.com/blog/u... [2] https://www.theregister.com/2... 估值高达 380 亿美元!Spark 商业化公司 Databricks 再获 16 亿美元融资Apache Spark 初始成员创建的大数据初创公司 Databricks 发表取得 16 亿美元 H 轮融资。本轮融资过后,Databricks 的估值曾经飙升至 380 亿美元。也就是说,间隔上一轮 10 亿美元的 G 轮融资才 7 个月工夫,其估值就曾经减少了 100 亿美元。 ...

September 14, 2021 · 2 min · jiezi

关于云计算:中国移动基于-Kubernetes-的物联网边缘计算应用实践

作者:何毓川,中移物联网,云计算开发高级工程师EdgeBox简介中移物联网是中国移动集团在物联网方向的业余研发子公司,在各个垂直行业都有十分丰盛和实现的解决方案。 本文通过中移物联网的物联网边缘计算解决方案:OneCyber 5G 边缘网关,简称 OneCyber EdgeBox (下文统称为 EdgeBox),介绍中国移动在基于 Kubernetes 的物联网边缘计算利用实际。 首先对边缘计算做一个简要的介绍,边缘计算是一种在数据源头侧提供运算、存储、网络等的IT能力,用以升高数字化转型的老本、进步资源利用率、加强业务的灵活性。 下图展现了边缘计算的总览和分类。图中上半局部称为轻边缘,也叫远边缘,因为边缘计算的算力间隔用户和现场比拟近,常常作为物联网的网关设施出现在用户背后。而图中下半局部称为重边缘,也叫近边缘,也就是咱们通常所说的 MEC,MEC 的运算、存储、网络等IT能力都比轻边缘强的多,在 MEC 部署的业务的利用就在边缘端解决用户申请和流量,不能解决的才持续上行到核心 DC 或云端。 本文介绍的 EdgeBox 就是远边缘的典型利用,以智能边缘硬件的模式部署在用户现场,和云端的边缘计算治理平台进行云边协同,将云端的利用和能力延申到边缘侧。 EdgeBox 作为中国移动旗下的远边缘计算整体解决方案,提供以下的外围能力: 智能边缘硬件(反对 5G)边缘基础设施治理边缘容器利用治理云边协同能力边缘利用商城IoT 设施多协定接入服务数据集成/数据分析服务丰盛的行业AI算法下图展现了 EdgeBox 解决方案的形成,包含智能边缘硬件和物联网边缘计算平台。 智能边缘硬件在边缘侧提供设施接入,边缘利用等能力,并通过云边协同能力和云端的物联网边缘计算平台进行交互。物联网边缘计算平台在云端提供利用商城,边缘治理等能力,并通过标准接口和第三方平台进行对接。 智能边缘硬件次要分为 EdgeBox-A 系列和 EdgeBox-V 系列。EdgeBox-A 系列定位为通用边缘 APP 一体机,基于通用 CPU 和规范操作系统,侧重于承载边云一体化利用。而 EdgeBox-V 系列则定位为 AI 机器视觉一体机,通过配置神经网络 ASIC,偏重边缘侧的视频和图像剖析。 物联网边缘计算平台前文简要介绍了 EdgeBox 解决方案的形成,次要包含边缘端的智能边缘硬件和云端的物联网边缘计算平台。从本章节开始,将具体介绍物联网边缘计算平台的形成,能力,和技术架构等。 下图展现了 EdgeBox 解决方案中物联网边缘计算平台的组件形成。 上图中,物联网边缘计算平台次要由蓝色局部的边缘计算基础设施能力和红色局部的由利用带来的扩大能力形成。边缘计算基础设施能力的局部称之为边缘计算平台,而由利用带来的扩大能力的局部称之为利用使能平台。 边缘计算平台次要提供以下能力: 边缘基础设施治理边缘容器利用治理云边协同能力边缘利用商城 (丰盛的行业AI算法)利用使能平台则次要提供以下能力:IoT设施多协定接入服务数据集成/数据分析服务边缘计算平台和利用使能平台,独特形成了 EdgeBox 解决方案中云端的物联网边缘计算平台。上面就别离对这两个平台进行具体的阐明。 边缘计算平台边缘计算平台在 EdgeBox 整体解决方案中作为边缘计算的底座,提供边缘基础设施和利用的根底治理能力。有了边缘计算平台,才能够通过利用等形式扩大整个解决方案的能力。 边缘计算平台次要提供以下六大类根底能力: 边缘节点治理:对立治理边缘计算硬件,提供认证、监控、配置下发等性能。云边协同能力:所有边缘硬件资源纳入对立资源池进行协同治理;为边缘利用提供云边数据通道和云边治理通道,让业务在云和边之间无缝协同。容器镜像治理:镜像仓库能够在用户维度进行容器镜像治理。边缘利用治理:对立治理边缘利用,提供利用部署、配置下发、利用监控、近程调试。边缘利用市场:对立收纳客户边缘业务利用,不便保护利用版本、部署模板。云端集群治理:对立治理云端多K8S集群,提供对立视图并无效扩大业务规模。为了提供上述的六大类边缘计算的根底能力,边缘计算平台的架构须要相应的组件和模块进行撑持。边缘计算平台的技术架构如下图所示。 上图中,次要的组件和模块的作用解释如下。 北向 API 层:边缘计算的资源建模,包含边缘节点,边缘利用等,同时负责向用户和第三方平台提供北向 REST API,以及长久化和缓存解决。多集群容器云平台:向北向 API 层提供节点,容器,和多集群的治理能力,南向治理 EdgeBox 的云端代理和承载云端代理的K8S集群。EdgeBox 云端代理:云边协同的云端代理服务,部署在云端K8S集群中,提供边缘节点接入和向边缘端的资源同步等。EdgeBox 边缘治理:云边协同的边缘代理服务,装置在智能边缘硬件上,提供边缘利用的运行环境和向云端的资源同步等。利用市场:治理镜像和边缘利用。依据以上的架构设计,EdgeBox 的边缘计算平台在局部组件上须要集成开源软件来防止反复造轮子。其中多集群容器云平台和 EdgeBox 的云端以及边缘代理是选型的重点。 ...

September 13, 2021 · 1 min · jiezi

关于云计算:云原生爱好者周刊Lens-52-发布支持-M1-芯片

云原生一周动静要闻: Lens 5.2 公布CNI 1.0.1 公布K8ssandra 从 Helm 迁徙到 OperatorAmazon EKS Anywhere – 当初广泛可用于在本地创立和治理 Kubernetes 集群WasmEdge 0.8.2 公布中国首届 Kubernetes Community Days 行将开启开源我的项目举荐文章举荐云原生动静Lens 5.2 公布Lens 5.2 公布,这个版本蕴含了一些新的和改良的个性,包含许多乏味的加强和 bug 修复!这个版本的次要亮点包含苹果的 M1 芯片反对,减少/删除集群的改良用户体验,Monaco 编辑器集成等等。 新性能和加强性能如下: 针对苹果 M1 芯片进行了优化轻松增加/删除群组Monaco 编辑器集成主动退出集群令牌其余显著变动: 显著特点: 从用户界面复制 Kubernetes 资源名称变得更容易增加了重命名快捷栏的性能改良命名空间选择器的用户体验改良指标查问的性能,并将指标增加到命名空间和 Job 中值得注意的谬误修复: 改良了反映节点和自定义资源定义(CRD)视图中集群变动的仪表盘更新修复了某些 Kubernetes 资源的指标加载问题修复了目录侧栏中的字体大小变动将内置的 kubectl 更新到 v1.21.2 以改良端口转发的性能详情见 CNI 1.0.1 公布CNI v1.0 对 CNI 的工作形式没有什么扭转,但它发表了 API 的稳定性。 这个版本包含: 一个重写的标准(为了清晰)libcni 的改良更多的测试标准变更日志 K8ssandra 从 Helm 迁徙到 OperatorK8ssandra 是 Apache Cassandra® 在 Kubernetes 上的一个发行版,由多个开源组件构建。从一开始到最近的 K8ssandra 1.3 版本,K8ssandra 都是作为 Helm 图表的汇合来装置和治理。尽管该我的项目利用了 Kubernetes operators 的组件,包含 Cassandra(cass-operator)和 Medusa(medusa-operator),但还没有一个 Operator 将所有这些组件作为一个整体的零碎来治理。 ...

September 13, 2021 · 2 min · jiezi

关于云计算:上云迁移之路如何选择适合方式

在数字化转型、云计算市场逐渐扩充的背景下,越来越多的政府与企业客户产生上云迁徙需要。以后因为云技术路线和业务场景的复杂性和多样性,抉择迁徙形式计划难度一直减少。 浪潮云经验过单个我的项目实现 18000+台的虚拟机迁徙的实际,基于大量迁徙教训,将迁徙流程次要分为:业务调研,方案设计,施行与保护,业务调研是云迁徙的前提,无论是哪种迁徙场景,都须要依据现有业务体系,以及将来倒退要求来抉择上云迁徙形式。针对简单多样的用户业务场景,浪潮云泽智能运维——“业务迁徙施行”有三种迁徙形式。 重新部署实用场景 操作系统版本过低 利用零碎存在破绽 利用零碎架构面临降级 国产化要求 重新部署形式 镜像迁徙实用场景 短少开发商反对 利用零碎技术架构明确 镜像迁徙形式 工具迁徙实用场景 实用于各种场景 工具迁徙形式 通过以上三种形式,可满足简单多样的上云迁徙需要。浪潮云泽智能运维——业务迁徙施行,以用户需要为外围的服务理念,可针对用户理论状况制订合适的迁徙形式计划,帮忙用户实现多种业务环境自在进行一体化业务零碎迁徙上云,助力政府、企业实现数字化转型。 如需理解更多,分割咱们 浪潮云售前电话 400-607-6657

September 13, 2021 · 1 min · jiezi

关于云计算:浪潮云洲发布标识解析数据网关产品

近日,浪潮云洲标识解析数据网关IDG S800公布上线,进一步丰盛了标识解析工业设施产品体系。 随着工业互联网疾速倒退,越来越多的企业施行设施联网与上云上平台。为满足用户设施联网及工业互联网标识解析的需要,浪潮云洲推出现场级标识解析数据网关产品。浪潮云洲标识解析数据网关IDG S800 浪潮工业互联网工业智能产品部总经理于静介绍,标识解析数据网关IDG S800是一款搭载了标识解析性能的工业级全功能型PLC(可编程逻辑控制器)网关,具备数据采集及下发平台数据能力,用于帮忙PLC联网,实现PLC的近程监控和数据透传,通过云平台,助力企业近程配置设施参数和治理工业设施。 标识解析数据网关具备标识元数据映射和解决能力。同时,其余设施如PLC、传感器、通用的物联网设施等,能够通过标识解析数据网关,进入工业互联网标识解析平台体系,实现设施标识主动注册,发动设施标识的被动解析。 产品特点方面,标识解析数据网关IDG S800反对Modbus RTU/TCP协定,具备云平台近程监控性能,内置PLC支流协定、云端监控、OPC协定,内置被动标识及标识解析控件,反对4路数字输出+4路数字输入。 标识解析数据网关IDG S800利用解决方案 利用场景方面,标识解析数据网关IDG S800次要面向近程监测和管制。在传统工业场景下,用户仅可对本地设施进行操作。而在接入标识解析数据网关后,岂但能够管理所连贯主从设施标识码,被动向标识解析零碎发动解析信号,还能够近程监控PLC的工作状态,大幅提高产线的机电一体化程度。 下一步,浪潮云洲将围绕标识解析及物联网技术,联合用户利用场景,打造工业互联网畛域数采新产品。

September 10, 2021 · 1 min · jiezi

关于云计算:Grand-View-Research2028年云计算市场将达125109亿美元

9月8日音讯,依据市场钻研机构Grand?View?Research的一项钻研,到2028年,寰球云计算市场规模预计将达到12510.9亿美元,在预测期内年复合增长率为19.1%。这一增长可归因于多个因素,包含不同行业的数字转型、互联网普及率的激增以及不同垂直畛域的大数据生产。5G、物联网和人工智能的日益遍及无望进一步反对云计算市场的增长。钻研指出,因为中小企业和大型企业越来越器重增强其数字化动作,预计亚太地区将在预测期内成为增长最快的区域市场。小鸟云计算,促使用户云端部署化简为零,轻松快捷使用云计算。

September 9, 2021 · 1 min · jiezi

关于云计算:以-Serverless-的方式实现-Kubernetes-日志告警

当咱们将容器的日志收集到音讯服务器之后,咱们该如何解决这些日志?部署一个专用的日志解决工作负载可能会消耗多余的老本,而当日志体量骤增、骤降时亦难以评估日志解决工作负载的待机数量。本文提供了一种基于 Serverless 的日志解决思路,能够在升高该工作链路老本的同时进步其灵活性。 咱们的大体设计是应用 Kafka 服务器作为日志的接收器,之后以输出 Kafka 服务器的日志作为事件,驱动 Serverless 工作负载对日志进行解决。据此的大抵步骤为: 搭建 Kafka 服务器作为 Kubernetes 集群的日志接收器部署 OpenFunction 为日志解决工作负载提供 Serverless 能力编写日志处理函数,抓取特定的日志生成告警音讯配置 Notification Manager[1] 将告警发送至 Slack 在这个场景中,咱们会利用到 OpenFunction[2] 带来的 Serverless 能力。 OpenFunction[3] 是 KubeSphere 社区开源的一个 FaaS(Serverless)我的项目,旨在让用户专一于他们的业务逻辑,而不用关怀底层运行环境和基础设施。该我的项目以后具备以下要害能力:反对通过 dockerfile 或 buildpacks 形式构建 OCI 镜像反对应用 Knative Serving 或 OpenFunctionAsync ( KEDA + Dapr ) 作为 runtime 运行 Serverless 工作负载自带事件驱动框架应用 Kafka 作为日志接收器首先,咱们为 KubeSphere 平台开启 logging 组件(能够参考 启用可插拔组件[3] 获取更多信息)。而后咱们应用 strimzi-kafka-operator[5] 搭建一个最小化的 Kafka 服务器。 在 default 命名空间中装置 strimzi-kafka-operator[6] : ...

September 8, 2021 · 5 min · jiezi

关于云计算:浪潮云洲×明风机械让工业哑设备发声

走进济南市章丘区三涧溪村,农村振兴齐鲁样板的气味扑面而来,考查学习者川流不息。其中,必学的一个板块是产业振兴,山东明风机械制造有限公司(以下简称明风机械)便是代表之一。 数字经济时代,明风机械踊跃拥抱工业互联网,牵手浪潮云洲,走出了一条农村产业数字化跃升之路。 不晋升,就跟不上 明风机械创立于1993年,位于三涧溪村集约型工业园内,业余生产鼓风机产品,广泛应用于环保等行业,远销海内外。 “你不晋升,就跟不上了。“明风机械董事长兼总经理赵震昌对于产业数字化有着独到了解,高度认可工业互联网赋能价值。 在明风机械车间内,数控机床是生产鼓风机的次要设施。然而,原先根本是以“哑设施”状态存在,设施之间互相孤立,未实现网络互联,设施数据难以反馈领导生产过程,精细化管控难度大。 从行业趋势看,设施逐步取代人,成为工业企业配角,设施数据也以根底数据身份参加企业经营交易,这关乎数据驱动的智能制作倒退程度。 《工业互联网翻新倒退行动计划(2021-2023年)》也明确提出,放慢工业设施网络化革新,反对工业企业对工业现场“哑设施”进行网络互联能力革新,撑持多元工业数据采集,推动工业设施跨协定互通。 通过多轮现场调研与座谈交换,明风机械承受浪潮云洲提出的解决方案,通过云洲工业智能软硬一体机放慢工业设施网络化革新,晋升智慧风机产业倒退程度。 接入一体机,实现网络互联 在踊跃拥抱工业互联网方面,明风机械基于浪潮云洲工业互联网平台,通过工业智能软硬一体机,连贯鼓风机生产制作过程中的加工设施、零碎,实现联网治理和实时监控,包含设施信息、运行状态、生产数据、培修预警、生产效率、能源消耗、维保记录、运行监控、智能告警等要害数据与信息。 目前,明风机械数控机床已接入云洲工业智能软硬一体机,机床操作面板上的数据,包含机械坐标、模态、伺服负载表、加工整机数、运行工夫、循环工夫等,能实时传送至一体机。 在此基础上,浪潮云洲会集鼓风机生产车间各设施及设施运行数据,造成智慧车间监控一张图,在Web端和挪动端均可实时展现,并且可凋谢于客户进行近程拜访。 浪潮工业互联网副总经理商广勇示意,通过工业智能一体机的形式,“小切口”染指,赋能风机产业,既不会打乱企业原有的生产节奏,又能以较高的性价比,提供软硬一体的智能化服务,非常适合中小企业数字化转型降级。 据理解,云洲工业智能一体机具备设施资产治理、设施联网、数据采集、智能剖析、可视化翻新利用等多重能力,适配上百种工业协定,提供麻利、即插即用的工业物联网服务,打造以设施为外围的工厂新型数据湖。 产销,尽在掌控 利用浪潮云洲解决方案后,明风机械能播种什么价值?能够概括为两大关键词:生产全掌控,一屏览车间。 一方面,明风机械工业设施“除哑”,开始发声,数据总览高深莫测,能轻松查看实时数据和历史数据,实现报警监控配置和推送,疾速培修,生产管理效率晋升15%。 另一方面,智慧车间监控大屏实现近程分享,晋升与动向客户交换的体验感与信任度,助力订单转化率进步10%。 下一步,浪潮云洲将以助力工业“哑设施”发声为终点,通过工业互联网平台,搭建明风机械与客户间的互动桥梁,推动企业数字化转型和高质量倒退。

September 8, 2021 · 1 min · jiezi

关于云计算:1分钟体验代码自动捉虫Cherry键盘积木星球抱回家

5款阿里罕用代码检测工具现在,一款软件的开发往往须要多成员合作开发。 随着人员规模的扩充,如何保障代码的品质和平安,仅靠成员盲目自测,一是花工夫,二是品质上不免参差不齐、无奈造成对立的流程标准。 引入自动化的代码检测工具,在代码提交时自动检测代码里的缺点、破绽等,设定品质卡点等,能够无效晋升团队代码的品质和平安,把DevSecOps落到实处。 云效代码治理Codeup ,除了提供平安稳固、不限容量的云上代码托管能力外,\ 还集成了阿里巴巴罕用的【Java代码规约检测】、【敏感信息检测】、【依赖包破绽检测】、【源码破绽检测】、【代码智能补丁举荐】等丰盛的代码检测能力。 云效DevOps实验室:1分钟体验代码主动捉虫本期云效DevOps实验室联结云起实验室,围绕代码检测,特此推出【1分钟代码主动捉虫】流动。 仅需1-3分钟,即可残缺体验这些能力,给你的代码做个全身体检和打分。 云效Codeup代码检测后果 云效Codeup代码平安打分 9月6-10日,云效新用户实现体验,还可抽Cherry机械键盘、阿里云定制GIt命令鼠标垫、积木星球等。1000份礼品,100%中奖,先到先得。点击下方链接,立刻参加:https://developer.aliyun.com/...

September 8, 2021 · 1 min · jiezi

关于云计算:云原生爱好者周刊开源替代品开始围剿-Docker-Desktop

云原生一周动静要闻: Docker 更新和扩大了产品订阅NGINX Ingress Controller 1.0.0 公布Tanzu 利用平台的公开测试版公布IBM 开源 TornjakKubernetes 应用程序开发者认证(CKAD)中文版正式上线!开源我的项目举荐文章举荐近期,Docker 公司更新了其产品订阅策略,更新的重点就是 Docker Desktop 不再收费提供给中大型企业应用。既然 Docker 步步紧逼,其他人就看不下去了,纷纷开始围剿 Docker Desktop。比方最近比拟火爆的 lima 我的项目,这名字一听就很厉害。。。就连 Rancher Desktop 也开始集成 lima 了。 这里再介绍另外一个大家所熟知的我的项目 Podman,Podman 始终以来只能跑在 Linux 零碎上,macOS 和 Windows 只能通过 CLI 近程连贯 Podman 的 API 来治理容器。要想在 macOS 中应用 Podman,只能创立一个虚拟机而后通过近程连贯来应用。值得庆幸的是,近期 Podman CLI 内置了一个 machine 参数,能够间接通过 podman machine 零打碎敲,实现创立虚拟机、近程连贯虚拟机中的 Podman API 这些所有步骤,大大优化了应用体验。 这还不够,这两天又呈现一个 macOS 平台的 Podman UI,能够通过图形界面启动和进行 Podman 虚拟机及其运行的容器,基本上能够代替 Docker Desktop 了,具体可参考本文的开源我的项目举荐章节。 云原生动静Docker 更新和扩大了产品订阅为了促使 Docker 可继续地扩大,能够持续提供开发者青睐的翻新、收费的 Docker 体验,Docker 更新和扩大了产品订阅。这些更新的产品订阅提供了开发者所依赖的生产力和合作,以及企业所须要的规模、安全性和可信赖的内容。 ...

September 8, 2021 · 2 min · jiezi

关于云计算:IBP在城市大脑项目中的应用入选工信部2021年大数据产业发展试点示范项目名单

9月1日,工业和信息化部颁布了《2021年大数据产业倒退试点示范我的项目名单》,浪潮云申报的“IBP在城市大脑我的项目中的利用”荣登榜单。 “2021年大数据产业倒退试点示范我的项目”围绕工业大数据利用、行业大数据利用、大数据重点产品、数据管理及服务四个方向,旨在通过试点后行、示范引领,总结推广可复制的教训做法,推动大数据产业高质量倒退。此次全国共204个我的项目入选,其中“IBP在城市大脑我的项目中的利用”入选行业大数据应用领域名单,标记着浪潮云业务使能平台IBP在大数据产业倒退应用领域取得部委级高度认可。 浪潮云业务使能平台IBP以数据智能为外围竞争力,是集视频感知、物联感知、数据工场、AI工场、区块链、能力中枢为一体的平台级产品。基于分布式云原生架构,实现了泛在感知数据交融、大数据全生命周期治理、数据智能剖析开掘、行业利用资产能力凋谢等的外围能力,重点撑持政企客户数字化转型过程中的全因素数据安全、智能和高效翻新需要。 IBP平台使用物联网、视联网、大数据、人工智能、区块链等关键技术,可利用于城市大脑建设,为智慧城市提供技术当先且智能高效的城市级数字底座,助力客户实现城市感知资源、数据资源、根底算力、多维算法与智慧利用场景的智能调度及协同共享。目前平台已在山东济南智慧泉城、安徽亳州城市大脑、河南郑东新区智慧城市等我的项目中胜利落地。其中,亳州城市大脑3.0作为IBP平台“数据智能”能力利用的典型案例,为城市建设共性能力撑持平台,汇聚全市约7万余路视频、物联数据,提供150余类AI模型,撑持开发路面秩序监测、多车监管、河湖治理等40个智能利用场景,无效破解以后信息化我的项目建设存在的“闲、散、缺、破”四大难题。 “IBP在城市大脑我的项目中的利用”入选工信部2021年大数据产业倒退试点示范我的项目名单,既是对浪潮大数据创新能力、技术能力、服务能力的充分肯定,更是市场及用户对公司的信赖和认可。今后,浪潮云将持续夯实“云+数”产品能力,聚焦数据智能、实现数据价值,撑持政府、企业数字化转型,助力推动大数据产业衰弱倒退。

September 7, 2021 · 1 min · jiezi

关于云计算:三涧溪村乡村产业插上数字化翅膀

民族要振兴,农村必振兴,产业发达是重中之重。 在济南市章丘区三涧溪村,过来是小锻打、小煤矿、小石灰窑、小焦宝石矿等“四小”产业的天下,村子周边烟囱林立,一年到头天都灰蒙蒙的。 现在的三涧溪村,现代农业基地,集约型经济园区,优质三产服务,构筑起产业振兴的四梁八柱。借助浪潮云洲输入的工业互联网、区块链、大数据等数字技术,三涧溪村产业插上了数字化翅膀,实现一二三产业交融倒退,在富民强村路线上阔步向前。 黑猪肉“上链” 走进三涧溪数字服务中心,“数字涧溪,敢闯新路”的字样映入眼帘。 2009年开办济南源虎食品有限公司的王元虎,不仅是大学生返乡守业的先锋,在数字化转型上也敢于“吃螃蟹”。 在尝试云养猪等信息化技改根底上,源虎食品遇到了浪潮云洲,对于黑猪肉写入区块链这一解决方案,单方一拍即合。 为展现高品质黑猪肉,源虎食品基于浪潮云洲搭建的智慧黑猪产业平台,汇聚养殖、加工、检测等关键环节的品质数据,在区块链上进行存证,确保数据不可篡改。同时,通过赋码、扫码等品质可视化伎俩,向社会传递三涧溪源虎黑猪肉品牌形象。 图为散养的源虎黑猪“高端食品最怕的是品质出问题。”王元虎说,记录黑猪肉品质的区块链,不仅是一种数字化工具,更是一个“做的好要让用户看到”的展现窗口。从云门店下单,到云基地响应,24小时陈腐到家,折射出浪潮云洲数字技术的赋能力。 鼓风机“触网” 山东明风机械制造有限公司位于三涧溪村东南角,生产鼓风机,是货真价实的农村企业,80%以上的员工来自村里,就近待业。 农村企业并不“土”,不甘落后。最近在忙着一件小事:“触网”,即拥抱工业互联网。 明风机械基于浪潮云洲工业互联网平台,通过智慧边缘软硬一体机,连贯鼓风机生产制作过程中的加工设施、零碎,实现联网治理和实时监控,既可生产全掌控,又可造成智慧车间监控一张图,一屏览车间。 图为明风机械数控机床接入云洲一体机 在明风机械生产车间,数控机床已与云洲一体机连贯结束,机床操作面板上的数据,能实时传输至一体机,现场展现生产过程中的设施运行状态、生产数据、报警信息、产量预估、品质管制、不良散布等数据,并且可凋谢给客户,进行近程拜访。 “你不晋升,就跟不上了。“明风机械董事长兼总经理赵震昌很认可浪潮云洲的革新理念与实际,认为会大幅度晋升管理水平、品牌效应。同时,也能通过工业互联网平台,接触更多客户,让客户更多理解企业。 章丘铁锅“锁数” 古有河南“洛阳纸贵”,今赋章丘“一锅难求”。章丘铁锅炽热的背地,假冒伪劣也时常侵扰,让消费者望而生畏。 福裕祥传承锅通过“锁数“,即锁定外围数据,验明正身,播种了章丘铁锅的真正价值。 浪潮云洲施展标识解析服务能力,通过“一物一码”,锁定章丘铁锅的前世今生。一是锁定匠人,追溯正宗章丘铁匠家族,锁定惟一匠人;二是锁定非遗技能,锁定12道工序、18遍火候、36000捶打,直至锅面如镜。 包含鸽九香扶贫鸽在内,浪潮云洲赋能三涧溪村产业振兴的数字锦囊,正缓缓开释威力。 浪潮工业互联网副总经理商广勇示意,浪潮云洲联结三涧溪村,闯出了一条农村产业数字化实际之路,打造了产业振兴齐鲁样板。将来,单方将继续深入单干,为数字农村奉献外围力量。

September 6, 2021 · 1 min · jiezi

关于云计算:你了解自己的业务IO么

咱们为什么要关注业务的IO行为,或者IO拜访模型呢?起因很简略,任何零碎都要关注本人服务的对象,存储系统服务的对象就是下层利用,所以存储的研发离不开对业务行为的剖析和钻研。存储系统的整体设计和架构,是多种因素综合衡量的后果。在存储系统性能达到极限的时候,无论是存储的开发者还是使用者,都想晓得IO的具体表现行为,开发者是为了可能找到瓶颈点,更好地优化存储系统,使用者是为了可能更优地应用存储系统,让业务稳固运行。 常见业务类型的IO特点咱们先基于几个典型的业务场景,介绍一下这些场景下IO模型的特点。 记录日志 日志文件通常状况都是追加写入,在每一次写之前,都须要调用statfs获取文件大小,以此作为pos(新内容插入地位)写入数据,因而write和statfs的申请比例是1:1。反过来,如果发现在某个客户端的申请统计中发现,write/stat申请比例靠近1:1,根本能够判定,此客户端上的业务基本上是文件的追加写业务。如果面对这种日志IO类型在存储整体拜访中占比比拟高的用户,在须要晋升零碎整体性能时,能够倡议用户扩充日志文件的写入buffer,从而缩小write/stat的申请次数,达到性能优化的成果。 系统命令du/ls 操作系统的几个命令对于分布式文件存储来说,都不是特地敌对,比如说ls/du,尤其是du命令。du命令会调用readdir,获取entry列表,再依此调用statfs获取文件size,如果是目录,还会递归查问统计,因而是多个readdir和多个statfs申请的组合,并且交叉调用,对于多MDS架构的文件系统,通常每个MDS都会解决大量readdir和statfs的申请。ls命令也是readdir和stat的组合,然而跟du不同的是,ls只会统计繁多目录下的stat信息,因而是一个readdir和多个statfs申请。如果日常巡检的时候发现某个MDS负载较高,能够查看该MDS的负载类型,如果都集中在readdir/statfs,那么根本能够判定,有业务在执行零碎统计命令,能够依据申请发送的客户端IP,获取到是哪个客户端发动的申请,进而能够查到是哪个业务触发的零碎指令。 数据库 数据库的读写比例个别合乎二八准则,20%是写,80%为读,在写的时候,以8KB,16KB为主,并且每一个写申请都会附带一个fsync申请和一个fdatasync申请,用来保证数据长久化到存储上,对于采纳buffered cache的分布式文件存储,fsync带来的零碎开销会比拟大,进而导致数据库的写入性能较差,如果用户有数据业务的需要,倡议采纳direct IO的形式。MySQL的存储引擎InnoDB中有一项设置——innodb_flush_method,这项设置负责管制InnoDB写入数据时所应用的零碎调用。咱们会倡议用户采纳O_DIRECT_NO_FSYNC,即只应用O_DIRECT形式,绕过pagecache,将数据间接写入磁盘,并在写操作时跳过fsync()更新日志的元数据信息。在8.0.14版本之后, MySQL会在创立文件、减少文件长度以及敞开文件时主动调用fsync()来更新MySQL文件在文件系统中的元数据信息。 AI训练 大家都晓得,在AI训练过程中,数据90%以上都是读操作,并且是小文件的程序读或大文件的随机读。在训练过程中,数据集是不会被批改和删除的,元数据的操作集中在open/close/stat/revalidate,不会有非凡的元数据操作,数据操作就是read。基于这种IO特点,当须要进一步晋升性能时,能够选择性弱化某些POSIX语义,甚至是升高数据的一致性,比如说在客户端减少弱化一致性之后的读缓存,从而大大晋升训练过程中对数据的读取速度,缩短训练工夫。 剖析业务IO模型的办法剖析业务IO的模型有两种形式,能够通过浏览业务的源码,或者是通过存储系统提供的IO剖析工具。然而,浏览业务源码大多数时候并不事实,而且对于存储开发人员或者运维人员,也没有这个必要,所以更多时候,只能依附存储系统提供的IO剖析工具。 在大规模存储系统中,剖析业务的IO行为是一套非常复杂的流程,尤其是分布式文件存储,文件存储须要实现一套规范POSIX语义的文件接口,丰盛的接口带来的困扰就是须要监控和剖析更多的IO操作类型,剖析的难度也就更大。对文件存储来说,咱们须要关注两类IO,元数据和数据。元数据IO次要包含文件/目录的元数据操作,比如说open/close/mkdir/rmdir/stat/unlink/revalidate/hardlink/rename等,数据IO次要包含read/write,在统计read/write的时候,还要统计对应的IOPS和BW。遗憾的是,市场上罕用的文件存储产品和计划也很少提供方便的工具帮忙管理员系统地理解业务IO特点。 咱们是怎么做的俗话说,工欲善其事,必先利其器。为了可能对各种业务零碎IO特点有更深刻和全面的把握, YRCloudFile专门实现了一套IO统计框架,不便管理员实时理解和剖析业务IO特点,咱们也能够通过这个性能对存储系统做针对性的优化。 当YRCloudFile客户端连贯到存储集群后,集群将主动加载并开始监控客户端的元数据及数据申请行为,同时在界面上实时展现。 元数据申请:客户端为了获取元数据信息而做的申请,申请类型多种多样,一般来说,比拟常产生的元数据申请大略能够分为3类: 文件数据申请:指的是客户端或者元数据服务为了获取文件数据或者信息所做的申请,留神并不是所有文件数据申请都是读写文件数据自身的。文件数据申请次要有以下8种: YRCloudFile的客户端监控性能,涵盖了35项元数据操作申请和17项文件数据操作申请,用户能够依据生产的理论状况来设置最常应用的OPS选项作为重点察看项。该性能不仅能实时展现各OPS的状况,还能按天均匀和周均匀OPS来展现、排序和导出,为CTO和治理团队对系统资源的调配、优化经营提供精准的数据撑持。 通过这个性能,用户能够很清晰地看到各个客户端的IO统计散布。同时也能够依据本身状况,选择性监控某些操作类型和某些客户端,还能够依据某种操作类型进行排队,让用户可能疾速定位和剖析各个客户端的状况。焱融科技的研发团队也能够依据这些IO特色的剖析,为用户的业务进行针对性的系统优化。

September 6, 2021 · 1 min · jiezi

关于云计算:在华为云上安装高可用-KubeSphere

随着多云多集群的场景越来越丰盛,在各个云厂商环境部署 KubeSphere 的需要随之升高。因为各云厂商的云资源应用规定和菜单导航栏各不相同,会使用户花大量工夫去排错。为升高部署过程错误率,本教程应用华为云平台部署一套高可用的 KubeSphere,心愿能够帮忙到大家进步部署体验。 一、部署后期筹备所需环境的资源满足以下条件即可: 华为云产品数量用处备注ECS 云服务器6master、node VPC1可用区 ELB2负载平衡 平安组1出入口管控 公网 IP7外网拜访 二、云平台资源初始化1.创立 VPC进入到华为云管制, 在左侧列表抉择「虚构公有云」, 抉择「创立虚构公有云」 创立 VPC,配置如下图: 2.创立平安组创立一个平安组,设置入方向的规定、关联实例参考如下: 3.创立实例在网络配置中,网络抉择第一步创立的 VPC 和子网。在平安组中,抉择上一步创立的平安组。 4.创立负载均衡器(创立内外两个)内网 ELB: 外网 ELB: 若集群须要配置公网拜访,则须要为外网负载均衡器配置一个公网 IP 为 所有节点 增加后端监听器,监听端口为 80(测试应用 30880 端口,此处 80 端口也须要在平安组中凋谢)。 前面配置文件 config.yaml 须要配置在后面创立的 内网 SLB 调配的地址(VIP) controlPlaneEndpoint: domain: lb.kubesphere.local address: "192.168.0.205" port: "6443"部署 KubeSphere 平台1.下载 KK$ curl -sfL https://get-kk.kubesphere.io | VERSION=v1.1.1 sh -2.增加执行权限$ chmod +x kk3.应用 kubekey 部署$ ./kk create config --with-kubesphere v3.1.1 --with-kubernetes v1.17.9 -f master-HA.yaml4.集群配置调整 ...

September 6, 2021 · 6 min · jiezi

关于云计算:深入解读云原生可观测性之日志与告警通知

作者:雷万钧,KubeSphere 可观测性研发工程师前言作为可观测性的重要组成部分,告警告诉能够帮忙咱们及时发现问题,日志能够帮忙咱们疾速定位问题。作为一款开源的容器编排平台, KubeSphere 提供了弱小的日志收集和查问性能,以及灵便的告警告诉能力。 本文将为大家介绍 KubeSphere 的日志和告诉性能是如何实现的。 日志KubeSphere 的日志收集是通过 Fluent Bit 实现的,Fluent Bit 将 Pod 日志收集到 ElasticSearch 集群,KubeSphere 通过查问 ElasticSearch 集群实现日志检索。 Fluent BitFluent Bit 是一个开源的日志处理器和转发器,它能够从不同起源收集任何数据,如指标和日志,用过滤器解决它们并将它们发送到多个目的地。它是 Kubernetes 等容器化环境的首选。 Fluent Bit 的设计思考到了性能:高吞吐量、低 CPU 和内存使用率。它是用 C 语言编写的,具备可插拔架构,反对 70 多种输出、过滤器和输入扩大。 日志通过数据管道从数据源发送到目的地,一个数据管道通常由 Input、Parser、Filter、Buffer、Routing 和 Output组成。 Input:用于从数据源抽取数据,一个数据管道中能够蕴含多个 Input。Parser:负责将 Input 抽取的非结构化数据转化为规范的结构化数据,每个 Input 均能够定义本人的 Parser。Filter:负责对格式化数据进行过滤和批改。一个数据管道中能够蕴含多个 Filter,Filter 会程序执行,其执行程序与配置文件中的程序统一。Buffer:用户缓存通过 Filter 解决的数据。Routing:将 Buffer 中缓存的数据路由到不同的 Output。Output:负责将数据发送到不同的目的地,一个数据管道中能够蕴含多个 Output。Fluent Bit 反对多种类型的 Input、Parser、Filter、Output 插件,能够应答各种场景。 Fluent Bit 作为容器平台下首选的日志收集工具,有着高效、轻量的劣势,然而其部署形式却不够便捷。 首先,应用传统的形式部署 Fluent Bit,须要手动创立一个 DaemonSet,须要对 Fluent Bit 进行批改时,也须要手动批改此 DaemonSet,不够便捷且容易出错。其次,Fluent Bit 的配置文件不是云原生畛域罕用的 yaml 或 json 格局,配置较为繁琐且容易出错。再次,Fluent Bit 不反对动静加载配置文件,每次更新配置文件须要重启 DaemonSet。基于以上问题,KubeSphere 可观测性团队开发了 FluentBit Operator 用于部署和治理 Fluent Bit。 ...

September 6, 2021 · 3 min · jiezi

关于云计算:作为2021年计算机初学者你必须要知道的上云那些事

云计算是世界数字技术倒退的大趋势,将来的世界将构建在云上,拥抱云计算,学习云计算,把握云计算将是每个工程师的新的终点。开学季,一起来沉迷式迅速把握上云常识,更有T恤/双肩包/无人机等好礼相送!2021年9月6日-2021年9月17日 期间,点击流动链接https://developer.aliyun.com/...即可玩耍上云大富翁。 你将播种以下常识《Python语言根底:语法入门》 Python是一种面向对象的动静类型语言,最后被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新性能的增加,越来越多被用于独立的、大型项目的开发。目前Python已成为人工智能畛域首选语言。其次要特点如下:Python的设计哲学是“优雅”、“明确”、“简略”,其设计思维是,对于一个特定的问题,只有有一种最好的办法来解决就好了。Python在设计上保持了清晰整齐的格调,其中很重要的一项就是Python的缩进规定,使得不好的编程习惯都不能通过编译,这使得Python成为一门易读、易保护,并且被大量用户所欢送的、用处宽泛的语言。Python是齐全面向对象的语言,函数、模块、数字、字符串都是对象,并且齐全反对继承、重载、派生、多继承,有益于加强源代码的复用性。Python有很多专用的科学计算扩大库,而且很多开源的科学计算软件包都提供了Python调用接口,非常适宜工程技术、科研人员解决试验数据、制作图表,甚至开发科学计算应用程序,使得Python在数据分析、人工智能畛域颇受欢迎。课程将带您疾速入门Python,感触Python的弱小与便捷。《HTML 入门与实战》 HTML(Hyper Text Markup Language 超文本标记语言)是一种用来制作超文本文档的简略标记语言。用HTML编写的超文本文档称为HTML文档,它能独立于各种操作系统平台(如UNIX, WINDOWS等)。自1990年以来HTML就始终被用作World Wide Web上的信息示意语言,用于形容 Homepage的格局设计和它与WWW上其它Homepage的连结信息。 课程蕴含Web 根底与HTML 入门以及HTML 标签三局部。 将带您入门HTML,体验HTML实战! 精美礼品在学习过程中,玩耍“上云大富翁”真正做到学习娱乐两不误,特洛(Tello)益智无人机/阿里云定制T恤/定制双肩包 等精美好礼你来领!!劳逸结合,迅速把握上云常识~

September 6, 2021 · 1 min · jiezi

关于云计算:万人连麦的幕后技术详解

7 月 29 日 - 7 月 30 日,由青云科技举办的 CIC 2021 云计算峰会在北京胜利举办,拍乐云服务端专家沈伟锋受邀缺席峰会,并在音视频技术论坛上以《大规模实时音视频技术架构的实际和演进》为演讲主题,分享了实时音视频通信的几种常见架构和网络拓扑,构建实时音视频理论场景的复杂性和多样性,以及拍乐云在超大规模实时音视频零碎的一些实际。 寰球疫情继续重复,线上互动仍然是后疫情时代人们工作、生存、娱乐的常态,实时音视频的需要还在减少。通过一直的演进,拍乐云能够反对单房间万人在线、千人视频连麦、万人音频连麦,并做到 99.95% 的高可用,服务于寰球用户。本篇演讲实录将由浅入深,一步一步带大家理解实时音视频通信零碎背地的技术细节。 实时音视频常见架构直连直连,也叫对等网络 (P2P)。这种构造中,每个客户端在启动的时候,都须要注册到注册服务器,便于其他人能找到本人,失常状况下,在建设音视频通信的时候不须要媒体服务器的染指,每个客户端相互连接,间接进行音视频通信。但当一个或多个客户端在 NAT 之后(甚至多层 NAT 之后)时,直连会变得比拟艰难,有时候甚至无奈联通。这个时候须要通过 STUN 进行“打洞”来穿梭 NAT 进行通信,如果“打洞”失败,还须要引入服务器中继能力通信。 MCUMCU (Multipoint Conferencing Unit) 计划呈现得比拟早,相应的技术也十分成熟,该计划由一个服务器和多个客户端组成一个星形构造,各个端都将音视频数据发送给服务端,服务端会把所有客户端的音视频数据通过解码、同步、重采样、布局、混流、编码等,最初把媒体数据推送给所有的客户端。实际上服务器端就是一个音视频混合器,这种计划服务器的计算压力会十分大。个别状况下,在音频数据混流之前,服务端会把指标用户本人的音频数据移除,防止客户端听到本人的回声。在视频数据混流前,服务端会检测每个指标用户是否有自定义的布局,否则就按零碎默认的布局混流编码。在一些网络比较复杂的环境下,MCU 也能够按指标用户的带宽对视频数据的编码码率做一些自适应的调整。 SFUSFU (Selective Forwarding Unit) 是最近几年风行的新架构,SFU 的计划跟 MCU 相似,每个客户端都把音视频数据发给服务端,而后由服务端转发给不同的客户端。跟 MCU 不同的中央,SFU 不对音视频进行混流,收到某个客户端的音视频数据后,按需(指标客户端是否订阅)将音视频数据一成不变的转发给指标客户端。它实际上就是一个音视频路由转发器。在这种计划里,所有的混流都是在客户端做的,对服务端的计算要求大大降低。在一些简单的网络环境,视频的数据源端会应用 Simulcast 或 SVC 发送多层不同分辨率的视频流数据,服务端依据指标客户端的不同网络带宽和网络情况转发最合适的分辨率给指标客户端,使每个客户端的体验达到最佳。 比照和总结 从下面的比照,咱们能够看到,直连计划根本不大适宜大会场景,而且无奈对网络内容进行审核,直连计划目前市场上根本只有在收费场景中看到。而随着计算成本和带宽老本的大幅度降落,及超大并发的需要,SFU 计划的劣势变得非常明显,而 MCU 计划在一些企业内基于音视频终端的通信等传统利用场景目前还是比拟常见的。 下面的音视频通信架构,是最根底的音视频服务架构,还没有方法做到高可用和高并发,假如服务器宕机,服务就变的不可用了。 构建实时通信的网络拓扑环状网络结构环型构造由网络中若干节点通过点到点的链路首尾相连造成一个闭合的环,这种构造通过公共传输链路组成环型连贯,数据在环路中沿着一个方向在各个节点间传输,信息从一个节点传到另一个节点。 这种网络实现,构建和路由选路都很简略,没有核心依赖。但环状网络结构减少删除节点比拟艰难,环中任何一个节点生效,环路传输就会中断,导致整个网络瘫痪。环状网络结构开始次要用于令牌网,目前曾经很少被采纳。 星型/树型网络结构星型拓扑构造是一个核心,多个分节点。它构造简略,连贯不便,治理和保护都绝对容易,而且扩展性强,网络提早小。核心节点是瓶颈,一旦生效,整个网络就瘫痪,单叶子结点相互独立,互不影响。 树形拓扑构造形态像一棵倒置的树,顶端是树根,树根向下分支,每个分支还可再向下分支,树根接管各站点发送的数据,而后再播送发送到全网。好扩大,容易诊断谬误,根节点是瓶颈。在音视频服务架构中,当须要大规模扩大并发用户的时候,个别都会采取部署多个边缘计算管制节点,并通过树型形式连贯到核心 DC。通过这样形式接入的用户,提早会略有减少。 网状网络结构在网状拓扑构造中,网络的每台设施之间均有点到点的链路连贯,网状拓扑构造是利用最宽泛的。它的长处是没有核心节点,可靠性高,容错能力强,提早低,但结构复杂,因有多条传输门路,选路和流量管制比较复杂,音讯的时序一致性无奈保障。 在音视频服务架构中,咱们的设计指标是:极低的提早,传输高效,吞吐量大,但对不同用户来的媒体数据的时序性、一致性并没有要求。因而网状结构个别是音视频服务架构中主 DC 服务管制节点间组网的首选拓扑构造。 理论场景的多样性网络接入的多样性挪动网络:3G/4G/5G 的接入带宽各不相同(3G: < 2Mbps;4G:10~100Mbps;5G:~10Gbps),并且信号强弱,接入基站随挪动变动。 ...

September 5, 2021 · 1 min · jiezi

关于云计算:API与ESB-ServiceMesh微服务究竟关系如何

导读: 之前提过要做一个 API 网关的介绍,事实上,无论是微服务、服务网格,还是云原生、数字化的建设,API 网关都是绕不开的话题。介于网上对于 API 网关的介绍参差不齐,所以明天咱们不再简略的做 API 网关基础知识与性能介绍,而是直切要点,聊聊 ESB、ServiceMesh、 微服务与 API 网关的关系。 01 API 网关的外围 随着微服务场景的广泛使用,API 网关也逐步被大家所器重,聚合接口、聚合服务以提供前端调用、业务封装,这是 API 网关的次要场景。 API 网关处于业务内外通信或零碎前后端的桥梁,性能上除了建设通信、路由转发以外,也承当了许多非业务的性能,比方平安、流控、过滤、缓存、监控等;在服务化模式下,也会减少一些经营的性能,比方 API 治理、计量计费、服务订阅等等。 可见,在 API 网关上咱们能够做很多文章,只因它对流量做了承接和转发,这也是 API 网关的外围。 这样的角色并不生疏,在我之前的两篇文章中提到的 ESB、ServiceMesh 都有借助流量的承接转发性能,而后造成的解决方案。同一件工具,被置于不同的地位,就有其不同的状态,API 网关就是这样的工具。   02 API与ESB 、ServiceMesh、微服务的关系 代替ESB的场景 ESB 没必要再做深刻的介绍了,其外围也是路由、转发、转换、流控。在当下ESB 逐渐退出数字化的舞台的同时,少数企业也在思考如何通过一个替代品逐渐替换 ESB,咱们博云就在多个我的项目中别离通过微服务框架、服务网格框架做出过多种平滑接替 ESB 的计划和性能。同时笼罩其原有的路由转发、协定转换、限流管制的性能,最间接的计划就是通过 API 网关实现。 ESB 的架构,同时承当了东西向服务间的访问控制,和南北向流量的管制。而应用了 API 网关的计划就显得更加灵便了,其可大可小的体量、动静配置的灵便个性、自服务的生产模式,都更能合乎多变多样化的新型数字架构。如果布局切当,API 网关在代替 ESB 的同时,也能够作为整个网络域内,甚至整个企业级的网关,这也就是服务中台化的第一步。 服务网格中的利用 ServiceMesh 的理念其实很容易了解,通过一个代理服务,将所有的流量接管,同时将非业务的治理、监控等性能,都通过代理服务实现。那么这个代理服务(proxy),就是 API 网关的另一个使用场景。劫持流量,而后退出所需的定制化性能。 与其余场景相比,这里的网关性能上没有太大的变动,然而应用地位却有很大差异。在 ServiceMesh 场景中,网关是一个很小很轻量的代理单元,而每个业务运行单元都会搭载该代理单元独特启动,所以在 ServiceMesh 场景中,通常叫做边车(Sidecar)。也就是说 ServiceMesh 中的 Sidecar 就是一个 API 网关的利用,比方 Istio 框架下,数据面 Sidecar 就是 Envoy(基于C++语言的 API 网关)。 ...

September 3, 2021 · 1 min · jiezi

关于云计算:NeonIO-云原生存储简介与应用

作者简介:杨兴祥,QingStor 参谋软件工程师,2012 年开始先后在翻新科、华为从事存储相干的开发工作,在分布式存储畛域有丰盛的开发教训,目前负责 QingStor NeonIO 云原生存储的开发工作。NeonIO 是什么NeonIO 是一款反对容器化部署的企业级分布式块存储系统,可能给 Kubernetes 平台上提供动态创建(dynamic provisioning)长久存储卷(persistent volume)的能力,反对 clone、snapshot、resstore、resize 等性能。 NeonIO 架构图 NeonIO 架构如图上所示。 zk/etcd:提供集群发现、分布式协调、选 master 等服务;mysql:提供元数据存储服务,如 PV 存储卷的元数据;center:提供逻辑治理服务,如创立 PV 卷,快照;monitor:提供监控服务,可能把采集监控指标裸露给 Prometheus;store:存储服务,解决利用 IO 的性能;portal:提供 UI 界面服务;CSI:提供 csi 的规范 IO 接入服务;NeonIO 特点易用性(1) 组件容器化:服务组件、CSI、Portal 容器化。 (2) 反对 CSI:提供规范的 IO 接入能力,可动态、动态创建 PV。 (3) UI 界面,运维不便: 存储运维操作界面化、告警、监控可视治理;有基于 PV 粒度的性能监控,如 IOPS、吞吐量,能够疾速定位到热点 PV;有基于 PV 粒度的 Qos,可能保障用户高优先级的服务质量;(4) 与云原生高度交融: 反对 Prometheus,通过 ServiceMonitor 把 NeonIO 的采集指标裸露给 Prometheus、Grafana,进行图形化展现;同时 UI 界面可与 Prometheus 对接,展现其余云原生监控的指标,如 node-exporter 的磁盘 IO 负载、带宽等;平台化的运维形式,存储的扩容、降级、劫难复原运维操作、只须要 k8s 的一些命令即可实现,不须要额定把握过多的存储相干的运维常识;服务发现、分布式协调反对 etcd、元数据的治理,应用 CRD 的形式;(5) 一键式部署:helm install neonio ./neonio -- namespace kube-system。(6) 部署简略灵便:和 Rook-Ceph 比照: ...

September 2, 2021 · 2 min · jiezi

关于云计算:NVMe-over-TCP高性能文件存储焱融科技Lightbits让未来照进现实

你真的懂NVMe吗?在说NVMe之前,咱们感觉有必要先聊一聊NVM(Non-Volatile Memory),即非易失性内存。从名字上看就晓得,NVM是一品种内存式(拜访及寻址形式相似)的设施,它必须具备高速读写数据的能力,但它和一般内存的区别在于Non-Volatile,即在关机后再关上电源也能够检索里边所存储的数据。这种非易失性内存NVM设施有很多种实现,咱们罕用于服务器的大容量NVM是一种闪存,即Flash Memory。闪存是一种固态芯片,支流的闪存设施应用NAND技术来映射数据,这种芯片无需任何内部电源即可保护存储的数据,它的读写速度比内存稍低,但无需借助机械形式进行寻址,因而读写性能远高于机械磁盘,容量也比内存要大,单GB老本近年来疾速降落,大有成为服务器上高速存储介质支流设施的趋势。 NVMe协定组成架构 有了设施和协定就能够了吗?有了NVM设施和拜访这个设施的协定NVMe,就肯定能享受到这些设施带来的高性能了吗?答案是否定的。 首先要说到的,就是数据传输的问题,数据传输指的就是NVM设施到服务器内存之间的传输。外围组件互连Express(PCIe)是目前应用最多的传输介质。NVM设施及NVMe协定设计之初,也是先面向PCIe或PCI Hub的。通过PCI拜访NVM设施会有什么问题呢?很容易就能想到,一台服务器上PCI接口是无限的,因而也不能接入很多的NVM设施,那么容量就会受到限制了。此外,数据中心内其它服务器也很难通过PCI拜访另一台服务器上的NVM设施。这就很大限度了NVM设施的应用。 除了PCI之外,还有什么形式能进行NVM设施上数据的传输吗?当然有,这就是NVMe over Fabric,所谓的Fabric有几种形式,能够是Fibre Chanel,即目前磁盘阵列中应用的传输网络,或者InfiniBand。NVMe-oF使得一台服务器能够通过网络的形式,通过NVMe协定间接拜访远端另一台服务器上的NVM设施,带宽和延时近似于设施插在本地服务器上,这就极大拓宽了NVM设施的应用范畴。但仔细的读者应该很快能反馈过去,在古代数据中心,TCP网络应用更广,因而,NVMe组织在2019年推出了NVMe over TCP技术,从而使服务器通过TCP网络就能够拜访远端的NVM设施了。 NVMe over TCP技术作为创新型技术,从推出就瞄准了通过TCP互联的,更广大的云和数据中心大规模应用NVM设施的场景。 其次是拜访效率的问题,与SCSI等协定不同,NVMe协定实现了多队列的架构和指令集,更能施展多核CPU服务器的解决能力,使该协定指令集在多核CPU服务器上施展更好的性能,存储系统如果不能针对这些特点进行深刻的优化,也不能充沛享受到新型介质和协定带来的红利。而针对NVMe协定和设施进行的零碎级优化,是包含焱融科技在内的软件定义存储厂商须要攻克的难关。 此外,还须要思考利用拜访接口的问题。目前,人工智能、高性能计算零碎次要通过文件系统拜访非结构化数据,构建以NVMe协定为根底的,以高带宽、低延时为外围要求的高性能文件系统是利用零碎的外围要求,这也是利用场景驱动翻新的出发点。 YRCloudFile+LightOS 联结解决方案LightOS是以色列技术型存储翻新企业,焱融科技与Lightbits联结计划,能够为用户提供NVMe多队列并发拜访的极致性能,最重要的是,能将NVMe设施通过TCP形式,组成高性能分布式文件系统,向下层利用提供文件拜访服务。对下层利用而言,齐全无需关怀底层存储细节、数据如何搁置,即可应用高IOPS、高带宽、极低延时的文件共享拜访服务。 联结计划参考架构焱融科技与Lightbits OS对参考架构进行了性能、可靠性、可用性的测试,测试架构如下所示: 各个服务器之间应用25Gb以太网进行连贯,应用三台服务器搭建YRCloudFile集群,在罕用的TCP网络条件下,单个客户端节点的4K随机读IOPS可达38万,写IOPS达30万,读写延时均低于400us。多客户端拜访,各客户端性能互不烦扰,集群可为每个客户端稳固提供雷同的性能。 在大IO程序读写测试中,单客户端读写带宽均达到2.8GB/s,靠近25Gb网络带宽下限。 应用vdbench模仿200,000个不同文件大小进行读写带宽测试,对4K小文件的读写性能为1280MB/s和1040MB/s,对128KB大文件读写性能可达2800MB/s。 联结计划劣势YRCloudFile+LightOS联结计划,具备以下劣势: 只需借助现有的以太网络,即可疾速搭建基于全NVMe的分布式文件系统,无需购买额定的专用替换设施和网卡多个下层应用服务器可通过文件接口共享拜访底层海量非结构化数据业界一流的文件系统随机读写、程序读写性能数据去重压缩,TCO缩小20%-50%单集群可达百PB空间,承载百亿文件。满足海量的文件数量与空间需要可同时提供文件存储和块存储接口,满足不同业务接口的需要High performance file system is critical infrastructure facility to applications like AI. YanRong Tech and Lightbits Lab cooperate closely, announce the NVMe/TCP file system with high performance and massive small files support, providing an innovative solution to all customers and partners.\------ Alfred Chase Hui, Lightbits亚太区销售总监该联结计划十分实用于人工智能、高性能计算、基因迷信、影视渲染、气象剖析、资源勘探等依赖高性能文件系统,以及领有海量非结构化数据的利用场景,能无效帮忙客户晋升业务系统对非结构化数据的拜访性能,从而改良业务运行效率,解决数据分析的零碎瓶颈。 ...

September 2, 2021 · 1 min · jiezi

关于云计算:一二三基层治理数字化三步走

基层国家治理的“神经末梢”公共服务供应的“最初一公里”共同富裕的重要组成单元 当数字中国建设热火朝天基层治理如何实现数字化转型浪潮独创云行、数治、慧用「三步走」大招简略易上手,下滑即得手

September 2, 2021 · 1 min · jiezi

关于云计算:云行数治慧用丨边缘云一体机赋能基层实现边缘侧数据智能

面对基层治理的新要求和新挑战,浪潮抓住数据这个外围因素,以云+数为新型基础设施赋能社区,围绕“云行·数治·慧用”三大外围能力,浪潮重磅公布系列产品,为基层治理能力现代化奠定松软的技术根底,给予一线社区最大的便当和敌对。 基层,是国家治理的“神经末梢”,是公共服务供应的“最初一公里”。目前我国基层治理数字化进一步提速,基层汇聚着海量的终端设备,实时产生大量数据,集中式云计算在带宽负载、网络延时、数据管理老本等方面,难以适应数据频繁交互的需要,边缘侧数据智能服务对基层治理的价值进一步凸显,浪潮云行边缘云一体机应时而生。 面对基层治理对数据智能服务需要的爆发式增长,浪潮云基于全国最大的分布式云体系,依靠浪潮边缘云计算、人工智能、物联网和大数据技术,整合计算、存储、网络、平安、边缘节点治理等多项IaaS服务,同时联合边缘场景AI、数据赋能业务需要,交融浪潮云数据智能为外围的物联网、视频感知类PaaS服务,打造浪潮云行边缘云一体机IEC(Inspur Edge Cloud)产品家族。浪潮云行边缘云一体机蕴含物联、视频、通用3个系列,集装箱、一体机、节点、网关4种状态,共计13款产品,充沛满足智慧社区、智慧交通、基层治理等对边缘计算的各类差异化需要。 把“一朵云”送到身边 浪潮云行边缘云一体机作为核心云计算向数据源头下沉的重要云服务载体,具备近场计算云边协同、软硬一体疾速建站、自主可控平安可信三大外围劣势。近场计算云边协同:边缘云一体机将计算能力拓展至“最初一公里”,将十余年的政务云教训积淀向基层终端和用户侧输送,升高网络时延和传输老本,让基层社区取得与各级省市部门统一的“一朵云”体验,真正实现智慧在云、智能在边。 软硬一体疾速建站:边缘云一体机无需传统规范机房环境,采纳工厂集成整机柜交付和软硬一体化交付,部署灵便疾速,开箱即用,插电即用;同时反对客户软件系统预装,到货当天即可实现部署。 自主可控平安可信:边缘云一体机服务器、交换机等核心部件均采纳浪潮自有品牌,可提供整机柜原厂售后服务;同时配套智能管控平台,实现实时监控告警。 基于在云边协同技术畛域的积极探索,浪潮云行边缘云一体机已通过中国信通院“边缘计算标准件打算”产品测试、边缘云服务信赖能力要求、边缘一体机能力要求、边缘云服务平安能力要求等多项权威认证,并荣获“边缘计算领导力企业TOP5”大奖。 浪潮云行边缘云一体机参加建设的章丘智慧社区我的项目更荣获“2021年度分布式云与云边协同十佳实际案例”,对摸索我国智慧社区和基层治理具备着重要的参考价值。 基层治理大有可为 浪潮云行边缘云一体机凭借扎实的产品力充沛满足基层社区更广连贯、更低时延的需要,为基层提供高效粗放的云环境,为数据治理提供极致性能的算力撑持,全力支持发展基层政务服务和翻新利用。在山东某基层社区的数字化建设中,通过在社区侧部署边缘云一体机,将计算、存储、网络、平安及AI 减速等多种产品融为一体、高度集成,为用户提供对立的算力和AI服务撑持,为社区的各项智慧服务、智慧治理、智慧利用的实现提供边缘侧的能力反对,真正实现“人、事、地、物、组织”五大社区治理因素的立体化、可视化、可控化治理。 将来,面对越来越多的智能终端接入与大规模运算需要,边缘云一体机将充沛借助浪潮云分布式云架构的劣势,基于政企数字化转型的教训,一直深入技术创新、拓展利用场景,将浪潮云服务能力带到城市、企业的每一个角落,让云服务无所不至,计算无处不在。

September 1, 2021 · 1 min · jiezi

关于云计算:GameAnywhere代码结构

GameAnywhere 是一个开源的云游戏平台,由 Chun-Ying Huang 在2013年开发,最开始是毕业论文钻研应用,近期随着云游戏风口正盛,这个我的项目关注度又有起色,本文介绍GameAnywhere代码形成。GameAnywhere 的License为 BSD3,能够批改代码后闭源,然而我的项目依赖的开源组件较多,须要留神 License。 代码形成目录构造├─bin│ ├─config│ │ └─common│ ├─data│ ├─log│ └─mod├─deps.pkg.win32 #依赖组件的windows包│ ├─bin│ ├─NvCodec│ └─NVENC├─deps.posix #依赖组件的unix包│ └─lib├─deps.src #依赖组件的源码│ └─patches├─deps.win32 #依赖组件的Windows头文件与库│ ├─bin│ ├─include│ │ ├─include│ │ ├─lib│ │ ├─libavcodec│ │ ├─libavdevice│ │ ├─libavfilter│ │ ├─libavformat│ │ ├─libavutil│ │ ├─libpostproc│ │ ├─libswresample│ │ ├─libswscale│ │ ├─live555│ │ ├─NVENC│ │ └─SDL2│ └─lib├─docs└─ga ├─android # android客户端 ├─client # windows客户端 ├─core # 公共依赖局部 ├─module # 各个功能模块 │ ├─asource-system # apple 平台的音频抓取 │ ├─ctrl-sdl # 键盘输入 │ ├─encoder-audio # 音频编码 │ ├─encoder-mfx │ ├─encoder-nvenc # NVIDIA 硬编码 │ ├─encoder-video # FFmpeg 软编码 │ ├─encoder-x264 # 编码x264库 │ ├─filter-rgb2yuv # rgb转yuv库,编码前预处理 │ ├─server-ffmpeg # FFmpeg库 │ ├─server-live555 # live555 我的项目,承载 rtsp 协定 │ └─vsource-desktop # DirectX GDI 抓图 ├─server │ ├─event-driven # 键盘鼠标输出windows平台实现 │ ├─event-posix # 键盘鼠标输出posix平台实现 │ └─periodic # 可执行文件 Main 函数,依赖 ga/core └─vs2010 #Visual Studio工程 ├─BasicUsageEnvironment ├─CloudGameDM_Installer ├─encoder-nvenc ├─ga-client ├─ga-hook ├─ga-server-event-driven ├─ga-server-periodic ├─groupsock ├─ipch ├─libga ├─liveMedia ├─module-asource-system ├─module-ctrl-sdl ├─module-encoder-audio ├─module-encoder-video ├─module-encoder-x264 ├─module-filter-rgb2yuv ├─module-server-ffmpeg ├─module-server-live555 ├─module-vsource-desktop ├─module-vsource-desktop-d3d ├─module-vsource-desktop-dfm └─UsageEnvironment服务端Main: server\ga\server\periodic\ga-server-periodic.cppServer 端的性能:图像采集、图像预处理、声音采集、键盘输入、音视频编码、封包、传输性能,这些性能别离由对应GameAnywhere定义的模块实现。 ...

September 1, 2021 · 7 min · jiezi

关于云计算:新时代大视频产业的底座视频云创变了什么

视频不应该被看作一个独自的行业,就像云计算同样不该被看作一个独自的行业,它们都将渗透到各个行业、各个场景。在 2021.7.10 的 Imagine 阿里云视频云全景翻新峰会上,艾瑞研究院副总经理徐樊磊,带来了主题演讲《云上视频新场景洞察》,从视频云产业链的供应与需要切入,深刻行业与市场,摸索云上新场景和新兴场域的设想空间,并将眼帘放远,眺望视频云将来的技术极致化和全新体验。以下内容为演讲整顿。视频云,这不是一个独立的行业它浸透千行,创变万物。 大视频产业现阶段,咱们提到的视频它到底是什么样的概念? 先看一组数字,在过来几年,以视频为代表的富媒体在所有互联网畛域或者新的科技倒退畛域体现出十分疾速的倒退过程。 从数字上来看,它的增长速度要比你感触到的要更快。互联网整体的价值就是流量价值。从挪动端的流量是它在每个月、每周笼罩多少设施。 而整体设施笼罩数,从 2018 年 1 月份 11 亿每个月浏览笼罩设施数到往年 1 月份 13.94 亿近 14 亿,增长绝对比拟温和,但从应用工夫来看,在短短 3 年之内,大家破费在视频细分产品上的工夫从一万六千亿分钟变成四万八千亿分钟。 现阶段互联网评估价值曾经不再去用设施数评估,而是应用用户破费的工夫数来评估,互联网在各个领域的红利仿佛在枯竭或者在减低过程当中,咱们不可否认,在整个视频相干畛域在过来一年仍有十分大的红利,而且这个红利还将持续继续。 2021 年 4 月视频服务类 APP 月总无效应用工夫比例展现出一些特点,现阶段的视频类 APP 应用工夫,短视频占比曾经超过了 50%,短视频的高占比体现出需要端视频生产趋向于碎片化工夫、以及高频率的应用。 另外须要关注的点是多对多流传,原来的视频的散发是中心化,业余的内容生产者可能是很少的,同时须要将生产出的内容分发给所有用户,但当初随着短视频和新媒体的呈现,视频创作者更加泛化的,视频生产从 PGC 转向了 UGC,将来进一步将会是 PUGC 的模式,这是视频行业在现阶段以及下阶段倒退过程当中须要特地关注的一个点。 另外一个点,在整个视频倒退过程当中,现阶段以及将来一段时间,是什么对视频行业倒退疾速推动? 高清化,想要晋升视频的交互感、沉迷感、真实感,高清是无论如何绕不开的点,无论是业界还是政策,在整个视频行业,将来高清的 4K、8K 的视频利用,都是能够对产业倒退起更大个推动力。 另外,当初所有视频利用都是基于实时音视频技术,须要实时、低提早。这种状况下能力看到视频在教育、社交、资讯等畛域大放荣耀,将来视频会陆陆续续进入咱们的金融服务、医疗、公共事业等,实时音视频是视频利用在各个行业必须的选项。 视频从流传的角度来看的话,它本来是信息流传的载体,信息流传分类分为多类,点对点进行流传、或者点对多、或者多对多,在另外一个维度上分为延时和实时,延时是博客、邮件等,信息通过录播重新整理的模式给受众传递信息。 咱们简略看一下整个人类历史当中信息的流传的历程。 最开始人类没有文字、没有语言的时候,信息的交互就是肢体的载歌载舞,大略形容须要表白的信息,这样的交互有很多的弊病,第一是沟通很容易产生歧义,并且消耗膂力。过后对于体力劳动要求很高,在沟通上就消耗了大量工夫和膂力,所以之后人类诞生出了的语言,咱们能够用不占用身材的手和脚局部的前提下进行沟通交互。 语言尽管解决了很大的问题,但仍然有工夫、空间的解放,总结度也不够。口口相传无奈解决文化传承的外围问题,当一个部落或者一个文化因为偶发性事件隐没之后,它的整个积攒、传承,含有文化价值信息的货色会隐没殆尽。咱们都晓得文化是须要传承和连续的,所以各个文化都创造出了属于本人的文字。 再往后产生了文字,文字解决了传承的问题,东西方都会站在不同的角度产生不同的文字,有象形文字、字母形的文字。文字在人类几千年的历史长河中,解决了人类传承以及信息交互的问题,是人类历史上最平凡、最重要的创造。 但文字依然有一些弊病,各种文字互不通用,须要学习老本。文字在现代的历史长河中只属于一部分人,因为文盲或者不通过学习是应用不了文字的,文字的信息传输速度绝对比较慢,且所承载的信息丰盛度也是不够的。所以人类文明倒退历程中,文字带给人类的价值不可疏忽,但随着人类生产力的倒退,文字的局限性也越来越大。 咱们说八九十年代看电视,PC 时代在浏览器中用播放器能够看到视频,现阶段咱们接触到视频的场景越来越频繁、越来越深刻。 视频的倒退在整个过程当中是从需要端和供应端等几个方面推动的。需要端第一点咱们认为是流量下沉,需要端的流量下沉是近几年常常被提及的话题,因为咱们的用户并没有那么喜爱文字,很多时候需要端的视频、音频占的比例很高,也就是只有音视频这种模式能力抓住宽广用户应用偏好。 另外是挪动端的遍及,能够在各地交互沟通,咱们不会只拘泥于 PC 外面缓缓打字,咱们能够应用的场景、应用的性能也会越来越丰盛和具体。另外,疫情的呈现导致大家被动的无奈工作、学习,也会促成视频的应用。 在供应端的,比方提速降费,包含传输、解码等技术一直地演进也是促成视频行业倒退的底层能源。 基于这几点来看,视频仍然有它的问题,绝对于文字和其余的流传模式,有两个最典型的问题,第一:视频是线性的,只能线性浏览,尽管能够快进跳到一个中央,但却无奈全局看到它的信息,第二,视频的内容信息批改,相比拟于文字是比较慢的,但我置信随着技术的倒退缓缓这些艰难不成问题。 基于目前的行业状况来看,视频不应该被看作独自的一个行业,就像云计算同样也不该被看作一个独自的行业,它们是行业的底层根底能力,不断创新,全面上云,云上翻新,它们都将渗透到各个行业、各个场景。视频将会成为行业和利用的根底能力。 新时代大视频产业的底座 先跳开云计算具体的分类,把云计算放在更大的领域外面去看,云计算自身是一个社会分工的体现,早工夫人类有一些生产能力的分工,食物的分工,开始是物物替换,半径很小,随后火车、远洋货轮等更大运输半径交通物流的呈现,就导致于人类的社会分工会越来越具体。 但在过后服务分工很艰难,早些年搬家、家政服务都是四周本地化的公司,服务因为生产力制约很难实现全球化,除高价值的高端的服务之外,服务是很难全球化,但之后互联网的诞生,基于比特的分工(价值程序 / 数据化)的在线服务和云服务的呈现,帮忙互联网疾速浸透多行业以及解决了很多多行业的问题。 ...

August 31, 2021 · 1 min · jiezi

关于云计算:科技热点周刊|Linux-30-周年Horizon-Workroom-发布Humanoid-Robot元宇宙

Linux 之父:齐全没想到我的试验习作能存在 30 年Linux 之父:齐全没想到我的试验习作能存在 30 年 2021 年 8 月 25 日,Linux 迎来了 30 岁的生日。30 年前,芬兰计算机系研究生 Linus Torvalds 公布了一份简短的阐明,介绍本人正出于业余爱好开发一款操作系统 —— Linux 。现在,30 年过来了,Linux 曾经成为软件开发历史上的传奇。 参考链接[1] https://www.zdnet.com/article... [2] https://www.zdnet.com/picture... Facebook 公布 Horizon Workroom 公开测试版Facebook 推出近程合作平台 Horizon Workroom,其公开测试版现可在 Oculus Quest 2 线上应用,该利用为近程办公服务。 Horizon Workrooms 包含各种有用的性能,如混合事实桌面和键盘跟踪、视频会议、无线桌面流媒体、手部跟踪和空间音频等等。用户能够应用集体和公共白板做笔记、进行演示,甚至能够应用 Horizon Workrooms 配套应用程序导入文本、图像和视频文件。 参考链接[1] https://www.theverge.com/2021... 马斯克:特斯拉正在钻研 Humanoid Robot埃隆·马斯克 (Elon Musk) 日前在特斯拉的人工智能日 (AI Day) 上示意,该公司正在制作一款人形机器人,明年可能会推出原型机。它将代替人类去做危险、反复、无聊的工作。 参考链接[1] https://www.theverge.com/2021... 元宇宙是泡沫还是将来?元宇宙是泡沫还是将来? 2021 年,随着业内第一股 Roblox 上市,“元宇宙 / metaverse”概念突然衰亡,“元宇宙+”成为了席卷互联网、VR/AR 和金融投资界等各大产业的新风潮,一时之间,人类好像开启了虚构宇宙的“星际航行时代”。 相干浏览: [1]. 《“元宇宙”火了,这玩意到底是啥?》,鲜枣课堂 ...

August 31, 2021 · 2 min · jiezi

关于云计算:云计算时代大考国资云的冲击只是开始

最晚到明天23点59分,没有从前海云平台中实现数据备份和零碎迁徙的企业,可能会遭逢数据损失的窘境。 因为依据该平台7月2日在官网首页公布的布告,自8月31日0点起,前海云平台将正式进行提供服务,为它短暂的“一年经营期”画上并不完满的句号。 依据停服布告,前海云平台由深圳市前海服务团体(原名:前海科创投控股有限公司)投资建设,于2020年5月正式上线运行,服务内容包含有人才服务、智慧停车、云直播、咨询服务等,其中最重要的是为前海片区科创企业提供云服务,升高中小企业的上云和用云老本。 在更晚期的新闻稿中,指出了前海云次要定位是多云治理平台,其“多云联盟”组织下涵盖了阿里云、华为云、腾讯云、AWS、Azure等出名云服务企业,以及前海云曾经为100多家中小企业提供服务,帮忙客户在理论经营中降本增效。 但正如那句老话:眼见他起高楼,眼见他宴宾客,眼见他楼塌了。 数字化转型时代,云计算成为了众公司花钱投资的对象。 可即使有强如亚马逊AWS那般间接为团体奉献63.4% 利润起源的头等玩家,但若思考政策变动、市场环境、竞争对手、团体资金实力、团体策略方向等事实因素,很难说云计算业务就能走得一帆风顺。 停服的例子亘古未有 在上一阶段私有云厮杀的年代,咱们曾列举过不少失败案例,他们失败的起因大抵与公司基因、领导层的决策、抉择的策略方向有所关系。 2015年10月,惠普发表敞开Helion私有云服务,示意该赛道过于拥挤; 2016年2月,Verizon发表将企业云计算以及托管服务发售给IBM; 2016年12月,思科发表敞开私有云服务; 2017年4月,VMware发表将vCloud Air业务发售,退出私有云市场; 2017年12月,万达网络科技团体业务全停,私有云部门遣散; 2020年,美团云发布公告称因业务调整,进行私有云服务。 到前期在国内市场环境中,随着近几年国家鼎力推广数字化转型,基于云产生的服务类型越发丰盛,云办公、云游戏、云手机、云电脑等业态一直被推出。但很遗憾,在短短两三年工夫内,在这些畛域也开始呈现业务关停的案例。 上月22日,“华为云电脑”发表将于2021年8月15日23点59分进行服务和经营,届时用户将无奈登陆和应用华为云电脑,因而揭示用户及时转存云电脑中的所有数据,停服后原有数据将被永恒删除,不可复原。 经查证,华为在 2018 年公布了面向终端消费者的云服务产品“华为云电脑”,用户装置这款 App 后,不须要购买传统的PC硬件,可从手机或平板等“小终端”进入专属的集体云端电脑,借此实现挪动办公、云手游等利用。 但事实是,因为网络传输品质的受限,用户对数据安全和隐衷问题的担心,再加上定位面向消费者的套餐费用偏低等起因,华为云电脑业务始终铺展不开。 这种状态下,即使行业里还能看到阿里推出的云电脑“无影”,微软推出的Windows 365云电脑,基于华为从硬件向软件、云和服务转型的新策略,当初对于华为云电脑来说也到了归一调整,从新登程的时候。 “国资云”事件,引发了行业多少担心? 如果说之前的云行业只是全身心关注企业上云红利,偶然因为企业策略转变或市场竞争导致业务失败。那么在上周五那张截图进去当前,一些潜在危险开始宽泛受到留神。 上周五,一份天津市8月12日公布的《对于放慢推动国企上云工作欠缺国资云体系建设的实施方案》的内容截图,迅速在云计算行业掀起了轩然大波。 如《实施方案》中所要求的,各企业需将已部署在第三方私有云平台(如华为云、阿里云、腾讯云、沃云、天翼云、挪动云等)的信息系统,续约到期日起2个月内全副迁徙至国资云,原则上最迟应于2022年9月30日前全副迁徙至国资云。并且即日起,不得再与第三方私有云平台新签、续签云资源租用合同。 截止到目前,曾经有业内不少专业人士对事件发表分析判断。 例如公众号尚儒客栈作者宁宇老师在撰写的《拨开“国资云”的迷雾》开端,示意了他的三点认识:1. 天津国资委发了一个有瑕疵内容的文件;2. 瑕疵内容是“国资云”利益方视角,官网未修改,有必然性;3. 文件内容被券商获取,截屏炒作。 对于国资云的来历被宽泛说明,个别是由各地国资委牵头成立,心愿通过建设对立治理平台,推动国资国企数字化转型,激发企业翻新生机;另一方面,旨在爱护国资国企的敏感数据因素,强化数据安全。 目前出台国资云的地区机构,除天津国资委外,更早前还有浙江省国资委和四川国资委。 但不同的是,四川国资云和浙江国资云都已在肯定水平上采纳了阿里云等并不具备国资背景的厂商计划,天津国资委此次文件引起轩然大波的起因,不齐全在于“国资云”这一新兴概念的打响,更在于对第三方私有云平台的间接排挤是否属实?以及它到底是意义甚微的个别案例,还是政策定调、大规模推广前的放风试探? 联合上个月对滴滴启动的大规模考察;我国第一部无关数据安全的专门法律——《中华人民共和国数据安全法》行将在9月1日起正式实施;以及政策束缚足以令隔壁的教培行业产生天翻地覆的变动,目前来看,国资云的这一问题可大也可小,大部分人还是只能给出很审慎的答复。 不过,支流的趋势是不言而喻的,次要在两点: 上云促成数字化转型是趋势,增强企业数据安全也是趋势。 至于国资云背景厂商是否行将取得重大利好,第三方私有云厂商是否被迫份额溢出,就算短期内可能会出现某种偏差,但思考到云计算宏大的市场规模和失常的市场竞争规定,也能发现仍然还有很多畛域值得云玩家们大展拳脚。 如同Gartner钻研副总裁Sid Nag曾示意的,超大规模提供商正在持续通过建设分布式云和边缘解决方案,将私有云的覆盖范围扩充到私人和本地地点,满足企业数据主权、工作负载便携性和网络提早方面的需要。 另外,尽管云市场将持续增长,但企业决策者扩散投资云IaaS和平台即服务(PaaS)的时代正在过来,他们将着重关注可能满足其利用场景需要的技术,因而云服务提供商将来的机会将来自边缘、5G、AI、平安等与云相邻的技术市场的增长。 也就是说,无论经验多少崎岖,在追风与跟热点以外,心愿咱们都能坚守住这个市场里最外围与实质的驱动。 参考资料: 宁宇,《拨开“国资云”的迷雾》云头条,《前海云:进行服务》第一财经,《华为云电脑进行经营 高资费、网络提早成为行业倒退掣肘》

August 31, 2021 · 1 min · jiezi

关于云计算:浪潮云说直播间第七期今日准时开播

对立云管(MSP)高效用云 业余管云 聚焦多云业务痛点,提供数字化解决方案,帮助政企用户实现数字化转型并继续优化,实现多云及混合云资源全生命周期一站式治理。

August 31, 2021 · 1 min · jiezi

关于云计算:浪潮云说丨浪潮云IBP数据工场打造行业数据基座

IBP数据工场是浪潮云面向数字经济时代打造的数字平台,通过“云、数、智”技术交融,汇聚全量数据,联接海量数据,实现数据智能,挖掘行业价值,致力于成为数字时代的行业数据底座。 浪潮云IBP数据工场,依靠大数据全栈治理能力、行业当先的产品性能,在泛滥行业积攒了丰盛的实践经验,禁受住了市场的测验。 在一体化大数据中心建设方面,IBP数据工场利用数据湖构建工具建设一体化数据中心,实现数据的高效汇聚、无效治理,造成反对翻新利用的主题数据库资源,激活数据“生产因素”属性,实现数据因素与社会生产生存流动的宽泛、深度交融,为推动政府和企业数字化转型降级和业务模式翻新奠定了根底。 在市场监管方面,IBP数据工场推动市场监管由“利用为核心”向“数据为核心”转变,凭借大数据、人工智能等先进技术,信用、危险等精准辨认伎俩,实现行业监管专业化、市场监管属地化的转变,转变政府服务理念,晋升政府治理能力。 在教育信息化方面,IBP数据工场基于教育根底数据及教育组织数据,汇聚相干行业和互联网数据并进行关联剖析,开掘教育数据价值,为教育平衡倒退、品质晋升、决策反对及学生个性化造就提供翻新利用。 在医疗衰弱方面,基于IBP数据工场构建异构、高效、安全可靠的衰弱医疗大数据采集一张网,实现全量数据采集、治理和服务,打造EB级衰弱医疗大数据中心,撑持基于衰弱医疗大数据与互联网联合的便民惠民利用。 此外,IBP数据工场还在工业互联网、智慧城市、应急、水利、农业、环保等上百个行业奉献着本人的力量,助力行业数字化转型。将来,IBP数据工场将继续深耕技术创新能力、拓展行业赋能范畴,为千行百业奉献更多的浪潮云翻新产品和解决方案。

August 30, 2021 · 1 min · jiezi

关于云计算:云原生爱好者周刊你听过-DevOps-元素周期表吗

云原生一周动静要闻: HashiCorp 的云策略情况调查结果颁布Gloo Mesh 1.1 和 Gloo Mesh Gateway 1.0 公布GKE 减少了 OIDC 身份提供商和 gVNIC 反对Argo CD ApplicationSet controller 0.2.0 公布OpenTelemetry 成为 CNCF 的孵化我的项目开源我的项目举荐文章举荐近期,DevOps、研发效力常识和工具平台 Ledge 推出了 DevOps 元素周期表。是的,你没听错,这个 DevOps 元素周期表是模拟门捷列夫的元素周期表的排版制作的,每一个元素代表一种 DevOps 工具,很有创意。 值得一提的是,这张元素周期表外面还蕴含了 KubeSphere,KubeSphere DevOps 提供了基于 Jenkins 的 CI/CD 流水线,反对自动化工作流,包含 Binary-to-Image (B2I) 和 Source-to-Image (S2I) 等,帮忙不同的组织放慢产品上市工夫。从 KubeSphere 3.1.0 开始,便内置了罕用的流水线模板,帮忙 DevOps 工程师晋升 CI/CD 流水线的创立与运维效率。大部分场景下可基于流水线模板进行批改,不再须要从头开始创立,实现了真正的开箱即用。 云原生动静HashiCorp 的云策略情况调查结果颁布:欢送来到多云时代HashiCorp 首次进行的云策略情况考察发现了一些十分明确的后果:一个独特的多云经营模式曾经成为各种模式和规模的 IT 组织实现数字化转型的事实标准。IT 组织正在为多云部署投入大量资源,这些投资曾经失去了回报。然而,与此同时,企业仍在应答各种多云挑战和依赖性。 该考察的对象是来自 HashiCorp 抉择退出的分割数据库的 3200 多名技术从业人员和决策者。 ...

August 30, 2021 · 2 min · jiezi

关于云计算:KubeSphere-核心架构浅析

KubeSphere 是在 K8s 之上构建的面向云原生利用的容器混合云管理系统。反对多云与多集群治理,提供全栈的自动化运维能力,帮忙企业用户简化 DevOps 工作流,提供运维敌对的向导式操作界面,帮忙企业疾速构建一个弱小和功能丰富的容器云平台。 KubeSphere 为用户提供构建企业级 K8s 环境所需的多项性能,例如多云与多集群治理、K8s 资源管理、DevOps、利用生命周期治理、微服务治理(服务网格)、日志查问与收集、服务与网络、多租户治理、监控告警、事件与审计查问、存储管理、拜访权限管制、GPU 反对、网络策略、镜像仓库治理以及平安治理等。 得益于 K8s 优良的架构与设计,KubeSphere 舍短取长采纳了更为轻量的架构模式,灵便的整合资源,进一步丰盛了 K8s 生态。 KubeSphere 外围架构KubeSphere 的外围架构如下图所示: 外围组件次要有三个: ks-console 前端服务组件ks-apiserver 后端服务组件ks-controller-manager 资源状态保护组件KubeSphere 的后端设计中沿用了 K8s 申明式 API 的格调,所有可操作的资源都尽可能的形象成为 CustomResource[1]。与命令式 API 相比,申明性 API 的应用更加简洁,并且提供了更好的抽象性,通知程序最终的冀望状态(做什么),而不关怀怎么做。 在申明式 API 中: 你的 API 蕴含相对而言为数不多的、尺寸较小的对象(资源)。对象定义了利用或者基础设施的配置信息。对象更新操作频率较低。通常须要人来读取或写入对象。对象的次要操作是 CRUD 格调的(创立、读取、更新和删除)。不须要跨对象的事务反对:API 对象代表的是冀望状态而非确切理论状态。命令式 API(Imperative API)与申明式有所不同。以下迹象表明你的 API 可能不是申明式的: 客户端收回“做这个操作”的指令,之后在该操作完结时取得同步响应。客户端收回“做这个操作”的指令,并取得一个操作 ID,之后须要判断申请是否胜利实现。你会将你的 API 类比为 RPC。间接存储大量数据。在对象上执行的惯例操作并非 CRUD 格调。API 不太容易用对象来建模。借助 kube-apiserver、etcd 实现数据同步和数据长久化,通过 ks-controller-manager 保护这些资源的状态,以达到最终状态的一致性。如果你相熟 K8s,能够很好地了解申明式 API 带来的益处,这也是 KubeSphere 最为外围的局部。 例如 KubeSphere 中的流水线、用户凭证、用户实体、告警告诉的配置,都能够形象为资源实体,借助 K8s 成熟的架构与工具链,能够不便的与 K8s 进行联合,升高各组件之间的耦合,升高零碎的复杂度。 ...

August 30, 2021 · 3 min · jiezi

关于云计算:工业互联网如何加速释放赋能价值工业智能是关键

2021中国国内智能产业博览会(以下简称智博会)上,浪潮云洲工业互联网、重庆云江互联展区“上镜”央视新闻联播,展区有哪些翻新技术?又将为行业带来哪些变革?上游新闻记者为你打探。 在云江互联展区,最引人注目的还是CloudSTEAM工业互联网平台,该平台基于浪潮云洲链撑持,具备自主知识产权,由工业智能(汽车)联结翻新实验室打造。平台通过对产业大数据、区域大数据、天气大数据等剖析和模型构建,利用寰球当先的认知仿真推演技术,为企业打造韧性供应链,进一步帮忙企业从自动化迈向智能化,从生产线延长至产业链。 依据测算,平台施行后,可晋升企业需求预测准确率约36%,升高均匀库存老本约21%,大幅晋升供应链运行效率。 在2021智博会工业互联网一体化倒退高峰论坛上,云江互联工业智能联结翻新实验室产品总监任女尔进一步解读工业智能。 “工业智能是工业互联网充沛开释赋能价值的要害因素。”任女尔介绍,云江互联工业智能联结翻新实验室,以晋升产业链智能化程度为产品主线,基于算法平台提供的行业模型,面向汽车行业“研产供销”环节,优化智能配料、智能机加、供应链治理等解决方案。 “目前的供应链治理,存在信息不通明、交易纠纷难以解决、交易单方信赖老本较低等问题,从而影响整体零碎效率。”中国工程院院士李培根谈到,数字化治理则是解决这些难题的有效途径。 以重庆云江互联搭载的CloudSTEAM平台为例,平台通过数字化治理,实现了端到端的数据买通,连贯2000余家供应商和经销商供应链企业数据,晋升后服务市场的客户满意度。以汽车零部件来说,通过汽车零部件备件生命周期,综合天文大数据、政策、销量、市场流动等诸多因素,实现精准预测晋升效益。同时,对供应链各环节整体优化,同步所有层级的库存,缩短汽车零部件备件响应工夫。 云江互联数字化的供应链零碎将工厂、供应商、物流服务商、客户连贯在一个通明可视的数字链上。通过数字化供应链治理,物流全程电子化、全程可视化,打消供应链上信息不对称的状况,升高洽购老本,实现产品溯源,优化流程和需要,使零碎整体效率大幅晋升。(文章来自上游新闻记者 李舒,鸣谢)

August 27, 2021 · 1 min · jiezi

关于云计算:OpenFunction-应用系列之一-以-Serverless-的方式实现-Kubernetes-日志告警

概述当咱们将容器的日志收集到音讯服务器之后,咱们该如何解决这些日志?部署一个专用的日志解决工作负载可能会消耗多余的老本,而当日志体量骤增、骤降时亦难以评估日志解决工作负载的待机数量。本文提供了一种基于 Serverless 的日志解决思路,能够在升高该工作链路老本的同时进步其灵活性。 咱们的大体设计是应用 Kafka 服务器作为日志的接收器,之后以输出 Kafka 服务器的日志作为事件,驱动 Serverless 工作负载对日志进行解决。据此的大抵步骤为: 搭建 Kafka 服务器作为 Kubernetes 集群的日志接收器部署 OpenFunction 为日志解决工作负载提供 Serverless 能力编写日志处理函数,抓取特定的日志生成告警音讯配置 Notification Manager 将告警发送至 Slack 在这个场景中,咱们会利用到 OpenFunction 带来的 Serverless 能力。 OpenFunction 是 KubeSphere 社区开源的一个 FaaS(Serverless)我的项目,旨在让用户专一于他们的业务逻辑,而不用关怀底层运行环境和基础设施。该我的项目以后具备以下要害能力: 反对通过 dockerfile 或 buildpacks 形式构建 OCI 镜像反对应用 Knative Serving 或 OpenFunctionAsync ( KEDA + Dapr ) 作为 runtime 运行 Serverless 工作负载自带事件驱动框架应用 Kafka 作为日志接收器首先,咱们为 KubeSphere 平台开启 logging 组件(能够参考 启用可插拔组件 获取更多信息)。而后咱们应用 strimzi-kafka-operator 搭建一个最小化的 Kafka 服务器。 在 default 命名空间中装置 strimzi-kafka-operator : ...

August 27, 2021 · 5 min · jiezi

关于云计算:存储大师班-ZFS存储池块管理与事务模型

作者简介:肖文文,QingStor 文件存储开发工程师,次要负责文件存储的开发,有多年的存储开发教训,青睐技术酷爱技术。ZFS History 1 ZFS 的诞生:ZFS 由 Sun 存储部门的 CTO 、研究员 Jeff Bonwick 率领团队开发。开发于 2001 年,作为 Sun Microsystems Solaris 操作系统的一部分。 率领开发 ZFS 的是 Jeff Bonwick。他首先有了对 ZFS 整体架构的构思,而后游说 Sun 高层,亲自组建起了 ZFS 开发团队。招募了过后刚从大学毕业的 Matt Ahrens,又从 Solaris 的 Storage Team 抽调了 UFS 局部的负责人 Mark Shellenbaum 和 Mark Maybee 来开发 ZFS。2 ZFS 的开源:在2005年,Sun 开源 Solaris 的大部分,包含 ZFS 开源;开源我的项目 OpenSolaris。 3 illumos 我的项目成立,OpenZFS: 在2010年,Sun 被 Oracle 收买,ZFS 成为 Oracle 的注册商标。Oracle 进行为 OpenSolaris 和 ZFS 我的项目提供更新的源代码,三分之二的 ZFS 外围开发者决定来到 Oracle 公司。illumos 我的项目的成立,保护曾经存在的开源的 Solaris 代码,并且在 2013 年成立 OpenZFS 以配合 ZFS 开源的倒退。4 ZFS on Linux:2013年,Linux 上 ZFS 的第一个稳固版本,持续倒退。 ...

August 27, 2021 · 4 min · jiezi

关于云计算:Docker速学四-编排集群和常见命令总结

咱们之前介绍了Docker学习的根本办法和原理,以及根底三大件:镜像、容器、仓库。还有Dockerfile和数据卷等等,如果你对后面的内容还不理解,能够进行再次回顾。 预览: Docker小白入门倡议及基本原理介绍 Docker速学(一) 镜像和容器 Docker速学(二) Dockerfile和数据卷 Docker速学(三) 网络、用户和过程 这篇内容是Docker速学系列的最初一篇内容,对docker的编排、集群做了梳理,在文章最初,还总结了一些常见的命令。 让咱们开始明天的内容吧! 编排编排就是将多个运行的容器串联起来,最常见的编排工具是 Docker Compose。 范例上面是 OnlyOffice 装置所用的 docker-compose 配置文件: version: '2'services: onlyoffice-communityserver: container_name: onlyoffice-communityserver image: onlyoffice/communityserver:latest environment: - MYSQL_SERVER_HOST="127.0.0.1" - MYSQL_SERVER_PORT="3306" - MYSQL_SERVER_DB_NAME="onlyoffice" - MYSQL_SERVER_USER="onlyoffice" - MYSQL_SERVER_PASS="123456" - DOCUMENT_SERVER_PORT_80_TCP_ADDR=onlyoffice-documentserver stdin_open: true restart: always networks: - onlyoffice volumes: - /data/wwwroot/onlyoffice/CommunityServer/logs:/var/log/onlyoffice - /data/wwwroot/onlyoffice/CommunityServer/data:/var/www/onlyoffice/Data - /data/wwwroot/onlyoffice/CommunityServer/DocumentServer/data:/var/www/onlyoffice/DocumentServerData ports: - '80:80' - '443:443' - '5222:5222' onlyoffice-documentserver: container_name: onlyoffice-documentserver image: onlyoffice/documentserver:latest stdin_open: true restart: always networks: - onlyoffice ports: - '9002:80' - '9003:443' volumes: - /data/wwwroot/onlyoffice/DocumentServer/logs:/var/log/onlyoffice - /data/wwwroot/onlyoffice/DocumentServer/data:/var/www/onlyoffice/Datanetworks: onlyoffice: driver: 'bridge'留神: ...

August 27, 2021 · 2 min · jiezi

关于云计算:首度揭秘大规模HPC生产环境-IO-特征

在王坚博士的《在线》一书中提到,单纯谈数据的“大”,意义是不大的。欧洲核子研究中心(CERN)进行一次原子对撞产生的数据大到惊人,而如何通过计算的形式去挖掘出这些数据背地的价值,才是数据意义的自身。HPC高性能计算,就是实现这种价值转换的重要伎俩。近年来,HPC的利用范畴曾经从纯学术扩大到资源勘探、气象预测、流体力学剖析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据,并将其存储在PB级别的共享的高性能文件系统中。然而,无论是HPC利用的用户,还是高性能文件系统的开发人员,对这些文件的拜访模式理解都十分无限。 咱们在Fast20中发现了一篇很乏味的论文《Uncovering Access, Reuse, and Sharing Characteristics of I/O-Intensive Files on Large-Scale Production HPC Systems》,这篇论文钻研了超级计算机的生产环境上I/O密集型HPC利用对文件拜访模式。 据论文作者所知,这是第一篇对HPC零碎中IO密集型文件的拜访、重复使用以及共享个性进行深入研究的论文。这篇论文第一次揭示了(1)HPC中的各个文件是读密集型,还是写密集型,或是读写密集型;(2)在多个工作中,重复拜访同一个文件的工夫距离;(3)多个应用程序对同一个文件的共享行为。更进一步地,这篇论文还基于文件的IO时序,剖析了导致文件系统性能低下的次要起因,这些起因导致了在单次工作和屡次工作间的IO的性能稳定。 论文总结了十个发现,咱们联合本人的了解,补充了很多背景常识,摘要了其中的要点,和大家做个分享(后方及其高能),大家能够细细品读论文作者的钻研思路和伎俩,也能够间接浏览论文演绎的十大发现。以下文章中未注明的图表,均来自论文原文(图表标号应用原文中的标号)。感兴趣的同学能够浏览论文原文,也欢送大家和咱们一起探讨。 01 概述在大规模高性能计算HPC集群上,各个利用的数据读写通常都在几十上百TB。过往对于IO特色上的钻研大多基于单个应用程序级别,针对特定利用提供底层存储的优化倡议。而大家对于HPC零碎中不同应用程序对各种文件的IO特点,理解十分无限。因为这须要在HPC生产环境中,跟踪利用在大量工作执行过程中产生的IO信息,家喻户晓,这种细粒度的跟踪和剖析,对系统的性能是会造成很大影响的,这也正是很难在HPC的生产环境中进行相似钻研的起因。然而,这种钻研还是极具价值的,它对于咱们存储研发人员更深刻了解针对文件的IO、文件重复读写的模式、IO性能上的稳定、优化文件搁置策略,都十分有意义。 论文的钻研应用的是轻量级的IO监控工具Darshan(Darshan旨在以最小的开销捕捉应用程序IO行为的精确状况,包含文件的拜访模式等特色。Darshan名称取自梵语单词“ sight”或“ vision”, https://www.mcs.anl.gov/research/projects/darshan/),论文作者团队在Top500超级计算机集群Cori的生产环境上,进行了长达四个月(累计近3600万个节点小时)的跟踪和剖析。 02 钻研的背景和分析方法首先介绍一下Cori,超级计算机集群Cori在最新的世界HPC Top500中排名第十三位(https://www.top500.org/list/2019/11/),Cori具备约27 Pflop / s的峰值计算性能,蕴含9,688个Intel Xeon Phi和2388个Intel Haswell处理器。Cori应用的是基于磁盘的Lustre文件系统,该文件系统由约10,000块磁盘组成,这些磁盘被组织为248个Lustre OST。每个OST都配置有GridRAID,并具备用于解决IO申请的相应的OSS。文件系统的总大小约为30 PB,IO峰值带宽为744 GB / s。Cori是长这样的: 图片来自互联网 IO数据监控和采集。论文作者应用Darshan这个监控工具对应用程序进行文件IO拜访模式等特色的收集。在钻研期间,Cori上所有用户都默认启用了Darshan V3.10。Darshan收集了包含用户ID、作业ID、应用程序ID、开始工夫戳、完结工夫戳和过程数等要害信息。Darshan还针对代表性的IO接口类型 POSIX IO、MPI IO(Message Passing Interface,MPI是一种用于对并行计算机进行编程的通信协议,是一个用于进行消息传递的应用程序程序接口、协定和语义标准,MPI是当今高性能计算中被宽泛应用的IO编程模型,这种编程模型须要底层存储的反对)、STD(Standard)IO的IO调用接口进行了监控和统计。统计的指标包含读/写数据量、读/写/元操作的总工夫、执行IO的过程ID,以及不同应用程序过程中IO大小和IO工夫的稳定。最初,Darshan还收集了Lustre文件系统级别的一些指标,例如条带宽度和对文件条带化所波及的OST ID。然而,Darshan没有记录各个文件的理论大小,而只记录了文件被传输的数据的大小。在论文钻研期间,作者团队供收集了大概8400万条日志(每次工作执行对应一条日志),这些日志涵盖在8489个应用程序的5200万个日志文件中,波及651个用户和12.8 PB的数据传输(其中6.9 PB读取数据,5.9 PB写入数据)。 在以下篇幅中,会应用到几种图表,包含: 热度分布图,用于显示两个指标之间特定关系的关联水平。热度分布图色彩的强度示意显示两个坐标指标上对应的文件数。CMF图。CMF图用于显示横轴指标的累积散布。垂直的蓝色虚线用于批示横轴指标的平均值。一些CMF图显示的是一个指标的CoV(变异稳定系数(%),https://en.wikipedia.org/wiki/Coefficient_of_variation)的累计散布(简略来说,就是这个指标在多大范畴内稳定的累计概率状况),以突出显示这个指标的归一化稳定个性。Violin Plot,这些图用于以垂直格局显示指标不同值的密度(以文件数示意),程度的蓝色实线用于批示密度散布的平均值。如何抉择IO密集型文件 后面提到过,Cori的Darshan日志蕴含了约5200万个文件。然而,分析表明,在钻研期间,大多数日志文件中执行的IO操作很少。图2横坐标示意计算工作中一个文件的传输数据量(读或写),纵坐标示意一个文件在多少个工作中被读写,不同色块代表波及的文件数量。从图中能够看出,大多数文件的IO小于100 GB,并且整个计算过程中只被拜访一次。实际上,超过99%的文件传输数据少于1 GB。这并不意味着理论文件大小小于1 GB,只是文件的数据传输量小于1 GB。 Figure 2: 超过99%(约等于5200万个)的文件传输数量&amp;amp;lt;1GB,且钻研期间只被拜访一次 因而,大多数的文件对建设与HPC应用程序的次要IO模型无关的特色没有帮忙。这些文件包含用户正文、脚本、可执行文件、非IO密集型应用程序输入以及谬误日志等。而论文的钻研重点是 “IO密集型”文件,这些文件在钻研期间至多实现了100 GB的数据传输,并且至多被2次工作拜访,作者通过钻研这些IO密集型文件以捕捉最次要和最具代表性的IO模式。从这里开始,将这些IO密集型文件简称为“文件”。这些IO密集型文件的日志逾越了约40万次工作、791个应用程序、149个用户、8500个文件和7.8 PB的数据传输(4.7 PB的读取数据和3.1 PB的写入数据),超过70%的用户对2个以上的文件执行IO操作,每个用户均匀对57个文件执行IO。 文件分类 接下来,作者依据IO密集型文件执行的IO操作类型对这些文件进行分类,这有助于了解后续章节中针对不同类型文件拜访特点所失去的发现。图3(a)显示了每个文件读取数据传输量与写入数据传输量的热力求。文件能够分为三个不同的品种,右下方的一组由22%的文件组成,这些文件在四个月内传输的大部分为读取数据,论文将这些文件称为读密集型文件或RH(Read-Heavy)文件。左上方的一组由仅传输写数据的文件(写密集型文件或WH(Write-Heavy)文件)组成,占IO密集型文件的7%。位于文件右上角的一组具备最大的占比(占71%),由读写密集型文件组成(称为RW(Read-Write)文件)。 ...

August 27, 2021 · 1 min · jiezi