关于存储:利用亚马逊云服务器-EC2-和-S3-免费套餐搭建私人网盘

网盘是一种在线存储服务,提供文件存储,拜访,备份,奉献等性能,是咱们日常中不可或缺的一种服务。很多互联网公司都为集体和企业提供收费的网盘服务。但这些收费服务都有一些限度,比方限度下载速度,限度文件大小,不能多人同时治理,不能实现一些定制化性能。如果想勾销这些限度,就要付费。当初我给大家介绍一种收费,且性能无限度的私人网盘。咱们能够利用开源的网盘软件 NextCloud:https://nextcloud.com/?trk=cndc-detail,配合亚马逊云科技提供的收费服务额度,来搭建一个没有应用限度的私人网盘。教程非常简单,这个装置过程仅需三行命令,心愿能够帮忙到您。 老本劣势因为亚马逊云科技服务品种较多,且计费具体,很多用户有些看不懂,所以对应用亚马逊云望而生畏。其实亚马逊云科技很多服务都有收费套餐,以让用户体验,这些服务的收费套餐,搭建一个私人网盘入不敷出。因为亚马逊云海内区仅需集体信用卡就能够注册,所以咱们以海内区为例。咱们能够从以下链接https://aws.amazon.com/cn/free/?trk=cndc-detail 看到亚马逊云哪些服务具备收费套餐: 上表列出了一部分亚马逊云的收费服务额度,能够看出,如果您新注册了一个亚马逊云账号,就能够收费应用一年一台 EC2 实例主机,并且蕴含35GB 存储空间,传入流量完全免费,每月传出流量 1GB 内收费。您可能放心,如果每月的收费额度用尽会造成免费,那么您能够通过以下设置,在您的亚马逊云科技服务使用量靠近或超过 Amazon Web Services 收费套餐使用量限度时接管电子邮件揭示。登陆您海内区亚马逊云科技控制台,关上上面链接:https://console.aws.amazon.com/billing/home#/preferences?trk=... ,勾选“接管收费套餐使用量揭示”,填入您的电子邮件地址,这样您就无需放心造成费用。 技术劣势家喻户晓,亚马逊云科技为很多跨国公司提供稳固的企业级云服务。将网盘架设在亚马逊云上,依靠亚马逊云提供的企业级服务,使网盘性能更加卓越和稳固。NextCloud 是一款基于 php 开发的开源网盘利用。当您抉择亚马逊云科技的 Graviton2 运行 php7.4 版本代码时,性能晋升多达30%。(数据起源:https://aws.amazon.com/cn/blogs/compute/improving-performance... )另外,作为网盘存储介质的Amazon S3 可达到 99.999999999%(11 个 9)的持久性,并为寰球各地的公司存储数百万个应用程序的数据。所以,您无需放心数据失落。 操作指南:创立实例:首先咱们先抉择一个在中国拜访较快的亚马逊云海内区域,这里拿新加坡为例。 在网页右上角切换区域为新加坡。 点击网页左上角的“服务”,找到 EC2,并点击。 点击网页中的“启动实例”按钮。 在抉择操作系统页面,咱们抉择 Ubuntu Server 20.04 LTS,并且在右侧抉择零碎版本为 ARM。点击蓝色的“抉择”按钮。在这里咱们留神到,如果是收费套餐内的操作系统,会有标注“符合条件的收费套餐”。 在抉择实例类型页面,咱们抉择 micro,其中的字母 g 代表采纳了Graviton2 芯片。咱们看到这个类型也标注了“可收费试用”。点击“下一步:配置实例详细信息”。 去掉“积分标准”前面的复选框,防止产生额定费用。点击“下一步:增加存储”。  在增加存储页面,咱们将根卷大小更改为 30GB,因为亚马逊云提供的收费套餐最大为 30GB。点击“下一步:增加标签”。 增加标签页无需任何批改,间接点击“下一步:配置平安组”,抉择“创立一个新的平安组”,点击左下角的“增加规定”按钮,类型抉择“http”,确认下端口范畴为 80,起源为0.0.0/0,代表任意IP可拜访。前面::/0代表 IPv6。点击右下蓝色按钮“审核和启动”。 在核查实例启动页面,点击右下按钮“启动”。会让您创立密钥,用于登陆实例,按提醒创立并保留即可。 操作指南:调配固定 IP这样创立出的实例只调配了长期 IP,咱们须要给实例调配一个固定IP地址,咱们点击左上角“服务”,找到 VPC。 进入到 VPC 点击左侧“弹性 IP”,再点击右侧“调配弹性 IP地址”,失去一个固定 IP 地址。选中这个地址,点击“操作”按钮,抉择“关联弹性 IP 地址”,在关联页面抉择方才创立的实例,将固定 IP 与方才创立实例相关联。请记下这个固定 IP,前面会应用它来拜访网盘。 操作指南:装置 NextCloud返回 EC2 服务界面,咱们察看实例状态为“正在运行”,且状态查看为“2项查看已通过”。则代表曾经创立胜利,勾选实例前的复选框,点击右侧的“连贯“按钮。 ...

September 21, 2023 · 1 min · jiezi

关于存储:软考架构师-chap2-计算机基础-存储管理

操作系统的概述操作系统的定义:可能无效地组织和管理系统中的软硬件资源,正当的组织计算机系统工作流程,控制程序执行,并且向用户提供一个良好的接口。 操作系统的三个作用 治理计算机中运行的程序和调配的各种软硬件资源交互界面提供高效率平台四个特色并发性共享性虚拟性不确定性(异步性)操作系统的性能过程治理文件治理存储管理设施治理作业管理操作系统的分类批处理操作系统: 单道批处理和多道批处理分时操作系统:一个计算机系统与多个终端设备连贯,将cpu的工作工夫划分为多个短的工夫片,轮流为终端用户服务实时操作系统:指的是计算机对于外来信息可能以足够块的速度进行解决,并且在被控对象容许的范畴内做出快速反应。实时系统对交互能力要求不高,但要求可靠性保障网络操作系统: 联网的计算机可能不便且无效的共享网络资源。三种: 集中模式(中心化),c/s p2p分布式: 多个计算机组成的零碎,没有主次微型计算机操作系统: win linux 都属于这一种。嵌入式操作系统微型化可定制实时性可靠性易于移植嵌入式零碎初始化过程依照自底向上,从硬件到软件的秩序顺次为:片级初始化-> 板级初始化->零碎初始化 过程治理过程的组成: 过程管制块pcb(惟一标记)、程序(形容过程要做什么)、数据(寄存过程执行时所需的数据) 过程的状态 次要考三态图 运行态:正在运行阻塞态:短少运行其余必要数据就绪态:短少计算资源(cpu)前驱图用来示意哪些工作能够并行执行,那些工作之间由程序关系,确定了工作间的并行关系,工作间的先后顺序。 过程资源图用来示意过程和资源之间的调配和申请关系 p代表过程, R代表资源阻塞节点:某过程所申请的资源曾经全副调配结束,无奈获取所需资源,该过程被阻塞了无奈持续非阻塞节点: 某过程锁清秋的资源还有残余当一个过程资源图中所有过程都是阻塞节点时,即陷入死锁状态。过程的同步和互斥临界资源: 各过程间须要以互斥形式对其进行拜访的资源临界区: 过程中对临界资源施行操作的程序互斥: 某资源在同一时间只能由一个工作独自应用,应用时须要加锁同步:多个工作能够并发执行,互斥信号量: 对临界资源采纳互斥拜访,应用互斥信号量后其余过程无法访问,初始值为1同步信号量:对共享资源访问控制,初值个别时共享资源的数量。进程同步与互斥p操作: 申请资源 s = s-1 (p(s)) 若s>= 0 则执行p操作的过程继续执行; 若s<0 , 则置该过程为阻塞状态,并将其插入阻塞队列v操作: 开释资源, s= s+1 若s>0 则执行v操作的过程继续执行; 若s<= 0 则从阻塞状态唤醒一个过程,并将其插入就绪队列, 而后v操作能够继续执行。经典问题: 生产者和消费者问题 过程调度先来先服务工夫片轮转优先级调度多级反馈调度死锁当一个过程在期待永远不可能产生的工夫时, 就会产生死锁。 必要条件: 资源互斥每个过程占有资源并期待其余资源零碎不能剥夺过程资源过程资源图是一个环路死锁产生后,解决措施时突破四大条件 死锁预防:死锁防止:个别采纳银行家算法来防止,银行家算法就是计算出一条不会死锁的资源分配办法,才分配资源,否则不调配。死锁检测:容许死锁产生,但零碎定时运行一个检测死锁的程序,若检测到产生死锁,则解除死锁解除:强制剥夺资源或者撤销过程等死锁资源计算:须要理解一下银行家算法 银行家算法的考法,1. 计算残余资源, 2.判断过程执行序列。 线程传统的过程有两个属性: 可领有资源的独立单位; 可独立调度和调配的根本单位。 起因: 过程开销大,线程开销小线程时过程中的一个实体, 是被零碎独立调配和调度的根本单位。线程基本上不领有资源,只领有一点运行中必不可少的资源,它能够同属于一个过程的其余线程共享过程所领有的全副资源。 (tcb:线程管制块) 分区存储管理所谓分区存储就是整村,将某过程运行所须要的内存整体一起调配给他 固定分区: 动态分区办法,将主存分为若干个固定的分区,将要运行的作业拆卸进去。可变分区: 动静分区可重定位分区应该能够简略形象为动态变量,malloc realloc分区算法: 首次适应:每次都从头找最佳适应:内存块从大到小排序,找到适合的,宰割一块最差适应循环首次适配分页存储管理逻辑页分为页号和页内地址,页内地址就是物理的偏移地址,而页号与物理块号并非依照程序对应,须要查问页表,能力得悉页号对应的物理快好,再利用物理块号加上便宜地址能力得出真正运行时的物理地址长处:利用率高,碎片小,调配及治理简略毛病:减少了零碎开销,可能产生抖动景象。 页面置换算法最优算法:实践算法,抉择将来最长工夫内不被拜访的页面置换,这样能够保障将来执行的都是马上要拜访的先进先出:会产生抖动景象最近起码应用: 不会产生抖动景象淘汰准则:优先淘汰最近未拜访的块表一块最小容量的相连的存储器,由疾速存储器组成,按内容拜访,速度快,并且能够从硬件上保障按内容并行查找,个别用来寄存以后拜访最频繁的多数流动页面的页号块表存在cache中分段存储管理将过程空间分为一个个段,每段有段号和段内地址,与分页式存储不同的是,每段物理带下不同,分段是依据逻辑整体分段的,因而段表与页表的内容不同,页表中间接是逻辑页号对应物理块号,段表有段长和基址两个属性,能力去欸的那个一个逻辑段在物理段中的地位。段页存储对过程空间先分段在分页,长处:空间节约小,存储共享容易,存储保护容易,能动静链接毛病:简单,性能低。 ...

September 9, 2023 · 1 min · jiezi

关于存储:使用-S3-生命周期精确管理对象生命周期

在亚马逊工作这些年,我发现 S3 的生命周期配置是治理对象生命周期的重要但简单的工具。在这篇文章中,我将利用实战经验,深刻分析生命周期,从外围概念到理论利用。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术,观点,和我的项目,并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏,看到这里请肯定不要匆匆划过,点这里让它成为你的技术宝库!导言在云存储中治理数据生命周期至关重要却很简单。随着大量数据疾速累积,不受管制的增长会导致老本指数回升。S3 生命周期让咱们能够建设自动化策略,在存储类型之间转变对象或删除对象。 本文将具体分析生命周期,从根底逻辑到理论配置。您将学习如何准确管制对象生命周期的同时优化存储老本。本文将提供示例并辅以流程图和图解进行步骤详解。我的指标是提供可间接施行的见解,利用于您的云架构中。 背景常识首先简述几个要害概念: S3 生命周期策略对满足特定条件的对象利用规定。每个规定定义在对象生命周期的某些点上满足规范时要执行的操作。 常见条件包含: 对象键名称前缀或标签对象创立日期总生命周期天数典型操作包含: 转变存储类型终止未实现的多局部上传永恒删除对象实际上,生命周期基于定义的规定,主动在 S3 存储类型之间转变对象,或齐全删除对象。 问题所在生命周期为什么有用且简单? 不受管制的数据累积会迅速减少云存储老本。长期手动干涉操作既费劲又容易出错。生命周期提供自动化,但制订无效准确的规定须要深刻了解。 谬误配置可能导致意外转变或删除。简单拜访模式,比方每天数百万次上传/拜访,进一步减少了策略设计的难度。 因而,把握生命周期的逻辑和复杂度是必须的。 S3 生命周期的工作原理让咱们逐渐看一下生命周期配置:1. 定义生命周期规定 依据名称、标签或创立日期为对象制订规定过滤器。 2. 指定操作 抉择在匹配对象上执行的操作,比方转变存储类型或删除。 3. 评估对象 S3 定期依据规定评估对象。匹配的对象进入指定操作的队列。 4. 执行操作 对于期待操作的对象,在达到下一个打算距离时,S3 会执行指定的操作。 总之,生命周期基于粗疏的规定主动转变或删除对象。然而设计高效可预测的策略须要思考周全. 要害劣势与利用生命周期的弱小之处在哪里? 老本优化:极少拜访的数据转变到低频或冷存储,可节俭高达 90% 的存储老本。间接删除不须要的数据。 存储分层:依据拜访模式主动在存储类型之间迁徙数据。例如,30天后拜访日志转变到低频存储。 清理工作:在指定天数后终止未实现的多局部上传,以节省成本。 合规性:依据数据保留政策,在达到规定保留期限后,永恒删除敏感数据。 简而言之,生命周期实现从创立到删除的粗疏自动化数据管制,无效治理存储增长。 理论利用示例上面咱们看一些演示理论应用的生命周期示例: 优化存储老本 30天后日志转变到低频存储,365天后删除: <LifecycleConfiguration> <Rule> <Filter> <Prefix>logs/</Prefix> </Filter> <Transitions> <Transition> <Days>30</Days> <StorageClass>STANDARD_IA</StorageClass> </Transition> </Transitions> <Expiration> <Days>365</Days> </Expiration> </Rule></LifecycleConfiguration>主动数据分层 90天后 tax/ 结尾的对象转变到冷存储以归档: <Rule> <Filter> <Prefix>tax/</Prefix> </Filter> <Transitions> <Transition> <Days>90</Days> <StorageClass>GLACIER</StorageClass> </Transition> </Transitions></Rule>删除未实现的多局部上传 ...

August 26, 2023 · 1 min · jiezi

关于存储:解决访问-Amazon-S3-对象时遇到的访问被拒绝错误

作为 Amazon S3 的用户,在尝试拜访 S3 存储桶中的对象时,您可能会遇到“拜访被回绝”谬误。这些谬误示意申请短少执行所申请操作的无效凭证或权限策略。 在本博文中,我将介绍各种故障排除步骤和配置查看,以解决拜访 S3 对象时遇到的“拜访被回绝”谬误。 应用 Amazon Systems Manager 自动化文档亚马逊云科技提供了两个 Systems Manager 自动化文档,能够帮忙诊断您的 S3 存储桶的拜访问题: AmazonSupport-TroubleshootS3PublicRead - 应用此文档查看您的S3存储桶的私有读拜访问题。 AmazonSupport-TroubleshootS3AccessSameAccount - 应用此文档诊断从您本人的S3存储桶拜访被回绝的谬误。 这些文档依据您的存储桶配置主动运行诊断并提供举荐解决方案。我强烈建议将它们用作首要的故障排除步骤。 要运行这些文档: 关上 Amazon Systems Manager 控制台,进入自动化局部。搜寻文档名称。点击“执行自动化”。指定所需的参数,如 S3 存储桶名称。查看后果并施行倡议。自动化文档将查看存储桶策略、对象所有权、用户凭据等方面以辨认根本原因。这能够为您节俭数小时的手动故障排除工夫。 查看存储桶和对象的所有权如果正在拜访的对象与存储桶具备不同的所有者,可能会产生“拜访被回绝”谬误。默认状况下,即便上传者将对象上传到您的存储桶,上传者也领有该对象。 依照以下步骤查看对象所有权: 应用 Amazon CLI 获取您的账户的标准 ID:aws s3api list-buckets --query "Owner.ID" 获取对象所有者的标准 ID:aws s3api list-objects --bucket mybucket --prefix myobjectaws s3api list-objects --bucket mybucket --prefix myobjectaws s3api put-object-acl --bucket mybucket --key myobject --acl bucket-owner-full-control通过将对象复制给本人来更新对象所有权:aws s3 cp s3://mybucket/myobject s3://mybucket/myobject 为了避免将来产生此问题,要求在对象上传上设置 bucket-owner-full-control ACL,并启用 S3 对象所有权。 ...

August 24, 2023 · 2 min · jiezi

关于存储:对象存储异地多活容灾架构解析

作为一个分布式的存储,对象存储底层是采纳多正本形式实现的,以便在一个可用区内,保障每个写入的对象都有极高的可靠性,其数据可靠性不低于“12个9”、服务设计可用性(或业务连续性)不低于99.995%。尽管硬盘故障、单机异样等状况不会影响到数据可用性和可靠性,然而在面对机房级别故障(如停电、网络异样)或天然劫难(如地震、海啸)等导致的一个数据中心无奈提供服务时,应用该数据中心的客户服务还是会受到影响的,因而异地容灾能力不可或缺,当某集群产生异样时,须要疾速切换服务,保障业务的可用性。 残缺内容请点击下方链接查看: https://developer.aliyun.com/article/1256994?utm_content=g_10... 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 7, 2023 · 1 min · jiezi

关于存储:首个跨云元数据KV存储Xline正式进入CNCF沙箱

2023年6月13日,云原生计算基金会(CNCF)发表Xline正式被纳入CNCF沙箱(Sandbox)我的项目。Xline是由达坦科技(DatenLord)于2022年年底推出的开源我的项目,是一个用Rust语言写就的,用于元数据管理的分布式KV存储。 Xline是CNCF首个跨云元数据KV存储我的项目。Xline进入CNCF沙箱我的项目充沛表明,在跨云畛域,达坦科技(DatenLord)的开源技术被寰球顶级开源基金会所认可。而Xline作为一个开源中立的我的项目,将与CNCF社区独特倒退,助力云原生生态体系稳步迈入跨云时代。 Xline的诞生在单数据中心场景下,元数据的治理曾经有很多成熟的解决方案,etcd就是其中的佼佼者,然而在多数据中心场景下,etcd的性能受Raft共识协定的限度,它的性能和稳定性都大打折扣。随着互联网和云计算的业务规模越来越大,单个数据中心曾经无奈满足业务的需要,业务零碎从单数据中心向多数据中心倒退,多地多核心多活部署的需要也越来越广泛。 多数据中心架构最大的挑战是,如何保证数据跨数据中心拜访的一致性和性能。比方索引、权限、配置等这类须要跨数据中心共享拜访的元数据,如何在多核心竞争批改的场景下,依然能放弃一致性,并且保障拜访性能。Xline由此应运而生。Xline是一个开源的分布式的KV存储,用来治理大量的关键性数据,并在跨云跨数据中心的场景下依然保障高性能和数据强一致性。 Xline的特点一个分布式多集群KV存储引擎:在多集群场景下实现对立数据管理,使互相拜访、发现和批改变得简略和不便。一个对立的元数据管理系统:通过在内存中缓存热数据实现跨云数据拜访,并通过提供对立的数据管理来实现主动数据迁徙和备份。一个高性能的多数据中心共识协定:它是第一个基于广域网共识协定的跨数据中心一致性治理服务器,解决了跨云交融和一致性的挑战。兼容etcd接口:提供KV接口,多版本并发管制,同时与K8S兼容,让用户应用和迁徙更加晦涩。Xline的外围:Curp共识协定CURP共识协定( Curp 共识协定的从新思考)的劣势是将非抵触的proposal达成共识所须要的RTT从2个降为1,对于抵触的proposal依然须要两个RTT,而etcd等支流分布式系统采纳的Raft协定在任何状况下都须要两个RTT。 只管Raft很稳固,也很易于实现,但从客户的角度来看,它须要2个RTT来实现一个共识申请。一个RTT产生在客户端和领导者服务器之间,而领导者服务器须要另一个RTT将音讯播送给跟随者服务器。在广域网下的高提早环境中,一个RTT的运行工夫从几十到几百毫秒不等,两个RTT将是两个费时的过程。 两个RTT降为一个RTT所带来的性能晋升在单数据中心场景下体现的并不显著,然而在多数据中心或者跨云场景下,RTT个别在几十到几百ms的数量级上,这时一个RTT的性能晋升则相当显著。 Xline版本继续迭代2023年5-6月刚公布的新版本实现如下改良: 通过引入批处理机制进步网络带宽利用率;为CURP共识协定实现快照性能;实现快照相干API,且与etcdctl兼容。其余etcdctl保护中的API会在将来实现。增加watch进度告诉机制在对 Xline 做 benchmark 测试中,咱们将 Xline 运行在多个 docker 镜像中,并通过 tc 来设置不同节点之间的网络提早,模仿真实世界下广域网的提早状况,具体的网络拓扑及 latency 大小可参考 Xline 测试网络拓扑。 基准测试报告也显示,Xline 在高网络提早的场景下,针对无抵触的并发 PUT 申请,Xline 在吞吐量靠近 etcd 的两倍,而在齐全抵触的状况下,Xline 的吞吐量则略低于 etcd。这足以证实 Xline 在高提早的广域网环境下可能比 etcd 有更好的性能体现。目前 Xline 还处在开发的晚期阶段,咱们也会在接下来的开发过程中,不断完善 benchmark 的测试用例,并晋升 Xline 在抵触状态下的性能。 在下一个版本 v0.5.0 当中,咱们打算减少如下个性: 开始提供第一个基于 rust 版本 cmd line tool为 Xline 提供 k8s operator 来使其融入到 K8S 的生态当中晋升 Xline 相干 TXN 操作的性能Together We Grow!在此感激每一位参加的社区搭档对Xline的帮忙和反对,也欢送更多使用者和开发者参加体验和应用Xline。咱们心愿失去你的参加和反对,你能够: 退出Xline Discord: https://discord.gg/XyFXGpSfvb在GitHub上点颗星:https://github.com/datenlord/Xline作为贡献者退出Xline: https://github.com/datenlord/Xline/blob/master/CONTRIBUTING.md去Xline官网,浏览更多的技术干货:www.xline.cloud 达坦科技(DatenLord)专一下一代云计算——“天空计算”的基础设施技术,致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台DatenLord,通过软硬件深度交融的形式买通云间壁垒,实现数据高效跨云拜访,建设海量异地、异构数据的对立存储拜访机制,为云上利用提供高性能平安存储反对。以满足不同行业客户对海量数据跨云、跨数据中心高性能拜访的需要。 公众号:达坦科技DatenLordDatenLord官网:http://www.datenlord.io知乎账号:https://www.zhihu.com/org/da-tan-ke-jiB站:https://space.bilibili.com/2017027518 ...

June 24, 2023 · 1 min · jiezi

关于存储:云存储为-AI-创新提速

当下,热火朝天的 AI 大模型对算力和数据存储提出了更高的要求。在 6 月 1 日完结的“阿里云峰会·粤港澳大湾区”上,阿里云智能资深产品专家彭亚雄在 AI 新范式与商业翻新论坛上做了《云存储,为 AI 翻新提速》的主题分享。彭亚雄认为,在 AIGC 大模型的浪潮中,云存储作为数据基础设施,将在数据筹备、训练与推理、利用部署、内容审核与协同等多个关键环节,施展重要作用,助力 AI 翻新减速。 一、AIGC 继续炽热,存储系统面临大考以后,AIGC 曾经成为新的热点,很多人认为,AIGC 将会大幅晋升整个社会的生产效率。这外面,一些很有意思的趋势正在产生。 残缺内容请点击下方链接查看: https://developer.aliyun.com/article/1243932?utm_content=g_10... 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 14, 2023 · 1 min · jiezi

关于存储:YRCloudFile-分布式存储加速基因测序-解锁生命密码

生物信息学(Bioin formatics)是在生命科学的钻研中,以计算机为工具对生物信息进行贮存、检索和剖析的迷信。它是当今生命科学和自然科学的重大前沿畛域之一,同时也将是21世纪自然科学的外围畛域之一。其钻研重点次要体现在基因组学(Genomics)和蛋白质组学(Proteomics)两方面,具体说就是从核酸和蛋白质序列登程,剖析序列中表白的构造性能的生物信息。生信钻研次要是围绕 DNA 开展的,次要内容波及:基因组装、基因预测和功能分析、比拟基因组和进化、转录组和表白剖析、全基因组关联剖析、生物信息学工具开发等。 随着以后科学技术的倒退和人们迷信认知程度的进步,基因测序技术逐步拓展,至今已倒退到第三代,基因检测技术曾经能够通过基因组信息以及相干数据系统,预测罹患多种疾病的可能性。这个过程中,信息技术的推动起到了至关重要的作用。基因测试的剖析过程,实质上是大量样本数据进行替换和比对的过程,而样本库的数据量间接影响了基因测序的剖析品质。当初阻滞生物技术进一步遍及的瓶颈未然不是生物技术自身,而是信息技术的倒退。 基因测序是一个典型的巨量数据驱动的行业,数据的收集、存储、剖析成为生命科学的核心主题。基因测序产生的微小数据量,对数据存储提出了严苛的挑战,基因测序行业亟需大规模的高性能存储系统,零碎的易用性、数据的安全性以及数据读取的性能显得至关重要,唯有如此能力满足其业务需要,基因测序能力最大水平为人类发挥作用。 基因测序全链路场景数据特征分析基因测序全链路数据流分为样本采集、样本解决、高通量测序、下机数据拆分、拆分数据生物学剖析和可视化报告这几个场景。数据从测序仪下机开始到数据拆分再到拆分数据做生物学剖析,不同阶段业务场景所面临的数据规模和存储需要存在差别,具体如下: 测序仪下机数据通常以海量的大文件为主,数据规模在几百兆到几个 GB 之间;随着高通量测序仪的宽泛应用,单台测序仪的下机数据可达 10TB 以上;在海量数据规模场景下,对数据存储的扩展性要求很高,在不影响业务的前提下须要迅速扩容;下机数据往往以图片的模式寄存,为了便于后续的生物学分析阶段可读,往往须要采纳大量的算力来对数据进行拆分整顿,拆分后的数据分为两大部分,以样本拆分数据和解释阐明文件两类为主,即以大小混合文件为主的数据模式;拆分后的数据在基因测序行业是一个半成品的产品,不具备可读性,在后续的流程中,客户通常会抉择搭建一套高性能的并行文件存储 +高速的网络环境(IB 或者 roce)以及弱小的算力平台来组建生物学剖析平台来作为做数据分析的撑持 ;海量基因数据存储和解决难题基因测序行业正以前所未有的状态生产、存储与治理着数据信息,海量原始基因数据通过剖析和解读能力转化为有价值资源,这使得基因测序行业面临着严厉的存储挑战,数据存储难点次要是以下几点: 存储并发 IO 性能瓶颈基因测序钻研核心须要全力晋升数据的处理速度,如果后期剖析钻研阶段破费太多工夫,就会相应地缩短前期临床实践的过程。因而,晋升基因数据处理和剖析的速度是以后最重要的课题。在减速数据处理的同时,客户IT 团队须要满足钻研团队高效并行拜访海量基因数据的需要。强劲的 CPU 算力和高效的算法诚然能够保障平台的计算性能,但一般传统的存储系统却难以满足基因测序、基因剖析等高频和高效的数据拜访和解决需要。 可靠性需要海量数据管理利用的可靠性需要也是一个不可漠视的需要,基于基因数据分析,设施会继续运行很久的工夫,所以长时间大并发的 IO 读写性能和稳定性就显得尤为重要。生物学剖析往往会通过比照源生物信息产生大量的后果数据,存储须要对海量的数据妥善保留,且提供高性能的并行文件存储放弃下层生物数据分析计算,底层的存储系统在数据的治理上须要更加便捷。 对 GPU 高并发性能的需要生物学剖析波及大量 GPU 的业务需要存储提供极高的带宽和 IOPS 能力,测序仪下机数据在无限的带宽能力和反对的并发能力难以承载大量的下机数据,拆分数据阶段波及大量的 GPU 算力,面临高并发的数据拜访对海量的混合文件进行读写操作。即在对基因数据进行剖析的时候,GPU 算力的加持能大大缩短疾病危险检测或确定医治计划的工夫。海量的数据规模,大量的算力需要,对于反对算力业务倒退的存储提出了更高的要求,高吞吐、高 IOPS、低延时的需要很明确。 某客户是一家专一于分子诊断我的项目及衰弱治理的高新技术企业,致力于为医疗机构、行业合作伙伴及公众提供全方位、个体化、精准化的基因检测服务和衰弱治理解决方案。平安存储大规模基因数据,妥善治理海量数据,高效进行基因数据分析、解决和计算,疾速调用无效数据进行利用剖析等成为该客户最为关注及器重的问题。 焱融海量数据高性能存储计划为生信基因测序减速焱融科技作为一家数据存储服务的高新技术企业,采纳分布式存储架构为用户及利用提供高效的数据存储和治理服务,为该客户提供了在 AI+大数据时代下生物医学畛域在海量数据场景下的高性能存储计划。 计划拓扑图 海量数据反对 YRCloudFile 提供规范的文件接口和拜访协定及公有客户端,公有客户端采纳独特的 IO 流程优化和并发 IO 解决,通过更简化的 IO 流程,更高效的通信形式来应答高并发的 IO 读写。在大规模高并发业务场景下,能提供海量数据并发拜访的存储读写需要。YRCloudFile 分布式文件系统采纳分布式架构,数据及元数据节点可按需扩大,达到容量与性能均线性增长的能力。满足生信行业宏大且简单的所有业务倒退带来的数据扩大问题。惯例业务状况下,几台乃至十几台存储即可满足一个大规模我的项目的存储要求,几百 TB 到几十 PB 乃至是数百 PB 的数据存储量。极致性能 YRCloudFile 可兼容高性能网络,可能反对最高 400Gb 的 IB 网络,提供超高的带宽能力;集群内单存储节点性能可达 200 万 IOPS 性能,40GB/s 带宽。国内首家反对 NVIDIA GPUDirect Storage(GDS)性能,实现以间接内存的存取形式将数据传输至 GPU,显著升高 I/O 提早,晋升数据带宽,充沛开释 GPU 算力,将性能施展到极致。兼容不同的网络环境,反对不同的网络立体,特地是对 IB 网络和以太 roce 的反对,无效地满足了海量的非结构化混合文件数据读写性能,进步 GPU 读写拆分数据的效率。在海量小文件场景下, YRCloudFile 分布式文件存储依靠于分布式元数据横向扩大架构、虚拟目录、动态子树和目录 Hash 等技术,在 0~100 亿级别的海量文件背景下,文件操作性能以及文件的读写性能安稳。治理便捷 ...

June 13, 2023 · 1 min · jiezi

关于存储:焱融科技获中关村国际前沿科技创新大赛大数据与云计算领域-TOP10

5 月 28 日,第六届中关村国内前沿科技翻新大赛总决赛颁奖典礼在中关村示范区展示中心会议核心隆重举办。第六届前沿大赛以“前沿引领 共创将来”为主题,共征集海内外硬科技我的项目 2500 余个,参赛我的项目涵盖生物医药、人工智能、大数据与云计算等 15 个前沿硬科技领域,通过现场大会专家委员会独立、偏心、业余的评审,焱融科技实力入选大数据与云计算畛域 TOP10 榜单。 当天,科技部党组成员、科技日报社社长张碧涌,北京市政府党组成员、副市长于英杰缺席流动并别离致辞,北京市政府副秘书长韩耕,中国科学院倒退布局局局长翟立新,北京市科委、中关村管委会党组书记、主任张继红,科技部成绩转化与区域翻新司副司长吴家喜,教育部科学技术与信息化司副司长杨黄浩,科技部火炬核心副主任李有平,北京市科委、中关村管委会副主任张宇蕾,北京市科委、中关村管委会一级巡视员侯云,北京市欧美同学会秘书长王璞等缺席流动,东城区、西城区、朝阳区、海淀区、大兴区、平谷区、密云区政府及相干园区,中关村倒退团体、中关村银行、北京银行等单位代表加入。 中关村国内前沿科技翻新大赛旨在亲密跟踪前沿科技发展趋势,依照“寰球邀约、自在摸索、公开路演”的形式,遴选领有国内当先前沿技术的企业和团队。目前是云计算、大数据流行的互联信息化时代,数据即资产,基于云计算环境下的数据存储系统建设颇为重要。作为企业级存储,焱融科技提供 DataLoad、冷热数据分层、大数据反对等数据全生命周期治理性能和计划;反对 200Gb/400Gb Infiniband 网络及NVIDIA GPUDirect ,产品性能达到行业当先。YRCloudFile 大数据存算拆散解决方案防止在治理和运维上投入过多精力,使计算资源弹性伸缩,满足客户对计算资源的灵便调度,更好地利用私有云计算弹性伸缩的能力。在人工智能、智能汽车等场景中,大数据处理作为整个数据处理流程中的重要环节,通过 YRCloudFile 对大数据框架的反对,用户仅在一套 YRCloudFile 集群上,就轻松实现对所有数据处理环节的反对,缩小数据的反复拷贝,晋升企业外部对非结构化数据的解决效率。此次入选大数据与云计算畛域 TOP10 榜单,意味着焱融科技在此畛域失去了评委专家的高度认可。作为业界当先的混合云文件存储厂商,焱融科技将继续在产品服务,技术研发发力翻新,为企业客户提供高性能的产品和服务。

June 2, 2023 · 1 min · jiezi

关于存储:对象存储文件如何修改默认查询数量

在阿里云OSS对象存储中,您能够应用OSS SDK进行文件列表查问和文件排序。 批改默认查问数量默认状况下,OSS返回的每页文件数最多为1000个。要批改此设置,您能够应用setMaxKeys办法来设置PerPage参数,如下所示: const OSS = require('ali-oss');const client = new OSS({ region: 'your-region', accessKeyId: 'your-accessKeyId', accessKeySecret: 'your-accessKeySecret', bucket: 'your-bucket',});const result = await client.list({ 'max-keys': 50, // 设置每页返回的文件数 prefix: 'your-prefix',});残缺内容请点击下方链接查看: https://developer.aliyun.com/ask/507019?utm_content=g_1000373105 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 1, 2023 · 1 min · jiezi

关于存储:焱融科技入选赛迪-2022-中国分布式存储报告挑战者象限

今日,赛迪参谋股份有限公司(简称“赛迪参谋”,隶属于工业和信息化部中国电子信息产业倒退研究院,CCID)重磅公布《中国分布式存储市场钻研报告(2023年)》(以下简称报告)。报告展现并深入分析 2022 年中国分布式存储市场的倒退现状、次要厂商动静以及将来发展趋势。 焱融科技凭借当先的分布式存储技术实力和产品性能、丰盛的行业和场景落地实际、便捷高效的产品服务居于赛迪参谋评比的“2022 年中国分布式存储厂商竞争力象限图”挑战者地位,实力进一步失去行业认可。 报告数据显示,受数据因素价值继续开释、分布式架构场景放慢遍及和疫情推动线上经济倒退、丰盛数字治理实际等因素影响,中国分布式存储市场规模疾速倒退。从市场规模来看,2020-2022 年中国分布式存储的市场规模占比由 24% 增长到 38.7%,只管相比集中式存储仍有肯定差距,但重要性进一步晋升。从市场规模增速来看,分布式存储的市场规模增速远高于存储系统市场的平均水平,成为拉动市场增长的重要力量。相比集中式存储,2020-2022 年分布式存储的市场规模增速均高了近 20 个百分点。从细分市场来看,分布式文件存储、分布式存储一体机、HPC 在各自细分畛域市场占比拟高。 在新一代信息技术一直迭代降级的背景下,寰球数据量出现爆发式增长。作为寰球第一数据生产国,我国数据量也面临急剧增长的态势。数据量的急剧扩大,愈发凸显了数据存储及治理的重要性。在此趋势和背景下,焱融科技是最早入局分布式存储厂商之一,保持以产品研发和技术创新为外围,深耕分布式存储畛域,在自主研发教训积攒下,焱融科技敏锐地把握市场趋势,疾速推出满足企业用户利用需要的产品,存储实力失去市场统一认可。 焱融科技作为软件定义存储的产品和解决方案厂商,采纳分布式存储架构为企业级用户及利用提供高效的数据存储和治理服务,助力企业用户打造面向云 +AI 时代的牢靠数据存储底座。YRCloudFile 软件是焱融科技自主翻新研发的一款高性能分布式文件存储产品,基于灵便的 SDS 架构,既具备传统并行存储的高性能,又满足企业要害业务和新兴业务需要的存储系统。目前,焱融科技已在分布式存储架构及混合云场景下的数据管理,构建起核心技术劣势。焱融分布式文件存储 YRCloudFile 可部署在大规模虚拟化、公有云、容器等环境中,反对多种计算平台,提供高可用、高性能、易扩大、易保护的存储计划。 产品实力全面跃升焱融科技始终站在用户角度,在产品性能和性能上放弃先进性,一直晋升产品外围竞争力,多场景全方位满足用户需要,帮忙企业踊跃应答其 IT 架构在信息技术一直迭代降级下所面临的挑战。焱融科技自研的文件存储系统 YRCloudFile 采纳分布式架构,反对 POSIX / SMB / NFS 等文件协定接口,满足业务倒退对存储容量和性能同步晋升的需要,与此同时,在混合云场景下,实现数据共享、流动、跨云能力的牢靠存储。作为企业级存储,提供 DataLoad、冷热数据分层、大数据反对等数据全生命周期治理性能和计划;在提供高性能、高牢靠、高可用服务能力的同时,产品运维和治理形式上更加贴合零碎运维人员的应用场景,操作疾速便捷,晋升数据处理效率。不仅可宽泛用于企业级的文件共享,大容量数据存储、大数据反对等通用场景,还能更成熟地利用于智能汽车、多模态 AI、HPC 高性能计算、生物信息、GIS 等高性能计算利用场景。 产品性能行业当先赛迪报告指出, HPC 在 2022 年中国分布式存储次要场景市场中居于重要位置。诸如在 AGI(通用人工智能)、智能汽车、智能制作等场景中,性能曾经成为存储首要要害指标,高性能个性对业务晋升起到了要害影响力。焱融全闪存储 F8000X 单节点具备 40GB/s 带宽和 200 万 IOPS,3 节点规模集群交付可达到 110GB/s 带宽和 600万 IOPS,且横向扩大性能线性晋升,反对 200Gb/400Gb Infiniband 网络及 NVIDIA GPUDirect ,产品性能达到行业当先,是 AI/HPC 场景现实的存储平台。目前,低时延的个性将晋升分布式全闪存产品的市场需求,焱融全闪存储 F8000X 也将拓展其在多元场景的利用。在我的项目部署规模可见的行业倒退动静,全闪存储曾经成为次要存储模式,且规模在不断扩大,千万 IOPS 级别建设成为常见规模,业务对性能的需要正在遵循摩尔定律倒退。 ...

May 29, 2023 · 1 min · jiezi

关于存储:利用-DynamoDB-和-S3-结合-gzip-压缩最大化存储玩家数据

前言一些传统游戏架构中,采纳 MySQL 存储玩家存档数据,利用分库分表扩散单库单表的存储和性能压力,从而达到反对更多玩家的目标。随着数据量增长,数据表中 varchar 类型曾经无奈满足游戏中单字段的存储需要,而 blob 字段的利用对于这种架构下革新老本是最低的,因而一些游戏开始在最后设计的时候,数据库表构造就采纳了 Blob 字段作为其玩家的游戏工作、道具等数据的存储。 Blob 字段在 MySQL 5.6 / 5.7 中存在 bug(MySQL Bugs: #96466),这个 bug 有概率导致数据库集群解体,造成数据失落。即便在 MySQL 8.0 中,因为引擎自身设计的限度,在单表 20GB 以上,高频的更新就会导致数据库呈现性能受限。并且随着表增大,性能问题会越来越显著。 随着当游戏业务暴发时增长的时候,传统关系型数据库在分库分表的时候,须要进行利用革新,同时存在肯定的停机保护工夫。而且这些扩大实现后,在游戏的夕阳期进行膨胀也须要进行利用革新,这无疑对业务开发和根底运维的部门造成了很多额定的工作量。 DynamoDB 在利用到这个场景上是十分实用的。在业务倒退任意阶段,都能够实现 0 停机的扩大,主动伸缩的个性。而且这所有对于应用层是齐全通明的。同时在日常运维中也能够贴合业务负载进行动静扩缩容,从而进一步降低成本。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术,观点,和我的项目,并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏,看到这里请肯定不要匆匆划过,点这里让它成为你的技术宝库!概述本文次要讲述在游戏场景下,依据 DynamoDB 的限度(每个我的项目都必须小于 400KB),在限度下尽可能存储更多的数据和当存储量超出限度时,扩大存储的最大化利用空间。重点形容如何利用 DynamoDB+S3 保留玩家存档中的大数据量属性,防止数据存在 S3 上后,在数据写入 S3 时,产生读取到 S3 旧存档的状况。同时利用 gzip 压缩缩小数据大小,缩小 IO 的开销晋升性能。 架构图 实战编码指标所有数据保留前都进行 gzip 压缩,读取后都用 gzip 解压。S3 存储和 DynamoDB 的 binary 字段存储能够自适应。如果用户数据压缩后如果大于指定的值则写入 S3,否则间接保留到以后数据库我的项目中的字段。DynamoDB 我的项目读取的时候,解析解压后的字段,如果字符串以 s3:// 结尾,则持续从 S3 中获取数据设置 S3 读锁字段,判断以后状态是否正在写入 S3,以阻塞读过程。在每个我的项目须要写入 S3 前都会设置 read_lock为Ture,S3 写胜利后则设置为 False。读取记录后,read_lock 是否为 True,如果是判断被阻塞,过程会期待一段时间后进行重试,直到重试次数超出指定的值。重试超时后,读过程会认为写过程可能因为某种原因导致写永远无奈胜利,于是会将 read_lock 设置成 False。第一步:初始化环境参数from time import sleepimport boto3import gzipimport randomimport jsonimport hashlibimport logging# 写入 S3 的门槛,超过这个值数据会写入 S3,否则保留在数据库内,默认值 350KBUPLOAD_TO_S3_THRESHOLD_BYTES = 358400# 用户数据库保留的指标S3存储桶USER_DATA_BUCKET = 'linyesh-user-data'# 遇到 S3 有读锁,从新申请最大次数,超出次数限度锁会被主动革除S3_READ_LOCK_RETRY_TIMES = 10# 遇到 S3 有读锁,读申请重试间隔时间S3_READ_RETRY_INTERVAL = 0.2dynamodb = boto3.resource('dynamodb')s3 = boto3.client('s3')logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')logger = logging.getLogger(__name__)参数阐明 ...

May 22, 2023 · 3 min · jiezi

关于存储:根据TP-和AP-在存储和计算上是否共享与分离的维度可以分为哪些

第一,TP 和AP 在存储计算上都拆散,即分为TP 与AP 两套独立的零碎。TP 的数 据须要导入到AP 零碎中,存在提早、时效性不高的问题。同时两份存储也减少了 冗余、存储老本以及运维难度。 第二,TP 和AP 在存储和计算上都共享。该模式对TP 和AP 查问时或多或少都会造 成一些影响。同时,受限于TP 查问,AP 比重增大时,无奈弹性scale out,同样也 只能在单机上调整本人的CPU 与memory。第三,TP 和AP 在存储上共享,在计算上拆散,即PolarDB 云原生HTAP 的计划。 残缺内容请点击下方链接查看: https://developer.aliyun.com/ask/469085?utm_content=g_1000371763 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

May 15, 2023 · 1 min · jiezi

关于存储:网盘教育专享版助力高校信息化和科研

01教育专享免费版 腾讯云企业网盘旨在帮忙教育行业实现文件的高效治理、平安存储和便捷分享,晋升教育工作的效率和品质。现推出教育专享免费版,学校的信息中心、各个学院和组织,均可获取【套餐规格为:用户人数 30人 / 存储容量 3T / 无效工夫 3个月】的收费体验,相熟网盘服务,助力学校信息化。 02教育信息化政策 【十三五政策奠定校园网盘利用根底】在国家教育事业“十三五”布局指引下:积极探索建设“互联网+教育”治理标准,推动优质教育资源共建共享。踊跃推动各级各类学校建设基于对立数据规范的信息管理平台,实现各类数据随同式收集和集成化治理,造成撑持教育教学和治理的教育云服务体系。 【十四五政策指明校园网盘利用方向】随着国家教育事业“十四五”布局出台:兼顾部署教育、科研等科教畛域云数据中心,增强云资源接入和一体化数据资源管理,充分利用云计算、互联网+等新技术欠缺教育资源公共服务体系,晋升数据资源价值,进步教学科研品质和效率。这为各类学院建设数据对立治理、优质资源共享、晋升科研教学效率指明了方向。也为校园网盘零碎建设指出了新的倒退方向:统一规划、资源共享、平安高效。 03网盘助力教育资源共建共享 随着科技的倒退和教育信息化的减速推动,越来越多的学校抉择在线存储和分享文件的形式。不论是学校的信息化建设、科研的全面线上化以及现代化的人才培养,都会须要优质教育资源共建共享。腾讯云企业网盘教育版凭借其高效的资源管理、平安的数据存储、便捷的文件分享以及优质的客户服务,成为教育行业数字化转型的得力助手。 04高校整体解决方案【高校需要点】 【高校整体解决方案】 1)高效治理,让教学资源随时随地可用腾讯云企业网盘教育版以云端存储为根底,为教育行业提供高速、稳固、平安的文件存储服务。无论是课程材料、教案还是教学视频,老师和学生都能够随时随地上传、查看和下载。同时,腾讯云企业网盘教育版反对多种文件格式,满足各种教学需要,让教学资源整合更加高效。 2)平安存储,保障教育数据无忧数据安全对于教育行业尤为重要。腾讯云企业网盘教育版采纳先进的加密技术,确保文件传输过程中的安全性。同时,腾讯云在寰球范畴内部署多个数据中心,确保数据的长久保留。通过多重备份机制,即便产生设施损坏、数据失落等意外状况,也可能迅速复原数据,让教育行业的数据始终处于平安状态。 3)便捷分享,让沟通合作更加晦涩腾讯云企业网盘教育版反对文件的疾速分享和多人合作,让老师、学生和家长之间的沟通变得更加便捷。老师能够轻松创立文件夹并设置权限,实现班级、科目或年级之间的文件共享。同时,企业网盘还反对在线预览和编辑,让教育工作的协同更加简略高效。 4)优质服务,满足教育行业的专属需要腾讯云企业网盘教育版为教育行业量身定制,提供专属客户服务。从购买、应用到售后,腾讯云团队全程为教育行业提供一站式解决方案。 05高校利用场景 【教学场景】 【科研场景】 在将来,腾讯云将持续秉持技术创新的理念,为宽广教育行业和高校用户提供更加业余、高效和平安的云存储服务,独特推动教育事业的凋敝倒退。【获取专享版】增加官网人员企业微信获取【教育专享免费版】30人 3T 3个月

May 5, 2023 · 1 min · jiezi

关于存储:焱融-YRCloudFile-在海量小文件场景训练加速优化策略

前言焱融文件存储 YRCloudFile 作为一款通用型的高性能分布式文件存储系统,宽泛实用于 AI/主动驾驶、 HPC 、量化剖析、 视效渲染以及大数据等场景,这些场景有的须要具备大文件的极限带宽,有的须要大文件的高 IOPS,有的则须要撑持海量小文件,而这些需要会波及到很多的设计决策和优化。 明天,咱们将探讨在 AI 训练场景中如何进行海量小文件的性能优化,因为训练场景中的文件拜访都是以只读形式关上的,所以本文将着重介绍只读小文件的优化局部。 文件读写的流程首先,咱们先简略理解下读文件所需的操作流程。以 cat 一个小文件为例:首先,读文件之前须要通过 lookup 查看文件是否存在,确定存在则须要通过 open 关上文件,通过 read 来读取文件内容,读取完文件内容后再通过 close敞开文件。对于网络文件系统如:YRCloudFile, NFS 等,还有 revalidate 和 stat 来刷新 inode。留神,lookup 仅在文件系统第一次关上文件时调用。咱们能够通过 strace 来验证以上流程: 上图中的操作 fadvise 和 mmap 是 cat 独有的操作,这里无需深刻理解。此外,对于 lookup 和 revalidate,这两个操作之所以没有呈现在上图中是因为它们暗藏在文件系统外部,并没有通过零碎调用裸露进去。 小文件的元数据瓶颈在小文件操作中,元数据操作占据了很大的比重,甚至能够达到 70%-80% 的比重,而真正的业务读写,仅仅占了其中很小一部分,这时元数据性能成为性能瓶颈。 通过以上探讨咱们理解到读取文件所需的操作有:lookup、open、read、close、stat、revalidate,每次操作都随同着一次网络开销。其中 lookup 仅在文件系统第一次读取文件时调用,对于屡次读取文件的开销根本能够疏忽,为易于叙述,以下暂不探讨 lookup。而 open、close、stat、revalidate 都是元数据操作,并且只有一次调用,而只有 read 是业务真正所需的数据操作,文件越大调用次数越多。咱们能够通过推算得悉,文件越大,read 次数越多,数据操作占比就越高,元数据操作占比就越低,反之亦然。接下来,咱们通过别离读取大小文件场景,再进一步理解: 首先,先探讨读取大文件的场景。如读取一个 100M 的文件,每次读取 1M 数据,那么就须要 100 次read 调用。而对应的元数据操作有 open、close、stat、revalidate 共4个。总操作次数有 104 次,那么能够算出,数据操作占比 100/104 100%= 96%,而元数据操作占比 4/104 100%=4%。 ...

March 28, 2023 · 2 min · jiezi

关于存储:焱融科技助力海尔集团上云-加速智能制造进程

制造业上云 开启“智能制作”新门路 随着工业的疾速倒退以及在“中国制作 2025”推动下,越来越多的制造业企业正在应用云计算、大数据、人工智能及区块链等技术(通常称之为 ABCD:A-人工智能,Artificial Intelligent;B-区块链,Block Chain;C-云计算,Cloud;D-大数据,Big Data)进行深刻的数字化转型。云计算技术通过对数据的存储、治理和解决,晋升了制作企业 IT 零碎的高效性、共享性、灵活性及安全性。 云计算作为制造业服务翻新平台,以大数据为根底,通过软件服务、协同服务、数据服务,造成资源共享、供需对接的生态服务,实现跨行业和跨企业的合作翻新;同时,云计算平台通过上下游产业链合作和寰球协同,在延长和晋升价值链的同时,进步了全因素生产率、产品附加值和市场占有率,从而推动中国制造业服务型转型。此外,云计算产业平台实现跨企业、跨行业、跨地区的合作翻新,在保障各方数据权限治理前提下,通过利用整合,进步资源利用率,优化用户体验,更快捷地满足用户需要。在业务全球化过程中,云计算产业平台以整个制作产业为依靠,并结合物联网和人工智能,通过产业智能化合作的平台化,减速制作产业的智能降级。 业务数据是企业的外围资产 数据管理成为上云考量重点 海尔集团是我国智能制作行业的杰出代表,在 2021 年中国智能制作企业榜中高居榜首。海尔集团翻新设计核心是中国企业成立的第一个工业设计核心。服务畛域波及红色家电、信息电子、通信及数码产品、交通工具、修建环境、展现展览、平面广告等。为了满足一直增长的业务需要,翻新设计核心决定将设计及办公业务迁徙至云上,利用云资源在老本、性能、治理和平安等方面的劣势,优化工作流程、晋升整体工作效率。 海尔翻新核心本次打算迁徙的业务有四个局部,即平面设计业务、3D 设计业务、图形渲染业务和办公 OA 业务。业务驱动倒退,数据作为其外围资产,数据管理成为上云首要考量的问题,联合具体业务状况,对存储的需要做出如下剖析: • 首先、用户应用的桌面为 Windows 零碎,文件通过 SMB 进行共享,同时用户/用户组通过 AD 进行管理控制。那么,存储系统须要反对云上的 Windows+SMB 场景,满足文件共享及用户配额要求,同时兼容 AD 域中对于用户/用户组权限的管制治理。• 其次,用户环境既有 Windows 又有 Linux 零碎,存储系统可能反对不同业务系统对同一目录的共享拜访能力;• 第三,数百名设计师同时在线时带来的并行拜访的压力、 渲染集群须要在短时间内疾速实现渲染工作,这两个需要点使得存储系统须要具备高性能和低时延;• 第四,存储系统要保障高性能的同时,建设老本应遵循简洁高效的准则,即管制 TCO;• 最初,在治理和安全性方面,须要反对在线降级和扩容,并可能联合私有云服务实现容灾与备份。 存储计划选型思路 基于上述海尔集团翻新设计核心的业务需要状况,云上 Windows 共享场景不仅要求反对 SMB 共享,还要求 Windows 桌面与 Linux 渲染集群的高速并行拜访;具备用户/用户组权限和配额的治理等企业级个性,这些都对私有云上的文件系统带来微小的挑战。由此,海尔翻新核心深度调研了市面上支流云厂商产品,不同私有云文件系统以及焱融 YRCloudFile 分布式文件存储对于以上要求的反对水平。市场面上支流云厂商的反对水平 能够看到,焱融分布式文件存储在私有云上对于 Windows 环境的反对是很敌对的,且充沛满足用户的个性化需要,提供可定制化服务。与此同时,海尔翻新核心在存储系统选型时多维度比照,充沛考查了不同类型存储计划对业务的适配度,波及私有云文件系统,开源文件系统和分布式文件系统。• 私有云文件系统作为私有云原生服务,在便捷性、弹性以及和其余服务的联合水平等方面有着人造的劣势,但不能满足客户 Windows 桌面与 Linux 渲染集群场景需要。• 开源文件系统尽管有着良好的灵活性和轻量化劣势,但对于 Windows SMB 共享场景的反对不欠缺;其次,不足在私有云上的需要定制能力和服务能力。• 焱融科技专一于分布式文件存储,性能上具备欠缺的适配能力,产品架构上可灵便部署,且具备海量数据存储管理和高并发能力,在业务细节服务适配上具备定制能力。联合我的项目需要及 POC 测试验证,各计划的满足状况如下表:不同类型文件系统的反对水平 ...

March 27, 2023 · 1 min · jiezi

关于存储:利用-ChangeStream-实现-Amazon-DocumentDB-表级别容灾复制

前言与 MongoDB 兼容的Amazon DocumentDB,应用齐全托管式文档数据库服务轻松扩大 JSON 工作负载,通过独立扩大计算和存储,反对每秒数以百万计文档的读取申请;自动化硬件预置、修补、设置和其余数据库治理工作;通过主动复制、间断备份和严格的网络隔离实现 99.999999999% 的持久性;将现有 MongoDB 驱动程序和工具与 Apache 2.0 开源 MongoDB 3.6 和 4.0 API 搭配应用。鉴于上述性能劣势,越来越多的企业曾经或行将应用 DocumentDB 来治理JSON文档数据库。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术,观点,和我的项目,并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏,看到这里请肯定不要匆匆划过,点这里让它成为你的技术宝库!对很多行业而言,须要保证数据与业务的持续性,存在要害业务与数据的容灾诉求。亚马逊云科技于2021年6月推出了面向 Amazon DocumentDB(兼容 MongoDB)的全局集群(Global Cluster)。全局集群是一项新性能,可在产生区域范畴的中断时提供劫难复原,同时通过容许从最近的 Amazon DocumentDB 集群读取来实现低提早全局读取。客户能够将业务产生 Region 内的 DocumentDB 通过该性能同步至其余Region,轻松实现数据层的跨区域容灾。但因为 Global Cluster 全局集群性能是基于存储的疾速复制,所以很遗憾,截止本文发稿时,DocumentDB Global Cluster全局集群仅反对实例级别的数据同步与复制,暂不反对 Database 或者 Collection 级别的数据容灾。 亚马逊云科技还有另一款数据库产品 Amazon Data Migration Server(DMS),能够实现 Database 或者 Collection 级别的数据同步,以低提早与较低的 RPO 指标实现数据的跨区域同步与复制,以实现容灾的需要。但在面对容灾场景中的数据保护诉求,DMS 暂不反对对删除类型的操作进行过滤。 在本文中,咱们将向您介绍应用 Amazon Managed Streaming for Apache Kafka(MSK)作为消息中间件暂存 DocumentDB 的扭转流事件Change Stream Events,来实现跨 Region 的数据库同步,并拦挡删除类型的操作的整体解决方案。本例中,咱们采纳 us-east-1 弗吉尼亚北部区域作为主区域 Primary Region,已有 DocumentDB 主实例,us-west-2俄勒冈区域作为灾备区域 DR Region,已有 DocumentDB 灾备实例,应用了 python 作为编程语言,除 python 外您还能够应用其余支流编程语言譬如 Java,Node.JS 实现业务逻辑,但因为驱动起因,暂不反对 Ruby;另外请应用 Amazon DocumentDB v4.0 以上版本。参考架构图如下图所示: ...

March 20, 2023 · 7 min · jiezi

关于存储:焱融为国家电网打造存算一体的融合基础架构-助推能源行业新基建

“人类发展史就是一部利用能源的历史”,从钻木取火到核电站,乃至最近的新闻爆点“可控核聚变”,人类把握能源的能力就是人类文明倒退的象征。在经济倒退中,电力作为所有经济流动的根底撑持,小到居家办公,大到铁路交通,从能源照明到智能 AI,都离不开电力反对,而电力系统作为电力输入的“根底单位”,成为诸多产业倒退的“地基”。现在电力系统已顺利迈入信息化、智能化时代,倒退阶段从规模化倒退进入了区域电网互联阶段。 电力系统业务背景 电力系统设计与时俱进,从原始的笔纸作图到当初的业余工业设计软件,在设计的复杂度和效率上都有微小的晋升。从业务建设角度看,电力系统的性能越来越多,这使得在零碎的设计上也越为简单,这包含从超高压输电网络到配电网络的设计,以及整体工程和产品设施的设计等。从业务产生的数据角度看,电力系统的数据量随着规模的壮大也同步增长,从 2D 设计作图的图纸模式到现在 3D 工业设计软件,一个电力设备在设计 3D 模型时可拆解为几百到上万个配件,这类设计模型通常数据量在几十 MB 到几个 GB 之间;而在模仿仿真验证阶段所产生的数据量更是指数级的减少,因为仿真过程会产生大量环境数据和各种物理量数据,例如力学量、电磁学量等,通常验证数据量累计达到 TB 以上,而大量的产品设计模型数据和验证数据就是乘积的数据量。所以从数据存储的需要上曾经呈现出猛增态势,这些数据造成了贵重的电力行业产品数据库,宏大的数据量催生了成熟的产业体系。 国家电网大规模业务数据平台建设思路 在电力系统建设更加成熟的模式下,业务对电力设备的设计成绩要求更高,业务心愿设计制作环节可能更加效率,而晋升效率最基本的方法是采纳先进的设计软件以及匹配这些业务软件的 IT 平台,其中 IT 平台蕴含三大外围能力,即计算、网络、存储。随着电力行业的数字化建设推动,越来越多的技术利用到电力行业中,以晋升整体效率,升高建设老本,其中包含诸多支流 IT 技术用于根底建设,如本我的项目建设领导意见提出的交融部署建设技术、容器化计算技术、GPU 减速技术、分布式高性能存储技术。除承载电力设备设计以外,这些技术还可能反对更多其余业务零碎的运行,IT 平台需具备肯定的宽泛适用性,最大化进步经济实用能力,从而晋升电力系统的综合实力。 本次建设是国内省级统一规划运行国家电网我的项目,省核心及下辖 13 个地市数据中心,承载的业务零碎包含“数字孪生”、“人工智能中控平台”、“电力设备设计零碎”、“输变电工程监控零碎”等业余业务零碎和通用办公零碎。 因为业务零碎泛滥,文章篇幅无限,此次咱们列举其中的几个业务板块来剖析其业务特点。 业务板块一 本次我的项目建设中的电力设计零碎中大量采纳了工业设计 3D 仿真软件,比方:Solidworks, 3Ds Max,CATIA、Rhino、Cinema4D、VRay 等;同时还应用了业余的电力软件,包含:BPA 和 PSASP,PSS/E,EMTP/ATP。这两大类软件根本形成了电力设计次要利用领域,业务需要对 IT 的计算、网络和存储都提出了高性能的要求,尤其在 3D 仿真利用下,数据量增长和高性能需要尤为显著。 • 大量 3D 文件模型设计,须要较高的带宽读需要;• 设计过程中应用的VDI桌面的业务零碎须要大量共享和并发需要;• 数据范畴从图形到设计和渲染,以及仿真的状态量文件(小文件+大文件),共存优化;• 对于业务增长带来的数据量增长,长期治理问题; 业务板块二 此次建设的“数字孪生”和“人工智能中控平台”是典型的 AI 利用场景,对海量数据存储和计算有着较高的要求,通过 AI 辅助治理业务,并且数字孪生要实现 1:1 的业务模仿还原,这个过程会产生大量的数据,尤其是多维度的反映事件状态信息。 • 在“数字孪生”业务中小文件和大文件的数据量随业务的增长猛增;• “人工智能中控平台”在 AI 辅助下须要解决大量的业务数据交互,这个过程会产生海量小文件; 业务板块三 “输变电零碎”设计利用了更多的 3D 电力设备和整套电气设计要求,其中以输变电站为例,业务流程中蕴含以下几局部: ...

March 17, 2023 · 1 min · jiezi

关于存储:物联网数据应用开发最佳实践数据价值类

IoT Studio对接后能够在web页面援用展现以后IoT Studio我的项目关联设施的一些运行数据及统计指标,获取设施的运行状态等 前提条件应用实在设施或SDK模仿设施间断多天上报数据上报的属性必须为数值类型属性背景信息本文以IoT Studio我的项目援用同一产品多个设施为例,设施次要属性为三个温度值(temperature_1,temperature_2,temperature_3),代表设施不同部件温度值,一个温度告警事件,查看设施繁多属性一天内最高温度,最低温度,平均温度繁多设施 最近一天温度报警次数 (针对temperature_1属性)整个studio我的项目(分组)最近一天温度报警次数(针对temperature_1属性) 操作步骤注:购买数据型企业实例,或已有企业实例升配至数据型实例请参考实例购买或升配,产品,设施的创立及设施上报属性不在此赘述 1: 创立studio我的项目进入增值服务studio控制台,左侧抉择相应的实例,点击新增我的项目,创立studio我的项目 2: 绑定产品和设施进入新建的我的项目后,关联产品及设施 关联产品在产品列表页勾选要关联的产品,点击确认,将产品关联到stuido我的项目中,即可在后续的操作中应用该产品 关联设施可抉择关联物联网平台设施(须要是上一步绑定的产品下的设施),勾选相应的设施后点击确定,或间接增加设施(新建设施并绑定到我的项目)增加设施 3. 数据分析IoT Studio我的项目在数据分析工作台会映射为一个分组(注:须要在stuido我的项目所归属示例中操作)eg: 示例中应用的我的项目名为: test0525mxj 则在LA数据分析中可在分组视角中看到该我的项目该分组只能查看,不能做其余编辑点击查看,可看到设施列表中展现分组绑定的四个产品(三个之前绑定,一个新增设施) 3.1 备份产品数据数据备份为了保留了设施上报的历史数据(默认只能存储1个月,开启备份后可依据须要抉择备份周期),为后续数据分析提供原始数据进入数据分析-> 数据管理搜寻相应的产品(IoT Studio我的项目中绑定的产品),示例中产品为:IoT Studio产品注: 若之前未开启备份,操作按钮会有 备份按钮,若已开启备份(备份状态为运行中),则操作中蕴含“进行”,若已进行,则可抉择“开启”未开启备份示例:已开启备份示例 3.2 属性数据分析数据资产中,点击新建指标即可创立指标3.2.1 为分组下的设施创立指标抉择设施,表明该指标为设施的衍生指标 抉择分组->test0525mxj(分组名)-> lzf_test_studio01(设施名)示意:为分组(studio我的项目) test0525mxj 中的 lzf_test_studio01 设施创立一个衍生指标注: 抉择所属实体抉择时:应用分组,若抉择产品,则会导致指标创立在产品-》设施维度下,无奈在studio我的项目中援用抉择事件修饰词,原子词,以及计算规定等,为lzf_test_studio01 创立一个衍生指标,计算温度1 这个属性最近一天的平均值注:若原子词表义不够准确,或以后可选原子词中没有期望值,可依据须要新建原子词例如: 以下截图中抉择的原子词表义不够明确,应该为:最近一天温度1的平均值可创立新的原子词,温度1度平均值 ,再返回创立指标即可应用新的原子词应用新的原子词根据上述流程,别离为lzf_test_studio01- lzf_test_studio04创立温度1的最近1天平均值,最大值,最小值等指标 3.2.2 为分组创立指标抉择分组,表明该指标为分组的衍生指标 抉择分组: test0525mxj(分组名)其余操作参考 3.2.13.2.3 回刷指标指标上线后,会每天凌晨开始主动调度,生成上一日的统计值若期望当天应用该指标,可依据历史数据,回刷之前的数据,生成明天之前的统计数据创立回刷工作: 点击指标工作,进入指标工作治理页面抉择回刷实例(周期实例为周期调度产生,详情请产考数据分析周期实例介绍文档)新增回刷工作抉择开始工夫完结工夫(单次回刷最多可抉择30天范畴,若期望更长时间,可在将工夫宰割为多个工夫多,分屡次回刷)抉择要回刷的指标(一个回刷工作可回刷一个指标,回刷多个指标需创立多个回刷工作)点击确认回刷工作列表:可点击查看运行状态,若回刷失败,可点击重跑,(单次回刷多个可能导致高低依赖,或工作期待超时,导致失败),若继续失败,可进入答疑群,由技术同学提供反对 3.3 事件解析通过对设施上报的事件数据解析,可获取事件上报内容,实现对事件进行分类,统计等操作以下示例对温度报警事件进行分类统计,统计最近1天温度1的报警次数3.3.1 解析事件内容在数据分析工作台,能够通过topic解析工作来解决设施上报的数据1: 创立topic解析工作2: 设置源定义抉择指定的实例, 产品,抉择全副设施(所有设施上报的数据均会被解析),抉择物模型通信topic(若事件通过自定义topic上报,则可抉择自定义topic), 抉择对应的事件topic可通过拉去线上数据查看事件内容3: 设置筛选器这里只对温度1的报警事件进行统计,临时只抉择params.identifier_name = temperature_1 的数据进行统计4:设置表达式在此冀望后续对报警次数进行统计,可新增一个计数器,每解决一条符合条件的事件记录,则产出一个指标,数值为1,示意该事件触发一次,后续对该改字段进行累加即可获取相应时间段内该事件触发次数 5: 输入相应字段可依据须要输入冀望字段,移除不须要的字段6: 调试7:上线查看生成的原始指标:3.3.2 回刷解析工作解析工作上线后,会每天凌晨开始主动调度,解析上一日的事件记录若期望解决历史事件数据,可创立回刷工作,回刷历史数据1: 点击解析工作,进入解析工作治理页2: 进入回刷工作列表(周期工作为定时调度产生)3: 创立回刷工作 抉择回刷日期,相干工作,点击确认即可提交工作4: 若执行失败可进行重跑 ...

March 17, 2023 · 1 min · jiezi

关于存储:纵存科技加入龙蜥社区共建高性能存储软件栈

近日,北京纵存科技有限公司(简称“纵存科技”)签订了 CLA(Contributor License Agreement,贡献者许可协定),正式退出龙蜥社区(OpenAnolis)。 纵存科技专一于为用户提供存储互联的全栈解决方案,致力于在操作系统的存储软件栈与存储互联芯片(HBA/RAID/Expander/Switch)进行全栈翻新,积极参与开源社区的技术平台搭建与开源技术共享。 纵存科技创始人王硕示意:“纵存科技退出龙蜥社区后,将会参加到高性能存储 SIG 的建设中去,携手共建龙蜥存储软件栈,为社区提供当先的存储互联软硬件解决方案,也将基于龙蜥 OS 的存储系统提供软硬件的适配与反对。咱们将致力于社区中存储软件翻新设计、存储阵列驱动适配与优化、面向云存储的用户态存储软件栈的开发工作。” 龙蜥社区理事蒋绳奋示意:“纵存科技致力于为客户提供高性能存储解决方案,退出社区后,欢送与高性能存储 SIG 组进行通力合作,迭代存储软件栈与上下游软硬件供应商的兼容与互操作性齐备水平,在独特建设存储软件栈生态的同时,推动国内存储系统的迅速倒退。” 截至目前,已有 300+ 家企业签订 CLA 协定退出龙蜥社区,包含平安厂商格尔软件、海泰方圆,数据库厂商南大通用、巨杉数据库,中间件厂商西方通、中创中间件、宝兰德等,欢送更多企业退出。 龙腾打算 2.0 可参看:首批招募 50 家!「龙腾社区生态倒退打算」正式公布 —— 完 ——

March 6, 2023 · 1 min · jiezi

关于存储:高性能存储SIG月度动态ANCK-510正式支持ublkerofs容器镜像按需读时延优化60

高性能存储技术 SIG(Special Interest Group)指标:高性能存储技术趣味组致力于存储栈性能开掘,以后次要聚焦内核 io_uring 技术优化异步 IO 性能,应用长久化内存晋升业务单老本性能,容器场景存储技术优化等课题。冀望通过社区平台,打造规范的高性能存储技术软件栈,推动软硬件协同倒退。 01 本月 SIG 整体停顿本月合入 Anolis 主线 PR 18 个,波及多个重要组件的更新(个性反对、性能优化、以及 bugfix 等)。 ANCK 5.10 正式反对高性能用户态块设施 ublk,将随下一个 ANCK 版本 5.10-14 公布。 tcmu zero copy 和 bypass data area 优化个性合入 ANCK 5.10,相比原生 tcmu 性能晋升 1 倍以上。 erofs over fscache 优化 on-demand buffered 读,按需读取数据时延优化 ~60%。 dsms-storage 开始适配 Anolis 23,治理平台相干开发工作按计划进行中。 浪潮信息同学奉献多个 cve 修复和 bugfix。 02 我的项目具体停顿1、Anolis OSCVE:CVE-2022-4696(PR1097),CVE-2022-1184(PR1140),CVE-2022-4139(PR1141),CVE-2022-47946 (PR1173) erofs:optimize on-demand IO path with buffered IO(PR1252) ext4:fix fstests generic/626(PR1066),various bugfixes(PR1280/PR1292) ...

March 3, 2023 · 2 min · jiezi

关于存储:IoT场景中查看设备当前运行状况实现方案实践类

背景IoT场景中,设施往往会定时上报本人以后的运行状态参数,供运维人员查看设施状态。 架构计划 开发实战1.水泵定时上报业务音讯水泵监控场景中,每10分钟会定时上报运行状态到IoT平台,具体通信Topic和payload如下: // 定时上报运行状态的Topic/${productKey}/${deviceName}/user/bizHeart/post// 对应payload构造体{ status: 'RUNNING', //运行状态 RUNNING,STOP,SHUTDOWN speed: 3000, //以后转速 waterOutput: 125,//以后出水量 workingTime: 72//工作时长 xx分钟}2.表格存储设计创立一个数据表,以设施deviceName为主键,扩大信息为设施以后状态。 3.规定引擎配置设施上报数据后,通过规定引擎实时流转到表格存储中。 3.1 数据处理SQLSELECT deviceName() as deviceName,attribute('coordinate') as coordinate, attribute('city') as city, timestamp('yyyy-MM-dd HH:mm:ss') as currentTime,status,speed,waterOutput,workingTime FROM "/a1vYwzHjT6p/+/user/bizHeart/post"3.2 数据转发 4.设施运行4.1 设施根本信息,和设施标签 4.2 设施上报的消息日志 4.3 音讯流转日志 4.4 表格存储中设施信息 结束语通过以上计划,设施状态上报时,自动更新到表格存储中。咱们就能够提供deviceName在表格存储中查到设施以后运行状态。 物联网平台产品介绍详情:https://www.aliyun.com/product/iot/iot_instc_public_cn 阿里云物联网平台客户交换群

March 2, 2023 · 1 min · jiezi

关于存储:设备在线离线状态的缓存方案实践类

设施在线/离线状态缓存很多场景中,咱们都须要查问设施是否在线,但POP API的拜访频次受限,须要咱们本人零碎缓存设施状态 技术计划配置规定引擎监听设施状态变更音讯,流转到函数计算FC因为音讯乱序,在函数计算比照表格存储/Redis中设施状态和以后状态的lastTime,存储最新的数据业务零碎从表格存储/Redis中疾速查问设施以后在线/离线状态1.设施在线/离线状态变更音讯当设施连贯到IoT物联网平台,设施离线,在线状态变更会生成特定topic的音讯,咱们服务端能够通过订阅这个topic取得设施状态变更信息。** 设施的在线/离线状态流转的Topic格局: /as/mqtt/status/{productKey}/{deviceName}payload数据格式: { "status":"online|offline", "productKey":"pk13543", "deviceName":"dn1234", "time":"2018-08-31 15:32:28.205", "utcTime":"2018-08-31T07:32:28.205Z", "lastTime":"2018-08-31 15:32:28.195", "utcLastTime":"2018-08-31T07:32:28.195Z", "clientIp":"123.123.123.123"}参数阐明: 2.通过规定引擎流转设施状态2.1 配置SQL SELECT productKey,deviceName,timestamp() as timestamp ,status,time as currentTime ,lastTime,clientIpFROM "/as/mqtt/status/a1Xr8ofpSst/+" WHERE 这样咱们就能够从音讯体获取到设施的status,currentTime和lastTime了。规定引擎数据处理操作界面 2.2 配置数据流转函数计算FC规定引擎数据流转操作界面 2.3 函数计算FC实现nodejs实现代码参考:因为音讯乱序,须要比照表格存储/Redis中已存储的设施状态和以后状态的lastTime,找出最新状态存储到缓存中。 var TableStore = require('tablestore');var options = { accessKeyId: '你的accessKeyId', accessKeySecret: '你的accessKeySecret',}var otsClient = new TableStore.Client({ accessKeyId: options.accessKeyId, secretAccessKey: options.accessKeySecret, endpoint: '你的endpoint', instancename: '你的instancename', maxRetries: 20 //默认20次重试,能够省略这个参数。});var response = { isBase64Encoded: false, statusCode: 200};module.exports.handler = function(event, context, callback) { var eventJson = JSON.parse(event.toString()); var deviceId = eventJson.deviceName; var productKey = eventJson.productKey; var lastTime = new Date(eventJson.lastTime); var params = { tableName: "device_status_table", primaryKey: [{ 'deviceId': deviceId },{'productKey': productKey}], maxVersions: 1 }; try { otsClient.getRow(params, function(err, data) { if (err) { response.body = { msg: 'error', code: 404 }; callback(null, response); return; } //有数据,拿进去比拟lastTime if (data.row.primaryKey) { var attributes = data.row.attributes; var dbTime = ''; attributes.forEach(function(item) { if (item.columnName == 'lastTime') { dbTime = new Date(item.columnValue); } }) //转换成毫秒进行比拟 if (lastTime.getTime() < dbTime.getTime()) { return; } } var iot_data = { tableName: "device_status_table", condition: new TableStore.Condition(TableStore.RowExistenceExpectation.IGNORE, null), primaryKey: [{ "deviceId": deviceId },{'productKey': productKey}], attributeColumns: [ { 'lastTime': eventJson.lastTime }, { 'clientIp': eventJson.clientIp }, { 'status': eventJson.status } ], returnContent: { returnType: TableStore.ReturnType.Primarykey } } otsClient.putRow(iot_data, function(err, data) { if (err) { response.body = { msg: 'error', code: 404 }; callback(null, response); return; } response.body = { msg: 'ok', code: 200 }; callback(null, response); return; }); }); } catch (err) { response.body = { msg: 'error', code: 404 }; callback(null, response); }};2.4 表格存储OTS在device_status_table表中,查看设施高低线状况: ...

March 2, 2023 · 2 min · jiezi

关于存储:IoT平台云端通用数据解析脚本实践实践类

数据解析脚本(云网关)实际物联网场景中,面对低配置且资源受限或者对网络流量有要求的设施,往往不适宜在设施端结构JSON数据与IoT物联网平台通信,这时设施可通过自定义Topic将原始数据间接上报到物联网平台。物联网平台提供数据解析性能,能够依据您提交的脚本,将设施原始数据在云端转换成结构化的JSON格局,不便云上业务零碎存储和展现。 1.自定义Topic数据解析设施通过自定义Topic公布数据,且Topic携带解析标记(?_sn=default)时,物联网平台接收数据后,先调用您在控制台提交的业务数据解析脚本,将设施上报的原始数据解析为JSON构造体,再进行数据流转解决。 云上数据解析能力:数据解析流程图:阐明 目前仅华东2(上海)地区反对自定义Topic数据解析。设施上报数据是,在公布音讯的自定义Topic后增加数据解析标记(?_sn=default)。例如,设施发送到Topic /${productKey}/${deviceName}/user/update 的原数据须要解析为JSON格局。在设施上报时,该Topic为:/${productKey}/${deviceName}/user/update?_sn=default。 在物联网平台创立自定义Topic时按失常Topic定义,不增加解析标记。仅解析设施上报云端的原数据,不解析云端上行数据。解析前后,音讯所在Topic不变。例如,设施发送到/${productKey}/${deviceName}/user/update?_sn=default的数据,解析后仍在/${productKey}/${deviceName}/user/update的Topic中。 2.脚本解析实际案例本次实际,咱们以水泵运行数据采集为例,在设施端产生的原始数据是一个字符串:   DATA,23,5000 ,通过数据脚本解析引擎在IoT物联网平台云端转换成结构化的JSON格局:   {"temperature":23,"speed":5000} 。Topic和Payload变动: 3.云端开发** 3.1 创立产品登录控制台,创立产品:水泵** 3.2 增加自定义Topic进入产品详情,抉择Topic类列表的Tab,增加自定义通信Topic : /${productKey}/${deviceName}/user/data 3.3 编写数据解析脚本依据业务状况编写数据转换的脚本,通过模仿输出验证脚本正确性,而后提交到物联网平台,如下图:本案例残缺脚本如下: /** * 将设施自定义topic数据转换为json格局数据, 设施上报数据到物联网平台时调用 * 入参:topic 字符串,设施上报音讯的topic * 入参:rawData byte[]数组 不能为空 * * 出参:jsonObj JSON对象 不能为空 */function transformPayload(topic, rawData) { var jsonObj = {} var dataSrc = String.fromCharCode.apply(String, rawData); var data = dataSrc.split(','); jsonObj.temperature = parseInt(data[1]); jsonObj.speed = parseInt(data[2]); return jsonObj;}** 3.4 注册设施实现水泵产品的定义和数据解析脚本提交后,咱们来注册一个设施,获取到身份认证的三元组信息,如下图: 4.设施端开发咱们通过Node.js脚本模仿水泵上报运行数据到IoT物联网平台,残缺代码如下: const mqtt = require('aliyun-iot-mqtt');//设施身份const options = { productKey: "替换productKey", deviceName: "替换deviceName", deviceSecret: "替换deviceSecret", regionId: "cn-shanghai"};//上报的Topic追加?_sn=defaultconst topic = `/${options.productKey}/${options.deviceName}/user/data?_sn=default`;//设施端数据var data = 'DATA,23,5000';//1.建设连贯const client = mqtt.getAliyunIotMqttClient(options);console.log('topic= '+topic)console.log('payload= '+data)//2.公布数据到topicclient.publish(topic, data);5.联机运行在电脑端启动水泵模仿的Node.js脚本后,咱们在IoT物联网平台的控制台日志服务里能够观测到上行音讯剖析日志,音讯内容曾经在云端转换为了结构化JSON数据,如下图: ...

February 28, 2023 · 1 min · jiezi

关于存储:基于阿里云物联网平台用20元体验物联网开发-自制-Arduino-环境监测仪实践类

   硬件筹备   明天咱们在只有20元估算前提下,率领大家实现一次IoT物联网开发之旅! 感激万能的淘宝,让咱们能洽购到esp8266开发板,dht11温湿度传感器:   架构计划  咱们通过DHT11采集温度,湿度数据,通过 MQTT 协定上报到阿里云 IoT 物联网平台,并通过规定引擎转发到表格存储OTS数据库中,整体技术计划如下:  创立产品和注册设施   咱们登录阿里云IoT物联网平台控制台,创立产品温湿度计。 在温湿度计产品详情的Topic类列表能够看到零碎默认创立的Topic,这就是咱们用来上报温湿度数据的Topic。 接下来,我基于温湿度计产品注册一个设施hz9527,并获取到设施身份三元组。   配置数据流转 规定引擎   咱们在表格存储控制台,事后创立数据库实例iotMsg和iot_thermometer_data表,如下图: 而后,咱们回到IoT物联网平台控制台,配置数据流转规定,把设施上报数据存储到已有的表格存储数据库实例iotMsg中的iot_thermometer_data表中,规定引擎配置如下: 残缺的数据处理SQL: SELECT *,deviceName() as deviceName,timestamp() as time,timestamp('yyyy-MM-dd HH:mm:ss') as date_time FROM "/a1k3547Gr0v/+/user/update"数据转发配置如下: 设施和云端通信Topic和Payload如下:Topic: Topic:/a1k823sJ0v/hz9527/user/updatePayload:{ "temperature":23, "humidity":65}硬件 开发   Arduino开发依赖C库,如下: /* 连贯WiFi之后,连贯MQTT服务器 */client.setServer(MQTT_SERVER, MQTT_PORT);client.setCallback(callback);client.connect(CLIENT_ID, MQTT_USRNAME, MQTT_PASSWD)设施读取传感器数据,并通过 MQTT 通道发送到云端: void loop() { // 从传感器获取温度,湿度数据 float temperature = dht.readTemperature(); float humidity = dht.readHumidity(); char jsonBuf[128]; sprintf(jsonBuf, BODY_FORMAT, temperature, humidity); // 通过 MQTT 发送数据上云 if (client.connected()) { boolean d = client.publish(PROP_POST_TOPIC, jsonBuf); } client.loop(); // delay delay(DELAY_TIME);}应用 Arduino IDE 烧录程序到 esp8266 开发板: ...

February 28, 2023 · 1 min · jiezi

关于存储:IoT企业物联网平台从设备端到云端业务系统全链路开发实战实践类

传送门:5个视频解说,30个场景案例汇总 一、企业物联网平台开发实战通过浏览本文你将学会一下技能:1.设施通过MQTT协定与您在阿里云上购买的IoT企业实例建设双向连贯,上报设施采集的数据,监听云端下达的指令;2.通过规定引擎配置把上报的数据实时存储到指定数据库,无需编写代码3.通过规定引擎配置把上报的数据实时流转到业务服务器,须要应用AMQP协定SDK4.业务服务器调用IoT平台的API,下达控制指令到设施端 二、创立企业实例首先,咱们登录物联网平台控制台(https://iot.console.aliyun.com), 点击购买实例来创立一个企业实例。 也能够用公共实例收费测试。 而后,在购买页面,依据理论业务需要,抉择地区、实例类型、设施数量、音讯上下行TPS、规定引擎TPS等参数,点击立刻购买,付费胜利后,即可看到企业实例创立中。 稍等几分钟后,企业实例创立实现。进入企业实例,咱们能够看到以后规格参数,设施接入点信息,AMQP订阅接入点信息,云端API调用接入点信息。如下图: 三、创立产品和注册设施在企业实例的设施治理页面,咱们须要先创立一个产品家庭温控器,数据通信以JSON格局,认证形式为设施秘钥。 在产品的性能定义页面,咱们增加温度和湿度两个属性,具体细节如下图: 最初,咱们在设施治理页面,基于家庭温控器产品,注册一个物理设施,并获取设施身份认证的三元组。如下图: 四、设施接入和上报数据获取设施身份三元组后,即可通过MQTT协定接入到咱们开明的企业实例。设施端利用程序逻辑如下图:残缺的Nodejs示例代码如下: const mqtt = require('aliyun-iot-mqtt');// 1. 设施身份信息var options = { productKey: "产品productKey", deviceName: "设施deviceName", deviceSecret: "设施deviceSecret", host: "实例化MQTT接入点"};// 2. 建设MQTT连贯const client = mqtt.getAliyunIotMqttClient(options);client.subscribe(`/${options.productKey}/${options.deviceName}/user/get`)client.on('message', function(topic, message) { console.log("topic " + topic) console.log("message " + message)})setInterval(function() { // 3.上报温湿度数据 client.publish(`/sys/${options.productKey}/${options.deviceName}/thing/event/property/post`, getPostData(), { qos: 0 });}, 5 * 1000);function getPostData() { const payloadJson = { id: Date.now(), version: "1.0", params: { temperature: Math.floor((Math.random() * 20) + 10), humidity: Math.floor((Math.random() * 20) + 10) }, method: "thing.event.property.post" } console.log("payloadJson " + JSON.stringify(payloadJson)) return JSON.stringify(payloadJson);}启动模仿脚本后,咱们看到设施状态为在线,物模型数据中能够看到最新上报的温度和湿度值。 ...

February 23, 2023 · 2 min · jiezi

关于存储:基于-IoT物联网-表格存储DB-DataV-搭建实时环境监控大屏实践类

明天给大家带来基于阿里云 IoT 物联网平台 + Tablestore 表格存储数据库 + DataV大屏 三大云产品组合搭建实时环境监控大屏的开发实战。 少啰嗦,先看成果。 部署后成果   1.技 术 架 构   咱们在室内每层部署 4 个温湿度传感器,实时采集数据,每10秒发送到阿里云 IoT 物联网平台,通过规定引擎写入 表格存储 Tablestore数据库。在DataV大屏工作台,创立可视化大屏,实时展现室内温湿度变动曲线。技术架构如下:   2.IoT 物联网开发   2.1  创立产品和注册设施首先,咱们登陆 IoT 物联网平台的控制台,创立产品温湿度环境监测器,并在性能定义中增加温度和湿度两个属性,如下图: 而后,咱们在产品下注册一个设施,获取设施身份证书,用于设施和IoT云平台建设MQTT长连贯时的身份认证。 2.2  配置云产品流转1.4.配置规定引擎,实时流转数据到 TSDB中 编写数据处理 SQL: 残缺 SQL 参考: SELECT deviceName() as deviceName, timestamp('yyyy-MM-dd HH:mm:ss') as time, attribute('floor') as floor, items.temperature.value as temperature, items.humidity.value as humidity FROM "/a1kRdXDgN0v/+/thing/event/property/post"数据转发: 2.3  设施端程序脚本咱们以 Node.js 脚本来模仿设施上报温度和湿度,代码如下: // 依赖mqtt库const mqtt = require('aliyun-iot-mqtt');// 设施身份var options = { productKey: "设施 productKey", deviceName: "设施 deviceName", deviceSecret: "设施 deviceSecret", regionId: "cn-shanghai"};// 建设连贯const client = mqtt.getAliyunIotMqttClient(options);//模仿 设施 上报数据(原始报文)setInterval(function() { client.publish( `/sys/${options.productKey}/${options.deviceName}/thing/event/property/post` , getPostData() );}, 10 * 1000);// 模仿 温湿度function getPostData() { const payload = { id: Date.now(), version:"1.0", params: { temperature: 10+Math.floor(Math.random() * Math.floor(50)), humidity: 10+Math.floor(Math.random() * Math.floor(50)) }, method: "thing.event.property.post" } console.log("payload=[ " + payload + " ]") return JSON.stringify(payload);}  3.表格存储 Tablestore  3.1  创建表格存储数据表咱们在表格存储控制台,创立数据库iotMsg,并创立iot_thermometer_data 数据表,其中以 deviceName 和 time 为主键列,如下图: ...

February 23, 2023 · 1 min · jiezi

关于存储:电信NBIoT设备对接阿里云IoT平台实战实践类

家喻户晓,中国电信的NB-IoT设施必须直连电信CTWing平台,无奈间接在阿里云IoT,AWS IoT,腾讯云IoT 治理中国电信的NB-IoT设施。明天咱们就给大家介绍如何通过阿里云IoT企业物联网实例来治理中国电信的NB-IoT设施。   电信 CTWing 开发  1.创立产品登陆电信 CTWing 控制台,创立产品:上海花城水表,抉择智能水表,其余配置信息如下图: 产品创立胜利后,查看服务定义,能够看到属性值:用水量,标识为:water_consumption 如下图: 2.注册设施在产品详情-设施治理页面增加NB-IoT设施,这里咱们输出NB-IoT水表设施的IMEI,如下图: 3.注册利用在利用治理页面增加利用:上海花城水表治理,,获取到利用的 AppKey 和 AppSecret,如下图:   阿里云IoT平台开发  4.开明企业实例-尊享型首先,咱们按需开通尊享型企业物联网实例,如下图: 5.创立产品在连贯型实例中,新建产品:上海花城水表,抉择智能水表,,其中数据格式抉择:透传/自定义,数据校验级别抉择:弱校验,如下图: 在产品性能定义中添加物模型的属性:用水量,标识为:water_consumption 如下图: 在产品数据解析中咱们须要编写数据解析脚本,把电信CTWing平台的数据格式转换成阿里云IoT企业实例的物模型格局,如下图: 6.创立云网关在设施治理 中创立云网关,用来解析电信平台流转过去的设施数据,关联后面创立的产品上海花城水表,用电信CTWing平台的${deviceId}来主动注册设施,如下图: 期待几分钟,云网关创立实现后,咱们获取到网关URL,如下图:   电信 IoT 配置云网关  7.配置云网关咱们回到电信CTWing控制台,在产品详情的订阅治理中,配置阿里云IoT的云网关URL,如下图:   联机运行  8.NB-IoT设施启动咱们启动手上的NB-IoT智能水表,即可在电信CTWing控制台看到水表上报的数据,如下图: 9.阿里云IoT数据咱们在企业物联网平台管制的设施详情,能够看到有一台新的在线设施,物模型数据的运行状态能够看到实时的用水量值,如下图: 在日志服务也能够看到电信CTWing平台流转过去的NB-IoT设施数据在阿里云IoT企业物联网平台物模型解析的残缺过程,如下图: NB-IoT设施从电信CTWing平台流转过去的残缺数据报文,如下图: 至此,咱们实现了电信NB-IoT设施接入阿里云IoT平台,充沛享受阿里云的海量存储,大数据计算能力,拓展IoT业务的有限可能。 物联网平台产品介绍详情:https://www.aliyun.com/produc... 阿里云物联网平台客户交换群

February 23, 2023 · 1 min · jiezi

关于存储:JuiceFS-在火山引擎边缘计算的应用实践

火山引擎边缘云是以云计算根底技术和边缘异构算力联合网络为根底,构建在边缘大规模基础设施之上的云计算服务,造成以边缘地位的计算、网络、存储、平安、智能为外围能力的新一代分布式云计算解决方案。 边缘存储次要面向适配边缘计算的典型业务场景,如边缘渲染。火山引擎边缘渲染依靠底层海量算力资源,可助力用户实现百万渲染帧队列轻松编排、渲染工作就近调度、多任务多节点并行渲染,极大晋升渲染效率。 边缘场景存储挑战这里简略介绍一下在边缘渲染中遇到的存储问题:须要对象存储与文件系统的元数据对立,实现数据通过对象存储接口上传当前,能够通过 POSIX 接口间接进行操作;满足高吞吐量的场景需要,尤其是在读的时候;齐全实现 S3 接口和 POSIX 接口。 为了解决在边缘渲染中遇到的存储问题,团队花了将近半年的工夫发展了存储选型测试。 最后,团队抉择了公司外部的存储组件,从可持续性和性能上来说,都能比拟好的满足咱们的需要。然而落地到边缘场景,有两个具体的问题: 首先,公司外部组件是为了核心机房设计的,对于物理机资源和数量是有要求的,边缘某些机房很难满足;其次,整个公司的存储组件都打包在一起,包含:对象存储、块存储、分布式存储、文件存储等,而边缘侧次要须要文件存储和对象存储,须要进行裁剪和革新,上线稳固也须要一个过程。团队探讨后,造成了一个可行的计划:CephFS + MinIO 网关。MinIO 提供对象存储服务,最终的后果写入 CephFS,渲染引擎挂载 CephFS,进行渲染操作。测试验证过程中,文件到千万级时,CephFS 的性能开始降落,偶然会卡顿,业务方反馈不合乎需要。 同样的,基于 Ceph 还有一个计划,就是应用 Ceph RGW + S3FS。这个计划根本能满足要求,然而写入和批改文件的性能不合乎场景要求。 通过三个多月的测试之后,咱们明确了边缘渲染中对于存储的几个外围诉求: 运维不能太简单:存储的研发人员可能通过运维文档上手操作;前期扩容以及解决线上故障的运维工作须要足够简略。数据可靠性:因为是间接给用户提供存储服务,因而对于写入胜利的数据不容许失落,或者呈现跟写入的数据不统一的状况。应用一套元数据,同时反对对象存储和文件存储:这样业务方在应用的时候,不须要屡次上传和下载文件,升高业务方的应用复杂度。针对读有比拟好的性能:团队须要解决的是读多写少的场景,因而心愿有比拟好的读性能。社区活跃度:在解决现有问题以及踊跃推动新性能的迭代时,一个沉闷的社区能有更快的响应。明确外围诉求之后,咱们发现后期的三个计划都不太满足需要。 初识 JuiceFS火山引擎边缘存储团队在 2021 年 9 月理解到了 JuiceFS,并跟 Juicedata 团队进行了一些交换。通过交换咱们决定在边缘云场景尝试一下。JuiceFS 的官网文档十分丰盛,可读性很高,通过看文档就能够理解比拟多的细节。 于是,咱们就开始在测试环境做 PoC 测试,次要关注的点是可行性验证,运维和部署的复杂度,以及跟上游业务的适配,是否合乎上游业务的需要。 咱们部署了 2 套环境,一个环境是基于单节点的 Redis + Ceph 搭建,另一个环境是基于单实例的 MySQL + Ceph 搭建。 在整个环境搭建方面因为 Redis、MySQL 和 Ceph(通过 Rook 部署)都比拟成熟,部署运维计划能够参考的材料也比拟全面,同时 JuiceFS 客户端也可能简略和不便地对接这些数据库和 Ceph,因而整体的部署流程十分晦涩。 业务适配方面,边缘云是基于云原生开发和部署的,JuiceFS 反对 S3 API,同时齐全兼容 POSIX 协定,还反对 CSI 的形式挂载,齐全满足咱们的业务需要。 ...

February 16, 2023 · 2 min · jiezi

关于存储:企业的数据存储处理与分析之道

12月30日,SelectDB 携手阿里云独特举办云数仓专场沙龙,在线上沙龙中,来自 SelectDB 和 阿里云的四位云计算领域专家,深刻数仓的倒退现状和将来趋势,联合企业级的实在场景落地案例,对技术和产品进行了具体的解读。 SelectDB Cloud 飞轮科技外围云产品介绍来自 SelectDB 的云产品负责人姜国强总结了目前数据仓库倒退的需要与演进方向,他认为:“目前,咱们曾经来到了以云数仓为核心的古代数据栈时代,数据分析技术的交融倒退、云的规模化,能够解决老本问题、实时性问题;云的按需应用、弹性伸缩能够很好的解决传统湖仓并行时代下遗留的问题和挑战,例如运维压力大、资源老本高以及对实时性、效率的更高要求等。” 在这样的背景下,飞轮科技诞生,并基于 Apache Doris 研发了新一代云原生实时仓库 SelectDB Cloud。 在研发中,SelectDB 引入了组织、仓库、集群三种不同的概念,姜国强介绍:“在 SelectDB Cloud 的概念中,一个公司便代表着一个独立的组织,一个组织可能通过创立不同的仓库来服务不同的业务,不同仓库间的资源和数据互相隔离。而一个仓库能够蕴含多个集群,它们共享底层的数据,不同集群能够满足不同的工作负载,非常不便。”通过 SelectDB Cloud 的产品架构图,姜国强展现了 SelectDB Cloud 的研发思路和理念。基于云原生架构设计的 SelectDB Cloud 充沛了利用云的翻新硬件和技术,反对按需应用,有限拓展,可能为企业带来多云统一的服务体验;另外,SelectDB Cloud在存算拆散的架构下实现了弹性伸缩、负载拆散、低成本和安全可靠,并且可能达到业界一流的性能;同时,SelectDB Cloud 可能高度兼容大数据的生态,大大降低了开发的门槛。 姜国强示意:“ 在将来,团队会继续优化 SelectDB Cloud 的产品设计,并逐步将其打造成一款齐全的 SaaS 化产品,为企业带来更加便捷的数据分析服务。” SelectDB Cloud 技术内核与解决方案在演讲中,SelectDB 的技术副总裁肖康深刻解析了 SelectDB Cloud 五大个性——极致性价比、交融对立、简略易用、企业个性、开源凋谢的技术实现;同时,他还为大家具体论述了 SelectDB 站在业务视角公布的四大解决方案,并通过与传统计划的比照展现了实在利用场景下 SelectDB Cloud 计划带来的晋升与播种。 在介绍 SelectDB 产品特色时,肖康示意:“对性能的谋求是 SelectDB 从一而终的谋求。在性能方面, SelectDB 获得了不俗的问题。” 从数据来看,SelectDB Cloud 在单表聚合场景和多表关联场景下都体现出了优于同类知名品牌的问题。—— 单表聚合场景性能:SelectDB Cloud 是 ClickHouse 的3.4倍;Presto 的92倍;Snowflake 的6倍。多表关联场景:SelectDB Cloud 是 Redshift 的1.5倍;ClickHouse 的49倍;Snowflake 的2.5倍。综合比照之下,SelectDB 的性能可达到同类产品的1.5倍甚至更高。而在过来的一年中, SelectDB 通过其商业化产品和开源版本服务了国内来自不同行业的企业用户,包含海程邦达、云积分、360数科、橙联股份、同程数科等,并为他们别离带来了超94%—99%的极致性能晋升体验。 ...

January 12, 2023 · 1 min · jiezi

关于存储:无需服务器开发实现设备状态缓存方案实践类

IoT平台规定引擎+表格存储OTS实现以后设施状态存储背景IoT场景中,设施往往会定时上报本人以后的运行状态参数,供运维人员查看设施状态。 架构计划 开发实战1.水泵定时上报业务音讯水泵监控场景中,每10分钟会定时上报运行状态到IoT平台,具体通信Topic和payload如下: // 定时上报运行状态的Topic/${productKey}/${deviceName}/user/bizHeart/post// 对应payload构造体{ status: 'RUNNING', //运行状态 RUNNING,STOP,SHUTDOWN speed: 3000, //以后转速 waterOutput: 125,//以后出水量 workingTime: 72//工作时长 xx分钟}2.表格存储设计创立一个数据表,以设施deviceName为主键,扩大信息为设施以后状态。 3.规定引擎配置设施上报数据后,通过规定引擎实时流转到表格存储中。 3.1 数据处理SQL SELECT deviceName() as deviceName,attribute('coordinate') as coordinate, attribute('city') as city, timestamp('yyyy-MM-dd HH:mm:ss') as currentTime,status,speed,waterOutput,workingTime FROM "/a1vYwzHjT6p/+/user/bizHeart/post"3.2 数据转发 4.设施运行4.1 设施根本信息,和设施标签 4.2 设施上报的消息日志 4.3 音讯流转日志 4.4 表格存储中设施信息 结束语通过以上计划,设施状态上报时,自动更新到表格存储中。咱们就能够提供deviceName在表格存储中查到设施以后运行状态。 物联网平台产品介绍详情:https://www.aliyun.com/produc... 阿里云物联网平台客户交换群

January 11, 2023 · 1 min · jiezi

关于存储:数据万象技术演进之路

前言Dale(1969)的“教训之塔”指出人们获取信息70%以上是通过视觉路径,在互联网时代也不例外。在当今图片音视频服务等已成为一个互联网利用中占比很大的局部,对图片和音视频等数据的解决能力也相应变成企业和开发者的一项基本技能。 腾讯云存储团队历经数年,精心打磨了一款专一于数据处理的一站式智能平台——数据万象(Cloud Infinite,CI)。 本文将以宏观视角,从产品历史、产品能力矩阵、技术架构、 利用场景等方面带大家理解数据万象这款云端解决利器,揭秘日均百亿张图片背地的技术演进之路。 背景故事2004年QQ空间相册诞生,经验了长期的倒退过程,曾经深深被用户青睐,成为大家记忆美好时光和分享高兴的平台。 作为QQ空间乃至腾讯最根底的服务之一,图片解决服务笼罩腾讯各个业务的方方面面。从图片的裁剪、缩放、水印,到压缩、审核、智能辨认,随同着腾讯产品体系的不断完善以及数据量的海量增长,解决服务也经验了一次次的磨炼与降级。 进入云计算时代后,脱胎于QQ空间相册解决服务的数据万象走上了腾讯云私有云的舞台,将QQ空间相册积攒的近二十年图片运作教训凋谢给开发者。2014年,数据万象的前身——万象优图正式成立。起初产品性能以图片解决为主,随后逐步减少音视频解决、文档解决、AI辨认等性能。作为对象存储COS的原生数据处理工具,数据万象主打“智能存储”,帮忙客户实现存量数据的批量解决及增量数据的自动化加工。随着产品的倒退与降级,数据万象以后日解决图片量已达千亿规模,服务存储量达数百PB。在公司外部,腾讯视频、腾讯新闻、QQ音乐等产品均应用数据万象进行图片及音视频解决;在公司外,数据万象服务了拼多多、小红书、公众点评等各行业客户,为企业升高存储及流量老本、晋升内容生产效率及用户提体验。 那么,这款在背地默默为各“大牌”保驾护航的产品是怎么的呢?数据万象的档案就此开展。 智能存储数据万象(Cloud Infinite,CI) 是专一于数据处理的一站式智能平台,提供图片解决、媒体解决、 内容审核、内容 AI 辨认、文档服务等全品类多媒体数据的解决能力。与对象存储 COS 深度集成,通过解决能力下沉到存储,帮忙 COS 做智能化降级,提供开箱即用的数据处理及 AI 智能化解决能力,升高用户应用老本, 减速数据流转,晋升用户体验,帮忙用户开掘数据价值,晋升生产力。 在应用上,数据万象提供同步和异步的解决形式,为用户提供数据长久化解决的抉择,用户可在上传时,下载时或者已存储在云上的数据进行解决,满足用户多种场景维度的需要。 如果说COS是万物皆可存,那么CI就是万物皆可解决了。 | 目前都反对了哪些能力? 通过能力矩阵,各位读者也可看出相比当年的QQ相册,数据万象也减少了很多性能,这些能力当然也不是欲速不达的。 接下来的工夫线,见证了数据万象如何成为解决工具百宝箱 | 倒退历史 2014:数据万象的前身——万象优图产品正式成立,开始在内外部提供云上图片解决服务。2015 - 2017:逐渐集成音视频解决、内容审核、AI辨认、文档解决能力,全面降级为音视图文全品类数据处理产品,赋能对象存储,极大晋升了用户的应用体验。2018:万象优图更名为数据万象,寓意包揽云上万象、打造一站式数据处理能力。2019 - 2020:全面降级内容审核服务,晋升能力矩阵;推出云上工作流能力,提出全新【智能存储】概念 ---数据存储即解决,帮忙用户实现数据-存储-解决-散发全流程,一站式解决用户业务解决场景。2021:行业首发avif图片压缩能力,助力客户优化存储及散发老本;媒体服务进入高速倒退阶段,继续推出265编码、分片转码、极速高清、关键帧辨认、色调加强等泛滥能力;内容审核继续深耕,反对审核文档、网页数据;进军海内业务,图片解决全面上线腾讯云国内站。2022:“智能工具箱”公布,晋升用户体验与易用性;内容审核与时俱进,推出直播审核能力;产品体验继续打磨新陈代谢,从控制台、SDK、API等全方面晋升用户爽感。 | 技术架构 1、业务方可通过控制台、 API、SDK等多种形式接入数据万象, 同时反对COS源和第三方源。2、依据传入的申请调用不同的解决模块进行数据处理。 同时会进行监控数据等统计上报,不便进行监控告警。 通过工作流模块反对批量解决, 依据业务标准,指定模板,主动批量解决, 处理完毕后依据配置进行回调业务方。 其中各个外部服务间调用时, 零外网流量。对业务方来说老本更低。 | 利用场景以后已有泛滥行业客户接入应用万象,各行业的应用也不尽相同: 有了弱小的能力撑持,数据万象得以服务泛滥的行业及场景,帮忙客户实现老本优化、合作效率晋升、内容生产及版权保护等外围须要。次要场景如下:老本优化通过应用图片、视频压缩能力升高存储及流量老本、晋升终端体验版权保护借助明文水印、盲水印等能力无效爱护图片资源版权,守护企业、用户的无形资产内容生产提供丰盛的内容生产能力,如智能封面、标签辨认、海报生成等,助力客户输入爆棚危险躲避针对存量或增量数据均可进行敏感内容审核,躲避舆论或经营危险 客户案例案例详情~小红书应用数据万象的图片根底解决,可做到一份原图,多尺寸展现,满足客户多种业务场景下的图片需要;应用数据万象的图片格式转换能力,在图片保证质量的前提下,无效的升高压缩图片的大小;应用数据万象的盲水印性能,将水印图以不可见的模式增加到原图信息中,保障了客户对图片的所有权;应用数据万象的异样图片检测性能, 帮客户辨认出夹杂在失常图片视频中的黑产文件, 无效缩小了被盗刷的危险; 案例劣势&&客户效益效率最佳: 图片下载主动触发,缩小了频繁的人工解决流程。性能保障: 缩小了图片存储空间和拜访流量的50%以上,同时晋升了客户访问速度。平安保障: 解决了盗图维权,流量盗刷等问题,保障了平台的安全性。节约老本:多种性能保障了在保质保量的状况,无效升高客户老本30%以上。 结语数据万象继续丰盛数据处理的相干能力,为广大客户及开发者带来更加优质、先进的应用体验,打造智能存储生态。将来咱们会推出【数据万象带你玩转视图解决】的系列文章,从后盾技术、产品劣势、算法能力等多个方面具体介绍数据万象背地的丰盛数据处理能力,诸位看官敬请期待!

December 14, 2022 · 1 min · jiezi

关于存储:腾讯云数据万象智能存储双驱动数倍提升内容生产效能

随同数字经济市场稳步扩张, AI和富媒体交融的场景式体验、营销模式、分享渠道曾经成为数字商业中不可或缺的局部。12月1日,在2022腾讯寰球数字生态大会存储专场,腾讯云数据万象公布产品更新,与腾讯云对象存储COS独特打造智能存储生态,提供各类开箱即用的智能数据处理能力,帮忙各行业用户开掘数据价值,进步云上存储效力,开释内容生产潜能。 作为一站式存+管+数据处理生产力平台,腾讯云数据万象聚焦云上内容生产场景,实现存用联动,为用户提供API、SDK、控制台、卡片式工具箱多种调用形式,晋升用户体验。此外,其还与腾讯云COS共用一套API,大幅升高了用户的研发老本和应用门槛。 除了灵便的架构,为辅助用户冲破创作力枯竭瓶颈,晋升人效,疾速生产优质内容,腾讯云数据万象还整合了腾讯当先的 AI 富媒体技术和利用,将前沿的算法落地为开箱即用的数据处理工具百宝箱,用户可在数据万象中应用图片智能、视频智能、语音智能、文档智能、文件解决、内容平安审核的多媒体数据处理全场景能力,灵便组装为社交分享、视频制作、电商广告等业务场景下的解决方案,笼罩内容采集、内容治理、内容解决、编辑、散发全链路的云上内容生产场景业务,晋升生产效力,真正将技术转换为生产力。 以某互联网社区用户为例,该社区每天有超过数百TB图片访问量,在接入腾讯云数据万象后,应用其提供的图片压缩能力,联合腾讯云CDN减速拜访,用户终端下载时延缩小20%,流量老本缩小15%,并且图片品质不受影响,用户业务侧0革新量,腾讯云数据万象主动依据用户终端推送webp、avif等图片格式,帮忙用户大幅缩小了研发投入。 再如,在与分秒帧的单干中,腾讯云数据万象不仅帮忙客户安稳解决峰值需要,还达到了显著的降本成果。作为音视频云端生产合作平台,分秒帧为用户提供云原生的音视频解决和审片平台,日解决视频数据达到TB级。而随着业务增长,该平台的数据存储、视频解决、内容审核等需要攀升,其带来的老本压力也逐步加大。此外,作为内容生产和合作平台,分秒帧的业务弹性微小,峰值业务流量达到日常的四倍之多。 腾讯云数据万象为分秒帧提供了一站式传、存、用、审核解决方案,针对云上业余编辑场景,反对DCP、PRORES等格局解决,并提供弹性扩缩容能力,将其下载带宽晋升至20gbps,帮忙客户安稳度过数百路转码业务峰值,并且满足了海量的视频格式兼容需要,大幅升高了审核流量老本。 以云上内容生产场景为终点,腾讯云数据万象会继续拓展边界,与用户一起摸索更多可能性,助力各行各业开释更大的业务潜能。 直播回放:https://2022gdes.cloud.tencen...

December 14, 2022 · 1 min · jiezi

关于存储:阿里云加大NoSQL数据库软硬件一体化技术自研

简介:8月25日,在天池平台与阿里云数据库事业部联结主办的阿里云NoSQL数据库峰会上,阿里云颁布NoSQL数据库自研2.0打算,进一步加大软硬件一体化技术体系的自研力度,通过聚焦软硬协同、多模交融、云原生三大方向,晋升云原生内存数据库Tair、云原生多模数据库Lindorm等NoSQL数据库产品外围竞争力。8月25日,在天池平台与阿里云数据库事业部联结主办的阿里云NoSQL数据库峰会上,阿里云颁布NoSQL数据库自研2.0打算,进一步加大软硬件一体化技术体系的自研力度,通过聚焦软硬协同、多模交融、云原生三大方向,晋升云原生内存数据库Tair、云原生多模数据库Lindorm等NoSQL数据库产品外围竞争力。 NoSQL数据库泛指非关系数据库(Not only SQL),广泛应用在互联网、物联网、车联网、金融证券、交通物流等畛域。作为国内最早投入NoSQL数据库技术研发的厂商,阿里云NoSQL数据库的多项独家关键技术实现行业当先,造成了以云原生内存数据库Tair、云原生多模数据库Lindorm、阿里云MongoDB为外围的产品矩阵。 市场钻研机构IDC预测,2025年寰球产生和存储的数据总量将达到175ZB,其中超过80%为非构造数据,包含文本、图像、语音、视频、网页等。半结构化/非结构化等多样化数据的爆炸式增长,将无力促成NoSQL数据库市场迅猛增长。 为进一步扩充外围产品的当先劣势,阿里云NoSQL数据库发表将启动自研2.0打算,在阿里云高性能的计算、存储、网络及平安等下一代云计算架构上开展翻新,并加大外围硬件的自研力度,聚焦软硬协同、多模交融、云原生化三个方向,以齐全云原生的架构提供极致性价比、以欠缺的企业级个性保障业务安稳和数据安全、以丰盛的数据处理性能撑持客户业务数智化降级。 以云原生内存数据库Tair为例,在Tair软件实现纯自研之后,将全面基于自研的云原生基础设施,从基于倚天CPU的磐久服务器,到飞天云计算操作系统,到自研的AliSCM存储级内存部件,再到自研的CXL内存池化,造成残缺的自研软硬一体技术体系。基于自研的基础设施,通过全栈优化,Tair将在长久化能力、老本、资源弹性和简单计算等方面取得全面晋升,全新定义新一代云原生内存数据库。 会上,作业帮和国泰产险作为典型客户分享了应用阿里云NoSQL数据库的实际。作业帮在引入Tair数据库之后,应用长久化内存作为存储介质, 在性能与全内存Redis放弃基本一致下,老本降落近40%;国泰产险引入Lindorm数据库,在历史保单剖析场景下,查问性能取得约70%晋升,同时通过Lindorm深度优化的ZSTD压缩算法,存储效率进一步晋升30%,整体综合老本降落75%。 同时,阿里云NoSQL数据库还颁布2022年最新进展,其中云原生内存数据库Tair推出全新的高性能企业版、磁盘大容量版、长久内存版、图引擎版;云原生多模数据库Lindorm公布针对物联网、车联网的新性能,大幅度晋升海量数据的存储和拜访性能;云MongoDB 6.0将于9月份正式上线,届时可体验工夫序列汇合反对二级索引&复合索引等新个性。 阿里云数据库产品负责人李飞飞示意,NoSQL是万物互联时代的必选数据库,将来咱们将持续加大自研力度,继续升高每Byte数据的治理老本,帮忙客户普惠共享数字经济的倒退时机。 据介绍,阿里云NoSQL数据库诞生于阿里巴巴电商业务对低成本超大规模分布式数据处理的需要。针对海量电商平台的业务数据,阿里巴巴开始了自研数据库的漫长途程,2021年双十一期间,Tair在QPS峰值下保障亚毫秒级提早,Lindorm撑持了全系业务在线大数据场景百PB级存储下毫秒拜访和极致降本。阿里云NoSQL数据库现在曾经领有丰盛的产品家族,在性能及性价比上具备极大劣势。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 30, 2022 · 1 min · jiezi

关于存储:活动预约|93-Lakehouse-Meetup

简介:9月3日下午 13:30 开始,一起探讨数据湖仓解决方案。 9月3日下午13:30,飞天club 与 StreamNative 联结举办 Lakehouse Meetup,邀请阿里巴巴、StreamNative 的 4 位技术专家一起探讨数据湖仓解决方案。具体议程如下: 01 毕岩(寻径)| 阿里巴巴技术专家 《基于数据湖格局构建数据湖仓架构》 解析数据湖仓架构要害个性,并简述三个数据湖格局。联合 Delta Lake 和 Hudi,分享阿里云 EMR 在经典数仓场景的应用案例。最初介绍阿里云 EMR+DLF 提供的整体数据湖仓解决方案。02 陈航 | StreamNative 高级工程师 《APACHE PULSAR 的湖仓一体计划:PULSAR 的 LAKEHOUSE 分层存储集成详解》 Apache Pulsar 是一种用于缓存数据并在不同零碎之间解耦的音讯总线。为了反对长期的主题数据存储,咱们引入了分层存储,将冷数据卸载到分层存储中,例如 GCS、S3、HDFS 等。然而,以后卸载的数据是由 Pulsar 治理的非凋谢格局数据,是原始的数据格式,且只有 Pulsar 能够拜访数据。因而很难将其与其余大数据组件集成,例如 Presto、Flink SQL 和 Spark SQL。为了解决这个问题,咱们引入了 Lakehouse 来治理卸载数据,并与以后的主题冷数据卸载机制集成。咱们能够应用 Lakehouse 提供的所有性能,例如事务反对、Schema 强制和 BI 反对等。咱们会依据数据地位从 BookKeeper 或分层存储中读取数据,进行流数据读取。因为 Lakehouse 的凋谢存储格局,咱们能够反对 Lakehouse 所维持的各种生态系统读取数据。为了反对流卸载并使卸载机制更具可扩展性,咱们引入了按 reader 卸载机制来从主题中读取数据并写入分层存储。此外,咱们还能够通过 offloader 提供压缩服务后端,并将主题作为表。键的每个更新操作都被转换为表的 upsert 操作。 03 ...

August 30, 2022 · 1 min · jiezi

关于存储:xSPI接口MRAM高性能持久存储器

Everspin Technologies,Inc它是世界领先的磁阻随机存取存储器(MRAM)长久存储器解决方案开发商和制造商,曾经开始提供SPI/QSPI/xSPI接口MRAM的样品。 xSPI接口MRAM是世界上性能最高的持久性存储器,基于新的JEDEC扩大串行外设接口(xSPI)标准接口实现每秒400兆字节的全读写带宽。容量为8Mbit到64Mbit,次要用于工业物联网和嵌入式零碎。 xSPI接口MRAM提供了一个突破性的性能程度和应用的利用办法。这是基于宽泛的SPI/QSPI/xSPI行业标准是通过带来极高的带宽、低提早和非易失性写入能力来实现的。这些性能将加强和简化简直用于市场上所有微处理器、微控制器和FPGA平台。 提供两种封装类型:24BGA和8DFN。可在-40℃至+85℃整个工业环境温度提供10年数据保留,周期耐久性和200MHz DDR时钟速率。 新的JEDECxSPI在嵌入式零碎中,规范无望成为数据存储器和代码存储的最常见形式。xSPI反对多总线内存控制器。实用最风行的FPGA疾速利用的器件系列ASIC,线速达到400Mbytes/s。更多产品详情请洽Everspin代理英尚国内。

August 26, 2022 · 1 min · jiezi

关于存储:干货阿里云可观测技术峰会演讲实录合辑重磅发布

简介:由中国信通院作为领导单位,阿里云、Grafana Labs 联结举办,云原生利用平台、天池平台主办的首届阿里云可观测技术峰会围绕「可观测与开源」主题,邀请友邦人寿、爱福路 F6 企业一线负责人、Grafana、Prometheus 我的项目大咖,为听众出现丰盛且具备实际参考意义的精彩分享与探讨。随着企业数字化转型落地,业务增长与 IT 基础设施的关联愈发严密。云原生不仅重塑了企业 IT 架构,也扭转了运维体系与流程。「可观测」理念应运而生,并成为度量企业IT治理程度的重要规范。小到问题定位、危险辨认,大到老本治理、业务连续性治理甚至业务增长,都依赖着可观测技术与数据。能够说,可观测在数字化转型与云原生时代,扮演着重要角色。 由中国信通院作为领导单位,阿里云、Grafana Labs 联结举办,云原生利用平台、天池平台主办的首届阿里云可观测技术峰会围绕「可观测与开源」主题,邀请友邦人寿、爱福路 F6 企业一线负责人、Grafana、Prometheus 我的项目大咖,为听众出现丰盛且具备实际参考意义的精彩分享与探讨。 一、《阿里云可观测技术峰会演讲实录合辑》重磅公布为了帮忙更多运维工程师、架构师、CTO/CIO,更好的理解可观测趋势,获取可观测最佳实践经验。阿里云梳理阿里云可观测技术峰会近10位行业专家与技术负责人演讲实录,文字内容总量超过5万字,堪称是干货满满。内容笼罩Opentelemetry、Prometheus等支流开源我的项目,金融保险、国内赛事、企业服务等不同行业,帮忙企业更好地解析落地可观测过程中的挑战与利用价值。 二、精彩观点领先看(一)基于本身实际,阿里云对于可观测趋势的判断作为国内首批大规模践行微服务架构与 DevOps 的先行者,阿里云认为作为向下连贯基础设施,向上承载业务的重要组成部分,利用是云原生时代的最佳观测视角,并具备着以下趋势: 可观测性成为云原生红利开释的前提条件企业对于运维的要求不再局限于被动发现问题,而是更及时、被动、精确地发现问题与洞察起因,为事先预防、事中解决、预先复盘提供决策依据。与此同时,利用相干的可观测数据类型不断丰富,指标、日志、事件、链路相互连接,其背地的业务价值一直开释。 碎片化观测趋势已成,优良开源我的项目成为规范随着 Kubernetes 为外围的利用编排技术风行,可观测场景与技术百花齐放、去中心化观测、碎片化观测成为趋势。其中,Prometheus、Grafana、OpenTelemetry 等优良的开源可观测规范和实现成为支流。 可观测是保障平安生产与业务连续性的外围因素不止于大促保障与日常轮值,如何围绕本身理论业务需要,打造合乎业务需要的可观测能力,保障业务连续性成为泛滥SRE团队的业务挑战。 (二)让可观测数据真正做到不止于观测阿里云作为国内可观测畛域的引领者,不试图用一站式产品或计划去解决所有问题。阿里云踊跃拥抱开源生态,提供 Prometheus 监控服务、Grafana 服务、兼容 OpenTelemetry、Skywalking 等支流开源协定的链路追踪服务,独特造成新一代阿里云可观测套件。应用标准化技术向下连贯存量、碎片化可观测数据,向上帮忙客户造成本人独有、无厂商锁定的可观测解决方案,造成指标存储剖析、链路存储剖析、异构构数据源集成的可观测数据层,同时通过规范的 PromQL 和 SQL,提供数据大盘展现,告警和数据摸索能力。为 IT 老本治理、企业危险治理、智能运维、业务连续性保障等不同场景赋予数据价值,让可观测数据真正做到不止于观测。 万物皆云的时代,可观测性让云计算更易用高效,也将可观测数据的业务价值最大水平开释。“观测力”已成为每个 IT 人的必备外围竞争力。不止于观测,可观测帮忙企业剖析、洞察并实现高质量的决策与业务翻新。而阿里云将一直推动可观测技术演进与落地实际,帮忙企业真正实现高质量数字化转型与翻新。 目前,相干电子书及视频已凋谢下载,点击下方链接立刻获取。 \>>收费下载《阿里云可观测技术峰会演讲实录合辑(上)》<< \>>收费下载《阿里云可观测技术峰会演讲实录合辑(下)》<< 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 23, 2022 · 1 min · jiezi

关于存储:阿里云-X-Elastic-联合Meetup-北京站

简介:诚邀共赴Elasticsearch在全观测上的技术实际探索之旅!流动背景流动介绍:数据智能时代,企业级运维观测面临诸多挑战,须要对各类日志指标数据进行对立收集、存储和实时监控剖析以疾速定位问题。随着对全观测需要的加深,为何以及如何应用Elasticsearch来实现全观测,将是本次流动的外围宗旨。 流动特色:elastic布道师、资深解决方案架构师、阿里云资深产品技术专家,现场分享多年在es的实践经验,独特摸索应用elasticsearch做全观测的价值,并在深刻到运维场景的利用、时序场景的反对、SaaS化服务的构建中时,遇到的瓶颈以及对应解法。同时阿里云与Elastic社区共建的《Elastic Stack》手册也将与大家见面! 报名二维码 流动地址:北京朝阳区望京金辉大厦22层 越秀书院 流动工夫:8月27日(周六)13:30-17:00 议程安顿<span class="lake-fontsize-1515">工夫</span><span class="lake-fontsize-1515">议题</span><span class="lake-fontsize-1515">演讲嘉宾</span>13:30-13:45入场签到13:45-14:00《Elastic Stack》电子书公布Sarah/刘晓国14:00-14:40<span>Elastic全观测解决方案的演进</span>Jerry14:40-15:20Elasticsearch在可观测性软件架构服务中的利用实际广传15:20-15:50茶歇15:50-16:10全观测场景下ES降本提效计划实际三秋16:10-16:30阿里云es在全观测畛域的产品能力解读洪阳16:30-16:45Elasticsearch在时序场景下的深刻摸索诚全16:45-17:00Q&A ## > 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 22, 2022 · 1 min · jiezi

关于存储:双电源8位IO并行接口MRAM芯片MR256D08BMA45R

MR256D08BMA45R是一款容量为256Kb的磁阻随机存取存储器MRAM存储芯片,组织为32x8位字。它反对+1.65至+3.6伏的I/O电压。MR256D08BMA45R提供与SRAM兼容的45ns读/写时序,具备有限的耐用性。 MR256D08BMA45R的数据放弃期长达20年以上而不会失落,并会在掉电时由低压克制电路主动提供爱护,以避免在非工作电压期间写入。是必须疾速永恒存储和检索要害数据和程序的利用的现实内存解决方案。 此款Everspin并口MRAM芯片能在很宽的温度范畴内提供高度牢靠的数据存储。封装采纳48BGA),并行MRAM是大多数手机、挪动设施、膝上机、PC等数字产品的存储器的潜在代替产品。

August 18, 2022 · 1 min · jiezi

关于存储:SRAM方案现阶段的优势

SRAM作为读写速度最快的内存介质,具备很多劣势,比方,它能够向更先进的制程节点兼容,具备高能效比的计算劣势,同时它又不存在其余非易失性存储所具备的耐久性问题,更重要的是,基于SRAM的设计方案,能够反对纯数字化设计,从而可能解决很多利用场景所关怀的精度问题。 SRAM计划在现阶段具备三点劣势,SRAM是所有存储类型中最快的,且没有写次数限度,对于谋求快响应的场景简直是必选;SRAM可向先进制程兼容,从而达到更高的能效比和面效比;绝对新型存储器,SRAM的工艺成熟度较高,能够绝对较快地实现技术落地与量产。 存内计算存在多种基于不同存储介质的技术门路,如SRAM、Flash及其它新型存储器。SRAM工艺成熟度高,具备向先进节点高兼容性和有限擦写次数的劣势,在计算时可能做到精度无损、读写提早短,实用于诸如主动驾驶、无人机等对计算准确性和反应速度要求高的场景。

August 18, 2022 · 1 min · jiezi

关于存储:PSRAM存储芯片是常用的外部存储设备

PSRAM存储芯片是罕用的内部存储设备。具备SRAM接口协议、给出地址、读写指令、实现数据存储。不须要简单的内存控制器来管制内存单元来定期刷新数据。传统的SRAM它由六个晶体管组成cell,而psram它由一个晶体管制成一个电容形成一个存储cell,因而psram可实现较大的存储容量。 串行PSRAM的低引脚封装和传统RAM贮存相比,具备尺寸小、成本低等长处。串行psram对外互联通过八路串联,最高为200MHz双倍数据速率在速度下,可实现超3Gbps带宽传送。相比拟于传统存储器具备更大的带宽。 串行PSRAM选用DRAM架构,能无效压缩芯片体积,串行psram生产成本靠近DRAM老本,具备老本较低的劣势。psram自刷新无需刷新电路即可存储其外部存储的数据;DRAM每隔一段时间,刷新充电一次,否则外部数据就会隐没,psram相比传统RAM会有更宽泛的利用。 PSRAM目前反对的规范有JEDEC JESD251A(Profile 2.0)、HyperRAM、Xccela standards,其对应的厂家为apmemory。 APS6404L该PSRAM存储器器件具备高速,低引脚数接口。具备4个SDR I/O引脚,并以高达144 MHz的频率在SPI或QPI模式下运行。适宜于低功耗和低成本便携式利用。联合了无缝的自我管理刷新机制。因而它不须要零碎主机反对DRAM刷新。采纳小尺寸封装8引线USON-8L 3x2mm。英尚提供驱动、例程以及必要的FAE反对。

August 18, 2022 · 1 min · jiezi

关于存储:一文搞懂EMAS-Serverless小程序开发|电子书免费下载

简介:EMAS Serverless是阿里云一站式利用研发平台EMAS旗下的一款子产品,是面向小程序场景提供的Serverless开发、经营套件,开发者无需关怀服务器和进行底层设施运维,专一于代码逻辑和业务自身,具备极简运维、多端适配、按需应用、弹性扩容等劣势,帮忙开发者疾速部署小程序,本文将带你全面理解EMAS Serverless小程序开发,另附电子书《五天玩转EMAS Serverless》收费下载!!\>> 快来收费下载|电子书《五天玩转EMAS Serverless》 << 点击收费下载 《五天玩转EMAS Serverless》 EMAS Serverless 是什么EMAS Serverless 是阿里云提供的基于 Serverless 技术的一站式后端开发平台,为开发者提供高可用、弹性伸缩的云开发服务,蕴含云函数、云数据库、云存储、动态网站托管等性能,帮忙开发者及企业客户疾速实现一云多端利用的搭建,您无需治理服务器等基础设施,便能够无缝对接丰盛的云资源。 图1 EMAS Serverless 产品架构 EMAS Serverless 利用场景ES 反对云函数、云数据库、云存储等能力,具备弹性伸缩、按量付费、 免运维三大特点。弹性伸缩让您免于频繁运维扩缩机器,轻松应答各种流量突发事件,为您节俭大量工夫。按量付费做到用多少付多少,函数计费准确到毫秒,为您节俭大量开销。免运维让开发者不必破费更多的精力在服务器等底层资源上,而是能够将精力放在更具价值的业务逻辑上。因而 ES 宽泛实用于电商、征询、游览、企业展现、社区、餐厅等行业场景。 图2 EMAS Serverless 利用场景 开明产品首先关上 EMAS 阿里云控制台: [https://emas.console.aliyun.com](https://emas.console.aliyun.com),新建并进入我的项目。而后抉择平台服务并创立一个服务空间。如图3和图4所示: 图3 EMAS 控制台首页——项目管理 图4 选中平台服务并创立服务空间 计费形式反对按量付费和包年包月两种付费形式。 按量付费(后付费):一种后付费模式,即先应用再付费。个别实用于有暴发业务量的利用或服务。包年包月(预付费):一种预付费模式,即先付费再应用。通过包年包月,您能够提前预留资源,同时享受更大的价格优惠,帮您更大程度节俭收入。按量付费<span>模块</span><span>计费项</span><span>单价(按量付费)</span><span>云函数</span><span>资源使用量(GBs)</span><span>0.000110592</span><span>调用次数(万次)</span><span>0.0133</span><span>出网流量(GB)</span><span>0.8</span><span>云数据库</span><span>容量(GB/天)</span><span>0.07</span><span>读操作数(万次)</span><span>0.015</span><span>写操作数(万次)</span><span>0.05</span><span>云存储</span><span>容量(GB/天)</span><span>0.0043</span><span>下载操作次数(万次)</span><span>0.01</span><span>上传操作次数(万次)</span><span>0.01</span><span>CDN流量(GB)</span><span>0.18</span><span>动态网站托管</span><span>容量(GB/天)</span><span>0.0043</span><span>CDN流量(GB)</span><span>0.18</span>### 包年包月<span>套餐规格</span><span>价格(元/月)</span><span>套餐形容</span><span>开发者版</span><span>Free</span><span>适宜练习、我的项目开发、启动初期应用。</span><span>根底版</span><span>5</span><span>咱们提供了多种规格的套餐,您能够基于业务规模、我的项目倒退阶段按需抉择,并随同业务的增长进行套餐升配。</span><span>标准版</span><span>24</span><span>专业版</span><span>82</span><span>企业版</span><span>316</span><span>旗舰版</span><span>688</span>具体的套餐资源量请参考 https://help.aliyun.com/document\_detail/435837.html## 装置 SDK咱们以开发支付宝小程序为例,演示如何疾速借助 ES 能力疾速开发部署。1. 首先运行在小程序我的项目根目录执行以下命令。`npm install --save @alicloud/mpserverless-sdk`微信或者支付宝小程序还有一些非凡配置,具体请参考:https://help.aliyun.com/document\_detail/444395.html## 初始化 SDK在小程序端开始应用 Serverless 服务前,须要先调用 mpserverless.init 办法实现服务的初始化,且仅能初始化一次。较为通用的做法是在 onLaunch 生命周期中进行初始化操作,并将实例对象 mpserverless 挂载到小程序的全局对象 App,以便后续在其余文件中调用。这里演示应用的是匿名初始化,这种初始化形式无需在支付宝开放平台配置密钥,不过同时也无奈获取小程序用户身份。更多细节请参考:https://help.aliyun.com/document\_detail/444402.html`// app.jsimport MPServerless from '@alicloud/mpserverless-sdk'const mpserverless = new MPServerless(my, { appId: '小程序 AppID', spaceId: '服务空间 SpaceId', clientSecret: '服务空间 Secret', endpoint: '服务空间 API Endpoint'});App({ mpserverless: mpserverless, onLaunch() { mpserverless.init( authorType: 'anonymous' ); },});`## 云函数云函数(FaaS)是一段运行在云端的、轻量的、无关联的并且可重用的代码。无需治理服务器,只需编写和上传代码,即可取得对应的数据后果。云函数的入参只有一个 ctx 对象,出参构造由开发者自行定义:`// 云函数入口定义在 index.js 中module.exports = async ctx => { // do something return result}`### ctx 对象构造<span>字段</span><span>类型</span><span>含意</span>ctx.argsObject?开发者通过 SDK 调用云函数时传入的参数体。例如:mpserverless.function.invoke( 'function-name', args)HTTP 触发和定时工作触发的入参构造稍有不同,请参考官网文档。ctx.loggerfunction日志工具,能够打印<span>不同类型的日志信息,而后在云函数控制台中查看执行日志。</span><ul><li><span>info</span></li><li><span>warn</span></li><li><span>error</span></li><li><span>debug</span></li></ul>ctx.mpserverlessSDK在云函数中为您提供曾经实现初始化的 mpserverless 对象,让您能够持续调用 Serverless 其余根底服务,<span>API 应用形式和客户端基本一致。</span>ctx.envObject<span>在云函数中通过 </span><span>ctx.env</span><span> 来获取环境参数,例如 SpaceId、调用起源、客户端源 IP 和客户端 UserAgent 等信息。</span><ul><li><span>MP_SPACE_ID</span><span> 服务空间ID</span></li><li>MP_SOURCE 调用起源</li></ul><ul><li><ul><li>server:服务端触发</li><li>function:云函数触发</li><li>client:客户端触发</li><li>http:HTTP 触发</li><li>timing:定时触发</li></ul></li></ul><ul><li>MP_USER_AGENT 客户端标记,仅来自客户端的调用蕴含该字段</li><li>MP_CLIENT_IP 客户端IP,仅来自客户端的调用蕴含该字段</li><li>MP_APP_ID 小程序AppId,客户端非匿名受权后调用云函数蕴含该字段</li></ul>ctx.httpclientHttpClient通过该对象能够申请任何HTTP和HTTPS协定的Web服务。例如:ctx.httpclient.request( 'https://*' )### 开发部署与调试咱们以开发一个两数四则运算的云函数 TwoNumOperation 为例:`// index.jsmodule.exports = async ctx => { const { action, x, y } = ctx.args; let result = 0 switch (action) { case '+': result = x + y; break; case '-': result = x - y; break; case '': result = x y; break; case '/': if (y === 0) { throw new Error('cannot divide by 0') } result = x / y; break; default: throw new Error('not support action ' + action) } return { result }}`新建文件夹 TwoNumOperation,而后在文件夹上面新建文件 index.js 并放入上述代码,而后整体打包该文件夹失去压缩文件 TwoNumOperation.zip 。如下图5所示:图5 云函数代码包如下图6所示,首先咱们在阿里云控制台新建一个云函数 TwoNumOperation,函数名称必须和文件夹名称统一。而后将压缩好的代码包上传、部署。部署胜利后能够在控制台测试运行,点击代码执行,输出函数执行参数即可运行云函数。点击日志能够查看云函数的执行日志,不便开发者调试。图6 云函数部署、执行、日志查看### 在小程序中调用云函数如图7所示在小程序中调用云函数。 index.axml 布局文件简略写了一个表单蕴含三个 input,绑定表单提交函数 invokeFunction。 index.js 文件首先从全局导入 mpserverless 对象,而后在表单提交函数中获取参数 action、x、y,而后通过 mpserverless.function.invoke 调用云函数。图7 在小程序中调用云函数 ## 云数据库云数据库服务是基于 MongoDB 托管在云端的数据库,数据以 JSON 格局存储。作为开发者,您能够在客户端或者云函数中通过 mpserverless 对象读写数据。`mpserverless.db.collection('user').findOne( { name: '张三' } )`### 和 MySQL 比照ES 云数据库服务底层应用的是 MongoDB,以 JSON 格局存储数据。数据库中的每条记录都是一个 JSON 格局的文档,一个数据库能够蕴含多个汇合(相当于关系型数据库中的表),每个汇合可看做一个 JSON 文档数组。MongoDB 数据库和关系型数据库 MySQL 的比照如下表所示。<span>云数据库 (MongoDB)</span><span>关系型数据库 (MySQL)</span><span>数据库(database)</span><span>数据库(database)</span><span>表(collection)</span><span>表(table)</span><span>记录(document)</span><span>行(row)</span><span>域(field)</span><span>列(column)</span><span>索引(index)</span><span>索引(index)</span><span>主动将</span><span>_id</span><span>字段作为主键</span><span>主键(primary key)</span>### 数据结构设计策略MongoDB 是一个基于分布式文件存储的 NoSQL 数据库,旨在为 WEB 利用提供可扩大的高性能数据存储解决方案。以电商平台为例,通常电商平台的外围数据蕴含产品、用户、购物车和订单。订单是由用户购买产品产生的,订单就能够认为是产品和用户之间的关联关系产生的。在订单产生之前,产品和用户之间的关联关系是通过购物车来维持的。针对上述案例,能够设计一个名称为products的产品表存储以下信息:* 产品根底信息:蕴含展现信息、商品规格等;* 属性信息:属性都归属于一个产品,属于N对1的关系。因而作为子文档存储在 products 汇合中较适合;* 库存及价格信息:库存不仅仅跟产品关联,更间接对应产品属性。因而也应该放在 products 汇合中;`{ "id": 5573, "name": "Egg T恤", "desc": { "short": "限量版 Egg T恤,穿上它你离极客也不远了", "long": "这是一段十分长的形容", "category": { "_id": "48bf43a..29e90bc", "name": "上衣" } }, "attributes": [ { "id": 1151, "name": "尺寸", "values": [ { "id": 3871, "value": "S" }, { "id": 3874, "value": "M" }, { "id": 3875, "value": "L" } ] }, { "id": 1152, "name": "性别", "values": [ { "id": 3872, "value": "男" }, { "id": 3873, "value": "女" } ] } ], "sku": [ { "id": 1153, "stock": 30, "attributeIds": [ 3871, 3872 ], "attributes": [ { "key": "尺寸", "value": "S" }, { "key": "性别", "value": "女" } ] } ]}`### 创立数据表在阿里云管制台上点击“+”新建数据表图8 在控制台新建数据表### 增加数据记录#### insertOne插入用户张三`mpserverless.db.collection('users').insertOne( { name: '张三', age: 18} )`#### insertMany`mpserverless.db.collection('users').insertOne( [ { name: '张三', age: 18 }, { name: '李四', age: 17 }] )`### 删除数据记录#### deleteOne`mpserverless.db.collection('users').deleteOne( { name: '张三'} )`#### deleteMany删除年龄小于18的用户`mpserverless.db.collection('users').deleteMany( { age: { $lt: 18 }} )`### 查问数据记录#### findOne`mpserverless.db.collection('users').findOne( { age: { $gt: 18 }} )`#### find查问所有大于18的用户 name,并将查问后果按年龄升序返回`mpserverless.db.collection('users').find( { age: { $gt: 18 }}, { projection: { name: 1 }, sort: { age: 1 }} )`#### findOneAndDelete查问并删除小于且最靠近18岁的一条数据`mpserverless.db.collection('users').findOneAndDelete( { age: { $lt: 18 }}, { sort: { age: -1 }} )`#### findOneAndReplace查问并替换 name 为张三的一条数据`mpserverless.db.collection('users').findOneAndReplace( { name: "张三"}, { name: "张三三", age: 20}, { upsert: true // 如果不存在则插入} )`#### findOneAndUpdate查问并更新 name 为张三的一条数据`mpserverless.db.collection('users').findOneAndUpdate( { name: "张三"}, { $set: { name: "张三三", age: 20 }}, { upsert: true // 如果不存在则插入} )`### 更新数据记录#### updateOne更新第一个张三的年龄为22岁`mpserverless.db.collection('users').updateOne( { name: "张三"}, { $set: { age: 22 }} )`#### updateMany把所有的张三年龄都设置为22岁`mpserverless.db.collection('users').updateMany( { name: "张三"}, { $set: { age: 22 }} )`#### replaceOne把第一个张三姓名改为张阿三,年龄改为22岁`mpserverless.db.collection('users').replaceOne( { name: "张三"}, { $set: { name: '张阿三', age: 22 }}, { upsert: true // 如果不存在则插入,为 flase 时代表不存在则不做任何操作} )`### 其余指令#### distinct返回 age 字段大于18的所有姓名(如果有雷同的name 只返回一个)`mpserverless.db.collection('users').distinct( 'name', { age: { $gt: 18 })`#### count查找汇合 users 中所有 age 大于18的记录数量`mpserverless.db.collection('users').count( { age: { $gt: 18 }} )`#### aggregate聚合管道查问,该管道容许用户通过一系列基于阶段的操作来解决数据,详情请参考帮忙文档 https://help.aliyun.com/document\_detail/435909.html## 云存储mpserverless.file 对象提供 uploadFile 和 deleteFile 办法管理文件。上传的文件将通过CDN进行网络减速。单个文件要求小于100 MB。### 上传文件支付宝小程序上传文件示例`my.chooseImage({ chooseImage: 1, success: res => { const path = res.apFilePaths[0]; const options = { filePath: path, }; mpserverless.file.uploadFile(options) .then(res => { console.log(res); }) .catch(err => { console.log(err); }); },});`返回示例:`{ "fileUrl": "https://mp-…storage/2e7acad6-2212-4863-aaa7-4e89d7d8df4c.png", "filePath": "cloudstorage/2e7acad6-2212-4863-aaa7-4e89d7d8df4c.png"}`### 删除文件依据文件地址从服务空间中删除该文件`const fileURL = 'https://mp...bspapp.com/xxx-x...';mpserverless.file.deleteFile(fileURL)`## 总结EMAS Serverless 依靠阿里巴巴数字经济技术能力和业务能力提供云函数、云存储、云数据库等 Serverless 服务。大大晋升了前端工程师的价值,让开发者疾速落地小程序开发工作,按量付费和主动弹性伸缩省时省力。此外, ES 还反对动态网站托管以及面向支付宝生态的云调用模块,技术与商业联动为开发者提供一站式地小程序生态服务。## 参考资料EMAS 控制台:https://emas.console.aliyun.com帮忙文档:https://help.aliyun.com/document\_detail/436030.html开发指南:https://help.aliyun.com/document\_detail/444395.html \>> 快来收费下载|电子书《五天玩转EMAS Serverless》 << > 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 17, 2022 · 3 min · jiezi

关于存储:EMAS-Serverless有奖活动4步教你快速搭建小程序

简介:EMAS Serverless 是阿里云一站式利用研发平台 EMAS 旗下的一款子产品,是面向小程序场景提供的 Serverless 开发、经营套件,开发者无需关怀服务器和底层设施运维,专一于代码逻辑和业务自身,具备极简运维、多端适配、按需应用、弹性扩容等劣势,帮忙开发者疾速部署小程序。 EMAS Serverless 是阿里云一站式利用研发平台 EMAS 旗下的一款子产品,是面向小程序场景提供的 Serverless 开发、经营套件,开发者无需关怀服务器和底层设施运维,专一于代码逻辑和业务自身,具备极简运维、多端适配、按需应用、弹性扩容等劣势,帮忙开发者疾速部署小程序。 云函数:提供NodeJS运行环境,开发者能够将代码打包提交到云端,无需搭建运维服务器。云函数主动实现机器调度与函数部署,弹性扩容,按量免费,轻松应答突发流量。云数据库:基于MongoDB文档型数据库,数据以JSON格局存储。数据库中的每条记录都是一个JSON格局的文档对象。一个数据库能够有多个汇合(相当于关系型数据中的表)。云存储:反对将文本、图片、视频等文件存储到云端。开发者能够在小程序端和控制台应用云存储性能。图片上传胜利后,零碎会主动生成一个资源链接。开发者能够在小程序中应用该图片地址。通过本试验教程,您将疾速上手基于云函数、云数据库、云存储等云服务能力一站式疾速开发多端小程序。 抽奖赢好礼 ,礼物一步到位!流动介绍本试验基于 EMAS Serverless 的云函数、云数据库、云存储等云服务能力一站式疾速开发小程序《私人云相册》。Demo 次要包含如下性能: 相册治理上传相片每日壁纸(该性能利用云函数定时工作,每天从必应复制一张壁纸)珍藏壁纸流动工夫8月15日 10:00 - 8月31日 23:59 参加形式(举荐PC端进行体验)立刻返回:https://developer.aliyun.com/adc/series/activity/emas/emas\_serverless 流动步骤Step1 :实现试验场景,疾速开发小程序 (利用EMAS Serverless 的云函数、云数据库、云存储,部署《私人云相册》小程序) Step2 :参加抽奖,赢丰富好礼 (实现场景体验取得一次抽奖机会,每人只限一次,100%中奖!总计3000件精美礼品!抽完为止!) Step3:填写收货地址 (请依照规定格局填写**省**市**区**地址) 流动礼品 流动期间,3000份好礼一次性发放,抽奖礼物包含: 罗技G512游戏机械键盘 罗技G502机械鼠标 体贴随机T恤 小风扇 4.99元代金券 3元猫超卡 钉钉群二维码若有相干场景部署问题可钉钉搜寻群号:44856119征询! 更多内容关注开发者云云起实验室钉钉群(ID:44856119),会集 阿里云云起实验室的有奖流动和不定时的技术内容推送,定期举办各类线上流动、直播,用户最佳实际。 更多趣味有奖小试验,快来云起实验室体验吧!·试验1:武林头条-建站小能手争霸赛流动详情:7月25日-8月31日,实现指定小工作支付20元猫超卡,邀请更多好友有机会取得iPhone 13! 流动链接:https://developer.aliyun.com/adc/series/activity/wulin 额定赠送收费的知识库,等你来打卡!·EMAS ServerlessEMAS Serverless 是阿里云提供的基于Serverless技术的一站式后端开发平台,为开发者提供高可用、弹性伸缩的云开发服务,蕴含云函数、云数据库、云存储、动态网站托管等性能,帮忙开发者及企业客户疾速实现一云多端利用的搭建,您无需治理服务器等基础设施,便能够无缝对接丰盛的云资源。 立刻返回:https://www.aliyun.com/activity/emas/emas\_serverless 云起实验室流动手册流动对象:阿里云官网注册的已实名认证用户 云起实验室流动钉群:44856119 1. 流动中,同一用户实现工作即可支付抽奖资格,同一用户最多取得1次抽奖机会,抽奖机会仅在流动凋谢期间无效。 2.实物类奖品图片仅供参考,以实物为准,色彩随机,以上礼品均为一份!流动完结后15个工作日内发货,雷同手机号仅可支付一次(具体工夫请关注云起实验室流动钉群:44856119)。若用户本人填写的信息谬误导致的无奈发送礼品,结果用户本人承当,礼品数量无限,发完为止。 3. 阿里云能够依据流动的理论状况对流动规定进行变动或调整,相干变动或调整将颁布在流动页面上,并于颁布时立刻失效;但不影响用户在流动规定调整前曾经取得的权利。 4. 流动相干问题能够退出云起实验室的流动群搜寻钉钉群号:44856119退出。 5. “同一用户”,是指依据不同阿里云账号在注册、登录、应用中的关联信息,阿里云判断其理论为同一用户。关联信息举例:同一手机号、同一邮箱、同一证件等。 6. “同人账号”,是指同一用户领有多个阿里云账号的,各个账号之间互为同人账号。 ...

August 17, 2022 · 1 min · jiezi

关于存储:阿里云ES全观测引擎TimeStream时序增强功能重磅发布助力时序场景实现最佳实践

简介:阿里云ES全观测引擎TimeStream时序加强性能最新公布,在云原生ELK全托管根底上,通过TimeStream时序加强性能插件,可实现高性能、低成本时序数据存储和查问剖析。本文介绍TimeStream实用场景、性能劣势、性能测试后果和实际案例Elasticsearch的全观测能力视频介绍>> 随着企业IT零碎拓扑构造日趋简单,零碎架构从单体道分布式再到微服务,部署模式从物理服务器部署到虚拟化再到容器化利用,基础设施上云后开发模式也从传统瀑布式到DevOps开发运维联合。简单的零碎链路中多种数据源背地,是不同的数据类型,以及极高的海量非结构化数据的对立采集、加工、存储和保护老本。在传统SRE运维场景之外,企业业务场景在实时剖析、平安审计、用户行为、经营增长、交易记录场景衍生出各类利用,由此带来多套观测计划交错,保护老本大幅晋升,同一个业务组件或零碎,产生的数据不同计划中数据难互通,无奈充分发挥数据价值。 由此,各个企业也越发关注对系统可观测能力的建设,迫切需要把各类数据在对立平台进行存储、监控和检索剖析。业内公认,log、metric、trace是全观测的三大支柱,通过搭建对立的观测零碎,在运维场景帮忙运维人员在「事先」理解零碎运行状态,「事中」疾速定位故障,「预先」根因剖析,以此晋升零碎高可用,降本增效。但在全观测技术演进过程中,不仅须要跨云、跨业务零碎实现日志和时序数据的观测,而日志、时序等各类数据场景撑持的技术原子工具繁多,工具之间的连接艰难,技术组价及平台的保护老本高。 可观测作为Elastic三大外围解决方案之一,基于Elasticsearch全观测能力能够对立收集日志、指标、uptime数据、应用程序跟踪tracing数据,并将各类数据对立存储到 Elasticsearch,进行对立解决剖析并基于Kibana 实现可视化。从而可观测场景下实现了技术栈对立,SRE团队也毋庸基于多种技术组件搭建可观测平台。 在全观测场景下,阿里云Elasticsearch在基于云原生Serverless日志引擎能力,继续优化在海量日志数据的写入性能及存储老本。而在对Metric时序数据的存储和处理过程中,往往会面临以下几个问题: TimeStream是什么?TimeStream是阿里云Elasticsearch团队自研,并联合Elastic社区时序类产品个性共建的时序引擎。在云原生ELK全托管根底上,通过TimeStream时序加强性能插件,可实现高性能、低成本时序数据存储和查问剖析。 阿里云ES TimeStream的劣势作为与Ali内核深度整合的阿里云ES时序场景核心技术,Timestream大幅优化了阿里云ES时序场景的老本、性能和易用性: 数据管理提效:基于Timestream时序数据模型及增删改查,集成Elasticsearch在时序场景的最佳实际模板,大幅升高了Elasticsearch治理时序指标数据的门槛查问体验晋升:反对应用PromQL查问Elasticsearch数据,可无缝对接Prometheus+Grafana,反对DownSample采样查问和DataStream工夫分区存储老本优化:通过数据压缩优化、元数据存储容量优化,TimeStream索引相比开源Elasticsearch一般索引的存储容量升高了80%以上读写性能晋升:TimeStream索引相比开源Elasticsearch一般索引写入TPS晋升近40%,对于时序数据的罕用查问剖析,性能相比开源Elasticsearch晋升了5倍与开源比照时序场景中Elasticsearch在应用和不应用TimeStream插件状况下,场景化配置、存储、查问比照如下: 比照项应用TimeStream不应用TimeStream<span class="lake-fontsize-10">场景化配置</span><span class="lake-fontsize-10">TimeStream引擎原生反对时序类型数据模型,</span><span class="lake-fontsize-10">主动生成_tsid,indexing sort优化</span><span class="lake-fontsize-10">等</span><span class="lake-fontsize-10">须要用户进行大量指标场景最佳实际,例如生成一个工夫线id字段,应用工夫线id和工夫配置indexing sorting,应用工夫线id做routing等</span><span class="lake-fontsize-10">存储</span><ul><li><span class="lake-fontsize-10">ali-codec插件反对通过doc_values生成_source</span></li><li><span class="lake-fontsize-10">反对</span><span class="lake-fontsize-10">不存储_id</span></li><li><span class="lake-fontsize-10">ali-codec在时序场景压缩优化</span></li></ul><ul><li><span class="lake-fontsize-10">时序场景_id、_source等元数据字段占用</span><span class="lake-fontsize-10">70%</span><span class="lake-fontsize-10">+存储容量</span></li><li><span class="lake-fontsize-10">doc value对double类型压缩不敌对,时序场景数据类似度很高,double数据却根本没压缩</span></li></ul><span class="lake-fontsize-10">查问语句</span><span class="lake-fontsize-10">反对</span><span class="lake-fontsize-10">PromQL查问DSL</span><span class="lake-fontsize-10">专门构建query DSL查问Metric数据</span><span class="lake-fontsize-10">降采样</span><span class="lake-fontsize-10">简略配置工夫距离,即可反对</span><span class="lake-fontsize-10">降采样性能</span><span class="lake-fontsize-10">须要用户侧自行进行降采样解决</span><span class="lake-fontsize-10">工夫分区</span><span class="lake-fontsize-10">依照理论数据分区,一个工夫范畴的数据会散布在确定的索引中</span><span class="lake-fontsize-10">按写入的程序分区,一个工夫范畴的数据可能散布在很多索引中</span> ### 性能比照 从benchmark比照后果看, 阿里云Elasticsearch基于TimeStream实现了Elasticsearch时序读写性能大幅晋升,外围性能与传统开源时序类产品处于同一级别存储容量方面TimeStream索引相比开源Elasticsearch一般索引存储容量升高超过80%;TimeStream反对不存储\_id,使得与同等条件下存储\_id的一般索引相比,存储容量升高超过90%,与开源时序数据库持平; 写入性能方面TimeStream索引相比开源Elasticsearch一般索引晋升写入TPS晋升近40%查问性能方面 单并发简略查问,阿里云ES靠近开源时序产品;单并发简单查问,阿里云ES TimeStream查问性能体现更优。多并发,简略和简单查问语句下,阿里云ES TimeStream 查问性能体现更优 ### 实际案例#### 案例A:TimeStream治理Elasticsearch时序数据疾速入门 STEP1 购买和应用 TimeStream目前反对阿里云ES 7.16版本实例(内核版本1.7.0及以上) 通过零碎默认插件列表查看是否已装置Aliyun-TimeStream插件,确认领有TimeStream最新性能 STEP2 创立TimeStream时序数据索引 在Kibana控制台通过time\_stream的create接口创立时序数据类型索引,命令及返回后果如下。 STEP3 写入数据 应用bulk、index接口写入数据,写入时需依照时序模型写入(模型字段可批改),命令及返回后果如下。 STEP4 查问数据 应用search接口查问数据,以及应用cat indices接口查看test\_stream具体索引信息,命令及返回后果如下: STEP5 应用DownSample性能 通过time\_stream的create接口创立时,可间接指定DownSample规定,通过配置interval设定downsample精度,示例如下:相干文档>> #### 案例B:应用阿里云ES TimeStream对接Prometheus+Grafana实现可观测性 阿里云Elasticsearch反对无缝对接Prometheus+Grafana,反对Prometheus Query相干的API,能够间接将TimeStream索引作为Grafana的Prometheus数据源应用,可能进步时序数据存储与查问剖析的性能,同时节约老本。通过node\_expoter收集各种与硬件和内核相干的指标,并提供给Prometheus进行读取,再通过remote write将数据写入阿里云ES TimeStream索引,并通过配置Grafana进行可视化剖析。 下图示例在Grafana配置Prometheus数据源,应用PromQL查问作为Prometheus数据源的阿里云ES数据,拜访并可视化。 相干文档>> ### 相干文档 TimeStream时序加强引擎介绍 - 检索剖析服务Elasticsearch版 - 阿里云 应用Aliyun-TimeStream插件 - 检索剖析服务Elasticsearch版 - 阿里云 TimeStream集成Prometheus接口 - 检索剖析服务Elasticsearch版 - 阿里云 TimeStream治理Elasticsearch时序数据疾速入门 - 检索剖析服务Elasticsearch版 - 阿里云 基于TimeStream对接Prometheus+Grafana实现可观测性 - 检索剖析服务Elasticsearch版 - 阿里云 ### 分割咱们(钉群二维码)更多可观测场景架构及应用最佳实际交换,欢送扫描二维码退出钉群>>阿里云ES 1元包月试用>>> 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 16, 2022 · 1 min · jiezi

关于存储:一键打通35家供应商-阿里云IoT助力新宝电器实现高效供应链协同

简介:小家电行业数字化转型,咱们这么做!近日,广东新宝电器发表与阿里云达成单干,基于寰球当先的云计算、物联网等技术,建设高效产业链协同平台,推动小家电行业数字化转型。 新宝电器成立于1995年,是一家专一于厨房电器、家居护理电器、婴儿电器、制冷电器、个护美容电器、智能家电和电器配件等笼罩全类目小家电产品的制作龙头企业。2020年营业支出超110亿元人民币。 随着新宝电器逐年增长的倒退态势,供应链条脱节、断裂的景象制约公司业务的疾速倒退。新宝电器目前的外部信息化协同已处于较高水平,但面对1000多家数字化程度参差不齐的供应商,单纯靠外部零碎协同无奈实现高效的供应链治理,供应链协同效率低,无奈把握供应商的生产进度、异常情况、品质状态,供应链治理不通明。晋升供应链监管时效性、供应链协同敏捷性,升高供应链治理老本是新宝供应链治理目前火烧眉毛急需解决的难点。 为此,新宝电器与阿里云单干,通过构建产业链协同平台以满足本身供应链业务监管需要,同时对供应商进行数字化赋能,助力供应商提质降本增效,反哺新宝洽购物资的品质、老本、效率的改善。阿里云将新宝电器的35家外围供应商接入产业链协同平台,通过平台的生产协同,将排产状况、生产进度实时在线化;通过平台订单协同的布局,将上下游的订单对立平台操作,基于该订单相干的后续排产、生产、售后等集中进行解决;基于平台和阿里云的技术撑持,与供应商的所有单据均实现数字化,再多单据也能够进行存储、剖析、解决。 目前,新宝电器通过构建产业链协同平台,实现与供应链企业的数据买通,整合上下游资源,订单打算变动、生产安顿调整等信息及时同步,进步供应链协同效率,零碎整体运作效率晋升10%;通过订单协同核心、生产协同核心与各业务零碎实现数据对接,使得信息在协同平台中实现互联互通,实现开拉一致性晋升5%;订单供应链上游要害节点动静施行掌控,生产打算、生产协同联动,链主企业可把握供应商的生产进度、异常情况、品质状态,实现供应链的透明化可控。 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

August 16, 2022 · 1 min · jiezi

关于存储:DatenLord-Xline-Geodistributed-KV-Storage

简介和背景随着分布式业务从单数据中心向多数据中心倒退,多地多活部署的需要也越来越广泛。这带来最大的挑战就是跨数据中心跨地区的metadata治理,metadata对数据的稳定性和强一致性有极高要求。在单数据中心场景下,metadata的治理曾经有很多成熟的解决方案,etcd就是其中的佼佼者,然而在多数据中心场景下,etcd的性能受Raft共识协定的限度,它的性能和稳定性都大打折扣。DatenLord作为高性能跨云跨数据中心的存储,对metadata治理有了跨云跨数据中心的要求。DatenLord目前应用etcd作为metadata的治理引擎,然而思考到etcd无奈齐全满足DatenLord的跨云跨数据中心的场景,咱们决定实现本人的metadata治理引擎。Xline应运而生,Xline是一个分布式的KV存储,用来治理大量的关键性数据,并在跨云跨数据中心的场景下依然保障高性能和数据强一致性。思考到兼容性问题,Xline会兼容etcd接口,让用户应用和迁徙更加晦涩。 Xline的架构 Xline的架构次要分为RPC server,KV server,其余server,CURP共识协定模块和Storage模块 RPC server:次要负责承受用户的申请并转发到相应的模块进行解决,并回复用户申请。KV Server和其余server:次要业务逻辑模块,如解决KV相干申请的KV server,解决watch申请的watch server等。CURP共识协定模块: 采纳CURP共识协定,负责对用户的申请进行仲裁,保证数据强一致性。Storage:存储模块,存储了key value的相干信息。一次写申请的操作流程如下: RPC server接管到用户写申请,确定是KV操作,将申请转发到KV server。KV server做根本申请做验证,而后将申请封装为一个proposal提交给CURP模块。CURP模块执行CURP共识协定,当达成共识后,CURP模块会调用Storage模块提供的callback将写操作长久化到Storage中。最初告诉KV server写申请曾经commit。KV server得悉申请曾经被commit,就会封装申请回复,并通过RPC server返回给用户。Xline的外围: CURP共识协定CURP共识协定的细节介绍请参考 DatenLord|Curp 共识协定的从新思考。CURP协定的劣势是将非抵触的proposal达成共识所须要的RTT从2个降为1,对于抵触的proposal依然须要两个RTT,而etcd等支流分布式系统采纳的Raft协定在任何状况下都须要两个RTT。从两个RTT降为一个RTT所带来的性能晋升在单数据中心场景下体现的并不显著,然而在多数据中心或者跨云场景下,RTT个别在几十到几百ms的数量级上,这时一个RTT的性能晋升则相当显著。 Storage和RevisionXline作为一个兼容etcd接口的分布式KV存储,etcd重要的revision个性须要齐全兼容。简略介绍一下etcd的revision个性,etcd保护了一个全局枯燥递增的64bit的revision,每当etcd存储的内容产生扭转,revision就会加一,也就是说每一次批改操作就会对应一个新的revision,旧的revision不会立马删除,会按需延时回收。一个简略的例子,两个写操作A -> 1,A -> 2,假如最后的revision是1,etcd会为 A = 1 生成revision 2,为 A = 2 生成revision 3。revision的设计使etcd对外提供了更加丰盛的性能,如反对历史revision的查找,如查问revision是2的时候A的值,通过比拟revision能够失去批改的先后顺序等。以下是etcd对一个KeyValue的proto定义 message KeyValue { bytes key = 1; int64 create_revision = 2; int64 mod_revision = 3; int64 version = 4; bytes value = 5; int64 lease = 6;}一个KeyValue关联了三个版本号, create_revision: 该key被创立时的revisionmod_revision:该key最初一次被批改时候的revisionversion:该key在最近一次被创立后经验了多少个版本,每一次批改version会加一因为须要反对revision个性,Xline的Storage模块参考了etcd的设计,分为Index和DB两个子模块。Index模块存储的是一个key到其对应的所有revision数组的mapping,因为须要反对范畴查找,Index采纳了BTreeMap,并会放在内存中。DB模块存储的是从revision到实在KeyValue的mapping,因为有长久化和存储大量的历史revision的数据的需要,DB模块会将数据存到磁盘(目前prototype阶段DB依然存在内存当中,在将来会对接长久化的DB)。那么一次查找流程是先从Index中找到对应的key,而后找到须要的revision,再用revision作为key到DB中查找KeyValue从而拿到残缺数据。这样的设计能够反对历史revision的存取,拆散Index和DB能够将Index放在内存当中减速存取速度,并且能够利用revision的存储个性即每一次批改都会产生一个新的revision不会批改旧的revision,能够不便DB实现高并发读写。 CURP共识协定带来的挑战CURP协定的全称是Consistent Unordered Replication Protocal。从名字能够看出CURP协定是不保障程序的,什么意思呢?比方两条不抵触的proposal,A -> 1,B-> 2,在CURP协定中,因为这两条proposal是不抵触的,所以它们能够并发乱序执行,核心思想是执行的程序并不会影响各个replica状态机的最终状态,不会影响一致性。这也是CURP协定用一个RTT就能够达成共识的要害。然而对于抵触的proposal,如 A -> 1, A -> 2,CURP协定就须要一个额定的RTT来确定这两条proposal的执行程序,否则在各个replica上A最终的值会不一样,一致性被突破。 ...

August 12, 2022 · 1 min · jiezi

关于存储:Netsol半导体4Mb异步快速SRAMS6R4016W1AUI10

Netsol是一家位于韩国的无晶圆存储器半导体设计公司,成立于 2010 年。开发和销售具备高标准品质和可靠性的非商品存储器产品。目前的产品是异步疾速 SRAM、低功耗 SRAM、同步 SRAM、四重/DDR SRAM 和 SLC NAND 闪存。次要客户群是工业、商业和通信,咱们的高速、低提早和低功耗内存设计技术失去认可。 S6R4016W1A-UI10是4,194,304位高速动态随机存取存储器SRAM,按16位组织为256K字。 最大快速访问工夫10ns。应用16条公共输出和输入线,并具备一个输入使能引脚,该引脚的运行速度比读取周期中的地址拜访工夫快。而容许通过数据字节管制(UB、LB)来拜访低字节和高字节。该器件采纳先进的 CMOS 工艺、基于 6-TR 的单元技术制作,专为高速电路技术而设计。它特地实用于高密度高速零碎利用。采纳 400mil 44 引脚 TSOP2 封装。更多产品信息洽谈官网代理英尚微电子。 疾速异步型SRAM,存取时间为35ns(或更短)的异步型SRAM可被归类为“疾速”异步型SRAM。这些存储器通常利用于老式零碎中,且功耗较高。其典型利用包含老式PC L2高速缓冲存储器、高速暂存器以及工业利用中的缓冲存储器。

August 8, 2022 · 1 min · jiezi

关于存储:阿里本地生活全域日志平台-Xlog-的思考与实践

简介:作者:王宇(御田)。当你踏进了编程的畛域,代码和日志将是你最重要的搭档”。基于日志的问题排查是研发效力畛域的重要局部,阿里团体本地生存在撑持多生态公司、多技术栈的背景下,逐步积淀了一款跨利用、跨域的日志排查计划-Xlog。本文给正在或行将应用 SLS 的同学提供一些参考,帮忙更好地落地日志排查计划。1. 背景程序员学习每一门语言都是从打印“hello world”开始的。这个启蒙式的摸索,在向咱们传递着一个信息:“当你踏进了编程的畛域,代码和日志将是你最重要的搭档”。在代码局部,随同着越来越弱小的idea插件、快捷键,开发同学的编码效率都失去了较大的晋升。在日志局部,各个团队也在排查方向进行翻新和尝试。这也是研发效力畛域重要的组成部分。 阿里团体本地生存,在撑持多生态公司,多技术栈的背景下,逐步积淀了一款跨利用、跨域的日志排查计划-Xlog。目前也反对了icbu、本地生存、新批发、盒马、蚂蚁、阿里cto、阿里云、淘特、灵犀互娱等团队。也取得了sls开发团队的点赞。 心愿本文能够给正在应用或筹备应用sls的同学带来一些输出,帮忙团队尽快落地日志排查计划。其中第一局部重点讲了在微服务框架下,日志排查面临了怎么的挑战,以及咱们是如何解决的。第二部从细节角度讲了方案设计的几个难点和攻克策略。第三局部讲的是Xlog以后具备的能力。第四局部是在围绕次要能力,如何进行生态能力建设的。 1.1 Xlog解决的问题在通过日志进行问题排查的时候,置信有几个步骤大家再相熟不过:1. 登陆跳板机。 2. 切换跳板机。3. 登陆阿里云平台sls。 4. 切换阿里云sls project logstore。周而复始。 举个例子,上面这张图显示了一个长链路零碎的片段(实在链路会简单更多) :Application1, Application2, Application3。其中Application1与Application2是同一个域(相似于:一个子团队),Application3属于另外一个域。那本次查问就波及到跨利用查问,跨域查问两个场景。 Application1的负责人接手了该问题后,通过跳板机或者sls日志,发现须要上游同学帮忙帮助排查。这个时候无论是切换跳板机还是sls,亦或分割Application2的负责人帮助查问,都须要1min->3min的响应工夫。如果是从Application2的负责人寻找Application3的负责人将会更难,因为可能不分明Application3的sls信息(咱们bu就有十万级别的logstore信息),又没有跳板机登陆权限,又不晓得Application3的负责人。于是排查工夫大幅度减少。环境筹备的工夫(有效排查工夫)甚至远大于无效排查的工夫。 方才的例子只展现了3个利用的查问场景,往往实在链路要比这个简单很多很多。所以是不是有一个平台,能够一键式、一站式地查问出须要的日志呢?于是致力于解决长链路下,跨利用和跨域搜素频繁切换的Xlog就诞生了! 1.2 Xlog反对的场景微服务框架下的跨利用查问,跨域交融背景下的跨域查问。 - 如果你们的团队应用了sls,或者筹备将日志采集到sls; - 如果你们的心愿能够领有更好的日志检索、展现能力; - 如果你们心愿能够跨利用,跨域搜寻日志; 本文为大家介绍 xlog,帮忙团体内业务构建更大生态的,简便易用无侵入,并且随着越来越多的域接入之后,能够连点成线、并线为面,独特打造一个经济体,或者更大生态的日志全链路计划。 1.3 Xlog以后体系建设 针对曾经采集到sls的利用,咱们能够做到对代码零革新、对部署环境无侵入,并且采集的构造、采集的渠道都是自在的。基本上,只有曾经接入了sls的,就能够接入Xlog了。通过对构造的归一、格局归一、和跨域能力买通,Xlog反对了排查问题最常应用的几个场景:利用内跨文件搜寻,域内跨利用搜寻,跨域搜寻。 《继续交付2.0》的作者乔梁提到:一致性,是研发效力晋升必经之路。整个经济体倒退20多年,一致性的全量笼罩难如登天,但Xlog翻新地提出了一种计划,将不统一转化成统一,无论对查问还是对其余基于日志的技术体系建设,都有里程碑的意义。 2. 方案设计这个段落将会具体讲述Xlog的设计思维和倒退过程,如果是曾经接入sls的能够间接跳到2.2;如果以后还未接入sls,能够读2.1 会有一些翻新的思路。 2.1 最后的计划:翻新与独善其身2019年saas刚成立,很多根底建设都有待欠缺,与很多团队一样过后咱们查问日志次要通过两种形式: 1. 登陆跳板机查问:应用Traceid->鹰眼->机器ip->登陆跳板机->grep 关键字 的查问链路。毛病:每次查问4-6分钟,日志检索和可视化差,无奈跨利用查问,历史日志无奈查看。2. 登陆阿里云sls web控制台查问:登陆sls->关键字查问。毛病:每次查问1-2分钟,日志可视化差,无奈跨利用查问,无奈跨域查问。 基于这样的背景,咱们做了3件事来晋升查问效率: -日志格局对立: 针对logback中的pattern应用了一套规范。 %d{yyyy-MM-dd HH:mm:ss.SSS}{LOG\_LEVEL\_PATTERN:-%5p}{LOG\_LEVEL\_PATTERN:-%5p}{PID:- } --- [%t] [%X{EAGLEEYE\_TRACE\_ID}] %logger-%L : %m%n 其中: %d{yyyy-MM-dd HH:mm:ss.SSS}:工夫准确到毫秒 ${LOG\_LEVEL\_PATTERN:-%5p}:日志级别,DEBUG,INFO,WARN,ERROR等 ${PID:- }:过程id ---:分隔符无特地意义 [%t]:线程名 [%X{EAGLEEYE\_TRACE\_ID}]:鹰眼跟踪id %logger:日志名称 %m%n:音讯体和换行符 一个域内应用雷同的日志格局,事实证明这带来的收益远超出预期。对全链路的剖析,监控,问题排查,甚至对未来的智能排查都带来极大便当。 ...

August 2, 2022 · 1 min · jiezi

关于存储:SRAM是随机寻址数据的最佳选择

内部SRAM作为存储中等大小的数据模块的缓冲体现良好。能够应用内部SRAM作为不适宜片内存储器且反应时间又低于SDRAM的数据缓存。还能够将多个SRAM相组合以减少容量。 SRAM也是随机寻址数据的最佳抉择。很多SRAM器件都能够存取无序地址的数据,反应时间与存取有序地址的数据一样短,而SDRAM在这一点上做得并不好。SRAM是大型LUT的现实存储器品种,可能贮存诸如对于片内存储器来说过于微小的色调转换运算法令数据。 内部SRAM作为执行存储器为无缓存的CPU工作时体现绝对良好。当CPU没有缓存来缓冲其它品种存储器的高反应时间时,内部SRAM的低反映工夫个性有助于改善CPU的性能。 为使内部SRAM器件达到出最佳性能,倡议遵循应用与连贯的主零碎控制器的接口数据带宽雷同的SRAM。如果管脚应用或板上空间的限度高于零碎性能要求,能够应用较连贯的控制器的数据带宽小一些的SRAM设施,以便缩小管脚数量并缩小PCB板上可能的存储器数量。然而,这种变动将导致升高SRAM接口的性能。 国产SRAM芯片厂家伟凌创芯SCLPSRAC1是一款可用于外扩MCU的动态SRAM,容量为512Kbit的Serial SRAM,它在外部组织为64K字,每个字8位。最大时钟频率20MHz,提供高速性能和低功耗。采纳节俭空间的8-TSSOP规范封装封装。代理商英尚微反对提供样品测试及产品相干技术支持。

July 25, 2022 · 1 min · jiezi

关于存储:免费下载Databricks数据洞察从入门到实践

简介:本书从技术根底介绍到场景利用实际,帮忙读者入门数据湖Lakehouse以及局部spark相干利用。家喻户晓,Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等泛滥热门技术,而 Delta Lake 作为数据湖外围存储引擎计划给企业带来诸多的劣势。 本书从技术根底介绍到场景利用实际,帮忙读者入门数据湖Lakehouse以及局部spark相干利用。 根底篇 从大数据平台架构的演进、Delta Lake要害个性、实现原理,以及数据仓库、数据湖的优劣势,湖仓一体架构的利用等多方面解析Lakehouse架构和Delta Lake的利用劣势。并介绍社区版Delta Lake的外围个性,Lakehouse 搜索引擎的设计思维,探讨其如何达到优越的解决性能。 利用篇 针对流批一体数据仓库,实时数据入湖和剖析,零售业需求预测,营销成果归因剖析,机器学习模型训练和部署等场景实际,具体解说如何将Delta Lake、spark、MLflow利用到理论应用场景,产生业务价值。 点击收费下载 《Databricks 数据洞察:从入门到实际》 精彩领先看: 根底篇 1、Databricks 数据洞察——企业级全托管 Spark 大数据分析平台 2、Delta Lake 的演进历程和现状劣势 3、深度解析数据湖存储计划 Lakehouse 架构 4、Delta Lake 数据湖根底介绍(开源版) 5、Delta Lake 数据湖根底介绍(商业版) 利用篇 6、如何应用 Delta Lake 构建批流一体数据仓库 7、应用 DDI+Confluent 进行实时数据采集入湖和剖析 8、应用 Databricks 进行零售业需求预测的利用实际 9、应用 Databricks 进行营销成果归因剖析的利用实际 10、应用 Databricks 和MLflow 进行机器学习模型训练和部署的利用实际 产品技术咨询 https://survey.aliyun.com/apps/zhiliao/VArMPrZOR   退出技术交换群 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 21, 2022 · 1 min · jiezi

关于存储:串行SRAM的主要优点

串行SRAM器件是独立的易失性存储器解决方案,能够帮忙创立更紧凑的设计,同时为以后的MCU增加性能。高性能SRAM器件具备有限的耐用性和零写入工夫,非常适合波及间断数据传输、缓冲、数据记录、音频、视频和其余数学和数据密集型性能的利用。反对串行外设接口(SPI)、串行双I/O接口(SDI)和串行四I/O™(SQI™)总线模式。 串行SRAM的次要长处•高速串行接口架构•1、2和4位SPI协定•与传统并行SRAM接口相比,低引脚数接口•无需低廉的微控制器降级的低成本RAM扩大•低功耗 SRAM不须要像 DRAM 那样的周期刷新,因而能够提供更好的性能。DRAM单元由存取晶体管和电容器组成。数据作为电荷存储在电容器中,但电荷会随着工夫的推移而透露。DRAM 必须定期刷新以保留存储的数据。刷新会对 DRAM 性能和功耗产生负面影响。因而SRAM 通常也比 DRAM 更快且功耗更低。 存储器在高速性能并非最重要因素的其它存储器(DRAM、闪存等)中,串行接口曾经取代了并行接口。因为存在须要SRAM的利用,串行SRAM在SRAM市场中始终处于小众位置。在空间十分无限的特定利用中,它们始终是低功耗、小尺寸代替计划。

July 20, 2022 · 1 min · jiezi

关于存储:ram作为计算机系统和智能电子产品的主存

ram是指通过指令能够随机地、个别地对每个存储单元进行拜访、拜访所需工夫根本固定、且与存储单元地址无关的能够读写的存储器。简直所有的计算机系统和智能电子产品中,都是采纳ram作为主存。 在零碎外部,ram是仅次于CPU的最重要的器件之一。它们之间的关系,就如人的大脑中思维与记忆的关系一样,实际上是密不可分的。但在计算机外部,它们却是齐全独立的器件,沿着各自的路线向前倒退。在CPU和ram之间有一条高速数据通道,CPU所要解决的数据和指令必须先放到ram中期待.而CPU也把大部分正在解决的两头数据临时搁置在ram中,这就要求ram和CPU之间的速度放弃匹配。依据存储单元的工作原理不同,ram分为动态ram(SRAM)和动静ram(Dram). SRAM是一种具备静止存取性能的内存,不须要刷新电路即能保留它外部存储的数据 说具体点就是高速缓存或者说是二级缓存。SRAM靠寄存器来存储信息,Dram靠MOS管的栅电容上的电荷来存储信息,须要进行周期性的刷新操作. 动态ram是靠双稳态触发器来记忆信息的;动静ram是靠MOS电路中的栅极电容来记忆信息的.因为电容上的电荷会透露,须要定时给与补充,所以动静ram须要设置刷新电路.但动静ram比动态ram集成度高、功耗低,从而老本也低, 近几年SRAM能倒退得如此飞速,次要因为SRAM无论在性能方面还是在品质等方面,都近乎完满的达到了市场的期待值.通过一直的翻新,研发,满足新一代所应用领域的需要.我司英尚微电子作为SRAM存储器供应商,可提供样品测试及产品相干技术支持。

July 20, 2022 · 1 min · jiezi

关于存储:云上有AI让地球科学研究更省力

简介:达摩院公布AI Earth地球科学云平台,将收费向科研人员凋谢,助力云上地球科学研究。对于遥感卫星,咱们并不生疏,一颗颗遥感卫星,就是人类安放在近地轨道和外太空的眼睛,他们精确、勤恳、不知疲倦地帮咱们察看着地球。 但卫星收集回来的数据,却不会像1+1=2这样简略通俗地出现进去,要把卫星遥感数据翻译成可供咱们应用的无效信息,依照传统形式,个别分为三步走: 向卫星数据经营机构申请获取数据,或者下载行业公开数据;将数据在本地计算机进行存储配置;对本地的数据进行解决、剖析和钻研。而剖析环节对机器的计算和存储资源要求十分高,一般计算机难以胜任剖析大规模的影像数据。另一方面,针对海量卫星遥感数据的剖析,传统办法自动化水平低、老本高、解译效率低的难题始终未能解决。 达摩院AI Earth地球科学云平台,一个解决上述问题的综合性能平台应运而生。 AI Earth地球科学云平台基于达摩院在深度学习、计算机视觉、天文空间剖析等方向上的技术积攒,联合阿里云弱小算力撑持,提供遥感、气象等多源对地观测数据的云计算剖析服务,用数据感知地球世界,让AI助力科学研究。 如果您有以下应用需要: 个人用户,须要便捷获取海量公开遥感数据,并进行高效云上解决剖析。 政企用户,须要基于本身业务场景,验证遥感AI能力,打造线下专有云零碎。 欢送体验AI Earth地球科学云平台,目前平台已反对多种公开数据在线检索、遥感影像在线剖析以及相干数据管理性能。 多源数据检索 目前平台已上线Landsat 5、Landsa 7、Landsa 8、Landsa 9、Sentinel-1、Sentinel-2、MODIS等公开数据集,更多专题数据正在更新中,具体数据规格信息请参见数据集介绍页面。 平台反对四种形式确定检索区域:1.通过POI信息检索;2.通过行政区划检索;3.在地图上圈画区域检索;4.上传蕴含地理信息的矢量文件检索。确定检索区域范畴后,持续筛选数据采集工夫、数据类型、云量等信息,点击检索按钮即可失去所需数据列表。 在线数据处理 平台以达摩院遥感AI能力为劣势,针对高分数据,反对地物分类、变化检测、建筑物提取、地块提取等多种遥感AI在线解译工具,针对Sentinel-1等雷达数据,上线了SAR数据AI水体提取性能。 此外,平台还提供了指数计算、镶嵌裁切、波段交融、坐标转换、栅格重采样、图斑优化、时序图制作等八类通用型栅格、矢量根底解决工具,更多遥感数据处理原子能力正在继续上云。 云GIS工作空间 平台基于GIS业余软件工作视角,以图层叠加形式出现各类遥感数据,通过工具箱模式归类各种遥感数据处理算子,实现便捷高效的栅格和矢量数据在线解决。 对于数据处理流程,平台目前采纳无代码低门槛的GUI操作链路,前期版本已布局反对基于JavaScript和Python的开发者模式,满足更多开发者用户应用需要。 多源数据管理 平台反对用户在线治理珍藏的公开数据、自主上传的高分数据以及经平台剖析解决后的成绩数据。 近期,平台将继续欠缺公开数据集和数据处理原子能力,反对用户在云上实现各类遥感数据分析解决工作,免去各类原始数据查找下载的繁琐链路,数据成绩能够间接云端利用或下载到本地。 模型训练 平台反对用户在线模型训练、模型治理、样本标注、以及样本库治理。 岁末年初达摩院公布了2022十大科技趋势,AI Earth就是十大趋势之首——AI for Science的实例利用。 千百年来,试验迷信和实践迷信是科学界的两大根底范式。“人”发现迷信法则,而后使用;“人”再从大量的试验数据中,总结迷信法则。 现在人工智能正在催生新的科研范式,AI能够自主发现迷信法则。换言之,是AI从大量的数据中发现新法则,而后交给人类来使用。 凋谢的地球科学云平台,不仅带来效率的显著晋升,让研究者从繁冗的数据获取剖析步骤中解放出来;更科技、更高效、更便捷的AI正在随同人类一起对母星地球探测出更深刻的认知。 AI Earth 地球科学云平台(https://engine-aiearth.aliyun.com) 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

July 5, 2022 · 1 min · jiezi

关于存储:Lepton-无损压缩原理及性能分析

作者:vivo 互联网数据库团队- Li Shihai本文次要介绍无损压缩图片的概要流程和原理,以及Lepton无损压缩在后期调研中发现的问题和解决方案。 一、从一个游戏开始1.1 游戏找茬请拿出你的秒表计时,在15秒工夫内找出上面图片的差别。 工夫到了,你发现两张图片的差别了吗? 二、智者的成长在下面的游戏中,你可能你并没有发现两张图片间有任何差别,而实际上它们一张是3.7MB的jpg格局的原图,另外一张是大小为485KB的jpg格局压缩图片,只是大小不同。你可能会有些怄气,愤愤不平到这是坑骗,然而聪慧的你很快在大脑中产生了一连串的疑难,这些问号让你层层揭开游戏的面纱,不在为愚弄而懊悔,反而从新知中取得高兴。 2.1 苏格拉底助产术下面图片为何变小了呢?失落了的信息去哪了呢?为什么图片品质降落了,我却看不出来呢?我还能将它变的更小吗?我能将它还原成原来的大小吗?为什么要压缩我的图片?下面图片为何变小了?图片从3.7MB变成485KB是因为我应用了图片查看工具将原图另存成一张新的图片,在另存的过程中,有一个图片品质抉择的参数,我抉择了品质最低,保留后便生成了一张更小的图片。可是图片品质降落了,为什么看不出来呢?这就须要理解图片压缩的原理。 2.2  探究表象背地的故事利用人眼的弱点。 人的视网膜上有两种细胞,视锥细胞和视杆细胞。视锥细胞用来感知色彩,视杆细胞用来感知亮度。而绝对于色彩,咱们对明暗的感知更显著。 因而能够采取对色彩信息进行压缩来减小图片的大小。 所以咱们在图片压缩前会进行色彩空间的变换,JPEG图片通常会变换成YCbCr色彩空间,Y代表亮度,Cb蓝色色调度,Cr红色色调度,变换后咱们更容易解决色调局部。而后咱们将一张图片切成一块块8*8的像素块,而后应用离散余弦转换算法(DCT)计算出高频区和低频区。 因为人眼对高频区的简单信息不敏感,因而能够对这一部分进行压缩,这个过程叫量化。最初再将新的文件进行打包。这个流程下来就实现了图片的压缩。 根本流程如下图: JPEG压缩有损。 在下面的流程中,在预测模块的色彩空间转换后,通过舍弃局部色彩浓度信息,进步压缩率。常见选项为4:2:0,通过这一步后原来须要8个数字示意的信息,当初只须要2个,间接摈弃了75%的Cb Cr信息,然而这一步骤是不可逆的,也就造成了图片压缩的有损。此外在熵编码模块,会进一步应用行程长度编码或Huffman编码进一步对图片信息进行压缩,而这一部分的压缩是无损的,是可逆的。 (YCbCr空间转换)  霍夫曼编码原理如下: 如果待编码的字符总共38个符号数据,对其进行统计,失去的符号和对应频度如下表: 首先,对所有符号依照频数大小排序,排序后如下图: 而后,抉择两个频数最小的作为叶子节点,频数最小的作为左子节点,另外一个作为右子节点,根节点为两个叶子节点的频数之和。 (Huffman 树)  通过下面的步骤,就造成了一颗Huffman树,Huffman编码常常用在无损压缩中,其根本思维是用短的编码表示呈现频率高的字符,用长的编码来示意呈现频率低的字符,这使得编码之后的字符串的均匀长度、长度的期望值升高,从而实现压缩的目标。 三、故事的配角 Lepton不完满。 下面的JPEG压缩尽管升高了图片的大小且品质良好以至于人眼很难分辨其差别,然而因为是有损的压缩,图片品质不能复原到原来的品质,而且实际上此时的jpg图片仍有压缩空间。 Lepton便能够在JPEG根底上进一步对图片进行无损压缩。 3.1 为什么抉择 Lepton与lepton相似的压缩工具还有jpegcan,MozJPEG,PackJPG,PAQ8PX。但这些工具都或多或少有一些缺点,使得不如lepton更加适宜工业生产。 比方PackJPG须要依照全局排序的程序重新排列文件中的所有压缩像素值。这意味着解压缩是单线程的,同时须要整个图像放入内存中导致解决图片的时延较高吞吐较低。 下图是lepton论文中对几款工具的比拟: 3.2  Lepton进行了哪些优化。首先在算法上Lepton将图像分为两局部header和图片数据自身,header应用DEFLATE进行无损压缩,图片自身应用算数编码替换霍尔曼编码进行无损压缩。因为JPEG应用Huffman编码,这使得利用多线程比拟艰难,Lepton应用"Huffman切换词"进行了改良。 其次Lepton应用了一个简单的自适应概率模型,这个模型是通过在大量的野外图像上进行测试而开发的。该模型的指标是对每个系数的值产生最精确的预测,从而产生更小的文件;在工程上容许多线程并发解决,容许分块跨多个服务器分布式解决,流的形式逐行解决无效的管制了内存,同时还保障了数据读取和输入的平安。 正是Lepton在上述关键问题的优化,使得它目前能够很好的在生产环境中应用。 3.3  Lepton在vivo存储中的摸索预期收益: 目前对象存储其中的一个集群大概有100PB数据,其中图片数据大略占70%, 而图片中有90%的图片都是jpeg类型图片,如果依照均匀23%的压缩率,那么 100PB 70% 90% * 23% = 14.5PB,将实现大概14.5PB的老本节约。 同时因为是无损压缩,很好的保障了用户的应用体验。以后lepton压缩性能的设计如下图: 以后遇到的挑战: lepton压缩与解压缩对服务器的计算性能要求较高、耗费较大。冀望充分利用闲暇服务器CPU资源,达到降本增效的目标。面对潮汐景象具备动静扩缩容的能力。以后面临的次要问题: 以后大部分图片的大小在4M-5M, 通过测试对于4M-5M大小的文件压缩时延在1s左右的状况下,须要服务器至多16外围、承载5QPS。此时每个外围的利用率都在95%以上。可见 Lepton的压缩对计算性能要求很高。以后常见的解决方案是应用FPGA卡进行硬件加速、以及横向扩容大量的计算节点。FPGA的应用会减少硬件老本,升高压缩带来的老本收益。 解决方案: ...

July 5, 2022 · 1 min · jiezi

关于存储:Serverless-架构落地实践及案例解析

简介:从单体架构到微服务架构,从单机部署到集群化部署,互联网软件架构越来越简单,公司须要投入大量精力和老本进行底层技术的降级和保护。然而 Serverless 架构可能让开发者专一业务实现从而发明更大的业务价值。 作者 | 袁坤 整顿 | 徐诗瑶 出品 | CSDN 云原生 互联网软件架构演进咱们先简略回顾下互联网软件架构的演进之路。单机部署在单机部署中,将所有的业务和数据库都部署在一台主机中。 此架构的长处是:开发、部署以及运维都非常简单。毛病是:一旦遇到流量过大或者机器故障,整个零碎瘫痪,甚至失落业务数据,造成微小业务损失。 集群化部署针对上述架构问题,罕用的解决方案是采取程度扩容的形式进行集群化部署。引入 SLB 的流量网关路由,进行负载平衡。 集群化部署实质上是单体架构,开发人员在我的项目开发的时候须要额定留神,比方要应用 cookie 进行鉴权,session 就不能存储在本地,须要引入 Redis 进行独自存储。集群化部署能够通过疾速程度扩容解决流量突增或机器故障的问题。 微服务拆分 随着业务的倒退以及团队规模的扩张,单体架构这样紧耦合的形式会带来越来越多的问题,架构的灵活性和可扩展性成为妨碍业务倒退的重大挑战。微服务架构应运而生。 比照单体架构,微服务架构远比其简单,也衍生了很多新技术,比方:API 网关、服务注册、服务发现、RPC 通信。 Serverless 架构从单体架构到微服务架构,从单机部署到集群化部署,互联网软件架构越来越简单,公司须要投入大量精力和老本进行底层技术的降级和保护。下图是 Serverless 架构,和单体架构不同的是将对应的组件换成 Serverless 云产品。 技术演进的实质是更好服务业务,传统开发方式使企业破费更多的精力打磨底层技术细节,而 Serverless 架构就是让开发者专一业务实现从而发明更大的业务价值。 Serverless 架构的劣势很显著: ●不关注底层基础设施,专一业务价值发明 ●主动弹性,从容面对突增流量 ●按资源应用计费,防止资源闲置节约Serverless 架构探讨先来看一下 FaaS 的执行过程。蓝色局部是用户手动治理,只须要交付代码,其余的启动、运行、运维等都是在 FaaS 平台进行。 然而此架构会产生一些问题: ●代码碎片化,无奈对立治理和部署 ●本地环境和线上环境不统一,无奈解决依赖兼容性问题 ●进行本地 Debug 和线上调试艰难 ●FaaS 厂商对代码包有限度,无奈部署大代码包 ●没有对立的规范,导致厂商锁定问题 Serverless Devs针对上述问题,Serverless Devs 能够帮忙开发者更好地开发治理 Serverless 利用,它具备以下几个特点: ●无厂商锁定,Serverless Devs 帮忙开发者将利用部署在各个厂商下面 ...

July 4, 2022 · 1 min · jiezi

关于存储:Hologres共享集群助力淘宝订阅极致精细化运营

作者:杜仲舒 (花名:神天) 淘宝订阅开发,现次要负责淘宝订阅业务,主研内容特色了解。 简介: 通过本文咱们将会介绍,Hologres共享集群如何助力淘宝订阅零碎进行精细化经营。急需精细化内容经营的淘宝订阅淘宝订阅是基于C-B关系的用户/商家双私域产品,用户侧与举荐-猜你喜爱互补,构建订阅-我的喜爱心智。商家侧与商家深度联动,结构化,自动化引入优质供应,帮忙商家更好地经营粉丝会员。初期构建了从商家后盾内容公布,到算法散发举荐,再到前台生产和数据回收的残缺链路;前期为了精细化经营,晋升内容举荐体验,开始摸索内容特色,搭建内容特色圈选零碎。1、内容在举荐散发时须要应用特色• 优质内容圈选 :在手淘订阅前台进行内容散发,反对多种维度的特色筛选形式。• 低质内容过滤:涉黄涉政和无意义内容,通过特色筛选来进行过滤。2、内容经营时须要应用特色圈选• 核心内容投放展现:经营将筛选一批外围深度经营内容进行前台投放,通过圈选零碎,依照不同的维度进行筛选,失去的内容用于前台的内容聚合页面• 大促内容气氛增强:经营圈选失去一批流动内容,前台透出时会对其进行大促气氛增强• 单干商家流量歪斜:通过圈选零碎,圈出一批外围单干商家的内容,在手淘前台内容展现时进行流量歪斜。 订阅内容特色圈选零碎引擎选型内容圈选是对现有内容的的一个筛选操作,圈选内容指标维度多,数据量大,对数据预览也有肯定要求,因而须要整体设计一个计划,来使得圈选内容更加精准。另外,技术上也须要思考到将来的扩展性,使得后续减少数据指标筛选更加不便。 以后订阅圈选零碎的架构设计上面是内容特色生成和订阅圈选零碎的设计方案。 将圈选过程形象为内容id+关联id+多维度指标筛选,失去筛选后的指标内容id的过程;将圈选操作作为一个蕴含一批内容的流动实例的创立过程;将可圈选信息配置化成筛选项schema;将理论过滤条件值作为筛选项value。因而,就能够将问题转变为基于筛选项schema和筛选项value,按不同指标过滤,进行数据查问的操作。 引擎选型外围诉求:灵活性&高性能现有圈选零碎曾经反对了配置化,能够自定义数据源和指标进行圈选。圈选过程中,多个筛选项翻译成可执行查问语句的过程就是圈选引擎最外围的局部。筛选引擎须要对不同的筛选项映射到不同的表中的字段,生成可执行语句,再在筛选引擎中进行执行失去筛选后果。基于业务场景,咱们总结出对筛选引擎的外围诉求如下:• 接入简略,升高筛选可执行语句翻译的复杂度• 性能和稳定性保障,圈选的逻辑追随经营策略变动,须要反对简单查问疾速响应。• 反对多变的特色字段增加,具备肯定的灵活性。通过在阿里团体内外的大量调研,并最终在几款产品之间做了具体的比照,具体如下:计划比照 计划比照MaxComputeHologres共享集群灵活性个别,可多表关联查问,需指定表空间高,可聚合到同一空间多表关联条件查问老本低中,无需数据导入导出就能间接查问查问速度个别单次查问15s以上亿数据量级,单次查问秒级通过Hologres集群搭建的订阅零碎通过调研和测试,最终抉择了Hologres集群作为订阅零碎的计算引擎。上面将会介绍订阅零碎基于Hologres集群的最佳实际。 Hologres集群:更少的数据挪动+更快的查问1、应用成本低• 疾速接入: Hologres共享集群只需建设实例疾速应用,能够不便业务疾速入门,根本满足了大部分应用场景。当业务倒退有须要的时候,能够再申请独立集群并迁徙,这一点在团体泛滥引擎中是比拟敌对的。订阅业务也是在初期基于公共集群搭建,前期逐渐开始应用独立集群。• 无缝开发:Hologres所反对的SQL查问语法和常见的SQL查问基本一致,根本无缝应用。可视化界面反对一键同步表构造性能,尤其适宜表构造常常变动的同学。• 缩小数据挪动:Hologres人造反对通过表面形式读取存储在MaxCompute多个project的数据,这样就能够聚合来自不同project的离线数据,升高了查问的复杂度,无需数据导入导出就能间接查问,也升高了存储老本。2、查问效率高• 相比于MaxCompute的查问,性能晋升很高。通过屡次测试:数据量亿级别,表面查问简单语句(蕴含多表JOIN)耗时约为8-9秒;表面单表筛选查问耗时在2秒左右。适宜用于离线/准实时查问场景。内表查问约为60ms,可用于在线查问。• 通过反对 UDF/表达式下推,来实现用户自定义的UDF计算;将表达式下推能够缩小无用的数据传输带来的开销,进一步晋升性能。 通过Hologres搭建订阅零碎最佳实际通过Hologres共享集群搭建的订阅圈选零碎流程如下图所示:经营只须要在后盾圈选页面勾选筛选项和填写筛选值,圈选零碎将会主动生成Hologres SQL语句(如下示例)并在Hologres中执行获取数据,最终将数据返回到前端,并进行前台投放。经营再依据投放成果一直优化圈选计划,晋升圈选成果,达到更加精细化经营的目标。整个过程,不须要数据在各个系统之间的导入导出,仅通过页面点击的形式,就能转化为SQL进行计算。同时能够依据业务逻辑调整圈选内容,简单的SQL也能疾速高效的计算出想要的圈选数据后果,节约获取数据的工夫。使得整个链接变得十分的简略高效。 SELECT feed_idFROM qn_xxx_provider AS aWHERE a.xxx_pv > 30000AND a.xxx_pctr > '0.1'AND a.last_publish_time >= '2022-06-17 08:00:00'AND a.biz_xxx_code = '111'AND a.ds = MAX_PT('xxxxxx_table')AND CAST(a.owner_xxx_id AS VARCHAR) IN (SELECT b.domain_xxx_id FROM xxxxxxx_table AS b WHERE b.rule_type = 12 AND b.channel_xxx_id = 137 AND b.dataset_xx_id = xxxxx AND b.ds = MAX_PT('xxxxx_odps_channel') )and a.feed_id in (SELECT feed_id from xxxxx_submission_feed_hh where activity_id = 222 and approval_status=1 and ds = MAX_PT('xxxxx_submission_hh') and hh = '13');业务价值通过Hologres共享集群搭建的淘宝订阅零碎,撑持了1000+场经营圈选流动工作,反对了双11、618、新权势周等多场大促流动,撑持了订阅玩搭场景等的多个二级页面配置,简化了订阅零碎的搭建,无需数据导入导出就能间接减速离线数据,升高了经营的上手老本,能让业务更加高效的专一于业务增长。在将来,咱们也将会继续应用Hologres来丰盛订阅零碎的性能,以此来放弃业务的高速增长,咱们心愿圈选零碎可能:• 反对更实时的特色: Hologres内表性能更优越,将实时特色导入到Hologres内表中,反对实时特色的查问• 升高调优GUC参数的应用,例如:set hg_foreign_table_max_partition_limit =128;(调整单次query拜访表面分区数), 冀望能够更好的产品化能力解决,升高GUC参数的应用。作者:杜仲舒 (花名:神天) 淘宝订阅开发,现次要负责淘宝订阅业务,主研内容特色了解。 ...

June 30, 2022 · 1 min · jiezi

关于存储:基因检测如何帮助患者对抗疾病

简介:云上高性能计算EHPC助力圣庭医疗晋升基因检测效率,为患者提供更多精准化医疗计划。 为什么他人胡吃海塞都仍然瘦成竹竿,我喝水都会胖? 为什么我这么可怜,疾病会找上我?早晓得就不乱喝酒。 为什么是同一种病,他人吃这个药有用,我吃却没用? 从日常的衰弱治理、疾病预防,甚到罹患重症时的最无效的医疗计划,都跟基因无关。在新冠疫情的溯源与药物研发中,病毒全基因组的测序,同样施展着重要作用。 然而,人类对基因的摸索是一个漫长而艰苦的征程。号称生命科学畛域“登月打算”的“人类基因组打算”于1990年启动,打算测定组成人类染色体的30亿组碱基对。通过六国2000多名科学家致力,耗资30亿美元,终于在2003绘制实现人类基因组图谱。 随着技术的倒退,基因测序的费用正在急速变低。随着二代、三代高通量测序技术的呈现,人全基因组测序的老本在过来十多年间从一千万美元逐步升高到一千美元。 这让很多生命科学畛域的学者看到基因测序技术利用到临床的可能,并心愿以一己所学,为饱受疾病折磨的人带来新心愿。 谷红仓博士也是怀揣着如斯愿景的学者。 01 从入世到入世,以基因测序抗衡癌症回到2013年,谷红仓博士正在哈佛大学-麻省理工博德研究院(The Broad Institute of Harvard and MIT)供职。博德研究院是寰球生物遗传学最顶尖团队,由基因组学泰斗Eric S. Lander创建。Lander博士是前文提及“登月打算”的发起人之一和次要执行人。 身处如此团队,每年不乏在《Nature》和《Cell》等顶级期刊发表论文的机会,已是有数学者梦寐以求。惟一美中不足的是,基础科学次要专一实践摸索,鲜少临床论证,谷博士也心愿能为人类衰弱事业倒退做点什么,思忖着转向临床钻研。 谷红仓博士 恰逢次年,国内浙江天宇药业股份有限公司(股票代码:300702. SZ.)的董事长屠勇军,辗转找到谷红仓博士,邀请谷博士退出并领导其新投资成立的基因测序试验公司--浙江圣庭生物科技有限公司。彼时,中国国内基因测序行业也是风起云涌,格局初成。华大基因(BGI)、贝瑞和康(BERRYGENOMICS)、安诺优达(ANNOROAD)等企业在无创产前基因检测畛域跑马圈地。 面对这个抉择,谷红仓许可在圣庭负责两年参谋,最终在屠勇军董事长的“三顾茅庐”之后,决定回国,以圣庭创始人兼首席科学家的身份,领导这家实验室。同时,他为本人,也为圣庭做了一个重大的决定:转型。 成立之初的圣庭生物次要服务于根底科研,为科研院所提供测序服务和技术领导。转型之后,圣庭将会面向肿瘤的病人,为其进行精准的基因测序和业余的后果解读,为癌症患者提供个性化的医治。改善患者的生存品质和缩短他们的生命周期,这更合乎谷博士的初心,也更合乎他对行业的判断。 你兴许会纳闷,基因测序对病人的意义到底有多重要? 即使是罹患同一种癌症,不同患者可能存在着不同的驱动基因突变,渐变状况不同,会导致有的药对某位患者无效,对其余患者却毫无作用。电影《我是药神》中的靶向药便是典型例子。怎么找到属于本人的特效药?不通过基因测序,须要化疗的病人只能一直地尝试不同的药物。苹果创始人乔布斯破费10万美元进行基因测序,领导个性化医治,换来10年寿命。 圣庭想要把这种技术普惠到更多的患者。 02 转型后高速倒退,面临成长的压力2017年,圣庭生物改成“圣庭医疗”,开始转型。 圣庭医疗杭州实验室 针对临床的基因测序,美国医学遗传专家委员会(American Board of Medical Genetics and Genomics, ABMGG)开设了实验室遗传学和基因组学( Laboratory Genetics and Genomics)我的项目,标准了基因测序从样本的获取、解决、检测、剖析到报告出具等全流程,以造就合格的临床医学遗传实验室主任。该学科全美每年仅录取约50人。“国内的遗传学还是空白,直到2021年才开始设立相似学科”。 为了让圣庭的基因测序做到国内领先水平,谷博士在美国破费两年的工夫,全脱产加入了这个我的项目学习,同时边学边培训圣庭的共事,最终领导圣庭取得了美国病理学家学会(College of American Pathologists, CAP)资格认证,意味着出具的测验报告将具备寰球可比性和互认性,标记着实验室能力达到国际标准。 尔后的圣庭医疗也迎来了疾速倒退期间。业务由晚期的肿瘤基因检测,倒退到基于纳米孔测序技术的病原检测和精力类疾病及慢性病基因查看。团队从原来的20多人倒退到了200多人,逐步在北京、杭州、台州、长沙、广州开设了医学测验核心和实验室;接触到的样本量和接管的业务量也在快速增长。 大量患者深受病魔折磨已久,终于通过基因测序技术,查明了致病的基因突变或病原,找到了对症的药物,病情大大失去了缓解。比方,圣庭癌友李明(化名)是一位肺癌早期患者,并发骨转移、淋巴转移,医生曾预估生存期不到半年。从吃上第一粒靶向药开始,现在曾经走过了四个年头,正在冲破五年。而这期间,李明在圣庭历经了四次基因检测,一次又一次地找到了医治的办法,取得了新生。 在正确的策略与倒退策略下,圣庭也帮忙到了越来越多的病人。然而,飞速发展的圣庭也遇到了成长的懊恼:基础设施的倒退跟不上业务的倒退了。 高通量基因测序经验样本制备、上机测序后,将产生宏大的基因序列数据,并波及海量的数据存储、计算与传输,这对底层基础设施有着极高的要求。原来的IDC机房,曾经跟不上疾速倒退的圣庭。 圣庭须要再次求变。 (点击图片可放大查看) 03 云上高性能计算EHPC晋升测序效率基因测序所产生的海量数据,根本是不来到云的。从前,谷红仓所在的博德研究院,早在10年前每天所产生的数据就有20T,在全美机构中排名第二,很早就抉择了云计算。而圣庭最早因为数据较少,高校对时效性的要求不强,也按行业惯性抉择了自建互联网数据中心(Internet Data Center,IDC)机房。 自建IDC机房对生信科学家们来说天然并非易事,只能硬着头皮“自学成才”。 圣庭IT负责人黄云的经验好像是行业缩影,为了建设公司的IDC机房,“找哪家装修公司,电力系统要多少能源,多少瓦、电线的粗细、UPS要配多少,隔音怎么弄,集群架构、存储技术用什么存储技术,集群调度软件用什么……从装修、部署、施行到运维、应用,都是自学的。行业都是这样经验过去的,岗位没有那么细分”。 黄云走漏,生命科学行业近几年倒退较快,研究员都是身兼多职,没有专门的运维人员。这种形式不仅有着潜在的数据安全隐患,一旦机房产生火灾、旱灾或磁盘损坏等即意味着数据的失落,随着业务倒退,运维老本的减少也难以为继。 圣庭近几年的业务量增长很快,随着数据量的减少,所需的服务器日益增长,运维老本也在回升。谷红仓回顾:“负责IT团队的同学,每周都要过来台州进行保护。每个月的电费高达上万,2021年还呈现了电荒。” 这些他都看在眼里。 更重要的是,计算效率会影响患者的体验。实验室给癌症患者提供的检测报告,个别承诺7天出报告,样本的运输用去不少工夫,本就工夫紧迫。随着业务量减少,IDC机房的算力难以满足要求,大量的测序文件须要排队,工夫给测序人员带来大量的压力,也会影响患者的体验。 圣庭的肿瘤检测业务,实验室在台州,样本须要台州检测,剖析人员则在杭州。基因数据数据计算结束后,须要从台州传到杭州剖析,起初随着北京、广州等多地实验室呈现,数据传输效率和平安危险就愈发攀升。 圣庭开创团队的一位亲友,刚好是云计算从业者,据说了圣庭所面临的运维、计算、存储、传输等一系列的懊恼之后,发现云计算能够完满解决,便举荐他们应用阿里云。单方可说相逢恨晚,圣庭上云已是势在必行。 2021年,圣庭医疗决定将业务全面将业务迁上阿里云。 上云后,圣庭通过阿里云弹性高性能计算EHPC进行基因比对,计算的效率失去了大幅晋升。黄云还记得,最近最多一天送过来5批数据,如果没有上阿里云,利用自建机房可能就须要剖析好几天,最初一批数据光是排队就要三天。 但上云了之后,就不须要放心这个问题了,云的弹性让圣庭能够间接依据数据量随时“弹出”算力,并且随时可基于HPC调度零碎创立出不同队列的规格算力,并作资源隔离,以灵便应答不同业务场景的资源需要及并发。原来剖析一个批次的样本须要10小时,上云之后只须要3小时,计算效率晋升70%,可能疾速给患者出具报告。 ...

June 30, 2022 · 1 min · jiezi

关于存储:腾讯云-TStor-统一存储通过信通院首批文件存储基础能力评测

在大数据回升为国家策略背景下,以后我国各行业、各畛域正踊跃晋升数据资源掌控能力和深度价值开掘能力。存储作为数据基础设施建设的要害支柱,在国民经济倒退过程中的重要性日益凸显。2022年6月16日,中国信息通信研究院(以下简称“中国信通院”)第十四批大数据产品能力评测第二场评审会圆满结束,腾讯云的分布式存储产品"TStor 对立存储"顺利通过了文件存储根底能力评测,是国内首批通过该评测的厂商之一。 随着办公自动化实际的倒退,以及对文档进行共享合作的须要一直加强,文件系统失去了更宽泛的利用。据 IDC 统计,中国软件定义存储市场中,文件存储是利用最为宽泛的存储技术,占比约为48.5%。 目前,文件存储正成为大数据畛域内的技术热点,呈现了一批文件存储厂商,产品能力参差不齐,业界亟需一款规范全面掂量文件存储产品的能力。为帮忙各行业用户选型,优化产业环境,中国信通院依靠中国通信标准化协会大数据技术标准推动委员会(CCSA TC601),联结腾讯云计算(北京)有限责任公司等10余家企业独特参加起草,编制实现了《大数据文件存储技术要求与测试方法》,旨在帮忙存储产品供应商及用户方评估本身文件存储产品的技术能力和研发方向。 本规范笼罩了产品性能操作、高可靠性、治理能力、兼容性及安全性五个能力域,涵盖了文件存储从应用到治理的全流程技术要求。全方面主观地评估文件存储产品的产品能力,为各行业用户选型提供领导。 作为国内当先的云计算厂商,腾讯云积极参与了《文件存储技术要求与测试方法》的起草工作。旗下的 TStor 对立存储产品(以下简称“TStor”),成为首批参加评测的产品之一。 TStor 是腾讯云自主研发的存储产品,基于分布式架构,提供块、文件、对象等多种存储服务,次要用于混合云、公有云等须要私有化部署的数据存储场景。作为一款成熟稳固、交融高效的存储产品,TStor 在测评过程中体现优异,顺利通过了各项能力测试,这阐明 TStor 齐全满足文件存储场景的应用需要,可用于文件共享、备份归档、广电媒资、票据影像等各类利用场景。 目前,腾讯云 TStor 存储数据量达数百 PB,承载泛滥重要业务零碎。当然,TStor 将持续砥砺前行,致力为客户升高企业存储数据的老本,通过灵便、经济、高效的形式,治理呈指数级增长的业务数据,助力客户实现数据化转型。

June 29, 2022 · 1 min · jiezi

关于存储:为什么大型项目更倾向自研存储

一次看似偶尔的我的项目,开启了中科曙光的自研存储产品线。 那是2009年,中科曙光承建了某个计算零碎,而零碎数据须要存储在一个集中的共享平台中。作为行业领先者,这套零碎的存储规模也是十分宏大,数据需要达到了16PB。即使是在10多年后的明天,许多企业的数据系统也达不到16PB,何况是在那个年代。也正因为数据量太过宏大,应用过后支流的集中式存储须要高额的老本,而过后的开源零碎又难以承载这么大的数据量。在通过丰盛的调研和重复论证之后,曙光专家团队下定决心——本人研发。 由此曙光开启了十余年的分布式存储自研之路。当初回头看看,之所以有勇气抉择自研存储之路,正是曙光对本身技术和实力有着充沛的信念。其实在过后,曙光可抉择的开源产品包含Lustre等,然而思考到将来的技术倒退和超大规模零碎的复杂性、安全性等因素,自研的路线尽管艰苦,却走得最虚浮、最有价值。 16PB数据需要催生曙光自研存储之路 “2009年咱们做这个事之前,曾经做了大略3年的技术积攒,相干的技术曾经就绪,不足的只是产品化的过程。所以大家可能看到2009年曙光开始做自主研发了,其实正确的说法应该是2006年咱们就曾经开始做了技术的论证和积攒,2009年曙光第一代分布式存储产品正式推向市场,也构建了过后国内第一套、也是最大的共享存储系统——16PB。”在谈到曙光存储倒退历程的时候,中科曙光存储事业部副总经理张新凤有些冲动。 曙光面对的第一个利用场景就是16PB的存储数据共享,这也是整套零碎成败的要害。在通过间断几个月的科研攻关后,曙光诞生了第一代ParaStor200。第一代产品次要采纳非对称部署的架构,通过对POSIX协定的反对,满足对计算数据高效共享的利用需要,并且采纳正本技术来保证数据的可靠性。在过后,曙光ParaStor 200冲破了传统存储架构在容量和性能上的瓶颈,率先实现了文本、图像、声音、网页等非结构化数据存储,承载了泛滥大型项目建设。 随后推出的曙光ParaStor 300,强化了对更多标准协议的反对,包含当初大家耳熟能详的NAS、S3、HDFS等等,这也阐明曙光自研存储在生态和利用上也越来越丰盛。更重要的在于,曙光存储始终与利用紧密结合,同时也依据理论的利用场景进行优化。 曙光自研存储十分看重落地实际、解决客户理论问题的能力,“咱们真的要做到让用户在大规模零碎,可能应用一些新型的性能。通过深厚的技术积攒和行业洞察,曙光能在千差万别的利用需要中提供最佳利用实际”,张新凤介绍说。正是定制能力,让曙光存储在多个案例中大放异彩。 现在,曙光的自研存储曾经迭代到了ParaStor 300S,实现了协定的交融和互通,从底层同时反对文件、块和对象三种数据类型。这也让ParaStor300S具备更好的性能体现、撑持更丰盛的利用,成为了许多大型项目利用的首选,取得了不少行业和地区用户的青眼。 自研存储:什么水平算自研? 为什么大型项目都会抉择自研呢?其实如果单论性能,业界也有不少同样优良的存储设备。然而曙光ParaStor 300S自研存储带来的不仅仅是性能,更有超强的扩展性和稳固、平安的高可靠性,尤其是大规模我的项目来说,后者也是管理者们选型时重点思考的因素之一。其实目前业界也有不少厂商都推出了自研的存储,但究其基本,开源代码占比却很高。那么问题来了——咱们如何定义自研存储呢? “对于自研,业内没有公认的定义,也没有评判的规范,大家都在说本人是自研的,然而具体到什么水平算是自研,我想大略能够围绕两个方面来考量:一是技术的深度,一是与利用的深度绑定以及大规模的验证”,张新凤说到。对于自研存储来说,技术深度,这也是考查品牌技术实力的第一步。 存储系统,就是对存储介质的治理。目前业界很多开源的存储系统,为了升高代码开发量,缩短研发周期,大多采纳ext4、zfs接口来治理磁盘,这种间接治理磁盘的形式,无奈间接、高效施展磁盘性能。特地是面对大规模部署时,磁盘成千上万块,单片磁盘性能无奈充分发挥,最终会影响整体性能。 曙光在自研存储的路线上深耕多年,最后也曾思考过ext4等文件系统。然而随着利用的深入、数据扩大能力需要的疾速晋升,最终在掂量了性能、性能等因素之后,曙光采纳本人开发的本地对象管理系统(Object System)实现对磁盘更精细化的管制和更高的存储利用率。“咱们在架构上做了很多的设计,包含对底层Object System技术更深层的优化。这样的底层技术对咱们带来的益处十分多,一方面能够把存储空间的利用率提到最高的程度,另外包含咱们对于性能的优化能够达到磁盘的IO级别。之所以曙光大规模存储系统性能始终业内当先,也离不开这些底层核心技术的积攒”,张新凤坦言。 在解决了存储的问题之后,接下来就是如何实现数据的传输,最重要的就是尽可能升高网络负载,这样能力最大化存储和计算节点的数据共享传输。如果存储占用的网络资源比拟高,势必对计算有比拟大的影响。曙光通过对超大规模存储网络相干技术的优化,最小的网络资源开销实现网络大带宽、低提早的指标。 也正是得益于自研的底层技术,曙光对于存储的架构和性能都有分明的认知,包含在进行重删压缩或者多协定的共享与互通等利用中,都能够取得更快的响应反对,优化也更加彻底。能够说,深刻底层的架构自研,是曙光存储的劣势所在,也是底气所在。 掂量自研存储的另一个规范就是与利用的深度绑定以及大规模的验证。正所谓“能抓耗子就是好猫”,是否实现与利用的深度定制,是掂量自研程度的另一个规范。产品性能不在于多,而在能用于、敢用于生产零碎,带来良好的用户体验。 比方某科研客户在存储利用中,曙光针对用户采集数据失落的问题,对整个存储的IO门路进行了从新优化,使性能晋升了4倍;同样是科研利用,在某研究所气象模仿迷信安装零碎我的项目中,为了解决用户业务流程耗时过长的问题,曙光集结业余研发团队为客户定制减速技术,帮忙用户实测使用性能晋升8到10倍。由此看来,曙光充沛抓住了客户痛点,也施展了自研存储灵便调配的劣势,实现了疾速响应。 真正要考验存储自研技术实力的,还是要看超大规模的部署实际。海量存储系统必然随同着大量客户端的并发拜访需要,保障所有客户端数据拜访的强一致性,防止对同一文件的并发读写对彼此数据的毁坏,是一个成熟海量存储系统的必备素质。曙光ParaStor在分布式锁(Distributed Lock Management,DLM)的应用与优化方面投入了大量精力,一直晋升大规模分布式锁获取与开释的性能与可用性,并减少了可重入、非阻塞等个性,无效保障高并发共享拜访场景的程序、秩序与效率,在气象环保、能源地质等海量数据处理场景失去了宽泛的利用。 对于海量数据存储来说,动辄就是成千上万块磁盘,即使依照故障率来说每天也会有2-5块磁盘的损坏,因而如何保障数据安全也就更为重要。为此,曙光研发团队为ParaStor 300S通过智能化的技术来辨认硬件的衰弱状态,通过高效无感知的自愈技术和智能化故障预处理来保障硬件的可靠性,同时采纳多正本、纠删码等技术显著缩短故障数据的重建工夫,保障系统真正牢靠、高效、稳固的运行。 联合行业利用的理论,曙光团队曾经将ParaStor 300S存储与泛滥客户的业务实现了深层优化和绑定,仅就往年来说,曙光就曾经服务了2个超300PB的客户我的项目,这其中也进行了大量的利用移植和优化。其实从诞生之日起,曙光存储就是为了大规模利用存在的,所以在利用和大规模部署上,客户齐全不须要放心。 从实验室再到利用的残缺开发路线,曙光ParaStor一直在理论业务中证实了本身的价值,每一代产品都代表着过后最先进的存储技术。最新一代ParaStor 300S具备了文件、块、对象、HDFS等四种支流协定的存储服务, 3节点即可承载非结构化与结构化数据业务,打消存储设备多样性及治理复杂性,升高存储系统的构建老本。特地在往年,随同着“东数西算”策略的全面开展,曙光也成为了煊赫一时的自研数据解决方案提供商,承载了更多大型项目。 东数西算,海量存储要高效,更要绿色 往年3月,“东数西算”策略正式启动。其中最重要的就是数据的平安存储和传输。这对于存储市场是时机也是挑战,岂但须要弱小的数据存储和治理能力,更须要满足绿色节能、疾速响应、平安稳固等一系列需要,也为曙光存储的倒退提供了新空间。 依据发改委颁布的数据预计,“十四五”期间,大数据中心投资将以每年超过20%的速度增长,而联合“双碳”大背景,升高PUE晋升数据中心整体能效的大趋势下,液冷技术利用曾经成为行业共识更成为将来数据中心制冷首选。 曙光同样是这个畛域的先行者。早在2011年,曙光便开始液冷相干技术钻研,随后推出国内首款标准化量产的冷板液冷服务器,率先实现冷板液冷服务器大规模商业化利用。当然最值得一提的还是浸没相变液冷技术,这也是曙光成为液冷行业领军者的“杀手锏”——将数据中心的PUE降至1.04,当下最低,相比传统风冷数据中心能效比晋升超过30%。 “曙光在绿色数据中心上有很多数据技术积攒,包含浸没式的液冷技术,在国内的PUE始终做得比拟当先,当初咱们也把液冷的技术引入到存储系统中,更好的实现绿色节能环保指标。曙光预计在往年推出一套液冷的分布式存储,会采纳冷板的设计,再加上前端液冷的计算节点,咱们就能够齐全造成一体化的液冷计划,在这个计划的加持下可实现PUE1.04”,在谈到助力数据中心节能的时候,张新凤显得信念满满。 东数西算正须要这样弱小的节能技术,也便于将海量数据进行平安、稳固的存储。在“东数西算”成渝枢纽节点内的西部(重庆)科学城先进数据中心便是曙光“液冷数据中心”的具体实际。 除了下面提到的西部(重庆)科学城之外,曙光存储也曾经在泛滥智算核心、运营商智能化降级等我的项目中负责配角,而在一贯劣势的科研项目中,曙光存储也广泛应用在石油地震勘探、天气预报和气侯模仿等零碎中,为中国的科研倒退贡献力量。 面对海量数据增长,面对东数西算的国家策略,将来中国存储市场曾经站在了十字路口,无论从利用场景的理论需要还是大规模扩大的潜在平安来说,市场更须要有自研核心技术、平安稳固的存储解决方案,这也是曙光多年来保持取得的回报。 正如在采访最初张新凤所说:“目前来说存储倒退是一个转折点,将来的数据中心规模更大,更须要实现对异构海量数据的交融。我置信以曙光为代表,领有核心技术的存储厂商,将迎来更大的倒退空间。”

June 28, 2022 · 1 min · jiezi

关于存储:为什么生命科学企业都在陆续上云

简介:摘要:本文将从生命科学行业现状机器对算力的微小需要开始,展现该行业目前在基础设施层面临的需要与痛点,解答为什么云上高性能计算将大大有助于生命科学企业的疾速倒退。文 | 阿里云弹性高性能计算团队 生命科学行业正迎来倒退的黄金期间。医学的倒退和人们对衰弱的谋求,正疾速转换为生命科学整个产业链倒退的新动能,高性能计算HPC在生命科学钻研中扮演着非常重要的角色。同时,随着生命科学行业的疾速倒退,咱们能够看到,行业的上云曾经成为了势不可挡的趋势。 得益于云的弹性与便捷,一个行业对云计算的急迫需要往往与其疾速倒退分不开,传统IT的备货、交付、部署的长流程决定了它无奈满足疾速成长的行业猛增的IT需要。 本文将从生命科学行业现状机器对算力的微小需要开始,展现该行业目前在基础设施层面面临何种需要与痛点,解答为什么云上高性能计算将大大有助于生命科学企业的疾速倒退。 一、生命科学对算力的需要:规模大、高性能、类型丰盛目前,生命科学行业最次要的两个场景,别离是计算机辅助药物设计和基因测序。 1、计算机辅助药物研发21世纪以来,因为疾病复杂程度的一直晋升,可成药靶点逐步缩小,新药研发的难度和老本明显增加,同时寰球新药研发成功率呈显著降落趋势。翻新药物研发是药企构建外围竞争力和继续倒退的要害,而药物研发是一项高投入、高技术、高风险、长周期的系统工程。药企开始寻求AI、大数据等计算机技术辅助药物研发。 药物研发全流程 新药的诞生通常须要经验药物发现、临床前钻研、临床试验和审批等阶段后,最终才能够获批上市。在靶点发现、化合物合成等药物发现阶段,以及化合物筛选等临床前钻研阶段,往往须要借助高性能计算弱小的计算能力能力减速研发过程辅助药物设计。 在靶点发现环节进行蛋白质构造预测时,既有基于分子动力学和平面波等进行预测的计划,也有基于AI for Science的解决方案。 前者是高性能计算HPC典型的利用场景,有VASP、Gromacs等成熟软件的解决方案,通过计算失去模仿后果。该计划中,模仿问题规模与计算资源数量成正比。 与此同时,业界也逐步涌现出AlphaFold2等解决方案,通过利用AI技术建设蛋白质序列和构造的关系,一直学习已知序列和构造进而对蛋白质构造进行预测。在弱小的算法与算力的反对下,DeepMind将运算工夫从数月缩短至数小时。随着网络模型参数规模的减少,对算力的要求也越来越高。 蛋白质三维构造AI预测 同样地,在虚构化合物筛选时,药企通常须要对数百万级别的分子和蛋白构造做对接。每个配体分子都须要计算资源来获取对接分数,从而筛选出可用于试验验证活性的分子,面对海量的配体分子库,是须要宏大算力撑持分子和蛋白构造的对接工作。显然,单机的算力是很难胜任这样大规模的虚构筛选工作,因而应用高性能计算HPC集群进行大规模虚构筛选工作就至关重要。 先导化合物发现流程 在靶点发现、化合物筛选和化合物合成等流程中,不同的计算模式、参数和软件,对计算资源的要求往往也是不同的。尤其随着AI的引入,对多资源的多样性配置提出更高的要求。 2、基因测序基因测序的业务流程次要包含样本上机(测序仪)、测序文件生成、基因序列比对及后果剖析(计算机),并将后果数据及报告交付至各科研医疗机构。其中,基因序列比对及剖析环节极为耗时,波及大量的生信畛域业余软件,计算资源的算力性能及计划优化对生信研发效率起着至关重要的作用。 基因测序业务流程 对于基因测序典型的WGS(人类全基因组测序)流程,因为波及文库索引构建、reads比对、排序、去重、BQSR校对以及Caller等环节,办法多样、流程简约,且不同步骤对应BWA、GATK等不同的软件及参数,不同的生信软件可能又对应不同的并发能力及性能,不同的筛选工作对计算资源的多样性和规模都是不同的,不仅须要弹性的计算资源,还须要具备多样的实例配置。 二代基因测序WGS测序流程 二、生命科学在基础设施层面临的痛点与挑战原来大部分的生命科学企业都是采取本人在线下自建IDC机房的形式。总体来说,生命科学企业的IT基础设施次要面临资源规模固定、建设周期长和硬件资源运维老本高三大问题,具体表现如下: 1、资源固定,无奈满足业务增长和资源多样性需要1.1 算力规模固定,影响业务增长速度 企业在建设传统IDC之初,资源规模往往是明确布局的,因而整个集群的工作吞吐量是固定的。对于具备周期性的新药研发及测序业务来说,不同的研发周期和研发工作对资源的需要是不一样的,所以通常就会产生:在高峰期呈现工作因期待资源而排队的景象,低谷期又呈现资源闲置的问题,这就须要有弹性的计算资源来解决业务。 1.2 资源配置固定,无奈满足资源多样性需要 本地IDC机房的计算资源因为是后期布局好的,其资源的配置是限定的,则会导致传统测序形式常常以雷同的资源去实现不同测序步骤的执行,无奈灵便变配,导致了大量的计算资源节约。然而如前所述,其所须要的计算资源是灵便多边的。 1.3 存储容量固定,无奈满足用户一直增长的存储需要 对于一直增长的存储规模,生信企业面对极大的线下存储设备运维和存储设备洽购老本压力,如何可能取得高效、平安、稳固、高性价比及可继续的存储解决方案,也是生命科学企业面临的一大难题。 以蛋白质构造钻研为例,个别有X射线晶体学、核磁共振和冷冻电镜三种办法来测定蛋白质构造。以冷冻电镜为例,单个样本的电镜数据个别是10TB级别,企业本地的数据量都是PB级。与此同时,生物信息科研数据蕴含大量的参考文库数据、样本数据及两头数据文件。其中,单个人类全基因组测序的全流程数据就达1TB大小,因为生信数据的周期性及特殊性,通常的生信企业本地数据的存储量都达到PB级别。 2、建设周期长,影响业务增长2.1 交付周期长,无奈满足用户即开即用的时效需要 传统IDC建设,个别须要经验有立项、招投标、洽购和交付等流程,往往须要数月甚至长达一年的建设周期。在立项环节须要对后续业务规模进行评估、明确资源建设计划,这对于倒退较快的业务来说,如此长时间的建设周期将成为倒退较快的业务的瓶颈。 2.2 硬件资源选型迭代慢,无奈满足用户一直降级的资源需要 在传统IDC建设中,企业往往很难疾速地获取最新架构的硬件资源,而这些资源往往能够给业务带来可观的减速。 例如,相较于Volta架构,英伟达A100架构的单精训练最高能够提供20倍的减速,这对于借助AI技术来减速的蛋白质构造预测来说,是一个极大的助力。 而对于WGS测序,基于GPU或FPGA的异构减速计划研发也存在着大量的选型及验证过程。在线下IDC建设中,不仅须要思考CPU/GPU/FPGA等产品的公布工夫,抉择适合的硬件规格,还须要评估业务架构的倒退,这将是生命科学各类企业在建设资源时面临的微小挑战。 3 运维老本高 线下IDC机房的运维工作也须要较大的人力投入。除了集群计算资源的治理、计算工作的调度、用户权限治理之外,计算资源自身的稳定性,尤其是硬件故障对业务进度将会产生重大影响。如果工作在计算过程中因宕机而终止,在没有checkpoint的状况下只能从新计算。此外,线下存储也须要思考容灾,防止因硬件故障导致的数据失落。所以,计算资源的治理、资源稳定性、数据容灾等工作都须要专门的运维团队来负责,无形中又减少了老本。 以后,因为传统IDC提供的基础设施存在资源限度、交付周期长、资源无弹性、硬件资源迭代降级慢、运维老本低等问题,越来越多的生命科学企业转向更具弹性、稳固、高性价比的云上高性能计算解决方案,以放慢业务的翻新倒退。 三、阿里云EHPC生命科学系列解决方案阿里云置信,云上高性能计算是目前HPC建设应用的最佳路径。针对生命科学行业的相干需要,阿里云依靠遍布寰球的计算力及当先行业的神龙架构,提供高性能计算公共云解决方案、混合云解决方案、大内存实例性能优化解决方案、容器化解决方案、制药AI解决方案等,能够笼罩解决行业不同场景需要,并领有以下劣势: (1) 丰盛算力,按需购买:阿里云在寰球四大洲开服经营27个公共云地区、84个可用区;云上主动伸缩能力反对跨数据中心调度,满足大规模并行作业要求计算资源的类型也可依据调度器队列灵便配置反对多规格异构算力,以及大内存型、高主频等规格CPU实例; (2) 弹性伸缩,降本增效:阿里云弹性高性能计算E-HPC平台可动态创建/删除计算节点,灵便配置伸缩策略,按理论负载弹性计费,抢占式实例价格最低至1折,升高客户应用老本,进步作业品质及速度; (3) 极简运维,让企业专一外围业务倒退:全面兼容HPC业务,主动搭建集群,提供作业运行性能剖析,别离基于集群、实例、过程等维度定位热点,反对作业报表可视化输入,提供用户、工作、队列等维度的生产组成; (4) 新技术赋能,疾速享受红利:IaaS层,阿里云继续迭代最新算力,SaaS和PaaS有着上百家第三方合作伙伴集成阿里云,让生命科学企业疾速获取相干技术服务。阿里云丰盛的生态及云上继续迭代的技术能力,帮忙企业享受到全流程的技术服务与最新技术红利。 阿里云高性能计算目前曾经广泛应用于工业仿真(CAD/CAE)、芯片设计(EDA)、生物医药资料、能源勘探与公共服务等多个行业。 深势科技利用弹性供给的老本优化策略,联合抢占式实例的价格,以30%的老本实现海量资源的交付。同时云上弹性高性能计算E-HPC主动运维的个性,升高了深势科技的运维老本,晋升了集群管理效率。 生命医学企业圣庭医疗通过上云优化了传统IDC集群的数据可靠性、运维老本及效率问题,基因比对与剖析效率晋升了70%。阿里云高性能计算团队还通过联合Slurm业务工作流dependency与主动伸缩的联合,缩小了有效的计算资源节约,无效升高了应用老本。 欢送点击以下链接进入“阿里云生命科学最佳实际”专题页理解更多计划与案例具体内容:https://developer.aliyun.com/topic/life\_science\_best\_practice 版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

June 23, 2022 · 1 min · jiezi

关于存储:今天-3-点Intel-Arch-和高性能存储技术两大-SIG-核心成员在线分享|第-2122-期

「龙蜥大讲堂」6 月 7 场干货常识分享,10+ 位大咖带你共享技术盛宴!预报详情请点击这里查看!观看直播的同时参加互动还有龙蜥精美周边等你来拿,还请提前扫码进群。明天 SIG 双周会直播邀请了四位技术大咖在线分享,来自龙蜥社区 Intel Arch SIG Maintainer 首期月度例会,分享《Intel Arch SIG 倒退和布局》、高性能存储技术 SIG 核心成员分享《 Nydus 容器镜像减速之内核演进之路》,快来扫码入群,预约前排小板凳观看直播吧! Intel Arch SIG 倒退和布局会议工夫:2022 年 06 月 14 日 (明天)15:00-16:00 会议内容: Intel Arch SIG 的倒退现状、成绩分享以及运行我的项目介绍;Intel Arch SIG 与 Anolis/Alinux 实际之路;Intel Arch SIG 运作的布局介绍。听众受害: 理解 Intel Arch SIG 的倒退现状和将来布局,参加 SIG 探讨和策动更多社区活动。 不定期技术分享,退出 SIG 摸索和利用更多 Intel 炫酷的技术,零门槛退出 Intel Arch SIG 参加开发和共建。加入 SIG workshop,有机会深度参加 Intel 新平台研发、全栈软件生态构建,推动新技术的演进和翻新。 适宜人群: Linux 内核开发、保护、Intel 平台开发者和爱好者。 讲师介绍: 李崇(Aubrey):Intel 云软件架构师,龙蜥社区 Intel Arch SIG Maintainer。英特尔软件与先进技术事业部云软件架构师,领有近二十年操作系统畛域开发和架构应验,对 Solaris 和 Linux 多个子系统均有奉献。Ethan:龙蜥社区 Intel Arch SIG Maintainer,目前次要负责 Intel 新平台和 Linux 操作系统相干开发工作,专一于 Linux 操作系统内核以及 x86 体系结构子系统。 ...

June 14, 2022 · 1 min · jiezi

关于存储:Streaming-Data-Warehouse-存储需求与架构

简介:Apache Flink Table Store 我的项目正在开发中,欢送大家试用和探讨。 作者:Jingsong Lee jingsonglee0@gmail.com 点击进入 Flink 中文学习网 一、数仓中的计算在计算机领域,数据仓库(DW 或 DWH),是一个用于报告和数据分析的零碎,被认为是商业智能的一个外围组成部分。它将以后和历史数据存储在一个中央,为整个企业的工作人员创立剖析报告。[1] 典型的基于提取、转换、加载(ETL)的数据仓库应用 ODS 层、DWD 层和 DWS 层来包容其要害性能。数据分析师能够灵便的查问 (Query) 数仓中的每一层,获取有价值的商业信息。 数仓中有三个要害指标 [2]: 数据的新鲜度:数据从产生开始,到在仓库中通过一系列解决后可供用户查问所通过的工夫长度。通常 ETL 就是用来筹备数据的一系列过程,ETL 更多是通过调度运行一系列流计算或者批计算的作业来实现。数据的查问延时:数据筹备好后,用户通过 Query 查问表中的数据,从用户收回查问到收到查问后果的工夫长度为查问延时。查问延时间接决定了终端用户的体感。老本:实现一定量的数据分析(包含 ETL 和查问等各类计算)须要的资源量。老本也是数仓中的一个要害指标。这三个指标的关系是什么呢? 企业须要在管制老本的状况下,能达到更好的查问延时和新鲜度。不同的数据可能有不同的老本要求。新鲜度和查问延时在某些状况也是此消彼长的关系,比方应用更长时间来筹备数据、荡涤和预处理数据,查问会更快。所以这三者形成了数仓中的一个三角 Tradeoff [2]: (注:三角中,离顶点更近代表更好,离顶点更远代表更差) 对于这个三角 Tradeoff,业界目前的支流架构有着怎么样的取舍呢? 二、业界支流架构典型的离线数仓: 离线数仓应用 Batch ETL 基于分区粒度来覆写 (INSERT OVERWRITE),在解决超大数据的场景的同时,有着很好的老本管制。 然而它有两个比较严重的问题: 新鲜度差:数据延时个别是 T + 1,即业务上当天产生的数据须要第二天能力查问到。不善于解决更新流 (Changelog),离线数仓外面存储的都是 Append 数据,如果须要接管相似数据库变更日志的更新流,须要重复的合并全量数据和增量数据,老本激增。 为了解决上述问题,实时数仓逐步衰亡,一个典型的实时数仓实现是应用 Flink + Kafka 的计划构建中间层,最终写到在线数据库或剖析零碎中,达到秒级的全链路延时,有着十分好的数据新鲜度。 然而,它也逐步暴露出一些问题。 问题一,中间层不可查 存在 Kafka 中的数据查问受限,无奈灵便的进行 OLAP 查问,通常也没有保留长期历史数据。这与宽泛应用的数仓有很大不同,在一个成熟的 Warehouse 体系中,数仓中的每一个数据集都应该是可供查问的 Table 形象,而 Kafka 无奈满足用户对于 Table 形象的所有需要,比如说: ...

June 10, 2022 · 3 min · jiezi

关于存储:详解异步任务函数计算的任务触发去重

简介:本篇将介绍函数计算 Serverless Task 对于工作触发去重的技术细节,以及在工作执行准确性有严格要求的场景中应如何解决。前言 无论是在大数据处理畛域,还是在音讯解决畛域,工作零碎都有一个很要害的能力 - 工作触发去重的保障。这个能力对于一些准确性要求极高的场景中(如金融等)是必不可少的。作为 Serverless 化工作解决平台,Serverless Task 也须要提供这类保障,在用户利用层面及本身零碎外部两个维度具备工作的精确触发语义。本文次要针对音讯解决可靠性这一主题来介绍函数计算外部的一些技术细节,并展现如何在理论利用中应用函数计算所提供的这方面能力来加强工作执行的可靠性。 浅谈工作去重在探讨异步音讯解决零碎时,音讯解决的根本语义是无奈绕开的话题。在一个异步的音讯解决零碎(工作零碎)中,一条音讯的解决流程简化如下图所示: 图 1 用户下发工作 - 进入队列 - 工作处理单元监听并获取音讯 - 调度到理论 worker 执行 在工作音讯整个的流转过程中,任何组件(环节)可能呈现的宕机等问题会导致音讯的谬误传递。个别的工作零碎会提供至少 3 个层级的音讯解决语义: ●At-Most-Once:保障音讯最多被传递一次。当呈现网络分区、零碎组件宕机时,可能呈现音讯失落; ●At-Least-Once:保障音讯至多被传递一次。消息传递链路反对谬误重试,利用音讯重发机制保障上游肯定收到上游音讯,然而在宕机或者网络分区的场景下,可能导致雷同消息传递屡次。 ●Exactly-Once机制则能够保障音讯准确被传送一次,准确一次并不是意味着在宕机或网络分区的场景下没有重传,而是重传对于接受方的状态不产生任何扭转,与传送一次的后果一样。在理论生产中,往往是依赖重传机制 & 接管方去重(幂等)来做到 Exactly Once。 函数计算可能提供工作散发的 Exactly Once 语义,即无论在何种状况下,反复的工作将被零碎认为是雷同的触发,进而只进行一次的工作散发。 联合图 1,如果要做到工作去重,零碎至多须要提供两个维度的保障: 1、零碎侧保障:任务调度零碎本身的 failover 不影响音讯的传递正确性及唯一性; 2、提供给用户一种机制,能够做到整个业务逻辑的触发去重语义。 上面,咱们将联合简化的 Serverless Task 零碎架构,谈一谈函数计算是如何做到下面的能力的。 函数计算异步工作触发去重的实现函数计算的工作零碎架构如下图所示 图 2 首先,用户调用函数计算 API 下发一个工作(步骤 1)进入零碎的 API-Server 中,API-Server 进行校验后将音讯传入外部队列(步骤 2.1)。后盾有一个异步模块实时监听外部队列(步骤 2.2),之后调用资源管理模块获取运行时资源(步骤 2.2-2.3)。获取运行时资源后,调度模块将工作数据下发到 VM 级别的客户端中(步骤 3.1),并由客户端将工作转发至理论的用户运行资源(步骤 3.2)。为了做到上文中所提到的两个维度的保障,咱们须要在以下层面进行反对: 1、零碎侧保障:在步骤 2.1 - 3.1 中,任何一个两头过程的 Failover 只能触发一次步骤 3.2 的执行,即只会调度一次用户实例的运行; ...

June 10, 2022 · 1 min · jiezi

关于存储:RocketMQ-50-存储计算分离新思路

简介: 在阿里云上,RocketMQ 的商业化产品也以弹性云服务的模式为寰球数万个用户提供企业级的音讯解决方案,被广泛应用于互联网、大数据、挪动互联网、物联网等畛域的业务场景,成为了业务开发的首选消息中间件。Apache RocketMQ 自 2012 年开源以来,因其架构简略,业务功能丰富,具备极强的可扩展性等特点被宽泛采纳。RocketMQ 在阿里巴巴团体外部有着数千台的集群规模,每天十万亿音讯的规模。在阿里云上,RocketMQ 的商业化产品也以弹性云服务的模式为寰球数万个用户提供企业级的音讯解决方案,被广泛应用于互联网、大数据、挪动互联网、物联网等畛域的业务场景,成为了业务开发的首选消息中间件。 只管消息中间件 RocketMQ 在阿里巴巴和开源社区曾经走过了十多个年头,但在云原生浩浩荡荡的浪潮下(《云原生时代消息中间件的演进路线》),咱们开始对 RocketMQ 的架构有了一些新的思考。 痛点与困局 阿里巴巴有大规模实际 RocketMQ 生产教训,迄今为止,团体稳固运行着数百个 RocketMQ 集群,数千个节点,自 RocketMQ 从 2016 年对外商业化以来,始终连续跟团体消息中间件雷同的架构为云上的客户提供全托管的音讯服务,从 16 年倒退至今,音讯队列 RocketMQ 在云上曾经具备相当大的业务规模,大规模的场景下,这套极简的分布式架构在云原生环境下逐步显露出来了一些弊病,云计算简单的网络环境,数万企业客户的多租场景,为 RocketMQ 的商业化产品带来的不少的挑战。 1.png image.gif 团体消息中间件通过存储计算一体化的部署架构,为团体电商业务提供了高性能、低提早、低成本的音讯服务。随着云的进化,云开始变得更加弹性,网络环境更加简单,云原生时代对效率也有了更高的要求,咱们也迎来了对云上音讯架构进行云原生化革新的契机。 如上图所示,是目前 RocketMQ 在云上部署的一个简化版的架构(仅蕴含最外围的组件),这套部署架构近年来在云上遇到的次要痛点有以下两点: 富客户端状态,RocketMQ 的富客户端蕴含大量的企业级个性,富客户端意味着逻辑简单,容易出 Bug,依赖客户经常性更新到最新 Release 来放弃客户端和服务端良好的兼容性。在单个组织内往往没有任何问题,阿里团体外部通过潘多拉等容器也能够主动为用户降级,但云产品的用户多样性强,降级的驱动力也有余,导致线上存在大量的旧版本客户端,带来稳定性危险。 计算存储一体化,计算存储一体化的 Broker 具备部署构造简略,开源用户能够做的开箱即用;部署节点少,低成本反对团体双十一万亿级的音讯规模;数据就近解决,无中间环节,性能高,提早低。但在云上简单网络状况下,会带来较多额定的运维工作,难以满足云用户多样性的网络诉求,比方 SingleTunel、AnyTunnel、PrivateLink、公网等。 基于这个大背景,阿里云音讯团队对 RocketMQ 在云上进行了云原生架构降级专项,实际存储计算拆散的新架构,同时引入基于 gRPC 的全新多语言解决方案(浏览《全面降级 —— Apache RocketMQ 5.0 SDK 的新面貌》理解更多详情),来减速消息中间件的云原生化。 存算拆散新思路 如何在云上实际存算拆散,如何摸索出一个适宜 RocketMQ 三位一体的新架构,是 RocketMQ 进行云原生架构降级次要思考的点,这外面有很多事实因素的考量: RocketMQ 在团体曾经充沛验证了其架构优良的特色,是否须要适配云的需要进行存算拆散?由此带来的提早、额定的老本是否能笼罩新架构带来的新价值? 阿里云上多款音讯产品曾经是存算拆散的架构状态,比方音讯队列 RabbitMQ,音讯服务 MNS,新的架构怎么与这些产品架构进行交融,又有哪些差一点? 对于第一个问题,实际的后果曾经通知咱们架构简略的优异性,但在云上遇到的痛点又通知咱们存算拆散势在必行,可见存储与计算要不要拆散,并不是一个非此即彼的抉择,架构上的抉择是否能都要呢?对于这个问题,咱们的解法是存储计算须要能做到可分可合: 「分」有两层解释,首先代表了模块和职责的明显,属于计算的逻辑应该关闭在计算模块,属于存储的逻辑应该下成到存储模块;第二层是计算和存储要反对离开部署,计算齐全采纳无状态的部署形式,存储是有状态的放式,来很好的解决在云上多租户场景面临的种种问题。 ...

June 9, 2022 · 1 min · jiezi

关于存储:天翼云对象存储ZOS高可用的关键技术揭秘

对象存储是一种将数据作为对象进行治理的网络存储架构,晚期常被用于数据备份归档等场景。 对象存储是一种将数据作为对象进行治理的网络存储架构,晚期常被用于数据备份归档等场景。随着各行业数字化转型深刻,非结构化数据出现爆发式增长,对象存储作为可能提供可大规模扩大且经济高效的存储计划,其利用愈发宽泛,逐步深刻政务、金融等客户的外围业务畛域,这也对对象存储的可靠性、可用性提出了更高要求。 基于高牢靠的底座、齐备的平安防护、一体化的运维治理与容灾设计体系,天翼云对象存储ZOS为企业提供高可用、高牢靠的存储服务,应答数据爆发式增长和疾速查问需要,保障更多政企客户平安用云。 天翼云对象存储ZOS整体可用体系建设图天翼云对象存储ZOS采纳分布式系统架构设计,具备灵便伸缩的接入层和高牢靠的分布式架构,可进一步晋升存储服务可用性。 灵便伸缩的接入层ZOS可能反对海量的小文件拜访和存储。高达10亿+数据量的单桶存储,是对对象存储产品前端接入网络高负载、高可用性的挑战。天翼云ZOS通过一整套基于CStor-LVS和CStor-Nginx的架构来满足这一需要。如上图所示,ZOS通过前端接入全互联高速网络,实现了各个节点在负载上的完满平衡。接入节点间通过keepalived的形式实现了LVS节点之间的高可用,在面对单节点故障的场景时,可能迅速做出切换,保障业务的连续性,服务可靠性高达99.995%。同时,在Router、LVS和Nginx侧,别离实现了各自的一致性Hash,在前端流量持续增长的同时,可能实现用户无感知的热伸缩。 高牢靠分布式架构当ZOS进行文件存储时,会以对象的形式将每个文件切片,并通过Hash计算保障这些分片平均离散地映射到每个存储节点、每块硬盘上。在存储单元的选取上,能够依据每个硬盘所在服务器、机架、机房进行识别性选取,进而在多个物理层级上满足服务可靠性的要求。 在底层架构上,ZOS反对多正本和EC纠删码的策略,在充分保证数据准确性、安全性的同时,能够依据须要灵便抉择冗余的类型,在容量利用率、性能、可靠性上达到满足客户需要的均衡。天翼云对象存储ZOS实现高可用还得益于一项关键技术:反对3AZ多活架构。 回顾数据存储的灾备技术倒退,次要分为以下几个阶段:离线备份:技术倒退的晚期,人们次要通过移动硬盘、光盘进行数据离线备份(也称为冷备份),实现简略,无需进行大规模的业务部署和革新,但也存在效率低下、安全性可靠性低且复原艰难等问题。随着行业内数据量的激增以及磁带库等备份介质的呈现,市场涌现了少量的备份软件厂商,可实现大规模数据的自动化离线备份和复原。 在线备份:因为离线备份须要中断在线业务,且复原操作实现简单,备份厂商联合利用侧研发出在线备份技术(也称为热备份)。在线备份施行时无需中断用户业务,联合快照可能便捷地为用户提供数据强一致性的备份和恢复能力。然而这种形式同样存在数据备份和复原周期长的问题。 两站点双活&复制:在备份技术倒退的同时,数据存储畛域也呈现了跨站点的容灾技术,最先呈现的是两站点的双活、异步&同步复制技术,具备数据在线复制备份、故障复原工夫短等劣势。 跨站点多活:随同着业务可靠性要求的继续升高,多站点多活技术随之诞生,带来了比两站点容灾更高的可靠性能力。传统技术包含两站点构建双活+额定一站点复制等。 比照几种灾备技术特色能够发现,在业务复原难度和时长方面,因为备份波及屡次的数据拷贝和回拷,复原难度较高且耗时较长;在资源利用率方面,利用传统备份和复制技术,备份数据目标端通常不间接承载现网业务,会造成局部业务资源节约;在运维老本方面,双活、多活技术故障场景业务感知小,切换迅速快捷,且无需人工设置备份/复原规定,更不便客户侧运维人员操作和施行。另外,备份和传统跨站点容灾技术实际上还是基于数据复制技术实现的,通常至多须要1:1的数据备份,借助压缩又会带来额定的开销,因而整体的存储空间利用率也不高。但在理论应用中,很多用户出于投资老本和可靠性要求等多方面思考,也会将备份和跨站点容灾技术联合应用。 ZOS为适应云上业务的极速倒退和高可用要求,在跨站点多活技术的根底上,研发实现了3AZ(Available Zone,云上架构下的可用区,通常为一个物理站点)多活的容灾架构能力,每个AZ存储节点交融为对立的存储系统,AZ间实现数据自在流动,对外提供无差别的对象存储服务。 ZOS在3AZ多活能力上具备以下几大技术劣势,在保有传统跨站点多活技术高可靠性的根底上,为用户提供更好的资源可用性和运维体验。 业务无中断:三站点多活架构,任意一个站点整体故障业务不中断,满足生产零碎业务稳固运行的高牢靠要求。 故障无感知:站点故障后业务主动切换,下层利用无感知,体验更优。 复原无干涉:站点复原后,无需人工干预主动从新上线,零碎主动进行数据重构,利用失常安稳运行。 资源高可用:通过跨站点分布式纠删技术,充分利用各站点存储空间;3站点多活同时承载业务,提供更优于双活&复制的存储资源利用率。 可视化运维:云上可视化监控状态和告警,轻松实现近程运维。 目前,天翼云在华北、西安、苏州等全国多地实现了3AZ部署。随着千行百业数字化转型过程的一直减速,云上业务连续性和可用性已成为企业深入信息化建设、保障业务可继续倒退的重要着力点。天翼云对象存储ZOS可为企业提供低成本、高可用、易运维的对象存储服务,让企业数据存储无后顾之忧,在数字时代的博弈中稳中求胜。

June 7, 2022 · 1 min · jiezi

关于存储:Everspin具有高达400MBs的读写速度xSPI-MRAM

MRAM先驱Everspin Technologies其最新翻新产品EMxxLX系列工业级xSPI STT-MRAM芯片,容量高达64Mb。 Everspin的新xSPI MRAM产品系列基于扩大的串行外设接口,这是用于非易失性存储设备的最新JEDEC规范。它基于Everspin独特的工业STT MRAM技术。这些产品提供高性能、多I/O、SPI兼容性,并具备高速、低引脚数的SPI兼容总线接口,时钟频率高达200MHz。这些持久性内存MRAM设施在单个1.8V电源上运行,并通过八个I/O信号提供高达400MBps的读取和写入速度。可代替SPI NOR/NAND闪存计划的xSPI MRAM。对于更多产品相干材料及技术支持分割Everspin官网代理商英尚微电子。 开启了通用存储器利用解决方案的新时代,取代了SRAM、BBSRAM、NVSRAM和NOR设施等产品,面向工业自动化、过程管制、仿真、汽车和运输、游戏以及更宽泛的工业物联网市场。

May 30, 2022 · 1 min · jiezi

关于存储:分布式日志存储架构代码实践

上一篇,咱们针对分布式日志存储方案设计做了一个实践上的剖析与总结,文章地址。本文咱们将联合其中的一种计划进行实战代码的演示。另外一种计划,将在下一篇文章进行分享,此篇文章分享的是MongoDB架构模式。在知乎上公布该文章时,有人提到应用opentelemtry+tsdb,感兴趣的能够去理解一下。 架构模式通过上一篇的剖析,咱们大抵总结出这样的一个架构设计,架构图如下: 业务A、业务B、业务C和业务D示意咱们理论的接口地址。当客户端发送申请时,间接的解决模块。系统日志的生成也是在该模块中进行生成。MQ服务,则是作为日志队列,长期存储日志音讯。这样是为了进步日志的解决能力。在高并发的业务场景中,如果实时的将日志写入到MongoDB中,这样难免会升高业务解决的速度。MongoDB服务,则是最终的日志落地。也就是说将咱们的日志存储到磁盘,以达到数据的长久化,防止数据失落。对于零碎的日志查看,咱们能够间接登录MongoDB服务进行SQL查问。个别为了效率、平安等起因,会提供一个治理界面来实时查看MongoDB的日志。这里就是咱们的web展现界面。能够通过web界面对日志做查问、筛选、删除等操作。下面提到的是一个架构的大抵流程图。上面将具体的代码演示,须要查看代码的能够通过Github仓库地址获取。 代码演示代码中要操作RabbitMQ服务、MongoDB服务、API业务逻辑解决和其余的服务,我这里将代码调用逻辑设计为如下构造。magin.go(入口文件)->api(业务解决)->rabbitmq(日志生产者、消费者)->MongoDB(日志长久化)。整顿代码架构如下: 代码阐明上面列举几个应用到的技术栈以及对应的版本,可能须要在应用本代码时,须要留神一下这些服务的版本兼容,防止代码无奈运行。 Go version 1.16。RabbitMQ version 3.10.0。MongoDB version v5.0.7。上面对几个略微重要的代码段,进行简略阐明,残缺代码间接查看Github仓库即可。 入口文件package mainimport ( "fmt" "net/http" "github.com/gin-gonic/gin" "gologs/api")func main() { r := gin.Default() // 定义一个order-api的路由地址,并做对应的接口返回 r.GET("/order", func(ctx *gin.Context) { orderApi, err := api.OrderApi() if err != nil { ctx.JSON(http.StatusInternalServerError, gin.H{ "code": 1, "msg": orderApi, "data": map[string]interface{}{}, }) } ctx.JSON(http.StatusOK, gin.H{ "code": 1, "msg": orderApi, "data": map[string]interface{}{}, }) }) // 指定服务地址和端口号 err := r.Run(":8081") if err != nil { fmt.Println("gin server fail, fail reason is ", err) }}订单业务逻辑package apiimport ( "time" "gologs/rabbit")// 订单业务逻辑解决,并调用Rabbit服务投递order日志func OrderApi() (string, error) { orderMsg := make(map[string]interface{}) orderMsg["time"] = time.Now() orderMsg["type"] = "order" err := rabbit.SendMessage(orderMsg) if err != nil { return "write rabbitmq log fail", err } return "", nil}RabbitMQ解决日志package rabbitimport ( "encoding/json" "github.com/streadway/amqp" "gologs/com")func SendMessage(msg map[string]interface{}) error { channel := Connection() declare, err := channel.QueueDeclare("logs", false, false, false, false, nil) if err != nil { com.FailOnError(err, "RabbitMQ declare queue fail!") return err } marshal, err := json.Marshal(msg) if err != nil { return err } err = channel.Publish( "", declare.Name, false, false, amqp.Publishing{ ContentType: "text/plain", // message type Body: marshal, // message body DeliveryMode: amqp.Persistent, }) if err != nil { com.FailOnError(err, "rabbitmq send message fail!") return err } return nil}消费者生产音讯package rabbitimport ( "encoding/json" "fmt" "time" "gologs/com" "gologs/mongo")func ConsumerMessage() { channel := Connection() declare, err := channel.QueueDeclare("logs", false, false, false, false, nil) if err != nil { com.FailOnError(err, "queue declare fail") } consume, err := channel.Consume( declare.Name, "", true, false, false, false, nil, ) if err != nil { com.FailOnError(err, "message consumer failt") } for d := range consume { msg := make(map[string]interface{}) err := json.Unmarshal(d.Body, &msg) fmt.Println(msg) if err != nil { com.FailOnError(err, "json parse error") } one, err := mongo.InsertOne(msg["type"].(string), msg) if err != nil { com.FailOnError(err, "mongodb insert fail") } fmt.Println(one) time.Sleep(time.Second * 10) }}调用MongoDB长久化日志package mongoimport ( "context" "errors" "gologs/com")func InsertOne(collectionName string, logs map[string]interface{}) (interface{}, error) { collection := Connection().Database("logs").Collection(collectionName) one, err := collection.InsertOne(context.TODO(), logs) if err != nil { com.FailOnError(err, "write mongodb log fail") return "", errors.New(err.Error()) } return one.InsertedID, nil}实战演示下面大抵分享了代码逻辑,接下来演示代码的运行成果。 ...

May 8, 2022 · 2 min · jiezi

关于存储:分布式日志存储架构设计方案

在一个残缺的我的项目中,不仅仅是要实现失常的业务开发。同时为了进步一些开发效率、零碎异样的追踪、零碎性能的扩大等等因素,往往会用到零碎在开发、运行过程中所产生的日志。这就须要咱们有一个欠缺的日志零碎来存储这些数据。本文将分享如何设计一个高可用、可扩大的分布式日志零碎。 本文是一种理论性的计划摸索,当然各种计划也是在理论的生产环境中通过实际总结而来的。本文是分布式日志存储系列的实践篇。也有实战篇,将会分享从0到1的整个过程,从0环境的搭建到真正的实际落地。文章会定期的欠缺,最终文章地址。日志的重要性在一个零碎中,日志经常在上面的一些场景中占着十分大的作用: 我的项目开发阶段的调试、线上服务异样排查。零碎异样的监控。零碎数据分析。对应日志,次要分为上面三大类型: 日志服务的演进通过下面几点,大抵明确了一个日志零碎的重要性。接下来,咱们将进一步理解如何设计一个日志零碎。 单节点部署在我的项目晚期,因为我的项目用户量小、业务数据少等特点,个别我的项目都会采纳单节点的形式进行部署。此时的日志,个别会以文件的形式存储在对应服务器上。如下图: 当客户端向服务端发送申请,对应的服务器解决业务并将日志记录到日志文件中。这也是传统的日志记录形式,很多的后端框架默认的日志记录形式也如此。如上面PHP的Hyperf框架,默认将MySQL的操作日志记录到日志文件中。 长处依照这种传统的单节点部署,有什么益处呢? 零碎架构繁多、部署简略。不必放心各种服务之间调用问题。技术成本低、易保护。间接应用开发语言的文件操作函数,写人即可。性能高、稳固。不须要调用其余的服务组件,间接调用零碎接口写入磁盘即可。毛病当日志文件过大时,须要对日志文件做切割,防止写入性能升高。不便于日志排查。对应开发人员来说,能够间接剖析日志内容。如果对于非开发人员来说,对日志存储的就有肯定的要求。存在平安问题。对应服务器个别都有设置权限,须要对服务器用户设置严格的权限。分布式部署(文件)这里的分布式部署(文件)指的是,零碎服务采纳分布式部署时,日志存储还是采纳文件存储。大抵的逻辑图如下: 长处这样的部署计划有什么益处,和下面提到的单节点部署一样。毛病在分布式部署中,还是同样的会遇到单节点部署所遇到的问题。不便于零碎排查。当零碎出现异常时,因为是分布式部署,咱们不晓得最终的日志存储在那一台服务器上,就须要挨个服务器的排查。升高了问题排查效率。分布式部署(日志零碎)下面提到了分布式系统,应用文件存储日志的几个弊病。因而这里推出应用独立的日志零碎,存储系统日志。大抵逻辑图如下: 当客户单发送申请到服务器,服务器解决对应的业务逻辑和记录日志服务。为了进步零碎的响应速度、高可用,在记录日志时,先将日志写入到MQ音讯队列中,开启独立的线程将队列中的日志写入到磁盘中。常见的MQ音讯队列有,RabbitMQ,RocketMQ,ActiveMQ,ZeroMQ,Kafka,IBM WebSphere等。能够依据零碎的理论须要抉择适合的MQ服务。写入对应的日志零碎之后,能够独立开发一套零碎,来做日志的显示、查问、删除等操作。长处解决了分布式部署中采纳文件存储的弊病。进步了零碎的可用性。在写日志时,开发人员只须要将日志写入到对应的MQ音讯队列中即可。做长久化间接让独自的线程执行。进步了零碎的扩展性。如果团队中,其余的我的项目须要减少日志性能,咱们不须要独自的减少服务器,间接写入原有的MQ音讯队列零碎即可。毛病零碎部署简单。减少了MQ服务,也意味着在项目前期减少了运维老本。对开发人员要求高。须要相熟MQ音讯服务技术栈。零碎架构要求高。在项目前期肯定要搭建一个高可用、高扩大的架构,当业务变得越来越简单时以及各种服务之间的调用,影响失常的业务逻辑。日志零碎下面针对日志服务做了一个架构演进的总结。接下来,就来具体的探讨如何设计一个高可用、高扩大的日志零碎。对应日志零碎,我集体如下几个观点: 可用性强,不能影响失常业务的执行。日志的作用最大的意义在于咱们排查问题、剖析问题以及解决问题。要保障在这个过程中,即便日志服务不可用的状态下,依然不能影响到失常业务的日志。扩展性强。在设计日志零碎时,不能只针对以后的零碎做设计,还须要思考到前期其余我的项目日志的接入。针对日志零碎,咱们能够采纳自研的形式,也能够采纳开源零碎部署。在本文总,分享两种较为简单的日志服务零碎。大抵的逻辑图如下: MongoDB存储系统日志最终的落地,必定是磁盘。因而,第一种计划咱们应用MongoDB来记录日志。为什么采纳MongoDB作为日志存储服务器呢? MongoDB严格来说是一个非关系型的数据库系统。它反对的数据结构十分涣散,相似json格局的bson格局,因而能够存储比较复杂的数据类型。如果采纳MySQL、SQLserver、oracle这样的具备严格数据结构要求的数据库,在日志统计纬度变动时,对应的数据表构造也会随着变动。查问效率高。MongoDB最大的特点是它反对的查询语言十分弱小,其语法有点相似于面向对象的查询语言,简直能够实现相似关系数据库单表查问的绝大部分性能,而且还反对对数据建设索引。业务拆分、进步业务数据库性能。如果把日志也存储在MySQL中,必然会升高MySQL的高并发性能问题。一个零碎中,日志内容必定十分的多,日志的读写抢占了对应的操作必然是会升高业务读写的操作。应用MongoDB作为日志存储服务,大抵的逻辑能够采纳如下构造: 业务零碎解决日志,再调用MQ音讯服务,先将日志数据存在MQ音讯服务中。开启异步线程,将MQ服务的音讯同步到MongoDB服务中,以达到长久化的目标。Web页面则是用于日志数据的展现。ELK存储 ELK是Elasticsearch+Logstash +Kibana 这种架构的简写。 这是一种开源日志剖析平台的架构。ELK是开源的,社区沉闷,用户泛滥,这样的架构也失去宽泛的应用。大抵的逻辑图如下: ELK罕用架构Elasticsearch + Logstash + Kibana这是一种最简略的架构。这种架构,通过logstash收集日志,Elasticsearch剖析日志,而后在Kibana(web界面)中展现。这种架构尽管是官网介绍里的形式,然而往往在生产中很少应用。Elasticsearch + Logstash + filebeat + Kibana与上一种架构相比,这种架构减少了一个filebeat模块。filebeat是一个轻量的日志收集代理,用来部署在客户端,劣势是耗费非常少的资源(较logstash), 所以生产中,往往会采取这种架构形式,然而这种架构有一个毛病,当logstash呈现故障, 会造成日志的失落。Elasticsearch + Logstash + filebeat + redis(也能够是其余中间件,比方kafka(集群化)) + Kibana这种架构是下面那个架构的欠缺版,通过减少中间件,来防止数据的失落。当Logstash呈现故障,日志还是存在中间件中,当Logstash再次启动,则会读取中间件中积压的日志。目前我司应用的就是这种架构,我集体也比拟举荐这种形式。总结对于下面进步的几种计划,在理论过程中,还须要联合本身的我的项目状况,抉择适合的架构,而不是为了谋求技术的复杂度而疏忽了本身的理论状况。对于分布式日志的实践在这里就介绍完结了,接下来的内容将实战演示分布式日志设计方案。感兴趣的能够继续关注。对于文章提到的计划,存在有余的中央,也欢送大家指教。

May 5, 2022 · 1 min · jiezi

关于存储:STM32F103芯片FSMC使用外扩SRAM芯片

为什么能够利用FSMC来应用内部RAM呢,首先理解一下STM32里的FSMC。大容量且引脚数在100脚以上的STM32F103芯片都带有FSMC接口。FSMC是灵便的动态存储控制器,可能与同步或异步存储器和16位PC存储器卡接口,STM32的FSMC接口反对包含SRAM、NAND FLASH、NOR FLASH和PSRAM等存储器。 EMI502NL16VM这个2M字节容量的SRAM芯片。可用于配置FSMC,利用FSMC来操作内部SRAM。在抉择存储器类型时就抉择SRAM。地址总线和数据总线是离开的,所以配置的时候抉择不复用总线。在配置实现后使能管制块就能够了。 EMI502NL16VM系列由EMI先进的全CMOS工艺技术制作。位宽:128Kx16位,电源电压:2.3V〜3.6V这些系列反对工业温度范畴和芯片级封装,以使用户灵便地进行零碎设计。该系列还反对低数据放弃电压最小值1.5V,以低数据放弃电流实现电池备份操作,三态输入和TTL兼容。 国产SRAM芯片厂家安徽伟凌创芯微电子有限责任公司是一家以市场为导向的无晶圆半导体公司。专一外扩SRAM芯片,SRAM存储器、显示驱动,接口转换芯片设计、生产及销售。为行业客户提供高品质、低成本,供货继续稳固的自主知识产权的集成电路产品,产品畛域涵盖智能感知、网络可视化、信息化、信息安全、大数据分析、智能语音、利用展示、特种通信和智能建筑等。

April 28, 2022 · 1 min · jiezi

关于存储:一看即会Serverless-应用开发的-7-个实战小技巧文末附好礼

简介:干货满满,马住珍藏! Serverless 利用开发的 7 个教训心得作者说:Serverless 架构下的利用开发,与传统架构的利用开发还是有比拟大的区别点的,例如人造分布式架构会让很多框架丢失肯定的"便利性",无状态的特点又让很多"传统架构下看起来再失常不过的操作"变得异样危险。所以本篇我会介绍一些在 Serverless 架构下,常见的利用开发注意事项,分享一些集体的实战经验心得。如果你在 Serverless 开发过程中遇到问题,无妨往下听听看吧。 1、如何上传文件在传统 Web 框架中,上传文件是非常简单和便捷的,例如 Python 的 Flask 框架: f = request.files['file']f.save('my_file_path')然而在 Serverless 架构下,却不能间接上传文件,起因有以下几点: 一些云平台的 API 网关触发器会将二进制文件转换成字符串;不便间接获取和存储;此外,API 网关与 FaaS 平台之间传递的数据包有大小限度,很多平台被限度在 6M;FaaS 平台大都是无状态的,即便存储到以后实例中,也会随着实例开释而导致文件失落;因而,传统框架中罕用的上传计划,是不太适宜在 Serverless 架构中间接应用的。若是想在 Serverless 架构上传文件,能够尝试以下两种办法: 一种是 BASE64 后上传,长久化到对象存储或者是 NAS 中,这种做法可能会涉及到 API 网关与 FaaS 平台之间传递的数据包有大小限度,所以个别应用这种上传办法的通常是上传头像等小文件的业务场景;第二种上传办法是,通过对象存储等平台来上传,因为客户端间接通过密钥等信息,来将文件直传到对象存储是有肯定危险的。所以通常状况是客户端发动上传申请,函数计算依据申请内容进行预签名操作,并将预签名地址返回给客户端,客户端再应用指定的办法进行上传,上传实现之后,能够通过对象存储触发器等来对上传后果进行更新,详情如下图所示: 2、文件读写与长久化办法利用在执行过程中,可能会波及到文件的读写操作,或者是一些文件的长久化操作。在传统的云主机模式下,通常状况下是能够间接读写文件,或者将文件长久化某个目录下,然而在 Serverless 架构下却并不是这样的。 因为 FaaS 平台是无状态的,并且用过之后会被销毁,所以文件如果须要长久化并不能间接长久化在实例中,能够抉择长久化到其余的服务中,例如对象存储、NAS 等。 同时,在不配置 NAS 的状况下,FaaS 平台通常状况下之后 /tmp 目录具备可写权限,所以局部临时文件能够缓存在 /tmp 文件夹下。 3、慎用局部 Web 框架的个性函数计算(FC)是申请级别的隔离,所以能够认为这个申请完结了,实例就有可能进入到一个“静默”的状态。在函数计算中,API 网关触发器通常是同步调用_(以阿里云函数计算为例,通常只在定时触发器、OSS 事件触发器、MNS 主题触发器和 IoT 触发器等几种状况下是异步触发)_,这就意味着当 API 网关将后果返回给客户端的时候,整个函数就会进入“静默”状态,或者被销毁,而不是会继续执行完异步办法。 所以通常状况下像 Tornado 等框架就很难在 Serverless 架构下施展其异步的作用。当然,如果使用者须要异步能力,能够参考云厂商所提供异步办法,以阿里云函数计算为例,阿里云函数计算为用户提供了一种异步调用能力,当函数的异步调用被触发后,函数计算会将触发事件放入外部队列中,并返回申请 ID,而具体的调用状况及函数执行状态将不会返回。如果用户心愿取得异步调用的后果,能够通过配置异步调用指标来实现,详情如图中所示: ...

April 25, 2022 · 4 min · jiezi

关于存储:基于-Serverless-架构的头像漫画风处理小程序

简介:当一个程序员想要个漫画风的头像时...<关注 Serverless 公众号后盾回复 手册 收费获取 2022 Serverless工具书> 前言我始终都想要有一个漫画版的头像,奈何手太笨,用了很多软件 “捏不进去”,所以就在想着,是否能够基于 AI 实现这样一个性能,并部署到 Serverless 架构上让更多人来尝试应用呢? 后端我的项目后端我的项目采纳业界鼎鼎有名的动漫格调转化滤镜库 AnimeGAN 的 v2 版本,成果大略如下: 对于这个模型的具体的信息,在这里不做具体的介绍和阐明。通过与 Python Web 框架联合,将 AI 模型通过接口对外裸露: from PIL import Imageimport ioimport torchimport base64import bottleimport randomimport jsoncacheDir = '/tmp/'modelDir = './model/bryandlee_animegan2-pytorch_main'getModel = lambda modelName: torch.hub.load(modelDir, "generator", pretrained=modelName, source='local')models = { 'celeba_distill': getModel('celeba_distill'), 'face_paint_512_v1': getModel('face_paint_512_v1'), 'face_paint_512_v2': getModel('face_paint_512_v2'), 'paprika': getModel('paprika')}randomStr = lambda num=5: "".join(random.sample('abcdefghijklmnopqrstuvwxyz', num))face2paint = torch.hub.load(modelDir, "face2paint", size=512, source='local')@bottle.route('/images/comic_style', method='POST')def getComicStyle(): result = {} try: postData = json.loads(bottle.request.body.read().decode("utf-8")) style = postData.get("style", 'celeba_distill') image = postData.get("image") localName = randomStr(10) # 图片获取 imagePath = cacheDir + localName with open(imagePath, 'wb') as f: f.write(base64.b64decode(image)) # 内容预测 model = models[style] imgAttr = Image.open(imagePath).convert("RGB") outAttr = face2paint(model, imgAttr) img_buffer = io.BytesIO() outAttr.save(img_buffer, format='JPEG') byte_data = img_buffer.getvalue() img_buffer.close() result["photo"] = 'data:image/jpg;base64, %s' % base64.b64encode(byte_data).decode() except Exception as e: print("ERROR: ", e) result["error"] = True return resultapp = bottle.default_app()if __name__ == "__main__": bottle.run(host='localhost', port=8099)整个代码是基于 Serverless 架构进行了局部改进的: ...

April 25, 2022 · 6 min · jiezi

关于存储:富士通推出ReRAM系列中最大的内存密度的12Mbit-ReRAMMB85AS12MT

富士通半导体存储器解决方案有限公司推出12Mbit ReRAM(电阻式随机存取存储器)MB85AS12MT,这是富士通ReRAM产品系列中密度最大的产品。 ReRAM电阻式随机存取存储器是一种非易失性存储器,其中将脉冲电压施加到薄金属氧化物膜上,从而在记录1和0的电阻上产生微小的变动。其电极间采纳金属氧化物的简略构造,制作工艺非常简单,同时仍具备低功耗、写入速度快等低劣个性。 MB85AS12MT该新产品是一种非易失性存储器,具备12Mbit的大存储密度,封装尺寸约为2mmx3mm。它在读取操作期间具备均匀0.15mA的极低读取电流。该产品具备封装尺寸小、读取电流小等特点,十分实用于助听器、智能手表等可穿戴设施。 MB85AS12MT是一款具备12Mbit存储密度的非易失性存储器,可在1.6V至3.6V的宽电源电压范畴内工作。新的ReRAM产品的内存密度是现有8MbitReRAM的1.5倍,同时放弃雷同的封装尺寸WL-CSP(晶圆级芯片尺寸封装)和雷同的引脚调配。该产品能够在大概2mmx3mm的小包装尺寸中存储大概90页报纸的字符数据。 MB85AS12MT应用的WL-CSP与常常用于具备串行外设接口(SPI)的存储设备的8引脚SOP相比,能够节俭大概80%的装置表面积。 与其余非易失性存储器相比,新的ReRAM产品具备极小的读取电流程度。在5MHz工作频率下,均匀读取电流小至0.15mA,甚至在10MHz工作时最大读取电流为1.0mA。因而,通过将MB85AS12MT装置在具备频繁数据读取操作(例如特定程序读取或设置数据读取)的电池供电设施中,能够最大限度地缩小电池耗费。它非常适合用于电池供电的小型可穿戴设施,例如助听器和智能手表。 富士通半导体存储器解决方案在持续为须要频繁数据重写的客户设施寻求更大密度的FRAM产品的同时,始终在开发新的非易失性存储器以满足频繁读取数据的要求,从而引入了这种新的12Mbit ReRAM产品。富士通半导体内存解决方案一直开发各种低功耗内存产品以满足客户的需要。

April 24, 2022 · 1 min · jiezi

关于存储:国产伟凌创芯256Kb-SPI-SRAM

国产SRAM芯片厂商伟凌创芯EMI7256器件是256Kb串行动态随机存取存储器,外部组织为32K字,每个字8位。最大时钟20MHz,采纳最先进的CMOS技术设计和制作,以提供高速性能和低功耗。该器件可在-40℃至+85℃(工业级)的温度范畴内运行。封装采纳TSSOP-8和SOP-8。代理商英尚微电子反对提供样品测试及相干技术支持。 EMI7256该器件采纳单片选(/CS)输出进行操作,并通过与SPI兼容的简略串行接口进行拜访。单个数据输出和数据输入线与时钟一起用于拜访该设施内的数据。该器件包含一个/HOLD引脚,容许在不勾销抉择器件的状况下暂停与器件的通信。暂停时,除/CS引脚外的输出转换将被疏忽。 特色:·最大时钟20MHz·SPI兼容接口(模式0和模式3)·低功耗CMOS技术:-工作电流:最大。2mA@1MHz-待机电流:典型值。4uA@+25℃·32.768x8位组织·32字节页面·暂停通信的放弃针·程序读/写·灵便的操作模式-字节读写(BYTE)-页面模式(PAGE)-Pagestart程序模式(PSEQ)-虚构芯片模式(VRTM)·有限读/写内存阵列·温度范畴-20℃至+70℃(生产级)-40℃至+85℃(工业级)·合乎RoHS规范的封装 安徽伟凌创芯微电子有限责任公司是一家以市场为导向的无晶圆半导体公司。专一SRAM存储、显示驱动,接口转换芯片设计、生产及销售。公司领有国内出名设计专家及工作经验丰富工程师研发团队,与国内出名前后道生产合作伙伴严密单干。深挖客户利用,依靠弱小的研发实力,交融世界前沿的技术理念疾速响应客户的变动需要,为行业客户提供高品质、低成本,供货继续稳固的自主知识产权的集成电路产品,产品畛域涵盖智能感知、网络可视化、信息化、信息安全、大数据分析、智能语音、利用展示、特种通信和智能建筑等。

April 24, 2022 · 1 min · jiezi

关于存储:阿里云架构师解读四大主流游戏架构

简介:游戏行业是阿里云最早聚焦的行业之一,近年来游戏行业的变动、云计算产品技术的变动都与日俱进。随着行业业务的变动、技术架构的演进以及阿里云产品的迭代演进,整体的产品技术选型在不同的游戏场景、业务场景也不尽相同。本文将聚焦阿里云弹性计算产品在游戏行业的计划实践经验。一、概述游戏行业是阿里云最早聚焦的行业之一,近年来游戏行业的变动、云计算产品技术的变动都与日俱进。随着行业业务的变动、技术架构的演进以及阿里云产品的迭代演进,整体的产品技术选型在不同的游戏场景、业务场景也不尽相同。本文将聚焦阿里云弹性计算产品在游戏行业的计划实践经验。 二、游戏行业场景介绍以后,游戏行业的各种场景和行业倒退密不可分。简略回顾电子游戏的倒退,80年代的黑白机,90年代的PC单机游戏,00年代前夕随着互联网的倒退网络游戏开始流行,2010年后随着挪动设施的逐步遍及,手游在国内开始衰亡。 从游戏终端来区别,次要有:主机游戏(往往是3A游戏)、PC游戏、移动游戏和网页游戏等。目前呈现跨平台多端游戏,以及云游戏化的趋势。 对于游戏的品类区别会有十分多的维度:RPG(角色扮演)、MOBA类、竞技类、FPS(射击类)、休闲类、卡牌类、棋牌类、SLG(策略类)等等。目前有多品类交融玩法裂变的趋势。 随着国内防沉迷、版号因素,近年来游戏行业诞生了越来越多的精品游戏,出海全球化乃至区域化,以及整体存量用户增速放缓,长线经营、精密经营以及私域社区等经营形式也在悄悄变动。 三、游戏行业技术架构介绍不同的业务场景技术架构不尽相同,如竞技类游戏和卡牌类游戏对计算的需要就有所区别,云游戏与惯例的网络游戏架构也有所区别。这里次要从游戏服和游戏平台、大数据、云游戏这四个目前常见的场景简略介绍其架构。 1 游戏服架构与产品实际业务场景游戏服,从游戏类型来看有RPG、FPS、MOBA、SLG、棋牌、休闲等等;从游戏平台来看通常有主机、手机、PC等;从业务发行来看有寰球、国内、海内,从部署架构来看有集中部署和分区部署;从技术架构来看,游戏行业也有逐步分层解耦的趋势,但与互联网利用相比,有肯定其独特性。 技术特点因为游戏的强交互性特点,游戏技术架构与其余互联网利用相比有肯定独特性。游戏须要放弃会话连贯,也就是从一个客户端到服务端的长连贯,便于对客户端中玩家的操作、行为等进行及时的反馈以及推送给独特游戏或对战的其余玩家,所以游戏广泛对网络品质更加敏感,网络品质较差的状况会使长连贯断开或重连,引起玩家掉线。游戏也须要放弃会话的状态,既服务端会放弃一份玩家的实体,当玩家进行操作时,下次通信的数据会依赖之前的通信的数据,这也是一些MMO(多人在线)大型游戏对网络吞吐性能要求较高的起因之一。再比方FPS、MOBA类等多人对战类游戏,交互性更强,对网络提早容忍度更低,要求低提早。因为游戏须要比拟高密度的记录玩家的操作以及后果,所以有频繁写入数据的特点,这类场景须要较强的IO性能。因为游戏强交互性、低提早的特点,其技术架构也和互联网利用不同,在逐步分层解耦的同时,须要保障游戏玩家的交互成果,同时也会依赖到底层服务器的计算能力。 这些都是游戏场景普遍存在的特点:长连贯放弃会话、放弃状态、低提早网络、高IO吞吐、高计算性能。 部署计划游戏的部署架构会联合游戏业务特点、游戏经营需要来制订游戏服务,有分辨别服、全区全服业务逻辑,分辨别服还是全区全服,最大的架构差别在于数据是不是一套。而从部署形式看,次要是集中式部署和分区域部署。 集中部署就是不管游戏玩家在哪里,游戏服务集中在一个区域,适宜对网络提早要求通常不高的游戏类型,如休闲类;分区部署是指游戏服务器依据游戏玩家地区散布,分区域部署,不便就近接入,适宜对网络提早要求较高的游戏类型,如MOBA、FPS类。 典型架构 i. MMORPG类游戏架构介绍MMO类有高并发特点,大量玩家并发的高计算量负载对服务器的计算能力和稳定性有着极高的要求。同时MMO类游戏有着比拟强的PVE或PVP个性,对网络提早的容忍度较低。 其中网关服务器负责所有网络数据包的转发,通常是网络负载较集中的点,对于网络吞吐能力要求较高。单个游戏区承载玩家数量高,逻辑服务器通常依照场景地图来划分,规模再大会通过分区的形式实现。 数据中心服务器负责缓存玩家数据并异步入库,保障玩家客户疾速获取和写入数据,对于可用性要求较高,须要配合应用层实现数据容错机制。 日志服务器承载了大区所有业务行为的日志收集及解决的压力,对磁盘写入性能要求较高,通常采纳多台分组形式实现。 弹性计算产品倡议:(1)MMO游戏服性能与稳固需要,倡议应用最第7代ECS实例,依据理论需要选型c计算型(CPU与内存配比1:2)/g通用型(1:4)/r内存型(1:8),Intel Ice Lake 2.9GHz基频3.5GHz睿频提供超高性能,能更好地优化游戏体验。 (2)异步落库以及日志服务器,对于磁盘读写性能要求高的场景,倡议云上应用ESSD PL 0/1/2/3依据业务性能须要抉择,防止磁盘读写瓶颈。 (3)在游戏日常版本更新中,须要各个地区Region镜像的疾速复制,基于ESSD快照异地复制的能力,可能晋升镜像复制效率。 (4)分辨别服等场景往往须要疾速地开服滚服合服,通过CADT云速搭、ESS弹性伸缩、OOS运维编排、ROS资源编排等云上运维工具搭配产品应用,可能晋升云上运维效率。 ii. FPS、MOBA类游戏架构介绍 MOBA类游戏次要包含PVP零碎、PVE零碎、游戏平台等几个次要局部,其中PVP战斗是MOBA/FPS游戏的外围。 PVP、PVE、游戏平台性能部署于同一VPC中,形成游戏大区;战斗服务器(往往)独自跨地区部署。 游戏客户端首先接入到登录服务器中,实现登录认证、计费等游戏平台逻辑。为防止单点问题,所以游戏平台服务往往须要高可用计划。可利用云上高可用计划,包含便捷的运维工具满足业务高可用需要。 FPS/MOBA竞技游戏,往往对提早特地敏感,能够设想,竞技类游戏中对战的游戏场景:玩家操控人物,在地图里步调飘逸,枪声密集,每一颗子弹都是一次工夫加上空间的矢量计算,而且须要在主过程中实现计算,那么算力需要就随着房间玩家数量回升而指数爆炸,5V5的房间和大房间100人(吃鸡)对算力的需要齐全不同。 游戏这部分重算力场景,举荐阿里云7代高主频或七代实例,更高的单核性能提供更好的战斗成果。 战斗房间类游戏,因为业务自身峰谷个性,灵便地应用云上资源的弹性能力,往往会较好地优化整体的资源应用老本。阿里云弹性计算自身提供了非常灵活的付费形式,包含惯例的按量实例、包月包年实例、以及通过节俭打算/预留实例券去抵扣按量实例资源,兼顾资源灵便应用的同时达到更优的老本。 此外,为更进一步开释开发运维的效率,以后一些游戏也采纳了容器化技术架构,阿里云的ACK+ECS/ECI弹性容器实例组合搭配应用,更进一步开释了根底资源的灵活性和弹性能力。 2 游戏平台业务场景 游戏平台(不限于FPS、MOBA类)次要提供的服务:官网、客服、注册、登录、充值、兑换、商城、推送、布告、社区、SDK及邮件、短信等公共服务;包含内容审核、视频录制、弹幕、转码、剪辑、RTC这些业务须要的根底服务,以及运维监控、公布平台、测试平台这些运维等平台服务。 这部分更靠近于通用的互联网技术架构,以服务为颗粒度解耦,接入->网关->利用->数据库。 技术特点 这往往通常须要构建高可用基础架构来晋升稳定性,业务突发期往往须要肯定的弹性能力。相比于游戏服务这部分容器化就更加遍及,也更容易通过云上的比方弹性容器实例去应答流量峰值场景。在视频录制场景,对实时性要求较高时,往往会基于GPU能力构建,这部分阿里云也提供了vGPU/cGPU能力,开释GPU的灵活性。 3 大数据架构与产品实际业务场景游戏全生命周期的业务体现,用户留存、经营转化、包含游戏内玩法策略等都是游戏厂商十分关注的业务撑持数据。 大数据是以后游戏业务经营、游戏经营次要的技术手段,次要面向平台数据经营、游戏数据分析、广告转化剖析、平安经营剖析等游戏外围经营场景。不同的场景对实时性要求不同,实时查问检索通常是经营剖析、客户受理、玩家监测、在线等场景;离线报表通常是玩家行为剖析、用户画像、特色开掘等场景。 总体而言,实时性业务更多是业务查问类、简略计算类工作,比方买量转化的剖析;离线类根本是剖析类、预测类工作,比方游戏玩法剖析。 架构特点从技术架构来看,得益于开源社区技术栈的高丰盛度,大数据具体的技术抉择十分之多,整体从存算一体到存算拆散,也诞生像数据仓库、数据湖乃至湖仓一体等概念。 从数据架构流程来看,从数据源->数据采集、传输->数据计算、存储->数据利用,其中可选看技术计划也须要就地取材。 从部署架构来看,不同的游戏公司处在不同的数据建设阶段,会有不同的抉择偏向,包含齐全自建、基于云自建大数据、基于云上托管、以及利用更多云上成熟的产品技术去丰盛整体的大数据能力集,而后者也成为越来越多客户的抉择。 拿云上大数据计划举例来讲,比方实时计算局部,抉择SLS采集、Kafka数据网关通道,通过Flink做数据计算,通过ES或CK做数据分析,通过ADB以及QuickBI做数据利用展现。离线计划通过OSS做冷数据存储,Spark、Hive、HDFS等组件做数据计算存储,通过CK汇聚剖析,通过Dataworks做数据利用。 产品选型具体计算存储的产品选型,次要依据不同的业务个性以及大数据利用个性来辨别,依据数据容量、IOPS、吞吐、读写特点以及性价比来抉择。 如刚刚举例的实时计算/近实时计算场景,Flink具备高性能、低提早特点,所以是计算密集、网络性能高场景,举荐选型七代ECS实例或6代加强实例;如HDFS须要超大存储容量,高吞吐,举荐D系列本地盘实例,如D2S存储型本地盘实例。Remote Shuffle Service等处理结果多的场景,读写解决频繁如大量的join计算,须要综合来看计算、网络、存储性能以及综合老本来抉择通用实例(如第7代ECS实例)或i系列本地盘实例。所以,最终在云上的资源选型,在性能满足的后期下,须要评估通过网络传输数据老本高(云盘),还是就地取材计算成本高(本地盘),不同模型、不同量级抉择不同。 从内存解决(老本最高、性能最好、存储容量最小)、SSD本地盘、HDD本地盘、ESSD云盘、OSS对象存储(老本最优、性能个别、存储容量最大),逐步分层解耦,还带来一个益处:充沛开释了云上弹性的能力,能够利用更笨重的弹性计算产品(如SPOT抢占式实例形式,或ECI容器实例)进行大数据计算,达到更好的弹性能力去满足业务需要的同时也能节约更多的老本。 4 云游戏架构与产品实际业务场景从2009年ONLIVE提出云游戏理念与产品开始,云游戏曾经熬过了一个技术周期,尤其在近两年,咱们也可能看到越来越多的公司关注云游戏,投入云游戏。平台以流化能力为技术根底,以视频流化模式带动游戏运行,使用户以低成本享受更高品质游戏产品,并依据理论将云游戏的需要笼罩到PC端、挪动端、电视端等终端场景。 架构特点云游戏次要分终端和云端。终端局部基于Windows、iOS、Linux等操作系统的终端设备包含手机、平板、电脑、电视机、VR一体机等。云端架构次要是游戏应用层、云游戏平台层、IaaS根底资源层,应用层包含PC游戏、手游、VR游戏、H5游戏等多种类型的游戏利用;平台层云游戏必须的经营平台、撑持平台、流化技术平台等;IaaS根底资源层包含根底网络、基于X86架构以及ARM架构的GPU服务器。 产品举荐云游戏落地,在技术上也经验了诸多挑战,为满足端到端高性能低时延,网络调度、指令串流、编解码、多终端的SDK适配等等都是云游戏场景中不可避免的技术问题。 对于云端算力来讲,阿里云解决了云端渲染、串流以及编解码问题,并通过全系列GPU产品来满足云手游、端游、VR乃至企业级视觉渲染场景的需要。 总结来讲,阿里云弹性计算通过云上的串流、编码减速、渲染减速等全套的技术帮忙游戏客户给云游戏玩家提供更好的性能体验,通过基于阿里云寰球数据中心能够帮忙云游戏客户笼罩更多的用户,通过GPU多种产品状态和整体的弹性能力,也帮忙到游戏客户去更快捷更灵便的构建其云游戏业务。 四、总结阿里云通过多年的技术积攒和继续的经营,提供了大规模的基础设施云服务,目前在寰球部署了26个地区、82个可用区,通过优异稳固的性能体现帮忙游戏客户高效稳固地运行游戏业务,为玩家提供极致顺滑的游戏体验,并通过技术手段一直地帮忙游戏客户优化用云老本。 ...

April 20, 2022 · 1 min · jiezi

关于存储:everspin并行MRAM芯片MR4A16BMA35适用于自动化控制器

Everspin理解客户在工业市场中对长期数据保留和极其温度反对等性能在通常顽劣的工业环境中十分重要。该技术的固有耐用性通过防止应用其余非易失性存储器技术所需的纠错码和磨损平衡计划来简化和减速产品开发。 Everspin的16兆位非易失性存储芯片MR4A16BMA35 MRAM专为须要极高数据可靠性和速度的利用而设计,具备市场上最快的非易失性存储器、对称的读/写性能和有限的耐用性,使零碎设计人员受益匪浅。这些内存性能可确保自动化设计人员在每次产生电源中断时都能确定性且平安地保留过程数据。除了性能之外,该技术还容许无电池生态设计。是一款实用于自动化控制器的存储器芯片。 Everspin MR4A16BMA35R容量为16Mb,数据结构:1Mbx16,总线速度:35ns工作电压:3.3V工作温度:C,M(-0~+70摄氏度)16位并行总线接口,数据放弃期长达20年以上而不会失落,并会在掉电时由低压克制电路主动提供爱护,以避免在非工作电压期间写入。这款并行mram器件可能在商业级(0至+70℃)、工业级(-40至+85℃)与扩大级(-40至+105℃)温度范畴内工作,并在整个温度范畴内放弃高度牢靠的数据存储能力。MR4A16B采纳48引脚球栅阵列(BGA)小型封装和54引脚渺小形状封装(TSOPII)。Everspin代理英尚微电子供样品测试及技术支持。 此款并口MRAM存储器真正有限次擦除应用,最长的寿命和数据保留工夫超过20年的非挥发个性,可取代多种存储器,集闪存、SRAM、EEPROM以及BBSRAM的性能于一身,采纳MRAM取代电池供电的SRAM计划,解决了电池组装、可靠性以及责任方面的问题。

April 18, 2022 · 1 min · jiezi

关于存储:千万张医疗影像都去了哪里

身材是反动的成本,衰弱是幸福的根底。一个多世纪前,疾病的诊断还次要依附医生对病人主诉、症状和体征的判断。随着社会的倒退和医疗程度的提高,各种新兴医疗技术层出不穷,使得诊疗准确性和医治效果显著进步,为人民身体健康提供了更多保障。 但与此同时,临床数据也呈现了爆炸式增长。据统计,中国大型医疗机构每年产生的数据量高达300TB~1PB,其中CT、X光片等影像数据在医院数据中占比最高,达80%~90%。大量的影像数据存储也为医院医疗数据管理和信息化平安带来挑战。 依照传统存储形式,医院须要为硬件存储裁减和数据管理新增大量投资和估算,同时还要装备更多人员对设施、网络和数据进行保护。这就会导致医院在医疗、教学和科研等外围业务上可投入的资金和精力被压缩,偏离医疗服务的实质。 数字时代下,这一痛点也有了妥善的解决办法。针对医院PACS(影像归档和通信零碎)影像存储特点,天翼云推出了海量、弹性、高牢靠、高性价比、高稳定性、高晦涩度的PACS影像云存储解决方案,能够满足医院本地存储系统扩容、影像集中存储等各类影像数据存储场景需要,通过云专线帮忙医院实现内网高速拜访,不仅能够解决院内硬件存储投资估算高的问题,也使得医院影像数据存储和灾备的安全性更有保障,同时还能开释信息部门的治理压力。在医疗行业中,用户数据安全是重中之重,天翼云作为央企云服务商,绝不会触碰用户数据,坚定保卫用户数据安全。 一家三级综合性医院现有成熟的PACS,为晋升医院数据安全性、优化医院影像数据存储策略,须要对现有PACS零碎的数据做归档治理。该医院的客户资料目前存在本地存储设备中,要求在降级后所有的数据都先通过本地存储服务器。此外,还要反对影像存储动静扩大,用户数据安全也要失去牢靠的保障。 天翼云为该医院打造了“云专线+存储网关+对象存储”的影像数据上云解决方案。通过云主机构建存储网关,借助存储网关调配出肯定容量的“硬盘”,用于本地缓存一部分数据,通过规范的iSCSI接口挂载/映射在医院的本地PACS存储服务器上,PACS零碎只需减少一条数据存储门路,备份的数据即可分片同步到天翼云存储。 此外,存储网关能够挂接本地存储作为减速缓存,在配置正当的状况下,存储网关的读写性能靠近本地存储的性能。存储网关通过内网与天翼云存储进行对接,通过配置AK/SK等相干信息实现数据失常备份到天翼云存储。借助云专线,实现天翼云资源池与医院互联互通。  天翼云解决方案部署实现后,通过将院内受权管制的医疗影像电子化、网络化以及云化,能够进行更多的跨院、跨区域、跨集体的数据整合和利用,极大进步了医院的管理效率和信息化程度。通过将占比极高的影像数据存储在云上,保障了其余医疗数据的互联互通,为受权跨院、跨区域、跨集体的近程诊断、近程会诊和分级诊疗夯实根底,赋能医院向上倒退。此外,借助天翼云丰盛的数据安全治理教训和央企云基因,企业数据安全性也能失去保障。 在社会倒退、技术创新、患者需要等因素的独特驱动下,医疗机构正在放慢部署医疗云,寻求更优质的数据管理门路。天翼云将持续赋能医疗行业,助力医疗机构上云用数赋智,优化医疗机构数据管理形式,晋升医疗效率及品质,为更好地保障国民衰弱出一份力。

April 13, 2022 · 1 min · jiezi

关于存储:扇区

对于扇区寻址古代硬盘的寻址形式是LBA(Logical Block Addressing,逻辑块寻址),操作系统不再关怀某一个扇区的具体物理存储地位,而是由硬盘控制器对这些扇区进行编号,编号很简略,从0开始数,0,1,2,3,4,……,这样始终数上来,有多少扇区就通知操作系统多少,而后操作系统要拜访那个扇区的数据,就通知硬盘控制器读取第几个扇区的数据。 分区扇区是针对磁盘而言,然而对文件系统而言,一个100GB的磁盘上,就有超过2亿个扇区; $$100*1024*1024*1024/512=2亿 $$ 文件系统治理这2亿扇区累赘太大,文件系统并不间接把文件的数据寄存在某几个扇区上,而是对硬盘进行分区,将扇区组成成为一个更大的逻辑块来升高治理规模;文件系统给每个分区倡议一个特定的文件系统,而后把某一段编号的扇区作为一个逻辑存储空间; 如linux分区时: Number Start End Size File system Name Flags 1 2048s 332326911s 332324864s zfs-root 2 332326912s 466546687s 134219776s l2arc依据不同的规范,硬盘的分区信息会记录在硬盘上的某些特定扇区上。常见的分区规范有MBR(Master Boot Record,主疏导记录)和GPT( GUID Partition Table,惟一标识分区表)。主疏导记录(MBR,Master Boot Record)是采纳MBR分区表的硬盘的第一个扇区,即C/H/S地址的0柱面0磁头1扇区,也叫做MBR扇区。

April 5, 2022 · 1 min · jiezi

关于存储:固态硬盘中的page-是什么意思与磁盘中的扇区有什么关系

硬盘的扇区不论是机械硬盘还是固态硬盘,都有数百上千亿个根本存储单元——机械硬盘是一组磁性分子,固态硬盘是单个的晶体管,它们的不同状态,代表着1~4个0和1的组合。咱们为了不便拜访,会把若干个这样的组合作为硬盘的最小读写单位——扇区(sector)。 老式的机械硬盘一个扇区是4096位(bit,代表一个0或者1),一个字节有8位,也就是512字节(Byte)。古代硬盘、固态个别一个扇区是4096个字节,也就是4KB。固态硬盘外面其实不叫扇区,叫页(Page),当初有的闪存芯片一个Page是8KB甚至16KB的,但为了兼容性,操作系统拜访物理硬盘的时候,通常还是应用512字节扇区来进行拜访。这样一个扇区上的数据,很多文章中会说是一块(Block)数据,这也是很多中央把硬盘称之为块设施的起因(Block Device)。

April 5, 2022 · 1 min · jiezi

关于存储:汪源做客阿里云大咖说论道数据库开源与存储生态

开源对于生态对接的重要性是什么? 开源生态建设对于To B客户的意义在哪里? 开源是否是实现国产化代替的适合门路? 近日,网易副总裁、杭州研究院执行院长、网易数帆总经理汪源受邀加入阿里云“大咖说*对话开源”,与阿里云数据库开源战斗负责人、阿里云智能数据库产品事业部架构组负责人曲山(黄贵)开展精彩对话,以Data Infra(数据基础设施)为例,就开源生态、商业化及国产化等一系列问题进行了深入探讨。 Curve 开源存储,意在全场景反对 汪源是资深的开源技术实践者,2006年,初到网易的他面对业务增长带来的挑战,采纳分库分表的计划推动开源MySQL对Oracle的代替。这比起初影响微小的“去IOE”口头还要早,而这套技术当初仍然运行良好。 汪源介绍,网易开源之路能够分为用好开源、加强回馈、自主开源这三步,即首先充分利用开源技术施展价值,而后将对其不欠缺之处的加强奉献给社区,最初是将自研我的项目开源,解决已有技术架构力不能及的问题。 开源云原生软件定义存储系统Curve就是第三步的产出,是网易数帆冲破开源存储性能瓶颈的致力,也是网易数帆和阿里云在数据库畛域单干,为开源PolarDB for PostgreSQL提供分布式共享存储的配角。曲山示意,稳定性、可靠性和可用性这些是存储的根本需要,数据库业务有更高的要求,如对一写多读的架构,要反对多点挂载、闪回查问等能力,PolarDB for PostgreSQL和Curve 实现了对接。 Curve的指标,是打造一个高性能、易运维、全场景反对的通用存储系统,包含反对PostgreSQL、MySQL等多种云原生数据库,包含在块存储之外还提供文件存储,汪源认为,这将使得整个技术栈可能施展更好的效益。 开源是根底软件胜利的必要条件 在目前的根底软件畛域,尤其是Data Infra,开源越来越风行,汪源认为,开源是胜利的必要条件,以Curve为例,要想和Ceph分庭抗礼,不开源是不行的。 曲山同样认为,开源是打造行业标杆产品的必选项。曲山示意,商业产品取得客户须要付出比拟昂扬的老本,只有做到凋谢能力跟各种生态去对接。 曲山解释说,开源软件采纳凋谢的规范的接口,对于买通生态实现根底软件构架体系一体化很重要,如PolarDB和Curve等开源软件的对接都是基于规范的接口,在实践中并不需要消耗很多精力。 To B技术须要通盘考虑技术生态位 网易数帆的开源实际,始于服务网易业务,星辰大海却在To B市场,通过网易数帆为更多客户提供服务。汪源示意,这须要每一项技术通盘考虑是否与上下游形成一个衰弱的技术生态链,动静地倒退,一直晋升和改良,每一层都有多重技术选项和多个服务商来提供产品,最初组成一个很好的解决方案给客户。 良好的技术生态意味着要有一个凋敝的社区,有不同行业和企业的贡献者,而不是只有一家公司唱独角戏,从而为企业无效扩散供应链的危险。 那么,软件开源了,是否影响商业化的推动?汪源和曲山都认为,如数据库这样的简单的根底软件产品,真正在工业级场景下大规模利用,企业是须要业余团队来提供技术保障的。 汪源示意,分心做好产品,把客户根底做得足够大,生意天然能做大,“不必焦急,至多在你的开源我的项目没有达到肯定的状态之前,不必过早地去关注这个事件。” 曲山示意,通过云服务把曾经验证过的产品凋谢进来,也是一条较好的商业化路径,如Databricks、Snowflake就是典型的例子。 解决卡脖子问题,开源比闭源成长更好 在明天根底软件国产化代替、解决卡脖子问题的趋势下,开源模式取得了空前的关注,但开源真的比传统的闭源研发模式更有劣势吗? 在2003年就参加研发国产数据库神舟OSCAR的汪源对此深有感触。他示意,神舟OSCAR当年在科技部测评中得分远超第二名,但到明天看来倒退得不甚现实。尽管国内的开源数据库和Spark、Snowflake等Data Infra技术相比体量依然差距微小,也不能说特地胜利,但比照非开源国产数据库和当初开源的国产数据库最后三五年的倒退,汪源认为开源更胜一筹。 “还是可能显著地看进去,开源数据库至多后期的成长过程,比原来非开源的(数据库)要高很多,用开源的形式去做,胜利的概率会更大。”汪源说。 更多精彩观点,请观看本期采访视频,扫下图二维码或戳原文链接即可中转。 视频链接:https://talk.aliyun.com/live?...Curve我的项目地址:https://github.com/opencurve/...网易数帆开源主页:https://sf.163.com/opensource

March 31, 2022 · 1 min · jiezi

关于存储:软件定义存储厂商大道云行加入龙蜥社区

近日,北京小道云行科技有限公司(以下简称“小道云行”)签订了CLA(Contribution License Agreement,贡献者许可协定),正式退出龙蜥社区(OpenAnolis)。 小道云行是业余的软件定义存储产品及技术服务提供商、新一代全闪软件定义存储领导者,专一于 SDS 存储、广电媒体、HPC、视频监控、云计算、AI 等畛域畛域,致力于为企业级客户提供高效智能的软件定义存储产品和解决方案。 围绕软件定义、全闪化等产品策略,小道云行打造了大容量分布式对立存储、超高性能全闪存分布式存储等产品,并与麒麟、统信软件等操作系统和鲲鹏、飞腾、海光、申威、龙芯等多家芯片厂商实现了适配认证。 小道云行副总经理阮薛平示意:“融入开源生态,聚焦技术创新。以龙蜥为代表的开源操作系统及社区生态已成为开源过程中强劲的推动力量。将来,小道云即将充分发挥分布式存储畛域的专业性和创新性,积极参与龙蜥社区的合作和建设,独特促成国产化存储及数据利用的减速落地。” 龙蜥社区理事陈颖示意:“作为软件定义数据核心的重要组成部分,企业级存储正沿着软件定义的主旋律,朝分布式、闪存优化、云赋能等方向疾速演进。置信小道云行的退出,将会为龙蜥操作系统数据中心提供翻新和高效的存储及数据管理计划,以当先的分布式文件存储系统产品为根底,继续的研发和疾速的本地化服务为保障,助力龙蜥社区在云计算和大数据时代发明更高的价值。” 「龙腾打算」自公布以来,已有超过百家企业签订 CLA 协定退出龙蜥社区,包含平安厂商格尔软件、海泰方圆,数据库厂商南大通用、巨杉数据库,中间件厂商西方通、中创中间件、宝兰德等,欢送更多企业退出。 —— 完 —— 退出龙蜥社群 退出微信群:增加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;退出钉钉群:扫描下方钉钉群二维码。欢送开发者/用户退出龙蜥社区(OpenAnolis)交换,独特推动龙蜥社区的倒退,一起打造一个沉闷的、衰弱的开源操作系统生态! 对于龙蜥社区 龙蜥社区(OpenAnolis)是由企事业单位、高等院校、科研单位、非营利性组织、集体等在被迫、平等、开源、合作的根底上组成的非盈利性开源社区。龙蜥社区成立于 2020 年 9 月,旨在构建一个开源、中立、凋谢的Linux 上游发行版社区及翻新平台。 龙蜥社区成立的短期指标是开发龙蜥操作系统(Anolis OS)作为 CentOS 停服后的应答计划,构建一个兼容国内 Linux 支流厂商的社区发行版。中长期指标是摸索打造一个面向未来的操作系统,建设对立的开源操作系统生态,孵化翻新开源我的项目,凋敝开源生态。 目前,龙蜥OS 8.4已公布,反对 X86_64 、Arm64、LoongArch 架构,欠缺适配飞腾、海光、兆芯、鲲鹏、龙芯等芯片,并提供全栈国密反对。 欢送下载: https://openanolis.cn/download 退出咱们,一起打造面向未来的开源操作系统! https://openanolis.cn

March 29, 2022 · 1 min · jiezi

关于存储:恒源云Gpushare存储优化hytmp可以扩缩容啦

继【会员体系】、【流动专区】上线后,为了进一步优化数据存储体验,特降级了【Tmp(/hy-tmp)】的应用规定,其余收费存储形式包含【OSS存储】、【共享存储 (/hy-nas )】,其收费额度及免费规范放弃不变。 【Tmp(/hy-tmp)】应用事项老规定沿用1、每个实例的/hy-tmp目录下,都享有100GB的收费应用空间 2、实例关机后,/hy-tmp目录下的数据,将保留24个小时,超过时限后清理,无奈复原 3、迁徙实例后,原实例/hy-tmp目录下的数据将会主动革除,无奈迁徙至新机器 新规定上线1、应用/hy-tmp目录时,数据存储超过收费100G,可进行空间的拓展,即【扩容】;后续存储需要若发生变化,可进行【缩容】2、对/hy-tmp目录【扩/缩容】时,实例需【运行中】,超过100G的局部,依照1G 0.0004元/小时免费(反对代金券付费);实例【关机】后,/hy-tmp目录超额存储局部不再计费 举个栗子明天,Alice须要下载一个200G的公共数据集至实例/hy-tmp目录下,此时【点击扩容】,扩容到200G,其中,100G为收费额度,其余100G将大量免费,若运行保留1天,则免费为100G×0.0004元/小时×24小时=0.96元 重要揭示1、新规定启用后,将有7天的过渡期,在此期间,大家在进行/hy-tmp【扩容】时,不会免费,即0元/小时,过渡期完结后,将恢复正常计费 2、/hy-tmp目录为长期寄存训练数据的目录,平台强烈建议 ,大家在训练实现后,将训练数据上传至集体数据云盘中 【我的数据】全新改版OSS存储(左) 共享存储 (/hy-nas)(中) Tmp(/hy-tmp)(右) 【数据文档】局部更新戳我查看

March 18, 2022 · 1 min · jiezi

关于存储:国产SRAM厂家伟凌创芯

物联网及穿戴设施还未入世前,Serial SRAM的利润并不能吸引支流到SRAM厂商的关注。随着串行SRAM的商机一直增多,传统的SRAM厂商进军串行SRAM畛域的逐步增多。容量和带宽将是两大推动力。 大吞吐量、玲珑的串行接口SRAM芯片带来了有限的可能性。它最终有可能成为泛滥电路板上当代嵌入式SRAM和并行SRAM的全财产继承者。 国产SRAM厂商安徽伟凌创芯微电子有限责任公司是一家以市场为导向的无晶圆半导体公司。专一SRAM存储芯片、显示驱动,接口转换芯片设计、生产及销售。领有国内出名设计专家及工作经验丰富工程师研发团队,与国内出名前后道生产合作伙伴严密单干。为行业客户提供高品质、低成本,供货继续稳固的自主知识产权的集成电路产品,产品畛域涵盖智能感知、网络可视化、信息化、信息安全、大数据分析、智能语音、利用展示、特种通信和智能建筑等。 EMI串行接口的SRAM,外扩SRAM能够通过应用SPI的接口来将内部RAM增加到简直所有利用中。串行拜访的动态随机存取存储器采纳先进的CMOS技术进行设计和制作,以提供高速性能和低功耗。采纳单芯片抉择(/ CS)输出进行操作,并通过与SPI兼容的简略串行接口进行拜访。可在-40℃至+ 85℃(工业级)的温度范畴内工作。 并口SRAM芯片可作为弱小微处理器的主缓存应用, 通常仅以375mW的功率工作。低功耗提供了电池备份数据保留性能,器件采44TSOP2引脚封装,供电电压VCC的范畴为2.7~3.6V,属于一般主板都能提供的弱电输出电压。 其作为SRAM最大的特点就是在主机断电后,仍能通过由电池供电,持续保留曾经存储在芯片中的数据,并且其数据保留所需的电压VDR升高到1.5V最低,而所需的电流IDR更是低至4A最大值,SRAM芯片相比DRAM的长处在于不须要刷新电路就能保留外部存储的数据,而且更为疾速、低功耗。读写延时在45/55ns左右,堪称是响应极其迅速的一款产品,适宜用在需高速数据传输的设施当中。 EMI伟凌创芯SRAM芯片采纳先进的全CMOS工艺技术制作,位宽为8/16位异步低功耗SRAM芯片,反对宽电压范畴2.3V〜5.5V,同时反对商业及工业温度范畴,封装采纳规范44TSOP2,48BGA,其RAM产品具备高性能,高可靠性,高存储密度等个性,广泛应用于办公自动化,人工智能,工控设施,POS设施,通信通信行业等。

February 11, 2022 · 1 min · jiezi

关于存储:Everspin授权代理非易失性双电源并口MRAMMR0D08BMA45R

MR0D08BMA45R是一款双电源1Mbit的磁阻随机存取存储器(MRAM)器件。反对+1.6~+3.6V的I/O电压。提供SRAM兼容的45ns读/写时序,具备有限的耐用性。数据在超过20年的工夫里始终是非易失性的。数据通过低压克制电路在断电时主动爱护,以避免电压超出规格的写入。MR0D08BMA45R是必须疾速永恒存储和检索要害数据和程序的利用的现实内存解决方案。 MR0D08BMA45R采纳小尺寸8mmx8mm、48引脚球栅阵列(BGA)封装,在宽泛的温度范畴内提供高度牢靠的数据存储。该产品提供商业温度(0至+70℃)。此款MRAM存储器可取代零碎中的FLASH、SRAM、EEPROM和BBSRAM,实现更简略、更高效的设计。通过更换电池供电的SRAM进步可靠性。 特色+3.3伏电源•I/O电压范畴反对+1.65至+3.6伏宽接口•45ns的疾速读/写周期•SRAM兼容时序•有限读写耐力•数据在温度下超过20年始终非易失性•合乎RoHS的小尺寸BGA封装 Everspin Technologies, Inc是设计制作和商业化分立和MRAM和STT-MRAM进入数据持久性和应用程序的市场和应用领域的翘楚。完整性、低提早和安全性至关重要。Everspin非易失性存储MRAM在数据中心、云存储、能源、工业、汽车和交通运输市场,建设了世界上最弱小和增长最快的 MRAM 用户根底。

January 26, 2022 · 1 min · jiezi

关于存储:EMI508NL16VM55I完美替换IS62WV51216EBLL45TLI片外sram-8M

IS62WV51216EBLL-45TLI SRAM芯片是一个8M容量,组织构造为512KX16的高速率低功耗动态随机存储器。采纳高性能CMOS工艺制作。高度牢靠的工艺水准再加翻新的电路设计技术,造就了这款高性能,低功耗的器件。应用IS62WV51216的片选引脚和输入使能引脚,能够简略实现存储器扩大。IS62WV51216EBLL-45TLI采纳JEDEC规范44TSOP2封装。 我司介绍一款可用于替换IS62WV51216EBLL-45TLI的国产SRAM芯片,EMI伟凌创芯8Mbit国产低功耗SRAM芯片EMI508NL16VM-55I采纳EMI先进的全CMOS工艺技术制作。位宽512KX16,电源电压为2.7V~3.6V,反对工业温度范畴和芯片级封装,以实现零碎设计的用户灵活性。该系列还反对低数据保留电压1.5V(Min.),用于以低数据保留电流进行电池备份操作。采纳规范44TSOP2封装模式。代理商英尚微电子提供收费样品测试及技术支持。 low power sram次要是指低功耗SRAM存储器,利用于内有电池供电对功耗十分敏感的产品,作为动态随机拜访存储器的一种类别,动态随机拜访存储器(SRAM)作为最重要的半导体存储器,宽泛地嵌入于高性能微处理器。随着集成电路制作工艺的一直晋升,存储器占据芯片的功耗比例越来越大,高速低功耗的SRAM设计变得越来越重要

January 26, 2022 · 1 min · jiezi

关于存储:IT人的年夜饭也太香了吧

简介:平时的IT人,奋战在修复bug火线,起早与贪黑齐飞,调休共假期待定。到了新春佳节,对于IT人来说,没有什么是比一顿年夜饭更让人熨贴肺腑的了。为了让废寝忘食编程序、闻机起早保运维的IT人过一个安稳的好年,本香帅精心筹备了一份新春存储年夜饭。 原文链接本文为阿里云原创内容,未经容许不得转载。

January 25, 2022 · 1 min · jiezi

关于存储:富士通代理4KBit-I2C铁电存储器MB85RC04V

富士通型号MB85RC04V是一款FRAM芯片,位宽为512字×8位,采纳铁电工艺和硅栅CMOS工艺技术造成非易失性存储单元。与SRAM不同,MB85RC04V可能在不应用数据备份电池的状况下保留数据。MB85RC04V应用的非易失性存储单元的读/写寿命进步到至多1012个周期,在数量上显著优于其余非易失性存储产品。MB85RC04V铁电存储器在写入存储器后不须要轮询序列,例如闪存或E2PROM的状况。 特点•位配置:512字×8位•两线串行接口:齐全由两个端口管制:串行时钟(SCL)和串行数据(SDA)。•工作频率:1MHz(最大)•读/写耐久性:1012次/字节•数据保留:10年(+85℃)、95年(+55℃)、超过200年(+35℃)•工作电源电压:3.0V至5.5V•低功耗:工作电源电流90A(Typ@1MHz),待机电流5A(典型值)•工作环境温度范畴:−40℃至+85℃•封装:8-SOP RoHS合规 I2C(外部集成电路)MB85RC04V具备两线串行接口;I2C总线,作为从设施运行。I2C总线定义了“主”和“从”设施的通信角色,主端领有启动管制的权限。此外,I2C总线连贯是可能的,其中单个主设施连贯到多台隶属设施以组线配置。在这种状况下,须要为从设施调配一个惟一的设施地址,主设施在指定从设施通过地址进行通信后开始通信。 FRAM是一种非易失性铁电存储器,因为它联合了ram和非易失性存储器的长处。绝对于闪存/EEPROM的写入劣势和非易失性使其非常适合在断电状况下存储数据。具备高读写耐久性和疾速写入速度。富士通FUJITSU代理英尚微可提供产品测试及技术支持。

January 18, 2022 · 1 min · jiezi

关于存储:基于Amazon-ECS-Fargate构建Apache-Superset

摘要:Apache Superset是一个开源的基于支流云原生技术构建的数据可视剖析平台Business Intelligence(BI),给用户提供轻量,直观,可定制的操作界面来对接各种数据源,实现数据的查问,编排和可视化。通过联合Amazon Elastic Container Service(Amazon ECS),Amazon Cloud Map等托管服务,咱们能够将Apache Superset疾速构建至托管的容器集群,而无需装置、操作和扩大额定的容器编排和集群治理基础设施,IT人员,数据分析师等角色能够专一于业务自身,更加高效的实现从数据驱动认知到数据驱动决策的转变。 Apache Superset:https://superset.apache.org/要害音讯:Business Intelligence(BI),容器技术; 要害服务:Amazon Elastic Container Service(ECS),Amazon Cloud Map,Amazon Elastic File System(EFS); 前言当今BI平台的技术演进向数据和剖析两端倒退,数据端通过ODBC/JDBC等SQL利用接口对接数据源,通过ETL加工后送入数据仓库实现云上,线下数据的对立治理,剖析端利用大数据,AI/ML,NLP等技术实现数据的智能查问,深度剖析和常识图谱等能力。随同云计算技术成熟和倒退,利用云服务厂商所提供的托管服务打造的根底平台,在业务可靠性,利用灵活性以及现有服务对接方面相较传统BI都存在较大劣势,以云托管服务为基础设施的一站式BI平台逐步成为趋势。 在数据ETL,数仓托管,数据挖掘,数据可视化环节,亚马逊云科技都提供了成熟牢靠的托管服务(如Amazon Glue,Amazon Redshift,Amazon EMR)来帮忙客户疾速搭建起自有的全自动化数据处理流水线,实现从原始数据获取到最终商业决策的疾速落地,同时针对BI平台将来智能化,自动化的技术趋势,亚马逊云科技也提供了从利用Amazon SaaS到基础设施的全AI/ML产品体系,以更好撑持各垂直行业如金融,电商,制作的细分畛域和具体利用。 架构概览Amazon Apache Superset各功能模块采纳松耦合的形式独立开发迭代,模块间的通信通过Celery构建的分布式音讯队列实现,对于容器技术如Docker,Kubernetes的反对绝对欠缺。 Celery:https://docs.celeryproject.or...其次要模块及采纳的技术栈如下所示: web server(Gunicorn, Nginx, Apache)metadata database engine(MySQL, Postgres, MariaDB, etc.)message queue(Celery, Redis, RabbitMQ, SQS, etc.)results backend(S3, Redis, Memcached, etc.)caching layer(Memcached, Redis, etc.)基于云原生技术开发的理念,用户能够依照本身需要灵便定制后端实现,如音讯队列方面,用户能够采纳默认的Redis,也能够对接Amazon SQS实现更为经济牢靠,弹性高效的队列性能。目前社区提供的容器版本通过Host Volume单节点运行的形式来实现利用的初始创立,数据挂载等性能,如下图所示: 为了最大水平适配原有Apache Superset的架构设计,咱们将其迁徙运行到亚马逊云科技的基本思路是将平台自身绝对独立的功能模块运行在Amazon ECS上,利用Amazon ECS Fargate实现资源的调度,服务的健康检查,各Amazon ECS服务自身通过Amazon Cloud Map创立的公有DNS进行服务发现,寻址和通信,各Amazon ECS服务本身的数据存储共享通过Amazon EFS实现,以获取更好的可用性,灵活性和低成本。网络布局咱们遵循亚马逊云科技最佳实际,用户上行inbound拜访流量通过Amazon Application Load Balancer对接到Amazon ECS集群的Superset Service,Superset Service的上行outbound流量如连贯内部数据源,获取示例数据等则通过Amazon NAT Gateway实现,联合Amazon VPC平安组实现网络流量的端口管制(如Superset默认的端口8088),整体计划的软件架构如下图所示: ...

January 15, 2022 · 1 min · jiezi

关于存储:Apache-Atlas-数据血缘

01 什么是数据血统数据血统跟踪、记录、展现了数据来自何处,以及在数据流转过程中利用了哪些转换操作,它有助于追溯数据起源及处理过程。 数据血统零碎的外围性能: 数据资产的主动发现及创立血缘关系的主动发现及创立不同视角的血统及资产剖析展现与数据血统容易混同的概念:数据起源。数据起源重点在于跟踪数据的原始起源,包含与数据相干的采集、规定、流程,以帮忙数据工程师评估数据的品质。 02 Apache Atlas 及其个性Atlas 是一套可伸缩且可扩大的数据治理服务,使企业可能无效和高效地满足其在 Hadoop 生态中的合规要求,并容许与整个企业数据生态系统集成。 Atlas 为组织提供凋谢的元数据管理和治理能力,以建设其数据资产目录、对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的合作能力。 元数据及实体预约义的 Hadoop 及非 Hadoop 零碎的元数据类型。 基于 Rest API 的类别及实体治理 类别及实体的主动捕捉 数据血统血统主动捕捉 可探查的数据血统展现 基于Rest API的数据血统治理 搜寻可按数据资产类别,实体及属性的搜寻 基于 Rest API 的简单搜寻 类 SQL 的搜寻语言 平安及敏感数据遮蔽元数据拜访的细粒度管控。 与 Apache Ranger 集成,进行基于实体分类的受权及数据遮蔽。 分类类别主动发现 实体类别标签自动化 基于血统分类流传 03 数据血统视角(一)工程师视角 数据工程师通常心愿看到数据处理细节的血统,例如数据处理过程中的 mapping,de-duplicate,data masking,merge,join, update, delete, insert 等诸如此类的操作,这样便于在数据呈现问题的时候不便他们进行回溯剖析定位。 (二)业务用户视角 业务用户通常心愿看到数据从哪里来,通过了那些要害的解决环节,每个解决环节是谁来负责,他们通常不关怀诸如 merge,join 等十分技术细节的操作。例如: 在这个典型的用户视角内,最左侧的数据原始发源地,以及爬虫,ftp这些要害节点事实上很难被 Apache Atlas 主动发现和治理,在 Apache Atlas 内这部元数据通常须要手工捕捉。 依据 Apache Atlas 版本个性来看,1.0并不反对实体类型的图标定制化性能。2.1的版本反对实体类型图标定制化性能,哥尼斯堡七桥问题胜利阐释了一幅图胜过一言半语,同时也诞生了一个全新的学科:图论,抉择合乎业务理论场景的实体图标类型,往往能缩小很多不必要的解释阐明。 ...

January 14, 2022 · 1 min · jiezi

关于存储:面向未来我们来聊一聊什么是现代化数据架构

在不那么边远的旧 IT 时代,有这样一个段子——如果把数据库们”聚在一起“散会”。 Oracle: 咱们须要企业级数据库。 MySQL: Oracle 不开源。 PostgreSQL: MySQL 的性能不够多。 SQLite: 你能够把我嵌入到任何中央。这样,4 种数据库够大家用了。 MongoDB: 为什么咱们要用 join 和模式 (schema)? Bigtable: MongoDB 的对 web 的扩展性不好。 Hbase: Bigtable 不开源。.... (摘自:《外刊 IT 评论》)   这段“对话”显然有滑稽的成分,但也映射出一个无奈逃脱的事实——一个数据库包打天下的时代过来了。俗话说,“工欲善其事,必先利其器”,那么,咱们到底须要怎么的数据架构?又该如何抉择数据库?在亚马逊云科技首期 Build On《现代化数据架构思考与实际 -NoSQL 的前世今生解读及架构搭建》中,数据库产品专家吕琳、李君针对现代化数据架构这一话题开展分享并率领大家现场实现了非关系型数据库相干的两个入手试验。 01 繁多数据库无奈满足需要在数据库技术的发展史上,1970 年是个微小的转折点,这一年,埃德加·科德发表了《大型共享数据库数据的关系模型》一文。由此,关系型数据库始终占据着数据库生态圈的顶尖位置。科德自己也凭借这项成就取得了图灵奖。值得一体的是,仅关系型数据库这一个门类就前后诞生了四个图灵奖得主。 随着现代化利用的倒退,开发者对性能、规模和可用性的要求更高。用户量动辄百万以上,数据量从 TB 增长至 PB,性能要求达到毫秒甚至奥妙级别的提早...... 与此同时开发者心愿免去沉重、反复的运维和部署工作,将更多的精力投入到开发业务中去。繁多数据库的模式已无奈满足企业的需要。 2004 年,亚马逊电商产生过一次很重大的故障,以致用户间断几个小时无奈实现交易。过后,亚马逊电商采纳的是 Oracle 关系型数据库,但因为关系型数据库人造地在面对海量数据的高效率读写时,读写性性能较差,因而,只管领有上万套 Oracle 数据库,并对数据进行了分库分表处理,在业务量剧增的状况下,零碎还是解体了。这时的亚马逊未然遇到了关系型数据库的扩大瓶颈。 在那次重大的事变后,亚马逊开始从新考量、构建本人的利用,并从新抉择数据库。其实,过后作为 Oracle 寰球最大的客户之一,亚马逊享受到的 license 折扣是极低的,然而,面向未来的爆炸式倒退需要,让他们意识到以后数据架构的不欠缺。在审慎调研与设计之后,亚马逊决定不再采纳繁多数据库模式,而是将其进行拆分,同时采纳 Amazon Redshift、Amazon DynamoDB、 Amazon Aurora、 PostgreSQL 等多种类型的数据库。这样的做法防止了仅采纳关系型数据库产生的因数据集增大而带来的性能降落问题。在海量数据集下仍旧能够放弃高并发申请和继续低响应提早,且简直没有扩大下限。现在,亚马逊电商零碎在相似双 11 流动规模的 Prime Day 上,每秒可能会应答超过 8000 万次的调用,如果仅采纳关系型数据库,简直是不可能实现的。 ...

January 14, 2022 · 2 min · jiezi

关于存储:Amazon-DynamoDB-在智能湖仓架构中的实践

自 2012 年推出以来,已有数十万亚马逊云科技客户抉择用 Amazon DynamoDB 解决要害工作的工作负载。Amazon DynamoDB 是一个非关系型数据库,容许您存储简直无限量的数据,并以任何规模的复数毫秒级性能检索数据。 为了从这些数据中取得最大价值,客户必须依附 Amazon Data Pipeline、Amazon EMR 或基于 Amazon DynamoDB 流的其余解决方案。这些解决方案通常须要构建具备高读取吞吐量的自定义应用程序,继而会产生昂扬的保护和经营老本。 明天,咱们将推出一项新性能,这项性能可使您将 Amazon DynamoDB 表数据导出 Amazon Simple Storage Service (S3)——无需编写代码。 它是 Amazon DynamoDB 的一项新的原生性能,能够以任何规模运行,无需治理服务器或集群,且该性能反对您跨亚马逊云科技区域和账户以秒级粒度将数据导出到过来 35 天的任何工夫点。此外,它不会影响生产表的读取容量或可用性。 当您将数据以 Amazon DynamoDB JSON 或 Amazon Ion 格局导出到 Amazon S3 后,您即可应用 Amazon Athena、Amazon SageMaker 和 Amazon Lake Formation 等收藏夹工具查问或从新塑造它们。 在本文中,我将向您演示如何将 Amazon DynamoDB 表导出到 Amazon S3,而后应用规范 SQL 通过 Amazon Athena 进行查问。 将 Amazon DynamoDB 表导出到 Amazon S3 存储桶导出过程依赖于 Amazon DynamoDB 在后盾继续备份数据的能力。此性能称为间断备份:它反对工夫点复原 (PITR),并反对您将表复原到过来 35 天内的任何工夫点。 您能够通过点击 Streams and exports(流和导出)选项卡中的 Export to Amazon S3(导出到 Amazon S3)开始。 ...

January 14, 2022 · 1 min · jiezi

关于存储:Amazon-Redshift-表设计优化-–-优化已有数据表中的列大小

简介Amazon Redshift 数据仓库是种疾速且齐全托管的数据仓库服务,让您能够应用规范 SQL 和现有的商业智能工具经济高效地剖析您的所有数据,提供优质的数据仓库解决方案。 在布局 Amazon Redshift 数据库时,某些要害表的设计对整体查问性能影响很大。这些设计的优化能够缩小 I/O 操作数和尽量减少解决查问所需的内存,因此对存储需要以至查问性能也有很大的影响。 对 Amazon Redshift 表设计的最佳实际包含了以下几点: 抉择最佳的排序键抉择最佳的调配形式让 COPY 抉择压缩编码定义主键和外键束缚应用尽可能小的列大小在日期列中应用日期/工夫数据类型本文中,咱们会聚焦于“应用尽可能小的列大小”这一点,介绍如何通过 SQL 脚本的形式半自动化地实现对 Amazon Redshift 数据表中列大小的优化。 应用尽可能小的列大小的必要性 依据亚马逊云科技官网文档上所形容的,尽管 Amazon Redshift 在数据压缩方面十分杰出,定义过大的列长度对数据表自身的大小不会造成很大影响。然而,在运行一些简单的查问时,因为两头过程数据会被长期存储,而这时创立的长期表不会被指定压缩格局,这样就会造成查问占用过多的内存或者长期磁盘空间的景象,从而导致查问性能的升高。 https://docs.aws.amazon.com/z... 测试环境筹备 首先,运行如下 SQL 脚本在你的 Amazon Redshift 数据库中新建一张数据表 test_schema.customer 用于测试。 CREATE SCHEMA test_schema;CREATE TABLE test_schema.customer(  c_custkey      INTEGER NOT NULL encode delta,  c_name         VARCHAR(65535) NOT NULL encode zstd,  c_address      VARCHAR(65535) NOT NULL encode zstd,  c_city         VARCHAR(65535) NOT NULL encode zstd,  c_nation       VARCHAR(65535) NOT NULL encode zstd,  c_region       VARCHAR(65535) NOT NULL encode zstd,  c_phone        VARCHAR(65535) NOT NULL encode zstd,  c_mktsegment   VARCHAR(65535) NOT NULL encode zstd) diststyle even;*左滑查看更多 其次,执行如下 SQL 脚本将测试数据导入 test_schema.customer 表。测试数据位于LoadingDataSampleFiles.zip 压缩包中。 copy test_schema.customerfrom 's3://<your-bucket-name>/load/customer-fw.tbl'credentials 'aws_access_key_id=<Your-Access-Key-ID>;aws_secret_access_key=<Your-Secret-Access-Key>' fixedwidth 'c_custkey:10, c_name:25, c_address:25, c_city:10, c_nation:15, c_region :12, c_phone:15,c_mktsegment:10';*左滑查看更多 当初,数据表 test_schema.customer 中的 varchar 字段的长度都被定义为了65535。运行以下 SQL 脚本,能够看到理论数据中的字段长度远远小于65535。 select    max(len(c_name)) as c_name,    max(len(c_address)) as c_address,    max(len(c_city)) as c_city,    max(len(c_nation)) as c_nation,    max(len(c_region)) as c_region,    max(len(c_phone)) as c_phone,    max(len(c_mktsegment)) as c_mktsegmentfrom test_schema.*左滑查看更多 优化现有数据表中列大小的操作过程 接下来,咱们会通过上面的八个步骤,来实现对数据表 test_schema.customer 的优化工作,将数据表中所有 varchar 数据类型的列大小进行优化,依据已有数据的最大长度来进行相应的压缩。 第一步,在 Amazon Redshift 数据库中创立存储过程 proc_replicate_table_with_resized_columns。这个存储过程提供了4个参数,别离是: var_schema_name varchar(50),该参数用于指定您须要进行列大小的优化的数据表的schema。var_table_name varchar(50),该参数用于指定您须要进行列大小的优化的数据表的表名。var_postfix varchar(50),该参数用于在原表名后附加后缀名,作为新创建数据表的表名。var_ratio decimal(19,2),该参数用于指定一个系数,将列大小调整为该列最大长度乘以该系数。首先,该存储过程会创立一个和指定数据表一样表构造的新数据表,该新表的名称会在原先表的名称后附加一个您指定的后缀;其次,该存储过程会查看指定数据表中所有 varchar 数据类型的列,如果改列在现有数据中的最大长度乘以一个系数之后,依然小于表定义中原先设定的长度,则会生成一个 SQL 脚本来调整新创建表中该列的长度,长度被调整为round(column_actual_len * var_ratio)。 ...

January 14, 2022 · 1 min · jiezi

关于存储:呼叫医生云-Amazon-HealthLake-正式推出

在 2020 年 Amazon re:Invent 大会上,咱们预览了 Amazon HealthLake,这是一项齐全托管、合乎 HIPAA 规范的服务。医疗保健和生命科学客户能够利用此服务将来自不同孤岛和不同格局的衰弱信息汇总到结构化的集中式亚马逊云科技数据湖,并通过剖析和机器学习 (ML) 从这些数据中获取洞察。明天,我非常高兴地发表,Amazon HealthLake 正式公布,可供所有亚马逊云科技客户应用。 可能疾速存储、转换和剖析任何规模的衰弱数据对于做出正当的衰弱决策至关重要。在日常实际中,医生须要遵循工夫程序的患者病史视图,以确定最佳医治计划。如果呈现紧急情况,在适当的工夫向医疗团队提供适当的信息能够显著改善患者的医治成果。同样,医疗保健和生命科学钻研人员也须要高质量的规范化数据,以便据以进行剖析和构建模型,来确定人口衰弱趋势或药物试验受体。 传统上,大多数衰弱数据都锁定在临床笔记等非结构化文本中,并存储在 IT 孤岛中。异构应用程序、基础设施和数据格式使得从业人员难以拜访患者数据并从中取得洞察。咱们构建了 Amazon HealthLake 来解决此问题。 如果您急不可待要开始应用该服务,能够立刻跳转到 Amazon HealthLake 的亚马逊云科技控制台。 隆重推出 Amazon HealthLakeAmazon HealthLake 由齐全托管的亚马逊云科技基础设施提供反对。您不用洽购、预置或治理一件 IT 设施。只需创立一个新的数据存储即可,而这仅需几分钟工夫。数据存储准备就绪后,您能够立刻创立、读取、更新、删除和查问数据。HealthLake 公开了一个简略的 REST 应用程序编程接口 (API),以最罕用的语言提供,客户和合作伙伴能够轻松地将其集成到本人的业务应用程序中。 确保安全是亚马逊云科技的首要任务。默认状况下,Amazon HealthLake 应用 Amazon Key Management Service (KMS) 对静态数据进行加密。您能够应用亚马逊云科技托管的密钥,也能够应用本人的密钥。Amazon KMS 旨在让包含亚马逊云科技员工在内的任何人都不能从服务中检索您的明文密钥。对于传输中的数据,Amazon HealthLake 应用行业标准的 TLS 1.2 端到端加密。 公布时,Amazon HealthLake 反对结构化和非结构化文本数据,这些数据通常能够在临床笔记、实验室报告、保险索赔等中找到。该服务以疾速医疗保健互操作性资源(FHIR,发音为“fire”)格局存储这些数据,该格局是一种旨在反对衰弱数据交换的规范。Amazon HealthLake 与最新订正版本 (R4) 兼容,目前反对 71 种 FHIR 资源类型,后续还会反对更多资源。 如果您的数据曾经采纳了 FHIR 格局,那就太棒了!如果还没有采纳这种格局,您能够自行进行转换,也能够应用 Amazon Marketplace 中提供的合作伙伴解决方案。公布时,Amazon HealthLake 包含针对 Redox、HealthLX、Diameter Health 和 InterSystems 应用程序进行了验证的连接器。它们能够轻松将 HL7v2、CCDA 和立体文件数据转换为 FHIR 格局,而后将其上传到 Amazon HealthLake。 上传数据时,Amazon HealthLake 应用集成的自然语言解决提取文档中存在的实体并存储相应的元数据。这些实体包含解剖、医疗条件、药物、受爱护的衰弱信息、测试、医治和程序。它们还与行业标准的 ICD-10-CM 和 RxNorm 实体匹配。 ...

January 14, 2022 · 2 min · jiezi

关于存储:构建安防视频云存和传统安防视频业务的烦恼说再见

安防视频云存业务特点与面临挑战传统视频数据因为不足元数据索引,因而在无奈确定准确的事件产生工夫时,无奈疾速无效的定位视频信息,须要大量人力对存量视频信息进行检索。由此引入微小的人力老本,并须要更多工夫实现视频检索。 此外,传统安防视频具备以下特点: 应用RTMP/RTSP协定实现视频流收流。须要海量、牢靠的视频存储。仅在有事件产生,并须要理解现实情况时才进行回看。回看框架须要确保7*24可用,在须要时能够快速访问从而实现回看性能。以上特点意味着: 须要在云端或本地部署额定的软/硬件资源,实现视频流接管,引入额定老本。传统的本地视频存储受限于繁多正本,存在单点故障导致的视频失落危险。固定的本地存储容量,使得减少摄像头数量时须要配套思考存储设施容量布局和部署计划,使得我的项目周期变长,我的项目布局更加简单。回看框架拜访频率不高,但7*24可用意味着即便没有回看需要的时间段内,依然须要领取对应的零碎运行老本。针对以上艰难和特点,咱们针对IPC视频云存老本优化场景,开发了能够植入到IPC外部的视频切片云存SDK,并利用亚马逊云科技提供的云上托管服务构建视频检索、回看平台,从而升高回看平台根底运行老本,实现回看老本与累积回看时长相干,在不应用回看平台时,简直无需领取平台运行老本,而当有人拜访时又能够疾速提供服务。 想要理解更多亚马逊云科技最新技术公布和实际翻新,敬请关注在上海、北京、深圳三地举办的2021亚马逊云科技中国峰会!点击图片报名吧~ 解决方案架构与次要功能模块零碎架构图: 次要功能模块: IPC C SDK植入到IPC外部的SDK,用于实现视频分片和封装,将能够间接回看的视频分片存储到Amazon S3存储桶中。并通过IAM权限治理,实现IPC上传权限的治理,从而确保各IPC视频上传权限互相独立。 利用SDK间接将视频上传至Amazon S3存储桶,从而解脱本地或云端视频流转存所需的资源,实现云存老本与存储视频累计时长相干。 Amazon S3视频存储桶用于存储IPC视频分片信息,反对应用Amazon S3对象标签和生命周期治理性能,实现视频分片保留周期治理和视频存储老本优化。 同时,利用Amazon S3每个前缀提供3500 PUT和5500 GET申请的性能,利用前缀命名规定,实现云存空间性能主动扩大,从而实现应用对立的框架反对从几个到数以百万计的IPC设施。 对视频抽帧并调用AI接口和DynamoDB元数据存储针对传统IPC视频存储难以检索的状况,引入云上AI服务,实现智能视频剖析,并依据视频内容,生成相应元数据信息,并保留在DynamoDB之中。用户能够抉择应用DynamoDB中信息,对视频内容进行检索,从而疾速定位到所需的视频片段和对应工夫,进而无效晋升视频检索效率,缩短视频检索所需工夫。 AI服务亚马逊云科技提供了丰盛的AI服务能够用于视频剖析与检索。目前反对的次要AI服务能够参考以下解决方案: https://www.amazonaws.cn/solu... 因为AI服务局部内容较多,限于篇幅,该解决方案另行刊文作具体介绍。敬请期待。 无服务器架构构建回放平台为了切实升高回看平台运行老本,特地是没有回看申请时的老本,本解决方案采纳了云原生的无服务器架构。具备无用户应用时,老本极低,收到申请时反对秒级疾速启动,主动扩大,对立零碎架构反对几个到数以百万计的用户同时拜访。 IPC-C-SDK用户能够从Github下载SDK代码并编译到本人的IPC之中: https://github.com/aws-sample... IPC-C-SDK外部工作逻辑如下: IPC-C-SDK从IPC外部视频、音频编码器取得视频、音频流,并通过减少TS、PAT、PMT、PES头,造成TS格局音视频流,并存储于IPC SoC内存缓存区中。 当内存缓存区中的音视频流达到肯定阈值后,IPC-C-SDK会主动通过内置Amazon S3客户端,将视频内容以对象模式推送到Amazon S3存储桶中。 得益于IPC-C-SDK,视频分片得以间接存储到Amazon S3中,而无需其余音视频码流解决设施或资源。从而使得老本得以无效升高到仅须要Amazon S3存储和API调用老本的水平。实现了老本的最优化。 IPC-C-SDK应用亚马逊云科技IAM进行权限治理。反对AK+SK和AK+SK+Token的身份验证模式。理论生产环境中,举荐应用Amazon IoT进行设施治理,配合IoT Credential Provider服务,实现物联网设施证书换长期IAM身份信息。该计划提供最佳的云上数据安全性,反对依照设施证书ID治理设施权限,从而确保IPC云存视频的安全性。其参考架构如下: 用户能够参考以下文档:https://docs.aws.amazon.com/i... Amazon S3视频存储桶Amazon S3视频存储桶提供高达99.999999999%的数据持久性。意味着如果以3秒分片保留到Amazon S3,每10000年才会失落一个3秒的视频分片。从而确保存储视频的安全性。 此外,在视频云存时,举荐应用以下格局进行存储: S3://{桶名称}/{设施证书ID} /{年}/{月}/{日}/{时}/{分}/{秒}.ts 该格局能够提供以下劣势: 确保数据存储和拜访平安利用设备证书ID作为第一级前缀,实现各个IPC设施之间的权限互相独立与隔离。即每个摄像头均只能拜访本人证书ID前缀之下的视频分片。通过IAM角色配置,更加能够实现限度IPC设施仅可能进行上传操作,而无奈下载视频分片,从而确保视频云存安全性。 性能主动扩大因为各个IPC别离属于不同的前缀之下,亚马逊云科技为每个Amazon S3前缀提供每秒3500 PUT和5500 GET申请的性能,因而当IPC摄像头数量减少时,Amazon S3将主动优化并提供对应性能的解决能力。从而实现应用对立架构反对从几个到数以百万计IPC设施的能力。 视频抽帧并调用AI接口将后果存储到DynamoDB中当视频分片上传到Amazon S3存储桶中后,用户能够抉择应用AI技术对视频内容进行剖析。例如:检测视频中呈现的人脸和相应地位,并将后果保留到DynamoDB中,供后续查问应用。 视频数据在上传到Amazon S3后,会触发Amazon S3事件告诉。通过云端Lambda函数,能够实现抽取视频关键帧,并转换为JPEG格局,发送给AI接口进行剖析。 AI剖析的后果会以JSON格局,返回给Lambda函数,Lambda函数将剖析后果信息存储到DynamoDB数据库中,供回看平台检索应用。 无服务器架构构建视频回看平台得益于以TS格局保留的视频分片,云存视频分片能够实现任意时间段内分片连接成整体视频进行回看。因而无需在云端进行二次转码操作。从而升高零碎老本。 ...

January 14, 2022 · 1 min · jiezi

关于存储:在Amazon-SageMaker中灵活使用多种存储服务

Amazon SageMaker 是一种齐全托管的端到端机器学习服务,数据科研人员、开发人员和机器学习专家能够疾速、大规模地构建、训练和托管机器学习模型。这极大地推动了您所有的机器学习工作,让您可能将机器学习技术迅速融入生产应用程序。Amazon SageMaker的次要工作组件包含:算法编写、模型训练、模型评估、模型托管等。 模型训练是机器学习工作流程中至关重要的一步,而为模型训练提供灵便、高效、精确的输出数据则间接决定了训练后果品质。通常,模型训练的工作不是欲速不达,而是一个动静调整,循序渐进的过程,须要重复调整以及多个部门和工作流程的合作实现。 本文中,咱们以机器学习中的图像分类算法为例,介绍典型的机器学习模型训练的输出数据筹备过程: 为了满足机器学习图像分类算法对训练和验证数据量的要求,咱们会保护一个微小的图片仓库,外面寄存着几万甚至更多的分类图片文件。数据筹备团队每天都会往仓库中减少新获取的图片文件并实现分类。同时,因为一些起因(比方,发现之前的分类谬误或者弃用一些类别),咱们也会对仓库中的图片文件进行批改或删除。 在理论的机器学习训练任务中,为了管制训练任务的工夫和规模,咱们会依据模型应用的场景,选取残缺仓库中的局部数据或者一个子集来组成训练数据集和验证数据集。 不同格局输出数据的应用差别Amazon SageMaker 的训练任务反对两种输出模式:管道模式和文件模式。 以管道模式运行训练任务的时候,训练实例不会将数据齐全下载到本地后才运行,训练实例按需从指定的管道中读取训练数据。管道模式能够减速训练实例启动和开始训练的过程,尤其是当训练数据量十分大,比方超过16TB的时候,训练实例的本地磁盘无奈承载全量的运行数据时,必须要应用管道模式能力进行训练。 接下去,咱们次要看一下Amazon SageMaker训练任务的文件模式输出,训练任务文件模式下目前反对的数据源包含:Amazon S3、Amazon EFS和Amzon FSx for Lustre 。不同的数据输出源以通道的模式提供给训练实例作为输出数据,一个训练实例能够最多配置20个不同的输出源通道,不同的通道能够应用不同的数据源类型。 咱们应用Amazon SageMaker提供的内置图像分类算法进行图像分类模型的训练,内置算法能够接管两种数据格式,一种是RecordIO格局,另一种是图片文件,对于如何解决数据到RecordIO格局能够参考MXNet的官网文档。以下咱们重点介绍图片文件的输出形式: 图像分类算法承受4个输出通道:train, validation, train_lst, validation_lst 别离对应训练数据集,验证数据集,训练数据集列表文件,验证数据集列表文件, 数据集和数据集列表文件在格局、存储模式和应用行为上有很大的差别。 数据集自身是图片文件,以某种模式的目录构造寄存,比方:按工夫、按类别、按部门等。图片文件一经生成后文件内容就固定下来,能够作为一个整体被读取,替换或删除。不同训练任务中,从图片仓库中选取局部图片组成训练数据集,同一个图片文件可能在不同的训练任务中被多次重复应用到。 数据集列表文件是一个以.lst为扩展名,文件外部以制表符(tab)作为宰割,为数据集里的图片文件提供索引信息。 一个典型的.lst索引文件格式如下: 15 1 your_image_directory/train_img_dog1.jpg231000 0 your_image_directory/train_img_cat1.jpg4522 1 your_image_directory/train_img_dog2.jpg第一列是图像文件的惟一索引号;第二列代表图像类别对应的数字号(从0开始),比方0代表猫,1代表狗;第三列是文件门路包含了文件绝对目录和文件名。 数据集列表文件须要依据每次训练任务的实用场景生成,可能频繁被读取和批改,包含: 屡次递进的训练任务中须要向列表文件中增加更多的图片文件索引记录;因为发现分类信息谬误,须要批改局部行的信息;因为图片仓库的批改,须要替换局部行的信息;多个lst文件之间须要频繁进行diff,通过比拟输出数据的差别来确认对训练输入模型的影响;分类规定扭转,原有分类细化分支或者合并到新的分类;须要在团队之间共享合作,实现对同一个.lst文件内容的确认和创立;其余一些场景。以图片模式的保留的图片仓库适宜以对象造成存储于Amazon S3上,当然,如果您心愿防止重复从Amazon S3下载大量的图片数据,或者现有的一些辅助工具是基于POSIX文件系统接口开发的,那么,Amazon EFS或Amazon FSx for Lustre同样能够提供一个简便、高效的数据长久化存储来构建您的图片仓库。 对列表文件.lst来说,须要频繁创立和批改,并可能须要联合工作流程,在多个成员之间合作的状况下实现最终文件内容的确定。因而列表文件.lst 适宜保留在具备POSIX接口的共享文件系统上,包含Amazon EFS和Amazon FSx for Lustre。当然您也能够应用S3来保留.lst文件,但思考到在文件块级别批改和读取上的便捷性以及文件分享简便性来说,在POSIX反对的共享文件系统上间接应用.lst文件的工作流程还是会更简便一些。 如何配置输出通道和数据源对于输出通道的具体配置,您能够在Amazon SageMaker控制台的训练任务创立过程中通过集成界面来具体指定: 以下是 S3作为输出通道数据源的配置: 以下是 EFS作为输出通道数据源的配置: 以下是应用 Amazon FSx for Lustre作为输出通道数据源的配置: ...

January 14, 2022 · 1 min · jiezi

关于存储:新增功能-–-Amazon-FSx-for-NetApp-ONTAP

早在 2018 年,我写了对于由齐全托管式、高度牢靠和高性能文件系统组成的Amazon FSx系列的前两个成员:Amazon FSx for Lustre和Amazon FSx for Windows File Server。 Amazon FSx:https://aws.amazon.com/fsx/Amazon FSx for Lustrehttps://aws.amazon.com/blogs/...Amazon FSx for Windows File Serverhttps://aws.amazon.com/blogs/...这两项服务都使您可能应用常见的开源和商业许可的文件系统,而无需解决硬件调配、软件配置、补丁、备份等问题。自启动以来,咱们为这两项服务增加了许多新性能,以满足您的要求: Amazon FSx for Lustre当初反对持久性文件系统,具备基于SSD和HDD的存储,用于长期存储和工作负载、存储容量扩缩、解体统一备份、数据压缩和存储配额。 基于SSD和HDD:https://aws.amazon.com/blogs/...存储容量扩缩:https://aws.amazon.com/about-...解体统一备份:https://aws.amazon.com/about-...数据压缩:https://aws.amazon.com/about-...存储配额:https://aws.amazon.com/about-...Amazon FSx for Windows File Server当初反对许多企业就绪性能,包含多可用区文件系统、自我管理的流动目录、细粒度文件复原、文件拜访审计、存储大小和容量吞吐量扩缩和低成本的HDD存储选项。 企业就绪性能:https://aws.amazon.com/blogs/...文件拜访审计https://aws.amazon.com/blogs/...低成本的HDD存储选项https://aws.amazon.com/blogs/...因为这些服务反对Lustre和Windows File Server用户曾经分明理解的文件拜访和存储模式,因而在应用现有应用程序时,能够轻松迁徙现有应用程序并微调现有的操作计划。尽管迁徙很重要,但新的应用程序也很重要!所有Amazon FSx零碎都使您能够轻松构建须要高性能的齐全托管式存储以及文件系统提供的丰盛性能的应用程序。 Amazon FSx for NetApp ONTAP 正如我常常告诉您的那样,咱们始终在寻找更多的办法来满足客户的需要。为此,咱们行将启动Amazon FSx for NetApp ONTAP。您能够取得ONTAP文件系统的风行性能、性能和API以及亚马逊云科技的敏捷性、可扩展性、安全性和弹性,使您能够更轻松地将依赖网络连接存储(NAS)设施的本地部署应用程序迁徙到亚马逊云科技。 Amazon FSx for NetApp ONTAPhttps://aws.amazon.com/fsx/ne...APIhttps://docs.netapp.com/us-en...ONTAP(NetApp 产品)是一种企业数据管理产品,旨在提供适宜与Oracle、SAP、VMware、Microsoft SQL Server等配合应用的高性能存储。ONTAP具备灵活性和可扩展性,反对多协定拜访和可纵向扩大到176 PiB的文件系统。它反对各种旨在使数据管理更便宜、更轻松的性能,包含内联数据压缩、反复数据删除、压缩、精简调配、复制 (SnapMirror) 和工夫点克隆 (FlexClone)。 ONTAPhttps://www.netapp.com/data-m...NetApphttps://www.netapp.com/SnapMirrorhttps://docs.netapp.com/ontap...FlexClonehttps://docs.netapp.com/ontap...Amazon FSx for ONTAP属于齐全托管式类型,因而您能够在几分钟后开始享受所有这些性能。亚马逊云科技预置文件服务器和存储卷、治理复制、装置软件更新和补丁、替换行为不佳的基础设施组件、治理故障转移等。无论您是从本地部署的NAS环境迁徙数据,还是构建全新的云原生应用程序,您都会发现有很多值得喜爱的中央!如果要迁徙,则能够享受齐全托管式的文件系统的所有好处,同时受害于现有的工具、工作流、流程和经营专业知识。如果您正在构建全新的应用程序,则能够利用ONTAP丰盛的功能集创立云原生体验。无论哪种形式,您都能够扩大以反对成千上万的IOPS,并受害于计算、存储和联网组件的继续幕后演进。 有两个存储层,您能够启用智能分层以依据须要在它们之间来回挪动数据: 主存储基于高性能固态硬盘(SSD)构建,旨在保留数据处于活动状态和(或)对提早敏感的段。每个文件系统最多能够预置192 TiB的主存储。容量池存储可依据须要增长和膨胀,并可扩大至千兆字节。它通过老本优化,旨在保留不常常拜访的数据。在每个Amazon FSx for NetApp ONTAP文件系统中,您能够创立一个或多个存储虚拟机(SVMs),每个虚拟机都反对一个或多个卷。能够通过NFS、SMB或作为iSCSI LUN拜访卷以获取共享数据块存储。 ...

January 10, 2022 · 1 min · jiezi

关于存储:使用-KubeSphere-管理-Amazon-EKS-Anywhere-集群

Amazon EKS Anywhere 介绍近日,亚马逊云科技开源了 Amazon EKS Anywhere。这个我的项目为 Amazon EKS 提供了一种新的部署模式,能够在本地数据中心应用虚拟机轻松创立和治理 Kubernetes 集群,并利用 Amazon EKS Distro 的劣势,为您的数据中心带来统一的 Kubernetes 运维治理体验。它能够对多个 Kubernetes 集群进行全生命周期治理,为用户灵便交付 Amazon EKS 容器服务。 Amazon EKS 可能帮忙您自动化集群治理,缩减老本,免去应用多个开源或第三方工具来操作 Kubernetes 集群的繁冗工作。您还能够构建本人的管理工具来创立 Amazon EKS Distro 集群、配置操作环境和更新软件。 通过 Amazon EKS Anywhere,你还能够取得亚马逊云科技对集群配置、机器操作系统和第三方集成的默认优化值,这些优化让你专一于业务翻新,而不是简单的组件兼容性或企业外部和云环境之间的部署兼容性。此外,你能够利用 Amazon EKS 控制台来查看你所有通过 Amazon EKS Anywhere 部署的 Kubernetes 集群。 Amazon EKS Anywhere 目前只反对 VMware vSphere,将来将反对裸机部署。 KubeSphere 介绍KubeSphere 是基于 Kubernetes 构建的容器平台,齐全开源,并通过极简的界面交互提供多云与多集群治理、DevOps、可观测性、微服务治理、边缘计算、利用治理等性能,提供弱小的网络与存储管理能力,可能帮忙企业在私有云、虚拟化及物理机等异构基础设施上实现容器架构的疾速构建、部署及运维,实现利用的继续交付与全生命周期治理。 KubeSphere 的联邦集群治理性能能够把多个异构基础设施 Kubernetes 与 Amazon EKS 以及产品家族对立纳管,用户在部署利用时,能够把利用的多个正本依照业务需要散布到多个不同的 Kubernetes 资源池里,并通过 KubeSphere 进行对立运维治理,从下层构建实现跨区、跨集群的高可用。 2021年 1 月,KubeSphere 正式入驻 亚马逊云科技 Quick Start,为寰球用户部署云原生利用提供了一键部署 Amazon EKS 和 KubeSphere 的能力,通过 KubeSphere 丰盛的利用治理性能,帮忙用户减速云原生落地。 ...

January 10, 2022 · 2 min · jiezi

关于存储:如何使用-Amazon-S3-多区域访问点提高多区域应用程序的性能速度和可用性

构建多区域应用程序使您可能进步终端用户的延迟时间,在发生意外劫难时实现更高的可用性和弹性,并恪守与数据持久性和数据保留相干的业务要求。例如,您可能心愿缩小后端服务的动静 API 调用的总体提早。或者,您可能心愿缩短单区域部署以解决互联网路由问题、海底电缆故障或区域连贯问题,从而防止老本昂扬的停机工夫。明天,得益于多区域数据复制性能,例如 Amazon DynamoDB 全局表、Amazon Aurora 寰球数据库、 Amazon ElastiCache全局数据存储和 Amazon Simple Storage Service (Amazon S3) 跨区域复制,您能够跨寰球 25 个亚马逊云科技区域构建多区域应用程序。 Amazon DynamoDB:https://aws.amazon.com/dynamodb/Amazon Aurora:https://aws.amazon.com/rds/au...Amazon ElastiCachehttps://aws.amazon.com/elasti...Amazon Simple Storage Service (Amazon S3)https://aws.amazon.com/s3/然而,在施行多区域应用程序时,您通常必须让代码区域感知,并解决与正确的区域资源(无论是最靠近还是最可用的资源)进行迁徙的沉重工作。例如,您可能有三个 Amazon S3 存储桶,对象复制逾越三个亚马逊云科技区域。您的利用程序代码须要晓得存在多少存储桶正本以及它们所在的地位、哪个存储桶与复电人最近,以及在呈现问题时如何回退到其它存储桶。当您向多区域架构中增加新区域,并在寰球配置发生变化后在每个区域中重新部署堆栈时,复杂性就会减少。 近期,咱们很快乐地发表 Amazon S3 多区域拜访点正式公布,这是一项新的 Amazon S3 性能,容许您定义逾越多个亚马逊云科技区域中存储桶的寰球端点。借助 Amazon S3 多区域拜访点,您能够利用单个区域中的雷同简略架构构建多区域应用程序。 Amazon S3 多区域拜访点:https://aws.amazon.com/s3/fea...Amazon S3 多区域拜访点提供内置的网络恢复能力,基于构建Amazon Global Accelerator通过亚马逊云科技寰球网络路由 Amazon S3 申请。这对于最大限度地缩小网络拥塞和总体提早,同时放弃简略的应用程序架构尤为重要。Amazon Global Accelerator 会继续监控区域可用性,并能够在几秒钟内将申请转移到另一个区。通过动静将申请路由到最低提早的数据正本,Amazon S3 多区域拜访点可将上载和下载性能进步 60%。这不仅适宜依赖 Amazon S3 读取配置文件或应用程序数据的服务器端应用程序,而且对于须要高性能和牢靠的只写端点的边缘应用程序来说,例如 loT 设施或自驾车,这也是很棒的。 Amazon Global Accelerator:https://aws.amazon.com/de/glo...操作 Amazon S3 多区域拜访点要开始开启,您能够在 Amazon S3 控制台中,通过 API 或应用 Amazon CloudFormation 创立 Amazon S3 多区域拜访点。 ...

January 10, 2022 · 2 min · jiezi

关于存储:Amazon-SageMaker-Data-Wrangler-简化数据准备过程助力机器学习

数据筹备依然是机器学习 (ML) 畛域的次要挑战之一。数据科学家和工程师须要编写查问和代码以从源数据存储中获取数据,而后编写查问来转换这些数据,以创立用于模型开发和训练的特色。所有这些数据管道开发工作并不关注机器学习模型的构建,而是侧重于构建向模型提供数据所需的数据管道。Amazon SageMaker Data Wrangler 使数据科学家和工程师可能通过应用可视界面更轻松地在开发机器学习(ML)应用程序的晚期阶段筹备数据。 Amazon SageMaker Data Wranglerhttps://aws.amazon.com/sagema...Amazon SageMaker Data Wrangler 应用单个可视界面简化了数据筹备和特色工程的过程。Amazon SageMaker Data Wrangler  附带了 300 多种内置数据转换性能,可帮忙实现特色的标准化、转换和组合,而无需编写任何代码。当初,您能够在 Amazon SageMaker Data Wrangler  中应用 Snowflake 作为数据源,轻松为机器学习(ML)筹备 Snowflake 数据。 想要理解更多亚马逊云科技最新技术公布和实际翻新,敬请关注2021亚马逊云科技中国峰会!点击图片报名吧~ 在这篇文章中,咱们应用了一组模仿数据集,该数据集是金融服务提供商提供的贷款数据,由 Snowflake 提供。该数据集蕴含无关向集体发放贷款的贷款人数据。咱们应用Amazon SageMaker Data Wrangler 来转换和筹备数据以在 ML 模型中应用,首先在 Amazon SageMaker Data Wrangler  中构建数据流,而后将其导出到 Amazon SageMaker Pipelines。首先,咱们将实现将 Snowflake 设置为数据源,而后应用 Amazon SageMaker Data Wrangler  摸索和转换数据。   Amazon SageMaker Pipelineshttps://aws.amazon.com/sagema...先决条件本文假如您已满足以下先决条件: 领有创立存储集成权限的 Snowflake 账户 Snowflake 表中的数据 具备创立 Identity and Access Management (IAM) 策略和角色的权限的亚马逊云科技账户 ...

January 10, 2022 · 4 min · jiezi

关于存储:使用-Amazon-Redshift-ML-构建多分类模型

Amazon Redshift ML 通过应用简略的 SQL 语句应用 Amazon Redshift 中的数据创立和训练机器学习(ML)模型,简化了机器学习 (ML) 的操作。您能够应用 Amazon Redshift ML 来解决二进制分类、多分类和回归问题,并能够间接应用 AutoML 或 XGBoost 等技术。 这篇文章是 Amazon Redshift ML 系列的一部分。无关应用 Amazon Redshift ML 构建回归的更多信息,请参阅应用 Amazon Redshift ML 构建回归模型。 您能够应用 Amazon Redshift ML 主动执行数据筹备、预处理和问题类型的抉择,如这篇文章中所述。咱们假如您十分理解本人的数据以及最实用于您应用案例的问题类型。本文将专一于应用多分类问题类型在 Amazon Redshift 中创立模型,该类型包含至多三个类别。例如,您能够预测交易是欺诈性的、失败的还是胜利的,客户是否会将沉闷状态放弃 3 个月、6 个月、9 个月、12 个月,还是要将新闻标记为体育、世界新闻或是商业内容。 先决条件作为施行此解决方案的先决条件,您须要设置启用机器学习(ML)性能的 Amazon Redshift 集群。 应用案例在咱们的应用案例中,咱们心愿为一个非凡客户忠诚度打算找出最沉闷的客户。咱们应用 Amazon Redshift ML 和多分类模型来预测客户在 13 个月内将有多少个月内处于活动状态。这将转化为多达 13 个可能的分类,因而更适宜采取多分类。预计活动状态将放弃 7 个月或更长时间的客户将成为非凡客户忠诚度打算的目标群体。 输出原始数据为了筹备该模型的原始数据,咱们应用专用数据集电子商务销售预测(其中包含英国在线零售商的销售数据)填充 Amazon Redshift 中的 ecommerce_sales 表。 输出以下语句以将数据加载到 Amazon Redshift: ...

January 10, 2022 · 2 min · jiezi

关于存储:构建安防视频云存和传统安防视频业务的烦恼说再见

安防视频云存业务特点与面临挑战传统视频数据因为不足元数据索引,因而在无奈确定准确的事件产生工夫时,无奈疾速无效的定位视频信息,须要大量人力对存量视频信息进行检索。由此引入微小的人力老本,并须要更多工夫实现视频检索。 此外,传统安防视频具备以下特点: 应用RTMP/RTSP协定实现视频流收流。须要海量、牢靠的视频存储。仅在有事件产生,并须要理解现实情况时才进行回看。回看框架须要确保7*24可用,在须要时能够快速访问从而实现回看性能。以上特点意味着: 须要在云端或本地部署额定的软/硬件资源,实现视频流接管,引入额定老本。传统的本地视频存储受限于繁多正本,存在单点故障导致的视频失落危险。固定的本地存储容量,使得减少摄像头数量时须要配套思考存储设施容量布局和部署计划,使得我的项目周期变长,我的项目布局更加简单。回看框架拜访频率不高,但7*24可用意味着即便没有回看需要的时间段内,依然须要领取对应的零碎运行老本。针对以上艰难和特点,咱们针对IPC视频云存老本优化场景,开发了能够植入到IPC外部的视频切片云存SDK,并利用亚马逊云科技提供的云上托管服务构建视频检索、回看平台,从而升高回看平台根底运行老本,实现回看老本与累积回看时长相干,在不应用回看平台时,简直无需领取平台运行老本,而当有人拜访时又能够疾速提供服务。 想要理解更多亚马逊云科技最新技术公布和实际翻新,敬请关注在上海、北京、深圳三地举办的2021亚马逊云科技中国峰会!点击图片报名吧~ 解决方案架构与次要功能模块零碎架构图: 次要功能模块: IPC C SDK植入到IPC外部的SDK,用于实现视频分片和封装,将能够间接回看的视频分片存储到Amazon S3存储桶中。并通过IAM权限治理,实现IPC上传权限的治理,从而确保各IPC视频上传权限互相独立。 利用SDK间接将视频上传至Amazon S3存储桶,从而解脱本地或云端视频流转存所需的资源,实现云存老本与存储视频累计时长相干。 Amazon S3视频存储桶用于存储IPC视频分片信息,反对应用Amazon S3对象标签和生命周期治理性能,实现视频分片保留周期治理和视频存储老本优化。 同时,利用Amazon S3每个前缀提供3500 PUT和5500 GET申请的性能,利用前缀命名规定,实现云存空间性能主动扩大,从而实现应用对立的框架反对从几个到数以百万计的IPC设施。 对视频抽帧并调用AI接口和DynamoDB元数据存储针对传统IPC视频存储难以检索的状况,引入云上AI服务,实现智能视频剖析,并依据视频内容,生成相应元数据信息,并保留在DynamoDB之中。用户能够抉择应用DynamoDB中信息,对视频内容进行检索,从而疾速定位到所需的视频片段和对应工夫,进而无效晋升视频检索效率,缩短视频检索所需工夫。 AI服务亚马逊云科技提供了丰盛的AI服务能够用于视频剖析与检索。目前反对的次要AI服务能够参考以下解决方案: https://www.amazonaws.cn/solu... 因为AI服务局部内容较多,限于篇幅,该解决方案另行刊文作具体介绍。敬请期待。 无服务器架构构建回放平台为了切实升高回看平台运行老本,特地是没有回看申请时的老本,本解决方案采纳了云原生的无服务器架构。具备无用户应用时,老本极低,收到申请时反对秒级疾速启动,主动扩大,对立零碎架构反对几个到数以百万计的用户同时拜访。 IPC-C-SDK用户能够从Github下载SDK代码并编译到本人的IPC之中: https://github.com/aws-sample... IPC-C-SDK外部工作逻辑如下: IPC-C-SDK从IPC外部视频、音频编码器取得视频、音频流,并通过减少TS、PAT、PMT、PES头,造成TS格局音视频流,并存储于IPC SoC内存缓存区中。 当内存缓存区中的音视频流达到肯定阈值后,IPC-C-SDK会主动通过内置Amazon S3客户端,将视频内容以对象模式推送到Amazon S3存储桶中。 得益于IPC-C-SDK,视频分片得以间接存储到Amazon S3中,而无需其余音视频码流解决设施或资源。从而使得老本得以无效升高到仅须要Amazon S3存储和API调用老本的水平。实现了老本的最优化。 IPC-C-SDK应用亚马逊云科技IAM进行权限治理。反对AK+SK和AK+SK+Token的身份验证模式。理论生产环境中,举荐应用Amazon IoT进行设施治理,配合IoT Credential Provider服务,实现物联网设施证书换长期IAM身份信息。该计划提供最佳的云上数据安全性,反对依照设施证书ID治理设施权限,从而确保IPC云存视频的安全性。其参考架构如下: 用户能够参考以下文档: https://docs.aws.amazon.com/i... Amazon S3视频存储桶Amazon S3视频存储桶提供高达99.999999999%的数据持久性。意味着如果以3秒分片保留到Amazon S3,每10000年才会失落一个3秒的视频分片。从而确保存储视频的安全性。 此外,在视频云存时,举荐应用以下格局进行存储: S3://{桶名称}/{设施证书ID} /{年}/{月}/{日}/{时}/{分}/{秒}.ts 该格局能够提供以下劣势: 确保数据存储和拜访平安利用设备证书ID作为第一级前缀,实现各个IPC设施之间的权限互相独立与隔离。即每个摄像头均只能拜访本人证书ID前缀之下的视频分片。通过IAM角色配置,更加能够实现限度IPC设施仅可能进行上传操作,而无奈下载视频分片,从而确保视频云存安全性。 性能主动扩大因为各个IPC别离属于不同的前缀之下,亚马逊云科技为每个Amazon S3前缀提供每秒3500 PUT和5500 GET申请的性能,因而当IPC摄像头数量减少时,Amazon S3将主动优化并提供对应性能的解决能力。从而实现应用对立架构反对从几个到数以百万计IPC设施的能力。 视频抽帧并调用AI接口将后果存储到DynamoDB中当视频分片上传到Amazon S3存储桶中后,用户能够抉择应用AI技术对视频内容进行剖析。例如:检测视频中呈现的人脸和相应地位,并将后果保留到DynamoDB中,供后续查问应用。 视频数据在上传到Amazon S3后,会触发Amazon S3事件告诉。通过云端Lambda函数,能够实现抽取视频关键帧,并转换为JPEG格局,发送给AI接口进行剖析。 AI剖析的后果会以JSON格局,返回给Lambda函数,Lambda函数将剖析后果信息存储到DynamoDB数据库中,供回看平台检索应用。 无服务器架构构建视频回看平台得益于以TS格局保留的视频分片,云存视频分片能够实现任意时间段内分片连接成整体视频进行回看。因而无需在云端进行二次转码操作。从而升高零碎老本。 无服务器的视频回看平台应用开源Video.js框架,提供两种回看模式: 近实时回看(提早6-20秒,取决于网络和客户端配置状况)在近实时回看模式下,客户端通过API Gateway HTTP API申请m3u8播放列表,Lambda函数查看Amazon S3桶中存储的分片,并将2分钟之内,最初上传的3个视频分片返回给客户端。通过滚动更新m3u8返回分片清单,实现近实时的查看视频内容。 指定时间段回看客户端通过API Gateway HTTP API申请m3u8播放列表,并提供回看时间段的开始、截止工夫。Lambda函数查看Amazon S3桶中存储的分片,并将指定时间段内的视频分片依照程序增加到m3u8播放列表中返回给客户端,从而实现制订时间段的视频回看性能。 指定时间段回看反对通过检索DynamoDB中存储的视频元数据,获取所需回看的时间段范畴,将后果返回给客户端进行回看。 您能够通过以下链接在亚马逊云科技的环境中一键部署回看框架。框架中的回看利用带有示例视频供您参考。 https://console.aws.amazon.co... ...

January 10, 2022 · 1 min · jiezi