关于云计算:云原生周刊CNCF-宣布-Falco-毕业|202434

<article class=“article fmt article-content”><h2>开源我的项目举荐</h2><h3>ldap-operator</h3><p>用于部署和治理 LDAP 目录的 Kubernetes Operator。</p><h3>Updatecli</h3><p>Updatecli 是一个用于利用文件更新策略的工具。每个应用程序“运行”时都设计为可在任何中央应用,它会检测是否须要应用自定义策略更新值,而后依据该策略利用更改。</p><h3>Alaz</h3><p>Alaz 是一个开源 Ddosify eBPF 代理,能够检查和收集 Kubernetes (K8s) 服务流量,无需代码检测、sidecar 或服务重启。</p><h3>Eraser</h3><p>Eraser 可帮忙 Kubernetes 管理员从集群中的所有 Kubernetes 节点中删除未运行的映像列表。</p><h2>文章举荐</h2><h3>如何查看 kubernetes 网络</h3><p>这篇文章介绍了如何查看 Kubernetes 网络设置的工具和技术。首先,文章提到了在 Kubernetes 集群中放弃容器之间网络连接所需的高级网络技术,并指出这些工具对于调试连贯问题、解决网络吞吐量问题或者学习 Kubernetes 的运作形式都十分有用。接下来,文章提供了一些开始应用这些工具和技术的指南,并介绍了如何查找 Pod 的集群 IP 地址和查找 Service 的 IP 地址。文章以简洁明了的形式帮忙读者理解如何查看 Kubernetes 网络设置。</p><h3>你可能犯的 5 大 Kubernetes 平安谬误</h3><p>这篇文章探讨了 Kubernetes 中常见的五个平安谬误,旨在帮忙读者防止这些谬误。作者强调了正确配置和治理 Kubernetes 集群的重要性,以确保应用程序和数据的安全性。文章涵盖了诸如未经身份验证的拜访、容器破绽、不平安的配置、未加密的通信和不正确的权限治理等常见谬误,并提供了解决这些问题的倡议和最佳实际。通过浏览本文,读者能够理解到如何在应用 Kubernetes 时防止平安危险,并增强其集群的安全性。</p><h2>云原生动静</h2><h3>CNCF 发表 Falco 毕业</h3><p>CNCF 发表 Falco 毕业,它是一款专为 Linux 零碎设计的云原生平安工具,也是事实上的 Kubernetes 威逼检测引擎。</p><p>Falco 是由 Sysdig 在 2016 年创立并开源的,并于 2018 年成为第一个被 CNCF Sandbox 承受的运行时平安我的项目,随后在 2020 年 4 月进入孵化器。自那时以来,Falco 曾经吸纳了来自亚马逊、苹果、IBM、红帽等公司的维护者。该项目标沉闷贡献者数量自孵化以来减少了 400%,目前有数百名沉闷的代码贡献者。</p><h3>Linkerd 2.15 公布,新增网格扩大、原生 sidecar 和 SPIFFE 性能</h3><p>Linkerd 2.15 公布,它减少了对 Kubernetes 之外的工作负载的反对。这种新的“网格扩大”性能容许 Linkerd 用户首次将在虚拟机、物理机和其余非 Kubernetes 地位上运行的应用程序引入网格中,从而在 Kubernetes 和非 Kubernetes 工作负载也是如此。</p><p>2.15 版本还引入了对 SPIFFE 的反对,这是一种工作负载身份规范,容许 Linkerd 为集群外工作负载提供加密身份和身份验证,还引入了对原生 sidecar 容器的反对,这是一项新的 Kubernetes 性能,能够缓解长期存在的一些懊恼。Kubernetes 中的 sidecar 模型,尤其是作业工作负载。</p><blockquote>本文由博客一文多发平台 OpenWrite 公布!</blockquote></article> ...

March 4, 2024 · 1 min · jiezi

关于云计算:如何在三层架构中使用VLAN或VPC保护应用

<article class=“article fmt article-content”><p>通过VPC实现网络隔离能在安全性方面带来很多益处,例如实现外部合作以及妥善存储敏感信息。在开发工作方面,网络隔离还可用于实现多层Web应用程序的部署。通过对利用进行分层,咱们能够将可能以及不能拜访公共互联网的利用划分为不同的片段,例如通常能够通过这种形式将数据库层与公共互联网隔离,同时仍然能够从下层拉取补丁和软件更新,而不须要间接拜访公共互联网。除了减小攻击面,这种做法还有助于实现多区域部署。</p><p>咱们能够通过多种形式来运行多层利用,通常只须要依赖一些最根底的模式即可取得最大化的可扩展性、安全性以及可靠性。</p><p>三层架构是一种最常见的设计模式,这种模式在云端环境中尤为常见。三层应用程序通常由三个层组成,这些层往往位于不同服务器上,可能别离以高度独立的形式开发和保护。这三层别离是:</p><ol><li><strong>表示层</strong>:治理用户和应用程序间通信的内部接口,通常由Web服务器组成,运行HTML和Web开发代码。</li><li><strong>应用程序层</strong>:一种自定义应用程序,提供了必要的业务逻辑,借此将应用程序“黏合”在一起。</li><li><strong>数据层</strong>:数据库系统,用于存储和检索应用程序中应用的数据。</li></ol><p>这三层内容作为独立的服务,须要通过基于网络的API进行通信。出于平安和性能方面的思考,应用程序层和数据层通常须要位于同一个本地网络中,并且须要搁置在同一个防火墙之后,但每一层的拆散也使得咱们能够将每个组件部署在不同硬件上,甚至部署到不同的地理位置。理论能够实现的灵活性次要取决于应用程序的具体需要。</p><p>下图展现了事实世界中一个最根底的三层Web应用程序。表示层的Web服务器在浏览器窗口中为用户提供了交互界面;另一端的数据层则是一个数据库,该数据库能够是一个独自的零碎,或是在网络中用一个繁多实体所代表的集群。数据库层方面风行的开源选项包含MySQL、MariaDB、PostgreSQL for SQL、MongoDB以及Cassandra for NoSQL等。<br/><br/>图1:三层架构可将Web应用程序拆分为表示层、应用程序层和数据层</p><p>Web服务器和数据库之间还有应用程序层,咱们的大部分开发工作可能都是围绕这里进行的。应用程序层蕴含供给用程序实现指标所需的自定义代码和业务逻辑。在前端,Web服务器会将查问发送给应用程序层,随后应用程序层会响应Web服务器,并由Web服务器设置数据格式随后展现给用户。在后端,应用程序层将查询数据库,接收数据,随后解决收到的数据,产生用户须要的信息或后果。</p><p>作为一个非常简单的例子,咱们能够将数据库设想成存储了公司销售记录的记录册。用户输出申请,心愿失去一段时间内某一特定商品在特定地点的均匀日销量。Web服务器会将申请发送给应用程序层,应用程序层结构数据库查问,接管原始数据,执行必要的计算,随后将响应发送回Web服务器。<br/><br/>图2:用户向表示层申请一系列信息,应用程序层可将申请转换为数据库查问</p><p>对于应用程序层来说,Apache Web服务器可能是最不便的表示层解决方案,而MongoDB可能是最不便的数据层解决方案。而应用程序层的自定义代码通常会应用Python、PHP或Ruby等语言编写。并且在一些现成的编程框架帮忙下,咱们能够更高效的开始编写本人的代码,例如Python开发可抉择Django,Ruby开发可抉择Rails,PHP开发可抉择Symfony。</p><p>实践上,应用程序层能够和表示层联合在一起,为此只须要向Web服务器提供间接查询数据库所需的必要代码,但对于大多数简单的业务逻辑来说,这种做法并不事实,并且也对消了应用程序划分所带来的益处。</p><p>上文提到的“益处”中最重要的一点是:能够减小攻击面从而进步安全性。如图1所示,三层解决方案最大限度缩小了必须搁置在防火墙之外的应用程序组件。Web服务器能够通过平安的API进行通信,其余流动都产生在防火墙外部,更重要的是,都产生在公有地址空间中,因而无奈通过互联网拜访,这样即可遏制包含SQL注入在内的很多隐患,毕竟SQL注入曾经是最常见,也最具破坏性的破绽。好在这些隐患通常能够通过对数据库进行隔离和爱护所有间接通信等形式加以遏制。</p><p>三层应用程序带来的另一个益处是<strong>可靠性</strong>。当每一层都运行在独自的服务器上,运行在不同的物理硬件,甚至在齐全不同的数据中心内运行时,一层呈现的故障就不太可能影响到其余层。这还有助于进一步提高可<strong>扩展性</strong>。因为这些独立运行的组件也能够独立进行扩大。举例来说,如果数据库拜访遇到性能瓶颈,即可向数据库集群增加更多节点,这一过程对整体运行的影响也是最小的。</p><p>三层办法还有助于优化开发流程。连贯各层的API以一种反对高效分工的形式将不同组件离开,Web开发者和管理员能够操作和治理Web服务器,数据库开发者和管理员能够运行数据库系统。在这两者之间,精通应用程序层所用框架技术的专家能够只专一于利用程序代码。例如在DevOps场景中,应用程序开发者能够用脱机的形式构建并测试新版利用程序代码,并在保障对运行只产生最小影响的前提下轻松更改利用代码。</p><p>如果你要着手开发Web应用程序,能够从一开始就思考采纳三层架构。在当今的容器和云环境中,咱们能够很容易地将不同组件拆散到不同零碎中,而这样做的益处也是很显著的:轻松疾速地构建出更牢靠、更平安、可扩展性更高的应用程序。</p></article>

March 4, 2024 · 1 min · jiezi

关于云计算:AIGC下一步如何用AI再度重构或优化媒体处理

让媒资中“缄默的大多数”再次焕发荣耀。邹娟|演讲者 编者按 AIGC时代下,媒体内容生产畛域随着AI的呈现也涌现出更多的变动与挑战。面对AI的微小冲击,如何优化或重构媒体内容生产技术架构?在多样的利用场景中媒体内容生产技术又有着怎么的实际成果?LiveVideoStackCon2023深圳站邀请到阿里云智能资深技术专家邹娟,与大家分享阿里云视频云的媒体内容生产技术实际。 策动 撰写 / LiveVideoStack、IMMENSE 《AIGC时代下阿里云视频云媒体内容生产技术实际》主题分享,蕴含如下四个局部: 01 AIGC时代的媒体内容生产技术架构 首先给大家分享阿里云视频云媒体服务的顶层架构设计,这为AIGC的疾速落地奠定了根底。媒体服务整体架构分三层。 最底层是云原生底座,阿里云视频云构架在分布式云原生框架之上,视频云与咱们的客户一样,本身也是云的使用者,能够取得云计算IaaS层弹性、按需按量、规模化的红利。 中间层为媒体根底层,即媒体服务的底层技术外围。 这一层分为三个局部:左侧的算法区域包含音视频编解码与加强算法、特效渲染算法、视觉AI算法、3A算法等。两头的媒体引擎是执行各类媒体解决工作、AI工作的发动机,负责集成算法及工程优化,设计对立的媒体解决框架,实现媒体解决Pipeline的高质量运行。最右侧为媒体计算调度,与媒体引擎紧密配合,把不同类型的媒体任务调度到最合适的集群和机器上,造成性能、画质、老本的综合最优解。 顶层为阿里云视频云提供的PaaS媒体服务——PaaS服务层,媒体服务PaaS以媒体内容生产为外围,其产物天然也是媒体内容生产的输出。例如转码输入的多格局多码率文件/流,大多为播放服务。PaaS服务层的模块划分思路即依照音视频生产生产的数据流向及模块依赖关系,划分为音视频采集-媒体解决-生产制作-媒资治理-媒体生产5个局部,其中“媒体汇聚”代表入方向,“媒体生产”代表出方向,“媒体解决”和“生产制作”用于媒体数据的外部解决和二创,“媒资”则是媒体数据/业务流程/生命周期策略管理的底座。 早在2017年,阿里云视频云就提供了视频AI相干服务,比方智能封面、视频DNA、智能审核等,那时这些服务以原子能力的模式提供,独立于视频云的媒体解决、生产制作、媒资服务之外。但随着AI能力的丰盛,很多AI服务的输入产物就是音视频(比方视频集锦),或者须要与媒体解决同步进行能力有更好的成果(比方视频旧字幕擦除后叠加新字幕)。 因而技术架构迭代的第一步就是思考媒体底层的AI能力交融。AIGC时代,媒体底层须要灵便交融各种AI能力,这种交融并不是业务层工作流的Activity编排,这样个别会引入屡次编解码,带来画质与性能的损耗。咱们抉择把AI解决间接融入音视频解决pipeline,在Frame层面做最细颗粒度的编排。 回归到媒体业务流自身,在AI时代下,媒体服务PaaS能够在哪些方面优化?其实媒体业务流自身没有太大变动,变动的外围是应用了AI,心愿AI可能模仿人类的思维,包含了解人的用意以及正确执行人的指令。当技术倒退到肯定水平,AI能够模仿人类的思维模式,场景就会被重构。阿里云视频云技术架构的迭代也会围绕这一思路开展。 阿里云视频云媒体内容生产技术架构在AIGC时代的迭代,也将从内容生产的三驾马车--媒体生产制作、媒资治理、媒体解决三个板块发展。 生产制作板块,咱们的迭代方向是从单个制作环节应用AI技术转向全智能制作。除创意依赖人之外,AI能够参加到生产制作的其余环节,包含素材的筛选和生成、工夫线的制作编排、以及成果渲染的大模型算法优化。 媒资板块的传统实现须要较多人工投入,例如业余媒体机构的编目软件须要大量人工编目数据录入的工作,阿里云视频云设计的新一代媒资零碎可能像人一样了解媒资内容,应用自然语言进行搜寻与治理,并为下一步的开掘与图谱剖析打下基础。 媒体解决的迭代方向聚焦于成果的极致优化。媒体解决能够形象为单入单出的模型,基于此模型实现最大水平的成果优化,包含高清晰度的加强场景,低清晰度的新生场景,应用音频的双声道设施取得全景声或环绕声成果的场景等。 文章后面提到,媒体工作的最终执行会收口到媒体引擎层,这须要媒体引擎把AI解决融入媒体解决Pipeline。随着AI能力的日渐丰盛,阿里云视频云的媒体引擎也进行了架构优化与技术升级,在AIGC暴发前实现了媒体底座的迭代,成为交融AI与媒体解决的一体化媒体引擎,为视频云疾速引入并落地大模型算法节约了工夫,接下来将分享一体化媒体引擎的关键技术。 02 交融AI与媒体解决一体化媒体引擎关键技术 大模型的引入带来宏大的算力耗费,对媒体引擎性能的挑战尤为突出,咱们设计的高性能智能媒体引擎的要点总结为以下三个方面: 第一,架构方面,做分布式解决,进步多机并行。 这里的分布式解决并非示意将海量工作散布式调度到不同机器,而是指单个工作的分布式解决架构。当工作的复杂度较高时,将其不同环节扩散到不同的机器上,解决单机无奈满足工作算力的问题,或者工作的特定环节须要指定机型的问题。 第二,过程方面,对立pipeline。 视频云的ToB模式,要求咱们反对不同客户的多种场景和利用,对立pipeline能够缩小各场景的计算冗余,同时对底层算法库和媒体解决框架的对立则让引擎层执行不同工作具备更好的鲁棒性。 第三,算法方面,阿里云视频云实现软硬一体的优化,通过CPU、GPU以及AISC编解码减速,反对云上各期间的多种机型规格,同时从算法和工程两个维度优化单帧解决性能,在大模型算力缓和的时代最大水平的利用现有算力。 以单任务分布式解决——超高清视频AI解决为例,1080P超分到4K应用了深度学习算法,那么将该任务调度到高配GPU机器上运行,可能会导致机器的CPU闲暇而不利于资源的整体利用。阿里云视频云的媒体引擎反对对单任务进行分布式解决,能够将解码、前解决、编码、Merge放在不同的机器执行,也能够将单任务切片成多个子工作再进行分布式解决。比方超分解决能够放在GPU的机器上,解码、编码以及Merge能够调度到另外的集群,对于是帧级别传输的场景,媒体引擎会在pipeline外部进行媒体数据的YUV替换和无损压缩,从而实现单任务多环节计算资源的最优搭配。 媒体引擎会接管到各种各样的媒体计算工作,接上一个技术点“单任务的分布式解决”持续探讨,如何判断哪些工作须要走分布式,哪些工作单机执行反而效率最高呢?阿里云视频云媒体引擎设计并实现了Worker-Brain决策大脑,对单任务耗费的资源做精准预估,主动判断过程和算子所需机型,对工作是否切片和算子编排流程进行决策,同时在工作执行时主动依据算法复杂度进行升降机,打消cpu毛刺,实现稳定性自爱护机制。 另外,阿里云视频云在媒体引擎层对立了媒体解决工作框架。因为直播、点播、生产制作以及云剪辑等业务的倒退阶段不一样,存在算法依赖库不对立或版本不统一的历史问题。媒体引擎将自研算法依赖版本进行了对立,用雷同的媒体解决框架反对不必的工作类型,甚至在一些版本上实现云和端的对立。宏观来讲,阿里云视频云将各种业务资源并池,不同的业务共用异构的资源池,资源池之间也可互备来保障整体服务的稳固。 这是综合利用“单任务分布式解决”和“Work-Brain智能决策”的全智能媒体解决引擎实际,以“数字人抠像并且将其与云剪辑交融”的场景为例,右边是素材和工夫线波及的原材料,工夫线可能须要对素材做ASR,同时还存在数字人的生成与同步、人声克隆、抠像背景替换、画质加强等要求。整个工作相当简单,且波及多个算子,通过Worker-Brain进行资源评估后,该工作既须要将pipeline的不同环节拆到不同的机型执行,进行单任务分布式解决,也须要将长视频切片,对工作进行并行处理。而另一个规范转码工作(比方单入单出1080p 264转480p 264)通过Worker-Brain决策后,在单机实现整个工作的执行是最优的。 最初分享软硬一体的异构计算。CPU减速绝对比拟传统,波及多线程的帧间优化、帧内优化、指令集优化以及数据读写优化。联合到AI异构场景下,常常须要思考CPU与GPU之间的关系,以前大多抉择一台CPU+GPU的机器实现整个工作,当初能够基于后面提到的架构,把单个AI工作拆散,把CPU和GPU的局部调度到不同机器上解决再合并。 阿里云视频云还反对各种异构计算,包含CPU/GPU/AISC等,比方ASIC的硬解硬编须要均衡性能、画质、延时、老本等多种指标,还须要思考稳定性因素,因为单台AISC服务器个别领有更大的吞吐量,出现异常受影响的工作数更多,这时还须要思考主备模版的兜底和工作的降级切换策略。因而媒体引擎层的异构计算须要兼顾CPU、GPU、ASIC的算力和个性,将云端资源充分利用起来。 03 媒体内容生产AIGC技术实际第三局部是阿里云视频云对于内容生产AIGC的技术实际。 在AIGC暴发前,用户曾经开始应用AI,AI相干话题曾经“火”了好几次,阿里云视频云的AI服务也上线超过6年。 此前用户更多是在单点环节应用AI,例如图上展现的生产制作和媒体解决的能力,在AIGC暴发前,许多厂家、开发者、创业者都应用过,此类能力大多针对特定场景,要进行规模化时,只能进行一些微调,如果不针对特定场景,则存在成果泛化性不够导致准召率不高的状况呈现。 在AIGC时代到来后,阿里云视频云从新扫视了媒体内容生产业务流程,媒体解决/媒资/媒体解决三驾马车都值得用AI再度重构或优化。 媒体解决的AIGC重构较多依赖于媒体引擎的底层技术。 各种架构的降级革新都是为了满足或投合传统的音视频前解决与AI算法、编码器联合的场景,而后面提到的,媒体引擎的对立媒体解决框架和引擎架构优化,能够齐全复用在AIGC时代,媒体工作在底层的执行,实质与前AI时代没有区别。 媒体解决PaaS服务层的重构设计则体现在API与流程编排上。 在API层面,阿里云视频云把AI和传统的媒体解决在媒体与管道协定上进行对立,这种对立不仅是协定层面的对立,也代表着底层调度资源能够进行混部或混合调度。对于流程编排,AI环节和媒体解决环节能够在雷同的工作流引擎中自在编排。 媒体解决AIGC重构的外围在算法与媒体引擎的联结优化。 上面展现两个案例: 阿里云视频云用更精密的图像纹理细节提取形式,来进行细节修复和生成,算法优化的思路是还原图像的实在风貌,这与咱们在2015年、2016年开始研发的窄带高清思路一模一样。多年以来,这个方向始终没有变过,也比拟符合许多行业和场景的诉求。 咱们在4K超分+HDR超高清的实际,算法侧采纳部分变动策略,使亮度更有层次感。展现案例对树木纹理的细节进行了加强,在色调方面进行了调整优化。另外值得一提的是,此工作刚上线时处理速度十分慢,通过媒体引擎的单任务分布式框架,对工作切片并行处理后,最终的处理速度达到刚上线时的100倍,大大缩短了客户app公布高质量视频的周期。 阿里云视频云的媒资零碎架构分为三层,别离是媒体数据层、根底服务层和智能服务层。 对于媒体数据层,咱们大略在三年前将媒资的元数据体系重构为可灵便定义和组织的任意实体,可零代码接入AI生成的各类媒资元数据,同时实现了对立MediaID,反对视频云外部多产品的媒资互通。近一年对媒资索引进行了重构,将基于文本元数据的索引和基于特征值的向量索引整合起来,通过对立的API提供搜寻服务。 对于媒资智能服务层,咱们在媒体数据之上,采纳多模态语义重构了媒资内容的结构化逻辑,采纳自然语言搜寻代替关键词搜寻。这两项根底又能够利用到智能编目和智能资源管理模块,比方智能编目能够主动填充内容形容字段,以及依据内容结构化后果主动拆分片段;基于定向指令的搜寻后果能够用于媒体资源之间的关联和聚类等。 ...

March 1, 2024 · 1 min · jiezi

关于云计算:KubeSphere-社区双周报|202402010229

KubeSphere 社区双周报次要整顿展现新增的贡献者名单和证书、新增的讲师证书以及两周内提交过 commit 的贡献者,并对近期重要的 PR 进行解析,同时还蕴含了线上/线下流动和布道推广等一系列社区动静。 因假期,上期双周报停更,因而本次双周报会蕴含周围的内容。本次双周报涵盖工夫为:2024.02.01-02.29。 贡献者名单 新晋 KubeSphere contributor周围内共有 3 位新晋 KubeSphere contributor,感激对社区的奉献! 近期重要更新KubeKey1. 反对 Docker 作为 runtime 部署 Kubernetes v1.24+ 集群相干 PR: https://github.com/kubesphere/kubekey/pull/2111 贡献者:chilianyi 2. 反对 Docker 作为 runtime 的集群降级至 v1.24+ 版本相干 PR:https://github.com/kubesphere/kubekey/pull/2148 贡献者:pixiake 3. 反对部署开启 IPV6 协定的集群相干 PR:https://github.com/kubesphere/kubekey/pull/2142 贡献者:wenwenxiong Fluent Operator1. 容许在 helm 模板中配置 ClusterFluentBitConfig 的 logLevel相干 PR: https://github.com/fluent/fluent-operator/pull/1063 贡献者:dennis-ge 2. fix(fluentd)应用自定义插件内容生成哈希相干 PR: https://github.com/fluent/fluent-operator/pull/1059 贡献者:MisterMX 社区动静议题征集 | 2024 年第一站杭州 Meetup 行将开启!KubeSphere 社区 2024 年需要征集KubeSphere 镜像构建器(S2I)服务证书过期解决方案揭秘!KubeSphere 背地的“超级大脑”:etcd 的魅力与力量KubeSphere 灰度公布企业实战 ...

March 1, 2024 · 1 min · jiezi

关于云计算:阿里云推出-3x-Java-探针解锁应用观测与治理的全新姿势

<article class=“article fmt article-content”><h2>前言</h2><p>随着春节大促行将到来,为了确保线上业务高效稳固地运行,电商企业大多会对旗下要害业务利用进行多轮测试。通过模仿线上较高流量的申请,来察看服务性能的理论体现。以某企业的业务测试报告举例:</p><p></p><p></p><p>$$图 1 压测报告显示,成功率非常低,且全局接口成功率都很低$$</p><p>通过报告能够看到:当利用所接受的流量减少至特定临界点时,申请成功率大幅降落,导致整个测试周期内均匀成功率相当惨淡,仅有 9.89%,并随同着较高的响应工夫(RT)。通过深入分析,发现这种高失败率景象普遍存在于所有接口上,并且在整个压测过程中未显示出任何回归稳固状态的迹象。</p><p>面对这类压测后果的直观推断是利用可能已达到其性能瓶颈。Prometheus 监控所采集的 CPU 应用状况进一步印证了这一假如:利用实例的 CPU 使用率简直达到饱和状态,利用在以后情景下无奈解决如此高 TPS(每秒事务数)。该企业采纳的优化伎俩为:一方面,通过链路追踪(Tracing)数据和 CPU 火焰图,逐渐定位到代码层面性能瓶颈,并发展针对性优化;另一方面,为利用集成开源的流量管制防护和熔断降级组件来应答线上流量的不确定性,并对要害业务利用进行扩容解决,进一步加强利用可用性。</p><p></p><p>$$图 2 压测过程中利用实例 pod 的 CPU 指标$$</p><p>在理论业务场景中相似问题并不少见,并能够总结为以下两个挑战:</p><ul><li>如何定位简单业务零碎中的性能瓶颈?</li><li>如何应答流量的不确定性,爱护好咱们的服务?</li></ul><p>示例中的公司对于以上问题给出了本人的解答:模仿线上流量发展性能测试,以 Tracing 数据 + CPU 火焰图作为问题定位根据,通过流控和熔断降级来爱护服务。上述计划在开源畛域领有比拟成熟的落地实际:</p><ul><li>应用 OpenTelemetry 的 SDK/Agent 采集 Tracing 数据[1]</li><li>应用 Async Profiler 工具生成 CPU 火焰图[2]</li><li>应用 Sentinel 实现流量治理[3]</li></ul><p>但实际上,无论是对业务代码进行革新,还是搭建 OpenTelemetry 服务端用于数据接管,都会带来肯定的老本投入,研发不再能专一于业务代码开发和保护。那么,是否有无侵入、自动化形式来解决问题呢?阿里云推出的全新 3.x 版本 Java 探针为这些问题带来了全新答复。</p><p>Java 探针(也称为 JavaAgent)能够在利用运行态加强利用自身的字节码,业务利用自身不须要做任何代码改变即可实现额定能力的扩大[4]。部署在 kubernetes 中的利用,还能够基于 init-container 实现探针主动注入,进一步升高接入老本。</p><h2>如何定位业务零碎性能瓶颈?</h2><p>正如前文所说,在定位和优化慢调用问题时,除了观测利用的各个要害指标外,还有“两大法宝”:调用链数据(Tracing)和 CPU 火焰图,能够帮忙定位业务调用中耗时较长、CPU 较高的代码片段而后做对应修复。然而,这“两大法宝”却各有本人的“硬伤”:</p><h3>Tracing 数据经常存在观测盲区</h3><p>对 Tracing 而言,其数据个别依赖 Agent/SDK 提供的主动或手动的埋点实现数据采集,而后上报到 Tracing 数据收集端(Collector)存储,再由展现端的 Dashboard 关联并展现进去。显然,一条链路的精密水平取决于埋点的颗粒度。但实际上,Tracing 数据的采集也会带来肯定的开销,并不会无限度地细分粒度,只会对通用框架中的要害办法进行埋点。那么对于某些业务中的高开销逻辑,往往就可能缺失埋点,从而无奈对业务逻辑的耗时进行精确判断,相似下图中的埋点缺失问题在调用链中常常存在。</p><p></p><p>$$图 3 常见的 Tracing 数据中容易存在未笼罩埋点导致的观测盲区$$</p><h3>CPU 火焰图难以帮忙定位线上问题</h3><p>对 CPU 火焰图而言,能够直观展示业务利用执行过程中 CPU 密集点。火焰图中办法栈宽度代表办法执行时长,通过对“宽底座”、“大平头”的办法发展优化,缩减其调用耗时以达到性能晋升成果。然而,许多暗藏的性能问题在测试阶段往往不容易裸露进去,但在线上环境却能露出无余。而火焰图的生成须要花一些工夫来采集,当集中于对线上业务进行止血的时候,现场的保留往往有所缺失,毕竟不可能在线上问题产生后先跑个 5 分钟的火焰图。这可能会让整个问题的定位复盘过程变得更加简单。</p><p></p><p>$$图 4 常见 CPU 火焰图中的“大平头”与“宽底座”$$</p><p>那么,有没有一种不须要手动建设密集埋点就能观测到 Tracing 数据盲区,又能够自动识别慢 trace,并将相干办法栈的 CPU 火焰图过滤和关联到对应 Trace 的办法呢?利用实时监控服务(ARMS)在 3.x 版本 Java 探针中通过“代码热点”性能给出了答案。</p><p>接下来,以解析并遍历 JSON 数据及调用上游 HTTP 接口场景举例:</p><pre><code>public class HotSpotAction extends AbsAction { private RestTemplate restTemplate = new RestTemplate(); //申请入口办法 @Override public void runBusiness() { readFile(); invokeAPI(); } //执行HTTP调用 private void invokeAPI() { String url = “https://httpbin.org/get"; String response = restTemplate.getForObject(url, String.class); } //读取文件数据并解析 private double readFile() { InputStreamReader reader = new InputStreamReader( ClassLoader.getSystemResourceAsStream(“data/xxx.json”)); LinkedList<Movie> movieList = GSON.fromJson(reader, new TypeToken<LinkedList<Movie>>() { }.getType()); double totalCount = 0; for (int i = 0; i < movieList.size(); i++) { totalCount += movieList.get(i).rating(); } return totalCount; }}</code></pre><p>联合下图,对于上述接口,在 Tracing 零碎中找到一条慢调用链。能够看到本条调用链共计耗时达到了 2649ms,但后两个 Span 跟第一个 Span 之间存在 2s 多的耗时盲区(这段逻辑对应上述执行 JSON 数据解析),单纯依赖于 Tracing 零碎,并没有方法定位到缺失的 2s 耗时具体产生在哪段代码中。</p><p></p><p>$$图 5 业务零碎的 Tracing 数据,能够看到第二条 span 之前存在一块观测盲区$$</p><p>针对上述问题,接入 ARMS 最新版本探针并开启代码热点后,该问题根因定位就变更非常简单了。仅需单击调用链详情中的代码热点页签,能够在右侧的火焰图中看到相比 Tracing 除了左侧的 HTTP 相干办法栈(对应 Tracing 中的 HTTP 调用),还蕴含 com.alibaba.cloud.pressure.memory.HotSpotAction.readFile() 导致的 1.91s 执行耗时:</p><p></p><p>$$图 6 代码热点页签中的理论展现,能够直观看到耗时较高的办法栈$$</p><p>图中左侧为本次调用中所波及的所有办法所耗时状况列表,右侧为对应办法所有办法栈信息所绘制的火焰图,其中:</p><p>1)“Self” 列显示办法本身耗费的工夫或资源。</p><ul><li>这个指标示意办法在本身的调用栈中所耗费工夫或资源,不包含其子办法调用所耗费工夫或资源。</li><li>帮忙辨认哪些办法在本身外部破费了大量工夫或资源。</li></ul><p>2)“Total” 列显示办法及其所有子办法调用所耗费的总工夫或资源。</p><ul><li>这个指标包含办法本身耗费工夫或资源,以及其所有子办法调用所耗费的工夫或资源。</li><li>帮忙理解整个办法调用栈中哪些办法所奉献了最多的工夫或资源。</li></ul><p>对于如何应用代码热点性能生成的火焰图定位慢调用根因,能够通过重点关注 Self 这一列或者间接看右侧火焰图中底部的较宽火苗从中定位到高耗时的业务办法,较宽火苗其是引发下层耗时高的本源,个别是零碎性能的瓶颈所在。</p><p>从上图中不难看到,本文中的慢调用外围起因就是因为 LinkedList 不具备随机拜访的能力,在频繁查的场景下开销较高,通过将其重构为 ArrayList 等有索引的 List 实现就能够解决这一问题。其余更多无关代码热点的应用细节能够参考该性能相干用户文档[5]</p><h2>如何应答流量的不确定性?</h2><p>其实在压测过程中,如果已配置依附 CPU 指标/流量指标的弹性,为什么申请成功率还是会继续劣化?通过剖析,从指标达到阈值到新的服务实例就绪过程中其实存在肯定的工夫距离(可能是因为 Java 利用启动较慢的起因,达到了秒级别的启动时长),在突增流量场景下呈现新服务实例还未就绪,老服务实例就曾经过载状况。此时业务成功率大幅上涨起因,一部分是因为老服务实例过载;另一个起因是,因为原有实例过载,申请解决能力降落,导致大量流量涌入新启动的服务实例,从而导致新服务实例也因为过大流量而引起过载,陷入一直重启一直扩容的“最坏状况”。当零碎面对突增流量,是否有伎俩能够无效地爱护零碎始终处于稳态状况?</p><p>那就是微服务引擎(MSE)的最新个性,自适应过载爱护。</p><p></p><p>$$图 7 MSE 自适应过载爱护页面$$</p><p>失常状况下,面对忽然到来的流量洪峰(弹性来不及扩容),会导致 CPU 飙升(即零碎负载回升),全局接口呈现显著的性能劣化,比方 RT 继续减少、成功率大幅度上涨。</p><p></p><p>$$图 8 开启过载爱护后的大流量压测状况$$</p><p>Aliyun JavaAgent 3.x 版本提供了自适应过载爱护能力,能够无效地爱护咱们零碎。自适应过载爱护会在 CPU 使用率达到阈值时调整限流策略,以肯定比例进行限流,保障系统负载处于稳固程度,使得全局接口放弃较高 RT 及成功率。</p><p></p><p>$$图 9 开启过载爱护后的大流量下接口体现$$</p><p>总成功率 50.99%,在 /xx 接口流量突增后,全局所有接口成功率开始降落,RT 也疾速飙升,自适应过载爱护失效,成功率逐渐回升,RT 也疾速回落到失常程度。须要留神的是,压测中限流也被当成一般异样解决,因而在成功率上仅 50.99%(理论在去除了限流的异样后申请成功率在 80% 左右,从后半段 RT 体现中也能够看到。)</p><h2>3.x Java 探针,全新的能力矩阵</h2><p>前文中提到的“代码热点”与“自适应过载爱护”个性,都是以阿里云推出的全新 3.x Java 探针作为底座实现的性能,该组件为您的 Java 利用提供了一整套无侵入的接入计划,深度集成了 OpenTelemetry、Arthas、Sentinel 等多种可观测与微服务治理组件与计划。帮您疾速、无感地接入利用实时监控服务(ARMS)、微服务引擎(MSE)、企业级分布式应用服务(EDAS)、Serverless 利用引擎(SAE)等云产品的重要性能。</p><h3>如何接入 3.x Java 探针</h3><p>阿里云 Java 探针提供了多种便捷的接入形式,且能够根据您的需要定制可观测和服务治理能力的接入与否。您能够参考 ARMS 利用监控接入概述[9]与 MSE 服务治理利用接入[10]进行接入。</p><p>对于运行在阿里云容器服务 ACK[11]中的利用,您能够采纳最简略的接入形式:基于 Pilot 模式实现探针的主动注入以及配置,无需批改镜像,只须要在利用 Yaml 中退出几个 label 就能够为 Java 利用接入可观测或服务治理能力。</p><p>首先为 ACK 集群装置 ack-onepilot,如图所示:</p><p></p><p>$$图 10 装置 ack-onepilot$$</p><p>装置实现之后,在 ACK 集群内创立Java利用,并在 pod 的 spec.template.metadata 字段中增加几个 label,您也能够间接编辑 Deployment 的 yaml 文件,在 spec.template.metadata.labels 下为 pod 增加 label:</p><p>如果您须要接入 ARMS 利用实时监控服务,请增加以下两个 label:</p><pre><code>armsPilotAutoEnable: “on"armsPilotCreateAppName: “${接入到ARMS的利用名}"</code></pre><p>如果您须要接入 MSE 微服务治理服务,请增加以下三个 label:</p><pre><code>msePilotAutoEnable: “on"msePilotCreateAppName: “${接入到MSE的利用名}“mseNamespace: “${接入到MSE的命名空间}"</code></pre><p>利用胜利部署后,您能够在 ACK 管制台上看到对应的 Deployment,点击“ARMS 控制台”即可跳转到 ARMS 控制台查看利用的监控信息。</p><p></p><p>$$图 11 从 ACK 控制台跳转到 ARMS 控制台$$</p><p>如果您的利用接入了 MSE 微服务治理,能够在 ACK 管制台上点击更多 > 微服务治理按钮间接跳转至 MSE 服务治理控制台。</p><p></p><p>$$图 12 从 ACK 控制台跳转到 MSE 控制台$$</p><h3>版本改变一览</h3><p>除“代码热点”、“自适应过载爱护”性能外,本次 Java 探针中还带来了其余全新个性:</p><ul><li>反对 Java 21 利用的字节码加强,一个探针可同时反对 Java 8-21 利用的无侵入式可观测数据采集和微服务治理解决方案。</li><li>ARMS 数据上报架构全面降级,基于短连贯和上报压缩,进一步稀释上报数据,数据上报成功率从原有的 99% 晋升到 99.99%,提供更加稳固可用的数据采集服务。</li><li>ARMS 重磅推出慢调用诊断利器——基于调用链的代码热点性能,提供接口慢调用过程的主动观测能力,帮忙剖析代码执行中的性能瓶颈,详情请参考应用代码热点诊断慢调用链的问题[5]。</li><li>ARMS 发展性能优化,利用接入更加轻量化,更加无感;2c4g 双正本规格的容器场景下,挂载探针带来的额定 CPU 开销相较过往版本升高 50%,靠近极限 TPS 场景下 CPU 仅减少 10%,应用异步框架的场景 CPU 开销优化幅度达到 65%,性能体现更加良好;启动工夫大幅度优化,探针挂载启动耗时升高到 5 秒内,通过容器形式接入,init-container 启动耗时升高到 6 秒内,探针整体启动耗时缩减 10s+。详情请参考ARMS Java探针性能压测报告[6]。</li><li>ARMS 反对 Vert.x、Reactor-Netty 等异步框架的残缺耗时统计,补充了 OceanBase、xxl-job 等组件的自动化埋点,同时对已有的组件如 PostgreSQL、Kafka 等埋点进行优化,提供了更加精准、更加丰盛的指标和 Span 数据,详情请参考 ARMS 反对的 Java 组件和框架[7]。</li><li>MSE 流量防护实现对 RPC 调用行为的自定义反对,详情参考配置 MSE 流量防护行为[8]。</li><li>MSE 流量防护反对自适应过载爱护,基于 CPU 指标以及自适应算法主动爱护零碎不被过大的流量打垮[12]。</li></ul><h2>结语</h2><p>JavaAgent 技术通过其字节码加强的特点,能够无侵入地加强Java微服务的性能,为用户带来了全新的产品能力体验。通过本文的阐明,咱们能够发现阿里云 3.x 版本探针不仅引入了激动人心的新个性,而且在应用体验上也实现了质的飞跃。</p><ul><li>在性能方面:探针挂载启动耗时升高到 5 秒内,探针整体启动耗时缩减 10s+;挂载探针带来的额定 CPU 开销相较过往版本升高 50%;靠近极限 TPS 场景下 CPU 仅减少 10%;</li><li>在个性方面:带来了诊断、治理畛域新个性,自适应负载爱护、慢调用诊断、Java 21 的反对等。</li></ul><p>当然 3.x 系列 Java 探针并不是起点,为了达成阿里云上的微服务永远在线的指标,咱们才刚刚起航。最新的 4.x 版本曾经在邀约灰度中,该版本探针齐全兼容开源 OpenTracing 协定,新增了自定义线程池的监控,同时提供了更广的主动埋点反对范畴与更牢靠的异步 tracing 能力,欢送对新版探针感兴趣的客户分割进行灰度降级,第一工夫应用新探针的个性。</p><p><strong>相干链接:</strong></p><p>[1] OpenTelemetry 官方网站</p><p>https://opentelemetry.io/</p><p>[2] Async Profiler 工具</p><p>https://github.com/async-profiler/async-profiler</p><p>[3] 应用 Sentinel 进行流量治理</p><p>http://sentinelguard.io/zh-cn/docs/introduction.html</p><p>[4] 什么是 Java agent</p><p>https://www.developer.com/design/what-is-java-agent/</p><p>[5] 应用代码热点诊断慢调用链的问题</p><p>https://help.aliyun.com/zh/arms/application-monitoring/user-g…</p><p>[6] Aliyun JavaAgent 性能压测报告</p><p>https://help.aliyun.com/zh/arms/application-monitoring/develo…</p><p>[7] ARMS 利用监控反对的 Java 组件和框架</p><p>https://help.aliyun.com/zh/arms/application-monitoring/develo…</p><p>[8] 配置 MSE 流量防护行为</p><p>https://help.aliyun.com/zh/mse/user-guide/configure-web-behav…</p><p>[9] ARMS 利用监控接入概述</p><p>https://help.aliyun.com/zh/arms/application-monitoring/gettin…</p><p>[10] MSE 服务治理利用接入</p><p>https://help.aliyun.com/zh/mse/user-guide/application-access-…</p><p>[11] 容器服务 Kubernetes 版 ACK</p><p>https://www.aliyun.com/product/kubernetes</p><p>[12] 配置零碎防护</p><p>https://help.aliyun.com/zh/mse/user-guide/configure-system-pr…</p><p>作者:张铭辉、泮圣伟</p><p><strong>原文链接</strong></p><p><strong>本文为阿里云原创内容,未经容许不得转载。</strong></p></article> ...

February 27, 2024 · 3 min · jiezi

关于云计算:游戏行业高管分享如何借助云服务让游戏玩家保持参与度

Akamai 为视频游戏先驱、创新者和领导者提供实时服务和爱护 咱们采纳 Akamai 的云计算服务的过程是交钥匙式的,并且十分轻松。——技术总监,Glen Miner 简介我是 Glen Miner,在 Digital Extremes 工作,Digital Extremes 是寰球互动娱乐行业的顶级开发工作室之一。 在公司工作的 20 多年中,我身兼数职。有时我只是个玩家,享受游戏的过程,所以我能够提倡一些修复或改良。 其余时候我像正在救火的消防员,执行相似于站点可靠性工程师的工作。 而我的正式职位是一名技术总监。 咱们的客户分享咱们对于游戏的那份激情。它发明出了一个缓和的环境,成千上万的玩家喜爱玩咱们的游戏,但当提早或停机工夫导致他们无奈取得一流的体验时,他们会闪烁其辞地表白他们的挫败感。市场上有数以千计的其余游戏产品可供他们应用,因而咱们必须让用户欢快地参加到咱们的游戏中。 业务挑战尽管曾经在云上经营了多年的业务,但咱们始终找不到能够满足咱们所有需要的提供商。咱们心目中现实的提供商不仅能够提供弹性,还须要帮忙咱们升高提早,将内容和服务推向更凑近寰球各地最终用户的地位,并确保能够施行全面且无效安全措施。任何云提供商都能够将基础设施租赁给咱们,但咱们心愿咱们的客户享受疾速、平安的体验,让他们在咱们的游戏中有更长的玩耍工夫,并让玩家从新回来。 评估评估云提供商时,最重要的方面显而易见:它不能解体; 平台必须是稳固的; 可能继续工作。 这些是根底,但并非全副。 云提供商兴许可能为咱们提供高容量的程度扩大,但也可能不足咱们所须要的邻近性、减速以及爱护能力。 额定的 150 毫秒提早可能对于一些公司来说不是世界末日,但如果咱们问咱们的客户 150 毫秒的 ping 是怎么的感觉,他们可能会感到丧气并且收回尖叫。 因而,除了寻求更弱小的平安态势之外,咱们还须要一家在寰球范畴内具备宽泛散布的提供商,以更好的服务咱们在世界各地的最终用户。 Akamai 领有杰出的骨干网络,在咱们寰球服务器之间的连贯始终坚如磐石。——技术总监,Glen Miner转型故事基于咱们的业务性质和客户群特点,咱们须要在世界各地设置服务器。这些服务器须要数据中心为它们提供彼此间的无缝连贯。Akamai 领有欠缺的网络,由多层组成——从外围到边缘。Akamai 的物理脚印帮忙咱们更靠近寰球游戏玩家社区,并与平台内置的技术性能相结合,提供更好、更快、更个性化的体验。 尽管许多云提供商提供相似的性能。但这些性能的范畴、性能和老本却存在很大的差别。首先,Akamai 提供更低的传输老本。这对咱们来说能够带来微小的价值,因为咱们的游戏业务须要应用大量的进口流量。在估算方面,咱们已经也面对以下事实的挑战:咱们的一些服务十分忙碌,而另一些则闲置。有些以统一的速率运行,而另一些则难以预测。借助 Akamai 的简略定价构造,咱们将所有服务聚合到一个带宽层中,而不用独自为每项服务制订估算 —— 而且咱们从未超过该程度,也就意味着不会超出预算。这对咱们来说是一个微小的解脱,不仅从老本的角度来看,从经营的角度来看也是如此。 借助 Akamai 宽泛的寰球网络,咱们通过从边缘交付和升高提早来为咱们的游戏玩家提供更好的体验。——技术总监,Glen Miner成绩Akamai 虚拟机提供的可扩展性令人印象粗浅。 Akamai 是一家成熟的网络提供商,曾经失去泛滥世界领先品牌的信赖,并且他们领有弱小的骨干网络。对咱们来说,集群之间的链路必须牢靠。借助 Akamai,咱们散布在世界各地的服务器之间的连贯始终坚如磐石。 抉择 Akamai 的价值不仅限于其云计算性能。在平安方面,Akamai 团队代表咱们解决了许多问题,其中有些甚至是咱们没有留神到的。咱们已经产生过分布式拒绝服务攻打,直到 Akamai 告诉咱们,咱们才意识到这些攻打曾经产生,因为这些攻打被立刻且透明化解决的。Akamai可能实时提供咱们须要的爱护和服务,这意味着我醒来时会看到更少来自玩家的丧气感触与埋怨。也让咱们的业务没有理由再去其余任何的云。

February 26, 2024 · 1 min · jiezi

关于云计算:基于-MegatronCore-的稀疏大模型训练工具阿里云MoE-大模型最佳实践

概述随着大模型技术的一直倒退,模型构造和参数量级疾速演变。大模型技术的利用层出不穷。大模型展示惊人成果,但训练和推理老本高,始终是微小挑战。模型稠密化能升高计算和存储耗费。近期以Mixtral为代表的MoE(多专家混合)大模型证实了稠密MoE技术能大幅升高计算量、晋升推理速度,模型成果甚至超过同规模浓密模型。阿里云PAI和NVIDIA团队深刻单干,基于Megatron-Core MoE框架,解决了MoE大模型训练落地时会遇到的可拓展性、易用性、功能性以及收敛精度等外围问题,在上游工作上获得了很好的模型成果。PAI团队将上述MoE训练框架和技术与阿里云AI平台产品深度整合,使云上大模型用户能不便地进行MoE大模型的训练和部署。 基于 Megatron-Core 的 MoE 训练工具链这一章节中,咱们从MoE算法介绍,Megatron-Core MoE训练框架、以及云平台工具三个方面理解撑持MoE落地背地的根底能力。 MoE 算法介绍MoE的全称是Mixture of Experts,其中的Expert对应的是Transfomrer模型的MLP层,在训练的时候从多个MLP中选取一个MLP进行激活 [1](如下图所示)。这意味着模型能够在不减少FLOPs的状况下,通过减少MLP模块的数量来减少模型参数量级,进而晋升模型在上游工作上的成果。采纳MoE后的稠密Transformer模型和等同品质(验证集loss以及Zero-shot NLU上游工作性能)的浓密模型相比有较大幅度的训练和推理吞吐性能晋升。MoE次要由以下两个要害局部组成: 稠密MoE层: 这些层代替了传统 Transformer模型中的前馈网络 (FFN) 层。MoE层蕴含若干experts组成,每个experts自身是一个独立的神经网络。在理论利用中这些专家通常是前馈网络 (FFN)。Router路由: 这个局部用于决定哪些tokens被发送到哪个专家。例如在下图中,“More”这个tokens可能被发送到第二个专家,而“Parameters”这个tokens被发送到第一个专家。 接着咱们探讨下MoE中的token负载平衡问题。如上图所示的Top-1 Routing算法,每个输出hidden_states被router调配了4个experts中的1个用于前向推理计算,而后其输入被加权求和汇总后送入Transformer的下一个处理单元。这种路由形式会呈现多数受欢迎的experts须要解决很多token,而其余experts仅需解决极少数量的token的状况,这导致解决极少token的那些experts无奈取得足够多的信息,从而导致训练效率大幅升高。 为了缓解这种token到expert负载不平衡(Load Imbalancing)的问题,能够引入了一个辅助损失函数,旨在激励给予所有专家雷同的重要性。这个损失函数确保所有专家接管到大抵相等数量的训练样本,从而均衡了专家之间的抉择。另外也能够通过drop tokens的形式失去缓解。首先定义一个expert capacity,即为一个expert被调配到的token的容量。如果调配到一个expert的token数超出了一个固定容量,则多余的tokens会被丢掉。这些被丢掉的tokens不参加和experts的矩阵乘运算,间接通过一个残差连贯进入到下一个处理单元。如果一个expert没有被调配到其容量下限内的足够多的tokens,则须要采纳padding的形式填充到容量下限。 Mixtral-8x7b模型提供了另外一种思路来缓解负载不平衡的问题,其采纳的Megablocks [2]论文中提出的dropless moe算法。如下图所示,首先tokens通过router被调配到具体的experts,token到expert的分配关系被存储到expert indices中,调配置信度被存储到Probabilities中。其次依据事后设置好的expert的容量将tokens分组搁置,超出容量的tokens被丢掉。接着将分组中的tokens和experts进行批量矩阵乘运算。最初输入后果依照调配置信度进行加权求和(如下右边公式),其调配置信度的计算采纳的是normalized softmax(如下左边公式)。 Megablock论文认为这个drop token计划会导致成果降落,于是在此基础上引入块稠密算子来实现dropless性能。如下图所示,dropable的moe算法在experts之间并行批量矩阵乘(如下图A所示)能够用一种块对角矩阵乘来等价表白(如下图B所示)。Megablock设计了一个新的算子容许变长的输出(如下图C所示),而后输入到一个稠密对角矩阵上。引入了这个变长输出就意味着不须要drop的形式就能解决超出容量的tokens。相似的,Megatron-Core MoE应用GroupedGEMM解决了多 expert变长输出的问题。 Megatron-Core MoE 训练框架Megatron-Core是NVIDIA推出的一个成熟且轻量级的大规模LLM训练框架,它蕴含了训练大规模LLM模型所需的所有关键技术,例如各类模型并行的反对、算子优化、通信优化、显存优化以及FP8低精度训练等。Megatron-Core不仅继承了前代Megatron-LM的优良个性,还在代码品质、稳定性、性能丰富性和测试覆盖率上进行了全面晋升。更重要的是,Megatron-Core在设计上更加解耦和模块化,不仅进步了LLM训练的效率和稳定性,也为二次开发和摸索新的LLM架构提供了更大的灵活性。 基于Megatron-Core,钻研人员能够在大规模集群上高效地训练各种大型LLM模型,其中也包含对 MoE 模型的摸索。MoE的建模形式也带来了参数量的急剧回升、MoE层简单的通信逻辑、Routing等额定的开销,都给训练框架带来了不小的挑战。其中首当其冲的就是如何在多个GPU间高效的拓展MoE 训练。 在最新公布的Megatron-Core v0.5中,Megatron-Core正式推出了对大规模MoE模型训练的反对,也就是Megatron-Core MoE,涵盖了并行性、路由和负载平衡、性能优化、Token散发机制等多个feature。以下是一些值得关注的个性: 并行性(Parallelism)Megatron-Core MoE反对专家并行(Expert Parallel),这是一种专门为MoE模型设计的并行办法。在这种并行化策略中,不同的 Rank 负责解决其中一个或多个专家的计算。 此外,Megatron-Core MoE还反对3D并行(Data Parallel, Tensor Parallel, Pipeline Parallel, Sequence Parallel)。对于更大的MoE模型, Megatron-Core MoE也反对将专家并行(EP)与其它的并行DP/TP/PP/SP/Distributed Optimizer联合应用。 将来,Megatron-Core MoE还将反对Context Parallel,以反对更长序列的训练。 Token 散发机制(Token Dispatch Mechanism)Megatron-Core MoE目前提供了对Dropless MoE的反对(不进行Token抛弃)。行将退出对Token drop MoE的反对。 ...

February 26, 2024 · 2 min · jiezi

关于云计算:云原生周刊Docker-推出-Docker-Build-Cloud

开源我的项目举荐Kube-VipKube-Vip 旨在为 Kubernetes 集群提供高可用性和负载平衡性能。它提供了一个可插拔的 VIP(虚构 IP)管理器,能够为集群中的服务调配一个虚构 IP 地址,并主动将流量路由到正确的节点。该我的项目提供了多种配置选项,能够依据须要抉择适宜的负载平衡算法和 IP 模式。Kube-Vip 还反对一些高级性能,如自定义健康检查和故障转移。通过应用 Kube-Vip,用户能够轻松地实现 Kubernetes 集群的高可用性和可靠性,提供稳固的服务和无缝的故障恢复能力。 SelefraSelefra 旨在为 Python 开发人员提供一个简略且易于应用的工具,用于从文本中提取结构化数据。它提供了一种基于规定的办法,容许用户定义自定义规定来辨认和提取文本中的数据。Selefra 反对多种数据类型,包含日期、工夫、货币、电子邮件地址等,并提供了一些不便的性能,如数据荡涤和转换。 KubeStateWatchKubeStateWatch 是 Kubernetes 的状态监视器,用于向多个通道发送告诉,告知更改的工夫和内容。 它能够独立应用,也能够部署在 Kubernetes 中。但它的次要目标是部署在 Kubernetes 中。 KubeStateWatch 是 kubewatch 的扩大和简化版本。 Weave GitOps' Terraform ControllerWeave GitOps 的 Terraform 控制器(又名 Weave TF-Controller)是 Flux 的控制器,用于以 GitOps 形式协调 Terraform 资源。借助 Flux 与 Terraform 的弱小性能,TF-controller 容许您依照本人的节奏在 Kubernetes 和 Terraform 畛域中对基础设施和应用程序资源进行 GitOps 化。 文章举荐理解 Docker 和 Kubernetes:一个简略的解释这篇文章以简略易懂的形式解释了 Kubernetes 和 Docker 的概念。文章首先介绍了 Docker 的作用,将应用程序和其依赖项打包成容器,实现跨平台的可移植性。而后,文章具体解释了 Kubernetes 的作用,它是一个容器编排和管理工具,用于自动化应用程序的部署、扩大和治理。文章强调了 Kubernetes 的重要性,它能够帮忙解决容器化应用程序的挑战,如负载平衡、服务发现和主动容错。通过了解这两个概念,读者能够更好地理解如何应用 Docker 打包应用程序,并如何应用 Kubernetes 治理和运行这些容器化应用程序。 ...

February 26, 2024 · 1 min · jiezi

关于云计算:什么是云计算领域中的-inference-request-概念

在深入探讨云计算畛域中的 inference request 概念之前,让咱们先对云计算自身有个根底的了解。云计算是一种提供共享计算资源(如服务器、存储、数据库、网络、软件、剖析和智能)的技术,使得用户能够通过互联网按需获取和应用这些资源,从而优化老本、提高效率和灵活性。在这个广大的畛域中,inference request 是一个十分要害的概念,特地是在波及到机器学习和人工智能(AI)利用的云服务中。 Inference request,或者说推理申请,指的是向一个训练好的机器学习模型发送输出数据,以取得预测或决策后果的过程。这个过程在云计算环境中尤为重要,因为它容许用户利用近程部署在云上的弱小模型,无需在本地保护和运行这些模型,就能够解决和剖析大量数据。上面通过一些例子来具体阐明这个概念。 例子 1:图像识别服务假如一个电商平台须要自动识别和分类上传的商品图片,以优化其商品数据库。该平台能够应用一个在云上托管的图像识别服务,这个服务背地是一个训练有素的深度学习模型。当电商平台上传一张商品图片作为 inference request 时,这个云服务接管图片,模型剖析图片内容,而后返回辨认出的商品类别。这个过程极大地简化了商品分类工作,进步了效率和准确性。 例子 2:自然语言解决(NLP)利用思考到一个客户服务零碎心愿主动了解和回应用户的查问,该零碎能够依赖一个部署在云上的自然语言解决服务。当用户通过文本或语音提交一个查问时,这个查问被视为一个 inference request。云服务接管这个申请,应用其NLP模型来剖析和了解用户的用意,而后生成一个适合的回复。这种形式能够显著晋升响应速度和服务质量,同时加重人工客服的累赘。 例子 3:财务欺诈检测金融机构应用机器学习模型来辨认潜在的欺诈行为是另一个例子。每当一个交易申请产生时,该申请能够被发送到云服务作为一个 inference request,用以评估交易是否异样。云上的模型会剖析交易的各种特色,比方金额、地点和账户历史等,而后返回一个对于该交易是否可能是欺诈的评估后果。通过这种形式,金融机构能够实时地防备欺诈,爱护消费者的资金平安。 例子 4:个性化举荐零碎在线零售商和媒体平台常常应用个性化举荐零碎来晋升用户体验。这些零碎背地通常有简单的机器学习模型,用于剖析用户的历史行为和偏好,从而举荐可能感兴趣的商品或内容。每当用户拜访平台时,其行为能够触发一个 inference request,申请举荐零碎在云端剖析并返回个性化的举荐列表。这种技术不仅加强了用户满意度,还促成了销售和用户参与度。 通过这些例子,咱们能够看到 inference request 在实现机器学习和AI能力方面的关键作用,尤其是在云计算环境下。它使得企业和开发者可能充分利用云平台的弱小计算资源,疾速、高效地部署和扩大各种智能利用,而无需放心底层硬件的保护和降级。这所有都归功于 inference request 的能力,它让简单的数据分析和决策过程变得既简略又牢靠。

February 24, 2024 · 1 min · jiezi

关于云计算:揭秘KubeSphere-背后的超级大脑etcd-的魅力与力量

作者:尹珉,KubeSphere Ambassador & Contributor,KubeSphere 社区用户委员会杭州站站长。1. 开篇:揭开神秘面纱,etcd 如何驱动 KubeSphere 高效运行在云原生时代,etcd 作为 Kubernetes 生态中不可或缺的外围组件,扮演着 KubeSphere 集群“神经系统”的角色。它利用 Raft 一致性算法提供弱小的分布式键值存储能力,确保集群状态信息的实时同步和长久化。 每当在 KubeSphere 中执行资源操作时,这些指令首先通过 etcd 进行解决和散发,从而实现对整个集群状态的刹时更新与治理。正是因为 etcd 的存在,KubeSphere 才得以在大规模容器编排中展示卓越的性能和稳定性。 接下来,咱们将深刻摸索 etcd 如何奇妙地融入 KubeSphere 生态系统,并通过理论利用场景展现其对晋升平台工作效率和可靠性的关键作用。 2. 时光机:从诞生到崛起,etcd 如何在云原生时代锋芒毕露etcd 的旅程始于 2013 年 CoreOS 团队的一项翻新尝试,随着其 V1 和 V2 版本的倒退,逐步奠定了在分布式系统数据一致性解决方案中的位置。从 etcd V1、V2 到 V3 版本的迭代过程中,性能一直晋升,稳定性日益加强,性能上也不断丰富和欠缺。 经验数次重要降级后,etcd V3 版本尤其显著地解决了 Kubernetes 倒退过程中面临的存储瓶颈问题。在性能方面,通过优化实现了更快的数据读写速度;在稳定性上,引入了更为强壮的一致性保障机制;在性能上,则扩大了 API 接口,加强了安全性与可管理性。 因而,etcd 凭借这些改良,在性能、稳定性和性能上的卓越体现胜利保卫了作为 Kubernetes 外围存储组件的位置,并在云原生时代中扮演着不可或缺的角色,继续推动整个生态系统的提高与倒退。 3. 深度分析:etcd 外围原理与架构设计,它是如何做到数据存储的十拿九稳3.1 根底架构图etcd 是典型的读多写少存储,理论业务场景中,读个别占据 2/3 以上的申请。为了让大家对 etcd 每个模块有肯定的初步理解,简略介绍一下每个模块的性能作用。 Client 层:etcd 提供了 v2 和 v3 两个版本的 API 客户端库,通过负载平衡、节点故障主动转移等机制简化了业务集成过程,无效晋升了开发效率与服务稳定性。API 网络层:该层解决客户端与服务器以及服务器间的通信。v2 API 基于 HTTP/1.x 协定,而 v3 API 则应用 gRPC 协定,并通过 grpc-gateway 反对 HTTP/1.x 调用以满足多语言需要。此外,Raft 一致性算法驱动下的服务器间通信也采纳 HTTP 协定来实现数据复制和 Leader 选举等性能。Raft 算法层:这一要害层实现了诸如 Leader 选举、日志复制及 ReadIndex 等外围个性,确保了 etcd 集群中多个节点间的数据一致性和高可用性。性能逻辑层:在此层面上,etcd 的外围模块包含 KV 存储、多版本并发管制(MVCC)、权限验证(Auth)、租约治理(Lease)以及数据压缩(Compactor)等组件,其中 MVCC 模块由 treeIndex 和 boltdb 组成,用于高效且平安地解决键值操作。存储层:为保证数据安全性与长久化,存储层蕴含预写日志(WAL)和快照(Snapshot)机制,以及用于存储元数据和用户数据的 boltdb 数据库。WAL 避免 etcd 在解体后失落数据,而 boltdb 则负责理论的数据存储与检索。3.2 etcd 实现高可用、数据一致性的秘诀秘诀就是 Raft 算法,旨在简化分布式系统中的共识问题了解与实现。它将简单的共识过程合成为三个关键环节: ...

February 23, 2024 · 3 min · jiezi

关于云计算:HN-论坛里网友吵翻了-|-SSD硬件速度飙升唯独云存储未能跟上

这几天,Hacker News 上的有个帖子上面的网友吵翻了。原帖是发表在 Database Architects 这个博客网站的。作者次要观点是认为基于闪存的固态硬盘(SSD)在大多数存储应用场景下已取代了磁盘。SSD 的吞吐量取决于与主机的接口速度,随着 PCIe 接口的降级,SSD 的吞吐量也增长。而云供应商的存储性能晋升却绝对迟缓,仍停滞在每块本地盘 2GB/s 的速度上。最先进的固态硬盘和次要云供应商提供的固态硬盘之间的性能差距,尤其是在读取吞吐量、写入吞吐量和 IOPS 方面,正在迫近一个数量级。究其原因,可能是防止 SSD 擦写寿命到期引起故障吧,也可能是不足对更快的存储的需要,或者放心扰乱其余存储服务的老本构造。然而这三个点并不足够解释云存储的速度依然落后的起因。原文如下,不长,感兴趣的同学能够看看。然而比起原文,原文引发的探讨更乏味。 原文如下《SSD 硬件速度飙升,唯独云存储未能跟上》 近年来,基于闪存的固态硬盘(SSD)在大多数存储应用状况下已大幅取代了磁盘。每个 SSD 由许多独立的闪存芯片组成,每个芯片都能够并行拜访。假如 SSD 控制器跟得上,那么 SSD 的吞吐量次要取决于主机的接口速度。在过来的六年中,咱们看到了从 SATA 过渡到 PCIe 3.0 再到 PCIe 4.0 再到 PCIe 5.0 的疾速进化。SSD 吞吐量爆发性增长,如下图: 同时,变好的不仅仅是性能,还有老本。 凋谢规范(如 NVMe 和 PCIe)、微小的需要加上厂商的内卷,为客户带来了微小的益处。现在,顶级的 PCIe 5.0 数据中心固态硬盘(SSD),如 Kioxia CM7-R 或三星 PM1743,实现了高达 13 GB/s 的读取吞吐量和超过 270 万的随机读 IOPS。古代服务器领有约 100 个 PCIe 通道,使得在单个服务器上应用数十个 SSD(每个通常应用 4 个通道)打满带宽成为可能。例如,在咱们的实验室中,咱们有一台单插槽 Zen 4 服务器,装备了 8 个 Kioxia CM7-R SSD,实现了高达 100GB/s 的 I/O 带宽! ...

February 23, 2024 · 2 min · jiezi

关于云计算:Koordinator-v14-正式发布为用户带来更多的计算负载类型和更灵活的资源管理机制

背景Koordinator 作为一个踊跃倒退的开源我的项目,自 2022 年 4 月公布 v0.1.0 版本以来,经验了屡次迭代,继续为 Kubernetes 生态系统带来翻新和加强。我的项目的外围是提供混部工作负载编排、混部资源调度、混部资源隔离和混部性能调优的综合解决方案,帮忙用户优化容器性能,并晋升集群资源应用效率。 在过来的版本迭代中,Koordinator 社区一直壮大,曾经失去了包含阿里巴巴、蚂蚁科技、Intel、小米、小红书、爱奇艺、360、有赞、趣玩、美亚柏科、PITS 等知名企业工程师的积极参与和奉献。每一个版本都是在社区共同努力下推动的,反映了我的项目在理论生产环境中解决问题的能力。 明天咱们很快乐的向大家发表,Koordinator v1.4.0 版本正式公布。在本次公布中,Koordinator 引入了 Kubernetes 与 YARN 负载混部、NUMA 拓扑对齐策略、CPU 归一化和冷内存上报等新个性,同时重点加强了弹性配额治理、宿主机非容器化利用的 QoS 治理、重调度防护策略等畛域的性能。这些新增和改良点旨在更好地反对企业级 Kubernetes 集群环境,特地是对于简单和多样化的利用场景。 v1.4.0 版本的公布,将为用户带来更多的计算负载类型反对和更灵便的资源管理机制,咱们期待这些改良可能帮忙用户应答更多企业资源管理挑战。在 v1.4.0 版本中,共有 11 位新退出的开发者参加到了 Koordinator 社区的建设,他们是 @shaloulcy,@baowj-678,@zqzten,@tan90github,@pheianox,@zxh326,@qinfustu,@ikaven1024,@peiqiaoWang,@bogo-y,@xujihui1985,感激期间各位社区同学的积极参与和奉献,也感激所有同学在社区的继续投入。 版本性能个性解读1.反对 K8s 与 YARN 混部Koordinator 曾经反对了 K8s 生态内的在离线混部,然而在 K8s 生态外,仍有相当数量的大数据工作运行在传统的 Hadoop YARN 之上。YARN 作为倒退多年的大数据生态下的资源管理零碎,承载了包含 MapReduce、Spark、Flink 以及 Presto 等在内的多种计算引擎。 Koordinator 社区会同来自阿里云、小红书、蚂蚁金服的开发者们独特启动了 Hadoop YARN 与 K8s 混部我的项目 Koordinator YARN Copilot,反对将 Hadoop NodeManager 运行在 kubernetes 集群中,充分发挥不同类型负载错峰复用的技术价值。Koordinator YARN Copilot 具备以下特点: ...

February 23, 2024 · 5 min · jiezi

关于云计算:云原生明星公司-Weaveworks-倒下sealos-瑟瑟发抖

Weaveworks 倒下,浅谈两句同为云原生畛域的创业者,我是否曾经躲在角落里瑟瑟发抖?mesos(Mesosphere/D2IQ) 前不久刚倒下,这又来了一个,我对失败的案例尤为关怀,为了不吃一堑;长一智,通过认真钻研和认真思考,来谈谈我的想法。 Weaveworks 历程2014年:成立初期,Weaveworks 实现了来自 Seedcamp 和 Y Combinator 的种子轮融资,取得了数百万美元的投资。 2015年:Weaveworks 实现了 A 轮融资,由 Accel Partners 领投,融资金额为1500万美元。 2016年:Weaveworks 实现了 B 轮融资,由 GV (Google Ventures) 领投,融资金额为1500万美元。 2017年:Weaveworks 实现了 C 轮融资,由 AWS (亚马逊网络服务) 领投,融资金额为2500万美元。 2019年:Weaveworks 实现了 D 轮融资,由 Sonae IM 领投,融资金额为2500万美元。 (以上信息来自 ChatGPT,可能不精确,然而应该大差不差) 公司的开源产品 flux 是一个 CI/CD 平台,推崇 gitops。 整个融资节奏不错,融了这么多钱,而且公司年营收也曾过千万美金。 老本不可控大部分公司都死于现金流断裂,这是最重要的外因,Weaveworks 堆了 200 人,以 20w 美金每人每年计算,就须要烧掉 4000万美元,这样的确融资的钱就不够烧多久了。(还是中国的人力老本好,国内出海的公司这块具备天生劣势。) Weaveworks 外围支出起源还是服务 大B,这块有个特点,就是简直很难绕开定制化,重售前/售后,销售老本极高。所以并不是假如把人员裁减到肯定数量就能继续倒退的,这种形式服务大B数量多了天然人员数量就下来了,把人缩小,营收也就上来了,二者不可兼得,怎么样都不可继续。 这里特地是在产品不够成熟和不够标准化时去服务 大B,那几乎就是劫难,会彻底失陷为一个外包公司,单纯出卖人力。而且 gitops 产品服务大B时能够设想的到肯定出了不少人力帮忙用户做云原生化革新,这就要理解用户业务场景,帮忙写编排文件等,沟通合作老本出奇的高。这点我在 2022 年刚守业时有过透彻心扉的领会。 我感觉在晚期时你的产品肯定要想方法面向那些间接应用的用户,或者更直白一点,企业有开发者和决策者,你不能在晚期倒退时就去思考决策者的需要,这会让你的产品体验一塌糊涂,因为他们并不会间接应用你的产品,给你有用的反馈。不要想着产品还没成熟就去立标杆,你立不起来。 所以 sealos 肯定要抉择一个间接面向开发者的场景,有了肯定成熟度的时候再去服务大B,这个标志点是 大B 的定制化需要占比非常少。 ...

February 21, 2024 · 1 min · jiezi

关于云计算:KubeSphere-镜像构建器S2I服务证书过期解决方案

目前 KubeSphere 所有 3.x.x 版本,如果开启了 DevOps 模块并应用了镜像构建器性能(S2I)都会遇到证书过期问题。 解决办法已开启 DevOps 模块下载这个更新 S2I 服务证书压缩包,上传到任一能够拜访 K8s 集群的节点; 把上传的压缩包解压进入解压后的目录执行更新证书的脚本 ./update-s2i-cert.sh# 上传压缩包到可拜访 k8s 集群的节点...# 解压缩$ tar -zxvf update-s2i-cert.tar.gzupdate-s2i-cert/update-s2i-cert/config/update-s2i-cert/config/certs/update-s2i-cert/config/certs/server.crtupdate-s2i-cert/config/certs/ca.crtupdate-s2i-cert/config/certs/server.keyupdate-s2i-cert/update-s2i-cert.sh # 执行更新证书脚本$ cd update-s2i-cert$ ./update-s2i-cert.shUpdate Secret: s2i-webhook-server-cert..secret/s2i-webhook-server-cert patchedUpdate ValidatingWebhookConfiguration validating-webhook-configuration..validatingwebhookconfiguration.admissionregistration.k8s.io/validating-webhook-configuration patchedUpdate MutatingWebhookConfiguration mutating-webhook-configuration..mutatingwebhookconfiguration.admissionregistration.k8s.io/mutating-webhook-configuration patchedRestart s2ioperator server..statefulset.apps/s2ioperator restartedDone....执行完下面3步后,期待 pod s2ioperator-0 重启胜利就能够了。 未开启 DevOps 模块在曾经创立的 KubeSphere 环境里,还未开启 DevOps 模块,如果须要开启 DevOps 模块,也会遇到因为 S2I 证书过期导致开启 DevOps 模块失败的状况。 上面针对 KubeSphere 3.3.0、3.3.1、3.3.2、3.4.0、3.4.1 这几个版本,能够应用上面的形式来解决此问题: 获取 ks-installer 镜像更新 ks-installer 镜像# 执行上面命令,获取 ks-installer 镜像$ kubectl -n kubesphere-system get deployments ks-installer --no-headers -o custom-columns=:.spec.template.spec.containers[0].imagekubesphere/ks-installer:v3.3.0 # 基于获取的镜像,在镜像最初加上 ‘-patch.0’ ,执行上面命令更新 ks-installer 镜像$ kubectl -n kubesphere-system patch deployments ks-installer --type='json' -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/image", "value": "kubesphere/ks-installer:v3.3.0-patch.0"}]'更新镜像后 ks-installer 会主动重启并依据 ClusterConfiguration 里的配置装置各个开启的未装置的模块。 ...

February 21, 2024 · 1 min · jiezi

关于云计算:云原生周刊在-Kubernetes-集群中使用通配符证书-|-2024219

开源我的项目举荐kube-fledgedkube-fledged 是一个 Kubernetes Operator,用于间接在 Kubernetes 集群的工作节点上创立和治理容器映像的缓存。它容许用户定义图像列表以及这些图像应缓存(即拉取)到哪些工作节点上。因而,应用程序 Pod 简直立刻启动,因为不须要从注册表中提取映像。 kube-fledged 提供 CRUD API 来治理图像缓存的生命周期,并反对多个可配置参数来依据须要自定义性能。 Chart TestingChart Testing 是测试 Helm 图表的工具。它旨在用于检查和测试拉取申请。它会自动检测针对指标分支更改的图表。 NVIDIA device plugin for Kubernetes该设施插件是一个 Daemonset,用于在 Kubernetes 集群中启用 GPU 反对。它容许用户裸露每个节点上的 GPU 数量,监控 GPU 的衰弱状态,并在 Kubernetes 中运行反对 GPU 的容器。 KluctlKluctl 是一个用于治理和组织大型 Kubernetes 部署的工具,能够将多个较小的局部(如 Helm/Kustomize 等)以可治理和对立的形式组合在一起。 文章举荐在 Kubernetes 集群中应用通配符证书这篇文章介绍了如何在 Kubernetes 集群中应用通配符证书。通配符证书是一种非凡的证书,其公共名称以*结尾,能够匹配任意子域名。文章探讨了如何将通配符证书利用于 Kubernetes 服务,并解释了如何配置 coreDNS 以实现通配符域名与外部服务的映射。此外,文章还提供了正则表达式映射和反向映射的示例,并介绍了齐全限定域名(FQDN)的应用和调试办法。总的来说,文章提供了在 Kubernetes 集群中应用通配符证书的具体指南。 如何利用 eBPF 性能进行 Kubernetes 监控导航这篇文章介绍了如何应用 eBPF(Extended Berkeley Packet Filter)技术来进行 Kubernetes 监控。文章首先强调了监控 Kubernetes 集群对于确保容器化利用的衰弱性、性能和可靠性的重要性。而后,它介绍了 eBPF 的弱小性能,包含在内核和网络层面提供深刻可见性,并解释了如何利用 eBPF 来晋升 Kubernetes 监控策略。文章还提到了 eBPF 在容器网络监控、基于 eBPF 的网络策略安全性和性能剖析等方面的关键作用。接下来,文章具体介绍了如何设置环境和应用 eBPF 来监控 Kubernetes,包含装置所需的工具和示例代码。文章涵盖了利用 eBPF 获取网络流量信息、动静追踪零碎调用以及剖析资源应用状况的办法。最初,文章强调了 eBPF 的弱小性能,并揭示读者在生产环境中审慎应用,并始终思考安全性。总的来说,这篇文章为读者提供了对于如何利用 eBPF 技术进行 Kubernetes 监控的具体指南和实际倡议。 ...

February 21, 2024 · 1 min · jiezi

关于云计算:基于-Prometheus-实现-laf-资源监控

laf背景没有资源监控前,利用的资源指标(cpu / mem / db / oss)无奈得悉,用户很难依据本人的业务规模评估适合的规格配置;不能分明地发现以后利用状态:是否有内存泄露、是否须要开启弹性伸缩、以后的利用实例数等等。有了资源监控,这些问题通通解决。 laf实现计划 前端轮询后端申请监控数据,后端向 Prometheus 发动 HTTP 查问申请,Prometheus 会依据申请从自带的数据库中查问数据并返回,后端实现整合工作后返回给前端。Prometheus 会依据采集规定轮询须要采集的监控指标,将数据指标 (metrics) 存到数据库里。laf组件介绍Prometheus 是一个开源的监控和警报工具,通过 Pull 模式来获取指标服务的监控指标数据(如cpu和内存等),内置了一个工夫序列数据库来存储收集到的指标数据,内置 PromQL 来查问数据(相似于应用SQL语句查询数据库),自带一个 Web UI 来疾速验证查问后果。Prometheus 的 Exporter 是一种适配器,用于采集非原生反对 Prometheus 的第三方零碎或服务的指标数据,并将其转换为 Prometheus 能够辨认的格局。Exporter运行为一个独自的服务,周期性地从指标零碎中拉取原始指标,而后提供一个HTTP端点,使得 Prometheus 能够从中抓取已转换的指标数据。不同的零碎和服务须要不同的Exporter,例如,MongoDB Exporter 用于 抓取 MongoDB 数据库的指标;而 Minio 原生反对Prometheus,不须要独自的 Exporter。laf环境搭建和部署❝这里假如咱们曾经领有了一套 k8s 环境(应用 sealos 疾速部署本人的 k8s),并且曾经装置了必要组件,如 Helm、MongoDB 等咱们想要采集的指标包含 CPU、内存、MongoDB 和 MinIO 的用量,这里只演示前三者 首先部署 Prometheus 应用 Helm 部署 kube-stack-prometheus ❝kube-prometheus-stack是一个 Kubernetes 的监控和告警套件,整合了 Prometheus、Grafana 及其他相干组件,通过 Prometheus Operator 简化部署和治理,提供从节点到Kubernetes 对象的全面监控,并反对通过 Grafana 进行数据可视化。#创立 values.yaml 文件cat <<EOF > values.yamlfullnameOverride: prometheusprometheus: prometheusSpec: storageSpec: volumeClaimTemplate: spec: accessModes: ["ReadWriteOnce"] resources: requests: storage: 20GiEOFhelm repo add prometheus-community https://prometheus-community.github.io/helm-chartshelm repo updatehelm install prometheus prometheus-community/kube-prometheus-stack -n monitoring -f values.yaml为了采集 MongoDB 的 db 大小,须要部署 MongoDB Exporter#填须要采集数据的 MongoDB 的连贯串DATABASE_URL=<mongodb-uri-need-to-monitor>helm install prometheus-mongodb-exporter -n laf-system \ --set image.tag="0.39.0" --set mongodb.uri=${DATABASE_URL} \ --set serviceMonitor.enabled=true \ --set serviceMonitor.additionalLabels.release=prometheus \ --set serviceMonitor.additionalLabels.namespace=monitoring \ prometheus-community/prometheus-mongodb-exporter采集cpu和内存指标,只须要内存kubelet 作为 k8s 的组件自带了 cAdvisor 组件,cAdvisor 是一个用于 收集对于容器的资源应用状况和性能个性的工具,为容器运行时(如Docker和containerd)提供监控和统计信息。而kube-prometheus-stack 集成了对 kubelet 的采集规定,所以这块咱们不须要特地解决。部署实现后,应用 kubectl port-forward 进入 Prometheus 的 Web UI,查看各采集指标是否都 UP 了。至此,Prometheus 便会依据采集规定定期地去轮询各采集指标,失去采集数据存到数据库中。 ...

September 27, 2023 · 2 min · jiezi

关于云计算:Fireboom-on-Sealos半小时搞定一个月的接口工作

后端日常开发工作中有 88% 的接口都是 CURD,占用了超过 6 成开发工夫。这些工作枯燥乏味,且价值低下,不仅旷废了工夫,还无奈取得任何成就感。而 Fireboom 可在 2 分钟内,实现传统模式下 2 天能力实现的接口,让后端开发者不再搬砖。 Fireboom 是什么Fb 是可视化 API 开发平台,能够疾速开发 API;Fb 是一个可视化的 BaaS 开发平台(Backend as a Service);Fb 是一个集「API 开发」、「身份验证」、「对象存储」等于一身的一站式开发平台;Fb 能够是中国版的 Hasura 和 Supabase,反对 PostgreSQL、MySQL、MongoDB 等数据库。官网:https://www.fireboom.cloud/ Fireboom 有什么多数据源:数据库(PgSQL、MySQL、MongoDB)、REST API、GraphQL 以及音讯队列等;数据管理:简化版 Navicat,次要蕴含数据库建模和数据预览性能;可视化构建 API:基于 GraphQL 可视化构建 API,反对 API 受权、跨源关联、数据缓存、N+1 查问等高阶能力;实时推送:将 GET 申请转换为实时查问接口,同时具备实时推送能力,业务无死角;SDK 生成:依据 API 实时生成客户端 SDK,以后已反对 React SDK,打算反对 Vue SDK 和 Flutter SDK;文件存储:集成 S3 标准,实现文件治理,后续将反对钩子进行文件上传的后置解决;钩子机制:提供了灵便的钩子机制,具备 PRO CODE 能力 (Go、Node、Java、Python...),无惧简单业务。 ...谁适宜应用 Fireboom ?前端开发者 + Fireboom(Node.js) = 全栈开发者 ...

September 27, 2023 · 1 min · jiezi

关于云计算:免费2023云栖大会门票开抢啦数量有限先到先得

报名形式:扫描长图二维码 or 点击链接中转 2023云栖大会-领票页 10月31日-11月2日,让咱们齐聚云栖小镇!

September 27, 2023 · 1 min · jiezi

关于云计算:云原生周刊K8s-的-13-个最佳开源监控工具

开源我的项目举荐Silver Surfer该我的项目旨在查看 Kubernetes 对象的 API 版本兼容性,并为其提供迁徙门路,以便为集群降级做好筹备。 Actions Runner ControllerActions Runner Controller (ARC) 是一个 Kubernetes 操作器,可为 GitHub Actions 编排和扩大自托管运行器。 应用 ARC,您能够创立运行程序规模集,该规模集可依据存储库、组织或企业中运行的工作流数量主动扩大。因为受控运行程序可能是短暂的并且基于容器,因而新的运行程序实例能够疾速、洁净地扩大或缩减。 helm-mapkubeapis这是一个 Helm 插件,可将版本中废除或移除的 Kubernetes API 映射到受反对的 API 中。 文章举荐把握 ArgoCD 治理:实现灵活性和规模的高级 GitOps 技术这篇文章深入探讨了如何利用 ArgoCD 的后劲进行高级 GitOps 治理,通过 ApplicationSet Helm Chart 实现灵便的部署,以及通过扩大 ArgoCD 实例实现可扩展性和多租户反对的将来倒退方向。 Kubernetes 的 13 个最佳开源监控工具这篇文章提供了对于 Kubernetes 的 13 个开源监控工具的概述,并介绍了每个工具的长处和毛病,以帮忙读者抉择适宜其需要的工具。 云原生动静Linux 基金会推出 OpenTofuLinux 基金会发表成立 OpenTofu,这是一个开源代替计划,用于 Terraform 宽泛应用的基础设施即代码工具。OpenTofu 以前被称为 OpenTF,是对 Terraform 最近发表的许可证变更(从 Mozilla Public License v2.0(MPLv2)变更为 Business Source License v1.1)的凋谢和社区驱动的回应,为每个人提供了一个牢靠的开源代替计划,采纳中立的治理模型。 ...

September 26, 2023 · 1 min · jiezi

关于云计算:早期创始人必须亲自做销售-奇绩分享

本文转载原文地址:https://mp.weixin.qq.com/s/EOh71q71DI37Amvqfkp7lg在晚期守业过程中,销售是不可或缺的关键环节。 然而,许多技术出身的创始人却对销售不够器重,甚至回避。他们往往谬误地认为,多花点工夫编写代码或在产品上投入更多精力就天然能吸引更多客户。然而,依据 Y Combinator( YC )和泛滥科技公司的晚期教训来看,这一观点显然站不住脚。晚期的销售工作不仅至关重要,而且创始人必须亲自参加其中。 明天,咱们分享的内容来自 YC 合伙人 Gustaf Alströmer 的演讲,题为《如何找到你的第一个客户》。Gustaf Alströmer 曾负责 Airbnb 初创阶段的增长负责人,他粗浅意识到,许多看似聪慧且可扩大的增长办法并不适用于晚期守业公司。在本文中,他不仅指出了守业公司常犯的谬误,还分享了 5 种找到客户的办法。 一、晚期创始人要亲自参加销售这个“笨”事件在守业初期阶段,你无妨读读 YC 合伙人 Paul Graham 的《守业要从“笨”事件做起》,这篇文章很重要。Paul 是 YC 的联结创始人,他在这篇文章中分享了 Airbnb 晚期的经验。Airbnb 能够说是 YC 减速胜利的典型代表之一,他们就是“从‘笨’事做起”,尤其是一些不可规模化的事件。 很多没有在初创企业或晚期公司工作过的创始人会谬误地认为,只有有好产品,增长就会自然而然地产生,守业也就会取得成功。但事实并非如此。闭门造车是得不到好产品的,只有和客户严密合作能力打造好产品。因而,当你向第一个客户展现产品时,它必定还有很大晋升空间。 也就是说,守业公司是不会本人成长的,只有创始人一直付出致力,它能力倒退起来。仅仅在网页上投放广告草草了事是远远不够的,你必须亲自下场招揽客户,做“销售”这样的“笨”事件。 在守业过程中,销售是至关重要的一环。但很多创始人对销售很不屑,甚至千方百计回避。他们往往认为,我多写点代码,或者多在产品高低点功夫也同样能吸引到更多客户,销售不是必不可少的。但我在 YC 的教训通知我这是不可能的。 我说这些是想通知你,销售策略的学习只是一部分,真正重要的另一部分是要意识到销售是你必须要做的事,不能夸夸其谈,而是要亲自参加销售,并且对销售抱有志在必得的信心。 Paul Graham 提出的守业曲线是一个杰出的可视化工具,Trevor Blackwell 对它进行了标注。这个曲线展现了大多数公司在守业过程中所经验的阶段,相似于一个守业时间轴。具体包含以下几个阶段: 首先是产品公布。当初的大多数公司抉择在 Product Hunt、Hacker News 或其余互联网论坛上公布,而非 TechCrunch 。 然而,随着晚期客户的新鲜感逐步消退,你的公布也会逐步失去关注。如果没有立刻取得客户青眼,那么你就会陷入“难过之谷”。这个阶段可能会很长,并且许多公司都会因为没有尽快进行迭代测试而失败。 有些守业公司会很快地公布改良后的产品。他们会聆听客户反馈对产品进行改良。但许多公司都走不出这个阶段,隐没于“能干之溃”。 只有那些坚韧不拔、不放弃的创业者能力进入“心愿之颠”: 经验一番平稳,最终找到适宜市场的产品。 从守业曲线上咱们能够失去一个启发:在守业晚期,创始人的作用是至关重要的,他们能够决定公司的成败。如果发现市场不对劲,创始人须要让公司转向新的市场。如果不懂如何做销售,那么创始人就须要去学习这样的“笨”事件。 二、创业者须要的 5 点销售认知1、理解你的客户和他要解决的问题首先,创始人要学会做销售,就须要理解你的客户。与客户交谈和向客户销售产品实际上是同一个硬币的两面。同样的起因,创始人只有理解本人的客户,能力晓得本人须要解决什么问题以及如何进行销售。 2、做好销售能力更好把控公司的命运学会如何销售,能够让创业者将公司的命运把握在本人手中。 3、搭建销售团队之前要本人做销售只有在你本人学会如何进行销售之后,才应思考雇佣销售团队。因为只有这样,你能力晓得优良的销售人员或团队是怎么的。另外,如果你的产品质量不好,你也无奈顺利进行销售。也只有你亲自尝试过推销产品,你能力判断产品如何迭代。 4、学会销售并不难如果你不晓得如何销售,不要放心,你能够学习。在守业公司中,这可能是最容易学习的工作内容。 5、你要很理解你真正在解决的问题、你的产品和所在的市场如果你理解你的客户要解决的问题,以及你本人的产品和所在的市场,那么你在客户眼中就是这个畛域的专家,他们也更违心驳回你的销售意见。为解决客户问题的激情将会很有感染力,如果你真的热衷于为客户解决这个问题,他们可能感触到。 三、5 种办法找到客户1、抢占先机,尽早销售2017 年夏季 YC 守业营期间,Brex 的创始人 Pedro 和 Henrique 在公司还处于初创阶段时,就间接在其余守业公司中找到了前 10 个客户。在 YC 守业营,你能接触到很多其余守业公司,他们其实就是潜在的客户。Brex 的创始人思考着,什么样的产品既简略又能帮忙到其余守业公司呢?想分明后,他们就间接去签约客户了。 ...

September 26, 2023 · 2 min · jiezi

关于云计算:视频剪辑中生成花字特效的代码案例详述

本文为阿里云智能媒体服务IMS「云端智能剪辑」实际指南第四期,通过使用官网提供的花字模版或自定义设计花字,实现丰盛、精美的花字特效视频剪辑。昱尘|作者 在视频前期剪辑中,“花字”是一种特地的存在。 通过应用适宜视频的花字,不仅能够丰盛视频内容,还能够让视频传播的信息更加容易让用户承受,加深观众对于视频内容的印象。 对于做短视频营销场景的客户来说,花字更是起着至关重要的作用,不仅能够加强视频传播信息的能力,还能够减少视频的成果精美度。 视频中罕用的花字,个别会蕴含几个因素:文字色彩、纹理、字体、多层描边、多层暗影以及背景及发光成果等。 本文次要介绍如何通过应用智能媒体服务IMS「云端智能剪辑」减少花字,将从「如何应用官网花字」以及「如何自定义设计花字」两方面来介绍弱小的花字能力。本文成果实现较为简单,将视频地址换成您本人的oss地址,即能够实现示例成果。 01 原始字幕咱们参考市面上比拟支流的营销类短视频剪辑模式,以上面这个流程作为demo展现的模版。 应用一张图片作为视频封面,减少主题目、副标题以及形容文字;应用三个横屏拍摄的视频作为主体内容,输入为竖屏视频(不便手机观看),高低减少背景含糊成果;每一个视频或者图片,对应一段TTS口播,让视频或者图片与口播对齐,保障视频的流畅性;TTS口播同时搭配ASR字幕。依照下面这个模版,咱们先看一个不应用任何简单字幕成果剪辑成的视频成果: https://v.qq.com/x/page/p3502q8vcef.html 通过观看视频发现,该视频中的字幕存在一些问题: l 视频背景比较复杂,在字幕色彩和视频底色比拟靠近时,会导致字幕不够清晰; l 字幕比拟单调乏味,视频内容不够粗劣,容易让用户产生视觉疲劳,升高流传力; l 字幕成果不够突出亮眼,无奈一眼就让用户把握视频要害信息。 原始字幕Timeline: { "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/cover.jpg", "Width": 1, "Height": 1, "Type": "Image", "AdaptMode": "Cover", "ReferenceClipId": "speech_1", "Effects": [{ "Type": "Text", "Font": "HappyZcool-2016", "Content": "敌人聚餐", "Y": 0.5, "FontSize": 80, "Angle": "30", "Alignment": "TopCenter", "FontColor": "#ffffff" }, { "Type": "Text", "Font": "HappyZcool-2016", "Content": "同学聚会", "Y": 0.6, "FontSize": 80, "Angle": "30", "Alignment": "TopCenter", "FontColor": "#ffffff" }, { "Type": "Text", "Font": "HappyZcool-2016", "Content": "家人团圆", "Y": 0.7, "FontSize": 80, "Angle": "30", "Alignment": "TopCenter", "FontColor": "#ffffff" }, { "Type": "Text", "Font": "HappyZcool-2016", "Content": "共事团建", "Y": 0.8, "FontSize": 80, "Angle": "30", "Alignment": "TopCenter", "FontColor": "#ffffff" } ] }, { "Comment": "火锅", "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/%E7%81%AB%E9%94%85.mp4", "Y": 0.3, "Width": 1080, "Height": 608, "AdaptMode": "Cover", "Effects": [{ "Type": "Background", "SubType": "Blur", "Radius": 0.1 }], "ReferenceClipId": "speech_2" }, { "Comment": "烤羊肉串", "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/%E7%83%A4%E7%BE%8A%E8%82%89%E4%B8%B2.mp4", "Y": 0.3, "Width": 1080, "Height": 608, "AdaptMode": "Cover", "Effects": [{ "Type": "Background", "SubType": "Blur", "Radius": 0.1 }], "ReferenceClipId": "speech_3" }, { "Comment": "大鱿鱼", "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/%E7%83%A4%E9%B1%BF%E9%B1%BC.mp4", "Y": 0.3, "Width": 1080, "Height": 608, "AdaptMode": "Cover", "Effects": [{ "Type": "Background", "SubType": "Blur", "Radius": 0.1 }], "ReferenceClipId": "speech_4" }, { "Comment": "陈腐蔬菜", "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/%E8%94%AC%E8%8F%9C.mp4", "Y": 0.3, "Width": 1080, "Height": 608, "AdaptMode": "Cover", "Effects": [{ "Type": "Background", "SubType": "Blur", "Radius": 0.1 }], "ReferenceClipId": "speech_5" } ] }], "AudioTracks": [{ "AudioTrackClips": [{ "Type": "AI_TTS", "Content": "周末就来阿云美食城吧", "Voice": "zhimi_emo", "ClipId": "speech_1" }, { "Type": "AI_TTS", "Content": "这里有入口醇香的老北京火锅!", "Voice": "zhimi_emo", "Effects": [{ "Type": "AI_ASR", "Font": "HappyZcool-2016", "Alignment": "TopCenter", "Y": 0.65, "FontSize": 80, "FontColor": "#ffffff" }], "ClipId": "speech_2" }, { "Type": "AI_TTS", "Content": "这里有香喷喷的烤羊肉串!", "Voice": "zhimi_emo", "Effects": [{ "Type": "AI_ASR", "Font": "HappyZcool-2016", "Alignment": "TopCenter", "Y": 0.65, "FontSize": 80, "FontColor": "#ffffff" }], "ClipId": "speech_3" }, { "Type": "AI_TTS", "Content": "这里有无比鲜嫩的大鱿鱼!", "Voice": "zhimi_emo", "Effects": [{ "Type": "AI_ASR", "Font": "HappyZcool-2016", "Alignment": "TopCenter", "Y": 0.65, "FontSize": 80, "FontColor": "#ffffff" }], "ClipId": "speech_4" }, { "Type": "AI_TTS", "Content": "还有各种陈腐蔬菜等你来品味~", "Voice": "zhimi_emo", "Effects": [{ "Type": "AI_ASR", "Font": "HappyZcool-2016", "Alignment": "TopCenter", "Y": 0.65, "FontSize": 80, "FontColor": "#ffffff" }], "ClipId": "speech_5" } ] }], "SubtitleTracks": [{ "SubtitleTrackClips": [{ "Comment": "主题目", "Type": "Text", "Font": "HappyZcool-2016", "Y": 0.05, "FontSize": 200, "Content": "阿云美食城", "FontColor": "#CFFAFF", "SizeRequestType": "Nominal", "AdaptMode": "AutoScale", "Spacing": 3, "Alignment": "TopCenter" }, { "Comment": "副标题", "Type": "Text", "Font": "HappyZcool-2016", "Y": 0.2, "FontSize": 100, "Content": "味蕾盛宴", "FontColor": "#CFFAFF", "SizeRequestType": "Nominal", "AdaptMode": "AutoScale", "Spacing": 3, "Alignment": "TopCenter" } ] }]}02 32套官网花字为了解决上述原始字幕文字不显著以及成果比拟差等一些问题,咱们能够用IMS中已集成的官网花字来丰盛视频内容。阿里云智能媒体服务新增32套高级花字。 ...

September 26, 2023 · 8 min · jiezi

关于云计算:使用-Sealos-构建低成本高效能的私有云

这个时候议论公有云仿佛有点反直觉?大部分人认知不是上云是大趋势嘛?我也比拟认可上云,不过公有云也是云,明天给大家带来一个新的抉择 —— 用云,只需一个 Sealos 就够了。 看看咱们怎么做到更低的老本,更高的稳定性和性能的。 ❝PS:咱们从不脱离场景谈劣势,不同场景选不同的云必定是硬道理。️ 为什么要建设公有云? ❶ 数据安全:如金融畛域,或企业不想将外围数据交给私有云厂商; ❷ 老本效益:在某些场景下,公有云的老本更低; ❸ 性能优化:通过特定计划,在公有云环境中取得更好的性能。 公有云建设之痛构建公有云的残缺步骤如下: 以上每一步都是步步惊心,波及到多方面的问题和挑战,包含: 须要大量专家和开发者,招到不适合的人会付出很大的代价。产品设计抄来抄去,十个有九个会去抄 AWS。艰难的技术选型,虚拟机?容器?计算?存储?网络?每个细节的点都波及到技术选型和组合。建设周期长,架构设计,开发实现,性能/性能/稳定性测试等。稳定性难以收敛,要么性能问题,要么天天救火。最终做进去了企业外部不敢用,不好推广,这一步往往是最难的。所以任何企业要是没点教训,想一步把事件做对,是十分十分艰难的。切实不行去洽购一套吧。 最初发现洽购也是问题: 不晓得选哪家,大厂贵,小厂不敢用。交付重且周期长,长期保护对接也各种不不便,响应也是问题。 私有云与公有云老本比照因为以上种种问题,导致了公有云的老本很高很高: 单纯看算力老本的话,比方私有云的 100 核 CPU 要比你买 100 核 CPU 的硬件贵十分多(通常 10 倍以上,我司有两个集群等同算力价格差了 20 倍,私有云还是贵) 然而算上软件老本,会发现公有云可能会更贵,不仅贵,还有可能做不好。 回头看看 Linux你会发现企业应用 Linux 这种单机操作系统的老本并不高,因为: 谁都会装;谁都会用;运行稳固;简直不必投入太高老本;根本不须要定制化开发;外围起因 :Linux 写的好还视金钱如粪土。❌ 再看个失败的例子 Openstack大量的老本能力把这玩意儿真正落地。 专业人士三天都不肯定能装起来;想要运行稳固没个 15集体以上的团队别想;得改一堆代码能力用;把性能飙起来更是难;不能怪 Openstack ,曾经很优良了,只是这事的确太简单。 云就不能像 Linux 一样么?为什么云不能像 Linux 一样简略和高效呢?有了 Kubernetes 这个优良的“云内核”,就能够实现通用的云操作系统: 基于云内核的云操作系统发行版能够让企业用云开箱即用;公有云的软件老本能够被降的非常低;最终企业购买硬件再装上云操作系统能够失去一个既便宜又好用的云,是一种新的可选计划。所以,基于云操作系统的云的老本模型最终会变成这个样子: 基于云操作系统的公有云落地流程最终能够缩短到两步:装置和推广,其实装置可忽略不计。 ️ 应用 Sealos 构建通用的云操作系统那么具体如何构建一个通用的云操作系统呢? Linux 内核和 Red Hat 之间的关系就很像 Kubernetes 和“云操作系统”之间的关系。咱们把 Kubernetes 看成云操作系统的内核,基于这个云内核做一个能够运行在多台服务器上的云操作系统发行版,零碎之上“所有皆利用”。 ...

September 22, 2023 · 1 min · jiezi

关于云计算:使用-Sealos-构建低成本高效能的私有云

这个时候议论公有云仿佛有点反直觉?大部分人认知不是上云是大趋势嘛?我也比拟认可上云,不过公有云也是云,明天给大家带来一个新的抉择 —— 用云,装个 sealos 就够了。 看看咱们怎么做到更低的老本,更高的稳定性和性能的。 PS:咱们从不脱离场景谈劣势,不同场景选不同的云必定是硬道理。为什么要建设公有云 大部分是为了数据安全,如金融畛域,或者一些企业不想把本人外围数据放在私有云厂商手里。在某些场景下,公有云的老本会更低通过一些计划解决,可能会在公有云环境中失去更好的性能公有云建设之痛 以上每一步都是步步惊心: 须要大量专家和开发者,招到不适合的人会付出很大的代价产品设计抄来抄去,十个有九个会去抄 AWS艰难的技术选型,虚拟机?容器?计算?存储?网络?每个细节的点都波及到技术选型和组合。建设周期长,架构设计,开发实现,性能/性能/稳定性测试等稳定性难以收敛,要么性能问题,要么天天救火最终做进去了团体不敢用,不好推广,这一步往往是最难的。所以任何企业要是没点教训,想一步把事件做对,是十分十分艰难的。 切实不行去洽购一套吧。 最初发现洽购也是问题: 不晓得选哪家,大厂贵,小厂不敢用交付重且周期长,长期保护对接也各种不不便,响应也是问题私有云与公有云老本比照因为以上种种问题,导致了公有云的老本很高很高: 单纯看算力老本的话,比方私有云的 100核 CPU 要比你买 100 核 CPU 的硬件贵十分多(通常 10 倍以上,我司有两个集群等同算力价格差了 20 倍,私有云还是贵) 然而算上软件老本,会发现公有云可能会更贵,不仅贵,还有可能做不好。 回头看看 linux你会发现企业应用 linux 这种单机操作系统的老本并不高,因为: 谁都会装谁都会用运行稳固简直不必投入太高老本根本不须要定制化开发外围起因 :linux 写的好还视金钱如粪土再看个失败的例子 openstack大量的老本能力把这玩意儿真正落地。 专业人士三天都不肯定能装起来想要运行稳固没个 15集体以上的团队别想得改一堆代码能力用把性能飙起来更是难不能怪 openstack ,曾经很优良了,只是这事的确太简单So 云为什么不能像 linux 一样?Kubernetes 这个足够优良的 “云内核” 让云操作系统成为可能基于云内核的云操作系统发行版能够让企业用云开箱即用公有云的软件老本能够被降的非常低最终企业购买硬件再装上云操作系统能够失去一个既便宜又好用的云。是一种新的可选计划。所以,基于云操作系统的云的老本模型会变成这个样子: 基于云操作系统的公有云落地流程就缩短到两步:装置和推广,其实装置可忽略不计。 来吧,通过 sealos 去建设一朵云 而后就没有而后了。。。 外面形如 labring/kubernetes:v1.25.6 的货色都叫集群镜像,当初有上百款供你组合成你想要的样子。只须要带上服务器的 IP 地址列表,所有搞定。 企业外部的落地推广也想补充一句,就是如果是企业本人做出个新货色想去推广时会发现困难重重,然而企业外部去推广一个出名软件会简略的多。 比方在企业外部推广 gitlab 时就会比推广一个企业自研的代码托管容易,推广 pgsql 就比推广一个企业本人写的数据库容易。 这是兽性,更容易接受某个畛域市场领导者位置的产品,特地是实用主义者。 sealos 在云操作系统畛域有足够好的知名度,足够高的开源影响力,在企业外部落地推广时会容易的多的多。 构建公有云,装个 sealos 就够了 ...

September 22, 2023 · 1 min · jiezi

关于云计算:FastGPT知识库AI-保姆级教程5分钟上手

国内直联GPT!清风 AIchat 手把手保姆级应用教程,适宜小白 “将来几年,所有组织的治理、业务都将AI化,如何利用AI技术,是每一个管理者必须思考的问题” 自从去年 12 月 ChatGPT 公布后,带动了新的一轮利用交互反动。尤其是 GPT-3.5 接口全面放开后,LLM 利用雨后春笋般疾速涌现。 企业信息化1.0 是电算化,2.0 是挪动化,3.0 就是 AI 智能化了。 企业 AI 化时代,员工关怀是如何进步写作效率、工作效率;管理者关怀的是如何进步组织的整体效率,促成业务,带动销售,提效降费。 企业知识库是 AI 技术比拟容易落地的一个场景,之前曾经分享过几篇 AI 在企业知识库的利用,链接详见文末。 明天讲讲 FastGPT,这是迄今为止,我用过的最成熟的一个企业知识库 AI agent, 其余不错的知识库 AI agent,如 dify、langchatchat,有机会再分享。 FastGPT 官网已开源,用户能够自行本地部署,也可间接应用官网搭建好的网站 对于终端用户,不仅可在网站上应用FastGPT,进入本人的知识库,还能够在 Chat-NETX-WEB 客户端应用,已买通企业微信群,间接在微信群进行知识库问答 ! 上面,跟着我,5 分钟构建属于你的企业知识库! 文章写得很细,很长,倡议大家先珍藏 一、概念和原理(一)名词解释企业知识库、LLM(大语言模型)、GPT、AI 化的企业知识库、向量化... 相干名词,详见《利用 GPT-4 & LangChain 本地部署企业知识库》第一局部。 (二)FastGPT 的原理1、原理 FastGPT 是一个基于 LLM 大语言模型的知识库问答零碎,提供开箱即用的数据处理、模型调用等能力。还能够通过 Flow 可视化进行工作流编排,实现 AI 客服,从而实现简单的问答场景! 概述: 专属 AI 客服:AI 模型能依据文档以交互式对话形式答复问题 简略易用的可视化界面:直观的设计和操作步骤,轻松实现 AI 客服的创立和训练流程 ...

September 21, 2023 · 2 min · jiezi

关于云计算:FastGPT-接入飞书不用写一行代码

FastGPTV4 版本曾经公布,能够通过 Flow 可视化进行工作流编排,从而实现简单的问答场景,例如联网谷歌搜寻,操作数据库等等,性能十分弱小,还没用过的同学连忙去试试吧。 飞书相比同类产品算是体验十分好的办公工具了,我司也是废了很大的劲才迁到飞书,所以咱们先来接入飞书的教程。 Laf 局部首先是 Laf 的函数代码,和之前接入企业微信一样,我为大家筹备好了模板,大家只须要去填写一下环境变量即可应用。 ❝这里用 laf.dev 来演示 laf.run 操作是一样的,只是最近非凡期间,laf.run 是国内服务器调用 FastGPT 新加坡服务器很慢登陆 laf.dev 找到函数模板:FastGPT接入飞书 点进模板之后点右上角的「应用模板」,把此模板弄到你的利用中。 而后咱们顺次点「设置」「环境变量」发现这里有四个空的环境变量,把他们填上就搞定了。 飞书后盾咱们间接来到飞书开放平台,点击创立利用。 这里「创立企业自建利用」填写一下信息,而后创立。 这里要给这个利用增加一下机器人的能力。 而后这里「权限治理」,依照下图给配置一下权限,总共五个权限。 事件订阅这里,须要增加一个「承受音讯」 接着来到事件订阅,配置一下「申请地址」 这里的申请地址就写刚刚创立的 Laf 云函数地址,填进去保留。 再次回到凭证与根底信息,拿到 AppID 和 App Secret 别离填写到 Laf 的环境变量 FEISHU_APPID 和 FEISHU_SECRET 做完这些之后利用就能够公布了,咱们来「版本治理与公布」这里创立一个版本,填写个版本号和简介就能够了。 ❝这里的可用范畴须要本人自定义一下,给哪些共事用。 而后保留,让有权限的共事审核下就能够了。 FastGPT 局部来到 FastGPT 找到你要接入的利用,像我一样拿到 AppId 和 ApiKey 别离填写到 Laf 环境变量中的 FASTGPT_APPID FASTGPT_KEY ❝填完记得点「更新」 ...

September 20, 2023 · 1 min · jiezi

关于云计算:Laf-云开发平台及其实现原理

Laf 产品介绍自我介绍大家好,我是来自 Laf 团队的王子俊,很快乐明天能在这里给大家分享咱们 Laf 云开发平台及其实现原理。原本想说一点什么天气之类的话作为结尾,但主持人都说完啦,我就不多说了,还是间接开始明天的分享吧。 产品介绍在筹备 PPT 的时候,我想过很多种的形式来介绍咱们是一个什么样的产品,但起初我发现在咱们文档和官网下面这两句话齐全就能够阐明咱们是一个什么样的产品: 第一就是说咱们是一个像写博客一样,写代码能够随时随地上线。 其次就是专一业务自身,让开发者能疾速地开释创意。 为什么说像写博客一样呢?因为写博客的时候,你可能会关上一个博客平台,你的电脑关上一个浏览器,而后你码完字,点一下公布,你的博客就能够被他人看到了。 那咱们开发的时候是不是也能够说,我只有有一台电脑能关上浏览器,而后我进去就能够间接写代码,写完代码之后,我点一下公布,我的一个接口,我的一个利用可能就写完了。 第二就是说专一业务自身。在座有很多都是开发者,咱们身为一个开发者,很多时候会有想做一个小工具,或者说想做一个利用的这么一个想法。 但等咱们把环境部署好,筹备好之后,这个环境是指咱们电脑中的环境,比如说数据库等等这些资源,也有可能是咱们身边的环境,比如说没带本人的电脑出门。 但如果说咱们产品存在的话,你可能只须要摸到一台能关上浏览器的电脑,就能够进行你的编码工作了。 而后下一个环节,我是打算给大家演示一下咱们产品。 产品演示原本我是筹备了一个视频的,但我感觉视频做的有一点早了,很多性能在咱们官网上没有展现进去,所以我还是跟主办方沟通了一下,筹备现场演示一下,我会在前面用电脑给大家演示一下,大家稍等我一下。 ❝这里是产品演示,大家能够拜访 laf.run 或者 laf.dev 来体验。产品特点总结好,演示环节就到此结束了。我用三点给大家总结一下,就是咱们我的项目的特点: 开箱即用的利用资源,包含提供计算资源、数据库资源、日志网络存储等利用所须要的所有资源,不须要筹备任何环境,包含电脑环境和物理环境。指标是尽可能缩短开发流程,升高开发门槛。如果一个利用部署一个环境须要一天,咱们可能一天曾经做一个 demo 进去,曾经上线发给用户或群友测试了。开源凋谢的态度,Laf 所有的源代码是开源的,咱们用的组件也都是开源的,不蕴含任何厂商绑定,能够跑在任何云上,没有后顾之忧。技术实现介绍技术选型而后介绍一下咱们整体的技术选型。在编程语言方面,咱们抉择了 Node,最大的起因还是升高开发门槛,因为一个我的项目中你会用到前端,用到前端你可能会用到 JS,你前端写 JS 后端也写 JS,开发就不会割裂,能够笼罩更多用户。 而后存储方面咱们抉择了 MinIO,MinIO 最次要它是一个开源,除了开源之外,它提供了十分不错的横向扩大能力,咱们能够通过减少节点来减少它的存储能力和解决能力。 数据库方面咱们抉择的是 MongoDB,MongoDB 有一个最大的长处,对于咱们来说,它是非关系型的数据库。那么如果应用关系型的数据库,开发者可能门槛会进步一点,他须要去设计表,在做利用之前,他去设计一下表构造。如果用 MongoDB 的话,你可能不须要设计表,先去写业务逻辑,等你感觉你须要存储数据了,你再去应用 MongoDB 数据库。 网关咱们抉择的是 APISIX,它能够无缝地批改动静路由,还有它有丰盛的插件。最重要的是它开源凋谢的能力。咱们每一个云函数,每一个利用,每一个 bucket 都会调配一个给它一个二级域名。就会通过它动静路由的批改来不同的映射,就能够在咱们创立云函数和创立 bucket 的时候,无缝给大家起一个二级域名,让大家利用还没有域名的时候,能够间接上线,间接进行拜访。 实现流程图而后上面是一个具体的实现流程图。咱们从右边看是一个开发者的视角,咱们能够通过内部 IDE,或者说咱们提供的 CLI 本地开发,而后创立一个利用,连贯到 Laf 的 server,而后它会把咱们利用的信息,存储到数据库中,而后筹备对应的资源,通过 Kubernetes 创立一个利用实例,而后外面放一个 Node 的 runtime,而后调配一个数据库,调配一个存储,整个利用从创立到启动,胜利的流程就实现了。 而后从右下方开始看,这就是咱们用户调用咱们一个云函数,或者调用一个接口的过程。咱们的流量先打到咱们的网关,而后网关依据 APPID 找到,确定的某一个 runtime,而后在 runtime 中,咱们云函数的名字又是惟一的,就能够确定执行哪一段函数代码,而后间接响应返回到外网。 ...

September 20, 2023 · 2 min · jiezi

关于云计算:50-行代码实现-Laf-运行时

laf 的架构图 Laf 以后应用 Node.js 做为云函数运行时环境,从架构图能够看到执行用户云函数的申请会被路由到用户对应的app(Node.js 运行时)中,最初这个函数(代码)在该 app 中被执行。 在 laf 中有两种路由,一种是 apisix 路由负责路由动态资源托管,函数执行等申请,另一种是 laf server web 框架的路由,负责laf server的各种 api。 上面咱们抛开申请的路由过程,以及 app 的其余资源如数据库资源(mongodb),动态资源托管(minio)等,直奔主题,如何手撸一个 laf 的 Node.js 运行时。 laf 的运行时与其余函数计算平台的区别Laf 函数计算的运行时与其余函数计算平台的运行时的外围区别在于 laf 的运行时是常驻的。 常驻代表你的 app 就能够做很多高级的事件,比方反对 WebSocket 长连贯,反对全局缓存,无冷启动等等。 其余很多函数计算平台的运行时采纳的是冷启动计划,就是有申请达到后才会去筹备运行时的资源,创立运行时的资源,当没有申请,利用不流动时,资源会被销毁,尽管这样能够节俭内存资源,但无奈反对很多高级的性能,导致开发习惯的割裂,还有泛滥开发者承受不了的响应时长。 laf手把手写一个 laf 运行时首先我列举一下写一个 laf 运行时须要实现哪些货色 包装一个 web 框架解决依赖装置,和网络文件的 import让性能更欠缺,包装更多的 http 申请信息,提供更多的函数运行上下文写更多的 sdk,让你的运行时能够对接其余资源,例如数据库优化 runtime,比方缓存数据,缩小对数据的 io 等提供对云编辑器的反对当初咱们开始入手了,咱们写一个 mini 版的 laf 函数计算运行时,残缺版本的能够去 laf 的仓库看看。 ❝别忘记了三连 star要运行这段代码首先得装置下 express,而后 node 执行上面的代码就行了,laf 的 Node.js 运行时用 vm 模块执行云函数,这样会有不错的安全性。 ...

September 20, 2023 · 2 min · jiezi

关于云计算:如何创建集成-LSP-的-Web-代码编辑器支持多语言

对于一个云开发平台来说,一个好的 Web IDE 能很大水平地进步用户的编码体验,而一个 Web IDE 的一个重要组成部分就是代码编辑器。 目前有着多款 web 上的代码编辑器可供选择,比方 Ace、CodeMirror、Monaco,这三款编辑器的比拟在这篇文章中有着具体的介绍,在此就不作过多赘述。这篇文章咱们抉择 Monaco Editor 来对 LSP 进行集成,从而在实践上可能反对所有的编程语言。 什么是 LSP LSP(Language Server Protocol),也就是语言服务协定,更具体更艰深地说就是定义了在代码编辑器和语言服务器之间的一套标准,从而让本来 m 个编辑器与 n 个编程语言之间的对应关系 变为 m 个编辑器与 LSP 的关系和 n 个编程语言与 LSP 之间的关系, 从而将开发的复杂度由 m*n 降到了 m+n。 除了对编辑器开发者和编程语言开发者敌对,对咱们这种尝试让一个编辑器反对多种语言的开发者也更是敌对,有 vscode 这样的编辑器珠玉在前,便能轻松地依据 vscode 的设计思路实现咱们的需要。 LAF预览在这篇文章中,咱们会开发一个最小最轻量的编辑器 Demo 作为演示,架构非常简单,就是前端创立一个 Monaco Editor,后端创立一个语言服务器,二者之间通过 vscode-ws-jsonrpc 和 WebSocket 服务进行传输,理论实现的 Web 端 Python 编辑器如下: Server 端开发在 Web 端能接入语言服务前,咱们得先在服务端运行一个语言服务,https://langserver.org/ 这个网站收录了许多语言服务的实现, 这里咱们抉择微软官网保护的 pyright 提供语言服务 首先创立 Express 服务器,配置动态文件服务,应用 fileURLToPath 和 dirname 来获取以后文件的门路,并将服务设置在 30000 端口 ...

September 20, 2023 · 3 min · jiezi

关于云计算:Laf-中大猫谱让每一只流浪猫都有家

猫谱简介中大猫谱是一款辅助校园漂泊猫救助的开源小程序我的项目,服务端应用 Laf 云开发。 猫谱次要性能包含:猫咪信息注销、照片分享、拍照识猫、布告和留言等。我的项目创建的初衷,是解决校园猫猫交换群里的一个常见问题:问猫猫是谁。 如果,把猫猫的信息和照片都整顿到小程序上,就能够筛选“宿舍楼”和“橘猫”,疾速定位到几只小猫的资料卡。再比对照片和眼前的猫猫,根本就能够确定它的名字,并看到它的相干材料。 2019年春天,在这个简略的需要驱动下,猫谱上线了。在热心猫友和笃行志愿者服务队的帮忙下,猫猫材料日渐丰盛。至今4年多的工夫里,性能逐步减少,参加开发和信息保护的同学也越来越多。 甚至,猫谱成为了不少同学的精力寄托,让咱们更有能源去更新保护。一位同学领养了名为“浅脸”的猫猫,在浅脸生病逝世后的一年里,每隔两天就会到猫谱上给浅脸留言、上传旧照片。 2021年初,我的项目代码改为开源,制作部署教程,并逐步推广到数十所高校或救助组织。在这些高校的猫谱上,不仅注销有小猫小狗,还有乌龟、天鹅等各种神奇校园动物。 目前,无需编程根底,只须要半天左右即可实现猫谱我的项目的部署+上线全流程。 laf性能介绍猫猫信息保护针对问猫需要,咱们的解决方案是保护猫猫信息和相片。在猫谱上,由管理员负责保护精确的信息;普通用户能够上传猫猫近照,由管理员审核后展现到猫猫相册中。 围绕这个外围性能,咱们还开发了许多后盾治理小性能,让管理员无需接触代码,包含: 照片批量审核、缩略图生成校区/区域/花色治理猫猫关系治理管理员等级治理拍照识猫随着猫猫数量的增多,手动筛选的效率略显有余。咱们实现了一套基于 yolov5+CNN 的图像识猫模型,让用户顺手拍一张照片,就能辨认出猫猫是谁。 目前,识猫性能作为猫谱部署的一项可选性能,其代码也曾经开源。它会用猫谱里的猫猫照片进行训练,须要更多的急躁追随教程进行部署。咱们也在摸索将人工智能模型部署到 Laf 平台,升高部署难度和老本,心愿有相似想法的敌人一起交换。 布告、便当贴和反馈与用户交换方面,猫谱实现了三个渠道: 布告板:由管理员公布(猫谱 → 用户)便当贴墙:由用户公布,管理员审核(用户 → 猫猫)信息反馈:由用户发送,管理员后盾回复(用户 → 猫谱) 猫猫关系、徽章和榜单为减少更多的可玩性,猫谱还新增了几个乏味的性能: 猫猫关系:将猫际关系登记在册,除血缘关系外,还有各种盘根错节的情感纠纷徽章零碎:用户通过登录/看广告获取徽章,赠送给可爱的猫猫榜单:包含用户拍照数量榜,照片点赞榜,猫猫徽章收集榜 为什么是 Laf初识机缘2022年秋季,受微信云开发定价批改的影响,单个猫谱的部署老本从每月几毛钱,直线回升到50+元。过后,猫谱部署交换群里已有近百名成员,数十所高校的猫谱已在线上运行。昂扬的老本让本来就顾此失彼的漂泊救助个人难以承当,关停小程序的状况逐步增多。 为应答这种状况,猫谱团队从两个方面进行优化: 优化 API 调用量,升高云开发使用量老本调研适合的迁徙平台此时,处在开发初期的 Laf 平台进入了咱们的视线: 学习成本低:相熟的 ServerLess 的云开发模式,函数+数据表+存储性能组合开源保障:开源的源码库反对公有部署,既能作为兜底,又能满足自有服务器的需要无冷启动:Laf 常驻内存的计划人造就没有冷启动问题,调用十分迅速计费清晰正当:从最后的收费试用,到现在的灵便配置免费,部署老本可承受敌对的开源社区:有任何问题能够反馈到论坛和微信群,会有社群成员或官网团队出手帮忙解决迁徙过程Laf 0.8版本,咱们着手迁徙猫谱我的项目,大抵能够分为三个阶段: 小程序端同时兼容两套云开发,应用公有部署 Laf,上线测试更新预览版 Release,整顿迁徙文档,在小范畴内测Laf 1.0 上线后,全面重写我的项目文档,齐全切换至 Laf 平台在整个迁徙的过程中,Laf 团队的敌人踊跃提供技术支持、及时解决需要 issue,帮忙猫谱团队在短时间内顺利迁徙。猫谱团队将迁徙过程整顿出迁徙教程、数据导入和数据导出的工具,帮忙数十所高校的小程序也实现了迁徙。 单干2023年冬季,咱们与 Laf 团队的敌人,就高校代金券计划,从技术和施行方面探讨了多个想法。最终,咱们以一种简略的形式进行小范畴尝试,即“猫谱高校代金券打算”。 具体的,Laf 团队生成一批代金券,交由猫谱团队进行发放。猫谱团队承受各高校的小程序运营者申请,审核通过后发放代金券,足以收费应用最低配的 Laf 实例。 在申请过程中,咱们设立了几个小小的门槛:猫谱上累积猫猫10+只,累计用户100+。咱们置信,对于真心想经营小程序的团队,这些条件都很容易达成,薅羊毛的则会望而生畏。 短短2个月内,已有来自全国14所高校的同学实现了申请,让更多的同学从实际上理解到 Laf 平台。其中,大多数运营者齐全不懂代码编程,也同样实现了我的项目部署,可见 Laf 平台的易用性十分优良。 小程序来自高校HUT喵世界湖南工业**喵汪图鉴湖南**老和山猫咪图鉴浙江**小理猫谱广州理工**猫猫南方工北方工业**大黄的山竹铺子华南师范**崴喵猫谱山东**ZUEL汪汪图鉴中南财经政法**火大猫谱火箭军工程**SUFE的招财喵谱上海财经**技大喵喵屋深圳技术**南华猫谱南华**成师猫咪家谱成都师范**交医喵屋图鉴上海交通大学医**laf结语接下来,猫谱我的项目将持续基于 Laf 云开发平台,新增更多实用的、乏味的性能。欢送感兴趣的小伙伴退出开发,提供你的想法和创意。 ...

September 20, 2023 · 1 min · jiezi

关于云计算:浪潮云连续-2-年入选-Gartner-中国云基础设施和平台服务市场标杆厂商

实力入选 近日,国内权威IT钻研与征询参谋机构Gartner正式公布《Market Guide for Cloud Infrastructure and Platform Services, China》报告,浪潮云凭借在分布式云、行业云、私有云、混合云等多个畛域的突出表现,间断2年作为标杆厂商入选报告。 Gartner该份报告钻研的次要范畴波及私有云、行业云、分布式云以及混合云等市场牵引力较强且用户最为关注的畛域,通过选取中国最具代表性的云服务厂商进行调研,以期为决策者提供市场指南性参考。 Gartner认为,CIPS市场正在见证其客户群的多元化趋势,从互联网行业到传统行业,进步业务弹性和反对业务增长是推动数字化转型工作的要害,而同时客户需要也在从云服务购买者向企业端到端云采纳服务请求者产生转变,从关注技术创新转向更关注业务反对和业务价值。 作为中国当先的云服务运营商,浪潮云致力于成为高品质云服务提供商,具备“业余、生态、可信赖”三大外围劣势。为用户提供云网边端交融、云数智交融、建管运交融的全栈云服务,构建零信赖的云数平安体系,打造新一代混合云。携手合作伙伴,共建云舟联盟生态,撑持政府、企业数字化转型,助力数字中国建设。 在分布式云实际方面,浪潮云在中国率先定义分布式云概念,创新性地布局全国算力网络基础设施体系,实现了大规模算力调度,便捷地将算力输入进工厂、进社区、进农村,以算力服务的形式散发到用户身边,实现无处不在的计算。 截止目前,浪潮云已在全国布局7个外围云核心,113个区域云核心,502个Region,构建了全国最大的分布式云对立经营治理服务体系,在政务应用领域,服务245个省市政府、2万左右各级政府部门、6万余个政企利用零碎;在企业行业畛域,撑持交通、能源、教育、医疗、金融、广电等30余行业、128万企业用户。 浪潮数据云OpsCenter同时,面对各行业的不同倒退阶段和差异化需要,浪潮云公布新一代行业云MEP策略,基于浪潮分布式云IaaS、PaaS、DaaS、SaaS间断体服务,提供可组装式的、满足不同垂直行业独特且一直倒退的性能、合规和技术需要的新一代行业云全栈云服务,并基于低代码平台提供灵便、便捷、定制化的能力,助力用户疾速转型。 而在数据浪潮磅礴而来的明天,浪潮云围绕“无处不在的计算”,从新因素、新产品、新模式三个方面登程,推出数据云,提供撑持可信数据空间的分布式数据基础设施服务,并正式公布了数据云业务策略——百城千业打算,通过百亿投入打造联结经营模式,依靠数据云联盟继续加大生态单干,打算在十八个月内实现浪潮数据云在100个城市的落地笼罩,让更多的场景化翻新与价值发明从智慧政务、城市治理、产业智能等各个领域不断涌现。 目前,浪潮云的“数据枢纽”正在锋芒毕露,已在全国布局了237个数据云节点,并依靠数据云OpsCenter实时响应客户的“数采、数算、数用、数安”需要,为用户提供稳固、平安、高效的一站式数字化经营底座。 将来,浪潮云将会帮助各级政企用户,为进一步激活数据因素潜能,培养数据因素市场、开释数据因素价值提供动能。在推动行业数字化转型的路线上,浪潮云将继续保持以全面当先的翻新实力和深厚的行业积攒,赋能行业中的更多翻新场景,与千行百业扬帆数字蓝海,以数据之力减速数字经济高质量倒退。

September 20, 2023 · 1 min · jiezi

关于云计算:Fluent-Operator-250-发布新增多个插件

日前,Fluent Operator 公布了 v2.5.0。 Fluent Operator v2.5.0 新增 11 个 features, 其中 Fluent Bit 新增反对 7 个插件, Fluentd 新增反对 1 个插件。此外,对 Fluent Operator 也进行了加强,调整了默认参数,以便适应更多场景,并对 helm chart 进行了优化,用户能够更不便的进行装置,并修复了局部 bug。 以下将重点介绍: Fluent Bit 减少多个插件1. Prometheus Exporter 插件Fluent Bit 新增了输入插件 Prometheus Exporter,Prometheus Exporter 输入插件容许您从 Fluent Bit 中获取 metrics 并裸露它们,以便 prometheus 实例能够抓取它们。 相干 PR:https://github.com/fluent/fluent-operator/pull/840。 2. Forward 插件Fluent Bit 新增了输出插件 Forward,Forward 是 Fluent Bit 和 Fluentd 用于在对等设施之间路由音讯的协定。应用该插件能够监听 Forward 音讯的输出。 相干 PR:https://github.com/fluent/fluent-operator/pull/843。 3. GELF 插件Fluent Bit 新增了输入插件 GELF,GELF 是 Graylog 扩大日志格局。GELF 输入插件容许应用 TLS、TCP 或 UDP 协定将 GELF 格局的日志间接发送到 Graylog 输出端。 ...

September 19, 2023 · 2 min · jiezi

关于云计算:零代码使用-Dify-和-Laf-两分钟接入企业微信-AI-机器人

Dify 容许创立 AI 利用,并提供二次开发的能力。这里我将演示创立一个法律问答助手的 AI 利用,称作“知法”。在本篇教程中,我将领导你为“知法”接入企业微信。 laf前置筹备企业微信的管理员权限一个 Dify的帐号一个 Laf云的帐号(可选)一个 OpenAI 的 API Key。如果没有,能够应用 Dify 收费提供的 200 次调用机会用于测试。(可选)在电脑上新建一个 env.txt 的文件,将上面内容复制到 env.txt 中。在接下来的教程中,咱们会一步步把相干的信息填入这个文件。须要保存信息的步骤会高亮显示。 WXWORK_TOKEN=""WXWORK_AESKEY=""WXWORK_CORPID=""WXWORK_AGENTID=""WXWORK_CORPSECRET=""DIFY_APPTOKEN=""在 Dify 上制作利用这一章节将会介绍如何创立一个法律常识的数据集,并将数据集和利用关联起来。 搭建法律常识数据集❝随时查看文档中对于搭建数据集的更多操作:数据集治理 为了让“知法”理解到更多的上下文,咱们须要创立一个法律常识的数据库。 导入文档:从电脑上导入法律常识的 PDF 文档。 文本分段和荡涤:上传的文本须要通过二次加工,能力被大语言模型了解。这里咱们不须要关注具体的实现逻辑,间接抉择主动分段即可,而后点击“保留并解决”。 文本嵌入:大概 30s 工夫,数据集就创立胜利了。你能够随时回来向数据库里增加更多文件。 搭建的利用❝随时查看文档中对于创立利用的更多操作 创立利用创立利用:依据图中的批示,创立一个对话型利用,并命名为“知法”。 关联数据集:在“提醒词编排”页,在“上下文”模块中增加抉择刚刚创立的数据集。 公布模型:实现关联数据集后,点击页面右上角的“公布”,使模型失效。 获取 API 拜访密钥。在“拜访 API”页面,创立一个 API 密钥并复制保留为DIFY_APPTOKEN。请留神不要把密钥透露给任何人,免得造成财产损失。 创立企业微信利用记录企业信息:进入企业微信治理后盾-我的企业,记录这里的企业 ID 为 WXWORK_CORPID 创立企业微信利用:进入利用治理页面,点击【创立利用】进入创立页面,填写利用信息后点击【创立利用】。如果曾经有现成的利用,能够跳过此步骤。 记录企业微信利用信息:在利用治理页面点击刚刚创立好的利用,进入利用详情页面。记录这里的 AgentId 和 Secret(须要点击获取按钮,在企业微信聊天窗口外面获取),别离为WXWORK_AGENTID和WXWORK_CORPSECRET。 企业微信利用接管信息:在利用详情页面,接管音讯处点击【设置 API 接管】。 在 API 接管音讯页面,点一下两个【随机获取】按钮,它会主动生成一个 Token 和 EncodingAESKey,咱们别离记为 WXWORK_TOKEN 和 WXWORK_AESKEY。留神,不要关掉这个页面,Laf 侧配置结束后咱们再来填写 URL。 ...

September 19, 2023 · 3 min · jiezi

关于云计算:三分钟使用Google-Bard模型搭建实时聊天页面

Google Bard 中文版曾经正式上线 Bard 是 Google AI 开发的大型语言模型 (LLM) 聊天机器人,尽管 Google Bard 相比于 ChatGPT、Claude、文心一言语言了解,代码解释还存在差距 然而 Bard 上新了图片解析性能,也是几个模型亮点性能 明天带大家调用 Bard-api 接口,搭建实时聊天页面 Bard-api接口搭建 来到 laf.dev 进入函数市场,抉择以后函数模板 获取Bard的cookie装置 Cookie-Editor https://cookie-editor.cgagnier.ca/ 扩大插件。 拜访 https://bard.google.com 并登录。 单击扩大图标并复制以结尾的 cookie。 获取Bard的cookie加到环境变量中 测试后能够失去response返回的数据 ## 接入前端 间接应用这个我的项目chatGPTdemo(https://github.com/lifu963/chatgpt-demo) 批改我的项目中 src/views/chat/index.vue 的这两行代码别离是 117 行 和 236 行:将 url 替换为你方才公布的函数的 url 最初执行npm run build 将生成的dist文件上传到存储中(开启公共读写),最初托管网页 最初能够拜访托管的网页,应用Bard模型进行聊天 对于 LafLaf 是一款为所有开发者打造的集函数、数据库、存储为一体的云开发平台,助你像写博客一样写代码,随时随地公布上线利用!3 分钟上线 ChatGPT 利用! GitHub:https://github.com/labring/laf 官网(国内):https://laf.run ...

September 19, 2023 · 1 min · jiezi

关于云计算:使用-Laf-一周内上线美术狮-AI-绘画小程序

“美术狮 AI 绘画”(以下简称“美术狮”),是咱们小团队的一次尝试,定位是人人都能够上手的,充斥创意的,了解中文和中国文化的图片生成工具。 在欠缺图像模型和论证外围问题之后,咱们开始构建 MVP(最小化可行产品)。MVP 的构建须要: 实现快,开发周期较短模式轻,产品重点突出成本低,只投入较少的人力、物力这些指标,对于咱们而言都是不小的挑战。得益于 Laf 的应用,从开发到第一个版本上线,只用了一周工夫;小程序性能精简、指标清晰;主体服务老本(杭州+新加坡)在 100 元 / 月以内(含有优化空间)。 上面会联合“美术狮”MVP 构建的全过程,和大家交换应用 Laf 这个平台(技术)的思考。 laf技术选型过程函数即服务,是目前咱们对 Laf 范式的思考和了解。也是“美术狮”抉择 Laf 作为服务端的次要因素。 我在 2015 年就接触了“相似”的 BaaS 平台 LeanCloud,并做过两次实际。第一次是对爬取的小红书内容做保护,第二次是给一个中科院的敌人做化学试剂编号的治理。 LeanCloud,偏差于数据库即服务这种范式,对数据增删改查,提供基于数据的丰盛的查问、聚合运算办法是这个范式的外围。 范式无优劣之分,取决于须要解决的问题场景、复杂度和规模。对于以数据库为核心的,蕴含简略鉴权的零碎比方 CRM、甚至是 ERP,LeanCloud 都能够很好地适应和匹配。 咱们还尝试和理解过主打实时性的野狗云(已下线),以及起初上线一段时间又被字节跳动下线的轻服务(已下线)。也尝试过跟着教程应用 Firebase。 “美术狮”或者其余的 AI 利用的理论应用场景中,数据库的操作只是一个局部,简单的内容生成逻辑、多平台资源调度、绝对密集的计算是这类场景中的重心。 小程序自身,尽管运行在客户端内领有肯定的计算能力,然而把它看作一个加强的 BS 构造通用性会更好,咱们须要把大量地生成逻辑和计算解决流程剥离进去放在服务端由多平台协同实现;同时为了减小散发包的大小,当须要蕴含其余 SDK 文件时,咱们也会分外审慎。 因而,数据库即服务,并不能很好地解决咱们所面临的问题,可能并不是 AICG 利用优先会抉择的范式。 腾讯云函数(Serverless)接下来尝试了应用腾讯云函数,能满足了咱们的一部分需要。 然而对于单次计算绝对密集,调用资源繁多,访问量不稳固的利用而言。冷启动是可怕的,服务被冷却后,再一次被拉起来须要较长地等待时间。在并发和访问量不大时,云函数被频繁地冷却,对用户体验挫伤较大,较为致命。这个对于每一个从 0 到 1 的独立开发者可能都是个头疼的问题。 对存储桶、数据库,腾讯云函数并没有做深度地整合,独自配置云数据库、存储桶,会在 MVP 阶段减少不必要的工夫和费用的开销。 微信云开发微信云开发能够通过微信开发者工具一键开明。在“美术狮”迁徙的 Laf 之前,咱们在微信云开发中做了大量的尝试。 放弃应用微信云开发,次要是上面一些起因: 根底库 Node 版本过低,对第三方包反对不好;IDE 开发体验不好,写代码像是看 PPT,本地调试不够不便直观;计费零碎诡异,尽管咱们是腾讯云的老用户,小程序无奈在原有账户中开明服务,必须以小程序的维度新开通账户,付费和治理保护不不便;对跨区域、跨服务反对不佳;冷启动提早仍然显著。通过内置的鉴权机制疾速获取 openid,是微信云开发声称的劣势。 ...

September 19, 2023 · 2 min · jiezi

关于云计算:3-分钟把高质量-AI-知识库-FastGPT-装进企业微信

FastGPT V4 曾经上线,间接冲上 GitHub Trending。 如果你还不晓得 FastGPT 是什么,能够先去看看作者的介绍 应用 FastGPT 构建高质量 AI 知识库十分多的企业都有把 AI 知识库装进企业微信的需要,奈何企业微信限度太多,不是 IP 地址不可信就是须要绑定本人认证企业的域名,Laf 通过降级迭代后完满的解决了这两个问题,当初就让咱们一起把 FastGPT 的知识库装进企业微信吧~ laf创立云函数首先咱们到 laf.dev 中找到 FastGPT 接入企业微信模板,把这个函数利用到你的利用中。 ❝这里肯定用 laf.dev(海外版),而不是 laf.run(国内版)。 云函数增加到利用之后,咱们关上环境变量会发现多了一堆空的变量,咱们接下来的工作就是寻找到这些变量对应的值。 ❝代码中有两处可能须要更改的中央,第一个是私有化部署的用户须要改 47 行的 url ,第二是 40 行的每次返回给企业微信的字数,企业微信对返回字数有限度,所以这个 maxLength 是截断的字数数量。laf企业微信配置登陆到企业微信官网,在利用治理中创立一个利用。 创立完后到利用详情中,在这里获取到 AgentId 和 Secret,填写到咱们的环境变量中,对应的是 WXWORK_AGENTID 和 WXWORK_CORPSECRET 。 ❝记得点右下角「更新」来保留环境变量。持续往下翻找到接管音讯->设置API接管,这里 URL 填写刚刚创立的那个云函数地址,并且随机获取 Token 和 EncodingAESKey ,填写到环境变量 WXWORK_TOKEN 和 WXWORK_AESKEY 中。 ❝认证过的企业会报错提醒:域名主体校验未通过。解决办法是去 laf 右下角的设置里找到域名设置,把本人企业备案过的域名绑上(这里须要阿里云备案),意思就是认证过的企业只能绑定本人企业备案的 URL。 保留之后咱们回到利用详情持续往下翻,找到企业可信IP,在这里增加上以下 IP 后点击确定。 ...

September 19, 2023 · 1 min · jiezi

关于云计算:三步免费接入-Claude-20支持账号池

Claude 2.0 曾经公布了一段时间,通过我的非暴力测试,比 ChatGPT 3.5 的能力是要强的,有更弱小的上下文 100k,相当于 10 万字的上下文记忆,非常适合解决长文档和大的代码段,虽说有些方面略逊色 ChatGPT 4.0 ,然而架不住他收费啊。 还记得上次咱们用 Sealos 接入 Claude 2.0 的计划吗? 这个计划有两个遗留问题: 没有账号池一个账号只能应用一个 Conversation明天就让咱们解决这两个问题,话不多说让咱们开始操作。 laf筹备工作首先须要登陆到 claude.ai(这里须要美国或英国新加坡日本之类的 IP 来拜访) 登陆进去之后按下 F12 在 Cookie 里找到你的 sessionKye 把值复制进去。 而后登陆到 laf.dev (这里肯定要 laf.dev,laf.run 是不行的)创立一个名为 key 的汇合,把你刚刚拿到的 sessionKye 的值保留到 value 字段。 操作完当前你的汇合应该像下图这样。 这里解释下,claude 新建会话的次数有限度,具体一个账号每天多少不分明,所以这里做了轮询,你能够多注册几个账号把 key 保留到这个汇合里,当然如果本人用一个也够了。 ❝这里的汇合名,和字段名肯定要依照我的来,不然就查不到 key 了laf云函数当咱们把 key 保留好当前来到函数市场,找到收费接入 Claude 2.0 函数模板。 找到之后点进去,而后应用模板到你本人的利用中。 来到云函数页面,找到利用进来的 claude-api 函数,像我这样调试一下。 看到运行后果就代表接口调试通了,咱们再去整个前端对接一下。 laf前端这里我提供了一个简略的前端模板 claude2,代https://github.com/zuoFeng59556/claude2码拉下来之后只须要批改 src/views/chat/index.vue 文件中的第十八行,URL 改成你本人的云函数地址即可。 ...

September 19, 2023 · 1 min · jiezi

关于云计算:在-Laf-中玩转-OpenAI-原生接口

这是之前在 Laf 中疾速搭建 ChatGPT 的例子「优化版 流式更快」三分钟搭建本人的ChatGPT。 外面用到的 laf 模板是这样的: import cloud from '@lafjs/cloud'const apiKey = 'your apikey'export default async function (ctx: FunctionContext) { const { ChatGPTAPI } = await import('chatgpt') const { body, response } = ctx // get chatgpt api let api = cloud.shared.get('api') if (!api) { api = new ChatGPTAPI({ apiKey }) cloud.shared.set('api', api) } // set stream response type response.setHeader('Content-Type', 'application/octet-stream'); // send message const res = await api.sendMessage(body.message, { onProgress: (partialResponse) => { if (partialResponse?.delta != undefined) response.write(partialResponse.delta) }, parentMessageId: body.parentMessageId || '' }) response.end("--!" + res.id)}这里用到了一个 nodejs 包:const { ChatGPTAPI } = await import('chatgpt');但它实际上并不是 openAI 的官网包。(这里附上它的我的项目地址:chatgpt-api,感兴趣的同学能够理解一下) ...

September 19, 2023 · 5 min · jiezi

关于云计算:Laf-v100beta10-正式发布云函数市场闪亮登场

Laf v1.0.0-beta.10 正式公布,此版本正式反对自定义云函数域名,能够在企业微信和公众号中接入带有本人知识库的 GPT。此外新增了云函数市场,大家不再须要反复造轮子,开箱即用! laf更新速览1.反对自定义云函数域名,能够在企业微信和公众号中接入带有本人知识库的 GPT。 2.邀请送 Laf 余额。想白嫖Laf ?简略!邀请一位同学送十块大洋(余额不反对提现哦~)快叫上你的亲朋好友,楼下的老奶奶来一起玩转 Laf 。 3.云函数变更记录,回收站,妈妈再也不必放心我误删云函数了。 4.用户核心,可批改头像和用户名。 5.全新的费用核心,更具体的展现账单,更加有利于管制老本。 laf新性能云函数市场Laf 作为一个疾速开发平台,仅仅是解决掉配置环境的懊恼还不够快,本次更新咱们上线了一个能够让开发速度再次翻倍的性能:云函数市场! 咱们点击左上角的函数市场,外面有各种各样的函数模板,咱们只须要点击一下利用模板云函数间接复制到你的利用中,防止反复造轮子! 当然,除了应用他人的模板以外,每个人都能够在函数市场中奉献本人的模板,点击「我的模板」而后新建模板即可分享进来。 ❝稍后咱们将出台一系列征集函数模板流动,奉献有价值模板的开发者可取得精美周边或 Laf 代金券哦~自定义云函数域名之前咱们利用 Laf+fastGPT 把咱们的数字 CEO 装进了公众号和企业微信,然而鹅厂的货色限度很多,企业微信限度了域名必须是本公司的,公众号也限度域名要非法,导致很多同学没能把自定义知识库的 GPT 接入胜利,当初自定义域名来了! ❝先给大家展现一下咱们的数字 CEO 好了首先咱们登陆到 Laf 点击左下角「设置」,「域名设置」。 而后去域名的 DNS 解析,增加 CNAME 记录,而后绑定域名即可,过程中须要期待解析实现哦~ 邀请送 Laf 余额左下角头像那里找到「用户核心」而后 「我的推广」,复制这个链接发送给你的好敌人,等他注册了 Laf 你立马播种十块 Laf 币,大好的白嫖机会! 云函数变更记录,回收站在云函数的右上和右下侧别离增加了两个性能,轻松的治理代码版本,找回误删的云函数! 用户核心反对批改用户名和头像,这样在云函数市场中奉献优良云函数时,就能留下本人帅气的头像和用户名啦。 全新的费用核心依据日期来统计收入和充值,并提供老本剖析曲线图。 具体的账单明细和充值记录。 laf更新日志无关此版本中蕴含的所有新性能和谬误修复的残缺列表,请参见 Release Notes:https://github.com/labring/laf/releases/tag/v1.0.0-beta.10 对于 LafLaf 是一款为所有开发者打造的集函数、数据库、存储为一体的云开发平台,助你像写博客一样写代码,随时随地公布上线利用!3 分钟上线 ChatGPT 利用! GitHub:https://github.com/labring/laf 官网(国内):https://laf.run ...

September 19, 2023 · 1 min · jiezi

关于云计算:我用-Laf-给女博士写了个-ChatGPT如今她跟我已经领完证了

序言嗨你好,我是左风,还记得我吗?上次我用 Laf 写了一个 GPT 的 Demo 后光速入职了 Laf ,就是这篇文章:我用 Laf 三分钟写个 ChatGPT,Laf 创始人:今天来下班! 当初后续来了,这个我的项目不仅仅为我带来了新的就业机会,而且还让我遇见了“她”,能够了解为一个我的项目恋情事业双丰收,这应该是我这辈子最胜利的开源我的项目了。 相遇故事结尾有点偶尔又有点再相熟不过,起因就是那天 OpenAI 禁了香港 ip 段的拜访,在网上漫无目的搜查代替办法的她,被我文章的题目:我用 Laf 三分钟写个 ChatGPT,Laf 创始人:今天来下班! 所吸引,于是怅然克隆了我的仓库,尝试进行自我部署。后果因为火候不到位,出了点问题,于是增加了我 GitHub 主页上的微信,向我进行了征询: 在我粗疏急躁的领导下,粗枝大叶的她搭建胜利了。兴奋地尝试了几个来回后,她又抛出了新的问题,她想搭建这个服务给他爸妈亲朋好友用,然而又怕产生大规模的流传被白嫖。我说,那还不简略?加个口令验证就好! 她说: 我说:进去加一个输入框,口令输出对了就持续游玩,错了就不给进呗。后果没想到,她不是计算机系出身的,我认为很容易的货色在她看来难于登天。 她说: 她下午要跟老板汇报,只能匆匆与我道别。我下了班之后给她发消息:给我一首歌的工夫。 她说:好。 于是我就用一首歌的工夫帮她把这个口令验证加了下来,只须要她再拉取一次更新部署下来就能够实现。后果她又面露难色地示意早晨要监考,没空及时把我刚写好的更新部署下来。我问她:你到底是什么工作的,怎么一会要给老板汇报一会又要监考? 那边传来了回复:我是在读博士生啊,咱们管导师叫老板,做了课程的助教就须要监考啊。 我说:你是我朋友圈的第一个博士生。 于是咱们的话匣子就关上了。她兴奋地给我分享了她之前本人折腾开发微信小程序,写了个前端,后端又对不上;她说她对开发始终很感兴趣,奈何身边的计算机系同学全是搞钻研的,正苦于无人交换。我说,这个简略,咱们俩能够角色调换。聊到这里的时候,我仍然惯性思维地认为我在跟一位同性交换,直到我点开了她的朋友圈: 等等? 妹子? 我的 KTV 忽然烧了。 相识在认真查阅了她的朋友圈之后,我惊喜地发现她最近两条动静的内容都跟我过来流动的地点有所重叠。一条是来杭州游览,一条是在我以前公司的左近骑车。于是咱们又更进一步地聊了些有的没的。我跟她说我喜爱健身骑车打拳,还买了个 GoPro 记录生存。屏幕对面传来惊叹:我也喜爱骑车!我也前一阵子刚好在钻研要不要买个 GoPro! 晓得了她在香港读博之后,我开玩笑地跟她说让她请我在香港吃个饭。她说:简略。 我哈哈大笑,我说你完了,我真的可能会去。那边依然的回复依然是不变的激情。我说:开玩笑的啦,我次要是想去骑个大帽山。 对面诧异得好像瞪大了眼睛:大帽山还能骑上去? 我说:能,我在致力了。 原本认为这个话题就此这样沉甸甸地完结,没想到在她回香港之后的第二天,她就给了我一个惊喜: 我问:你当初正在骑车? 她说:是啊,听你说大帽山很难骑。我不服输,我就做好攻略本人来了。 后果那天大帽山的坡度之大远超她的设想,她没带够水,平安起见她没登顶就回撤了。 我起初才晓得,她是一个路痴,基本分不清东南西北,二十公里的路手拿着导航也愣是硬生生地转了三十公里多走了一半的弯路才到;她的骑行教训也并不丰盛,连山地车换挡都不会就敢一人一车猛蹬大帽山;她心里始终记着我想骑大帽山这件事,急着帮我去探路,所以忘了香港的太阳有多毒,没带任何防护配备就出门了,两只白皙的手晒到通红。 然而她很开心。她为了心里重要的人,重走了一趟她以前就爬上去过的大帽山,为我来香港挑战大帽山又削减了一份松软的信念和筹备,她十分满足。 我也是起初才晓得,在咱们相遇的那个早晨,我跟她说我喜爱健身打拳骑车,我厌恶烟酒,厌恶寒暄,喜爱回家吃饭。 这三点曾经牢牢地将她锁住,让她意识到我是对的人,咱们不仅能够在一起,甚至还能够结婚了。 起初咱们果然结婚了。 她始终就是一个这样默默把我的所有牢牢记在心里,并且言出必行的人。在咱们刚开始聊天的时候,我为了找话说,已经给她拍过一个我感觉特地长的电梯。她说:我还见过更长的,下次拍给你看。 我原本认为这话她说了就忘了,后果几个月后,她有一次出门吃饭,为了给我拍那个她见过的最长的电梯特意跑了一趟,还各种视角的照片视频拍了一大堆,就是为了让我身临其境地感触这电梯有多长。我说:你好有心啊。我就喜爱这样的,和我一样靠谱。 ...

September 19, 2023 · 1 min · jiezi

关于云计算:30-秒内使用-Laf-将文本转换为萝莉音并大声朗诵

laf一键创立云函数首先关上你的 Laf 在创立云函数这里看到举荐模板。 没错就是函数模板,如果你点击更多模板就会发现。 哦,我的老天鹅呀快看看这是什么,这就是刚刚出炉的云函数市场,这是个什么概念呢,任何人都能够在这里分享本人的云函数,他人如果想要应用只须要点一下立马同步到你的利用中! 从此辞别三分钟,迎接30秒! 咳咳,回归注释,咱们持续选中这个文字转语音微软版点进去。 到这个页面后找到右上角的应用模板,点它! 而后抉择一下利用确定即可! 而后你会发现的云函数列表中多了三个云函数。 README 这个当作应用文档看,可删除。t 咱们须要用到的工具函数,不必看放那就行。text-to-audio 这个是咱们的外围函数,只须要调用它就行了。❝调用之前先在存储那里创立一个bucket(存储桶)命名 audio 权限为公共读写。 laf一键调用当初咱们依照 README 中的介绍来调用一下看看成果。 ok 搞定,咱们曾经失去了音频文件的 url。 laf配置项云函数 text-to-audio 的第十七行有些参数能够抉择。 voice name 配置不同的声音可选项有: "zh-CN-XiaoxiaoNeural""zh-CN-XiaoyiNeural""zh-CN-YunjianNeural""zh-CN-YunxiNeural""zh-CN-YunxiaNeural""zh-CN-YunyangNeural""zh-CN-liaoning-XiaobeiNeural"❝更多非中文的选项参考 https://speech.platform.bing.com/consumer/speech/synthesize/r...rate pitch 能够配置语速和音高,依据本人需要输出不同值。 写完出工!怎么样有了云函数市场的加持,是不是十分的丝滑,以前须要三分钟的货色当初只须要三十秒~ life is short u need Laf :) 对于 LafLaf 是一款为所有开发者打造的集函数、数据库、存储为一体的云开发平台,助你像写博客一样写代码,随时随地公布上线利用!3 分钟上线 ChatGPT 利用! GitHub:https://github.com/labring/laf 官网(国内):https://laf.run 官网(海内):https://laf.dev 开发者论坛:https://forum.laf.runsealos 以kubernetes为内核的云操作系统发行版,让云原生简略遍及 laf 写代码像写博客一样简略,什么docker kubernetes通通不关怀,我只关怀写业务!

September 19, 2023 · 1 min · jiezi

关于云计算:Laf-实现语音文本相互转换直接让-GPT-开口说话

laf指标本文将用 Laf 实现以下性能: 短文本转音频长文本转音频音频转文本laf筹备工作注册百度智能云进入百度智能云官网进行注册,地址:https://cloud.baidu.com/ 登陆进去之后找到右上角的产品服务-->语音技术。 首先支付一下收费的资源。 ❝点进去会提醒须要认证,间接集体认证一下就能够了。 把这里的语音辨认和语音合成都支付了。 支付完之后咱们到利用列表中来,创立一个利用。 ❝这里只须要输出利用名称和利用面形容即可,其余的选项不必动。 创立实现后咱们失去了一个 API Key 和 Secret Key ,咱们待会要用到。 编写 Laf 云函数咱们须要在 Laf 中创立三个云函数,别离写入以下代码。 函数一 baidu-api ❝这里批改第四行和第五行代码,改成你刚刚创立的利用的 API Key 和 Secret Key。import cloud from '@lafjs/cloud'// 配置百度利用API Key和Secret Keyconst apiKey = 'your api key'const secretKey = 'your secret key'export default async function (ctx: FunctionContext) { const _body = ctx.body; const _query = ctx.query; const _type = _body.type ? _body.type : _query.type; //参数校验 if (!_type) { return resultData(-1, '参数type不能为空!'); } switch (_type) { case 'shortTextToVoice': //短文本转语音 return await shortTextToVoice(_body.param); case 'longTextToVoice': //长文本转语音-创立工作 return await longTextToVoice(_body.param); case 'searchTextToVoice': //长文本转语音-查问工作后果 return await searchTextToVoice(_body.param); case 'createVoiceToText': //音频转写-创立工作 return await createVoiceToText(_body.param); case 'searchVoiceToText': //音频转写-查问工作后果 return await searchVoiceToText(_body.param); default: return resultData(-1, '请查看参数type是否有误!'); }}//短文本转语音async function shortTextToVoice(param) { console.log('shortTextToVoice', param); const _param = param; //参数校验 if (!_param.text) { return resultData(-1, '参数text不能为空!'); } if (_param.text.length > 60) { return resultData(-1, '不能超过60个汉字或者字母数字!'); } const access_token = await getAccessToken(); if (!access_token) { return resultData(-1, 'AccessToken获取失败!'); } try { let _text = _param.text; console.log('shortTextToVoice-->text编码后:', _text); let _cuid = Math.ceil(Math.random() * 1000000000000); let obj = null; await cloud.fetch({ url: 'https://tsn.baidu.com/text2audio', method: 'POST', headers: { 'Content-Type': 'application/x-www-form-urlencoded', 'Accept': '*/*' }, data: { 'tex': _text, //合成的文本,应用UTF-8编码。不超过60个汉字或者字母数字。 'tok': access_token, //开放平台获取到的开发者access_token 'cuid': _cuid, //用户惟一标识,用来计算UV值。倡议填写能辨别用户的机器 MAC 地址或 IMEI 码,长度为60字符以内 'ctp': '1', //客户端类型抉择,web端填写固定值1 'lan': 'zh', //固定值zh。语言选择,目前只有中英文混合模式,填写固定值zh 'spd': _param.spd ? _param.spd : '5', //语速,取值0-15,默认为5中语速 'pit': _param.pit ? _param.pit : '5', //音调,取值0-15,默认为5中语调 'vol': _param.vol ? _param.vol : '5', //音量,取值0-15,默认为5中音量(取值为0时为音量最小值,并非为无声) 'per': _param.per ? _param.per : '1', //根底音库:度小宇=1,度小美=0,度逍遥(根底)=3,度丫丫=4;精品音库:度逍遥(精品)=5003,度小鹿=5118,度博文=106,度小童=110,度小萌=111,度米朵=103,度小娇=5 'aue': _param.aue ? _param.aue : '3' //3为mp3格局(默认);4为pcm-16k;5为pcm-8k;6为wav(内容同pcm-16k); 留神aue=4或者6是语音辨认要求的格局,然而音频内容不是语音辨认要求的自然人发音,所以辨认成果会受影响。 }, responseType: 'stream', }).then(function (res) { let content_type = res.headers['content-type']; if (res.status == 200 && content_type && content_type.toLowerCase().indexOf('audio') > -1) { obj = resultData(0, '胜利!', res.data); } else { obj = resultData(-1, '语音合成失败,err_detail:' + res.data.err_detail); } }).catch(function (err) { console.log('短文本转语音异样!', err.message); obj = resultData(-1, '语音合成异样:' + err.message); }); //语音合成胜利,存储文件 if (obj.code == 0) { let fileName = 'TextToVoice/' + _cuid; let _aue = _param.aue ? _param.aue : '3'; switch (_aue) { case '4': case '5': fileName = fileName + '.pcm'; break; case '6': fileName = fileName + '.wav'; break; default: fileName = fileName + '.mp3'; break; } //调用云函数存储文件 const ret = await cloud.invoke('store-file', { body: { type: 'storeFile', param: { fileName: fileName, fileBody: obj.data, contentType: 'application/octet-stream' } } }); if (ret.code == 0) { obj = resultData(0, '语音合成胜利!', ret.data); } else { obj = resultData(-1, ret.msg); } } return obj; } catch (e) { return resultData(-1, '异样谬误:' + e.message); }}//长文本转语音-创立工作async function longTextToVoice(param) { console.log('longTextToVoice', param); const _param = param; //参数校验 if (!_param.text || _param.text.length == 0) { return resultData(-1, '参数text不能为空!'); } const access_token = await getAccessToken(); if (!access_token) { return resultData(-1, 'AccessToken获取失败!'); } try { let obj = null; await cloud.fetch({ url: 'https://aip.baidubce.com/rpc/2.0/tts/v1/create?access_token=' + access_token, method: 'POST', headers: { 'Content-Type': 'application/json', 'Accept': 'application/json' }, data: { 'text': _param.text, //待合成的文本,须要为UTF-8编码;输出多段文本时,文本间会插入1s长度的空白距离。总字数不超过10万个字符,1个中文字、英文字母、数字或符号均算作1个字符 'format': _param.format ? _param.format : 'mp3-16k', //音频格式:'mp3-16k','mp3-48k','wav','pcm-8k','pcm-16k',默认为mp3-16k 'voice': _param.voice ? _param.voice : 0, //根底音库:度小宇=1,度小美=0,度逍遥(根底)=3,度丫丫=4;精品音库:度逍遥(精品)=5003,度小鹿=5118,度博文=106,度小童=110,度小萌=111,度米朵=103,度小娇=5。默认为度小美 'lang': 'zh', //固定值zh。语言选择,目前只有中英文混合模式,填写固定值zh 'speed': _param.speed ? _param.speed : 5, //语速,取值0-15,默认为5中语速 'pitch': _param.pitch ? _param.pitch : 5, //音调,取值0-15,默认为5中语调 'volume': _param.volume ? _param.volume : 5, //音量,取值0-15,默认为5中音量(取值为0时为音量最小值,并非为无声) 'enable_subtitle': _param.enable_subtitle ? _param.enable_subtitle : '0', //是否开启字幕:取值范畴0, 1, 2,默认为0。0示意不开启字幕,1示意开启句级别字幕,2示意开启词级别字幕 } }).then(function (res) { let d = res.data; if (res.status == 200 && d.task_id) { obj = resultData(0, '长文本转语音胜利!', d); } else { obj = resultData(-1, '长文本转语音失败!' + d.error_msg); } }).catch(function (err) { console.log('长文本转语音异样!', err.message); obj = resultData(-1, '长文本转语音异样:' + err.message); }); return obj; } catch (e) { return resultData(-1, '异样谬误:' + e.message); }}//长文本转语音-查问工作后果async function searchTextToVoice(param) { console.log('searchTextToVoice', param); const _param = param; //参数校验 if (!_param.taskIds || _param.taskIds == 0) { return resultData(-1, '参数taskIds不能为空!'); } const access_token = await getAccessToken(); if (!access_token) { return resultData(-1, 'AccessToken获取失败!'); } try { let obj = null; //长文本转语音-查问工作 await cloud.fetch({ url: 'https://aip.baidubce.com/rpc/2.0/tts/v1/query?access_token=' + access_token, method: 'POST', headers: { 'Content-Type': 'application/json', 'Accept': 'application/json' }, data: { 'task_ids': _param.taskIds, //工作id,举荐一次查问多个工作id,单次最多可查问200个 } }).then(function (res) { let d = res.data; if (res.status == 200 && d.tasks_info) { obj = resultData(0, '长文本转语音-查问胜利!', d.tasks_info); } else { obj = resultData(-1, '长文本转语音-查问失败!' + d.error_msg); } }).catch(function (err) { console.log('长文本转语音-查问异样!', err.message); obj = resultData(-1, '长文本转语音-查问异样:' + err.message); }); return obj; } catch (e) { return resultData(-1, '异样谬误:' + e.message); }}//音频转写-创立工作async function createVoiceToText(param) { console.log('voiceToText->param', param); const _param = param; if (!_param.fileUrl || !_param.fileType || _param.fileType.toLowerCase().indexOf('audio') < 0) { return resultData(-1, '请上传音频文件!'); } if (!_param.fileName) { return resultData(-1, '文件名称不能为空'); } const _format = ['mp3', 'wav', 'pcm', 'm4a', 'amr']; let _fileName = _param.fileName.toLowerCase().split('.'); if (_format.indexOf(_fileName[1]) < 0) { return resultData(-1, '仅反对mp3、wav、pcm、m4a、amr格局的音频文件!'); } const limitSize = 50 * 1024 * 1024; if (!_param.fileSize || _param.fileSize > limitSize) { return resultData(-1, '音频文件大小不能超过50M!'); } const access_token = await getAccessToken(); if (!access_token) { return resultData(-1, 'AccessToken获取失败!'); } try { //文件格式 let fileFormat = _param.fileName.split('.')[1]; let obj = null; await cloud.fetch({ url: 'https://aip.baidubce.com/rpc/2.0/aasr/v1/create?access_token=' + access_token, method: 'POST', headers: { 'Content-Type': 'application/json', 'Accept': 'application/json' }, data: { 'speech_url': _param.fileUrl, //音频url,云端可外网拜访的url链接,音频大小不超过500MB 'format': fileFormat, //音频格式,['mp3', 'wav', 'pcm','m4a','amr']单声道,编码 16bits 位深 'pid': _param && _param.pid ? _param.pid : 80001, //语言类型,[80001(中文语音近场辨认模型极速版), 80006(中文音视频字幕模型,1737(英文模型)] 'rate': 16000 //采样率,[16000] 固定值 } }).then(function (res) { let d = res.data; if (res.status == 200 && d.task_id) { obj = resultData(0, '音频转写胜利!', d); } else { obj = resultData(-1, '音频转写失败!' + d.error_msg); } }).catch(function (err) { console.log('音频转写异样!', err.message); obj = resultData(-1, '音频转写异样:' + err.message); }); return obj; } catch (e) { return resultData(-1, '异样谬误:' + e.message); }}//音频转写-查问工作后果async function searchVoiceToText(param) { console.log('searchVoiceToText', param); const _param = param; //参数校验 if (!_param.taskIds || _param.taskIds.length == 0) { return resultData(-1, '参数taskIds不能为空!'); } const access_token = await getAccessToken(); if (!access_token) { return resultData(-1, 'AccessToken获取失败!'); } try { let obj = null; //音频转写-查问工作 await cloud.fetch({ url: 'https://aip.baidubce.com/rpc/2.0/aasr/v1/query?access_token=' + access_token, method: 'POST', headers: { 'Content-Type': 'application/json', 'Accept': 'application/json' }, data: { 'task_ids': _param.taskIds, //工作id,举荐一次查问多个工作id,单次最多可查问200个 } }).then(function (res) { let d = res.data; if (res.status == 200 && d.tasks_info) { obj = resultData(0, '音频转写-查问胜利!', d.tasks_info); } else { obj = resultData(-1, '音频转写-查问失败!' + d.error_msg); } }).catch(function (err) { console.log('音频转写-查问异样!', err.message); obj = resultData(-1, '音频转写-查问异样:' + err.message); }); return obj; } catch (e) { return resultData(-1, '异样谬误:' + e.message); }}// 获取AccessTokenasync function getAccessToken() { let access_token = ''; try { await cloud.fetch({ url: 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + apiKey + '&client_secret=' + secretKey, method: 'POST', headers: { 'Content-Type': 'application/json', 'Accept': 'application/json' } }).then(function (res) { let d = res.data; if (res.status == 200 && d.access_token) { access_token = d.access_token; } else { console.log('获取AccessToken失败!' + d.error_msg); } }).catch(function (err) { console.log('获取AccessToken异样!', err.message); }); } catch (e) { console.log('异样谬误:' + e.message); } return access_token;}//返回后果数据function resultData(code = -1, msg = '', data = null) { return { code, msg, data }}函数二 store-fileimport cloud from '@lafjs/cloud'import { GetObjectCommand, S3 } from '@aws-sdk/client-s3';import { getSignedUrl } from '@aws-sdk/s3-request-presigner';//初始化const s3Client = new S3({ endpoint: process.env.OSS_EXTERNAL_ENDPOINT, region: process.env.OSS_REGION, credentials: { accessKeyId: process.env.OSS_ACCESS_KEY, secretAccessKey: process.env.OSS_ACCESS_SECRET }, forcePathStyle: true,})//存储空间名称,不带 Laf 利用 appidconst bucketName = 'store-file'export default async function (ctx: FunctionContext) { const _body = ctx.body; //参数校验 if (!_body.type) { return resultData(-1, '参数type不能为空!'); } switch (_body.type) { case 'storeFile': //存储文件 return await storeFile(_body.param); default: return resultData(-1, '请查看参数type是否有误!'); }}//存储文件async function storeFile(param) { console.log('storeFile', param); const _param = param; //参数校验 if (!_param.fileName || !_param.fileBody || !_param.contentType) { return resultData(-1, '参数fileName、fileBody或contentType不能为空!'); } try { //文件存储 const res = await uploadAppFile(_param.fileName, _param.fileBody, _param.contentType); console.log('文件存储后果:', res) if (res && res.$metadata && res.$metadata.httpStatusCode == 200) { //获取文件存储的绝对路径 // const fileUrl = await getAppFileUrl(_param.fileName); const bucket = getInternalBucketName(); const fileUrl = 'https://' + bucket + '.oss.laf.dev/' + _param.fileName; return resultData(0, '文件存储胜利!', { fileUrl: fileUrl, fileName: _param.fileName }); } return resultData(-1, '文件存储失败!'); } catch (e) { return resultData(-1, '出现异常!', e.message); }}//拼接文件桶名字function getInternalBucketName() { const appid = process.env.APP_ID; return `${appid}-${bucketName}`;}//上传文件async function uploadAppFile(key, body, contentType) { const bucket = getInternalBucketName(); const res = await s3Client .putObject({ Bucket: bucket, Key: key, ContentType: contentType, Body: body, }) return res;}//获取文件 urlasync function getAppFileUrl(key) { const bucket = getInternalBucketName(); const res = await getSignedUrl(s3Client, new GetObjectCommand({ Bucket: bucket, Key: key, })); return res;}//删除文件async function delAppFileUrl(key) { const bucket = getInternalBucketName() const res = await s3Client.deleteObject({ Bucket: bucket, Key: key }); return res;}//返回后果数据function resultData(code = -1, msg = '', data = null) { return { code, msg, data }}函数三 upload-fileimport cloud from '@lafjs/cloud'const fs = require("fs")export default async function (ctx: FunctionContext) { const _body = ctx.body; const _query = ctx.query; const _type = _body.type ? _body.type : _query.type; //参数校验 if (!_type) { return resultData(-1, '参数type不能为空!'); } const _files = ctx.files; switch (_type) { case 'uploadFile': //上传文件 return await uploadFile(_files); default: return resultData(-1, '请查看参数type是否有误!'); }}//上传文件async function uploadFile(files) { console.log('uploadFile->files', files); const _files = files; //参数校验 if (!_files || _files.length == 0) { return resultData(-1, '未上传文件!'); } const fileInfo = _files[0]; if (!fileInfo.filename) { return resultData(-1, '文件名称为空!'); } if (!fileInfo.mimetype) { return resultData(-1, '文件类型为空!'); } try { //获取上传文件的对象 let fileData = await fs.readFileSync(fileInfo.path); let fileName = 'TempFiles/' + fileInfo.filename; //检测文件是否有后缀名,且后缀名和类型是否匹配 let _mimetype = fileInfo.mimetype.split('/'); if (fileInfo.filename.split('.').length < 2 && fileInfo.filename.indexOf(_mimetype[1]) < 0) { //如果上传的图片没有后缀名,则在前面追加类型 if (_mimetype[0] == 'image') { fileName = fileName + '.' + _mimetype[1]; } else { //如果图片没有后缀名,则对立以wav的模式存储 fileInfo.mimetype = 'audio/wave'; fileName = fileName + '.wav'; } } //调用云函数存储文件 const ret = await cloud.invoke('store-file', { body: { type: 'storeFile', param: { fileName: fileName, fileBody: fileData, contentType: fileInfo.mimetype } } }); if (ret.code != 0) { return resultData(-1, ret.msg); } //文件类型 ret.data.fileType = fileInfo.mimetype; //文件大小 ret.data.fileSize = fileInfo.size; return ret; } catch (e) { return resultData(-1, '异样谬误:' + e.message); }}//返回后果数据function resultData(code = -1, msg = '', data = null) { return { code, msg, data }}创立一个 bucket在 Laf 的存储中创立一个名为 store-file 的 bucket 权限给公共读写。 ...

September 18, 2023 · 8 min · jiezi

关于云计算:Laf-上线两个月用户破万开创函数计算新纪元

婴儿出世须要几个月才可能开始学会匍匐,Laf 1.0 公布仅两个月,却曾经稳步前行,用户破万。 ❝咱们的监控跑在 Sealos 云操作系统上,十分丝滑~Sealos 链接:https://cloud.sealos.io 让咱们一起来回顾下这两个月 Laf 经验了哪些成长。 laf配套设施官网国内:https://laf.run 海内:https://laf.dev 在官网你能够 10 秒钟预览 Laf 提供的能力,搞清楚 what how why 不会像以前一样关上就是一个登陆页无从下手。 文档https://doc.laf.run/ 在社区同学退出后,文档曾经从头到尾的更新了一版,老奶奶看了都直拍手说简略。 论坛https://forum.laf.run/ 这里集齐了 Laf 的各种骚操作,开发案例,还有应用中遇到的问题,或者你对 Laf 有更好的倡议也能够在这里向咱们提出哦~ laf外围性能更快的速度通过 Laf 开发组同学的致力,更新环境变量曾经不须要重启利用啦,利用重启和增加依赖速度也大大晋升,更弱小的是在利用重启的过程中不影响云函数的拜访。 更丝滑的编码体验AI 写代码,只须要用文字描述出你的需要,即可生成可用的云函数代码。云函数的互相引入,云函数中间接引入另一个云函数中的 function 或者办法,并且还反对 TypeScript 的提醒,函数互相调用更高效简洁。云函数标签治理,提供了更高效的云函数分类搜寻。文件存储,上传优化成只须要一键,实现了真正的秒级上线。Laf cli + VScode 插件,如果你不喜爱在线IDE,齐全能够应用Laf cli 在本地开发,一键同步云端。暗色模式,来自社区同学的奉献,夜间编码更敌对。更简略正当的免费模式依据配置按小时免费,随时用随时停,停机期间不免费,不会呈现一觉睡醒房子没了的状况。 随时更改配置,依据业务量随时减少或缩小配置。 提供实时的具体账单,让只会加减乘除的小学生也能够算清楚。 laf写在最初首先要感激所有用户对 Laf 的反对与厚爱,咱们肯定会听取用户的声音,更用心的打磨产品,全力以赴为用户提供便捷、高效、牢靠的服务。 而后是开源社区的同学为 Laf 做出了很多重大的奉献,Laf 的成长离不开社区同学的反对,感激他们的无私奉献。 最初是 Laf 开发组的同学日日夜夜的艰辛奋战,你们是最胖的,加油~ 你也想收费接入 GPT4 么?将开下方链接复制到浏览器关上加入流动,直播手把手教你 https://forum.laf.run/d/684 对于 LafLaf 是一款为所有开发者打造的集函数、数据库、存储为一体的云开发平台,助你像写博客一样写代码,随时随地公布上线利用!3 分钟上线 ChatGPT 利用! ...

September 18, 2023 · 1 min · jiezi

关于云计算:Sealos-新功能定时任务上线省钱大杀器

流量顶峰时段资源有余?低流量时段服务器老本过高? 本着好用又省钱的指标,sealos 推出 定时工作 性能,保障稳固的同时降低成本。 Sealos 国内集群:https://cloud.sealos.topSealos 海内集群:https://cloud.sealos.io 性能介绍 一句话介绍:一个定时器,能够用于执行任何你想在特定工夫运行的工作。 定时工作蕴含 3 种类型: 拜访 URL扩缩容 Launchpad执行命令 通过「扩缩容 Launchpad」,能够依据预测的零碎负载,在指定的工夫减少或缩小运行的 App 的资源配额。 通过「执行命令」和「拜访 URL」,能够定期执行某些命令,比方查看利用的衰弱状态、或者生成报告、或者解决数据等等。 上面以「扩缩容 Launchpad」为例,来看看具体的利用场景: 小张经营一个外卖平台,每天中午 11 点-1 点是用餐高峰期,平时订单量较少 1C1G 足矣,但高峰期常常因为资源有余导致卡顿影响成交量,为了解决这个问题,小张只须要设置两个定时工作,每天 11 点时把资源配额晋升到 2C8G,每天 1 点把资源配额在变回 1C1G 即可。小王同学用 Sealos 跑了一个 GPT4 的接口服务,白天调用量十分大,但 0 点-6 点之间根本没有什么调用,小王同样也能够设置两个定时器,在 0 点当前把服务器资源调小,6 点当前复原原样,老本间接减半。总结:对于很多业务来说,失常的流量稳定是可预测的,咱们只须要在流量到来之前筹备好资源,流量走后开释,就能够达到减少稳定性的同时降低成本,只是用传统的形式操作起来比较复杂,当初 Sealos 上只须要点点鼠标即可实现。 预报下一个版本的定时扩缩容将反对暂停重启和实例数量调整,敬请期待! 退出 Sealos 开源社区体验像个人电脑一样简略的云操作系统 官网链接https://sealos.io GitHub 地址https://github.com/labring/sealos 拜访 Sealos 文档https://sealos.io/zh-Hans/docs/Intro ️逛逛论坛https://forum.laf.run/ 对于 SealosSealos 是一款以 Kubernetes 为内核的云操作系统发行版。它以云原生的形式,摈弃了传统的云计算架构,转向以 Kubernetes 为云内核的新架构,使企业可能像应用个人电脑一样简略地应用云。sealos 以kubernetes为内核的云操作系统发行版,让云原生简略遍及 ...

September 18, 2023 · 1 min · jiezi

关于云计算:如何用-Laf-接入一个免费的-AI-模型并获得阿里达摩院大佬的点赞

laf首先咱们介绍一下明天的配角 ClaudeClaude 是最近新凋谢的一款 AI 聊天机器人,是世界上最大的语言模型之一,比之前的一些模型如 GPT-3 要弱小得多,因而 Claude 被认为是 ChatGPT 最无力的竞争对手。Claude 的研发公司是专一人工智能平安和钻研的初创公司 Anthropic,由前 OpenAI 员工独特创建的。往年 3 月份 Anthropic 取得了谷歌 3 亿美元的投资,谷歌也因而取得其 10% 股份。 据官网介绍,Claude 的外围模型经由训练,指标是变得有用、诚恳和有害。此外 Claude 更能了解和承受自然语言,和它对话无需简单的技巧,能够轻松失去具体且易于了解的答案。 与 ChatGPT 等大型语言模型一样,Claude 的利用场景十分宽泛,信息搜寻、内容总结摘要、写作帮助、创意生成、问答、编程这些工作它都能轻松实现。目前 Claude 曾经被利用在多个出名产品中,比方常识笔记工具 Notio AI 就是用 Claude 帮助用户进行智能写作,国外问答社区 Quora 也在本人的 AI 聊天应用程序 Poe 中置入了 Claude。 划重点:Claude 是收费的,至多目前是这样 laf理解完后咱们开始操作第一步:注册Slack❝slack官网地址:https://slack.com/注册时尽量抉择应用 google 的 gmail 邮箱,后续操作的成功率高。不要应用 qq 等国产邮箱。 第二步:创立工作区❝工作区是一个独立的合作环境,每个工作区有本人的渠道(Channels)、成员、权限设置等。不同工作区之间彼此隔离,成员和资源不共享。 至此,工作区就创立好了! 第三步:增加Claude利用到工作区(这一步须要魔法)关上 Slack-Claude 官网网址(请自备梯子): https://www.anthropic.com/claude-in-slack 而后受权增加 Claude 到 Slack。 ...

September 18, 2023 · 2 min · jiezi

关于云计算:云原生周刊Grafana-Beyla-发布-|-2023918

开源我的项目举荐KomiserKomiser 是一个与云无关的开源资源管理器。它与多个云提供商(包含 AWS、Azure、Civo、Digital Ocean、OCI、Linode、腾讯和 Scaleway)集成,构建云资产库存,并帮忙您在资源层面合成老本。 kr8s这是一个用于 Kubernetes 的简略、可扩大的 Python 客户端库,对于曾经晓得如何应用 kubectl 的人来说,感觉十分相熟。 K8sPurger该开源我的项目次要用来在 Kubernetes 中寻找未应用的资源。 文章举荐应用 Fluent Bit 将 Kubernetes 事件作为日志进行监控这篇文章介绍了如何应用 Fluent Bit 来监控 Kubernetes 事件并将其作为日志进行解决。文章中提到,Kubernetes 事件是对集群内产生事件的报告,能够用于调试和理解集群的变动。然而,Kubernetes 事件的保留工夫是无限的。 理解 Pod这篇文章介绍了 Kubernetes 中的 Pod 的概念和重要性。Pods 是容器编排中的根本构建块,它们将容器组合在一起,使应用程序的治理变得更加简略。 KubeSphere 在互联网医疗行业的利用实际这篇文章介绍了 KubeSphere 在互联网医疗行业的利用案例,阐明了 KubeSphere 在提供云原生解决方案方面的劣势,并强调了其在多集群治理、利用治理和权限治理等方面的价值。 云原生动静Grafana 公布了 Grafana BeylaGrafana 公布了 Grafana Beyla,这是一个用于应用程序可观测性的开源 eBPF 自动检测工具。Beyla 可能报告 Linux HTTP/S 和 gRPC 服务的跨度信息和 RED 指标(速率-谬误-持续时间)。无需为插入探针进行代码批改即可实现此操作。 Grafana Beyla 反对用 Go、NodeJS、Python、Rust、Ruby、.NET 等编写的 HTTP 和 HTTPS 服务。对于 Java 应用程序,以后仅反对 HTTP。还反对用 Go 编写的 gRPC 服务。 ...

September 18, 2023 · 1 min · jiezi

关于云计算:转载抖音都在用的画质评估工具你不试试吗

导读本文从抖音团体外部画质评估体系的建设历程着笔,次要分享了画质评测对于业务的重要性、次要利用场景和外部产品的一些典型实际案例。通过分享业务视角遇到的一些问题和咱们的解决思路,心愿能抛砖引玉,为遇到相似困扰的搭档们提供有价值的参考。 画质评估体系建设历程为何评测画质如此重要?咱们通过线上业务大量试验发现,图片画质优劣对点击率、 停留时长等消费类指标有正相干影响,间接影响用户收益指标。因而,建设一套卓有成效的画质评估体系,保障用户的画质体验是十分有必要性的。直观来讲,画质晋升可能为带来更好的观感体验,但 QoE 综合体验也须要思考其余方面如用户设施、网络情况、观看环境等多方面因素,不计成本地晋升画质是否能继续为用户带来 QoE 的收益须要在业务场景中通过谨严的试验计划来验证成果的。在低质图像打压和基于画质的举荐优化等多项业务中的数据分析积攒积淀,咱们获取画质评分与用户主观体验之间的明确关系,数据统计显示用户对不同画质内容的敏感水平有着不同趋势,在中档画质分区间继续晋升画质,用户的 QoE 体验也会显著晋升,但当画质低于或者高于某个阈值时,用户对于画质将变得不再敏感,晋升/升高画质对用户的影响均会升高。<div style="text-align: center">冀望中的画质甜点关系,中段区间的画质晋升会继续带来 QoE 收益</div> <div style="text-align: center"></div> <div style="text-align: center">理论业务场景中,剖析画质与用户均匀观看时长的关系,中高画质能够带来继续的看播收益</div> 下图具体形容了两类典型利用场景下,画质评估体系在业务实际中施展的次要价值: 咱们为何自研画质评估体系?图像服务的最终用户是人类,图像品质评估致力于成为可掂量图像的人眼感知品质需要的主观计算方法。 行业现状主观品质评估:最精确,但费时费力费钱,难以批量利用。例如专家评测、众包测试等。主观评估算法:省时省力可大规模利用,但无论全参/无参考算法与主观评测均存在肯定 GAP,在 UGC 场景,差距会更加显著。业界罕用的有参画质评估算法,次要包含 PSNR、SSIM、VMAF 等 3 种: 痛点难以量化画质加强成果:行业通用指标( PSNR、SSIM、VMAF等)均为有参考画质指标, 次要实用于压缩失真的画质评估,难以量化评估画质加强成果。不适宜 UGC 场景的评分:行业通用指标实用场景存在肯定局限性,其训练数据集次要为 PGC 内容,在 UGC 场景的泛化成果较差。评估维度无限:UGC 场景下,图片内容简单且画质影响因素多样,须要更多维度评估指标用于画质剖析和领导优化。咱们如何建设画质评估体系?依据点播、直播和图片等不同状态业务需要,视频架构多媒体实验室自研的 VQScore 画质体系提供配套最优的全链路画质打分能力,提供异步或实时画质打分数据,为后续转码、加强、举荐策略和大盘监控提供能力反对。具体画质剖析打分能力分为两个局部: 内容分析了解:次要蕴含 ROI 检测、CG 内容检测、人脸检测、内容分类等根底分类和检测的能力,为后续画质打分和加强转码提供细分的维度拆解能力和要害内容辨认能力,实现精密精确的端到端自适应加强转码组合能力画质打分能力:次要蕴含通用清晰度打分算法、美学指标、高阶色调指标、人像画质等评估指标,噪声、块效应、过曝、脏镜头、含糊和伪高清等细分归因指标,以及超分品质、锐化品质和加强组合评估等前解决画质晋升能力评估指标,通用+归因+加强多个维度组合,为不同的业务场景的画质优化需要提供集监控、剖析、策略举荐等全方位画质打分能力通用的画质清晰度评估算法基于多样化多业务场景主观标注样本、开源数据集和多样化失真合成数据集,驱动的轻量 transformer-based 深度学习的计划,在 UGC 视频/图像场景提供更稳固精确的主观清晰度预测能力。在多种业务场景下,依据点播、直播和图片不同状态业务需要,反对最高 4K 分辨率内不同投稿内容的源画质剖析,联合业务属性维度提供深刻细化的画质维度剖析,为自适应转码提供编码优化比照和不同时间尺度的画质监控,为AB试验和版本迭代等业务流程提供无效的 QoE 维度数据,同时也能够为多分辨率/码率档位播放下发提供画质与 QoS 网络、设施等因素组合组合的自适应播放散发优化能力。 抖音画质评估体系有哪些劣势?适用范围宽泛高质量且规模宏大的训练数据集,笼罩 PGC 和 UGC 内容,适用范围宽泛(特地针对 UGC 场景)。算法模型历经亿级 DAU 产品继续打磨优化,泛化能力强。评估维度多元蕴含主观清晰度、公众美学品质等2类综合指标和噪声、亮度等十余类细分指标,反对更多维度、更细粒度地剖析画质问题,便于业务有针对性地进行优化和调整策略。 多业务线上验证收益显著历经抖音、头条、番茄小说等数十个大体量业务线上验证,评估成果牢靠,能无效反对业务进行画质体验晋升,进而带来用户生产指标晋升,收益显著。 算法能力业内当先画质评估体系波及的算法模型已申请多项专利。eg. 一种检测伪高清视频的办法,一种基于多任务孪生神经网络的高阶视频色调品质评估模型,一种三明治视频自适应播放办法等。在 ICME 2021 的「压缩UGC视频品质评估」较量中,火山引擎-多媒体实验室凭借自研的 VQScore 算法斩获无参考视频品质评估(NR-VQA)MOS 赛道第一名。(具体介绍)该较量次要针对 UGC 源视频画质和 H.264/AVC 压缩失真对视频主观画质的影响的钻研。 ...

September 12, 2023 · 1 min · jiezi

关于云计算:使用-Sealos-三分钟打造鉴黄神器我有个大胆的想法……

"NSFW" 是 "Not Safe For Work" 的缩写,通常用于标记那些在工作场合可能不适当的的在线内容。这种内容可能蕴含暴力、色情、血腥、或者其余可能被认为是令人恶感或触犯的资料,最常见的起因……是 18+ 成人内容。在许多在线平台,如 Reddit、Twitter 和其余社区网站上,能够看到 "NSFW" 的标签。 如果在办公场合浏览这些内容,老板看到后必定会让你卷铺盖走人。 秉着「好好学习,天天向上」的精力,咱们应该对本人的产品进行 NSFW 鉴黄,这也是对客户负责,至于什么明步、什么玛利亚、什么结衣,我是相对不意识的,一切都是为了打磨产品! 后方高能预警,非战斗人士请火速撤退…… nsfw 我的项目介绍很快乐向大家介绍咱们的开源 AI 我的项目 NSFW(Not Safe For Work)!NSFW 是一个用于图片鉴黄的我的项目,通过应用深度学习技术,咱们能够疾速、高效地辨认图像中是否蕴含成人内容,从而帮忙爱护网络环境的衰弱和平安。 GitHub 我的项目链接:https://github.com/EthanD4869/nsfw。 咱们为该我的项目提供了一个轻量级的模型,并且提供了 Dockerfile,让用户能够轻松地部署和运行该模型,而无需放心环境适配问题。只需更改 NSFW 所测的图片 URL,即可进行图像鉴黄操作。 NSFW 反对 GPU 减速,使得每秒钟能够解决多张图片,即便是在 CPU 上,咱们也可能以每秒钟 1 张图的速度运行。动动手指,3 分钟内即可实现部署,让您在图像鉴黄方面比较多个鉴黄师。 因为波及图片内容较为敏感,训练数据不不便共享,但咱们提供了一个轻量级的模型,使得用户能够在不泄露隐衷的状况下进行图片鉴黄操作。该我的项目十分实用,帮忙您在爱护网络环境方面施展重要作用。 接下来将会介绍如何在 Sealos 中一键部署 nsfw,并应用 Laf 调用 nfsw 的接口进行鉴黄。 步骤 1:首先进入 Sealos 并关上「利用治理」首先须要进入 Sealos 桌面:https://cloud.sealos.io。 而后在桌面上关上「利用治理」: 步骤 2:新建利用在 「利用治理」 中,点击「新建利用」来创立一个新的利用。 步骤 3:设置启动参数根底配置: 利用名称(自定义:nsfw镜像名 (默认最新版本):ethandai4869/nsfw-authCPU(举荐):0.5 Core内存(举荐):512 MB部署模式: ...

September 12, 2023 · 1 min · jiezi

关于云计算:智能远程监考方案助力企业考试化繁为简

在音视频数字化之旅中,轻装上阵。近年来,在数字化浪潮之下,近程考试频繁成为各畛域热词,各企业也纷纷改革求新,将本来的企业外部考试转移到线上,从而获取更低廉的组考老本,更高的管理效率,以及更优质的考试体验。 新道科技,作为用友团体的重要成员企业,深耕数字教育领域,是国内当先的数智化人才培养服务提供商,每年组织数万人的认证考试,为企业倒退提供人才后备军。不久前,新道科技承接并顺利完成用友公司超23000人次的线上考试认证。 在这大规模线上考试的背地,是新道科技基于阿里云智能近程监考PaaS+解决方案,打造的企业认证考试零碎。 高并发下的「坚如磐石」每年数万人同时在线,企业认证考试的并发流量压力可想而知。 在以往计划中,延时、卡顿、断网等音视频难题经常让考试组织者“如鲠在喉”,如何解脱技术掣肘,从而回归业务逻辑自身? 阿里云智能近程监考计划,给出这个问题的最优解。依靠于阿里云多元交融流媒体传输网络MediaUni,智能近程监考计划可能撑持10万+大规模高并发。 基于此,新道科技集成了阿里云超低延时直播RTS2.0的推拉流能力,在往年的企业认证考试中,稳固撑持单场7000路并发推流以及拉流查看。 在优化延时方面,凭借阿里云寰球3200+边缘节点和智能调度零碎,新道科技企业认证考试零碎,为考生就近选择网络节点接入,并联合动静网络门路规划系统,择优选择网络传输门路,实现了1s内延时的实时考试监控。 在防卡顿方面,考试零碎针对音视频传输进行全链路的传输品质服务优化,其优良的抗弱网能力,可能保障全链路丢包30%的状况下仍可放弃晦涩播放,保障每一位考生考试全程的“尽在把握”。 考试零碎监考画面 由此,基于阿里云全方位音视频服务能力,智能近程监考计划大大加重大规模线上组考累赘,为新道科技提供了高并发、低延时、强稳固的企业认证考试体验。 灵便选型,轻松集成在集成形式上,阿里云智能近程监考PaaS+解决方案,提供多种选型计划,不便企业依照本身状况自由选择。 通过原子化能力接入,实用于客户已有监考零碎,企业只需接入MediaBox终端SDK,即可实现音视频能力迁徙,在保障高牢靠音视频体验的同时,反对业务性能的灵便定制。 新道科技即是通过SDK接入,集成了阿里云低延时直播RTS2.0的推拉流能力,将大规模并发下的牢靠音视频能力,与本身考试零碎相兼容,疾速实现接入流程的“化繁为简”。 同时,新道科技还集成了阿里云云端录制和定时截图性能,将考生端内容进行云端的录制存档,并定时截图与考前人像辨认的规范画面进行比对,确保考试全程的真实有效,从而大幅加重监考老本。 身份辨认 在阿里云专家售后团队的全程技术支持、及时响应之下,新道科技胜利实现考试期间零事变组考。 值得一提的是,若企业自身无近程考试业务根底,须要从零开始开发监考零碎,则适宜通过MediaBox AUI Kits低代码计划集成。基于近程监考AUI Kit计划的残缺业务逻辑,企业可通过低代码形式疾速接入并跑通,将月/周级的集成工夫缩短为小时级,大大降低企业的接入老本。 是新生,也是时机随着企业数字化水平的加深,越来越多企业将传统线下考试搬到线上,招聘口试、业务考核、资格认证、降职评估......让本来人员繁多、流程简单、散布宽泛的线下考评形式面目一新。 而以音视频能力,减速行业数字化降级,正是阿里云MediaBox的期望所在。 在近程监考场景之外,MediaBox还针对不同行业音视频场景,推出一系列AUI Kits低代码开发计划,如面向互动场景的互动课堂,直播场景的娱乐直播、电商直播、企业直播,通信场景的语聊房、KTV以及点播场景的短视频、长视频等。 MediaBox正在向泛滥行业场景,减速开释音视频能量,让企业都能在“云智新生”的时代浪潮中,真正播种技术红利。 当然,这也离不开生态搭档的携手并肩。阿里云正在与各行业搭档一起,以MediaBox音视频数字化“利器”,关上更多场景空间,发明新的时机和可能。

September 12, 2023 · 1 min · jiezi

关于云计算:云原生周刊Istio-119-发布-|-2023911

开源我的项目举荐TimoniTimoni 是 Kubernetes 的软件包管理器,由 CUE 提供反对,灵感来自 Helm。 Timoni 我的项目致力于改善编写 Kubernetes 配置的用户体验。Timoni 不会像 Helm 那样将 Go 模板与 YAML 一概而论,也不会像 Kustomize 那样将 YAML 层层叠加,而是依附 cuelang 的类型平安、代码生成和数据验证性能,为创立、打包和向 Kubernetes 交付应用程序提供更好的体验。 NGINX UnitNGINX Unit 是一款轻量级、多功能的开源服务器,具备两项次要性能: 为动态媒体资产提供服务运行七种语言的利用程序代码Unit 将古代利用堆栈的多个档次压缩成一个弱小、连贯的解决方案,重点关注性能、低提早和可扩展性。从企业级部署到宠物主页,无论其复杂程度如何,它都是任何网络架构的通用构件。 RigRig.dev 为 Kubernetes 提供了一个开源利用平台。其部署引擎对开发人员敌对,可简化应用程序的推出、治理、调试和扩大过程。此外,还为用户治理、身份验证、存储和数据库集成提供根底 API。 文章举荐理解 Kubernetes CPU 申请和限度这篇文章解释了 Kubernetes 中 CPU 申请和限度的概念,包含 CPU 单位的转换、资源调度和限度施行的形式。它还提供了一些实用的领导准则和计算方法,以帮忙读者正确设置他们应用程序的申请和限度,并优化资源利用。 垂直主动分级器 (VPA) 解读 - Kubernetes这篇文章介绍了垂直主动缩放器(Vertical Pod Autoscaler,VPA)在 Kubernetes 中的工作原理和用处。VPA 是一个工具,能够通过主动调整应用程序的 CPU 和内存使用量来优化集群资源的利用,从而为其余应用程序开释资源。文章解释了 VPA 如何依据应用程序的理论资源应用状况主动调整其 CPU 和内存使用量,以确保资源的高效应用和集群的整体资源利用率。类比于应用汽车的例子,文章阐明了 VPA 如何调整应用程序的资源分配,就像依据需要调整汽车的性能一样。文章还提供了在 Minikube 集群上部署 VPA 的步骤,并介绍了 VPA Admission Controller、VPA Recommender 和 VPA Updater 这三个要害组件的性能和作用。最初,文章演示了如何应用 VPA 控制器和部署 nginx 应用程序来测试 VPA 的性能。 ...

September 12, 2023 · 1 min · jiezi

关于云计算:使用-FastGPT-构建高质量-AI-知识库

**❝作者:余金隆。FastGPT 我的项目作者,Sealos 我的项目前端负责人,前 Shopee 前端开发工程师** FastGPT 我的项目地址:https://github.com/labring/FastGPT 引言自从去年 12 月 ChatGPT 公布以来,带动了一轮新的交互利用反动。尤其在 GPT-3.5 接口全面凋谢后,大量的 LLM 利用如雨后春笋般涌现。然而,因为 GPT 的可控性、随机性和合规性等问题,很多利用场景都没法落地。 起源3 月份,我在 Twitter 上刷到一个老哥应用 GPT 训练他本人的博客记录,老本极低(相比于 Fine-tuning)。他提供了一个残缺的流程图: 向量搜寻 GPT 流程图看到这个推文后,我眉头一皱;计上心来,利用场景就非常清晰了。间接上手开干,不到一个月的工夫,我在原有的助手治理根底上,为 FastGPT 退出了向量搜寻性能。于是就有了最早的一期视频:https://www.bilibili.com/video/BV1Wo4y1p7i1/ 初步倒退三个月过来了,FastGPT 仍然连续着晚期的思路去欠缺和扩大。目前,其在向量搜寻 + LLM 线性问答方面的性能根本已实现。然而,咱们始终没有公布对于如何构建知识库的教程。因而,咱们打算在 V4 版本开发过程中,写一篇文章来介绍《如何在 FastGPT 上构建高质量知识库》。 FastGPT 的知识库逻辑在正式开始构建知识库之前,咱们须要理解 FastGPT 的知识库检索机制。首先,咱们须要理解几个基本概念: 根底概念1. 向量:将人类的语言(文字、图片、视频等)转换为计算机可辨认的语言(数组)。 2. 向量类似度:计算两个向量之间的类似度,示意两种语言的类似水平。 3. 语言大模型的个性:上下文了解、总结和推理。 这三个概念联合起来,就形成了 "向量搜寻 + 大模型 = 知识库问答" 的公式。以下是 FastGPT V3 中知识库问答性能的残缺逻辑: 向量搜寻 GPT 流程图FastGPT 与大多数其余知识库问答产品不同的中央在于,它采纳了 QA 问答对进行存储,而不仅是 chunk(文本分块)解决。这样做是为了缩小向量化内容的长度,使向量能更好地表白文本的含意,从而进步搜寻的精度。 此外 FastGPT 还提供了搜寻测试和对话测试两种路径对数据进行调整,从而不便用户调整本人的数据。 ...

September 11, 2023 · 1 min · jiezi

关于云计算:使用-Sealos-一键上线你的私人监控小助手-Uptime-Kuma

大家好,明天我要给大家介绍一个十分优良的开源我的项目,它就是 Uptime Kuma。这是一个自托管的监控工具,简略易用,而且界面设计得十分丑陋。如果你正在寻找一个像 "Uptime Robot" 这样的自托管监控工具,那么 Uptime Kuma 可能就是你的不二之选。 Uptime Kuma 是什么?Uptime Kuma 是一个自托管的监控工具,它能够监控 HTTP(s)、TCP、HTTP(s) 关键词、Ping、DNS 记录、推送、Steam 游戏服务器、Docker 容器等的运行状态。它的界面设计得十分丑陋,反应速度快,用户体验极佳。 Uptime Kuma 有哪些性能?Uptime Kuma 的性能十分弱小,它能够通过 Telegram、Discord、Gotify、Slack、Pushover、电子邮件(SMTP)等 90 多种告诉服务发送告诉。它反对多种语言,能够创立多个状态页面,并将状态页面映射到特定的域名。此外,它还反对 Ping 图表、证书信息、代理反对、二次验证等性能。性能真的是太丰盛啦。 一键上线 Uptime Kuma装置 Uptime Kuma非常简单,能够依照以下步骤进行操作: 步骤 1:首先进入 Sealos 并关上「利用治理」**❝Sealos 入口:https://cloud.sealos.io** 步骤 2: 新建利用在 「利用治理」 中,点击「新建利用」来创立一个新的利用。 步骤 3: 设置启动参数在启动参数中,依照以下形式进行设置: 容器裸露端口指定为 3001。设置为外网拜访即可通过给出的域名拜访。 步骤 4: 设置存储卷在高级配置中,增加存储卷挂载来长久化 Uptime Kuma 数据目录 /app/data。这样能够确保利用数据在容器重启后不会失落。 步骤五:部署利用点击「部署利用」后即可启动利用: 步骤 6: 拜访利用一旦利用启动胜利,你就能够应用利用的外网地址进行拜访了。在浏览器中输出利用的域名,即可拜访利用的主界面。 步骤 7: 创立管理员账户为了爱护 Uptime Kuma 的安全性,首次进入你须要创立一个管理员账户,填写管理员账户的根本信息,包含用户名、明码。填写结束后,点击创立按钮进行注册。 ...

September 11, 2023 · 1 min · jiezi

关于云计算:一文读懂-Sealos-到底是个啥

Sealos 是什么以 kubernetes 为内核的云操作系统,这是最精准的一句话形容。 了解起来非常简单,windows 用过吧,sealos 和 windows 产品状态很像然而有两个区别: Sealos 不是运行在一台服务器上,而是运行在整个数据中心或者多台服务器上;Sealos 下面运行的就不再是 QQ 微信了,而是各种开发者须要用的分布式应用。如此用户用云就能像用个人电脑一样简略了 很多人一看Sealos就会说:这不是宝塔嘛,的确也能够这样类比,只是宝塔更关注到单机利用,Sealos 能够广义的了解为“分布式应用的宝塔”,这样各种分布式应用能够很快运行起来。用宝塔首先你得搞台服务器,而 Sealos自身就是一台超级计算机,关上网页间接用。 了解 Sealos须要有个核心思想: 整个集群是一个整体,不是零散的服务器;整个集群是一个整体,不是零散的服务器;整个集群是一个整体,不是零散的服务器。重要事件说三遍,记住这个,了解什么都容易了。 所以在 Sealos 上你能够: 一键运行 nginx;一键运行你的各种编程语言程序;一键运行各种低代码平台,各种数据库;云开发,函数计算像写博客一样写代码;。。。须要什么就装什么,不须要什么就卸载掉。Sealos 解决了什么问题 用云体验 - 让用云变得像用个人电脑一样;用云老本 - 不是把老本抹个零头,而是把老本抹的只剩零头;一键构建公有云,私有云公有云统一体验。用云体验 —— User Interface我对 User Interface 十分的器重,其实单机操作系统曾经给了标准答案,然而明天很多云平台都变成了一个硕大无朋,让用户迷失在了产品中,甚至诞生了一些专门用云的培训岗位,这就是产品上的失败。很少有人去上苹果手机的培训课,因为产品足够优良。 产品理念上首先要了解不同的角色关注点不一样,云的用户群体里有开发者 DBA 运维,懂 k8s 的,小白,专家 等等,如果用一个产品想做让这些角色都能有好的体验简直不可能,同样一个 CI/CD 工具都有人喜爱 jenkins 有人喜爱 drone。 很多 PaaS 平台就是这样,以 CI/CD 为例,集成了某一款工具如 jenkins,这就陷入一个难堪地步,一旦这个工具不再风行,或者有更优良的进去,简直这个平台就得写代码来重构局部外围能力。也无奈同时满足不同人的爱好。 这里咱们看单机操作系统是怎么做的?零碎自身啥也不论,只负责把利用治理好,那用户就能够筛选本人喜爱的利用,办公软件有人挑钉钉,有人挑飞书,不关 windows 什么事。这就具备了极大的自由度。很多人可能感觉各种 PaaS 平台也有利用市场啊,然而其实他们并没有把利用当成一等公民,反而大部分把 k8s 当成了一等公民,不说有什么大错,只能说这样做只能定位在云原生这个用户群体,无奈做到高度的形象。 Sealos 就齐全遵循了操作系统的理念,用什么就聚焦在什么性能上,比方 DBA 创立数据库关怀 k8s 干啥,k8s 单词不会拼都没关系,比方用函数计算的跑不跑在容器里关我什么事,比方一个 k8s 技术专家那就装个 lens 或者命令行咔咔敲就完了。 ...

September 11, 2023 · 3 min · jiezi

关于云计算:3-分钟为英语学习神器-Anki-部署一个专属同步服务器

Anki 介绍Anki是一个辅助记忆软件,其本质是一个卡片排序工具--即根据使用者对卡片上的自定义内容进行被动测试、自我评判后,其外部算法依据评判后果更改每张卡片下次测试工夫的排序工具。 所谓的卡片,业余说法叫 Flash Card(抽认卡或闪卡),是一小块纸片,分为正反两面,将问题和提醒写在一面,将答案写在另一面。应用办法就是先看侧面的问题与提醒,在脑中回忆答案,而后翻出背面进行对照验证。 闪卡的外围制作准则就是:一个知识点一张卡。因而非常适合用来学习英文,也能够用来记忆历史事件工夫、公式等等。给大家看下我制作的闪卡: 每张卡片只有一个英文单词,与之配套的是该单词的音标、发音、图片、英文解释、例句。所有的版块都是英文,相对不要呈现中文! 卡片的外围是图片和例句,通过图片能够猜到这个单词大略是什么意思,通过例句能够验证本人对单词意思的猜想是否正确,如果还不释怀,能够看下英文解释,这一套流程下来相对能够正确理解单词的意思,齐全不须要中文的干预,这才是学习英文单词最完满的形式。 即便如此,大家在相熟单词的过程中可能还会有一个误区,比方下面这个单词,你在学习的过程中可能会忍不住去想这个单词在中文里到底是什么意思,甚至可能会在心里默念它的中文意思,即便你看了图片和英文解释,你心里可能还会忍不住去想:哦,这是转瞬即逝的意思。倡议大家最好不要这么做,要想做到这一点,记住一句名言:只可意会,不可言传。你去看这张图片,而后用心去领会:哦,大略就是这么一种感觉,对对对。你能 get 到这个单词所表白的那种感觉就行了,不要再去思考如何用中文来形容它,那样反而吃力不讨好。 上面言归正传,置信有很多小伙伴和我一样在应用 Anki 来学习英文单词或者其余的常识,然而 Anki 的同步服务器在国外,还是一个集体我的项目,带宽很小,同步速度很慢,如果咱们想在多个客户端之间同步学习进度和新增的知识点,那将十分苦楚。 为了解决这个问题,咱们须要部署一个自定义的同步服务器,而后让客户端去应用这个同步服务器。 Anki 同步服务器部署自从 2023 年 2 月份,Anki 公布了 PC 端 2.1.57 版本当前,Anki的 PC 端,安卓端,iOS 端用户都能够自定义同步服务器了,并且不再须要装置插件。从此 Anki小伙伴再也不必放心 Anki 同步的问题了,困扰 Anki 用户多年的同步问题终于失去彻底解决。 自 PC 端 2.1.57 版本当前,Anki 官网退出了镶嵌在 Anki 客户端的同步服务端和通过 Python 装置的同步服务端。 然而我并不想用官网的这个服务端,人生苦短,我不必 Python。 我抉择用社区的高大上同步服务端,目前只有 anki-sync-server-rs这个我的项目反对最新的Anki 版本,其余的同步服务器我的项目基本上都生效了。这个我的项目是用 Rust 写的,追踪 Anki官网同步服务端的进度,它们都是基于sqlite c 作为数据存储后端。最重要的是:它有 Docker 镜像! 有了镜像,部署起来就简略了,不就是 Docker 一把梭嘛! 不懂 Docker 也没关系,不就是Sealos一把梭嘛! 首先在浏览器地址栏输出网址 https://cloud.sealos.io/ 进入 Sealos 桌面。而后关上「利用治理」: ...

September 11, 2023 · 2 min · jiezi

关于云计算:如何get一个终身免费续期的定制数字人

想领有一个“数字分身” 吗?给你一个一生收费续期的特权。定制周期长?训练、经营老本高?成片成果僵硬?无奈利用于理论场景? 随着AIGC技术的疾速倒退,虚构数字人的生成效率一直进步,训练老本逐步升高,与此同时,生成成果也朝着更加精细化方向倒退。 越来越多的“数字人”正在走入各行各业,不受空间、工夫的限度,解放着人们的生产力。 来了!阿里云智能媒体服务正式推出:数字人形象和人声特色克隆模型的自助训练,一站式提供文本、语音驱动的仿真形象合成及视频终片创作的残缺能力。 文末更无限时福利,让您的“数字分身”永恒收费续期~ 形象、声音、生产力首先,咱们来看看如何定义一个好的数字人服务? 一是数字人的 “形象” ,无论是动作、表情、还是口型等须要具备高还原度的拟真成果,这也是数字人服务的基石; 二是数字人的 “声音” ,去生硬、机器感,以同步拟真的声音,进一步晋升数字人的活泼感、残缺度; 在拟真的形象与声音之上,三是能将数字人使用于视频、直播等场景化创作,让以技术驱动的“人”带来真正的生产力; 四是数字人与背景、前景等多类元素合成时,须要充沛交融表白画面一致性,晋升视觉细节粗劣度和画面感染力, 这更是最终数字人成品品质的要害。 数字人的「超级服务计划」阿里云智能媒体服务的数字人,是整合仿真形象渲染、声音克隆和视频精编二创的一体化服务计划。 |「形」:数字人形象训练及渲染 通过采集模特特定场景下播报形象的视频素材,以文本、语音驱动通过算法训练的“数字人”,生成多语种、任意语料、带有丰盛拟真表情和动作的数字人视频。 对于2D真人形象定制,咱们提供标准的SOP录制手册,可根据手册轻松自助实现训练素材的录制、编辑和上传,实现拟真度极高的形象表白。 DEMO视频:https://v.youku.com/v_show/id_XNjAxOTM1NzM2OA==.html |「声」:人声克隆训练及渲染 以后人声克隆分为业余定制版、轻量定制版及根底版。 根底版在线可用,零碎主动调配20句文案简略录制,笼罩故事、交互、导航三大细分场景,便捷疾速复刻人声。通过用户上传的录音内容,30min即可捕获要害声纹特色克隆人声,达到用户级娱乐成果。 轻量定制版(重点介绍)基于视频云多年深耕音视频算法,交融音质检测、音频降噪和数字克隆的多维度算法,基于15-30min无效音频,即可高保真还原音色。同时还可随着应用需要不同,指定音色情绪,满足不同利用场景的声音灵便适配。 人声克隆轻量定制版Demo: 原始训练声音(截取): https://v.youku.com/v_show/id_XNjAxOTM1NzU5Mg==.html 声音克隆后果: https://v.youku.com/v_show/id_XNjAyMjA1NTc0NA==.html |「效」:场景化视频抠除及背景交融 对于绿幕/实景视频,除了抠出内容边界清晰、天然无残漏的人像,还能指定抠出人像附属物,如:桌面、手持物品等。 实景抠图带附属物成果 即便数字人在不同光线及色调环境下,也能主动将数字人与背景进行统一化交融解决,实现视频全片天然对立的超自然合成成果。 主动适配冷暖色调交融成果:https://v.youku.com/v_show/id_XNjAyMjA1NDA4MA==.html |「创」:丰盛的衍生制作能力及精编二创 阿里云「云端智能剪辑」提供业余的音视频剪辑(多层级元素、业余字幕、转场过渡、特效滤镜)能力及欠缺的视频模版工具。 通过浏览器非线性编辑器或AE制作模版库,联合数字人自动化渲染,可实现数字人名片、数字人慕课等规范模版组合计划,满足短视频、教学视频、广告宣传等各类数字人视频制作的要求。 浏览器剪辑界面 |「互」:数字人直播实时互动 基于数字人直播及实时互动的规范场景,咱们行将提供开箱即用的SaaS工具,从直播间装修、数字人脚本设定到互动计划及数字人响应内容预置,实现一键开播。 直播间不仅反对多个官网数字人形象,并反对自助训练数字人。 如下方视频所示,客户通过阿里云智能媒体服务进行数字人及人声克隆(轻量定制版)定制及视频合成,将其使用于法律、财经常识的重点解读。 客户案例示例:https://v.youku.com/v_show/id_XNjAyMjA2MDAzMg==.html “训”一个数字分身!数字人自助训练定制,已上线阿里云「智能媒体服务」! 只需4步,即可“训”一个数字分身。 1️ Step 1: 格调确认 ﹣ 2D仿真人|3D卡通人 ﹣ 性别确认、形象格调 ﹣ 视频成片调性、主播姿势设计 2️ Step 2: 真人拍摄 ﹣ 绿幕(倡议)或实景环境确认 ﹣ 依照操作手册自助录制 ﹣ 生成初版训练视频 ...

September 11, 2023 · 1 min · jiezi

关于云计算:使用-Sealos-快速安装低代码平台-ILLA-Cloud

随着 AI 的暴发,企业疾速开发上线利用的需要将会越来越强烈。 而应用低代码进行开发将会是越来越受欢迎的一种形式,个别都会应用可视化工具、拖放性能和自动化来创立利用。与传统的代码优先开发相比,低代码所需编码更少。 ILLA Cloud 是一个开源的低代码平台,使用户可能创立、部署和治理外部应用程序。通过 ILLA Cloud,您能够应用直观的拖放组件来灵便地构建各种应用程序,从根本的 CRUD 应用程序到更简单的多步骤工作流程,任何人都能够在几分钟内应用构建一个残缺的外部工具。 **❝GitHub 链接:https://github.com/illacloud/illa-builder** 本文将会介绍如何在 Sealos 上一键部署 ILLA Cloud 低代码平台,帮忙您节俭大量构建工具的工夫。 步骤 1:关上 「利用治理」首先须要进入 Sealos 桌面:https://cloud.sealos.io 而后在桌面上关上「利用治理」: 步骤 2:新建利用在 「利用治理」 中,点击「新建利用」来创立一个新的利用。 步骤 3:利用部署根底配置: 利用名称(自定义):illa-builder镜像名(默认最新版本):illasoft/illa-builderCPU(举荐):0.5 Core内存(举荐):512 MB部署模式: 实例数(自定义):1 **❝留神:咱们这里应用的是最低配置,您能够依据本人的需要加大配置。** 网络配置: 容器裸露端口:2022外网拜访:开启**❝留神:空白的域名能够运行 ILLA Cloud,但您也能够应用本人的域名。** 高级配置: 自定义本地数据库和磁盘(最低 1G)。 步骤 4:部署利用点击「部署利用」开始部署利用。 步骤 5:拜访利用点击「详情」查看,当利用的 STATUS 由 Pending 变为 Running,则表明该利用已胜利启动。当 STATUS 为 Running,即可间接拜访外网地址。 拜访胜利! 接下来就能够登录进入 ILLA 可视化界面,享受低代码平台的魅力了。 援用链接[1]ILLA Cloud: https://www.illacloud.com/zh-CN ...

September 11, 2023 · 1 min · jiezi

关于云计算:五年磨一剑Sealos-云操作系统正式发布

这是个雄伟的打算这是一个雄伟的打算,漫长且乏味。 2018 年的某个夜晚,夜深人静,我挥动键盘,敲下了Sealos 的第一行代码。过后仓库命名为 “kubeinit”,起初感觉格局太小,我不可能只做一个装置 Kubernetes 的工具。装置只是更大打算的一部分,于是更名为 Sealos,一个巨大的云操作系统打算就此诞生! Sealos的第一个版本写完后,我就把它公布到了阿里云市场发售,每份售价 15 元。我没想到真的会有人买,当第一笔 15 元进账时,我异样兴奋,好像一个商业帝国就在眼前。然而,后果是我花了一整天工夫为这位客户提供售后服务。。。电影院里还在帮用户解决问题。 先来一波回顾杀: 随后销量暴增,很快我就换了新手机 iPhone 8,然而问题也同时减少,以至于我根本无法及时提供所有的售后服务。于是我决定重写 Sealos,公布了基于 Ansible 的 v2 版本。最终还是感觉没有做到极致,因为用户还是遇到太多依赖问题无奈解决。直到读完 kube-proxy 的源码,我发现有一种计划能够把负载平衡变得更简略,干掉所有依赖。于是我编写了 Sealos 的 v3 版本,在装置方面做到了极致。 为何一开始专一于装置 ?因为装置是入口,绝大多数人在学习云原生技术时都无奈避开这个问题。装置的流量入口足够大,无疑是一个绝佳的切入点。一旦用户习惯应用 Sealos 进行装置,就会逐渐摸索 Sealos 的其余性能。 在阿里的工作在阿里工作期间,我开发了 Sealer。这里最重要的一点就是,让装置足够灵便。以前用户只能应用我创立的安装包,而集群镜像的翻新能够让用户自在定义安装包,也能够自由组合任何安装包。这里有个让我感到骄傲的想法 : 把整个集群视为一个整体,把 Kubernetes 看作一个操作系统,那么在这个云操作系统中,“云版 Docker 镜像”会是什么样子?这无疑是一个平凡的想法,极具形象度和灵活性。 FROM kubernetes:v1.25.0 COPY mysql . CMD helm install mysql . 这种构想让云操作系统也像单机操作系统一样有了“镜像”,平凡的构想又实现了一个环节。 守业第一年那么,Sealos 云操作系统最终调演变成什么样子呢?这是一个难以言状的问题,我只有一个朦胧的构想,隐隐若现。直到守业过程中间断迭代了三个版本,才有了明天的状态——所有皆利用! 了解这一点其实很简略,只须要把单机操作系统上装置的单机利用替换成各种分布式应用即可。整个数据中心,你看到的不再是一台台孤立的服务器,而是一个整体,变成了一台虚构的超级计算机。 这样简洁、清新且臻至完满的云操作系统,置信你在第一眼见到它的时候,便会喜爱上它! 这就是我五年的醉生梦死之作 —— Sealos!献给大家~ 云能够如此洁净Sealos 放弃了极简的设计,没有任何多余的按钮。实现简洁与弱小并行的性能,有时候难如登天,但咱们仍在产品设计上投入了大量的心血。无论何人,应用 Sealos都将沉醉在咱们为之打造的舒服体验中。 在 B 端软件的世界里,付款者与使用者往往并非同一人,导致产品体验时常被疏忽,最要害的还是要压服决策者。而 Sealos 不一样,咱们深信产品体验高于一切,如果咱们在产品上破费大量精力最终导致失败,那也死而无憾。 ...

September 10, 2023 · 2 min · jiezi

关于云计算:浪潮云参编的数字政府网络安全合规性指引正式发布

导语:近日,由国家信息中心组织,浪潮云作为次要单位参加编写的《数字政府网络安全合规性指引》一书,通过清华大学出版社正式出版发行。 本书以国家近年公布的网络安全相干法律法规规范、政务行业出台的政策方法为根本根据,会集了网络安全畛域的专业知识和教训,针对数字政府网络安全布局、建设和运行全过程面临的痛点难点,提供了全面、实用的网络安全合规性指引。通过全面梳理数字政府网络安全合规要求,《数字政府网络安全合规性指引》从“工作篇”和“技术篇”两个视角为各级政务部门主管领导、技术人员、网络安全经营人员和平安测评人员在数字政府合规工作方面提供实践和实际参考。同时,《数字政府网络安全合规性指引》从多维度提炼了数字政府网络安全合规的技术框架,笼罩了等级爱护、明码利用平安、供应链平安、业务连续性、应急处理、明码治理、数据安全、集体信息安全等多个管制畛域,从人员、数据、网络、设施等方面疾速晋升数字政府网络安全保障能力。 下一步,浪潮云将持续以最高规范、最严要求、最实动作踊跃推动数字政府服务平安保障能力的晋升,深刻推广与数字政府生态的平安单干共赢,为建设平安可信的云基础设施及服务体系,构建高效平安的数字政府保障体系贡献力量,为数字中国建设构筑起松软的数字平安屏障。

September 8, 2023 · 1 min · jiezi

关于云计算:只需10分钟基于Amazon-EC2-快速部署-Stable-Diffusion-WebUI-博思云为云技术分享

前言 Stable Diffusion (SD) 已迅速成为 2023 年十分风行的文生图的(又称“AI 艺术生成”)模型之一。其胜利的一个关键因素是它已作为开源软件提供。 这催生了一个充满活力的社区,该社区疾速构建了工具,使任何对 SD 感兴趣的人都能更容易地应用 SD,无论他们的技术常识如何。 其中一个工具是由 Automatic1111 开发的简略但功能强大的 Web 界面 stable-diffusion-webui。 它容许咱们无需任何编码即可应用 SD 的所有性能,而且它也是开源的,这意味着任何人都能够下载此 Web UI 以及 SD 模型并将其部署到任何他们想要的中央。 然而,挑战在于 SD 依然须要足够弱小的 GPU 能力能力十分疾速的生成一张图像信息,而这须要咱们自行洽购GPU并部署配置 因而,在本教程中,咱们借助于亚马逊云科技 G4dn 实例类型来部署 stable-diffusion-webui,帮忙减速机器学习推理和图形密集型的工作场景,教程内容也能够在 GitLab 中找到。 咱们只需应用一个命令,应用 AWS CloudFormation 模板来设置所有所需的基础设施即可实现此操作。 部署模板 Cloudformation模板如下所示: AWSTemplateFormatVersion: '2010-09-09'Description: A CloudFormation template to deploy the Stable Diffusion Web UI by Automatic1111 Parameters : InstanceType: Description : EC2 instance type Type : String Default : g4dn.xlarge AllowedValues : - g4dn.xlarge KeyName: Description: Name of an existing EC2 KeyPair to enable SSH access to the instances Type: AWS::EC2::KeyPair::KeyName Resources: SecurityGroup: Type: AWS::EC2::SecurityGroup Properties: GroupName: sd-webui-sg GroupDescription: Security group for whisper-demo EC2 instance SecurityGroupIngress: - IpProtocol: tcp FromPort: 22 ToPort: 22 CidrIp: 0.0.0.0/0 - IpProtocol: tcp FromPort: 7860 ToPort: 7860 CidrIp: 0.0.0.0/0 EC2Instance: Type: AWS::EC2::Instance Properties: InstanceType: !Ref InstanceType KeyName: !Ref KeyName ImageId: ami-03f65b8614a860c29 BlockDeviceMappings: - DeviceName: /dev/sda1 Ebs: VolumeSize: 100 VolumeType: gp3 "Tags" : [ {"Key" : "Name", "Value" : "sd-web-ui-cf"}, ] SecurityGroups: - Ref: SecurityGroup UserData: 'Fn::Base64': | #!/bin/bash cd /home/ubuntu git clone http://labs.bosicloud.com/bosi-samples/stable-diffusion-webui.git bash stable-diffusion-webui/setup.sh -y MyEIP: Type: AWS::EC2::EIP MyEIPAssociation: Type: AWS::EC2::EIPAssociation Properties: AllocationId: !GetAtt MyEIP.AllocationId InstanceId: !Ref EC2Instance将此模板文件上传到 Cloudformation 中并部署: ...

September 8, 2023 · 2 min · jiezi

关于云计算:手把手教你在视频剪辑及数字人训练中花式抠图

本文为阿里云智能媒体服务IMS「云端智能剪辑」实际指南第三期,讲述围绕 视频剪辑及数字人训练中的抠图需要,如何使用 绿幕抠图、实景抠图能力,实现高效、便捷的视频制作及合成体验。昱尘|作者悬刃|算法反对 “你这背景太假了”,博主疆域阿力木因为背景太难看而被质疑,随后画风突转,网友们通过“抠图技术”将博主合成到各种视频背景中,其搞笑水平一度冲上热搜。 抠图技术经常被利用在泛滥场景中,施展着越来越重要的作用。 比方:直播带货场景中,商家通常会搭建绿幕背景,应用“绿幕抠图”技术,将绿幕背景替换成与商品相干的图片或视频,帮忙消费者更加直观地理解产品的应用办法、性能及特点;或是在短视频营销中,通过“实景抠图”技术,将人像和指定物品从任意背景中抠出,替换成各种风景图片或视频,减少视频对观众的吸引力…… 抠图技术也在数字人训练畛域施展着越来越重要的作用,数字人训练须要去除背景,只保留人物视频,能力做后续的剖析训练解决,应用绿幕抠图及实景抠图能够完满解决数字人训练素材的抠图问题。 IMS云端智能剪辑已将绿幕抠图以及实景抠图集成到了智能工夫线Timeline中,客户能够应用IMS根底剪辑能力、调用IMS数字人视频合成接口、智能工夫线Timeline。 本文次要介绍三种场景下的抠图技术,展示如何花式抠图。 三种场景下的抠图技术 场景一:绿幕生成训练数字人所须要的通明背景素材 训练数字人,在拍摄人物动作视频之后,通常须要将原始素材进行二次解决,生成只保留人像且背景通明的webm,或者生成代表人像区域和代表背景区域的黑白遮罩视频,咱们别离来解说如何利用绿幕抠图别离生成这两种视频。 「云端智能剪辑」工夫线Timeline中反对设置AI_Matting这个Effect,并反对设置Color为Green或者Blue两种抠图模式(绿幕抠图或蓝幕抠图),若期望生成带通明通道的webm,能够在OutputMediaConfig指定文件后缀名为webm即可。 这是该场景中应用的素材示例:https://v.youku.com/v_show/id_XNjAxOTE3Njk2MA==.html 生成通明webm成片成果视频:https://v.youku.com/v_show/id_XNjAxOTE3NzA0OA==.html Timeline示例: { "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4", "Effects": [{ "Type": "AI_Matting", "Color": "Green" }] }] }]}{ "Height": 1920, "Width": 1080, "MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/output.webm"}生成黑白遮罩视频合成webm因为编码器自身速度较慢的起因,耗时方面可能会不满足用户诉求,咱们倡议客户在抠图的同时增加背景、字幕等间接输入mp4成片。还有一种场景是客户要输入黑白通明通道视频,在前端展现、后续的剪辑解决中应用(Timeline中反对传入黑白通明通道视频对原素材进行遮罩),通过在AI_Matting这个Effect下减少MaskMode:true参数,彩色局部示意背景,红色局部示意人物地位和动作信息。 成片成果视频:https://v.youku.com/v_show/id_XNjAxNjQ4ODAwOA==.html Timeline示例: { "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4", "Effects": [{ "Type": "AI_Matting", "Color": "Green", "MaskMode": true }] }] }]}场景二:实景仅保留人像,不保留其余物体在背景是家具环境或者其余不不便搭建绿幕背景的状况时,须要利用实景抠图,将人像从背景中抠出,并替换其余图片背景或者视频背景。应用IMS云端智能剪辑时,能够通过一个Timeline,一次性实现抠图、背景裁剪、替换背景、减少字幕、减少配乐的所有操作。 应用AI_RealMatting这个Effect,能够一键式地将人物信息从任意背景中抠出,您能够抉择什么都不做,间接输入只有人像、背景通明的webm或者黑白遮罩视频,也能够抉择替换背景、减少字幕、配乐,丰盛视频内容,本章节次要介绍后者。 这是该场景中应用的素材示例:https://v.youku.com/v_show/id_XNjAxNjQ4NjcyMA==.html 背景图: 背景音乐(该BGM由AIGC生成):https://v.youku.com/v_show/id_XNjAxOTE3NzQ0MA==.html 成片成果视频:https://v.youku.com/v_show/id_XNjAxOTE4NjQzNg==.html Timeline示例: { "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg", "Type": "GlobalImage", "Width": 1080, "Height": 1920, "AdaptMode": "Cover", "Effects": [{ "Type": "Crop", "X": 0.0, "Y": 0.0, "Height": 0.7, "Width": 1 }] }] }, { "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4", "Width": 1080, "Height": 1920, "AdaptMode": "Cover", "Effects": [{ "Type": "AI_RealMatting" }] }] } ], "SubtitleTracks": [{ "SubtitleTrackClips": [{ "Type": "Text", "X": 0.02, "Y": 0.02, "Content": "《美妆小课堂》", "FontSize": 80, "EffectColorStyle": "CS0001-000012", "Font": "Source Han Sans CN" }, { "Type": "Text", "X": 0.2, "Y": 0.7, "Content": "金牌美妆师", "FontSize": 80, "EffectColorStyle": "CS0001-000014" } ] }], "AudioTracks": [{ "AudioTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav" }] }]}Tips: ...

September 8, 2023 · 2 min · jiezi

关于云计算:KubeSphere-Namespace-数据删除事故分析与解决全记录

作者:宇轩辞白,运维研发工程师,目前专一于云原生、Kubernetes、容器、Linux、运维自动化等畛域。前言2023 年 7 月 23 日在我的项目上线前夕,K8s 生产环境呈现故障,通过紧急修复之后,K8s 环境恢复正常;另外咱们环境引入了 KubeSphere 云原生平台技术,为了不便研发人员对于 K8s 权限的细粒度治理,我方手动将 K8s Namespace(生产环境业务命名空间)退出到 KubeSphere 中的 Workspace(企业空间),就在此时,产生了让人后背一凉、极度可怕的事变,就是生产命名空间(Namespace)被主动删除了,相熟 K8s 的人都晓得,这意味着该命名空间下的所有数据,都被清空了。 问题简述事变的前因后果咱们我的项目环境有两套 K8s 集群(即生产/测试),两套 K8s 环境筹备结束之后,别离在两套 K8s 引入 KubeSphere 云原生平台,打算通过 KubeSphere 启用多集群模式去治理两套 K8s:生产 K8s 集群将设置为 Host 主集群,测试环境 K8s 设置为 Member 集群。在此期间所有准备就绪,就等次日正式对外上线。 在 2023 年 7 月 22 号早晨七点非常,突然收到研发人员反馈:测试环境 KubeSphere 平台无奈失常应用,数据库都无奈关上。 随后我开展排查,发现整个 KubeSphere 平台都瘫痪了。通过确认,是因第三方客户技术人员做资源克隆,间接性影响了生产环境。 排查未果,情急之下我间接卸载了 KubeSphere 进行重装,重装之后临时复原了失常。随后我将两套 K8s 集群重新加入到 KubeSphere 平台托管,再将 K8s 的 Namespace 退出到 KubeSphere 所创立好的 WorkSpace 进行治理。 就在此刻,我发现退出到 WorkSpace 的 Namespace 竟在顷刻间主动删除,以致我 NameSpace 下的所有生产数据资源全副失落。我认为是 Workspace 的问题,因而重建新的 Workspace 测试进行测试,后果同样被删除。 ...

September 7, 2023 · 3 min · jiezi

关于云计算:MediaBox助力企业一站式获取音视频能力

以一只音视频百宝箱,应答「千行千面」。洪炳峰、楚佩斯|作者 大家好,明天我分享的主题是MediaBox——行业音视频数字化再减速。 依据权威数据表明,65%的行业数字化信息来自视频,基于此,音视频技术对于行业数字化来说是至关重要的。明天我想借此机会向大家介绍一个重量级的客户端产品——MediaBox,它将致力于实现行业音视频数字化再减速。 MediaBox,顾名思义,是一个无所不包的音视频魔盒。在这里,多种音视频能力的SDK可供任意抉择、自由组合、多端适配,一次性满足多种音视频需要。 接下来我将从MediaBox初识与全景、音视频终端SDK的架构设计和演进、音视频低代码开发的场景建设与实际和生态单干及将来瞻望四个方面进行分享。 01 MediaBox初识与全景 从需要侧来看,传统音视频技术已倒退多年,在行业化的过程中被广泛应用于互娱行业。同时,也在逐步向教育、医疗和批发等传统行业浸透,刺激了传统行业需要的旺盛增长。 从研发侧来看,音视频的复杂度使得行业客户也面临许多挑战,例如开发门槛高、接入复杂度高、性能挑战大等等。 基于这些行业趋势和挑战,企业的音视频诉求可总结为:高易用、高性能、场景化、多端化的多SDK组合及计划。阿里云视频云“MediaBox音视频终端一体化套件”就给出了这些问题的最优解,通过极致的自我进化,减速行业音视频数字化落地。 这里分享一个大家比拟相熟的互娱场景:直播PK。在开播端须要RTC技术支持直播推流和旁路直播;在PK时须要借助IM信令实现交互、RTC实现音视频流传输以及进行混流布局。这样的场景就须要多个SDK和云产品组合实现,那么相比音视频SDK,咱们更须要场景化的解决方案。 通过MediaBox全景图,能够看到,MediaBox由音视频终端SDK、音视频低代码AUI Kits两大部分组成,并基于行业生态单干构建音视频场景计划。 MediaBox音视频终端SDK全面笼罩实时音视频、直播、超低提早直播、播放器、短视频、美颜特效等,通过自由组合出包,造成一系列不同能力的SDK,为客户提供灵便、易用、高效的接入体验。 MediaBox AUI Kits通过对MediaBox SDKs单点能力做场景化的封装,不便客户将某个视频场景化的能力疾速集成到本人的利用中。客户不须要了解音视频SDK中API的具体用法,只需关怀本人的业务实现,即可实现场景化的音视频能力,从而大大放慢业务开发过程。 MediaBox的劣势能够总结为“一体、三高、多场景”。 首先是一体化:次要是SDK一体化和云端一体化。基于SDK一体化的底座,既能够不便地进行SDK开发,也能够进行SDK组合,满足不同的业务需要;云端一体化,比方特效引擎实现端云体验一体化,智能缓存、调度优化等实现端云一体化。 三高,指的是高易用、高性能、高智能。基于一体化SDK,咱们能够实现SDK的灵便组合,并且联合AUI计划实现低代码接入以保障易用性;另外,SDK的稳固和高性能是重中之重;同时,SDK的智能化能够很好地服务各种场景需要。 最初是场景化,场景化计划要解决易用和好用的问题。举个简略的例子,长视频和短视频场景,在起播buffer的设置、缓冲区大小、本地缓存的设置上是有很大差别的,而客户须要的是能够根据具体需要,开箱即用的场景化计划。 02 MediaBox音视频终端SDK的架构设计和演进 接下来介绍MediaBox音视频终端SDK的架构设计。 在此之前,给大家分享两则小故事。大家晓得国产大飞机C919上有多少个整机吗?据相干报道,C919上一共有250万个整机,如此多的整机须要通过残缺的系统工程组装起来,并且其中的每个整机都十分重要。 如果咱们把MediaBox比作一架飞机的话,那么其中的各个子模块就相当于整机,如何进行有序组装、并残缺实现整体性能就成为了一个微小的挑战。 另外一个分享是对于汽车制作平台。咱们晓得,不同车型能够在同一个制作平台上生产,共用整车设计,尤其是底盘设计和车辆构造。同样的,MediaBox基于一体化的底座,能够疾速迭代和开发SDK产品。 上图是MediaBox一体化SDK的总体架构。它是一个分层的架构,SDK的Crash捕捉和License认证都是作为通用能力服务于整个SDK,在SDK之外还有很多研发撑持工具,来保障SDK研发的效率和稳定性。 在SDK的倒退初期,各个业务为了满足需要,会各自进行SDK的迭代。随着客户业务的倒退,会须要应用多个SDK来实现性能需要,如果强行把这些SDK交融在一起,在包大小方面也不是最优的,而且可能会产生包抵触。 于是咱们针对几个次要原子SDK的功能模块做了剖析。如图所示,各个SDK之间有很多能够共用的模块,通过SDK模块,能够更好地进行模块复用,同时实现包大小的升高,另外也能够实现更多的性能优化和兼容性晋升。 这些组件抽离后,如何将它们组合到一起呢?能够通过pipeline机制来串联从采集到渲染的整个流程。而音视频pipeline的结构、运行、销毁等全生命周期治理,则须要由微内核来实现,它具备高效、灵便的特点,同时因为引入了插件治理,能够实现插件的插拔,晋升SDK的扩大能力。 接下来通过一个示例展现插件设计。 某位客户心愿引入智能降噪的功能模块,个别状况下智能降噪模块是基于深度学习网络实现的,所以其SDK包绝对很大。如果咱们间接把该模块引入SDK,会导致整个SDK的size过大。 通过前文介绍,pipeline机制能够很好地串联外部组件,那么对于内部组件是否有好的解决之法?咱们在微内核中通过插件占位实现了插件的热插拔,真正实现一套插件代码、一次打包,同时满足两种客户的诉求。 后面介绍了一些架构设计的思考,接下来就波及到一些理论落地的艰难和挑战。 第一个问题,是重写SDK,还是基于现有的SDK进行演进?在业务需要的推动下,只能抉择后者,但这相当于开着飞机换引擎,对于整体稳定性的考验十分之大。 第二个问题,对于一台整机泛滥的宏大机器,如何让它顺畅地运行起来?多团队如何合作?版本如何治理? 一体化工程波及到多个组件,各个组件的版本治理、依赖关系也相当简单,组件也很难独立被援用。因而咱们设计了一个灵便组件管理工具:ACPM(Aliyun C++ Package Manager)。它由两个次要的模块组成: 1、依赖模块:负责依据形容剖析依赖关系、下载对应组件、生成cmake工程须要的编译文件; 2、公布模块:负责托管组件动态库(在MTL上),并记录公布时的具体信息,以供依赖时剖析。 通过这样的形式,咱们能够更好地治理各个组件。举一个理论利用的例子,短视频、直播、RTC都应用到了视频采集模块。如果针对此模块做交融,间接重写一份模块进行共用,在理论运行过程中可能会遇到一些挑战。 咱们采纳的形式是ACPM化,在一个绝对业务量较小的业务(如短视频)内,将其SDK中的视频采集模块ACPM化,另外两个业务仍应用原有的模块。在前者的ACPM化模块逐步稳固后,再将后两者的模块进行ACPM化,就可达到整体组件应用和工程效率上的交融。 ACPM化也能够利用在公共组件、音视频算法等当中。在跨平台上,咱们不仅反对了Android/iOS/Win/Mac多端,还反对了Web端,能够输入成Web Assembly代码,这样一些Native客户端的能力能够疾速无缝转到Web平台,实现多端体验的一致性。 比方美颜特效SDK,能够通过ACPM编译成Web Assembly代码来供Web平台应用,因为底层代码是同一套,在体验上也最大水平地保障了一致性。 接下来以一个高性能算法特效执行引擎在Web端的实际为例,介绍如何用一体化的框架落地。 如图中的特效引擎,有其pipeline以及数据输出组件和图像处理组件,它能够打包成Android/iOS/Win/Mac以及服务端的版本,在Web端通过WASM的形式撑持相干业务。 Web上会有性能差和性能受限的问题,咱们通过Profile工具生成火焰图,剖析耗时函数,并将其进行SIMD替换。另外,通过在Web上开启多线程,能够晋升整体运行效率。 云端一体能够实现更极致的优化,是竞争力的体现。 咱们实现了一张网一个SDK,并笼罩常见的音视频相干场景。一体化SDK和一体化网络MediaUni的配合,能够实现端云一体化的体验,通过对接客户端SDK,即可便捷地应用云上的服务。 比方端云协同,能够实现智能调度,通过云端联动,智能管制播放缓存大小,以此降低成本。与媒体服务协同,能够实现智能按需转码,当发现某个热门视频时,能够智能启动转码,晋升播放体验的同时,也节约了客户的老本。 通过后面的计划,能够说飞机曾经造出来了,但还须要保障其稳定性。 首先是一体化对客,所有SDK共用一份License,进行对立受权认证、对立入口和疏导; ...

September 5, 2023 · 1 min · jiezi

关于云计算:云原生周刊Linkerd-发布-v214-202394

开源我的项目举荐LayerformLayerform 是一个 Terraform 包装器,可帮忙工程师应用纯 Terraform 文件构建可重用的基础设施。 为了实现重用,Layerform 引入了层的概念。每层都蕴含一些基础设施,并且能够重叠在另一层之上。 除了更易于应用之外,Layerform 还容许团队重用基础设施的外围局部。这样,开发基础设施的老本就会低得多,启动起来也更快。通过 Layerform,工程师只需生成他们须要的基础设施层。 Containerd Wasm Shims该我的项目旨在提供可能应用 runwasi 作为库来运行 Wasm/WASI 工作负载的 containerd shim 实现。这意味着通过在 Kubernetes 节点上装置这些 shims,咱们能够向 Kubernetes 增加一个运行时类,并在这些节点上调度 Wasm 工作负载。您的 Wasm pod 和 deployment 能够像容器工作负载一样运行! runwasi 是一个我的项目,旨在在由 containerd 治理的 Wasmtime 上运行 Wasm 工作负载,Wasmtime 是一个疾速且平安的 WebAssembly 运行时。 DraftDraft 是一个为刚刚开始应用 Kubernetes 的用户或想要简化 Kubernetes 体验的用户设计的工具。 Nautikos一个轻量级的 CI/CD 工具,用于更新 Kubernetes 清单中的镜像标签。 Open InterpreterOpen Interpreter 可让 LLM 在本地运行代码(Python、Javascript、Shell 等)。装置后运行 $ interpreter,就能在终端上通过相似 ChatGPT 的界面与 Open Interpreter 聊天。 ...

September 4, 2023 · 1 min · jiezi

关于云计算:KubeSphere-社区双周报-KubeKey-新增网络插件-Hybridnet-202308180831

KubeSphere 社区双周报次要整顿展现新增的贡献者名单和证书、新增的讲师证书以及两周内提交过 commit 的贡献者,并对近期重要的 PR 进行解析,同时还蕴含了线上/线下流动和布道推广等一系列社区动静。 本次双周报涵盖工夫为:2023.08.18-2023.08.31。 贡献者名单 新晋 KubeSphere Contributor两周内共有 12 位新晋 KubeSphere Contributor,包含在社区分享最佳实践经验的用户。感激各位对 KubeSphere 社区的奉献! | GitHub ID 或名字| 支付证书 | | -------- | -------- | | BaiMeow | 点击链接支付 | |L1ghtman2k|点击链接支付||alexandrevilain|点击链接支付||cuishuang|点击链接支付||Nyefan|点击链接支付||Rajan-226|点击链接支付||sjliu1|点击链接支付||wangshoufa|点击链接支付||WaywardWizard|点击链接支付||xiaobu|点击链接支付||xuelangos|点击链接支付||zhuxiujuan28|点击链接支付| 近期更新KubeSphere1. 增加成员集群的时候对集群配置中的集群角色进行校验相干 PR:https://github.com/kubesphere/kubesphere/pull/5878 贡献者:iawia002 2. 修复谬误的 release note 链接相干 PR:https://github.com/kubesphere/kubesphere/pull/5895 贡献者:win5923 OpenFunction1. 反对将 fn.spec.serving 中的注解传递给 Kantive Serving相干 PR:https://github.com/OpenFunction/OpenFunction/pull/486 贡献者:Bryce-huang KubeKey1. 降级 Calico 至 v3.26.1相干 PR:https://github.com/kubesphere/kubekey/pull/1961 贡献者:pixiake 2. 新增网络插件反对: Hybridnet相干 PR:https://github.com/kubesphere/kubekey/pull/1962 贡献者:pixiake 3. 反对自定义 Coredns 配置相干PR:https://github.com/kubesphere/kubekey/pull/1956 ...

September 1, 2023 · 1 min · jiezi

关于云计算:某物联网数智化园区行业基于-KubeSphere-的云原生实践

公司简介 作为物联网 + 数智化园区一体化解决方案提供商,咱们致力于为大中型园区、停车场提供软硬件平台,帮忙园区运营者实现数字化、智能化经营。 在应用 K8s 之前咱们应用传统的形式部署上线,应用 spug(一款轻量级无 Agent 的自动化运维平台) 自动化在单节点实现代码部署上线,也没有进行容器化,随着产品上线提上日程,对稳定性要求进步,以及私有化部署环境治理问题,咱们开始应用 Docker 以及 K8s。 背景介绍降本增效是每个企业的指标,而 DevOps、容器化、云原生就是研发团队降本增效的方法论。在这个趋势下,应用 Docker、K8s 简直是每个开发团队的必经之路。 物联网平台对稳定性要求十分高,一旦停机,所有设施都将掉线重连,因而保障服务的稳定性,缩小停机工夫就十分重要。 在应用 K8s 之前,咱们很多工夫都要人工解决各种繁琐反复的服务保护问题,这种干燥且毫无技术含量琐碎极大的消磨开发团队的激情。为了将人力从大量反复的环境配置、服务保护中解放出来从而进步开发迭代效率,咱们就决定全面容器化,拥抱云原生。 总结来说就是: 服务稳定性,自动化运维,缩小停机工夫;分布式部署,弹性伸缩;DevOps 标准的部署上线流程。这些问题迫使咱们开始调研容器化、Docker、K8s 的利用。 选型阐明因为没有相干教训,因而一开始咱们就心愿找到一款可能帮忙疾速上手 K8s 的工具,在调研 KubeSphere、Zadig、Rancher、KubeVela、Kubeadm 等多款工具后,咱们最终抉择了 KubeSphere。 抉择 KubeSphere 最次要的起因首先是它的社区沉闷,有问题可能找到解决方案。同时它集成了很多开箱即用的插件如 DevOps,这正是咱们所须要的。当然第一眼就选中 KubeSphere 还是因为它的颜值,能看得出来 KubeSphere 的 UI 是通过精心设计过的,这在开发工具畛域中是极为难得的,从这点上就可能看出背地的开发团队对于打造一款基于 K8s 的云原生操作系统的理念与信心。 应用 KubeSphere 让咱们立马就领有了成熟 DevOps 工作流了,而无需额定的搭建老本,这对于咱们毫无 K8s 教训的团队来说太重要了,极大的升高了上手门槛。 目前咱们将所有无状态利用全副容器化,应用 K8s 负载,提交代码 Webhook 触发 KubeSphere 流水线主动公布,对于不习惯命令行操作的用户,KubeSphere 后盾能满足所有需要。 实际过程容器化及迁徙到 K8s、KubeSphere 第一步就是将利用全副 Docker 容器化,而后应用 K8s 的 deployment 进行部署。实现分布式高可用的服务部署。 K8s 让咱们轻易的就领有了一个分布式高牢靠的架构了,分布式部署从未如此简略。 ...

September 1, 2023 · 1 min · jiezi

关于云计算:深度解读智能媒体服务的重组和进化

对立“顶设”的智能媒体服务。邹娟|演讲者 大家好,首先欢送各位来到LVS的阿里云专场,我是来自阿里云视频云的邹娟。我本次分享的主题为《从规模化到全智能:智能媒体服务的重组与进化》。 本次分享分为以上四局部,一是媒体服务(Mediaservices)面临的技术难题;二是如何应用对立“顶设”进行媒体服务的架构重组与规划设计;三是阿里云视频云服务不同企业客户不同场景需要面临的技术挑战、解法以及对于智能化演进的思路和实际;四是对于智能媒体服务的将来瞻望。 01 媒体服务(Mediaservices)的技术难题 第一局部次要介绍媒体服务(Mediaservices)的技术难题。 在此之前咱们先对“媒体服务”的含意进行解释,咱们将“媒体服务”定义为:客户音视频相干业务中,媒体层技术和服务能力的汇合。 媒体服务以后面临的技术难题能够总结为三大类:一是如何灵便反对不同行业、市场、客户、场景的音视频业务;二是如何在此基础上满足这些迥异的业务场景的规模化需要;三是随着AIGC的衰亡,在将AI技术融入媒体服务迭代的过程中,如何均衡短期利益和长期技术方向,做好长短期联合的智能化演进。 接下来对三类问题进行具体分析,首先是对于多种音视频业务如何灵便反对。 以后视频云畛域包含视频点播、视频直播和音视频通信三大外围业务,他们的链路基本相同,均涵盖生产、解决、散发和生产四个次要局部。 咱们的“旧有思路“是针对业务构建全链路的产品技术,而不同业务在雷同环节可能领有相似的媒体能力,如VOD产品中的“媒体解决MPS”与Live产品中的“直播转码”就十分相似,当随着视频社会化趋势一直倒退,衍生出更多垂直的音视频业务时,沿用这种思路无疑会带来较多反复开发。 其次,不同场景的规模化需要天壤之别。 ToB云业务的规模化不仅包含大家印象中的“传统”大规模,如:海量、高并发、低成本等,还涵盖了诸如业务流多场景、多租户的要求,不同场景对媒体服务能力深度+广度的多样性要求等,因而ToB须要多个角度的总结、提炼和形象。 第三是对于如何布局长短期联合的智能化演进。 针对短期,咱们目前重点关注工业级AI利用的成果,以后AI的角色仍以辅助为主,少数业务为视频的检测、辨认、宰割等。 以后大模型及利用如雨后春笋般层出不穷,但离AGI时代的真正到来还有肯定间隔,咱们须要关注相干的钻研和技术储备如何从短期落地的状态平滑过渡,并布局一条连接长短期演进的技术路线。 02 对立顶层设计:媒体服务架构的重组思路 基于以上背景,咱们首先对音视频业务的媒体能力进行了框架式的对立顶设,定义为第0层重组。 重组前,媒体服务的各项能力曾经存在于视频点播、直播、音视频通信等业务中,因而该过程并非从0到1造轮子,而是将既有媒体原子能力进行打散、重组,从而更好的实现资源复用,解决更多新业务自在搭建的问题。 重组后,媒体服务的整体框架如上图所示,最底层是基于云原生技术的存储、散发、传输等IaaS基础设施,在此之上是媒体PaaS服务的算法底座,媒体的PaaS层能力依照音视频生命周期划分为媒体汇聚、媒体生产制作、媒体解决、媒体生产和媒资治理5个板块,下层则是基于PaaS层搭建的PaaS+解决方案和各种行业场景利用。 将PaaS层5个板块进行服务的细粒度拆分,各项能力进一步内聚和丰盛,造成媒体全景能力集,详见上图,列举了一些媒体服务的典型能力。 这些从不同业务中总结并提炼出的媒体服务能力,对相似性做形象,对局部差异性做交融&加强,外加将多个服务的输入输出参数体系标准化,不仅能够提供阿里云视频云的自研服务,还具备肯定的开放性,从框架层面容许通过平安认证的第三方服务的接入。 如此一来,重组后的媒体服务除了作为直播、点播等已有业务的媒体能力底座外,还为疾速拓展新业务和新场景(如汽车、IOT、行业+等)提供了无效的反对。 在第0层重组做好整体规划的根底上,咱们构建了对立的“媒体引擎”,进一步实现媒体服务的第1层重组。作为底层技术外围,它是媒体工作在“执行层”实现高时效、高性能及丰盛性能的基石。 首先,作为继续倒退的云原生服务,媒体引擎须要充分利用不同期间的机器资源,这就要求引擎层具备异构和软硬一体能力,反对CPU、GPU、ARM和ASIC等设施资源。其次,媒体引擎集成的算法既包含媒体解决算法与AI算法,也包含自研算法和二三方算法,它对算法集成进行了对立设计,通过算法成果/性能/老本自测零碎、编码标准及合规自查零碎、流量回放和陪跑零碎保障引擎的稳定性与根底性能。第三是构建了对立的媒体解决框架,并通过单任务的分布式媒体计算引擎和简单工作决策引擎实现底层资源的最优组织和简单工作的最佳决策与反向调度。 近几年分布式云逐步衰亡,很多行业客户的视频服务部署在边缘云或混合云中,为了实现一套代码多云部署,咱们进行了媒体服务的第2层重组。 这里次要面临两大挑战,一是不同环境依赖的组件不同,须要将依赖组件细化后进行动静配置;二是在最终部署前须要实现大量的多环境对立CICD和标准化一键部署计划。它实质上是一项兼顾编程和继续集成的工作。 媒体服务的第3层重组宗旨是通过定义对立的媒体数据协定及流转框架,打消数据在不同服务间转换造成的损失。 而媒资的外围角色之一正是媒体服务的数据底层,因而第3层重组最重要的工作是构建视频云不同产品服务间的对立媒资零碎,设计上次要分三层: 最底层是对立媒资的数据底座,1)对直播、点播等不同服务的媒体信息构建OneMediaID,2)通过媒体流程引擎和凋谢服务注册构建对立工作流,3)通过对立工作解决流程、管道定义、参数模板构建对立媒体解决协定框架。 中间层为对于媒资库的对立设计,设计标准对标广电媒资,外围思路是通过对立的包含多种实体定义(如基于文本的关系型元数据库和基于特征值的向量元数据库)的动静元数据体系来反对不同状态媒资实体存储。 顶层为媒资的体系化,外围是两个体系:元数据体系与存储文件体系。关键词则是媒资体系的灵活性和自构建能力,提供不同客户可自定义媒资Structure和Value体系的能力。 03 媒体服务进阶技术:规模化挑战与全智能演进接下来介绍对于媒体服务的进阶技术,阿里云ToB业务以后面临的最大挑战是不同场景、不同客户带来的规模化技术挑战。 与C端业务反对绝对聚焦的场景不同,云视频业务因其多行业、多市场、多客户、多场景利用的背景使得高牢靠、低成本、高时效等规模化难度倍增。因而规模化对于视频云厂商而言,既是“特有”的机会,也是挑战。 阿里云视频云规模化技术的整体实现思路请见下图: 首先,咱们采纳了云原生架构作为整体实现框架,利用云的先天劣势做好弹性和按需解决,并且在视频云的IaaS层实现软硬一体、云边一体和云端一体。其次,媒体服务规模化技术的实现依赖算法、引擎、调度、分布式服务四层的相互配合,缺一不可。 以一个长视频超分加HDR的解决工作为例,分布式服务层在接受任务后负责进行流程剖析和编排,并将工作指令发送至调度层,调度层负责根据工作参数进行预处理和并行拆分,引擎层负责根据拆分后果组织最优算法实现工作执行。繁多工作尚且如此,海量工作高效且有品质的实现则更须要四层之间的配合。 规模化技术中的一项关键点为媒体引擎的单任务优化。 无论如许海量和大规模的媒体解决与生产工作,最终仍需被拆分为单任务进行解决,它可被看做规模化的基石。从上图中媒体解决的规范流程来看,引擎侧需综合思考单任务全链路环节的稳定性、老本、性能以及时效性。 咱们通过末端异样感知(稳定性优化)、多维度性能优化(利用算法工程优化、指令集优化、硬件加速优化和联合业务策略优化来优化单帧解决工夫,进一步降低成本)、工作Quota动静调整(调度层根据引擎层动静反馈最优调整资源池配置,以节约老本)和单任务的分布式解决(将简单工作拆分解决)实现单任务优化。 媒体引擎对基础设施的多样性反对,配合逐层递进的分布式媒体调度与PaaS服务,可放大规模化成果。 媒体引擎能够更好地联结调度层做好水位和资源池管制,实现降本增效。而业务层和引擎层程序间接接触业务个性自身,对其十分敏感,咱们还能够和业务层的规定引擎更好配合,将不同客户场景要求、工作解决模式(规范模式、重视时效性的高倍速模式、重视资源独占的独享模式和重视老本的闲时模式)与任务调度、资源调度、原子服务在引擎层的执行进行逐层递进的配合,从而实现多场景和海量视频的高并发解决。 接下来介绍三个对于规模化技术的实际。首先,是最常见的对于短视频高时效性与老本均衡的实际。 短视频时长短、数量多,客户对视频解决的耗时容忍度较低,同时对老本管制的要求较高。在该场景下咱们次要思考多指标的兼顾与均衡,采纳了单任务性能优化、媒体文件预处理,媒体解决多策略抉择的三重优化策略。 比方可通过精确剖析音视频流信息的秒级预处理为下一步决策提供根据,在某短视频场景中,客户抉择以可播放作为媒体解决主策略的牵引,如果源片可播即优先播放源片,如果源片不可播,能够优先播放低分辨率转码文件,实现疾速播放,如果源片有热度,须要高质量出现,可动静替换播放地址为高画质转码视频,或者间接应用动静多码率依据设施与网络的状况,动静抉择适宜的文件切片播放,最终再联合上图所示策略有针对性的进行单任务性能优化。 第二个实际是对于长视频的倍速解决。 在长视频的转码与剪辑解决中,时效性无疑是最大的痛点,尤其是当客户的行业是新闻资讯等须要疾速散发的场景时,则显得更加重要。与咱们上个版本的的高倍速并行处理技术相比,最新版本减少了三个个性:1)高倍速并行框架既反对单入多出的转码场景,也反对输出为多轨道/素材/成果编排的工夫线的剪辑场景;2)无论工夫线(timeline)的格局如何,咱们均反对在任意地位split,精度到帧级别;3)不依赖客户的被动配置,智能判断timeline是否适宜分片以及如何分片能拿到最高的收益。 第三个实际是对于高并发的实时媒体解决与生产。 它的特点与非实时的基于文件的媒体生产齐全不同,这场场景最大的痛点是在呈现突发状况的状况下保障稳定性和实时画面质量,由此咱们采纳了多资源池隔离&容灾互备、弹性伸缩、单流主动逃逸、多维度降级策略、无缝迁徙、帧级别流同步等技术来保障这一点,还会与流媒体网络的QoS紧密配合,保障客户观看实时流的体验。 那么该如何了解“规模化”与“全智能”的关系? “规模化”和“全智能”看似无关,理论在云计算场景下它们关联亲密,规模化全场景意味着AI对多业务的浸透,而AI的退出对媒体业务的时效性有较大晋升,AI+云计算则令海量的视频智能解决成为可能。总体来看,全智能是实现规模化无效的伎俩和办法,并且随着大模型技术的倒退,以前AI最被诟病的成果问题也有了相当的改善,媒体解决与生产的品质失去显著晋升。 咱们在规模化过程中也会沿用媒体服务的顶层设计思路,继续实际全智能利用。 ...

August 31, 2023 · 1 min · jiezi

关于云计算:智能远程监考方案下的线上等级考试变革

用指尖,「敲」下一段天马行空的设想。7月底,2023青少年人工智能编程程度测试(YCL)如期发展,10万+考生实现线上招考。 作为“青少年信息技术造就工程”的重点项目之一,青少年人工智能编程程度测试,由工业和信息化部教育与考试核心、中国电子教育学会、中国工信出版传媒团体——北京信通有限责任公司独特发动,以信息技术等级考试的模式,对学生的多学科综合常识把握、创造性思维、编程使用能力等方面进行测评,并为青少年提供相应能力证实。 YCL考试体系分为1-8级,采纳“对立在线考试”的模式,考生需自行筹备场地及电脑等设施,并在指定工夫内通过网络进行在线考试,而监考老师也散布在全国各地,只需同步线上监考而不受时空之限。 在这超大规模近程考试的背地,是信通传媒联结阿里云视频云,基于智能近程监考PaaS+解决方案打造的新版在线考试零碎。 16场考试,10万+流量并发组织大规模线上考试实属不易。 信通传媒在发展青少年编程等级考试的过程中,也遭逢显著的痛点: ➤ 规模大,零碎并发要求高。 本次编程考试为期两天,共组织16场考试,单场最高并发超过2万,两天共累计10万+推流,如此大的流量压力对近程监考计划提出了重大挑战。 ➤ 影响广,须要十拿九稳的牢靠。 作为由部委直属单位主办,且具备行业权威规范和高含金量的考试,一旦呈现任何问题,都有可能引发社会关注和舆论,因而保护考试的继续牢靠是重中之重。 针对这些外围痛点,阿里云在智能近程监考计划之上,为信通传媒量身打造应答之策。 其中,阿里云流媒体传输网络MediaUni“功不可没”,在底层网络对立交融的“加持”下,智能近程监考计划利用超低延时直播RTS2.0的推拉流能力,可能撑持10万+大规模流量并发。 为了保障考试的偏心牢靠,本次考试采纳双机位考生监测,通过主机位屏幕摄像头,以及侧机位手机摄像的形式,多视角实时监考考试全流程。同时,计划反对300ms内延时的1v1通信能力,满足突发状况下监考老师和学生之间双向沟通的须要。 主机位监考画面 此外,智能近程监考计划还反对考试全程的云端录制。在学生端两路推流之后,云端会将多路学生流混流成一路,并通过监考端的屏幕共享模式推流出去,进行录制并存储至VOD,保障考生考试内容全程可回溯的同时,也缩小视频录制的存储老本。 25宫格同屏监考 由此,在阿里云深厚技术储备之下,视频云撑持大规模青少年编程等级考试,并满足高并发、高牢靠、低成本的客户体验。 全流程考试服务保障在本次考试中,阿里云视频云还提供专家售后团队,对考试全链路重保,实现事先、事中、预先的全流程服务保障。 考前设施、网络自测。面对如此大规模的考试,考生机型繁多、网络环境简单,成为重保首先面临的一大难题。编程考试通常须要依靠于PC浏览器进行,而PC浏览器、操作系统庞杂,可能导致无奈推流监控的问题。 基于此,阿里云提供考生网络环境、考试设施的自测能力,当时查看考生的浏览器环境、摄像头、麦克风、网速等状况,并且让考生能够本人确认考试波及的画面、声音成果,帮忙考生在考前、或模拟考试阶段即可发现问题,无效晋升正式考试的效率。 PC考生端设施检测 考中异样考生发现与告诉。阿里云视频云超低延时直播RTS还为本次考试提供实时数据大盘,监测全副考生以后的推流状态,并对异样信息进行统计,能够及时发现、预警推拉流相干问题,告知客户并帮助客户解决。 考试实时数据大盘 考后技术复盘降级。在每场考试完结之后,视频云会依据本场考试状况以及后盾监测数据,复盘撑持技术并作出针对性调整,为下一场考试提供更好的服务保障。 除全流程保障之外,阿里云还特地为海内考生的考试保驾护航。 寒假是学生出国研学、游览的高峰期,难免会遇到考试期间考生正身处国外的情况,阿里云在重保过程中也充分考虑到这一点。 为了让国外考生也能顺利参加考试,智能近程监考计划依靠于底层网络MediaUni的寰球减速和智能组网能力,反对笼罩寰球的智能调度,并依据探测链路品质布局最优组网门路,保障海内考试网络环境的稳固牢靠。 正是依附阿里云高质量重保服务计划,能力保障编程等级考试的全链路平安稳固,最终实现考试期间零事变的顺利组考。 图片来源于《青少年信息技术造就工程》官网 MediaBox的「十八般武艺」近年来,信息技术产业高速倒退,人工智能产业已回升为国家策略,也带动了信息技术教育行业的欣欣向荣。 据艾瑞征询数据显示,仅国内少儿编程行业规模,就无望在2025年达到500亿元。 国务院明确要求施行全民智能教育我的项目,在中小学阶段设置人工智能相干课程,逐步推广编程教育。教育部也公布《2019年教育信息化和网络安全工作要点》,启动中小学生信息素养测评。 在市场助推以及政策激励之下,科技专长、强基打算频繁成为热词,STEAM理念深入人心,即Science(迷信)、Technology(科技)、Engineering(工程)、Arts(艺术)、Mathematics(数学)多学科综合素质造就,也催化了相似于YCL等级考试的时髦。 图片来源于网络 作为阶段性测验学习成绩的最佳路径,“考级热”风行一时,而这也为阿里云视频云MediaBox提供了用武之地,在信息技术教育的广阔天地中减速行业音视频数字化。 针对等级考试场景,智能近程监考计划正是基于MediaBox近程监考AUI Kit,助力企业低门槛从零开发监考零碎,在计划反对拿来即用的同时,也反对二次开发、灵便定制,让企业不仅能1小时跑通业务流程,还能够依据业务场景进行更好的性能适配。 信通传媒即是在近程监考AUI Kit计划的源代码根底上,参考代码实现逻辑,自定义开发出“模仿答题”板块,让考生提前相熟考试流程和模式,实现正式考试效率的最大化。 “模仿答题”示例 除近程考试场景外,MediaBox还提供涵盖宽泛音视频场景的低代码开发AUI Kits计划,如互动课堂、电商直播、企业直播等,基于对行业需要细致入微的了解,在泛滥音视频数字化场景中大展身手。 将来,也期待与更多教育行业搭档建设更严密的连贯,以音视频数字化技术为利器,推动素质教育的全民浸透。

August 31, 2023 · 1 min · jiezi

关于云计算:一文读懂-KubeSphere-企业版-40多品类生态价值赋能的里程碑

近日,青云科技 KubeSphere 团队变革后行,重磅公布了积淀数年、倾力打造的全新分布式云原生可扩大凋谢架构——KubeSphere LuBan,以及在此之上构建的化整为零、全能凋谢、随时随地自在集成的云原生操作系统——KubeSphere 企业版 (KubeSphere Enterprise, KSE) 4.0! KSE 4.0 不仅继承了之前版本的优良个性,还引入了全新的架构和生态搭档打算,为用户提供了更加弱小和欠缺的云原生解决方案。咱们置信,KSE 4.0 将成为企业在云原生畛域中的黄金抉择,为客户与合作伙伴带来更大的胜利和价值。 通过本文,咱们将回顾 KSE 4.0 从单品类平台价值赋能到多品类生态价值赋能的五年变质,并讲述 KubeSphere 对将来云原生生态倒退的深度思考与积极行动。 KubeSphere 很好,但也面临诸多挑战“云原生 +” 需要强劲近几年,云原生利用和服务迅猛发展,同一畛域的工具抉择变得丰盛多样,构建了全新的数字化生态,但仍难以满足简单发散、几何倍增的用户需要。而随着云原生与 AI、大数据、物联网和边缘计算等翻新技术的联合,利用跨度愈发增大,这无疑对底层平台的可扩展性提出了更高要求。 云原生软件供应链难治理对立管控和标准化对绝大多数企业来说都很重要。然而,企业数字化场景中波及的软件繁多,一一装置、保护和解决问题须要消耗大量人力。传统的集成形式不能充分利用 KubeSphere 的能力,也会升高安全性。因而,如何简化软件集成的复杂性、升高隐性治理老本,成为 KubeSphere 的思考重点。 产品迭代赶不上用户期待传统软件公布流程中,各组件无奈独自迭代,须要等所有组件实现开发、测试并通过集成后能力对立公布。这可能导致客户等待时间过长,无奈满足迫切的性能需要。同时,用户需要和场景倒退速度快,产品迭代频率难以跟上。 定制化开发需要难以满足此前 KubeSphere 各功能模块的代码严密耦合在一起,牵一发而动全身。在此基础上进行定制化开发、集成第三方产品,困难重重,即便相熟绝大部分功能模块,也须要小心翼翼,防止组件之间的抵触。各功能模块的集成形式也千差万别,难以提供统一的用户体验。 咱们要做云原生时代的操作系统KubeSphere 的每次大版本升级都为用户带来了极为丰盛的业务价值晋升,随着性能的重叠,整体架构愈发简单、惨重,从而带来了以上所述的各种挑战。为了解决这些问题,KubeSphere LuBan 云原生可扩大凋谢架构应运而生,并带来了全新个性——更统一、更灵便、松耦合、更自在、更凋谢。 鲁班(LuBan),是中国现代工匠的始祖。作为宽广劳动人民智慧与创造力的象征,他通过工具进步劳动效率,将劳动者从原始沉重的工作中解放出来,使土木工艺出现崭新面貌。KubeSphere 将全新微内核架构命名为 LuBan,借此寓意,期待为企业与开发者提供低成本、疾速迭代和灵便集成的云原生产品,并带来业余、全能和极富创造力的应用与开发体验。 KubeSphere 企业版 4.0 是什么?KubeSphere 企业版 (KSE) 4.0,是青云科技打造的全新云原生操作系统,不仅继承了之前版本的企业级资源与业务管理、一站式云原生解决方案等弱小性能,还能轻松实现利用的上下游联动、随时随地集成各类来自 KubeSphere Marketplace 的优质扩大组件,并提供无缝交融的业务能力与高度一致的产品体验。 企业级资源与业务管理KSE 4.0 反对纳管任意基础设施上的 Kubernetes 集群,实现全域对立治理。多租户权限体系确保平台管理员、集群运维和利用运维三种角色的正当调配,无效促成合作与管控。 一栈式云原生转型降级KSE 4.0 提供一站式的云原生解决方案,包含 DevOps、Service Mesh、容器化数据库、全局可观测度量、虚拟化治理和 AI + 云边协同等。 高度自在的场景化拓展基于 KubeSphere LuBan,KSE 4.0 反对扩大组件热插拔。用户能够将第三方的操作逻辑或工作流程灵便无缝融入到 KubeSphere 控制台,疾速实现场景化拓展。 ...

August 30, 2023 · 1 min · jiezi

关于云计算:ARMS-助力极氪提效服务应急响应为安全出行保驾护航

01 客户介绍与我的项目背景浙江极氪智能科技有限公司于 2021 年 3 月成立,2021 年 4 月公布极氪品牌及旗下首款产品——极氪 001。极氪是一家以智能化、数字化、数据驱动的智能出行科技公司,秉承用户型企业理念,聚焦智能电动出行前瞻技术的研发,构建科技生态圈与用户生态圈,以“共创极致体验的出行生存”为使命,从产品翻新、用户体验翻新到商业模式翻新,致力于为用户带来极致的出行体验。 截止 2023 年 4 月,极氪量产车交付曾经冲破 10 万辆,从 0 到 10 万辆,极氪用时仅两年,快于其余新权势品牌至多四年以上的工夫,继续刷新新权势品牌交付记录,这不仅是对“极氪速度”的展示,也是对“中国速度”最好的诠释。 为了保障好极氪汽车业务的疾速倒退和用户体验,技术团队除了放弃高效的性能迭代的同时,也在一直的夯实其零碎稳定性和应急响应能力。自 2023 年开始,大数据团队正试点推广面向极数BI业务的数字化稳定性治理建设。 极数 BI 是一款面向极氪经营治理全体系的可视化数据分析系统,已笼罩多个外围业务场景。极数 BI 不仅仅是一个报表工具,还提供了全域数据互联互通、智能化数据分析和全景数据可视化的性能,能够为其余业务“产生了什么、为什么产生、将要产生什么、如何应答”提供欠缺的数据撑持和辅助决策能力。突破数字鸿沟,发明数据价值,逐渐实现全业务域的经营过程观测与经营后果出现是极数 BI 的倒退指标。 为保障极数 BI 的数字化稳定性治理建设落地,极氪通过建设端到端的全链路可观测体系、企业级应急响应机制和跨部门团队的人员协同机制,以业务连续性保障为指标,实现了极数 BI 业务的“X分钟的故障发现与通报”、“X分钟的应急响应与故障定位”、“X分钟的故障复原”外围稳定性指标的达成。 02 我的项目落地时面临的挑战和需要云原生浪潮下,Serverless 因其全托管免运维、老本升高和弹性伸缩等个性正逐渐在引领下一代的利用架构。极数 BI 业务从立项之初就确定了 Serverless 化的方向,并基于阿里云 Serverless 利用引擎(SAE)胜利落地。利用 Serverless 化最大化限度加重了运维工作,然而在本身业务的数字化稳定性治理方面仍然面临较大挑战: 如何笼罩和收敛从基础设施到业务利用监控的全链路告警事件从前台业务数据、用户体验,到后盾应用服务性能,再到云服务及根底资源,即系统资源层、云服务应用层、业务监控层,尽管针对不同的服务模块都有对应监控,构建了绝对欠缺的指标监控体系,但因为微服务化后的服务模块泛滥、依赖简单,很有可能因为某个组件的异样或不可用导致整条链路产生大量冗余告警,造成告警风暴,从而造成运维团队疲于应酬海量告警信息,并且非常容易脱漏真正用于故障排查的重要音讯。因而,针对海量继续告警信息,如何进行告警合并,在保障不错过外围告警音讯的前提下克制告警音讯数量,成为了面临的重要运维难题。 如何构建对立的报警体系、通报机制和跨团队应急协同机制系统资源层、云服务应用层、业务监控层,为了监控这些简单的IT环境,因为各层资源分属不同的团队进行治理,导致采纳了多种监控零碎,例如 Prometheus、Grafana、Skywalking、阿里云云监控、阿里云 ARMS 等,以获取更全面的监控数据和更好的理解运行状态和性能体现。然而多种监控零碎的并存带来的其中一个显著问题是告警信息的扩散,不同的监控零碎产生不同的告警信息,通过不统一的形式通报给告警解决人,而告警的排查通常须要多个团队独特单干进行解决,犬牙交错的告警解决减少了人员响应的复杂性和工作量,疲于应酬的水平往往远超出了告警解决人员的日常负荷。 如何标准故障等级定义、应急处理流程和故障管理体系业务可用率是一套业务系统可靠性、维修性和培修保障性的综合反映。Availability = MTBF / (MTBF + MTTR),通常业界习惯用 N 个 9 来表征零碎可用性,比方99.9%(3-9 availability),99.999%(5-9 availability),零碎呈现故障的停机工夫间接反映了业务可用率。如何定义一套实用于极氪本身业务的故障等级定义、应急处理流程和故障管理体系将是保障极氪对外承诺的业务可用率的重要撑持伎俩。通过建设一个可遵循的标准、全流程闭环的故障管理体系,配合技术手段的晋升,能够无效升高故障产生的几率,缩短故障的 MTTR,最终使故障造成的破坏性趋近于 0。 ...

August 30, 2023 · 1 min · jiezi

关于云计算:极氪汽车的云资源治理细探

前言2021 年,极氪 001 迅速锋芒毕露,仅用 110 天便创下了首款车型交付量“最快破万”的纪录。2022 年 11 月,极氪 009 在短短 76 天内便率先实现了首批交付,刷新了中国奢华纯电品牌交付速度的纪录。2023 年 6 月,极氪汽车再次交付 10620 辆,成为放弃五个月间断同比增长的惟一奢华纯电品牌。至此,极氪 001 已成为寰球最快冲破 10 万辆销售的豪华车,再次稳居 30 万元以上纯电车型销冠。 在过来的两年里,极氪汽车业务减速倒退,数字化倒退部门面临微小挑战。作为反对公司履约交付、整车交付、领取结算等诸多外围零碎的技术部门,团队简直每天都须要应答不同规模的利用公布,且利用零碎所需的云资源耗费日益减少。之前,为确保业务疾速倒退失去无效反对,基础设施的整体架构不足顶层统筹规划,局势犹如横蛮成长。公司尽管在行业赛道中一直突破交付纪录,但疯狂增长背地,则是濒临失控的基础设施框架及老本收入,这种情况正对将来业务的可继续倒退,带来了极大的危险和隐患。 因而,从去年开始,技术中台团队制订了明确的技术指标,力求尽快成立专项小组,深度整治现有基础设施的问题。团队期待通过改良基础架构,为极氪汽车将来基础架构的可继续倒退保驾护航。 治理挑战摆在面前的第一个问题,就是云原生场景下的资源管理。 事实上,自 2021 年起,咱们便开始了微服务和容器化革新打算,90% 以上的服务以容器的模式构建和部署。晚期在探讨如何优化计算资源的配置时,惯例的做法是对服务器进行资源利用率检测,对利用率不超过肯定阈值的资源,依照 CPU /内存峰值用量调整即可。但在云原生环境下,因为 Kubernetes 为容器资源管理提供了资源申请(Request)与资源限度(Limit)的语义形容,使得利用能够超额分配在对应的服务器资源上,若只是简略的剖析计算资源利用率,而疏忽了资源的分配率,可能导致在下一次利用公布时,因资源有余而无奈调度容器到对应节点。 公司以后应用到阿里云及多个公有云平台,运行了数十个 K8s 集群,同时这些集群上承载了数千个 Pod 节点,在理论运行利用零碎时,许多服务的利用率并不高,造成了极大的资源节约。然而当咱们着手制订打算,心愿优化这部分资源时,发现诸多挑战: 资源管理复杂度高:相比于利用间接部署在服务器上,云原生架构的劣势在于对底层计算资源的治理更为精细化,以集群为单位的资源调度形式,对于晋升集群利用率有显著的作用。但与之带来的问题便是治理复杂度的问题。通过一个集群对立治理利用,尽管升高了总体资源老本,但使得分账、拆账变得更为简单,晚期为了可能解决各业务的分账以及权限管控等场景,职能团队别离创立了不同的 K8s 集群,给到对应的项目组,用于部署利用零碎,但集群的资源利用率并没有失去无效晋升。同时,随着业务的一直扩大,这些集群波及到不同部门、不同环境,版本已存在越来越大的差别。在利用部署时,因为管理人员的程度参差不齐,导致在日常运维及问题诊断时,非常耗时。资源分配不够智能:业务类别千差万别,有 B 端经营治理,也有 C 端的高并发利用,尽管 K8s 提供了资源分配的形式,然而对于运维公布人员来说,难以预判将来利用的实在流量状况,以至于难以正当调配 CPU /内存资源大小,仅依照教训参数对立给出默认规格配置。如何实现长期主义:在制订策略时,咱们放心此类静止式的架构优化流动,即使投入了大量的人力老本,也只能在短期内使得资源管理“看上去很美”,而随着业务架构的一直调整,又或者因优化资源产生稳定性影响之后,对将来继续经营治理资源的信念将会消减,从而使得本来的老本投入的边际收益趋向于零。业务指标为应答云资源治理方面的有余,以及不同云平台的能力差异,咱们曾思考过是否须要建设一套 CMP 多云治理平台,对所波及到的云平台及账号对立治理。然而在评估是否要立项时,咱们认为云原生时代下“以资源为核心”的多云治理理念,难以满足咱们对于利用架构设计的期待。这种治理形式,不仅开发成本极高,还须要适配多个云厂商的不同接口,并且对于资源管理的意义并没有设想中的大,只是解决了一部分资源开明创立的工作,但这并非是云原生环境下利用治理的外围场景及工作。 极氪以后的基础设施架构次要是以 K8s 集群为底座,这意味着只有可能治理好这些集群,便可能治理好资源,从而为下层的业务零碎提供更大的价值。于是,咱们在设计资源管理计划时,彻底摈弃了 CMP 的以资源为核心的多云资源管理理念,投向了聚焦于云原生基础设施的治理这一方向。 平台技术团队将此次在资源管理域的我的项目指标定义为:老本可见、用量可控、配置可管,而以后须要解决的问题包含: 老本洞察与剖析:设计更为精细化的老本均摊模型,看清各业务的老本收入状况,同时为不同业务提供 Pod 资源利用率的智能剖析,辅助运维部署工程师在利用公布时,正当设置资源规格;配置基线查看:针对现有部署脚本配置合规性问题,做基线查看,确保调整优化后的配置可能满足日常监控、故障自愈等场景;收敛 K8s 集群数量:在不影响业务的状况下,对局部业务量较小的闲散 K8s 集群进行合并,收敛集群数量,升高架构复杂度及治理老本;基础设施无状态化:思考到将来的出海业务可能部署在以后未笼罩的云厂商,咱们心愿以 K8s 作为规范技术底座,将基础设施尽可能做到无状态化,在利用公布过程中,仅须要改变大量参数即可实现利用的上线工作。计划选型老本摊销因为极氪以后大多数的利用部署在阿里云,基于二八准则,咱们首先调研了对于阿里云 ACK FinOps 的解决方案。对于极氪的以后的基础设施现状来说,ACK FinOps 套件是一个不错的抉择,其别离蕴含了集群、命名空间(Namespace)、节点池和利用四个维度的老本剖析计划。 ...

August 30, 2023 · 2 min · jiezi

关于云计算:Cloudpods-私有云平台有哪些优势

作为一套残缺的公有云管理软件,咱们常常会被问到 Cloudpods 和其余的同类产品相比,有哪些劣势?我总结了 2 个方面,供大家参考。 性能方面产品化,开箱即用,易用性较高,基本上都能够傻瓜式的操作,当然有些牵扯到技术层面的问题,也免不了会有一些业余的概念或者操作。 自动化装置部署裸机,反对自动化配置 RAID 卡,设置网卡 Bonding 等,和虚拟机共用镜像,像应用虚拟机一样应用物理机。 公有云的计量计费(企业版反对),反对针对CPU、内存、各种介质的磁盘等轻微力度的资源进行设置费率,同时也反对对不同租户、我的项目、组织架构设置不同的费率。 丰盛的高级个性,热迁徙、热扩容、热拔插设施、VMware v2v 迁徙、在线更换磁盘存储、反对大页内存、反对 SR-IOV 网卡透传、反对 NVME 设施透传、宕机主动迁徙(共享存储)、主备机(本地存储)、主动负载平衡等。 反对硬件辅助虚拟化,反对 NVME,网卡,国产算力卡等设施的硬件虚拟化和透传。 基础架构方面轻量,轻量化装置部署,只需 8核 16 GB 500 GB 硬盘就能够搭建一套公有云平台,能够管控近百台物理机。 性能好,基于 Golang 开发,采纳微服务架构,反对无缝大小版本的降级,可部署在 Kubernetes 之上,自带高可用架构。 丰盛的 API 接口,不便与企业现有零碎的集成,提供不限于 python, golang, java, php 等语言的 SDK。 以上是文章的次要内容,作为交融云/多云治理/公有云/FinOps 厂商,云联壹云会继续关注这些畛域的动静,分享相干的信息和技术,能够通过的官网(yunion.cn)或关注的公众号(云联壹云)来获取最新的信息,感激大家的工夫。 原文地址:https://www.yunion.cn/article/html/20230825.html 举荐浏览新版公布 | Cloudpods v3.10.4 和 v3.9.12 正式公布 新版公布 | Cloudpods v3.10.3 和 v3.9.11 正式公布 【客户案例】云联壹云助力某保险公司搭建私有云费用治理平台 【客户案例】云联壹云帮忙华北电力大学搭建 AI 训练平台 新版公布 | Cloudpods v3.10.2 正式公布 云联壹云交融云治理平台的 10 大利用场景 ...

August 29, 2023 · 1 min · jiezi

关于云计算:云原生周刊CNCF-宣布-KEDA-毕业-2023828

开源我的项目举荐KDashKDash 是一个用 Rust 构建的简略疾速的 Kubernetes 仪表板。它提供了一个终端界面,用于监督和治理 Kubernetes 集群。该仪表板具备多种性能,包含节点指标、资源监督、自定义资源定义、容器日志流式传输、上下文切换等。它还反对不同的主题和键盘快捷键操作。 fubectlfubectl 是一个开源我的项目,旨在缩小应用 kubectl 时的重复性交互。它提供了一些便捷的命令和别名,以简化 kubectl 的应用,并减少了一些额定的性能。 Canary checkerCanary checker 是一个基于 Kubernetes 的平台,通过被动和被动(合成)机制来监控应用程序和基础架构的健康状况。 ktailktail 是一个工具,用于不便地实时查看 Kubernetes 容器日志。它具备比 kubectl logs 更多的性能。该工具反对自动检测新增的 Pod 和容器,并能够同时跟踪多个命名空间中的多个 Pod 和容器。它能够依据名称和标签进行匹配,并默认跟踪一个 Pod 中的所有容器。它具备失败恢复能力,并提供更好的日志格式化和语法高亮性能。 文章举荐Kubernetes:Pod 和 WorkerNodes — 管制 Pod 在节点上的搁置这篇文章探讨了在 Kubernetes 中如何管制 Pod 在节点上的部署地位。它介绍了四种次要的办法来管制 Pod 在 WorkerNodes 上的部署: 应用节点污点(Taints)和 Pod 容忍度(Tolerations)应用 Pod 的 nodeName 或 nodeSelector应用节点亲和性(nodeAffinity)和节点反亲和性(nodeAntiAffinity)应用 Pod 亲和性(podAffinity)和 Pod 反亲和性(podAntiAffinity)此外,文章还波及了 Pod 拓扑散布束缚(Pod Topology Spread Constraints),即依据故障域(如区域、可用性区或节点)的规定来搁置 Pod。 应用 Sveltos 可控有序部署 Kubernetes 资源这篇文章介绍了如何应用 Sveltos 在 Kubernetes 集群中以受控和有序的形式部署资源。作者指出,在部署 Kubernetes 资源时,有时须要按特定程序进行部署,例如,在创立某种类型的自定义资源之前必须存在 CustomResourceDefinition(CRD)。Sveltos 能够通过容许您指定 Kubernetes 资源部署的程序来解决这个问题。 ...

August 28, 2023 · 1 min · jiezi

关于云计算:领域建模的体系化思维与6种方法论

背景软件工程师做的外围事件就是对事实世界的问题进行形象而后用计算机的语言对其进行从新刻画,在通过信息化来进步生产力。而这其中一个关键环节就是如何对问题域进行建模,在过来的工作中常常遇到一个问题是后期因为业务比较简单所以设计的模型在撑持时没有发现什么问题而随着业务复杂度的减少就会发现须要对模型进行降级,如果是对模型关系维度的新增那还好,而如果是对原有模型关系的重构,那将会变的十分艰难。本文心愿可能通过总结过来本人对领域建模的一点浅显教训给须要的同学能有些许启发,少走弯路。 总体思维对于如何建模并不是一个繁多维度的问题而是一个体系化的工程,咱们须要对其进行拆解而后一一攻破,如何建好模并能顺利落地能够拆分为四个子问题,1)对需要进行性能建模 2)对业务进行领域建模 3)将畛域模型映射到代码模型 4)依据代码模型落地数据模型。 需要模型:通过和产品及业务同学的沟通,联合行业教训和常识,明确用户的实在需要;畛域模型:基于需要模型,提炼出畛域相干的概念,为前面的面向对象设计打下基础;代码模型:以畛域模型为根底,综合面向对象的各种设计技巧,实现类的设计;数据模型:以代码模型类及类之间的关系,用ER图刻画数据的底层存储关系;还有一个重要的认知,领域建模并不是万能的,比方你做的零碎很简略,应用数据库的CRUD可能一个更好的形式(如上图中的虚线箭头),如果做的是基础架构,比方开发一个RPC框架,也不须要用畛域驱动。使用畛域驱动的前提肯定是业务足够简单且多变,须要零碎灵便反对。上面这个图供参考: 需要建模万事开头难,需要是我的项目最开始的输出,必定是十分重要的,但现实情况往往是当咱们接到需要后第一个想到的问题确是我该如何实现,而没有在业务思考这一块过多的停留。如果最开始了解的输出是谬误的,前面的过程再优良可想而知也只能是垃圾。为了解决这一问题,很多优良的大佬创造了很多对需要进行性能建模的工具,次要目标就是让咱们更好的了解需要并意识其背地的实质。如罕用的工具有5w2h、业务流动、用户旅程、商业画布等。这些在网上都有很多的材料,只举几个例子,不做重点介绍。 业务流动 用户旅程 商业画布 领域建模上面的每一种办法都是从某一个角度帮忙咱们更好了解客观事物,所以没有哪一种办法是万能的,在理论我的项目中经常要多种办法共用,才可能认清事件的全貌。 四步建模在咱们日常工作的我的项目中,大多数场景都能够通过在需要用例中通过找名称的形式来最终刻画出畛域模型,当然找到的名词后并不是所有的都符合要求,这时能够通过一条准则"一个名词或实体必有其属性和行为,一属性或行为也必归属于一个实体"来进行提炼,不合乎这条准则的名词就是需要剔除的。总体来说建模一共分为四步 选名词:从用例中选出所有名词,在去伪存真选出符合要求的;找动词:找出所有动词,在判断这些动词属不属于上一步选出的名词所具备的行为;加属性:找出所有属性,在判断这些属性属不属于上一步选出的名词所具备的特色;连关系:确定实体和实体之间的协作关系; 案例:用户购买商品 需要用例 建模步骤 第一步:选名词。从用例上选的名词如下:用户、购物app、商品、用户档案、用户名称、地址、商家、订单、子订单、领取形式、银行卡、支付宝、微信。通过这种形式能够很轻松的辨认畛域中的相干概念,但选取的名词并不一定都是畛域相干的,所以接下来还须要进一步的提炼。提炼过程 删除"购物app":购物app只是一个性能的载体,并不属于购买商品流量里的一个畛域概念,所以删掉删除"用户名称" :用户名称只是用户的一个属性,并不是畛域概念删除"地址" :地址只是用户档案的一个属性,并不是畛域概念删除"银行卡、支付宝、微信、领取形式":银行卡、支付宝、微信属于领取形式的一种具体模式,而领取形式能够归属为订单的一个属性,并不是独立的畛域概念所以最终提取的畛域实体是:用户、商品、用户档案、子订单、订单、商家 第二步:找动词。从用例上选的动词如下:选取、汇总、下单、保留、领取、勾销 找动词的目标是反向查看是否有脱漏的实体没有提炼进去,因为有些隐含的概念并不一定能在用例里找到,且一个动作必归属于一个实体。如果有发现动作没有归属实体只有2种状况,一是这个动作不属于这个畛域,二是有脱漏的实体没有提取进去。通过剖析 "选取" 是用户主观的一种行为,并不属于这个畛域所以删掉,"下单、汇总、保留、领取、勾销" 都属于订单的动作。 第三步:加属性。实践上产品同学要在用例上把模型的所有属性全部列进去,但现实情况不肯定能做到,这时除了用例还须要当面和产品对焦分明各个模型的属性。 第四步:连关系。关系次要表白模型和模型之间怎么合作 补充场景:比方 "一个客户想入驻平台成为一个服务商",依照上述办法提炼出动词"入驻",但会发现其并不适宜成为"客户"、"平台"、"服务商"实体的行为,因而能够反向推出还应存在另外一个实体"入驻申请单"的概念,"入驻" 这个动词更精确的叫法是"申请入驻"。 归类分组归类分组,就是把具备相似性或相关联的信息,依照肯定的规范进行分类,归为同一个逻辑领域。“类”是一个极其重要的概念,能够看作实质雷同或类似的事物的汇合。分类就是依照肯定的规范,依据对象属性、特色的共同点和不同点,将对象划分为不同的品种。分类时,须要对这些类别进行鉴定、形容和命名。 分类在生活中无处不在。通过分类,一方面能够把杂乱无序的事物辨别开来;另一方面还要赋予不同类别以稳固的、概念化的名称。一个好的命名,可能简洁无力地表述事物的实质。分类的过程,就是探寻事物和问题实质的过程。 如何用归类分组进行领域建模能够分为3个步骤 第一步:定义要建模的畛域问题:也就是要分明咱们要解决的问题是什么? 第二步:对畛域问题进行拆解:对问题进行剖析拆解,造成平铺的多个子问题,此步骤能够尽量发散 第三步:归类分组:对子问题进行归类,剪枝,将趋同的子问题,合并成一类(能够了解问产出实体) 案例:生存服务类商品 生存服务类商品场景 预约类商品(KTV预约、休娱预约、丽人预约等):能够依照周期设置每周的价格;反对设定节假日的价格;业务特点:商品价格同样呈周期性变动,有非凡日期以及不可用日期;计价形式包含按人、按间 场馆预约类 归类分组建模过程: 第一步:定义要建模的畛域问题:从下面的售卖商品场景能够看出一个商品有多个价格;而决定这个价格的是由一系列的因子决定的,有可能是0个也可能是多个;如何用一套齐备的价格模型来反对这些场景是须要解决的问题;第二步:对畛域问题进行拆解:列举出所有商品价格的场景; 第三步:归类分组:按人群、日期、阶梯、座位等类型,能够对立形象为价格的不同"维度"原价、起拍价、保证金、评估价等能够看做室价格的不同类型所以一个价格由什么决定:sku的价格 = 价格类型 + 价格维度 + 具体价格,具体形象过程如下: 第四步;产出畛域模型 案例:本地通商家成长 商家成长:为不同层级的商家门店下发不同类型的工作,实现对应的工作,商家会获取到对应的权利,进而帮忙商家在平台的不同阶段可能更好的成长。 第一步:定义要建模的畛域问题,针对门店维度为商家建设一套工作体系,不同的门店能够下发不同的系列工作第二步:略第三步:1.根底装修、商品优化、服务评估等属于一个维度,能够形象为"工作流"2.门店图、手艺人、是否有品牌故事等属于一个维度,能够形象为"工作"3.而由"门店图、手艺人"等工作组成的根底装修,能够形象为"工作组"4.门店图片里又蕴含指标和实现的跳转动作,能够别离形象为"工作指标","工作动作" 第四步;产出畛域模型 事件风暴为什么引入事件风暴。事件风暴之一的作用就是拉通业务方、产品、研发、测试对业务知识的对立了解,防止各方了解误差。但在实际操作中受限于各方工夫协调的难度及领域专家的角色的缺失,事件风暴往往作为了解业务,领域建模及畛域划分的利器去应用。 什么是事件风暴。事件风暴是一种以工作坊的形式对简单业务畛域进行摸索的高效合作办法,事件风暴强调以事件驱动团队摸索剖析业务畛域。 一种捕捉行为需要的办法强调以先发散后收敛的形式发展相干干系人合作的形式进行重视对畛域事件的辨认事件风暴相干元素 事件:重要且已产生的事件。命名形式:实现时+被动语态=宾语+动词过来式命令:产生事件触发的动作角色/执行者:触发命令的主体,包含:人员、零碎、定时工作读模型:执行者决策执行命令时参考的视图元素事件风暴操作流程 辨认重要事件辨认命令辨认执行者和读模型辨认畛域对象产出畛域模型 案例:销售根底 产品截图 ...

August 28, 2023 · 1 min · jiezi

关于云计算:Kubernetes-对接-GlusterFS-磁盘扩容实战

前言知识点定级:入门级应用 Heketi Topology 扩容磁盘应用 Heketi CLI 扩容磁盘实战服务器配置 (架构 1:1 复刻小规模生产环境,配置略有不同)主机名IPCPU内存系统盘数据盘用处ks-master-0192.168.9.912450100KubeSphere/k8s-masterks-master-1192.168.9.922450100KubeSphere/k8s-masterks-master-2192.168.9.932450100KubeSphere/k8s-masterks-worker-0192.168.9.952450100k8s-worker/CIks-worker-1192.168.9.962450100k8s-workerks-worker-2192.168.9.972450100k8s-workerstorage-0192.168.9.812450100+50+50ElasticSearch/GlusterFS/Ceph/Longhorn/NFS/storage-1192.168.9.822450100+50+50ElasticSearch/GlusterFS/Ceph/Longhornstorage-2192.168.9.832450100+50+50ElasticSearch/GlusterFS/Ceph/Longhornregistry192.168.9.802450200Sonatype Nexus 3共计1020405001100+ 实战环境波及软件版本信息操作系统:openEuler 22.03 LTS SP2 x86_64KubeSphere:3.3.2Kubernetes:v1.24.12Containerd:1.6.4KubeKey: v3.0.8GlusterFS:10.0-8Heketi:v10.4.0简介之前的实战课程,咱们曾经学习了如何在 openEuler 22.03 LTS SP2 上装置部署 GlusterFS、Heketi 以及 Kubernetes 应用 in-tree storage driver 模式对接 GlusterFS 做为集群的后端存储。 明天咱们来实战模仿生产环境必然会遇到的一个场景,业务上线一段时间后 GlusterFS 数据盘满了,须要扩容怎么办? 基于 Heketi 治理的 GlusterFS 数据卷扩容计划有两种: 调整现有 Topology 配置文件,从新加载应用 Heketi CLI 间接扩容(简略,倡议应用)实战模仿前提条件: 在已有的 GlusterFS 100G 数据盘的根底上,额定增加了 2 块 50G 的磁盘,用来模仿两种数据卷扩容计划。为了模仿实战成果,事后将已有的 100G 空间消耗掉 95G。本文的实战过程与操作系统无关,所有相干操作均实用于其余操作系统部署的 Heketi + GlusterFS 存储集群。 磁盘空间有余故障模拟创立新 PVC编辑 pvc 资源文件 vi pvc-test-95g.yaml---apiVersion: v1kind: PersistentVolumeClaimmetadata: name: test-data-95gspec: accessModes: - ReadWriteOnce storageClassName: glusterfs resources: requests: storage: 95Gi执行创立命令 kubectl apply -f pvc-test-95g.yaml # 执行命令不会报错,然而 pvc 状态会处于 Pending 状态查看报错信息查看 Heketi 服务日志报错信息# 执行命令(没有独立的日志文件,日志间接输入到了 messages 中)tail -f /var/log/messages# 输入后果如下(只截取了残缺的一段,前面始终循环输入雷同的错误信息)[root@ks-storage-0 heketi]# tail -f /var/log/messagesAug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #0Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #0Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #0Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #1Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #0Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #1Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #2Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] INFO 2023/08/16 15:29:32 Allocating brick set #3Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] ERROR 2023/08/16 15:29:32 heketi/apps/glusterfs/volume_entry_allocate.go:37:glusterfs.(*VolumeEntry).allocBricksInCluster: Minimum brick size limit reached. Out of space.Aug 16 15:29:32 ks-storage-0 heketi[34102]: [heketi] ERROR 2023/08/16 15:29:32 heketi/apps/glusterfs/operations_manage.go:220:glusterfs.AsyncHttpOperation: Create Volume Build Failed: No spaceAug 16 15:29:32 ks-storage-0 heketi[34102]: [negroni] 2023-08-16T15:29:32+08:00 | 500 | #011 4.508081ms | 192.168.9.81:18080 | POST /volumes通过下面的模仿演示,咱们学会了在 K8s 集群中应用 Glusterfs 作为后端存储时,如何判断数据卷空间满了。 ...

August 28, 2023 · 11 min · jiezi

关于云计算:基于智能远程监考方案云上艺考打造考试新范式

一封来自国内顶尖艺术院校——中国美术学院的感谢信,让阿里云团队惊喜不已。 原来,在往年的本科招生考试中,中国美术学院基于阿里云视频云的“智能近程监考”PaaS+解决方案,胜利创始“云上艺考”模式,保障海内外4万+考生顺利完成线上艺考。 图片来自公众号《中国美术学院学生处》公布的文章“4万余名考生实现中国美术学院2023业余初试线上大考” 千年艺考史的改革在中国,艺考历史源远流长。最早可追溯到汉代,鸿都门学以尺牍辞赋、字画小说提拔人才,创始艺术专科学校之先河。到北宋期间,宋徽宗设立画学,并将绘画并入科举取士之列,成为现代美术教育之滥觞。 直至二十一世纪初,在高校扩招的加持下,“艺考热”初步冒头并疾速升温,近年来无关“艺考热”的话题更是不绝于耳,2023年艺考生人数超140万人,俨然已呈燎原之势。 回望煌煌艺考史,千年过来,一言以蔽之,仍旧还是考生的“千里赶考”。 与一般高考生不同,艺考生既要加入全国对立的高考,又要加入艺术院校组织的专业课校考或省级统考。通常,艺考生需首先取得报考业余如美术、音乐、舞蹈、影视表演的合格证实,再联合高考文化课问题择优录用。 当代这百万艺考大军的背地,意味着大量级的 “耗费” 。 考生疲于奔命:艺术类业余院校考程密集,校际考试常有抵触,考生在艺考集中期简直都面临过学校取舍难题,而无奈逐个参考心仪院校。同时,校考考点个别都散布在一二线城市,长距离的各地奔走,也须要考生本人承当线下赴考的所有工夫、经济老本,让很多艺考家庭均是不堪重负。 院校劳心劳力:组织专业课的线下考试须要投入大量的人力物力,如,2023年中国美术学院录取1000个名额,竟有9万考生报考,能够说各大艺术院校每年都要举全校之力大规模组考。 社会反对源源不断:艺考期间,各学校属地管理者须要大量资源反对,来解决交通、治安、饮食、消防、卫生等联防联控问题。 为了保障考试有序发展,保护教育的偏心公正,能够说,以往的线下艺考模式尽管无效,但不计成本,因而效率很低,节约了大量资源,更重要的是很难保障每个考生的偏心和平等。 那么,如何保障艺考的效率与偏心呢? 一场效率与偏心的保卫战疫情的暴发让艺考迎来重要拐点,局部校考勾销、考试工夫一再延后等一系列变动随之而来。 面对时局的压力,中国美术学院独创“云上艺考”的数万人线上艺术考试,从应答疫情的被动之举,化危为机,转为被动寻求数字化改革的翻新之举。 将万人艺考胜利迁徙到线上,用中国美术学院信息技术部严侃主任的话来说是:也曾踩过不少“坑”。 比方,云上考试开考/交卷时,面临微小的流量压力。对于考生而言,开考铃声后的每一秒作答工夫,都代表着“上岸”心仪院校的一分心愿。考卷要百分之百准时送达到每位考生设施中,而不能是99.99%,因为这就示意一万个人里有一个人没有失去偏心的待遇。 再比方,艺术考试通常时长都较长,特地是美术类业余考试,动辄3小时起,全程高清监考须要更多的监考人力,而多路流长时间的视频录制则会造成微小的带宽压力, “学校的网络基本扛不住!” 。当然,在长时间的线上考试中,考生也难免会遇到因网络异样而掉线的突发状况,这些监考“盲区”都对云上艺考提出了新的挑战。 基于此,阿里云视频云智能近程监考PaaS+解决方案,迎难而上。 针对微小流量压力,云上艺考依靠于阿里云MediaUni多元交融流媒体传输网络,反对10w+大规模并发,并实现全程视频实时监控以及考试指令的通信传播,反对考生与监考老师之间的一对一实时通信,满足延时300ms以内的连麦需要。 面对海量视频内容,视频云媒体解决平台反对云上25路流实时混流成1路,考生端仅需推送一路720P的高清视频,在云端录制存档的同时,转码输入240P的视频流到监考端,缩小了60%+的带宽压力。如需查看某个考生的清晰画面,监考老师只需点击进入高清察看模式,即可将画面切换回720P,实现高清监考。 16/25屏同屏监考 高清察看模式 同时,云上艺考采纳“云端+本地”双录,当考生端呈现断网情况时,主动启用本地离线录制并上传存储至OSS,在网络异样时仍能保障考试过程的有据可依。 “感激阿里云,陪咱们一起踩过这些坑”,国美严主任如是说。 基于阿里云视频云的技术储备,中国美术学院通过低代码疾速集成,在1个月工夫内实现从0到1的近程监考平台搭建,让考生只需2部手机接入即可参加云上艺考,大大晋升艺考的效率。 与普通考试不同,云上艺考的“偏心保卫战”则更具挑战。 因为艺考业余品种繁多、考试重点监测考生的行为不同,云上艺考可依据考试场景不同分为四种模式,别离是实时监考模式、视频录制模式、直播面试模式和文化课考试模式。 ➤ 实时监考模式,由2台手机装置考试app后,配合双机位监考并全程录制监考过程。考试实现后,考生需在限定工夫内上传考试作品图片和视频,实用于美术、书法等考试时长较长、地位较为固定的业余考试; ➤ 视频录制模式,零碎随机抽取指定批次题目,考生依据各阶段语音指令,在指定工夫内自主实现考试并进行考试视频录制上传,实用于播音、表演、舞蹈、音乐等考试时长无限,又须要较大展现空间的业余考试; ➤ 直播面试模式,考生在指定工夫内进入直播间考试,一次只考核一名考生,其余考生在候考室等待,全方位模仿复试、研究生考试等面试考试场景; ➤ 文化课考试模式,反对“单选、多选、判断、名词解释、论述题”等多种题型,并随机抽取考题,实用于考核基础学科、文化课、主观题等常识把握类的考试场景。 依据不同艺考业余的特点,阿里云采纳不同监考计划,反对中国美院美术、书法、复试等考试场景,对症下药保障考试偏心。 在实时监考场景下,阿里云视频云采纳主机+辅机双机位模式,保障考生考试全程、无死角监控。 举个例子,在艺考中占据“半壁江山”的美术专业考试,要近距离取景整块画板以及考生作画过程,则需将主机设置于画板与考生身材一侧。 美术类机位摆放 而在书法考试中,考生将纸张置于桌上写字,则需将主机位设置于桌前斜上方,拍摄监控书写全过程,保障书法内容出于考生自己所作。 书法类机位摆放 有考试就须要有防舞弊。为了防备考试的违规违纪行为,云上艺考在施行之初,就把考试的公平性放在首位,并设置了多种防舞弊措施:考前多重身份认证杜绝替考景象;考时一人一档双路录制,即时云存储考试视频,确保每位考生的考试全程清晰可回溯;考后在视频监督下拍照上传,保障考试内容的真实有效。 从场景复杂度来看,云上艺考比普通考试的防舞弊难度更大。借助阿里云“云+端”防舞弊能力,云上艺考可防备考试过程中的多种违规行为,禁外接、禁投屏/分屏/录屏/截屏、禁视频编辑等,无效躲避别人帮助舞弊和篡改内容。 同时,阿里云近程监考计划还与考生“斗智斗勇”。考生在本人的监考机位中看到的画面仅为实在画面的80%,而监考老师看到的则是残缺的推流画面,通过这样“渲染画面缩减”的形式,“火眼金睛”发现考生违规行为。这也是针对实在场景的360度精密思考。 学生看到的画面:是推流画面的80% 监考老师看到的画面:残缺的推流画面 此外,针对近程监考场景,阿里云视频云最新推出AI防舞弊SDK,将对人体行为、电子产品、衣物、环境等进行监测,可无效辨认低低头、转点头、多人、戴耳机、打电话、戴围巾/帽子、人声等存在舞弊可能的行为,从而大大加重监考累赘,在保障效率的同时,实现教育偏心的最大化。 MediaBox,为了「所有人的艺术」技术的倒退,在便当日常工作学习的同时,也为艺术带来了更多可能。 例如,基于大规模云渲染技术,演出“中国式诗歌浪漫”的电影《长安三万里》,以全球化多端交互,打造河汉冒险策略类云游戏《崩坏:星穹铁道》,技术与艺术正在有机交融,跨界新生。 破新艺术教育,中国美院推出了“洞天”元宇宙的艺术生态社区,为寰球艺术家、设计师、创作者提供互动、翻新的平台;公布了MAA元宇宙艺术学院,为寰球艺术教育营造“元入口”,以超沉迷的课程主题世界、超视听的展演交感剧场、超维度的混合事实入口,为每个爱艺术之人拟造一所学院。 宇宙为学校,天然是吾师,视频云技术恰好是打造艺术现场的最佳利器。 将来,在云计算的加持下,艺术教育线上化水平加深,云上联动或将成为支流。云上艺考是艺术教育行业数字化的一次胜利摸索,然而,艺术教育,远远不止考试。 随着社会对艺术类人才的需要走高,以及公众对于美育的器重水平加深,艺术教育赛道呈整体增长态势。据艾瑞征询数据统计,2023年艺术教育市场规模预计达到2626.3亿元。 除艺考培训外,艺术考级风头正盛、成人“学艺”一直衰亡,艺术,不只是艺考生和艺术家的艺术,而是所有人的艺术。 阿里云也正在为这一愿景而致力。基于对教育行业音视频场景的层层了解,视频云针对在线监考场景推出智能近程监考PaaS+解决方案,针对远程教学场景推出互动课堂AUI Kit计划,以及其余一系列MediaBox终端SDK和低代码开发计划,减速艺术教育行业音视频数字化的同时,为每个真正酷爱艺术的人发明更多可能。 此前,阿里云视频云也正式公布了生态单干打算,期待与更多艺术、教育行业的生态搭档一起,为“所有人的艺术”关上新世界的大门。 ...

August 25, 2023 · 1 min · jiezi

关于云计算:计算巢实现大模型微调如何发布一个微调服务

前言各位看官,最近是否被大模型相干信息刷屏了呢,铺天盖地的大模型预训练、微调等各种关键词是否让你目迷五色呢?在如此热度之下,你有没有想过本人亲自动手部署一个大模型执行训练或者微调呢,或者你已经尝试过却被某个繁琐的步骤劝退了呢?又或者你是模型的钻研人员或开发人员,想要让你的模型服务更多用户、有更大的影响力?如果你有本人的根底大模型供应其他人精调,却苦于难以部署、难以让用户上手应用等各种问题,来试试计算巢吧,你的这些问题都将迎刃而解! 依照传统形式,想要对一个大模型进行微调一共须要以下这些步骤: 首先须要创立云资源或者应用线下资源,而后装置各种GPU驱动和各种依赖环境。接着须要本人编写微调脚本或者找一些开源的微调办法,而后就是一系列的pip install或者conda install。运气好的话,你的微调可能顺利run起来,可是稍有差池,兴许就会抛出各类谬误让你解体。讲到这里有没有勾起你苦楚的回顾呢?没关系,计算巢将为你彻底解决这些懊恼!!! 本文将以ChatGLM高效微调为例,为各位展现在计算巢中如何公布一个可能实现大模型的零代码微调的服务。 服务部署步骤1.服务镜像筹备本文是基于ECS镜像进行部署的,所以第一步请在ECS控制台制作蕴含ChatGLM高效微调代码和运行环境的ECS镜像。接下来请拜访计算巢创立关联该镜像的部署物。填写部署物的根本信息并抉择关联刚刚创立的ECS镜像即可实现部署物的公布。 2.服务信息填写登陆到阿里云计算巢控制台点击创立服务进行服务新建,填写您要公布服务的根本信息。 3.部署信息填写3.1 资源编排模版填写接下来重点来咯~在服务部署信息中,咱们须要填写ROS模版或Terraform模版来定义咱们所须要的资源和资源之间的依赖关系,文末给出了示例模版链接供大家参考。您也能够在ROS可视化编辑器中尝试编写本人的模版! 3.2 部署物关联如果您的模版胜利通过校验,那么祝贺,咱们的部署过程曾经胜利一大半了! 在后面咱们曾经筹备好了部署物,当初能够派上用场了。点击设置镜像关联,在实例创立时将主动基于咱们的自定义镜像拉起实例。 如果您不想要通过镜像关联的形式,也能够在ROS模版中定义RunCommand来初始化您所须要的环境,能够依照爱好随便抉择两种形式中的一种。 3.3 运维编排模版填写接下来还剩最初一步:定义微调运维操作。 运维操作是指应用通过运维编排(OOS)对创立的资源进行自动化运维。简略来说,在这里咱们的目标是利用OOS及其集成的能力向指标ECS下发微调指令。 您在微调中须要的参数以及各种限度关系都能够通过您编写的OOS模版进行填写或抉择。这些参数最终将组装成为Shell或Python脚本下发到指定ECS上从而执行微调工作。编写好的模版出现成果长上面这样 : 微调操作中的参数是通过OOS模版Parameters字段设置的,而Parameters中设置的参数最终会在RunCommand中被援用,上面给出一个简略的示例帮忙您了解OOS模版。具体示例参考文末给出的示例模版链接。 FormatVersion: OOS-2019-06-01Description: 执行指定微调脚本运维操作Parameters: regionId: Type: String Label: en: RegionId zh-cn: 地区ID AssociationProperty: RegionId Default: '{{ ACS::RegionId }}' workingDir: Type: String Default: /root/ChatGLM-Efficient-Tuning Description: 脚本执行门路 ...Tasks: Properties: commandContent: |- #!/bin/bash write your finetune script here workingDir: '{{workingDir}}' instanceId: '{{ ACS::TaskLoopItem }}' commandType: RunShellScript timeout: '{{timeout}}'与ROS模版相似,咱们也提供了一个执行ChatGLM微调工作的OOS模版供您参考,或者您也能够在OOS控制台编写您的OOS模版来定制运维操作。 ...

August 24, 2023 · 1 min · jiezi

关于云计算:微短剧赛道风口下的一站式点播解决方案

微短剧行业正风生水起。一种全新的剧集模式正迅速崛起,并引起宽泛关注。 从线下电影院的“巨幕”到PC端“网络大电影”,从“长视频”再到现在挪动端1-3分钟的“微短剧”,影视行业在过来几年经验了一场粗浅又显著的变动。 微短剧,工夫耗费低,情节环环相扣、引人入胜,短短几分钟就可以看完一段残缺的故事,这样“高频爆点”的内容模式显然合乎“碎片化”流传之风,迅速霸占了公众的生存间隙。 是“过眼云烟”的伪风口吗?在以后内容生产需要多元的背景下,微短剧倒退的“分水岭”也逐步浮现。 起风了,微短剧行业微短剧倒退正处“风口”并非脱口而出。 据《中国网络视听倒退钻研报告(2023)》显示,微短剧曾经成为了视听新“势”力。 图片起源:《中国网络视听倒退钻研报告(2023)》 该报告显示,截至2022年12月,网络视听用户规模达10.40亿,微短剧的受众规模也随之疾速扩充。近半年内,看过3分钟以内的微短剧、微综艺、泡面番的用户比例已达50.4%。 亮眼的体现也体现在泛滥“赛道参与者”上。 各大长、短视频平台纷纷入局并一直“加码”,相继推出分账、搀扶打算。如:优酷的“扶摇”打算;快手的“星芒政策”;抖音将通过电商数据买通、付费和激励等形式助力变现;百视TV将把微短剧与自在电商业务联合...... 此外,随着IP内容版权商、影视制作商、MCN机构积极参与这一新赛道,仅在2022年上半年获得备案号的微短剧便已达到2859部,总集数达69234集、同比增长618%。 微短剧行业的倒退未然出现盛放之态。 “分水岭”:精品or精准?制作上周期短、成本低、危险绝对可控,剧情上高频爆点、强爽感、收场钩子狠,观众直呼“我是土狗我爱看”。显然可见,微短剧是影视行业谋求“降本增效”大环境下,少见“逆势上扬”的内容市场。 对于越来越多的创作者和泛滥头部公司的纷纷入局,也意味着微短剧行业的“内卷”加剧。 选题同质化难出爆款?“精品化”趋势带来老本晋升?盗播、盗传带来的外围资损...... 微短剧“精品化”的下半场,咱们应该“卷”什么? 举几个阿里云察看到的行业痛点作为例子。 一是制作老本。微短剧行业的次要生产模式是PGC(Professionally Generated Content,业余生产内容),依照规范流程生产的视频如果间接投放到挪动端,必然会造成分辨率和码率的冗余。 例如,一个规范生产的78秒微短剧视频文件大小为354MB,如果拿该原视频去散发,不仅会对用户带宽造成极大挑战,也无形中减少了散发、存储老本,造成经营老本居高不下。是否只能通过“就义画质”来“降低成本”? 二是用户体验。微短剧留住观众便靠的是“高频爆点”的间断刺激,视频结尾的黄金几秒钟尤为重要。当加载视频十分迟缓,或是中途“卡顿”冲淡了“强爽感”,用户散失是必然的。 三是视频平安。对于微短剧经营方来讲,内容版权和数据是其外围资产,且用户通常为付费观看。如果某个散发渠道呈现透露,盗播、盗传将会带来大量的损失,亟需无效伎俩进行监测和溯源。 痛点虽存,但微短剧仍承载着突破内容模式边界的更多设想可能。 风生水起的助推力微短剧行业须要造成“良币驱赶劣币”的正向循环。 如何帮忙行业降低成本及危险,将更多估算投入上游生产环节,进而进步原创内容生产力? 阿里云视频云推出“微短剧一站式点播解决方案”,从微短剧的存储分层治理、分成老本优化、播控体验到视频平安,提供一站式端到端的服务,带来老本、体验、平安三重保障。 微短剧一站式点播解决方案 大图 在不升高用户对音、画主观体验的前提下,利用视频云智能编解码窄带高清的技术劣势,最大水平压缩视频文件大小(包含视频帧率、码率、音频码率、编码方式),这意味着更低的CDN老本和存储老本。同时,播控环节通过播控策略的设置,在既满足用户观看体验的同时,实现最低老本的内容缓存,从而提供极致的散发老本优化。 针对短剧观看中有提早顿挫、滑动加载慢、弱网体验极差等问题,阿里云提供从应用层、DNS解析、TCP建联、音视频探测、音视频解码、预加载、缓存、渲染等一站式全链路剖析,并给出解决方案,让终端用户享受0首帧、0期待带来的丝滑、爆爽观看体验,助力微短剧经营方升高用户散失,晋升付费转化。 在视频平安层面,该解决方案通过从散发环节鉴权管制、视频加密播控策略、版权散发爱护等全站环节保障视频的平安,避免隐形老本的损失带来的经营危险。 极致的老本优化计划,爆爽倍增的丝滑观看体验,全链路的平安防护措施,成为微短剧在规模化、多元化、规范化的趋势下的必然之选。 微短剧行业正风生水起,阿里云视频云期待能与行业搭档一起深耕“风口”赛道,助力行业降本增效,改善产业环境,减速爆款、精品的诞生,成为社会价值与商业运作双赢的无效样本。

August 24, 2023 · 1 min · jiezi

关于云计算:共识协议的技术变迁-既要高容错又要易定序还要好理解

There is no compression algorithm for experience. -- Andy Jassy, CEO of AWS一、缘起共识协定,对于从事分布式系统研发的同学们来说真堪称是最相熟的陌生人。一方面,共识协定面向有状态分布式系统的数据一致性与服务容错性这两大难题提供了近乎完满的解决方案,绝大部分同学或多或少据说过/钻研过/应用过/实现过Paxos/Raft等经典共识协定;另一方面,共识协定确实很简单,事实上,学习并弄懂共识协定原理倒是没有那么难,然而要在理论零碎中用好用正确共识协定绝非易事,共识畛域外面的“双主脑裂”,“幽灵复现”等传说,也让很多同学望而却步。这篇文章与读者敌人们好好聊一聊共识这个技术畛域,冀望可能让大伙儿对共识协定的前世今生以及这些年的技术演进有个大体理解。虽说教训这种货色没有压缩算法,得本身一点一点实际过才真正算数,然而认知学习是能够减速的,所谓:今日格一物,明日又格一物,豁然贯通,终知天理。 咱们晓得,分布式系统最浮夸的指标是把一堆一般机器的计算/存储等能力整合到一起,而后整体上可能像一台超级机器一样对外提供可扩大的读写服务,设计原则上要实现即便其中的局部机器产生故障,零碎整体服务不受影响。对于有状态的分布式系统而言,实现上述容错性指标的无效伎俩绕不开赫赫有名的复制状态机。该模型的原理是为一个服务器汇合里的每台服务器都保护着雷同机制的确定无限状态机(DFSM,Determinate Finite State Machine),如果可能保障每个状态机输出的是完全一致的命令序列,那么这个汇合中的每个状态机最终都能够以雷同状态对外提供服务,同时也具备了容忍局部状态机故障的能力。 $$图1. 让分布式系统像“单机”一样工作的复制状态机模型$$ 图1展现了典型的复制状态机模型,在理论利用中,上文提到的状态机的命令序列通常会应用「只读可追加日志」来实现,即每个状态机上都保护着一个日志,日志外面保留着本状态机待执行的命令序列。在图1的例子中,每台状态机看到的日志序列都必须是严格统一的「x<-3」,「y<-1」,「y<-9」,...,每个状态机执行雷同的命令序列,对外出现的最终状态均为:x的值是3,y的值是9。显然,在复制状态机模型中,如何保障状态机之间数据统一的问题转换成了如何保障各台机器上日志序列统一的问题,这个成为了复制状态机模型最外围的挑战,而这,也正是共识协定神圣的职责(不容易呀,话题总算引回来了 )。 分布式共识协定的鼻祖,通常认为是Leslie Lamport提出的Paxos。这里有个乏味的典故,事实上Lamport在1990年的时候就向TOCS(ACM Transactions on Computer Systems)投递了《The Part-Time Parliament》这篇大作,通篇以考古希腊Paxos小岛为背景,形容了现代该小岛上议会制订法令的流程,冀望读者可能从中领悟出共识协定的精华,并且可能了解到大神的「幽默感」。奈何这种形容形式太过费解,编辑们没看进去这层含意,幽默感当然也没get到,后果即使这是大神投稿的文章也落得杳无音信的终局。工夫来到了1998年,编辑部在整顿旧的文献资料的时候,从某个文件柜中发现了这篇旧文并试着从新浏览了一下,这次终于意识到了这外面蕴含着的共识问题的武学奥义。最终这篇扛鼎之作得以重见天日!不过,实话实说,这个版本论文形容的确实是艰涩难懂,明天广为流传的解说Paxos原理的论文其实是2001年Lamport再发表的《Paxos Made Simple》。话说这篇Paxos论文的摘要挺节约版面费的,就一句话: The Paxos algorithm, when presented in plain English, is very simple.说实话,从明天的角度来浏览此文,Basic Paxos的思路确实是比拟好懂。咱们能够简略回顾一下,如图2中所展现的,Basic Paxos中一共有三类角色:其一提议者Proposer,其二接收者Acceptor,其三学习者Learner。基于实现就某个值达成共识这个具体指标,Basic Paxos全异步地经验如下三个阶段: PREPARE阶段,Proposer会生成全局惟一且枯燥递增的Proposal ID,向所有的Acceptor发送PREPARE提案申请,这里无需携带内容,只携带提案的Proposal ID即可;相应的,Acceptor收到PREPARE提案音讯后,如果提案的编号(无妨即为 N )大于它曾经回复的所有PREPARE音讯,则Acceptor将本人上次承受的决定内容回复给Proposer,承诺有二:不再回复(或者明确回绝)提案编号小于等于 N(这里是<=)的PREPARE提案;不再回复(或者明确回绝)提案编号小于N (这里是<)的ACCEPT决定; ACCEPT阶段,如果Proposer收到了多数派Acceptors对PREPARE提案的必定回复,那么进入决定阶段。它要向所有Acceptors发送ACCEPT决定申请,这里包含编号 N 以及依据PREPARE阶段决定的 VALUE(如果PREPARE阶段没有收集到决定内容的 VALUE,那么它能够自在决定 VALUE ;如果存在曾经承受决定内容 的 VALUE,那么Proposer就得持续决定这个值);相应的,Acceptor收到ACCEPT决定申请后,依照之前的承诺,不回复或者明确回绝掉提案编号小于曾经长久化的 N 的决定申请,如果不违反承诺,Acceptor承受这个决定申请; COMMIT阶段,如果Proposer收到了多数派Acceptors对于ACCEPT决定的必定回复,那么该决定曾经正式通过,异步地,Proposer把这个好消息播送给所有的Learners; $$图2. 原始Basic Paxos的根本流程,其实真的还挺简略$$ 以上就是根底版的Basic Paxos协定,完满地解决了分布式系统中针对某一个值达成共识的问题,其实也挺好了解的,对不对?然而,理论的分布式系统显然不可能仅仅基于一个值的共识来运行。依照图1外面的复制状态机模型的要求,咱们是要解决日志序列一系列值的共识问题呀。咋办?好办!直观地,咱们能够重复地一轮一轮执行Basic Paxos,为日志序列中每一条日志达成共识,这个就是通常所谓的Multi Paxos。这里的所谓一轮一轮的轮号就是咱们常说的Log ID,而前者提到的Proposal ID,则是咱们常说的Epoch ID。对于采纳Multi Paxos的有状态分布式系统而言,日志序列的Log ID必须是严格间断递增并且无空洞地利用到状态机,这个是Multi Paxos反对乱序提交所带来的束缚限度,否则咱们无奈保障各状态机最终利用的命令序列是完全一致的。这里须要课代表记下笔记,一句话重点就是: ...

August 23, 2023 · 3 min · jiezi

关于云计算:云原生周刊Kubernetes-v128-正式发布-2023821

开源我的项目举荐kurt一个 Kubernetes 插件,可提供 Kubernetes 集群中重启内容的上下文信息。 KubeanKubean 是一个基于 kubespray 的 Kubernetes 集群生命周期管理工具。 k8sgptk8sgpt 是一款用简略的英语扫描 Kubernetes 集群、诊断和分流问题的工具。 它将 SRE 教训编入其分析器中,有助于提取最相干的信息,并通过人工智能加以丰盛。 podinfoPodinfo 是一个用 Go 开发的小型网络应用程序,它展现了在 Kubernetes 中运行微服务的最佳实际。Podinfo 被 Flux 和 Flagger 等 CNCF 我的项目用于端到端测试和研讨会。 文章举荐Kubernetes 1.28:从平安角度看问题这篇文章是对于 Kubernetes 1.28 版本中引入的平安加强性能的总结。文章介绍了几个平安改良点: CEL-based admission policies 和 webhook match conditionsReduction of secret-based service account tokensEnsure secret pulled imagesContainer image signature handling based on sigstoreKMS v2 improvementsAuth API to Get Self-User Attributes构建 Kubernetes 集群——抉择工作节点大小这篇文章探讨了在构建 Kubernetes 集群时抉择工作节点大小的问题。它比拟了应用较少较大的节点和应用较多较小的节点的优缺点,并探讨了在工作节点中资源的调配和效率、可靠性和复制、扩大增量和工夫以及存储等方面的问题。 文章最初,作者提出了一些论断。它强调了在抉择节点大小时须要综合思考多个因素,包含资源利用效率、高可用性需要、横向扩大能力以及故障复原的效率。文章没有给出明确的论断是否应该总是抉择较大的节点,而是倡议依据具体情况进行衡量和决策。 ...

August 22, 2023 · 1 min · jiezi

关于云计算:新研究Gartner-公有云成本管理框架

2023年6月28日,Gartner 出版了名为《Beyond FinOps: the Gartner Framework for Public Cloud Financial Management》的私有云老本治理框架,旨在帮忙企业/组织应答私有云收入的挑战,同时抓住新机遇,推动更无效的 IT 应用。新框架包含了四个次要阶段:打算、跟踪、优化和赋能。每个阶段都进一步扩大为几个子能力,具体如下图所示: 通过遵循 Gartner 的领导,企业/组织将可能治理私有云收入,减少对 IT 老本的可见性,理解老本与业务价值的关系,并且避免老本刺客(从天而降的昂扬云老本)影响到数字化转型的收益。企业/组织还将应用该框架推动更高效和可继续的云服务应用,并建设一种广泛的老本敏感文化。换句话说,该框架使组织可能做出最佳的与老本相干的云决策。 随着越来越多的工作负载在后疫情期间的经济不确定性气氛中迁徙至私有云中,治理私有云老本的行业关注度一直减少。例如近日(2023年6月26日) IBM 发表将以 46 亿美元(约333.04亿人民币)的价格收买 Apptio,这是一家专一于 FinOps 软件的公司。 尽管这种关注度表明组织认为私有云老本治理具备弱小的价值主张,但因为云老本的炒作,他们也面临着在施行过程中被误导的危险。承诺的节俭可能难以实现,受到外部关系和优先事项的复杂性的妨碍。通过这个框架,Gartner 在云治理的更宽泛背景下提供私有云老本治理领导,并思考老本效率、性能、平安和生产力之间的衡量。 对于 Gartner 私有云老本治理框架以下内容是基于框架的解读,并非官网内容,仅供参考。 打算学习:深刻理解云服务、定价模型和与老本相干的因素,以做出理智的决策。 老本意识设计:将老本因素融入云解决方案的设计和架构中。 估算/预测:预测和估算与云服务、资源相干的老本。 跟踪分类:依据不同的规范(如我的项目、部门或团队)对云老本进行分类和归类。 调配和报告:将老本调配给相干的业务团队,并生成报告以加强老本可见性和责任。 事件诊断:辨认和考察任何不寻常或意外的老本收入,以便被动解决潜在问题。 优化治理容量和利用率:优化资源分配和利用,以最小化老本,同时满足性能要求。 架构优化:评估和优化云基础架构,利用老本效益高的服务和架构模式。 治理承诺:利用预留实例、节俭打算或合同等节省成本的选项来优化收入。 赋能老本回溯/老本摊派:通过向业务团队提供云应用和相干老本的洞察,提供透明度。 治理:通过监测和剖析来辨认老本超支或低效问题,并采取纠正措施。 激励:激励重视老本的行为,并激励团队为老本优化致力做出奉献。 以上是文章的次要内容,作为交融云/多云治理/公有云/FinOps 厂商,云联壹云会继续关注这些畛域的动静,分享相干的信息和技术,能够通过的官网(yunion.cn)或关注的公众号(云联壹云)来获取最新的信息,感激大家的工夫。 原文地址:https://www.yunion.cn/article/html/20230818.html 举荐浏览FinOps 利用入门指南 对于云老本治理和优化 FinOps,你须要晓得的所有 云联壹云交融云治理平台的 10 大利用场景 企业面对FinOps,到底能做些什么?总结了4个方面

August 21, 2023 · 1 min · jiezi

关于云计算:LVS专访阿里云席明贤从视频云20到数能生智的超长畅谈

这是一篇人物专访,源自LiveVideoStack与阿里云视频云负责人席明贤(花名右贤)的对话。面对风云变幻的内外环境,阿里云在视频云赛道是动摇向前的,右贤没有回避多媒体当下行业面临的艰难以及业务面临的挑战,作为多媒体圈的新人,他用了很多工夫调研理解市场和客户,他动摇地抉择ToB作为突破口,他认为AI将把视频云降级到2.0,他说(容许团队)拿出更多的研发资源去做产品翻新钻研,投资技术不怕失败。 策动 撰写 / IMMENSE ABCDE,到Video想用英国诗人托马斯·艾略特的作品,来照亮一个人的收场。 1934年的《The Rock》,是DIKW模型的源头,它揭示了从数据到智慧的内蕴,恰好和右贤的经验颇有牵系。 他单刀直入,说本人是个IT老兵,20多年都在“计算”这个圈子内。大学期间学习计算机技术,研究生方向是高性能计算和普适计算,工作先后从事云计算、大数据、数据库、人工智能、边缘计算的产品布局和技术开发,也负责过钉钉教育业务。 认真打量,他的经历横跨AI + Bigdata + Cloud Computing + Database&DingDing + Edge Computing,而近一年又踏足了视频云,是一个从ABCDE到V的机缘巧合,有些微妙。 右贤是一个ToB老人,又是个视频云新人。 谈到作为新人,对当下的视频云怎么看,他用 “十分离奇、大有可为” 来形容。 简略说,离奇是源于当下的社会视频化蔓延之势,给生存、工作、乃至万物的加持,这所有给公众带来了很大的便利性。在他看来,视频必然会成为万物交互的新形式,人与人、人与物、物与物,因为内容、沟通都在极速视频化,咱们从早睁眼到晚睡觉都在跟泛视频打交道,“视频+万物”将会孕育出大量的陈腐事物及利用,这足够让他离奇万分。 对于他的时空履历,有叠加的化学效应,“之前做的那些产品技术相对来说,是偏底层的;而视频云是技术利用解决方案,它是全链路的、与业务强相干的;同时,这些视频业务的底层须要云计算、数据库、人工智能等交融撑持。正因如此,我过往的经验恰好在视频云这个赛道大有可为。”右贤说。 能够设想右贤领队下的阿里云视频云会产生怎么的变动,多媒体行业的周期与这名老兵的工夫线交错在了一起,命运是最好的安顿,他的教训正是阿里云视频云须要的。 视频云2.0回到事实轨道,与“大有可为”强比照的,可能是音视频旧人眼里的瓶颈。 国内多媒体生态通过了6到8年的疾速倒退,目前进入到调整或安稳期,在这样的背景下进入这个赛道,对行业老人来说肯定是难题,对赛道新人或者是另一番新境。 于是,右贤看出了须要迭代变动的新视频云。 依他的视角,如果说云赋予了视频,带来了视频云的1.0,去迎面生产互联网的全面暴发,那现在是AI赋予了视频云,带来了视频云2.0,去解决行业数智化的全新降级。 确实,这揭示了视频云的实质,从1.0到2.0,人不知;鬼不觉,视频云的实质产生了变动。 右贤解释到,“在视频云1.0时代,视频利用次要集中在生产互联网畛域,次要解决老本和体验问题,即B端的音视频企业老本和C端的用户体验。随着AI算力和大模型衰亡,在视频云2.0时代,视频利用转向产业互联网畛域,去解决各行各业场景化视频智能利用的问题,即视频如何反对行业数智化降级。视频云正在从1.0向2.0过渡。 ” 视频云2.0,这大略是一个赛道的新生命、新契机。 在对话中,可能感触到右贤对视频云的信念,“视频云2.0的价值在于通过根底大模型和场景小模型,来助力行业的数智化。 就此,阿里云视频云领有三大要害能力:第一是规模能力,通过视频云1.0的蓬勃发展,阿里云成为寰球和国内规模最大的视频云基础设施服务商之一,能提供高质量、高性价比的视频服务;第二是智能能力,基于阿里云通义大模型,能够向客户提供横贯媒资生产、解决、传输、生产全链路的产品智能化降级;第三是场景化服务能力,基于多年的丰盛行业实际,能够向客户提供高易用、高性能的视频终端服务套件,全面升高客户应用门槛。同时,更能利用场景化小模型来实现行业利用的百花齐放。” 当然,不仅行业赛道正面临改革,技术冲破也为视频云的服务降级发明机会。“咱们从video for human正向video for machine过渡,如何在满足人的需要状况下,同时也满足机器?这让视频云2.0可能成为一种混合的职能。比方,编码就是既要满足人的主观体验,也要满足机器对视频的高速解决需要”,右贤说。 于此同时,AI、GPT等技术迭代正在为视频服务注入新的价值。从云养猫到云监考,从牧业养猪到农业育苗,从IPTV到工业质检,右贤列举了许多细分行业场景,透出他对新视频云的信念满怀。 ToB的急躁,100米深进入2023年,音视频行业市场空间见顶,除大量场景和个别公司外,大部分市场处于重大的内卷状态。许多企业不得不通过各种形式压缩老本,裁员天然是不可避免的形式之一。当然也有许多企业抉择出海,在竞争不是那么强烈的海内市场拼杀。这是看到的不争事实。 每个管理者都肯定在绞尽思虑,破行业的局、破本人的局。压缩老本不是可持续性的良策,海内拼杀也不过是立体维度的迁延,右贤在寻找别的维度的解法,在内卷度愈发难以呼吸的市场,给咱们皱缩开空间,演出宽度与深度的画面感。 显然,咱们都理解生产互联网的ToC场景和产业互联网的ToB业务,于是,右贤打了个形象的比喻,给出他的了解,“ ToC的赛道是100m宽,咱们往往只须要做1m深,就可能满足70%到90%的客户需要,面对ToC就是疾速满足这些需要。然而,做ToB ,做行业、做场景化,抉择赛道往往只有1m宽,但你必须挖下100m深,能力发明更多的产品价值,深度服务好客户。 ” 绝对于短平快的ToC场景, ToB的投资回报周期要长得多。这是事实,右贤心如明镜。 决定做好这条新维度的赛道,面对“100m深”的保持,如何能让本人和团队放弃急躁?面对这个尖刻又必然的问题,右贤很罗唆的回应,“是这样,当咱们挖到2米的时候会碰到石头,挖到50米会碰到岩石,所以怎么办?分两步。” 右贤开展讲,“首先,咱们肯定会持续深耕ToC生产互联网市场,做好根本盘。但也会把大家所聚焦的那1m深的赛道,继续深挖上来。也就是说,咱们要把视频云的根底能力做到极致化,做到稳定性与体验性的极致、做到老本与性能的极致。 ”行业里的人都了解,稳固和老本就是生产互联网的最大痛点,但要把根底能力做到极致也并非易事。 侧面可感,阿里云视频云已在排兵布阵,显性冲破。作为云厂商,做到超大规模化下的极致,须要站在顶层的抽象思维和重构设计,所以其外部强调 “Uni” 的技术设计理念,即“对立”:从多元交融的对立网络,到媒体服务的对立引擎,再到一体化的终端利器,中转市场所须要的低门槛、低成本、高时效、高性能、泛利用。这是技术深度上的极致。 就在刚刚完结的LiveVideoStackCon上海2023,阿里云在原来的GRTN网络根底上降级推出MediaUni多元交融流媒体传输网络,正如其名,目标就是极大满足音视频多元业务的传输需要,并以低成本、低提早的极致姿势达成,更为面向未来的业务状态实现媒体与元数据的交融传输,这是弱小的底座。往上走,在要害的中间层,破局重组,设计全新的媒体服务顶层架构,打造规模化、智能化、多业务、灵便、凋谢的媒体服务中台,冲破媒体服务的高时效与高质量,这是强力的发动机。 窥一斑而知全貌,能设想右贤所推动的基础设施极致化,须要怎么的动摇投入。如此,在深一步撑持ToC的同时,也在为ToB的减速做更扎实的储备。当然,远不止此,ToB场景更简单多样,须要更深的洞察力、创造力和长久的急躁。 这也是右贤提到的第二步,用“全智能”内化之力,来满足更多ToB的数字化降级,换句话说,面向行业孵化场景利用,做一个标杆,照亮一片。 他提到反对中国美院的“云上艺考” ,“以前的艺术类考试,学生都要在短期到达多个院校现场考试,艺考潮甚至像春运一样,网上也热传过‘艺考生10天辗转多地赶考,卖掉一套房’的新闻,尽管略显夸大,但可见其赴考难度极大,考试公平性也很难保障。对此,咱们通过AI与视频云技术,让美院的4万多名考生同时在线、居家考试,并以高牢靠、高可控实现100%的全程顺利稳固,这说来轻易,但真实情况是踩过很多坑能力实际进去。我的项目完结,学校发来了感谢信,让咱们倍受鼓舞,起初将这种场景计划复用翻新在更多艺术院校。” “咱们还有一个乏味的场景——云养猫。我大略调研了一下,中国目前有宠物 2.93亿只,如果你常常出差很难把猫带在身边。当初能够把猫托管社区或本人家里,通过视频咱们能够跟宠物进行互动,包含投放猫粮、加水等等。此外,咱们还做了很多工业质检的场景,其余行业新场景也都在摸索落地中。”右贤很有期待地说。 ...

August 17, 2023 · 1 min · jiezi

关于云计算:基于-KubeSphere-的应用容器化在智能网联汽车领域的实践

公司简介某国家级智能网联汽车钻研核心成立于 2018 年,是担当产业倒退征询与倡议、共性技术研发核心、翻新成绩转化的国家级翻新平台,旨在进步我国在智能网联汽车及相干产业在寰球价值链中的位置。 目前着力建设基于大数据与云计算的智能汽车云端经营控制中心平台。推动云端经营控制中心建设的过程中,运控核心平台的集成、部署、运维计划经验了 3 代的降级迭代过程。 第一代部署计划是间接将平台的前后端各个模块手动部署在自有物理机中,并将物理机托管在 ICT 的机房中。 第二代计划是将物理机集群用 Vmware ESXi 做了虚拟化,平台前后端各模块部署在虚拟机,晋升了资源利用率,升高了资源使用量。 第三代,目前以容器化的形式部署在私有云的 KubeSphere 集群中。购买私有云的服务器资源,应用 KubeKey 装置 KubeSphere 集群,利用级服务采纳 DevOps 流水线一键以容器化形式公布到 KubeSphere 集群中,真正实现了继续集成继续公布。利用研发工程师只须要在本人本地实现 feature 或者 fix bug,而后 commit 代码到 GitLab,之后通过 KubeSphere 的 DevOps 流水线一键公布到测试环境或者生产环境。通过应用 KubeSphere 以容器化的形式部署服务,加重了各位研发工程师的公布工作累赘,开释了研发资源。 目前团队组成:1 名架构师负责架构设计、项目管理等全局工作,4 名研发工程师负责研发工作,1 名 DevOps 工程师负责 DevOps 建设和运维工作,这样的一个小团队就能够高效顺利完成大零碎的建设工作。 背景介绍云计算的倒退曾经逐步成熟,基于云计算的大数据、人工智能行业倒退的越来越成熟,汽车畛域与云计算、大数据、人工智能的交融翻新倒退势不可挡,主动驾驶曾经在寰球范畴内陆续落地。我国汽车科学家基于我国国情和汽车行业发展趋势,提出了主动驾驶汽车的中国计划,也即车路协同计划,以补救国内上单车智能计划的有余。 在这种行业倒退背景下,推动建设车路协同的主动驾驶云端经营控制中心是亟待冲破的行业共性关键技术。 在建设主动驾驶云端经营控制中心的过程中,面临许多的实际困难,比方软硬件资源比拟缓和,研发人员非常少,建设工作特地沉重,运控核心平台对车辆侧、路线侧物理基础设施的依赖比拟种等方面的因素,为了进步无限的存储、计算、网络等硬件资源的利用率和加重无限研发人员工作累赘、高质高效实现运控核心平台的建设工作,建设团队的集成和部署经验了物理机部署、虚拟机部署直到以后的基于 KubeSphere 的容器化部署计划的迭代和降级过程。 选型阐明在钻研上云过程中,想过间接购买阿里云的 K8s 集群,然而因为公司自身有一些物理服务器要利用起来,所以就持续调研,最终抉择 KubeSphere 作为容器化的解决方案。 咱们抉择 KubeSphere 的起因有以下几点: 得益于 KubeKey 这个装置工具,装置起来更加不便,比以前单纯装置 K8s 要简便、容易的多。KubeSphere 相当于给 K8s 做了图形界面,从 web 界面关上查看集群状态,对集群进行运维十分不便,比在命令行下敲命令简单明了的多。KubeSphere 反对流水线性能,在不装置额定的软件的状况下就能够实现继续公布性能,继续公布和 K8s 联合在一起,工作起来加重很多繁琐的操作。实际过程因为应用 KubeSphere 和 K8s 以容器化形式部署利用对我的项目组成员来说都是第一次,无论是比拟资深的专家架构师,还是各位研发和运维人员来说,都是在做了根本调研和学习后首次应用,所以,咱们的利用容器化之路是学习中应用、应用中进步的一个过程。 ...

August 16, 2023 · 1 min · jiezi

关于云计算:深度解读智能化编码的技术架构与实践案例

向更智能、更兼容演进。陈高星|演讲者 大家好,我是阿里云视频云的陈高星,明天和大家分享的主题是“多”维演进:智能化编码架构的钻研与实际。 本次分享分为四局部:首先是视频编码与加强方向的业界趋势,其次是对在该背景下衍生的阿里云视频云智能编码架构进行介绍,以及其中对于“多”维演进的技术细节,最初是咱们对于智能编码的一些思考和摸索。 01 视频编码与加强方向的业界趋势 首先介绍视频编码与加强方向的业界趋势。视频技术倒退的趋势始终在谋求更高清、更实时、更互动、更低成本以及更智能。 过来几年直至2022年,尽管从“高清化”的角度围绕AR/VR、沉迷式8K这些概念的话题热度有所升高,但随着2023年上半年苹果VisionPro的推出,VR的热度再次升高。除概念化炒作外,视频“高清化”也是实实在在的趋势。举个例子,相较于2018年世界杯直播,能够发现新一届2022年直播视频的码率和分辨率显著晋升,预计下一届还会进一步晋升。 围绕更“高清化”的趋势,咱们能看到近年各大企业都在陆续推出自研的下一代编码器,包含266、AV1,甚至是公有规范的编码器。同时,咱们也在智能编码和加强上看到不少的需要。为了升高“高清化”带来的老本压力,视频编码的软硬异构计划成为热点,包含阿里云的倚天710 ARM异构和多个友商在ASIC硬件转码计划上的布局。 从“低时延”的角度,随着5G基础设施的遍及,毫秒级的提早技术逐渐趋于成熟,并在多个场景失去了利用和落地。阿里云视频云反对的2022年6月央视云考古节目《三星堆奇幻之旅》以及2023年春晚推出的央博“新春云庙会”都用到了相干的超低延时云渲染技术。在2022年世界杯期间,超低时延的直播RTS也在逐渐上量。当然,以大趋势来看,目前“超低延时”直播仅在个别畛域和场景是刚需,真正的暴发还需依赖更多的理论利用场景。 在更“智能化”方面,咱们察看到在编码内核的根底上,工业界继续聚焦利用AI能力晋升视频编码压缩率,包含使用视频编码和解决的联合,视频编码与品质评估联合,视频编码与AI生成联合,以及端云联结优化来继续晋升视频编码主客观压缩率。在近年来大家关注的“视频加强”和“内容自适应编码”等畛域,也能看到基于GAN的细节修复生成技术一直落地。 随着2023年ChatGPT和大语言模型的暴发,AIGC成为目前的技术热点。MidJourney等一众绘图软件的风靡,以及Stable Diffusion等开源模型的疾速倒退让咱们看到了AIGC在图片畛域的微小实力,同时文生视频技术也在逐渐衰亡。 那么,随同着更高清、更实时、更高效、更智能的编码需要,咱们也面临许多技术与以后需要的矛盾。 随着AR/VR时代的到来,视频的分辨率、帧率以及色域都会一直的扩充,繁多视频的信息量将会成倍的减少。低时延意味着对编码速度的更高要求,而CPU芯片解决能力不再遵循摩尔定律快速增长,清晰度、带宽、计算成本和编码速度的矛盾会越来越重大,次要体现为以下四点: 第一,编码标准降级速度远慢于视频信息量收缩的速度。编码标准历经过来十年的倒退仅带来了50%压缩率的晋升,这远远落后于视频化和体验降级带来的流量增长。 第二,新编码标准压缩率的晋升速度远低于视频帧率、分辨率晋升的速度。从720P 30fps到8k 60fps,视频信息量将减少72倍,这与编码标准的倒退速度呈现了较大矛盾。 第三,新编码标准复杂度的减少远高于CPU性能增长。从264到266,每一代编码标准相较上代大多减少10倍以上的复杂度,远高于CPU解决能力的减少。 第四,繁多编码标准难以笼罩多种利用需要。随着视频在更多利用场景的扩大深入,如VR场景所需的沉迷式编码标准,以及面向机器视觉工作的VCM视频编码标准,更须要对编码标准进行特定场景下的优化。 在以上看似难以和谐的矛盾背景下,如果想实现“鱼与熊掌兼得”,以下五个问题值得探讨。 首先,除了码率和品质,视频编码还能够关注哪些指标?例如不同内容的品质稳定性,保障序列级或者是序列片段,甚至是序列到Gop之间的品质稳定性,从主观到主观上,以及从资源耗费的角度去思考编码复杂度的稳定性。 第二,如何用好现有的编码标准? 现有的各种规范,例如前述的VR沉迷式规范、 VCM等,尽管具备开源代码,但从多年来MSU较量的后果能够看到,它们还存在很大优化空间。因而,研发多规范的编码器也是业界始终关注和钻研的方向。 第三,视频编码标准自身笼罩不到的维度有哪些?其实从每一代的规范来看,视频编码谋求的指标都是尽可能与“源”统一,所以少数状况下纯编码器优化应用有源的主观指标作为参考规范,但这种形式对低画质场景并不实用。 鉴于编码后的视频还是为人眼观看服务的,尽管人眼主观评估较为耗时费劲,但实际上它是可能给客户带来价值的方向。因而,将人眼评估引入视频智能加强来晋升画质,也是咱们的次要钻研方向之一。 第四,在编码标准上,现有规范对视觉冗余的开掘和场景自适应能力还有有余。现有规范其实只定义了大略的工具集以及解码器,然而如果可能引入多级的自适应编码,进一步开掘各个模块之间的“耦合”能力,实际上能够进一步晋升编码器的品质下限。 第五,如何突破资源重叠,置换视频压缩效率晋升的技术思维惯性。从复杂度的角度,其实咱们不必单纯从硬件角度思考,例如:仅通过硬件资源的重叠的实现编码普惠的成果。咱们能够通过多平台的反对,比方与底层架构的深度耦合或者将局部模块软化的形式,兼顾软件的“灵活性”和硬件的“高效性”,达到算法普惠化。 因而阿里云视频云针对以上五个问题的解法就是右侧的五大“多”维。 02 智能编码架构介绍 如图所示,咱们的智能编码架构次要体现在五个维度。 传统编码架构的编码流程是从视频源开始,通过可选的视频解决模块进入编码的码控和内核局部,而后输入码流。 智能编码架构最显著的特点是 “多级自适应编码能力” 。它会对视频源进行剖析,基于源评估编码流程中的解决、码控、内核等环节对于最终输入的影响,自适应决策模块外部的参数和工具组合。 同时,为了实现多级自适应编码,咱们在视频解决、码控和内核上提供了多方位的编码工具和能力。最初,这个编码架构须要可能自适应的模块化,使其可能自适应地从软编到不同硬编平台。 五个维度具体的原子能力如上图所示。多级自适应编码除业务场景和视频热度等分类外,还包含基于场景内容和片源品质的语义级自适应;而内容自适应则蕴含:基于不同编码指标的前解决Pre-coding、以及基于人眼的JND、ROI等;工具自适应则是联结各个编码模块,包含码控和内核模块。 在视频解决方面, “多”维智能视频加强包含画质加强、视频降噪、细节修复生成、去压缩失真以及时域和空域的SR和FRC技术。 在编码码控上,多指标编码能力兼容在除码率、品质外,还包含针对指标编码复杂度、品质稳定,以及一些CV工作的多指标编码兼容。 在内核上,咱们有自研的多规范编码器,笼罩264、265、266、AVS3、AV1以及VCM编码器。 在多平台反对方面,咱们的架构可能反对从软编的X86、ARM架构到局部应用硬编的联结优化平台。 03 智能编码架构的“多”维演进 接下来,将对智能编码架构的“多”维演进进行具体介绍。首先是多级自适应编码,它的要害是基于片源品质的内容自适应,因为片源品质是视频解决和编码十分重要的决策特色。 咱们基于大量客户场景数据,对片源进行多个维度的分类,除了片源的语义级品质之外,还有如上图所示的对时空域复杂度的评估,思考编码影响进行R/D斜率剖析,以及针对序列级中的不同序列进行智能的码率调配。 品质剖析模块至关重要,在视频品质方面,充沛理解视频是否有噪声、压缩或者传输带来的品质损失对后续的解决和加强将起到要害指导作用。特地是在须要应用一些低成本的加强和编码方案时,咱们很难用一个模块去自适应解决所有的品质进化。因而,退出品质剖析模块能够帮忙咱们更好的获取编码的品质下限。对于品质好的源,能有大量或者适中的加强成果。对于品质差的源,能够晋升更多的品质。 另外,视频源的品质也会影响编码的决策。如果视频源的某一片段比较复杂,那在低码率的状况下很可能会呈现大量的“块效应”,因而在该场景下咱们会偏向于调配更多的码率。 内容自适应的另一部分是基于人眼的JND和saliency map。JND对工业界来说是一个十分重要的方向。传统的视频编码是基于信息论的,它从预测构造的角度减小时域冗余、空间冗余、统计冗余等的冗余,从而实现对视频的压缩,但对视觉冗余的开掘还远远不够。 JND的基本原理如上图所示,传统视频编码应用的RDO曲线是间断的凸曲线,但人眼理论感知到的是非间断的阶梯状线。如果利用阶梯状曲线替换凸曲线,在雷同失真的状况下能够应用更少的码率。 传统的JND计划分为“自顶向下”和“自底向上”两种形式。咱们更多抉择“自底向上”形式,对视觉皮层的视觉特色来进行表征,如色彩、亮度、对比度、静止等形式。从空域上思考亮度掩蔽、对比度掩蔽,从时域上思考基于静止的掩蔽。 咱们会引入深度学习办法预测JND模块对人眼主观的影响,而后联合编码外部的码控模块计算以后每一块能够进一步扩充量化步长的空间。目前,咱们的JND模块在通用场景,等同主观下,能节俭30% 以上码率,在一些垂直场景下甚至能够节俭50%以上。 除了JND, 开掘人眼视觉冗余的另一个重要技术就是saliency map。咱们在saliency map上布局了两个方向:一是低成本的基于人脸的ROI,为了能用在更普惠的直播以及超低时延场景,咱们针对人脸开发了该工具。它联合检测与跟踪算法,对于检测到的人脸区域综合JND以及四周的像素块进行调整,保障在进步主观画质的同时升高ROI区域和非ROI区域的边界感。 二是saliency map技术,如上图展现的一些体育场景以及UGC场景。咱们利用眼动仪采集时域注意力等信息,通过采集两千多个视频,收集10亿以上的注视点,构建了一套人眼注意力模型。 上图中突出显示的区域代表了人眼次要关注的区域,它会随着工夫的变动产生一些变动。该模型与编码器相结合,针对不同的区域进行码率调配。在间断观看下,可能晋升主观画质。 ...

August 16, 2023 · 1 min · jiezi

关于云计算:阿里云故障洞察提效-50全栈可观测建设有哪些技术要点

 一分钟精髓速览全栈可观测是一种更全面、更综合和更深刻的观测能力,能帮助全面理解和监测零碎的各个层面和组件,它不仅仅是一个技术上的概念,更多地是技术与业务的联合。在“以业务为导向”的大前提下,全栈可观测正在成为趋势。 本文分享了阿里云可观测平台服务作为寰球散布的超大业务零碎,同时也作为服务寰球企业用户的可观测平台提供方,在故障洞察提效中遇到的业务挑战,以及 6 个关键技术点和 2 个利用案例。 背景全栈可观测是一个技术和业务相结合的畛域,单从技术维度了解,可观测蕴含了基础设施、应用服务、客户端等等,而是更狭义的维度则关注这项技术如何撑持企业的业务,提供逾越各个层面的数据收集、剖析和可视化,帮忙企业更好地了解和治理其零碎和利用。从技术开源到各类头部厂商的产品,再到国内外多个业务组织的落地,都能够看出全栈可观测曾经成为一种技术趋势。 $$Gartner 报告显示,落地可观测性具备相当高的策略价值$$ 这一观点也在 Gartner 的报告中失去印证,依据 Gartner 的预测,到 2026 年,胜利利用可观测性的 70% 组织将可能实现更短的决策响应工夫,从而为指标业务或 IT 流程带来竞争劣势,这阐明可观测技术曾经冲破了技术层面,进入业务层面。 所以从业务视角来看,业务的变动(规模,复杂性,稳定性要求)必然驱动企业对可观测技术提出更高的要求。阿里云可观测平台服务作为一个寰球散布的超大业务零碎,同时也作为服务寰球企业用户的可观测平台提供方,因为其撑持的业务架构的一直变动,驱动了可观测技术栈的一直演进。 明天我将联合阿里云的可观测业务挑战,重点从几项关键性技术和场景,与大家交换我对可观测技术的思考。 01 业务如何推动阿里云观测技术演进? $$阿里云可观测性技术倒退工夫线$$ 2012 年鹰眼零碎买通利用和中间件:阿里云可观测性技术终点能够追溯到 11 年前,过后淘宝开始逐渐施行微服务架构,这导致了大量服务之间互相调用非常复杂。因而,在这个期间咱们构建了鹰眼监控零碎(EagleEye),来解决不同业务之间的调用问题。能够说,正是淘宝业务的疾速倒退和微服务架构的演进,才促成了这一技术的产生,也为前期的可观测体系打下了根底。 2013-2015 年引入指标和日志:这个阶段,从社区的角度来看,容器技术和开源我的项目开始呈现。同时,相似于 Service Mesh 这样的我的项目也应运而生。因为底层基础设施的扭转,即容器化的遍及,监控畛域呈现了新的需要和要求。咱们的监控技术方向也逐渐从买通利用和中间件之间的调用链,演进到引入观测指标和日志等。 2017 年 ARMS 云服务:“可观测性”这个词正式呈现并明确了其定义,即关注的数据维度,如指标等。阿里云随即基于原有的鹰眼监控零碎,推出了产品化的服务 ARMS。 2022 年全栈可观测套件:在上云容器化、平台化的前提下,开源社区的倒退带来了绝对标准的可观测技术栈,所以阿里云在 2022 年公布了全栈的可观测相干技术,基于开源的标准实现相干的云服务。 从阿里近 10 年的监控技术倒退能够看出,技术并不是自发演进的,更多是因为业务架构和基础设施架构的变动推动了可观测性技术的架构扭转。 02 阿里云的可观测遇到了哪些挑战?2.1 作为平台方:服务寰球企业用户 2.2 作为业务零碎:寰球散布2.2.1 确保较高的业务能见度咱们常常面临用户无奈找到其观测数据的问题。这是一个常见的挑战,须要咱们思考,从数据采集到存储和生产如何确保高度的业务可见性。 2.2.2 如何确保SLA达标上述的问题只是一个表面现象,咱们须要深刻理解问题的根本原因。可观测性数据链路十分长,涵盖了从数据采集、端侧解决、服务端解决、存储到查问等全链路的业务零碎。因而,咱们须要疾速诊断故障,确定是哪个环节呈现了问题,或者是否是因为用户配置问题导致的等等。咱们须要在最短的工夫内诊断用户数据链路故障并可视化故障,将均匀定位工夫从 10 分钟升高到 5 分钟或更低。我将在前面分享具体的实际形式。 2.2.3 如何撑持业务决策同时,咱们本身也须要做出许多决策,无论是对于服务和产品的模式、架构,还是产品经营的状态等等。咱们要晓得用户须要哪些可观测生态能力,并建设观测数据模型进行准确评估。 03 有哪些关键性技术须要冲破?3.1 咱们须要什么样的观测数据? 对于关注可观测性技术的同学来说,这个图应该很相熟。开源社区对可观测性的定义是指标、日志、调用链和 Profiles,这四类数据实际上存在很多穿插,而不是齐全拆散的。这个穿插意味着这几种数据实质上是类似的,它们都用于反映业务运行的技术状态和业务数据状态,只是捕捉数据的渠道和模式不同。如果要比拟这几种数据,能够从以下维度思考。 指标(Metrics): 相对而言,指标数据是老本最低的,因为它们是提前计算好的数据。通常状况下,咱们能够通过剖析日志等形式来计算失去这些数据。例如,每天的申请数(QPS)等指标能够间接反映咱们想要理解的数据。当然,如果要从日志中计算这些指标,就须要大量的数据能力得出后果。能够说指标数据是绝对无效和间接的数据模式,通常以数字模式出现。但对于开发者来说,如果可观测平台的建设者和开发者是拆散的,开发者可能不太违心进行较多的改变,因为这些改变会有肯定代码侵入性。 ...

August 15, 2023 · 2 min · jiezi

关于云计算:阿里云容蓓DCDN-助力云原生时代的应用构建及最佳实践

在数字化转型速度一直晋升的明天,大带宽、低时延、高并发的场景不断涌现,内容散发网络(Content Delivery Network,CDN)利用需要还在一直攀升,打造更高质量的CDN服务将成为新时代产业竞争的关键所在。亚太CDN峰会自2012年第一届以来,转瞬曾经过了11年,而今正值中国CDN倒退十年转型期,晋升CDN外围竞争力,打造更高质量的CDN服务将成为推动行业倒退的关键所在。 2023亚太内容散发大会暨CDN峰会于6月29日在北京隆重开幕,亚太CDN产业联盟携手中国移动、火山引擎、腾讯云、网宿科技、阿里云、华为云、中兴通讯、白山云、天翼云等CDN畛域头部企业,专家、学者和业界领导,独特探讨打造更高质量的CDN服务推动行业倒退,独特把握下一个十年人工智能(AI)新技术带来驱动对算力的需要及网络流量增长的微小经济价值。 在06月29日 阿里云CDN产品负责人容蓓在亚太内容散发大会暨CDN峰会上,带来了“DCDN助力云原生时代的利用构建及最佳实际”的主题演讲。 阿里云CDN产品负责人容蓓在演讲中提出,互联网时代大家的分割越来越严密,信息在毫秒之间从地球的一端达到另一端,信息的传递从过来的外围能力,变成了当初的根底能力,信息传递的优化曾经全面进入了一个深水区。不同的网络运营商、网络设备、网络协议等,让当今的网络环境变得越来越简单,所以从协定的优化到算法的优化,路由相干的优化,目标正是为了让网络传输更加有效率。 以前大家都感觉边缘计算是将来的趋势,然而当初曾经变成了一个事实,国家也出台了相干的政策推动边缘计算的倒退和落地。云原生时代的到来为边缘计算关上了减速的按钮,随着用户拜访从边缘逐渐下沉,计算也逐渐下沉,边缘的数据安全就成为了其中的一环。边缘将来肯定不仅仅只有流量的存在,算力的比重会变得越来越大。云和边也不再是两个独立的入口,他们将变成互联依赖,互信储备的关系。 阿里云全站减速在去年继续投资扩充边缘根底的设施规模,在2022年的根底上全站减速的基础设施规模也晋升了12.5%,当初中国境内领有2300个节点,在境外领有900个节点。中国境内是全域笼罩,在海内是外围地笼罩到东南亚、欧洲等重点的一些区域。随着客群变得越来越大,业务的多样性也变得更显著。 全站减速曾经不仅仅只是提供动动态减速的产品,它当初同时也可能去提供边缘计算和边缘平安的能力,满足不同的客户诉求。在过来一年中,全站减速在运力、算力和防力上都进行了继续降级。首先,运力是全站减速网络传输能力,也是最底座的一个能力,能够帮忙API服务或者是动动态内容在边缘上车点实现客户就近上车。客户在就近上车的时候,边缘节点能够大幅卸载传输层,缩小网络交互的往返次数。同时也优选了一批节点,从节点建设、运维、管控进行独立治理。 另外在节点间降级了路由的决策零碎策略,在外部链路里能够实现0RTT机制,走最快门路,回到数据中心。全站减速整个网络架构进行了整体降级,云边进行组网,使云边之间的网络架构成为一个可控的网络架构,解决了云边以前只能通过公网来拜访带来一些不牢靠问题的状况。 容蓓介绍了客户提供的一组端上拜访数据。客户从核心数据接入,切换到边缘全段减速之后,TCP百秒均匀耗时以及30毫秒内的占比,都失去了大幅度晋升。客户数据中心是在江浙地区,核心和边缘差距还没有很大,一旦来到了江浙地区,数据的差别就非常明显。 阿里云团队在主导推动传输协定的规范制订的同时,也在工业界与团队做实际。Multipath QUIC是指在4G、5G或者是WIFI不同网络环境下,同时去传输数据会优选网络环境更快的数据包。Multipath QUIC反对上下行的双路传输,依据不同的场景来抉择不同的调度算法和机制,满足不同的性能要求。在XR利用场景下,3D模型下载须要十分大的带宽下载,或者3D直播对提早敏感性十分高,同时对大带宽有一些诉求,所以能够通过多路并行传输,来优化实现成果。 通过Multipath QUIC传输,比通过单路视频传输在起播速度和播放顺滑度更优,再给端上用户应用时,带来一个肉眼可见的性能晋升。 容蓓对全站减速的计算能力进行了解说。边缘计算产品是ER,目前接入了上百家客户,在手淘、优酷一些头部客户利用里较为宽泛。2022年双11,ER顺利通过了千万级QPS高并发的时段考验。在2023年,ER产品取得了中国信通院认可,首批通过了边缘函数级服务的认证。如果轻量函数曾经无奈实现局部计算规定,ER能够反对在边缘通过API上传镜像,把镜像上传到边缘结点,通过边缘容器来实现边缘计算。全站减速能够对整个边缘算力进行调度,反对4核8G、8核16G等的边缘容器服务。ER构建了一套边缘算力的调度零碎,能够将端上的算力申请调度到就近节点实现计算,ER会实时感知算力需要以及端上热度,进行及时扩容或者是缩容,期间客户不须要进行干涉。ER后续将会正式推出反对上传出项的边缘计算服务,反对到更简单的边缘计算场景。同时现有的ER场景会反对更多程序语言,笼罩支流的开发语言和框架,增强同云核心的互动,包含数据库、存储等云产品。阿里云会继续去丰盛边缘算力类型,对于不同的算力资源进行对立纳管和调度,不断丰富和晋升边缘计算的能力。 容蓓在演讲中分享两个边缘计算在边缘利用的案例。第一个案例金融客户在边缘计算实现 AI 云边协同。客户是一家比拟出名的金融企业,企业的业务逻辑受到推理方面的一些限度,局部算力耗费较大的推理,没有方法在端上实现。如果将所有的推理都移到数据中心实现,除了减少带宽压力和算力的负载,端上的客户等待时间也会十分长,会造成超时、申请失败。在客户应用了ER上传出项的服务后,将局部推理逻辑部署在了边缘去实现,并且利用到了边缘区域的一些属性,来造成推理的区域特色,再将区域特色利用到业务判断外面去。在这套技术架构运行后,企业客户端的申请解决会更加及时、精确,业务的成功率也晋升了5%以上。在应用时,客户是不须要关怀用多少算力相干的技术动作,ER曾经对算力弹性进行了扩容,在顶峰期间会弹出更多容器进行服务。低峰的时候会开释掉,做到算力按量付费。 第二个案例是SaaS企业在边缘部署高并发 API 网关服务。阿里边缘会依据拜访的热度,来主动扩容或缩容边缘的网关,客户端这时会离边缘更近,在服务过程中响应也会更及时,性能比在间接核心的网关更好。在边缘解决掉大部分的申请后,核心的带宽压力同步缩小。客户也将边缘这套网关链路和核心网关链路做了储备,当任何一条链路呈现问题的时候,能够主动零碎切换到另外一条链路下面,整体进步了客户的可用性。 在拜访的流量以及计算的利用下沉之后,思考到平安问题,全站减速的边缘平安提供了残缺的、原生的边缘和防护能力,在边缘层面也反对了根底防护、白名单等相干能力,并且反对3/4/7层的防护,反对智能的CC防护,在寰球反对到Tbps级别的防护能力。在全站减速中大略有30%左右的客户,曾经开明了边缘平安。随着流量和计算进一步下沉,边缘平安的比例肯定会变得越来越高。在将来,阿里会继续打造实用于寰球散布的平安能力,把平安前置到边缘,去升高在核心被攻打而带来的宕机危险,为运力和算力来做一个保驾护航。 容蓓分享了两个边缘平安的案例进行解说。第一个案例是大型金融企业抉择全站减速边缘平安爱护全站业务。金融企业的客户散布寰球,客户的业务类型须要去反对多种协定,须要频繁在边缘去封禁歹意用户的拜访,以及攻打源。全站减速提供了规范产品接入能力,寰球节点笼罩,边缘提供海量的IP封禁,使客户业务在寰球都能够安稳运行。 第二个案例是某电商客户在边缘计算加边缘平安构建了新的平安边界。该客户利用了边缘计算和边缘平安一起构建了一张防黄牛抢单的防护规定。电商公司在客户在下单之前,会依据用户的信息去判断端上的购买行为是不是黄牛,如果命中黄牛规定,会减少额定的验证,或者间接回绝掉这一次服务。电商公司通过ER判断用户的业务数据如帐号、手机等信息,同时调用边缘WAF能力,让用户返回滑块、验证码等挑战。这一套机制补救传统WAF只能通过申请特色来判断端上行为的一些有余。应用这套架构之后,电商企业业务特色的无效拦挡率晋升到了95%以上。 容蓓最初总结,全站减速能够为用户提供高性能的运力(全站减速)、算力(边缘计算)、防力(边缘平安)。阿里云后续也会继续服务更多客户,为客户提供稳固、易用、好用的产品。

July 13, 2023 · 1 min · jiezi

关于云计算:多元融合流媒体传输网络的全盘解法

咱们在寻找「网络」的全盘解法。音视频数字化在生产畛域的红利俨然见顶,而产业级视频利用激活了更多场景下的业务模式。与此同时,音视频客户也从繁多的业务需要,趋向于多种业务并行存在的需要。 固有的网络能满足新兴的业态吗?延时与老本之间存在区间最优解吗?业务的降级切换如何不再费时费力?在老本可控下网络的稳定性怎么保障? 一张多元交融的流媒体传输网络可否解决全盘之困? 面向未来的流媒体传输网络,又将从何揭开其神秘面纱? 本文由IMMENSE、「阿里云视频云」通信服务负责人黄海宇和LiveVideoStack策动、采访而成。 网络新基建,若有若无降本还是网络最大痛点吗?“元数据”是新配角吗?网络基础设施降级、音视频传输技术迭代、WebRTC开源等倒退,音视频业务在生产互联网畛域蓬勃发展,并逐步向产业互联网畛域减速浸透。 然而,行业红利期退却之后,以往荫蔽的音视频业务景象,逐步露出。 一方面, “降本”是继续热议的话题。而在音视频利用中,网络传输在IT老本中占比很高,例如,在一个典型的直播利用中,网络传输老本占总成本70%以上。于是,在降本增效的大背景下,升高网络传输老本,是行业客户和云厂商独特面临的课题。 另一方面, “延时”带来更多价值和空间。从生产端的实时交互,到产业端的实时近程,对视频流的延时要求越来越高, 在云渲染、云游戏、数字虚构场景中,波及简单的编码、解码、传输环节,而最简单的瓶颈就在于传输网络的时延,但网络的形成与影响因素高度简单,对其延时的晋升也是极大挑战。 与此同时,新趋势的成长也带来更多挑战。 不久前,苹果Vision Pro在 WWDC 2023 亮相,推出其首个空间计算设施,将热度渐消的元宇宙从新拉回公众视线。 图片来源于网络 对将来的设想,不再局限于头盔上的渲染视频,更波及到云端的交互与合成。 然而,元宇宙的真正凋敝,不仅须要MR硬件终端的性能降级,更取决于流媒体传输网络的迭代演进。 咱们发现,当下的海量视频次要基于传统拍摄模式而生,能够料想,将来源自渲染合成的视频比例将显著减少,这一趋势势必带来海量的计算和传输需要,同样也带来计算成本和传输老本的极大考验。 同时,这也意味着网络须要承载更加不可估量的数据量级,这其中,不仅有惯例的音视频,更涵盖更多维度的数据传输,比方基于近程场景、云游戏下的管制信令数据、用于管制渲染视频生成的“元数据”,能够表白更简单的平面场景信息。 如此来看,须要一张承载多元内容的弱小网络,同时提供高性能的云边计算能力,其作为新基建能力撑持未来式的视频化业态。 「Unified」能解决所有要害吗?更低成本、更低延时、更多算力联合、更多维内容传输,这些无疑都是传输网络的趋势要害,而怎么的招式能够全盘解决?兴许是“Uni”。 Uni源于Unified,意味着“对立”。 在网络上,咱们正在摸索落地更好的“Uni”技术、真正的“Uni”能力,发明由“Uni”带来的业务价值。 阿里云视频云基于宽泛的异构节点,构建了全分布式、超低延时、多业务撑持的多元交融流媒体传输网络——MediaUni。 这是在咱们的寰球实时传输网络GRTN之上,以“大一统”的理念对网络深入设计,实现网络底座的全新降级。 MediaUni买通底层资源,对立技术架构,以一张流媒体传输网络,实现音视频利用中多状态的内容传输,并满足更低成本、更低延时的多元交融业务需要。 延时能够是自在的任何延时的业务,都能跑在一张网上?得益于底座能力和关键技术的继续冲破,音视频服务已实现了从传统的点播、直播,到实时音视频的深入倒退,将来,还将撬动传统行业中泛滥强实时、强互动场景的数字化降级。 其中,“时延”首当其冲成为最需攻克的难题之一。 以一张网,MediaUni可能撑持全域延时的业务: 从一般直播(HLS/FLV)、到基于WebRTC技术的超低延时直播RTS(约1s左右提早)、再到实时音视频传输(如直播连麦、近程监考等场景),同时,更可反对对提早要求极高的云渲染、实时近程管制等业务,实现所有业务真正跑在一张网上。 延时“抢跑”,怎么实现?从根本上看,网络的提早源自两方面:物理的提早与IP网络的不牢靠。 为反抗物理的提早,MediaUni基于寰球3200+边缘下沉节点的就近散布,缩短了与用户之间的“最初一公里”,缩短数据的传输门路,以便更快感知传输网络品质的变动。 通过将渲染服务部署到凑近用户的节点,阿里云视频云在双11反对淘宝直播全真虚构互动空间“将来城” ,实现超万路并发在线的虚构直播,并在2023央视春晚,以低延时传输云渲染技术打造了首个元宇宙庙会,实现极致的超低延时体验。 淘宝3D虚构电商空间“将来城” 在反抗IP网络的不可靠性上,MediaUni设计了实时感知零碎,实现对节点的负载、链路的网络情况、以及业务要害信息的秒级感知,并基于感知数据,智能调整调度策略与路由策略,能够更好地调配物理资源,抉择服务质量更高的物理链路。 同时,通过一直迭代的QoS技术,在拥塞管制、FEC、多径传输等方向继续优化,反抗网络中的丢包、提早与乱序,以满足更低的网络延时。 目前,科学界公认的人类极限反应速度为100毫秒,个别人的反馈在0.2~0.3秒间,在百米赛跑中,枪响后的0.1秒内起跑会被视为“抢跑”,而MediaUni撑持实现的云渲染场景,已冲破60ms以内的端到端交互延时,堪称音视频延时的“抢跑”。 延时vs老本,网络能够handle?家喻户晓,在网络优化到肯定水平当前,延时和传输老本会成为一对矛盾。 例如,在带宽容许范畴内,为反抗丢包,协定栈不惜代价进行重传或减少FEC,无效升高传输的提早,但会因而付出更高的传输老本。 在行业广泛谋求“快与更快”之际,低延时与低成本之间,是否有两全之法? 对此,MediaUni的精要在于将升高延时的伎俩与减少传输老本进行量化,再依据业务的场景提供ROI最高的综合计划,将每个bit的传输价值都施展到极致。 ➤ 对于一般的娱乐直播,其互动形式为弹幕,能够采取5s左右的FLV直播; ➤ 对于世界杯等赛事直播,可选用提早1s左右的低延时直播; ➤ 对于电商直播,通过AB测试发现,采纳延时低于1s的互动直播,可能对GMV有肯定的晋升。 由此可见,可能针对不同业务场景进行网络的精细化经营,自由选择老本可控的业务延时,才是真正的“延时自在”。 多元交融,红利开释业务复用,就是最大的技术普惠?依靠于弱小的底层基础设施资源,和长期积攒的音视频技术能力,相比于其余赛道玩家,云厂商在网络服务中具备规模劣势。 此外,通过一张网络反对多元业务,“业务复用”自身将继续开释技术红利。 “红利”能够透过三点浮现: 第一,业务混跑,驱动资源复用率的进步。 不同业务的错峰复用率会更高,从而带来更高的计算资源、网络资源复用率,如大部分会议、近程监控等业务都处于白天工作工夫,这与互联网娱乐等“夜间经济”造成很好的错峰运行。 第二,技术复用,带来研发边际老本的升高。 在流媒体传输中,无论是音视频还是音讯信令的传输,无论是直播还是实时通信业务,都须要解决基于大量节点的路由问题、全局的疾速信息感知问题、协定栈优化抗弱网问题。 通过应用一张网络反对多元业务,能够复用这些根底技术,使得在同样的研发投入上,获取更优的技术指标。 第三,云产品的应用更便捷、更高效。 因为多业务的撑持,用户能够更不便地降级服务或者组合出新的场景化计划。 例如,通过阿里云控制台,用户只需“一键降级” ,就能够将延时5s左右的一般直播,切换成延时仅为1s的超低延时直播RTS,或者延时在400ms以内的互动直播。 从资源利用、研发老本,再到产品应用,一张多元交融的网络实现了最极致的红利开释。 ...

July 12, 2023 · 1 min · jiezi

关于云计算:十大Serverless平台

AWS Lambda这是由Amazon Web Services提供的serverless计算服务,能够让开发者编写并运行高度可扩大的应用程序,而无需治理服务器。比拟不便进行Web动态部署、数据处理,挪动端后端服务,边缘计算等性能。 普及率:⭐⭐⭐ 易用性:⭐⭐ 国内适用性:⭐⭐⭐ 服务锁定:AWS Gateway, AWS S3 Azure Functions这是由Microsoft Azure提供的serverless计算服务,能够让开发者应用不同的编程语言(包含C#、Java、Python等)编写并运行可扩大的应用程序。 普及率:⭐⭐ 易用性:⭐⭐ 国内适用性:⭐⭐⭐ 服务锁定:Azure Cosmos DB,Azure Blob等,另外Azure对于C#是优先反对的,所以对于Java/Python/Go等技术栈的公司须要小心。 Google Cloud FunctionsGoogle Cloud提供的serverless计算服务,能够让开发者应用不同的编程语言(包含Python、Java、Node.js等)编写并运行可扩大的应用程序。 普及率:⭐⭐⭐ 易用性:⭐⭐ 国内适用性:⭕ Firebase Functions这是由Firebase提供的serverless计算服务,能够让开发者应用JavaScript编写并运行可扩大的应用程序。 普及率:⭐ 易用性:⭐⭐ 国内适用性:⭕ 阿里云Serverless分为ASK版和SAE版,部署根本和k8s集群统一,须要有k8s, 镜像等基本概念。 普及率:⭐⭐⭐ 易用性:⭐ 国内适用性:⭐⭐⭐ 服务锁定:VPC、平安组、SLB、命令空间 腾讯云函数云函数SCF,没有阿里云的 普及率:⭐⭐⭐ 易用性:⭐⭐ 国内适用性:⭐⭐⭐ 服务锁定:对象存储COS、API网关、负载平衡CLB、日志服务CLS等等

July 11, 2023 · 1 min · jiezi

关于云计算:云原生周刊Dapr-完成模糊测试审计-2023710

开源我的项目举荐Shell-operatorShell-operator 是一个在 Kubernetes 集群中运行事件驱动脚本的工具。 node-problem-detectornode-problem-detector 旨在使集群治理堆栈中的上游层能够看到各种节点问题。它是一个在每个节点上运行的守护过程,检测节点问题并将其报告给 apiserver。 TF-controllerWeave GitOps Terraform Controller(又名 Weave TF Controller)是 Flux 的 Controller,用于以 GitOps 形式协调 Terraform 资源。借助 Flux 与 Terraform 的弱小性能,TF-controller 容许您依照本人的节奏在 Kubernetes 和 Terraform 畛域中对基础设施和应用程序资源进行 GitOps 化。 文章举荐零停机的 Kubernetes Ingress 控制器切换这篇文章介绍了如何进行零停机工夫的 Kubernetes Ingress 控制器切换。作者首先介绍了 Kubernetes Ingress 的概念和罕用的 Ingress 控制器,而后探讨了如何在不中断服务的状况下切换 Ingress 控制器。 作者强调了进行零停机工夫控制器切换的重要性,以确保服务的高可用性和稳定性。通过应用他们提供的计划,能够实现无需停机的控制器切换,并最大水平地缩小对服务的影响。 Kubernetes DNS 服务:初学者指南这篇文章提供了一个很好的终点来理解 Kubernetes DNS 服务,包含它的原理、组件、应用办法以及最佳实际和倡议。它适宜初学者和那些想更深刻理解 Kubernetes DNS 服务的用户。 Kubernetes 1.27:你须要理解的十大性能这篇文章介绍了 Kubernetes 1.27 版本的新性能和改良。作者首先提到了 Kubernetes 1.27 的公布日期以及该版本的次要指标:进步可靠性、安全性和可用性。 接下来,作者具体介绍了 Kubernetes 1.27 中的一些新性能和改良。这些包含: Pod 健康检查的改良,包含对 liveness 和 readiness 探针的反对改良的本地存储和 CSI 互操作性对 Kubernetes 证书 API 的扩大反对改良的网络性能和可察看性扩大的 AWS 集成反对,包含 AWS EBS CSI 驱动程序的 GA 版本和对 AWS IAM 角色的扩大反对作者还提到了一些其余的改良和更新,如 CRI-O 1.24 的反对和 Docker 反对的削减。 ...

July 10, 2023 · 1 min · jiezi

关于云计算:KubeSphere-社区双周报-KubeSphere-多项更新-202306230706

KubeSphere 社区双周报次要整顿展现新增的贡献者名单和证书、新增的讲师证书以及两周内提交过 commit 的贡献者,并对近期重要的 PR 进行解析,同时还蕴含了线上/线下流动和布道推广等一系列社区动静。 本次双周报涵盖工夫为:2023.06.23-2023.07.06。 贡献者名单 新晋 KubeSphere Contributor本两周共有 4 位新晋 KubeSphere Contributor,感激各位对 KubeSphere 社区的奉献! KubeSphere1. 反对 kiali v1.46相干 PR:https://github.com/kubesphere/kubesphere/pull/5792 贡献者:hongzhouzi 2. 修复局部 helm 利用无奈失常装置的问题相干 PR:https://github.com/kubesphere/kubesphere/pull/5793 贡献者:wansir 3. 反对配置最大日志导出行数相干 PR:https://github.com/kubesphere/kubesphere/pull/5794 贡献者:wanjunlei 4. 修复企业空间受权集群可能存在反复条目标问题相干 PR:https://github.com/kubesphere/kubesphere/pull/5795 贡献者:zhou1203 5. 修复 live reload 后 IdentityProvider 配置抵触的问题相干 PR:https://github.com/kubesphere/kubesphere/pull/5797 贡献者:zhou1203 6. 修复增加集群时的校验规定相干 PR:https://github.com/kubesphere/kubesphere/pull/5802 贡献者:iawia002 7. Resource API 反对别名搜寻相干 PR:https://github.com/kubesphere/kubesphere/pull/5807 贡献者:iawia002 8. 降级 google.golang.org/grpc 到 1.53.0相干 PR:https://github.com/kubesphere/kubesphere/pull/5820 贡献者:hongzhouzi 9. 修复 enableMultiLogin 配置不失效的问题相干 PR:https://github.com/kubesphere/kubesphere/pull/5819 ...

July 9, 2023 · 1 min · jiezi

关于云计算:新版发布-Cloudpods-v3103-和-v3911-正式发布

Cloudpods v3.10.3新性能【认证】反对用户在集体核心查看音讯订阅 【容器】Helm release 实例前端反对降级与回滚 【对于】减少平台降级记录(企业版) 【巡检】巡检报告反对下载(企业版) 性能优化【主机】ssh 登陆反对明码查看 【主机】webssh 基于 websocket 协定 【主机】反对 vmware 迁徙仅迁徙计算 【主机】反对增加 lvm vg 作为后端存储 【报表】月报适配不同币种账单 【多云】新建 vmware 云账号时,新增用户配置网络指引 【零碎】优化提醒权限有余展现问题 问题修复【主机】修复 ZStack 虚拟机 ip 同步问题 【主机】修复虚拟机增加备份机不反对开机的问题 【主机】修复驱动反显谬误的问题 【主机】修复物理机上传电源和温度指标可能呈现 panic 的问题 【主机】修复卸载磁盘反复回调的问题 【多云】修复阿里云弹性缓存周期同步问题 【零碎】修复列表无分页限度问题 【报表】修复月报告诉角色展现为操作用户的问题(企业版) 【多云】修复华三云磁盘创立工夫谬误问题(企业版) 【多云】修复 OpenStack 快照状态不刷新问题 【多云】修复阿里云国际版账号获取余额失败问题 【容器】修复 k8s 集群创立 ceph storageclass 出错问题 【镜像】修复 uos 镜像辨认成 ubuntu 的问题 【网络】vpcagent 回退到从 region 服务拉取源信息,解决偶发呈现的网络不通问题 Cloudpods v3.9.11性能优化【主机】openstack 反对硬盘快照回滚 【主机】上传 ISO 镜像反对自定义设置镜像类型 【主机】虚拟机 IP 及 ID 反对同时查问多条数据 ...

July 7, 2023 · 1 min · jiezi

关于云计算:Ceph集群迁移ip变更那些事

背景恰逢公司的存储服务(Ceph\&Curve)要迁徙到新的机房,因而对Ceph的集群迁徙进行了一些学习与整顿,从ceph的集群迁徙中学习一些教训,避免踩坑。 Ceph的迁徙能够分为离线迁徙以及在线迁徙(业务不中断),这里会别离进行介绍。 离线迁徙[服务器搬迁]ceph mon节点迁徙有时可能须要将ceph存储整机挪动到不同的网络、数据中心的不同局部或齐全不同的数据中心,甚至于新机房和老机房的网络都不是互通的,那么就须要应用离线迁徙了。 离线迁徙次要波及到的就是mon节点的扭转。解决方案是为集群中的所有mon生成具备新IP地址的新 monmap,并将新映射注入每个独自的mon 获取集群以后monmap(搬迁前进行)获取集群monmap这里又分为三种状况:Ceph mon可能造成仲裁;Ceph mon不能造成仲裁待至多有一个存活;所有的Ceph mon都曾经损坏了。 如果残余的 Ceph mon可能造成仲裁(少数存活),请应用 ceph mon getmap 命令获取 Ceph monitor map: ceph mon getmap -o /tmp/monmap如果此时ceph的mon曾经不可能造成仲裁了(少数mon挂了),那么在衰弱的正确的mon机器上通过如下步骤获取monmap // 进行您要复制 Ceph monitor map 的 Ceph 监控器[root@mon ~]# systemctl stop ceph-mon@<host-name>// 取得ceph monmap[root@mon ~]# ceph-mon -i ID --extract-monmap /tmp/monmap如果很不背运,所有的mon都损坏了,那么还有没有什么方法获取到集群的monmap,以至于复原整个集群呢? 当然,也是有的,能够借助ceph-monstore-tool和 ceph- objectstore-tool 这两个实用程序,通过 OSD 节点上存储的信息来复原它,具体详情请参考: 应用 BlueStore 时复原 Ceph monitor 存储 删除长期monmap中的老的mon# monmaptool --rm node1 --rm node2 --rm node3 /tmp/monmap monmaptool: monmap file /tmp/monmapmonmaptool: removing node1monmaptool: removing node2monmaptool: removing node3monmaptool: writing epoch 1 to /tmp/monmap (0 monitors)向长期monmap中增加新的mon# monmaptool --add node1 192.168.244.44 --add node2 192.168.244.45 --add node3 192.168.244.46 /tmp/monmapmonmaptool: monmap file /tmp/monmapmonmaptool: writing epoch 1 to /tmp/monmap (3 monitors)进行所有mon服务并注入monmap首先要先确保新的mon曾经在新的服务器上安装起来了,而后stop掉mon过程,每个mon新节点都要执行 ...

July 7, 2023 · 2 min · jiezi

关于云计算:多维演进智能编码的深度进化

咱们在谋求怎么的编码将来?无处不在的视频浸透、井喷式的流量增长、多元的场景技术需要、用户对视频体验的“不将就”……音视频行业的疾速倒退却随同着“编码标准降级速度迟缓”、“硬件红利见底”、“编码复杂度带来的老本问题”等泛滥挑战。 视频编码还“卷”得动吗? 到底怎么的视频编码技术,能力满足既要又要的体验与老本均衡? 面向机器视觉的视频编码、虚拟现实视频、智能化利用视频......前浪翻滚而来,视频编码的“未来式”如何开展? 本文由IMMENSE、「阿里云视频云」视频编码服务端负责人陈高星和LiveVideoStack策动、采访而成。 需要很多,矛盾更多技术迭代速度凝固了吗?摩尔定律走到止境了吗?视频编解码技术约10年晋升50%压缩率,但这“十年磨一剑”的降级速度,早就跟不上视频信息量收缩的速度。 新编码标准带来的编码复杂度减少,远高于CPU解决能力的加强,随之面临编码技术难以“普惠”的难题。 随着视频在更多利用场景的扩大摸索,繁多编码标准已难笼罩多种视频利用需要…… 显然,一边是AR、VR时代的到来,以及4K、8K的高分辨率,60-120fps高帧率,10-12bit宽色域,让视频自身的信息量数倍收缩;一边,是资源重叠置换压缩效率,和“摩尔定律”的提高曾经走到了“止境”。加之,视频的“超低延时”对编码速度的要求,这所有,让视频体验、带宽、计算成本、编码速度之间的 “矛盾” 越发显著。 于是,咱们始终面临更高清、更实时、更高效的编码需要,也面临技术与需要之间的诸多“矛盾”。 在这些仿佛难以均衡的“矛盾”背景下,也衍生出许多值得进一步探讨的问题: ➤ 现有的编码标准在哪些方面关注不够? ➤ 如何先用好现有的编码标准? ➤ 现有的视频编码技术笼罩不到的维度有哪些? ➤ 除了码率和品质,视频编码是否须要关注更多的指标? ➤ 如何突破资源重叠置换视频压缩效率晋升的技术思维惯性? …… 从需要、矛盾、问题中,可引出深一层的认知:编码优化的指标不再仅仅思考传统的主客观品质、复杂度、时延等维度,还有与AI解决能力的敌对性、多平台下性能的适配性等。 问题的提出总是随同着解题思路和技术方向的抉择。 于是,推动着编解码架构从传统向更智能、更兼容的方向演进。 终极目标,有些偏倚在优化编解码时,咱们到底须要谋求什么?当2015年阿里云视频云向业界提出了“窄带高清”的概念,并在2016年正式推出窄带高清技术品牌并产品化,这种既“降低码率”又“进步清晰度”的兼顾之方,简直成为了业界的通用解法。 然而,一直演变之下到以后,业内开始风行一种“内卷”,即,适度谋求"某主观指标数据"的优化。 然而,以“人”为核心的视频化视角,在最终的用户体验上,视频都应是更关注主观体验的。相同的是,在理论研发过程中,特地是编码器的优化上,通常都是依赖如:PSNR、SSIM、VMAF-NEG这样的“有源主观指标”。 诚然,在大部分状况下,主观品质的晋升都能肯定水平反映到主观品质的晋升上,特地是当样本数足够大,且主观品质晋升较大时,主观指标和主观感触能出现一致性。 不过在窄带高清的优化实际中,也存在一些主客观优化“不统一”的状况。 比方:H.265规范中的SAO工具,用于改善振铃效应,但随之会升高VMAF和VMAF-NEG分数; X265编码器里的PSY工具,在主观品质上能减少高频细节,然而对于主观指标都是不敌对的; 又比方:JND和ROI技术,在开掘视觉失真冗余的过程中,也不可避免地会造成有源主观指标的降落; 阿里云自研的码控算法,会对容易呈现“块效应”等主观问题的区域调配更多码率以爱护主观品质,但这也会导致主观品质降落; 还有,前解决加强中的各种修复生成技术,会间接对源进行批改,这类技术对于旨在评估“与源差别大小”的有源主观指标,都是不太敌对的。 此外,针对繁多主观指标的“适度优化”,也有可能造成繁多主观指标与主观体验相悖的状况...... 因而,单项主观指标的数值或高或低,都不应是视频编码优化谋求的“终极目标”。 轻微之处,方见视界咱们的编解码视界里,能够有哪些精妙解法?在上述技术理念和智能编码架构的撑持下,“窄带高清2.0”从人眼视觉模型登程,将编码器的优化指标从“保真度更高”调整为“主观体验更好”。 这能够从视觉编码和细节修复两个视角来看。 在视觉编码维度,“窄带高清2.0”采纳基于场景和内容的帧类型决策和块级码率调配,模式决策采纳面向主观敌对的算法。 在内容自适应编码局部,思考到人眼感知的视频空间域的亮度、对比度以及时域失真是不间断的,通过基于恰可察觉失真(JND)自适应编码技术,抛弃视觉冗余信息,在主观品质不产生明显降低的状况下,能够大幅节俭带宽;同时,通过ROI码控技术调整码率调配策略,进一步晋升人眼感兴趣区域的清晰度。 在细节修复维度,“窄带高清2.0”采纳基于生成反抗网络(GAN) 的细节修复生成技术,在修复因编码压缩引起的马赛克效应和边缘毛刺的同时, “脑补” 生成一些天然的纹理细节,使得画面纹理细节更丰盛、更天然、更有质感。 更要害的是,应答垂直细分场景,咱们的模型会对场景特色会实现更为智能的纹理生成。 比方:对于演唱会场景,曾为百视TV专属打造了Idol人像定制模版,针对优化人像区域的细节修复生成成果,将Idol的“怼脸直拍”,通过直播清晰还原送到观众屏幕前。 再比方:在NBA篮球比赛场景,AI修复模型增强了篮球场地板纹理、球员远景特写、球场边界线、高空广告字母、球衣上数字、篮球网等篮球体育赛事特有元素的修复生成,大大晋升画面清晰度和整体视觉生能源体现。 也正是,唯有轻微之处,方能见技术之极。 绕不开的“老本、老本、老本”老本和体验的“非零和博弈”, 编解码怎么摆平?正如“清晰度”和“带宽”是“窄带高清”须要均衡的天平两端,在以后“降本增效”的大环境之下,“体验”和“老本”的“非零和博弈”,肯定是绕不开的话题。 老本(计算复杂度),体验(品质),这两者尽管是“trade-off”的衡量关系,但在某种程度上,也能够单方面优化晋升。 比方,通过算法优化,在复杂度不变的状况下,将编码器的R-D曲线朝着更有性价比的方向优化;同时,通过高性价比的自适应疾速算法的设计,也能够将品质的晋升转化为老本的收益;又或者,通过底层优化并与计算平台的充沛联合,开掘异构编码的后劲,能够进一步在品质不变的状况下升高计算成本。 当然,在“让高压缩率算法和AI真正普惠”的路上,阿里云视频云所做的不仅于此。 与视频编码相似,在视频解决畛域,深度学习从成果上曾经远超传统办法,同时还在一直地疾速进化,但深度学习对计算资源的高耗费,成为妨碍其在理论利用中宽泛应用的次要起因。 阿里云视频云深度自研编码内核,包含s264、s265,落地100+算法,反对直播、点播、RTC场景,绝对于开源,全场景20%+压缩率当先。 同时,咱们引入AI辅助的编码决策,在码率调配和模式决策上晋升内容自适应能力,极致开掘视觉冗余,等同主观下,码率节俭50%。 软硬联合,是破解编码天花板之技吗?在算法层面和软件层面塑造的无限差别之上,要想塑造老本劣势,必须将软件、算法与操作系统、硬件、乃至芯片,全线联动。 此基础上,基于自研倚天710芯片,视频云与倚天团队联结投入ARM视频编码优化,深度重构了视频编码数据构造、并行框架,从新调优了疾速算法策略,从软件、汇编、硬件层面跨层深度优化,塑造极致性能。 同时,咱们与平头哥深度单干,共建 “软硬联合” 自研芯片竞争力,通过算法、减速库、驱动、固件一体化设计,一直摸索翻新音视频技术,增强在更多视频利用、更多终端设备上的普适性,从而带来更节俭、更低耗、更高清、更实时的硬核编码力,赋能千行百业的视频化需要。 没有设想,就没有进化苹果的VisonPro,透射出编码的将来吗?回顾文章结尾的“矛盾”与问题,面对激增的海量视频数据、多元的视频内容模式,以及减速扩充的行业利用范畴,视频编码如何“进化”的答案,也暗藏在行业的急速迭代之中。 ...

July 5, 2023 · 1 min · jiezi

关于云计算:面向分布式云的直播及点播云技术创新方案获中国信通院分布式云技术创新先锋案例

由中国信息通信研究院、中国通信标准化协会主办的第三届“云边协同大会”于 6 月 30 日在京举办。阿里云视频云团队凭借 《面向分布式云的直播及点播云技术创新计划》 在一众产品服务中怀才不遇,荣获「分布式云技术创新先锋案例」。 面向分布式云技术的直播及点播云服务在资源编排上基于多 Kubernetes,整体服务以微服务架构,整体联合多运行时架构,整体技术计划对立,可能保障一套代码适应多环境,在保障高迭代效率的根底上,进步稳定性与可靠性,适宜对应客户的直播和点播云服务。 资源架构图 基于直播实在场景视角鸟瞰,整体转码节点计算层工作作为数据立体,除在公共云外,能够下沉到边缘云节点,边缘云节点既能够是客户的机房,也能够是一个惯例设施,只有具备转码曾经反对的异构机器设备和指令集即可,整个直播转码/录制/时移等管制立体既能够在核心公共云上,也能够齐全下沉到边缘集群,整体计划灵便,能够按需调整部署状态。 直播业务链路图 在技术架构之外,本计划翻新在何处? 首先,多运行时架构可能不被环境锁定价值,面向不同对象适应不同的服务,更多根底能力形象下沉,带来更高的价值。 其次,一套架构一套代码。本计划领有对立的基础设施、对立的利用开发框架、数据一致性计划、性能优化计划以及平安治理计划。 技术创新带来的是更多的劣势。 老本方面|分布式云技术可升高硬件设施老本、软件老本、数据管理老本、保护老本以及数据安全老本; 应用方面|分布式云技术可进步零碎可用性、加强数据冗余容错能力以及实现资源主动切换; 体验方面|分布式云技术可进步用户体验感、数据可视化成果以及数据安全性和可信度; 数据方面|分布式云技术可进步数据保密性、完整性、可用性以及避免数据被篡改; 研发方面|分布式云技术可进步开发效率、测试效率、部署效率、合作效率以及创新能力。 将来,阿里云视频云团队将继续加码直播、点播畛域技术创新,致力于打造更低延时、更高清、更沉迷、更智能和更低成本的视频云,让视频云成为数字经济时代的基础设施,一起期待视频云技术的更多可能。

July 4, 2023 · 1 min · jiezi

关于云计算:合作参与让开源更易用-亚马逊的开源文化

JAX 是一种越来越风行的库,它反对原生 Python 或 NumPy 函数的可组合函数转换,可用于高性能数值计算和机器学习钻研。JAX 提供了编写 NumPy 程序的能力,这些程序能够应用 GPU/TPU 主动差分和减速,从而造成了更灵便的框架来反对古代深度学习架构。在这两篇文章中咱们探讨了无关 JAX 的一些主题,心愿对您用应用 JAX 这一框架进行深度学习钻研有所帮忙。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术,观点,和我的项目,并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏,看到这里请肯定不要匆匆划过,点这里让它成为你的技术宝库!您也能够在在挪动互联网、物联网飞速发展的当下,不论是集体开发者还是大体量的企业服务都宽泛采纳着各种各样的云计算技术。而反对这些云计算设施的技术当中,又广布着开源产品的身影。亚马逊云科技作为行业中的佼佼者,不仅宽泛应用了各类开源技术以撑持简单而弱小的云计算业务,也在参加开源我的项目的研发与推广中,踊跃推动着开源技术倒退和生态建设。 亚马逊云科技在开源社区中始终保持着踊跃凋谢的态度: 更宽泛的单干:咱们通过与开源用户、合作伙伴、社区建设严密的伙伴关系来促成开源技术倒退。在这些单干中,咱们通过间接的代码奉献以及技术推广将开源的蛋糕做大,让参加开源的各方都能取得充沛倒退;更高的参与度:咱们通过云计算,一方面从开源中获益,另一方面反哺开源。咱们深信开源生态一直的蓬勃发展,有利于造成良性的循环,可能促成整个开源社区和生态更加凋敝;让开源易于应用:咱们将开源技术于自动化、全托管的云计算服务交融在一起,升高开源技术应用老本,推动开源技术在生产中落地和倒退。在这个过程中,有更多用户以更低成本应用上开源技术,促成更多行业实现数字化转型。亚马逊的领导力准则是亚马逊文化的外围,它如同亚马逊的 DNA 融入贯通每一个重要决策,深深影响着每一位亚麻人、影响着每一位亚马逊的客户、合作伙伴以及每一位亚马逊云科技的构建者。同时,亚马逊的领导力准则对亚马逊与开源的互动形式也产生着深远的影响。 Build On Cloud 视频号观看这一部分的视频演讲: 客户至尚亚马逊领导力准则的第一条,也是十分重要的一条就是:客户至尚。 “以客户为核心的办法有很多劣势,但最大的劣势是:即使客户示意出愉悦并且认可咱们的业务很杰出,他们始终还是会存在某种不满足感。” “甚至有时候他们本人并没有意识到,客户总想要更好的体验和服务,而您取悦客户的欲望将驱使您代表他们进行发明。” —— Jeff Bezos 客户至尚,就是始终以客户为核心。当波及要交付什么样的产品和服务时,亚马逊云科技首先会聆听客户和开发者的需要。不会为了技术而构建技术,也不会为了翻新而贸然翻新。因而,90% 的亚马逊云科技的产品路线图都是由客户和开发者的间接反馈推动的。 开源也是如此。少数开发者同时也是开源技术的贡献者和推动者。他们通知咱们,他们喜爱开源容纳凋谢的环境和可创造性,同时也心愿从云上取得更宽泛何成熟的产品和服务。他们看到服务之间深度集成,会带来更显著的敏捷性和可管理性。 开发者说,他们喜爱依据本人抉择的规范来决定要运行什么以及如何运行他们的开源技术构建的利用零碎。有些时候,他们心愿自我管理这些开源工作负载,但有些业务场景,他们会应用由云供应商提供的工具和服务来运行、保护他们的开源利用。对于亚马逊云科技来说,咱们须要粗浅理解开发者在开发和运行开源软件时具体的问题和需要,并且要帮忙他们解决这些问题。亚马逊云科技依据不同利用场景提供多种 Apache Airflow 服务形式:Apache Airflow 是一项由 Airbnb 在 2014 年推出的开源我的项目,其目标是为了治理日益简单的数据管理工具、脚本和剖析工具,提供一个构建批处理工作流的计划。从性能来看,这是一种可扩大的分布式工作流调度零碎,容许将工作流建模为有向无环图(DAGs),通过这种形式简化数据管道中各个解决步骤的创立、编排和监控。我的项目地址:airflow.apache.org亚马逊云科技提供了自治理形式相比在本人的数据中心通过齐全开源的 Kubernetes 来部署、运行和治理 Apache Airflow,利用私有云在全托管的容器服务,比方 Amazon ECS 、Amazon EKS 上部署 、运行以及治理 Airflow,开发者能够从很大水平上节俭了对于基础架构的运维、计算资源的配置和预留以及集群资源管理的人力和工夫的开销,同时还会取得了更多工具、服务的抉择以及更多的灵活性。深度集成的云托管服务也会帮忙开发者实现自动化 IT 运维治理、弹性扩大以及高可用等等简单且繁琐的工作。让他们能够更加专一于 Airflow 自身的开发和经营。 细节请参阅《在 Amazon Fargate 上运行 Airflow》: 然而自治理形式依旧会面临以下的挑战: 部署配置繁琐。开源软件的配置管理通常是一个齐全手动的过程。对于很多开发者来说,面对大规模的部署就须要定制他们本人环境的开发工具。同时对于部署配置过程中的多种抉择,抉择一个最合适的配置绝非易事;扩大难度高。尽管开发者在云上能够通过虚拟机的主动扩大或容器集群扩大来实现,但这两个配置管理工作自身就有肯定的复杂性。开发者须要肯定的技术积攒,在生产中也会产生相应的我的项目老本;平安危险高。在平安方面,反对基于角色的认证和受权通常波及的是一个过程。开发者必须在一个中央进行认证,而后进入 Apache Airflow 的用户界面,去受权该特定人员所属的具体角色(比方管理员或查看者)。很多开发者为了节俭配置工夫,经常会受权所有的开发者都成为管理员。但从平安的角度来说,这是十分危险的事件,很容易造成我的项目的管理混乱和人为的平安危险;版本升级简单。在 Apache Airflow 中有数百个 Python 库,在这些库和其余依赖关系中去跟踪、精确定位哪些版本是稳固的,哪些版本是必须的,哪些版本有平安危险,简直不可能。而降级 Apache Airflow 的苦楚又往往呈现在降级失败后的回滚过程。亚马逊云科技提供了全托管服务—— MWAA为了解决开发者以上痛点和开发过程中挑战,在 2020 年 12 月亚马逊云科技为 Apache Airflow 推出了 Managed Workflows for Apache Airflow(MWAA)的全托管服务。 ...

July 3, 2023 · 1 min · jiezi

关于云计算:云原生周刊Microcks-成为-CNCF-沙箱项目

开源我的项目举荐KubentKube No Trouble (kubent) 是一个简略的工具,该工具将可能依据您部署资源的形式检测已弃用的 API。 kdoctorkdoctor 是一个数据面测试的云原生我的项目,源于生产运维实际。通过压力注入,实现对集群性能和性能的被动检测。kdoctor 的利用场景: 创立新集群后的查看,日常运维。E2E 测试、bug 重现、混沌测试。node-problem-detectornode-problem-detector 旨在使集群治理栈中的上游层看到各种节点问题。node-problem-detector 能够作为 DaemonSet 运行,也能够独立运行,它是一个运行在每个节点上的守护过程,检测节点问题并报告给 apiserver。当初它正作为 Kubernetes 插件运行,在 GKE 集群中默认启用。在 AKS 中,它也作为 AKS Linux 扩大的一部分被默认启用。 文章举荐应用 KEDA 在 Kubernetes 上进行事件驱动的主动缩放这篇文章是一篇十分实用的 KEDA 指南,它提供了对于如何应用 KEDA 在 Kubernetes 上实现事件驱动的主动缩放的基本知识和理论示例,以及一些对于如何应用 KEDA 的最佳实际和提醒。 应用 Karpenter 进行 Kubernetes 工作负载治理这篇文章提供了一个十分实用的 Karpenter 指南,它介绍了如何应用 Karpenter 进行 Kubernetes 工作负载治理,包含装置、配置和高级性能等方面。 云原生时代,如何通过 KubeSphere x 极狐GitLab 构建平安利用?本文给大家介绍了极狐GitLab 和 KubeSphere 各自的劣势,并探讨了如何联合 KubeSphere 和极狐GitLab 来构建一个云原生利用平安体系,最初通过一个示例来展现极狐GiLab DevSecOps 性能的工作原理。 云原生动静Microcks 成为 CNCF 沙箱我的项目日前,Microcks 成为 CNCF 沙箱我的项目。 ...

July 3, 2023 · 1 min · jiezi

关于云计算:云原生时代如何通过-KubeSphere-x-极狐GitLab-构建安全应用

本文整顿自云原生 Meetup 杭州站上,极狐(GitLab) DevOps 技术布道师马景贺的演讲。当听到云原生的时候,你会想起什么? 可能很多人很天然地就会想到 Kubernetes、容器、微服务、开源等等,这些关键词是咱们接触云原生绕不开的话题。然而以上还少了一个关键词:平安。 云原生从 2013 年呈现,2015 年倒退起来当前,平安也逐步被关注和器重。 以云原生中罕用的镜像平安为例,下图是通过拉取罕用镜像,用 Trivy 进行扫描的后果,不同色彩对应不同等级的破绽。例如 node.js 这个开源我的项目,高危破绽有 544 个,中危级破绽有 921 个;还有 Jenkins,破绽数量也不少。 能够看到,容器镜像平安问题比较严重,对于容器镜像平安的更多剖析报告,感兴趣的敌人能够参阅 Anchore 公布的 2021 年、2022 年软件供应链平安报告。 一个残缺的软件开发生命周期包含源代码开发、构建、测试、部署等环节,每一个步骤都可能存在潜在平安危险。咱们应该把平安嵌入到每一个环节中去,也就是将 DevSecOps 利用到云原生利用程序开发的每一个环节中去,再加上 K8s 容器镜像平安扫描,能力打造一个残缺的云原生平安生态。 DevSecOps 是什么?如何帮忙咱们打造云原生平安生态?DevSecOps 是一个兼具深度和广度的纵深平安进攻零碎,从 Source code、 Build 、Test 到 Deploy,任何一个阶段,都有对应的平安伎俩。其次,DevSecOps 是流程、工具、文化的深度联合,传统的研发团队里,开发人员只负责代码的开发,不会关注后续的运维等流程,但在 DevSecOps 规范要求下,平安是团队中每个人的责任,须要贯通从开发到运维全生命周期的每一个环节。 DevSecOps 强调的平安测试左移,其实就是更早地让研发退出进来。咱们软件研发过程中的大部分平安问题,都是在开发阶段引入的,因而,如果从 Source code 阶段就尽早将平安思考在内,从源头处晋升平安能力,就能更无效、更低成本地发现和解决平安问题。 平安继续自动化也是很重要的一个局部,因为一个残缺的平安流程,波及到很多平安工具,如果每个工具都手动配置,手动触发平安测试,那么工作量就会大大晋升。所以 DevSecOps 冀望的是平安继续自动化,开发写完代码提交变更当前(MR 或者 PR),就能够进行主动扫描,产出报告并倡议你如何修复。 当然了当初也进入 ChatGPT 时代,我前段时间做了一个 Demo,ChatGPT 在 Code Review 阶段就通知你哪些是有平安危险的,甚至还会给出举荐的修复代码,感兴趣的敌人也能够去尝试一下 Gartner 每年会针对新技术会公布一个技术成熟度曲线,上图是 2022 年的数据,DevSecOps 就在最右侧,代表着它曾经很成熟了,这也是为什么从 2019 年开始,很多企业都在开始探讨 DevSecOps。 ...

July 3, 2023 · 2 min · jiezi

关于云计算:祝贺开源之夏-2023-KubeSphere-社区项目中选学生

日前,开源之夏 2023 所有当选后果已出炉,在此恭喜各位当选的同学! 流动简介开源之夏是由中科院软件所“开源软件供应链点亮打算”发动并长期反对的一项暑期开源流动,旨在激励在校学生积极参与开源软件的开发保护,造就和挖掘更多优良的开发者,促成优良开源软件社区的蓬勃发展,助力开源软件供应链建设。 开源之夏联结国内外开源社区,针对重要开源软件的开发与保护提供我的项目工作,面向寰球高校学生凋谢报名。当选学生将在我的项目资深开发者(我的项目导师)的领导下,参加开源奉献,实现开发工作并奉献给开源社区。 学生可自主抉择感兴趣的我的项目进行申请,并在当选后取得该软件资深维护者(社区导师)亲自领导的机会。依据我的项目的难易水平和实现状况,参与者还将获取开源之夏流动奖金和结项证书。 往年,是 KubeSphere 社区第三次参加开源之夏流动。 我的项目简介本次流动,KubeSphere 社区共提交了 6 个开发类我的项目课题,波及 KubeSphere、KubeKey、Fluent Operator、OpenFunction 等开源我的项目。以下是我的项目简介: 我的项目畛域技能难 度学生OpenFunction 的 Node.js 函数框架反对 Dapr 状态治理 <br/>降级现有的 OpenFunction Node.js Functions Framework(函数框架),使之反对在函数中应用 Dapr 状态治理的能力。<br/>导师: Haili ZhangFunctions-as-a-ServiceNode.js,Kubernetes,KinD,OpenFunction,Dapr根底董文龙Fluent Operator Collector 输出组件开发 <br/>实现 Fluent Operator 中多个输出插件的开发并集成到 Fluent Operator 中。<br/>导师: wenchajunObservabilityGolang,Kubernetes,Fluent-bit,Fluentd根底刘帅军OpenELB EIP 调配到 Namespace <br/>实现 OpenELB EIP 调配到匹配的一个或者多个 Namespace 的性能。<br/>导师: renyunkangloadbalanceGolang,Kubernetes,OpenELB根底郭辰英OpenFunction 函数触发器 <br/>设计 OpenFunction 函数触发模式,进步用户的函数触发体验。<br/>导师: Fang Tian Functions-as-a-ServiceKubernetes,Dapr,OpenFunction,Keda,Golang,Knative[可选]根底张冠璟KubeKey 可视化界面开发 <br/>开发 KubeKey Console,反对界面可视化集群治理。<br/>导师: JunWei ChenKubernetesJavaScript、TypeScript、HTML、CSS、Go;React;Docker、Kubernetes根底史继林基于 Shipwright+Buildpacks 革新 KubeSphere-S2I <br/>KubeSphere 上基于 Shipwright+Buildpacks 的 SourceToImage 性能。。<br/>导师: yudongDevOpsGolang,Kubernetes,Buildpacks,Shipwright,React根底甘秉坤您还能够通过开源之夏官网 KubeSphere 社区我的项目列表页或 KubeSphere 官网开源之夏页面理解这些我的项目的详情。 ...

July 3, 2023 · 1 min · jiezi

关于云计算:关于云成本管理和优化-FinOps你需要知道的一切

FinOps 是什么?FinOps 是一种云老本治理和优化的解决方案,并为组织、企业、团队提供了系统化的方法论,其中每个人都应该对本人的云资源老本负责。 FinOps 是“Finance”和“DevOps”的合成词,强调业务团队和研发团队的沟通和合作。也被称为“云财务管理”、“云财务工程”、“云老本治理”、“云老本优化”或“云财务优化”等。 FinOps 有一个比拟权威组织–--FinOps 基金会(官网地址 finops.org)。FinOps 基金会是 Linux 基金会发动的一个我的项目,致力于通过最佳实际、教育和规范来推动云老本治理学科的实际。 FinOps 基金会对 FinOps 定义如下: FinOps 是一种一直倒退的云老本治理学科和文化实际,通过帮忙财务、技术和业务团队在数据驱动的收入决策上进行合作,使组织可能取得最大的商业价值。(定义更新工夫:2021 年 11 月,FinOps 基金会技术咨询委员会) FinOps 的外围是一种文化实际。这是一种团队治理云老本的形式,其中每个人都要对本人的云资源云耗费负责,并失去一个中心化的最佳实际团队的反对。研发、财务、产品等方面的跨职能团队协同工作,以实现更快的产品交付,同时取得更多的财务管制和可预测性。 FinOps 的次要市场驱动力缩小节约的云收入。 依据最新的 2023 年分析师和供应商报告《Flexera 2023 云状态报告解读》,云收入总额的 28% 是节约的收入,即在云上的每 100 美元收入中,有 28 美元是节约的收入。 跨多个云的老本治理。 跨天文区域的 90% 的组织都在应用多个云。私有云提供的传统老本管理工具(如 AWS、Azure 和 GCP)仅反对各自的云,不反对跨多个云的云老本治理。 最终客户对优化云收入的强烈需要。 越来越须要及时云老本报告及对云收入的问责机制以及取得的相干业务价值。组织正在寻找可用于优化所有云环境中的云收入的FinOps 工具/云治理平台 (CMP)。 云成本增加导致经营模式发生变化。 研发团队和财务团队须要更无效地协同工作,以反对业务的敏捷性,并被动监控和调整收入。这也将使团队可能无效地利用云的可变老本模型。 通过遵循 FinOps 最佳实际能够取得的收益通过理解云应用状况来取得可见性,以管制云老本推动云收入的问责制。帮助跨职能团队对他们所应用的云资源放弃财务问责能力简化云估算治理辨认老本优化机会并主动执行工作放慢申请的执行实现数据驱动的决策建设组织外部对云老本的共识 FinOps 相干角色高管研发负责人FinOps 从业者经营财务洽购 FinOps 相干 KPIKPI 类别FinOps 重大依赖要害绩效指标 (KPI)。KPI 用于取得可见性和量化视角,以简化老本管制过程。FinOps KPI 可大抵分为以下几类: 云可见性 KPI –-- 包含与跨云的老本、耗费、性能、配置、安全性和可用性相干的指标云优化 KPI ---- 包含与老本节俭、生产事件、均匀修复工夫、安全漏洞等相干的指标云治理和自动化 KPI ---- 包含与财务管理治理、经营治理、安全性和经营治理相干的指标 ...

June 29, 2023 · 1 min · jiezi

关于云计算:云原生周刊HashiCorp-Vault-114-发布-2023626

开源我的项目举荐HelmfileHelmfile 是一个开源工具,应用 Helm charts 简化简单应用程序的部署。它提供了一种申明性的形式来定义 Kubernetes 资源的冀望状态,并治理 Helm releases 的装置、降级和删除。 KubeVPNKubeVPN 是一个基于 Kubernetes 的开源 VPN 解决方案,它提供了一种简略的形式来部署和治理 VPN 服务器和客户端。连贯到 Kubernetes 集群网络,你能够拜访近程 Kubernetes 集群网络,近程 Kubernetes 集群服务也能够拜访你的本地服务。此外,你能够在本地 Docker 容器上运行你的 Kubernetes pod,具备雷同的环境、卷和网络。 TimoniTimoni 是 Kubernetes 的包管理器,由 CUE 提供反对 并受到 Helm 的启发。 Timoni 我的项目致力于改良编写 Kubernetes 配置的用户体验。Timoni 没有像 Helm 那样将 Go 模板与 YAML 混合在一起,也没有像 Kustomize 那样将 YAML 分层,而是依附 cuelang 的类型平安、代码生成和数据验证性能来提供创立、打包和向 Kubernetes 交付应用程序的更好体验。 文章举荐gRPC + minikube 和均衡流量 (3/3)这篇文章是对于如何在 Minikube 上应用 gRPC 和 Kubernetes 来均衡流量的实用指南。它提供了一些无关 gRPC 和 Kubernetes 的基础知识,并给出了一些理论的示例来阐明如何在 Minikube 上设置和应用 gRPC 和 Kubernetes。 ...

June 26, 2023 · 1 min · jiezi

关于云计算:专场来袭深度解读阿里云视频云的全智能进化

云智深度交融,视频云将幻化出怎么的新光景?01 「云智新生」_ 视频云的全智能进化新数智时代,云和AI在走向深度交融,以云计算为基石、以AI为引擎的云智深度交融,俨然成为行业共识。以“云智”为撑持,视频云在拓展音视频利用的边界和深度,各行业亦对视频云技术提出了更多元、更极致的要求。 这其中,作为底座的弱小传输网络、作为内核的先进智能编码、驱动翻新的智能媒体服务,减速利用的音视频终端,方为视频云赛道演进的重心之心,助力减速音视频的数字化转型和全智能降级。 在2023LiveVideoStackCon上海站,阿里云视频云专场将从面向未来的流媒体传输网络、智能化编码架构、媒体服务重组与进化、媒体开发终端套件四大维度,深度出现阿里云视频云的全面进化和全智能演进。以云之普惠、AI之智慧,减速音视频数智化翻新落地,打造“云智新生”的新现象。 02 议题与讲师TOPIC 1 MediaUni:面向未来的流媒体传输网络设计与实际 新数智时代,若要承载状态多元、体验极致的音视频服务,新的网络基建是所有的基本。 从直播到连麦,从音视频通信到云渲染,音视频利用对网络传输的要求越来越高。阿里云视频云基于寰球“云+边”的异构节点,构建寰球笼罩的、超低延时的、全分布式下沉的流媒体传输网络,同时,通过对立架构,以一张网同时反对直播、低提早直播、实时音视频通信、数据通讯、云渲染、近程管制等全场景音视频需要,满足“多元交融”的高阶网络传输。 本演讲将分享阿里云视频云“MediaUni多元交融流媒体传输网络”的设计理念,并探讨如何解决媒体传输中针对延时、品质、老本、多业务撑持等泛滥关键性问题,以及流媒体传输网络倒退的将来之境。 TOPIC 2 “多”维演进:智能化编码架构的钻研与实际 编解码作为音视频的高能内核,正在向“智能”深度进化。 咱们晓得,在音视频行业,始终面临更高清、更实时的编码需要,与此同时,更多利用场景(办公、工业、安防...)所爆发的视频状态,对视频编码的“多维度适应能力”提出更大的挑战,如:编码优化的指标不再仅仅思考传统的主客观品质、复杂度、时延等维度,还有诸如与AI解决能力的敌对性、多平台下性能的适配性等,这些因素都推动编解码架构“从传统走向更智能更兼容”的方向演进。 本次分享将从编码与加强方向的业界趋势登程, 围绕多指标编码能力、多规范自研编码器、多维度视频加强解决等视角,开展阿里云视频云智能编解码架构的原子能力及钻研实际。 TOPIC 3 从规模化到全智能:媒体服务的重组与进化 基于云智之力,媒体服务正在从规模化向全智能演进,而翻新“顶设”带来的不止于此。 随着音视频在不同行业、不同业务的利用场景愈发之多,采集汇聚、媒体解决、生产制作、媒资治理、散发生产等媒体服务技术整体面临如何灵便反对多业务的问题。同时视频作为信息流传的媒介,其量级也一劳永逸,这就面临如何“高时效+高质量”对视频进行规模化创作、解决加工、散发生产的技术挑战。 本次分享将展示媒体服务的翻新架构设计,通过将媒体原子能力进行打散与重组,和对媒体引擎与服务进行对立“顶设”革新,实现媒体能力的灵便编排,并交融AI及AIGC能力满足业务的高时效和高质量,从而演进到全智能时代。 TOPIC 4 MediaBox:行业音视频数字化再减速 行业视频化正过后,而真正易用的音视频终端一体化套件,予之再减速。 随着产业数字化过程减速,各行各业也须要音视频相干能力进行数字化转型,但面临着音视频能力简单、接入门槛低等难题,如何减速各行业音视频数字化落地,拓宽音视频利用的无效空间,成为音视频行业要解决的问题。阿里云视频云“MediaBox音视频终端一体化套件”给出这个问题的解决方案,并始终在向极致指标冲破。 本次分享将基于音视频行业场景化趋势,从音视频终端SDK、低代码开发、生态单干等多层次深度展示MediaBox全景,分享阿里云视频云在行业音视频数字化的实际与思考。 在这条未来式的赛道上, 阿里云视频云以全智能的进化, 与开发者独特摸索更多可能。

June 26, 2023 · 1 min · jiezi

关于云计算:KubeSphere-社区双周报-OpenFunction-发布-v111-202369622

KubeSphere 社区双周报次要整顿展现新增的贡献者名单和证书、新增的讲师证书以及两周内提交过 commit 的贡献者,并对近期重要的 PR 进行解析,同时还蕴含了线上/线下流动和布道推广等一系列社区动静。 本次双周报涵盖工夫为:2023.6.9-6.22。 贡献者名单 新晋 KubeSphere Contributor本两周共有 5 位新晋 KubeSphere Contributor,感激各位对 KubeSphere 社区的奉献! KubeSphere1. 改良代码相干 PR:https://github.com/kubesphere/kubesphere/pull/5779;https://github.com/kubesphere/kubesphere/pull/5778 贡献者: testwill OpenFunction1. 修复找不到 State Store 的 bug相干 PR: https://github.com/OpenFunction/OpenFunction/pull/457 贡献者: wanjunlei 2. OpenFunction 公布了 Release v1.1.1相干 Release:https://github.com/OpenFunction/OpenFunction/releases/tag/v1.1.1 贡献者: wanjunlei 社区动静OpenFunction v1.1.0 公布:反对 Dapr 状态治理,重构函数触发器在 Debian 12 上装置 KubeSphere 实战入门你到底须要多少个 Kubernetes 生产集群?KubeSphere Cloud 5月刊|集群巡检反对配置定时策略、云端存储巡检数据、适配 ARM64 架构 本文由博客一文多发平台 OpenWrite 公布!

June 25, 2023 · 1 min · jiezi