关于云计算:从云计算到天空计算二

2次阅读

共计 3891 个字符，预计需要花费 10 分钟才能阅读完成。

2021 年，UC Berkeley 的 Ion Stoica 和 Scott Shenker，在运行零碎热点话题的研讨会上，公布了“从云计算到天空计算”的论文。不同于咱们都熟知的 Cloud Computing(“云计算”)，Sky Computing (“天空计算”)，是云计算的将来，是指天空中有很多的云，如何解决跨云的问题，突破不同云之间的隔膜，最大化地利用跨云数据。

达坦科技的使命正如同论文中形容的“天空计算”的愿景：打造下一代云计算平台，让云之间没有隔膜 。为此，咱们翻译了这篇论文，分两期公布。如下是“从云计算到天空计算” 的第二局部，欲了解上半局部的内容，请点击从云计算到天空计算（一）

兼容层是实现天空计算你的第一步，尽管兼容层让用户能够在不同的云平台上运行应用程序而不须要批改，然而用户依然须要本人抉择云平台。这就好比让英特网用户本人抉择路由门路，这个工作过于繁琐，所以实用性不好。要解决这个问题，英特网应用 BGP 来做 AS-level 的路由抉择，终端用户齐全感知不到路由过程。天空计算也应该提供一个跨云层，该层将云平台供应商齐全暗藏，用户应该齐全不晓得利用程序运行在哪个云平台上。跨云层应该是当初兼容层之上。

跨云层应该让用户可能定制策略，这些策略会决定应用程序的运行地点——哪一个云平台，并且这些策略不应该太底层，否则用户的决策负担过重。相同，这些策略应该体现用户的偏好，例如在性能，稳定性和费用间进行取舍。不仅如此，这些策略也应该思考到有些用户不心愿利用程序运行在竞争对手的云平台上，或者处于法律条款限度必须运行在某些特定的国家境内。举一个具体的例子，一个用户能够确定本人的 TensorFlow 利用必须运行在德国境内，并且要在将来两个小时内运行完结，同时保障费用不高于某个设定阈值。

跨云层也有可能让应用程序的可靠性和安全性变得更好，毕竟多个云平台同时呈现故障的概率非常低。并且最近有一些提议将不同的云平台当做不同的信赖域，这样就能够为更多的应用程序提供高效的平安解决方案。

咱们置信要实现跨云层并不存在技术上的限度，这也不难理解，因为在云之间迁徙工作和在数据中心外部迁徙工作是相似的。一旦一个利用思考了多云场景，剩下的问题就由下列的三个性能来实现：

为 OSS 服务提供批准的命名标准。
一个检索注册服务，每个云提供商在下面注册服务，每一个用户在下面根据偏好抉择服务。
一个跨云的计费服务。
咱们当初别离探讨这三个性能。

首先是命名标准。为了可能精确地找到某个服务的运行实例，咱们须要一个全局惟一的名字来命名它。有很多中办法能够达到这个目标，例如能够应用 DNS 服务来给出命名，这里并不展开讨论。咱们还须要将一些元数据和这些实例关联起来，元数据蕴含如何启动这些实例，供应商的名字，地点，API 版本和硬件类型等等。咱们也有可能须要附加一些动态变化的信息，例如价格，负载和以后是否能够被应用等等。

其次是检索注册服务。每个利用都须要找到适宜本人的服务实例，这就须要这么一个检索注册服务。每个云提供商将在该服务上公布本人服务的名字和元数据，并且云提供商也应该定期地更新动态数据，例如负载和价格等。同样的，利用也应该依据本人的偏好发出请求。当然细节的调度算法不在本文的探讨范畴内。

最初是付费零碎。在天空计算的场景下，用户的应用程序可能在一个云平台或者多个云平台上运行，然而付费须要别离计算。如果付费操作是每个平台独立实现，那么用户须要在这些平台上都创立账户，显然不太不便。另外一个解决方案是，将计费服务交给第三方服务商，该服务商有所有云平台的账号，这样用户只须要付费一次，剩下的工作由该服务提供商解决。

基于上述探讨，实现跨云层没有显著的技术壁垒，当然还有许多细节须要进一步确定。有了这个跨云层的构想，下一个问题是市场会不会天然孕育出一个产品。

跨云层被设计来帮忙用户可能在多个云平台上按需运行工作，如果该工作波及到大量的数据，那么数据搬运将会是不可避免的。现在，绝大多数的云提供商的数据迁入的费用远低于数据迁出的费用。比方将数据导入 AWS 平台是收费的，然而从 AWS 迁出数据的费用是每 GB 0.05 到 0.09 美元，等价的费用能够用来存储这些数据几个月。这些费用比那些头部 CDN 厂商要高许多，CDN 的报价个别是每 GB 0.009 到 0.02 美元。

咱们将这种模式的定价策略称为“数据引力”定价策略，这样的定价策略会促使用户更违心在本数据中心解决数据而非迁出。当然对于那些计算特地贵的工作，将数据迁出是很划算的事件，毕竟在这种工作中数据的费用占比很小。例如，在 ImageNet 的训练任务中要解决一个 150GB 大小的数据集，将这么多数据迁出大略须要破费 13 美元，在 AWS 实现相干训练任务须要超过 40 美元，雷同的工作如果在 Azure 上运行仅仅须要大概 20 美元。基于上述数据咱们不难发现将数据迁出解决会更加便宜。由此不难发现，即便有数据引力的存在，有时迁徙数据依然是更加经济的抉择。

不仅如此，对于一些静态数据，咱们能够将其存储在一个云平台的归档服务中，该服务十分便宜，在有需要的时候再迁徙到须要解决的 Blob 存储中。相比上述办法，长期存储在某个云平台的 Blob 存储中费用更加低廉。

据咱们所知，当初数据迁出的费用是统一的，即无论咱们的数据目的地是哪里，费用都一样。对于云平台而言一个可能的抉择是相互之间签订单干协定，相互之间进行数据传输不收取费用，并且搭建更加疾速的传输链路。这样一来数据传输就是收费，并且十分疾速，在签订协定的云平台间的数据引力作用也升高了。

基于上述的探讨，做一个兼容层的技术难度并不大，然而这会使得云计算供应商的服务变成普通商品——可被代替，因而能够预感云计算提供商会消极看待兼容层。好消息是和其余畛域不一样，兼容层的标准化并不需要全局的协商，即便云计算提供商不违心，也会有越来越多的软件能够运行在多个平台上。那么兼容层即便无奈失去官网反对，也会被越来越多的用户应用，以达到更容易迁徙的目标。
尽管大的云计算提供商不喜爱兼容层，然而对于小型云服务商应用这套兼容规范有利于拓展本人的市场份额，因而他们会更加违心兼容这套规范。咱们曾经在市场上看到了这种场景，Google 公布了 Anthos——一个基于 K8S 的利用治理平台——号称可能“只写一次，随时随地运行”。Anthos 曾经在 Google Cloud 和 AWS 上运行，马上 Azure 也会采纳。

当一个兼容层被宽泛承受，那么跨云层就能够开始倒退了。当然当初都只是揣测和畅想，短期内还看不到这两层齐全筹备好。

当上述两层都已就绪，云计算提供商就只剩下两个抉择了：要么保持应用本人的公有 API，将用户锁死在本人的平台，要么兼容上述两层，提供兼容的服务。前者往往体量比拟大，可能提供足够的资源的公有协定。抉择后者的云计算提供商就会成为天空计算的一部分，独特组成天空计算，在一个兼容的体系内共存和竞争。

为什么咱们深信天空计算会产生呢？咱们能够简略剖析一下，在一个充沛竞争的市场中，保持公有协定的提供商须要和其余的相似提供商竞争，还须要和整个天空计算体系竞争，为了放弃竞争力，他们须要花更多的资源来翻新，以保障本人公有 API 的竞争性。然而相同，处在天空计算内的提供商的边界更加低，不须要花更多的力量去保护所有的畛域，只须要专一于本人的比拟窄的畛域进行翻新。举个例子，Oracle 能够提供一个专一 DB 的云，像 EMC 的公司能够提供一个专一存储的云。硬件厂商也可能参加到云计算中来，比方 Samsung 兴许能够提供最具性价比的云存储，Nvidia 能够提供硬件辅助的 ML 服务。没有天空计算的状况下，上述的这些厂商只有两种抉择，要么将本人的硬件或者服务部署到某一个（几个）云平台提供商的机房，要么本人搭建一套残缺的云计算基础设施。显然这两个都不是最好的抉择。

显然，上述的那种便利性基于一个假如，就是用户可能找到这些特有的便当服务，并且可能及时失去信息更新。为了实现这些，就须要上述的三层：兼容层，跨云层和提供商间的合作。
当然，咱们并不是说公有的云平台会隐没，在很长时间内两种模式都会存在。公有协定云平台会适宜那些须要更多辅助的用户，他们对性价比不太关注。然而一旦涉及到大规模的应用，天空计算的性价比就体现进去了，成为了不二之选。

在这篇文章中，咱们形容了想要实现天空计算面临的挑战。有些挑战是纯技术的，看起来并不难实现。然而想要让整个金融零碎运行起来，天空计算须要一批云计算提供商可能相互协作，让利用在下面流动起来。

从云计算到天空计算（一）
Xline v0.4.0: 一个用于元数据管理的分布式 KV 存储

达坦科技（DatenLord）专一下一代云计算——“天空计算”的基础设施技术，致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台 DatenLord，通过软硬件深度交融的形式买通云云壁垒，实现无限度跨云存储、跨云联通，建设海量异地、异构数据的对立存储拜访机制，为云上利用提供高性能平安存储反对。以满足不同行业客户对海量数据跨云、跨数据中心高性能拜访的需要。

公众号：达坦科技 DatenLordDatenLord
官网：www.datenlord.io
知乎账号：https://www.zhihu.com/org/da-tan-ke-ji
B 站：https://space.bilibili.com/2017027518
达坦科技邮箱：info@datenlord.com
若有趣味退出达坦科技，或退出达坦科技技术交换群，请增加小助手微信：DatenLord_Tech

正文完