关于服务器:BigQuery-如何帮助大规模交付业务型企业提供物联网解决方案

45次阅读

共计 4629 个字符,预计需要花费 12 分钟才能阅读完成。

(介绍:Leverege 是一家软件公司,它使寰球市场领导者可能疾速且经济高效地构建企业物联网应用程序,以提供以数据为核心的决策能力、优化经营、改善客户体验、交付客户价值并增加收入。

Leverege 的次要 SaaS 产品 Leverege IoT Stack 在 Google Cloud 上本地运行,并与 Google 的大量 AI/ML 产品无缝集成。Leverege 应用 BigQuery 作为其数据和剖析管道的要害组件,以大规模提供翻新的 IoT 解决方案。BigQuery 凭借其数据仓库性能、开箱即用的数据管理性能、实时剖析、跨云数据集成以及安全性和合规性规范,为物联网零碎提供了现实的根底。 这些性能使客户可能轻松集成数据流程并应用生成的数据集来辨认趋势并将洞察力利用到经营中。

语境与物联网行业背景

物联网 (IoT) 将传感器、机器和设施连贯到互联网,容许各行各业的企业将数据从物理世界挪动到数字世界、边缘和云端。大规模物联网解决方案的采纳为企业提供了提高效率、降低成本、增加收入和推动翻新所需的数据。

IoT 解决方案的弱小性能及其对寰球经济的影响正在推动对持重且平安的企业数据仓库性能的需要。物联网在基础设施层面提出了一个非凡的挑战,因为许多大规模的技术要求无奈提前预测。一些客户须要治理大量物联网数据集,而另一些客户则须要实时数据流或细粒度访问控制。物联网畛域基础设施要求的广度意味着 Leverege 依赖于与一流的云计算提供商的单干。在技术方面,须要一个功能齐全的数据仓库来满足客户需要并将其扩大。

在财务方面,端到端解决方案的设计必须可能治理和升高总体老本,同时思考到解决方案的每个组件(硬件、连贯、基础设施和软件)。通过利用 Google Cloud Platform 和 BigQuery 的可扩展性和灵活性,Leverege 的客户可能以经济实惠的形式存储、解决和剖析来自数百万连贯设施的数据,并从传感器数据中提取所需的价值。

应用 Google Cloud 的 Leverege 简介 Leverege 提供可定制的多层物联网堆栈,帮忙组织疾速轻松地构建和部署物联网解决方案,提供可掂量的商业价值。Leverege 物联网堆栈由三个组件组成:

 ·Leverege Connect 专一于设施治理,反对分布式物联网设施的平安配置、连贯和治理。Leverege Connect 可代替将于 2023 年 8 月停用的 Google IoT Core,并反对 MQTT、HTTP、UDP 和 CoAP 等协定。

·Leverege Architect 专一于数据管理,反对设施和业务数据的摄取、组织和情境化,并可能利用 AI/ML 取得弱小的洞察力和 / 或通过 API 向内部服务公开。

·Leverege Build 优化利用程序开发,通过基于每个角色的定制体验反对最终用户应用程序的生成、配置和品牌化;全副应用无代码工具。Leverege IoT Stack 与 Google Kubernetes Engine (GKE) 一起部署,这是一种齐全托管的 kubernetes 服务,用于治理微服务汇合。

Leverege 应用 Google Cloud Pub/Sub(一种齐全托管的服务)作为数据摄取音讯路由的次要形式,并应用 Google Firebase 进行实时数据和用户界面托管。对于长期数据存储、历史查问和剖析以及实时洞察,Leverege 依赖于 BigQuery。

利用 BigQuery 大规模交付和治理物联网解决方案

用例 #1:为寰球最大的汽车批发商主动进行车辆拍卖

世界领先的二手车市场面临着在面积达 600 英亩的停车场上高效协调和执行同步的现场和在线汽车拍卖的代价昂扬的挑战。在部署 IoT 解决方案之前,每天手动安顿数千辆汽车须要数百人依据难以发现的信息寻找特定车辆并尝试按准确顺序排列它们。这种手动过程效率极低、不牢靠,并且对客户体验产生负面影响,因为车辆常常错过拍卖或程序不对。

为了解决这个问题,客户构建了低成本、电池寿命长的 GPS 跟踪器,并将它们装置在停车场的所有车辆内。

Leverege 将这些设施集成到一个整体的端到端解决方案中,从而提供对准确汽车定位、诊断、主动查问、剖析报告以及向感兴趣车辆的步行方向挪动的全面理解和可见性。这种数字化转型每年为客户节俭数百万美元,同时显着进步客户满意度。在该解决方案在全国推广后,监控设施和零碎的健康状况对于经营胜利至关重要。

BigQuery 数据分区和自主剖析作业容许应用十分大的数据集以一种经济高效的形式来治理和宰割零碎警报和整体零碎健康状况报告。

用例 #2:实时剖析世界任何中央船只的状态和筹备状况

 Leverege 与世界上最大的船用发动机制造商单干,交付了一个物联网解决方案,为船主和船队经理提供实时、24/7 拜访他们在寰球的船只的状态、筹备状况和地位。无缝牢靠地向船主提供实时陆地数据须要跨硬件、软件和连贯的技术集成,这是一个特地适宜物联网解决方案的问题。

客户的“Connected Boat”产品报告了大量不同的数据,包含每个电气、机械和发动机子系统的状态。其中一些数据仅在呈现事件和问题并且船主须要考察时才具备历史意义。BigQuery 容许 Leverege 以较低的存储老本记录全副历史数据,同时只需领取应用表分区按需拜访小段数据的费用。

对于其中的每一个示例,应用 BigQuery 进行历史剖析能够帮忙辨认痛点并进步经营效率。他们还能够同时应用公共数据集和公有数据集来执行此操作。这意味着汽车批发商能够公开特定车辆的数据,但不能公开整个数据集(即没有 API 查问)。

同样,船用发动机制造商能够向不同的最终用户提供数据子集。

利用 IoT Stack 参考架构:集成组件以提供持重、可扩大且平安的解决方案

Leverege IoT Stack 构建在 Google Cloud 的基础架构之上,利用多个协同工作的外围组件来提供持重、可扩大且平安的解决方案。这些组件包含:

·GKE:Leverege 应用 GKE 部署一系列微服务并轻松扩大端到端物联网解决方案。这些微服务解决设施治理、数据摄取和实时数据处理等工作。此外,GKE 可确保高度的业务连续性,实现自我修复和容错,从而使 Leverege 可能提供企业级可用性和失常运行工夫。这些性能对于 Leverege 满足服务级别协定规定的要求至关重要。

·Pub/Sub:Leverege 应用 Pub/Sub 来编排音讯路由以获取数据,使客户可能近乎实时地解决数据。这提供了一个高度主动扩大、容错的音讯队列零碎。

·Firebase:Leverege 应用 Firebase 进行实时数据和 UI 托管,为客户提供响应迅速的交互式用户体验。借助 Firebase,客户能够轻松拜访和可视化物联网数据,并轻松构建和扩大应用程序。

·BigQuery:BigQuery 是 Leverege 解决方案的根本组成部分。它使客户可能运行长期数据存储和简单的、相似 SQL 的历史查问。这些查问能够实时运行在大量数据上,为客户提供有助于进步经营效率的可操作见解。

解决方案:利用 IoT 用例的外围 BigQuery 性能

许多技术公司宽泛应用特定的 BigQuery 性能来交付要害业务成绩。一些用例须要亚秒级提早;其他人须要适应性强的机器学习模型。相比之下,企业物联网用例通常包含一组宽泛的要求,须要应用 BigQuery 的全副外围性能。例如,Leverege 应用一系列 BigQuery 性能,包含:

·数据存储:BigQuery 作为一个有限的存储平台,容许 Leverege 客户存储和治理具备高可用性的大规模物联网数据,包含实时和历史数据。Leverege 的一些集成设施每天能够报告数千次。在数百万台设施的规模下,Leverege 的客户须要一个可扩大的数据仓库。

·实时流:BigQuery 还提供弱小的流性能,使 Leverege IoT Stack 可能近乎实时地摄取和解决大量数据。这对于 Leverege Build 的组件至关重要,它应用历史数据提供开箱即用的图表和图形。这些工具与实时数据的集成和应用更有价值。流媒体性能确保客户无需搜寻 Google Firebase 即可轻松拜访全面数据。

·数据分区:BigQuery 通过提供可定制的数据分区来实现经济高效的疾速查问。Leverege 物联网堆栈按摄取工夫对简直所有历史表进行分区。因为大多数外部历史查问都是基于工夫的,因而能够显着节省成本。

·数据加密:BigQuery 默认提供内置动态加密,容许客户平安地存储敏感数据并避免未经受权的拜访。

 ·访问控制:BigQuery 提供了许多平安的数据共享性能。Leverege 应用链接数据集和受权视图以及行级策略来施行严格的访问控制。这些政策至关重要,因为许多物联网我的项目容许多租户和数据孤岛。

·数据治理:BigQuery 提供了一组弱小的数据治理和平安性能,包含细粒度的访问控制,Leverege 应用这些性能将简单的拜访控制策略施行到行级别。除了 BigQuery 的外围性能外,Leverege 还应用 BigQuery Analytics Hub 公有数据交换和数据集的受权视图提供优于旧办法(例如 CSV 导出和 FTP 删除)的显著劣势。

Leverege 的 BigQuery 数据集上的受权视图容许执行简单的拜访策略,同时还为 Leverege 的客户提供应用 Looker 等工具剖析数据的能力。利用这些 BigQuery 性能,Leverege 能够为客户提供对源数据的可控和计量拜访权限,而无需提供间接拜访权限。此性能是满足整个企业的治理要求的根底。

  BigQuery 的内置机器学习性能还容许对数据中的趋势和模式进行高级剖析和预测,从而为咱们的客户提供有价值的见解,而无需将数据挪动到内部零碎。此外,在 BigQuery 中设置主动数据刷新和物化视图的能力可确保咱们的客户始终应用最新和精确的数据,从而取得更好的性能并缩小不必要的老本。

益处和后果

Google Cloud 基础架构和 BigQuery 性能使 Leverege 可能提供高度可扩大的物联网堆栈。 在物联网中,次要挑战不是部署小规模解决方案;而是它通过在短时间内扩大而无需从新架构来部署和治理大规模、高性能的解决方案和应用程序。

BigQuery 表分区将数据拆分为按任意工夫范畴划分的迷你表。 对于许多 Leverege 客户,数据按天划分,并在通过 Leverege IoT Stack 查问数据时强制执行。按工夫范畴对数据表进行分区可确保查问仅限于指标工夫范畴内的一小部分数据。通过应用分区,Leverege 能够以最低的老本提供高性能的解决方案。

BigQuery 集群通过将数据拆分到指定字段来进一步提高性能。 为了进步查问效率,Leverege 应用聚类来查问满足预先指定过滤条件的数据。在 100,000 台设施的大规模解决方案中,Leverege 能够对数据表进行集群和查问单个设施的历史记录,大大放慢了搜寻速度并使零碎性能更高。

此外,从新集群在后盾无缝进行,无需任何额定费用。Leverege IoT Stack 和 Google Cloud(包含 BigQuery)的集成现在为大规模的要害业务企业物联网解决方案提供反对。基础架构和应用程序级别的继续疾速倒退对于提供下一代物联网解决方案至关重要。

谷歌正在帮忙像 Leverege 这样的科技公司在谷歌的数据云上构建翻新的应用程序,通过简化的技术拜访、有用的和专门的工程反对,如果您也想尝试应用 BigQuery 请与咱们取得联系。

正文完
 0