制造业是一个古老而悠久的行业，它的起源最早可追溯到石器时代。从新石器时代简略的工具，到明天简单的智能工厂，制造业历经千年倒退，变质成了由技术驱动的翻新行业，充斥各种自动化流程、始终互连的设施和数据丰盛的流程。
本文将以数益工联数字化工厂为例，介绍“离散型”制造业面临的数据挑战，以及分布式 HTAP 数据库 TiDB 如何助力工业数据价值的开掘。
“离散型”制造业面临数据挑战
在制造业中，通常有着“流程型”和“离散型”两种辨别。“流程型”是指被加工对象不间断地通过生产设施，通过一系列的加工安装使原材料进行化学或物理变化，最终失去产品。典型的流程生产制造业有医药、化工、石油化工、电力、钢铁制作、能源、水泥等畛域。“离散型”制作，则是指资料的生产过程通常被合成为多项加工工作。典型的离散制作行业次要包含机械制造、电子电器、航空制作、汽车制作等行业。
在整个离散制造业的现场有着太多的生产、物料、工艺以及人员数据。以前，离散制造业往往只能通过人工上报，手动填单等形式来进行数据收集。对于管理层而言，这些数据往往是不通明的、不精确的，或是滞后提早的。离散制作企业自身从业务到治理，都亟需通过数字化进行优化和晋升。
如何解决“离散型”制造业的数据挑战？
工业数字化软件供应商数益工联，致力于打造基于“数据流 + 价值流”的离散制造业数字化软件。数益工联团队以 IE+IT 为外围能力，实现产品和技术的双轮驱动，已在十多个行业落成寰球当先的数字标杆工厂公司。公司至今已取得华创资本、高瓴创投、元生资本等出名机构的风险投资，累计融资额数亿元，在上海、苏州、广州三地设有子公司，打造跨区域全国服务平台。
数益工联数字工厂零碎（DFS，Digital Factory System）利用新一代的物联网技术与丰盛的现场交互伎俩，获取工厂现场最实时、最实在、最无效的数据 ，不仅蕴含设施状态、设施异样数据、设施生产数据等设施 IOT 数据，还蕴含人员的交互应用数据，如打算报工、工艺、仓储物流、质检等外围生产治理业务的数据等。 对管理层而言，通过数益工联数字工厂零碎，能够直观看到清晰、间接的报表，从中发现数据的价值，继而深入分析并采取行动，优化制作现场。
数益工联数字化工厂架构面临的挑战
<center> 数益工联数字化工厂架构图 </center>
从架构上看，数益工联数字化工厂次要分为四层：
第一层为物联层，包含硬件和软件两局部。硬件次要为数益工联自研的智能终端，软件包含边缘利用和物联平台。其中利用次要具备设施参数的采集、人脸识别等性能，以上利用均运行于智能终端。物联平台则次要承当设施治理、配置和降级的相干工作。
第二层为应用层，包含 IOT 数据服务、外围服务、低代码平台。IOT 数据服务是承受物联上报数据，计算设施开机率，异样等设施相干的服务，同时也是其余业务的数据源头；外围服务包含了打算报工、品质等数字化工厂服务；低代码平台次要包含了报表的可视化平台、流程编排等性能。
第三层为大数据层，分成了大数据和算法两个局部。大数据利用包含了老本管制、APS、工艺大数据；算法包含了人脸识别、时序剖析等算法。
第四层为基础架构层，作为基础设施提供其余业务应用。次要包含了存储、数据库、中间件和云原生等局部。
数字工厂的数据源头次要包含两局部：
第一局部是 IOT 事件，包含了设施的开关机、物联采集、异样等数据，这部分数据通过 mqtt 上传到 IOT 服务进行解决，同时会推送到队列中，不便后续的计算和存储；
另一部分是业务产生的数据，包含了打算报工、上下班等产生业务数据，次要通过 http 进行上传和展现。业务数据会间接寄存到数据库中，同时将数据推送到队列中。
数据存储次要采纳了 TiDB 和 Starrocks 两个数据库，除了时序相干的数据，业务数据都寄存在了 TiDB 中。
随着数益工联业务规模的一直增长，数据量变得愈发宏大，对于数据库的稳定性也提出了更高的要求：
- 少数业务数据须要反对秒级延时，因而须要数据库具备很高的并发能力；随着业务的增长，数据量也会越来越大，须要数据库具备良好的拓展性；
- 随着数据量的增大，报表制作老本和难度变大，无奈保障实时性。
为解决业务零碎的性能瓶颈，进步数据库的性能问题，数益工联抉择了 TiDB 这一新型分布式数据库实现重构。
数益工联研发团队在实际过程发现，TiDB 许多劣势正好能够满足数益工联的需要：
- TiDB 兼容性强，在实际的过程中简直没有遇到过不兼容的问题，除了多数默认编码的问题。
- 反对云原生部署，能够通过 Kubernetes Operator 来疾速部署 TiDB 集群，具备欠缺的配套监控性能。
- 可能实现自动化程度扩容，反对高可用，运维无需手动接入，极大地升高了运维老本。
- 反对 OLAP，TiDB 反对 TiFlash，升高部署复杂度，TiFlash 在亿级别数据的查问中，通常能达到 5 倍的减速。
TiDB 如何助力数益工联开掘价值数据？
那么，数益研发团队是如何应用 TiDB 实现对于工业数据的价值开掘的？以工厂运行效率的重要指标设施开机率为例，对于工厂而言，设施的开机率与生产效率非亲非故，是否实时获取开机率，机器是否实现了高效且正当的运行十分重要。数益工联团队通过 TiDB 实现了以下性能：
- 开关机记录：一条开机记录示意记录单个设施的一次开机工夫和关机工夫。这种记录表，因为数据量过大，当初次要放在 ES 中。
- 开机率：示意在一段时间内的开机工夫的占比，延时须要准确到秒级，这种数据当初转换成时序的数据寄存在 Starrocks，同时创立物化视图，减速时间跨度大的查问。
但随着工夫增长，团队也遇到了以下问题：一是开机记录和开机率数据不同源，导致数据容易不统一；二是 Starrocks 存储量大，占用了大量的计算和存储资源。
因而，数益工联数据团队对于开机率进行了第三次革新：Starrocks 不再保留开机率的时序数据。时序数据量比拟大，容易出现异常，导致数据不统一。数益工联一方面将开机记录寄存在 TiDB 中；另一方面通过开机记录来计算出开机率。
原先 ES 同步写入容易引发业务写入超时的问题，这次革新解决了 ES 数据写入延时的问题，同时，也缩小了 Starrocks 的存储资源的占用。这次革新使得在 100 台设施的利用场景中，一年能缩小百 GB 级别的 Starrocks 存储；充分利用了 TiDB 的 HTAP 能力，通过 TiDB 的 HTAP 间接对开机记录进行聚合查问，升高了业务复杂度，给业务开发提供了很大的便利性。目前，TiDB 在线上运行体现非常稳固。
革新 TiFlash，实现 TiDB 物化性能
与此同时，数益工联研发团队也在进行一些定制化的革新。因为业务须要反对任意时间段查问开机率的能力，因而须要按天对数据进行预聚合，但 TiDB 不反对物化能力，须要借助业务逻辑来实现，加大了业务实现复杂度。随 着业务预聚合的需要越来越多，数益工联研发团队决定对 TiFlash 进行革新，实现 TiDB 物化性能：
- 依据物化语句生成物化表。
- 分区为粒度进行聚合，当数据达到肯定工夫的策略的时候，会把整个分区进行聚合，放到物化表分区中。
- 擎主动判断是否应用基表分区还是物化分区。
- iflash 团队的交换中发现，须要解决反复计算的问题，因而数据须要多正本去重计算。
目前，在数益初步的单正本测试中，尽管还存在一些问题须要修复，但能看到 TiFlash 的物化性能展示了很大的后劲，置信将在将来多业务场景下施展重要作用。
数据库在制造业中扮演着至关重要的角色，它们为工厂提供了弱小的信息管理能力，帮忙工厂更好地开掘数据的价值。TiDB 能够帮忙制造业解决海量数据，提供高效的查问性能，咱们也期待帮忙更多制造业用户实现数字化转型，从而晋升企业的竞争力与效率。