共计 3303 个字符，预计需要花费 9 分钟才能阅读完成。
区块链数据治理的背景及存在的问题
数据治理通过具体机制来保证数据的完整性和安全性，包含品质、效率和平安方面的治理。数据治理不是静止的状态，而是可继续的过程。
随着区块链逐步浸透入人们的日常生活，其在数字政务、金融服务、社会治理、公益环保、司法仲裁等畛域都有利用。
这些畛域的数据上链后，须要进行剖析解决，开掘价值。链上和链下的数据通过采集之后进入数据湖，这时数据湖能够为下层利用提供数据撑持，数据经常利用于业务剖析、大屏展现、监管审计、业务报表等，这些性能又为区块链利用提供了能力撑持。通过这样的循环，数据在数据湖四周“流动”起来。
在很多传统互联网企业中，数据治理问题次要呈现在数据的生产采集、加工存储和数据利用、数据销毁的全流程中，每个环节都有可能呈现各类危险。
- 当下区块链技术与大数据治理的交融过程中，也面临了新的挑战。
- 节点存储老本高，随着节点上数据量的一直减少，节点存储老本成倍增长；
- 数据同步工夫长，当节点数据量十分大时，新节点同步数据周期长，无奈疾速退出网络；
- 节点查问性能低，交易执行效率随着节点上业务和数据量的减少逐渐升高；
- 无奈进行大数据处理，因为区块链特定的链式存储构造，导致链上无奈进行大数据处理和简单查问；
- 数据导出开发成本高，业务剖析须要依照智能合约对数据进行解析，开发成本周期较长；
- 无奈复用可扩展性差，当业务产生变动，链上数据的解析和导出也需从新开发。
随着区块链业务的一直倒退，企业经营的精细化水平一直进步，区块链数据对企业的影响越来越大。企业在利用这些资产发明价值时，对数据的品质、效率和平安的要求也在一直进步。
数据治理组件技术架构及计划劣势
数据治理组件技术架构围绕区块链底层开展，分为运维组件、开发及业务组件两层，独特实现对区块链数据的治理。
运维层蕴含数据仓库（Data-Stash），负责对数据进行扩容、备份、裁剪以及同步。开发及业务组件次要蕴含数据导出（Data-Export）和业务对账（Data-Reconcile）。其中数据导出组件次要解决区块链大数据简单查问、剖析和解决问题；业务对账组件次要提供基于区块链数据的对账解决方案。
数据治理组件解决方案具备如下劣势：
第一，性能高效可实时同步去查问，它提供全量数据备份的同时反对节点数据的高效同步，数据导出提供高效实时查问能力并反对多线程、多活解决，晋升解决性能；
第二，反对不同存储介质可扩大，数据存储反对 MySQL、ES 等不同的存储介质并在底层提供可扩大的协定接口确保可扩展性；
第三，数据服务平安稳固可信可证实，基于多个节点备份数据，确保数据的完整性；
第四，分布式存储反对大数据分析查问，数据治理组件基于智能合约将链上数据导出到便于大数据分析和查问的存储介质中，并提供通用化查问能力，反对分库分表和主从备份；
第五，低代码开发简直零老本，组件次要面向开发者，咱们尽可能减少代码的开发，只有通过简略配置就能够实现组件的根本利用；
第六，通用化设计确保计划可复用，组件在设计或者是开发的时候会尽可能兼顾通用性，无需针对不同的场景做反复开发。同时，咱们也会提供一些个性化配置。
数据治理组件利用场景及组件介绍
数据治理组件劣势施展与场景使用非亲非故。
在运维治理场景中针对前端数据服务，可能实现全量备份、数据裁剪、疾速同步、冷数据查问；在业务性能场景中次要波及数据分析、大盘展现、监管审计、业务报表；在行业利用场景中次要包含数字政务、金融服务、社会治理、司法仲裁等。
以下是对于数据治理组件的具体介绍。
Data-Stash 数据仓库组件
Data-Stash 是基于 FISCO BCOS 的数据仓库组件，次要提供区块链数据的扩容、备份和裁剪的能力。它通过解析节点的 Binlog 日志生成节点的备份，从而使节点可能实现冷热数据拆散，提供裁剪和数据疾速同步的能力。
Data-Stash 通过对节点 Binlog 的剖析，实现了节点账本的全量备份、多维度账本校验、备份数据可信存储以及断点续传等能力。
Data-Stash 次要具备以下性能个性：
（1）冷热数据拆散
随着工夫的推移，节点会积攒越来越多的账本数据。如果节点体积不受管制地增长，最终会使节点服务器侵蚀殆尽，造成不良影响。
对此，能够通过数据仓库服务来实现数据的拆散。启动 Data-Stash 服务，并将节点 Binlog 导入到数据库中，实现数据备份。开发者能够对链上数据进行划分，删除不罕用数据，保留近期数据。为了让节点运行不受影响，用户须要保障节点启用。
（2）实现节点高效迁徙
在区块链业务运行时，常会呈现节点扩容或降级需要。例如，服务器因为某些故障须要下线或者更换磁盘，咱们能够通过 Data-Stash 对节点的数据进行疾速同步。
（3）监管、审计、追溯
对监管方而言，须要保障账本数据的完整性与可查问性，因为区块链本身的账本数据库可能无奈满足需要，此时咱们能够通过数据仓库组件进行残缺的备份；咱们能够采纳关系型数据库以便更好地查问数据；为了更好地满足监管的需要，咱们采纳多维度校验机制来避免节点的歹意篡改。
Data-Export 数据导出组件
Data-Export 也是基于 FISCO BCOS 平台的数据导出工具，使用者简直不须要编码，只有简略配置，就能够把结构化的数据导出到关系型数据库或 ES 等数据库，以便后续业务剖析和解决。
同时它反对多活部署、数据分库分表、导出数据可视化、利用监管等性能，可能适应各类简单业务场景。
Data-Export 次要具备以下性能个性：
（1）反对智能合约数据的导出
合约相干的办法和事件数据可能通过 Data-Export 解析并导出，导出后的数据较为直观，可能被用来作展现和剖析。
（2）数据简单查问和剖析
在数据存储方面，Data-Export 目前反对 MySQL、ES 存储，并提供扩大接口，同时，反对多种导出策略。数据在导出到链下后，可进行简单查问和进一步剖析。
（3）反对读写拆散的技术架构
利用 Data-Export 能够将上链写操作与读操作进行拆散，通过将数据导出链下来提供读能力，从而加重链节点在读操作上的压力，实现读写拆散的技术架构。
（4）提供监控等可视化能力
可将链上数据导出到数据库表中，通过可视化能力提供数据展现，出现数据的外围流程和价值，实现对区块链数据的监控等能力。
Data-Reconcile 数据对账组件
传统企业之间的对账，次要依赖于对账单方的中心化账本。基于区块链自身所具备传递性、不可篡改以及驱动化等个性，咱们能够找到一个可信的主观根据。
Data-Reconcile 是一款基于区块链的数据对账组件，提供基于区块链智能合约账本的通用化数据对账解决方案。
Data-Reconcile 次要具备以下性能个性：
（1）反对动静可拓展定制化的开发
一方面，Data-Reconcile 数据对账组件会提供一些通用化模式；另一方面，在不同业务场景也反对进一步的定制化开发。
（2）灵便可配置的数据对账规定
对账规定是能够自定义进行配置，提供对账工作的调度治理。
（3）对账流程的可插拔、可扩大
提供扩大接口，性能和流程可插拔。
对于 Data-Stash 数据仓库、Data-Export 数据导出、Data-Reconcile 数据对账这三个次要组件的具体操作演示，欢送点击观看操作演示。
体验 WeBankBlockchain-Data：
WeBankBlockchain-Data-Stash 数据仓库组件
https://github.com/WeBankBlockchain/Data-Stash
WeBankBlockchain-Data-Export 数据导出组件
https://github.com/WeBankBlockchain/Data-Export
WeBankBlockchain-Data-Reconcile 数据对账组件
《超话区块链》
《超话区块链》是由 FISCO BCOS 开源社区推出的直播流动，每周四晚 8 点，社区邀请一位技术极客或利用先锋，做客直播间分享开发实际或利用心得。作为社区固定栏目，《超话区块链》已举办近百场，从技术研究到产业利用均有触达，欢送大家自荐或举荐敌人到直播间分享。公众号对话框回复小助手入群观看直播。
