关于数据库:中纺集团×StarRocks构建企业级数据资产管理的实践

中纺团体通过“十三五”信息化建设，生成了大量贵重的数据资源，但也存在信息孤岛、零碎壁垒、数据品质等问题。中纺联合企业理论需要，依照团体“十四五”信息化布局中无关数据中台的建设打算与指标要求，历经半年多的测试比选，最终选定 StarRocks  作为 OLAP 数据库。

其试点我的项目——中纺棉商情大数据平台曾经实现施行上线，参加计算数据 3 亿多条，数据同步形式从 T+1 降级至秒级实时，查问速度显著晋升。目前中纺已启动基于 StarRocks 的中纺棉数据资产治理平台，以此实现企业全域数据的无效治理。

#01

时代背景：数据因素市场化配置回升为国家策略

云计算、大数据、AI 等技术的倒退，寰球数据量出现爆发式增长：

2020 年 4 月，中共中央、国务院公布《对于构建更加欠缺的因素市场化配置体制机制的意见》，将“数据”与土地、劳动力、资本、技术并称为五种因素。

2021 年 3 月，《中华人民共和国国民经济和社会倒退第十四个五年布局和 2035 年近景指标大纲》提出营造良好数字生态，关注数据因素市场规定和政策环境，关注兼顾数据开发利用、隐衷爱护和公共安全等要求。

2022 年 6 月 22 日地方深改委第二十六次会议明确指出，“要欠缺数据因素市场化配置机制，推动公共数据、企业数据、集体数据分类分级确权受权应用，放慢建设数据资源持有权、数据加工使用权、数据产品经营权分置的产权运行机制”，标记着我国数据因素市场建设正式进入了从顶层设计到机制落地的新阶段。

#02

发展趋势：大数据工作是企业实现数字化转型的必由之路

数据将浸透至企业设计、生产、治理、服务和经营的全流程，数字化转型要求企业通过优化资源获取和资源配置，从而进步企业竞争劣势。

回顾数据倒退历程，数据倒退次要经验三个阶段。信息化时代：数据被视为业务记录的次要载体，数据管理与业务零碎、管理系统相结合，从而具备肯定的业务含意。大数据时代：随着数据规模继续减少以及技术老本投入降落，越来越多的组织开始搭建大数据平台，以实现数据资源的集中存储和治理。数据因素化时代：数据作为资产的理念正在成为共识，即以开释数据资产价值为外围指标，制订数据赋能业务倒退策略，继续经营数据资产。

#03

本身实际：中纺团体的数字化转型之路

企业以后的数据规模属于 TB 级别，次要数据起源是曾经建成在信息系统的传统数据库，局部数据库版本较老旧，绝大部分数据类型为关系型结构化数据。

充分考虑企业的数据利用现状后，项目组放弃了以 Hadoop 技术栈为根底的传统大数据架构，间接采纳轻量级、麻利型湖仓一体的大数据架构，将数据导入到 OLAP 数据库即可疾速撑持数据利用需要。

因而须要抉择一款部署和运维代价适中、适宜现有开发团队技术栈演进的 OLAP 数据库，StarRocks 通过理论业务数据需要技术测试和计划验证怀才不遇。

POC 查问性能体现

StarRocks 能够做到“对立装置、对立部署、对立治理、对立运维”，最终造成团体对立的数据资产目录。根据“试点后行、小步快跑、标杆示范、以点带面”的建设准则，中纺首先将中纺棉商情大数据分析平台迁徙至 StarRocks 平台，以验证 StarRocks 的稳定性和性能。

中纺棉商情大数据分析平台是棉花期现货经营的决策分析平台，棉花商情研发数据范畴包含国内外棉花期现货价格、现货数量、棉花品质、USDA 数据、天气数据、海关数据、汇率、储备棉数据等等，数据起源繁冗，目前曾经汇聚了近 3 亿条行业数据，均匀每周增量近五十万条，商情研发工作对该零碎高度依赖。在商情大数据平台的无力撑持下，2021 年，中纺棉商情部比美国农业部（USDA）提前半年研发出棉花寰球年度平衡表，行业大数据利用名列前茅！

在原有的传统关系型数据库体系下，零碎存在计算性能瓶颈，应用的 Oracle 一体机扩容难、计算资源缓和、无奈划分租户，数据只能通过批量同步形式同步。数据时效性不好，存在个别数据量大、须要 Join 表多的 SQL 无奈运行出后果，即使减少长期表，关上须要用时 2-3 分钟左右。

通过对商情平台数据分析底座数据库架构的迁徙和革新工作，目前中纺棉商情大数据平台曾经切换运行在 StarRocks 平台上。零碎运行稳固，查问速度快，产品兼容性好，反对力量及时齐备。分布式查问性能有保障、兼容性好，实现了异源异构数据秒级实时汇聚，计算性能好、革新代价低，原来跑不出后果的 SQL 能够返回后果，通过减少两头表、应用分辨别桶等比较简单的操作即可将数据响应管制在 3 秒以内，大大晋升了用户对系统的应用体验。

​

#04

StarRocks：一款值得举荐的 OLAP 数据库

StarRocks 运维治理更省心。StarRocks 有数据主动平衡性能，包含节点间的数据平衡，以及单节点扩缩容磁盘后的磁盘间数据平衡能力。企业版带有图形化的治理后盾，是一站式全集群治理平台，对于晋升集团型企业数据集中管理的便捷性和可靠性也至关重要。

StarRocks 有较为欠缺的技术服务生态。官网及产品论坛上提供了丰盛的技术学习材料和教程，不便开发者自我学习，项目组也建设了解答技术问题的工作群，共事们提出的每个技术问题都会失去圆满的解答。

StarRocks 有业余的解决方案可供参考。除了数据的存算局部，Fink CDC、传统数据库接入、国产数据库等相干局部，也能够提供通过实战我的项目测验的成熟计划，企业齐全能够间接借鉴，大大降低了验证测试工夫和开发成本。

#05

当前工作：建设中纺棉数据资产治理平台

​

建设对立的数据资产治理平台是中纺棉花“十四五”数字化布局的重点工作工作之一，该平台设定了四个“一”的我的项目指标，即“一套数据、一套体系、一套规范、一个进口”。

具体任务是基于现有的数据中台组件，建设数据资产治理平台，集成现有各个系统中的无效数据，实现数据层面的整合共享集成，建设数据治理体系，明确数据规范，确保数据品质，构建数据资产目录，用对立的数据源头和计算逻辑对内、对外提供报送数据。并在此基础上，建设数据模型和指标体系，进行深度整合和科学分析，对决策提供精确无力的撑持。我的项目一期设计的具体工作内容为 3 个数据集。

​

#06

对 StarRocks 的期待

市场上，专业型 OLAP MPP 数据库存在很大的空白，心愿 StarRocks 企业版尽早为信创代替提供更多、更优的抉择，进一步优化可继续的远期倒退布局，并继续构建企业的教训学习和交流平台。

​

对于 StarRocks

StarRocks 面世两年多来，始终专一打造世界顶级的新一代极速全场景 MPP 数据库，帮忙企业建设“极速对立”的数据分析新范式，助力企业全面数字化经营。

以后曾经帮忙腾讯、携程、顺丰、Airbnb、滴滴、京东、众安保险等超过 170 家大型用户构建了全新的数据分析能力，生产环境中稳固运行的 StarRocks 服务器数目达数千台。

2021 年 9 月，StarRocks 源代码凋谢，在 GitHub 上的星数已超过 3600 个。StarRocks 的寰球社区飞速成长，至今已有超百位贡献者，社群用户冲破 7000 人，吸引几十家国内外行业头部企业参加共建。