乐趣区

关于数据库:大数据拥抱云原生-HashData助力资管数字化转型

5 月 16 日,2023 国内资管科技创业者与投资者大会“资管数据处理(大模型)技术”专场在上海举办。本次大会以“资产治理 数智技术”为主题,邀请企业、高校、投资机构等各方发展产业交换与探讨,共享共创行业时机。

酷克数据作为国内云原生数据仓库领军企业受邀参会,副总裁魏一在会上分享了大数据与资管行业联合的新思维、新技术、新实际。

魏一示意,对于资管行业数据起源丰盛、非结构化数据占比高、机构散布广的特点,HashData 云数仓是最匹配的数据分析平台计划。基于云原生架构,通过“存算拆散”和“湖仓一体”的成熟落地实际,HashData 可能打消“数据孤岛”,交融内外数据源,灵便治理与剖析非构造数据,实现数据全局共享与高效拜访,为资管公司提供跨地区、跨部门的数据资源管理、弹性供应、多地多活部署能力,赋能资管公司充沛开释数据资源价值,取得倒退先机。

大数据时代金融业数据管理的时机与挑战
数据仓库是金融业的重要基础设施,在数据价值开掘过程中施展着至关重要的作用。
魏一示意,金融行业信息与数据密集,对数据仓库要求极为严苛。以往,金融行业通常应用存算一体的 MPP 产品来建设数据仓库。然而,随着金融科技的推动和数据量的激增,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和利用等需要大幅晋升。

近年来,金融行业面临线上化、无纸化、场景化的数字化改革,利用场景简单,数据规模日趋宏大,传统数仓无奈应答业务潮汐带来的弹性扩大,不能满足千万查问次数 / 天和百万表级复杂度查问。同时,传统数仓短少多 AZ 部署、跨站点容灾计划,已成为金融企业数字化转型过程中的掣肘。

面对传统数据仓库带来的挑战,很多咨询机构都提出了多元化、混合架构的思路,技术上引入了纯软的 MPP 数据库和 Hadoop。但随着金融业务负载越来越简单,需要越来越多,多元化平台无奈实现高并发、负载无奈隔离等缺点愈发凸显,难以满足弹性、高并发、高牢靠要求,同时还存在业务体验稳定、数据整合有余、数据撑持不佳、运维治理简单等毛病。

魏一指出,大数据 + 云计算时代,金融行业亟需既能适应业务弹性变动、又能提供良好剖析体验的下一代数仓平台,为金融企业翻新倒退提供技术撑持。

魏一认为,古代金融企业数据分析平台要具备多状态数据管理能力、多样化剖析计算能力和多维度的弹性伸缩能力,同时可能兼容结构化、半结构化、非结构化等不同状态、不同时效性的数据,进行多样化的计算和剖析,并依据业务需要变动进行弹性伸缩。

云计算技术能够很好解决上述这些需要,国内外支流的私有云厂商也都推出了基于云原生架构的数据库产品。同时,Snowflake、Databricks 等独立软件厂商也推出存算拆散、湖仓一体架构的产品。

云原生数仓自诞生以来,迅速倒退成为行业支流趋势。多家市场调研机构公布的报告显示,云原生数据仓库的市场份额将超过传统数据仓库。Gartner 预计,将来寰球 75% 的数据库都会运行在云端。

HashData 助力金融行业提质增效
以后,数字经济已成为我国经济倒退的重要引擎。对于金融机构而言,数据也成为贯通金融行业数字化转型的外围资源。

随着金融信息化向数字化跃迁,数据库的撑持能力在肯定水平上决定着金融机构数字化转型中的成败。

与传统 MPP 架构的数据库相比,云原生数据仓库对晋升企业数据分析的效率成效显著。

独立征询公司 Forresters 对四家应用 Snowflake 的企业考察显示,三年工夫累计发明的价值超过 2100 万美金,ROI 折合达到 612%。其中,节约数据经营老本 211 万美金,节约数据库和基础设施经营老本 595 万美金。同时,Snowflake 可能大幅缩短计算工夫,进步利润,依据数据提供更好的决策。

HashData 作为国内最早专一于云原生数仓研发的独立软件厂商,自 2016 年创建起就始终践行“云原生”理念,致力于打造世界一流的云原生数据仓库。

HashData 云数仓采纳以 Snowflake、Databricks 和 Google BigQuery 为代表的业界当先的云原生大数据系统设计理念,围绕着对象存储和形象服务构建,通过元数据、计算和存储三者拆散,多集群共享对立数据存储层的架构,最大限度施展云计算劣势,利用云平台的弹性 + 分布式的特点,实现疾速部署、按需伸缩、不停机交付等,大幅升高企业进行大数据分析的门槛。

作为企业级云原生数据仓库,HashData 通过翻新的存储、计算、服务、应用层架构设计,提供了传统解决方案无法比拟的高并发、弹性、易用性、高可用性、高性能和扩展性,实现了云原生、利用松耦合、湖仓一体、近乎“零运维”等特点,能满足客户高平安、高牢靠、高扩大、智能化全方位需要,为金融机构提供性能全⾯、稳固牢靠、扩展性强以及性能优越的企业级数据库服务。

多年来,HashData 继续深耕金融外围场景,积攒下丰盛的实践经验。目前,HashData 已在多家国有大型银行、股份制银行、头部券商等机构实现大规模商用落地,并撑持了寰球最大规模的金融行业单客户集群。

以恒丰银行为例,通过引入 HashData 云数仓构建的“恒心零碎”,胜利解决了前几代产品资源节约、扩展性差、并发反对小、无奈疾速扩缩容、数据孤岛、数据冗余、运维工作量大等问题。

相比旧零碎,恒心零碎实现了多方面的能力晋升,外围解决能力晋升 6.38 倍,卡业务交易每秒解决能力晋升 23.8 倍,线上领取业务交易每秒解决能力晋升 17.7 倍。同时,“恒心零碎”在满足行内布局新型数仓撑持利用计算服务需要的同时,节俭了 30% 左右的服务器老本。

魏一示意,将来,HashData 将继续构建全面的金融数字化能力,通过深刻企业业务场景的计划及服务能力,筑牢金融转型与翻新倒退的“数字底座”,推动金融数字化策略落地,助力上海建设金融科技核心和寰球资产管理中心。

退出移动版