关于存储:阿里云Lindorm联合智臾科技发布-金融高频交易数据量化分析与处理方案

42次阅读

共计 1821 个字符,预计需要花费 5 分钟才能阅读完成。

简介: 面向银行、保险、券商和私募的高频数据高性能一站式解决方案。

金融市场 L1/L2 的报价和交易数据是量化交易钻研十分重要的数据,随着数字业务疾速演进,具备时序特色的交易数据激增,对底层数据库和量化剖析零碎提出了更高的要求。传统的关系数据库撑持这样的数据量级,即使分库分表,查问性能也远远无奈达到要求。罕用列存 NoSQL 数据库能够解决这个数据量级的存储,然而这类通用的存储引擎不足对时序数据的敌对反对,在查问和计算方面都存在重大的有余,且无奈反对对量化金融场景实时业务计算、流批一体剖析、多源数据交融剖析。

阿里云原生多模数据库 Lindorm 联结浙江智臾 DolphinDB 公布金融高频交易数据量化剖析与解决计划,通过云原生形式整合 DolphinDB 实时高效的数据处理能力和 Lindorm 多模海量数据交融存储剖析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化剖析计算提供一站式解决方案。计划操作简略,可扩展性强,具备良好的容错能力及优异的多用户并发拜访能力。

计划劣势能力

数据库存储

  • 高吞吐低提早的列式内存引擎。
  • 列式混合引擎(基于内存和磁盘)为存储海量数据的数据仓库提供了优越性能。
  • 灵便的分区计划:反对值分区、范畴分区、列表分区、哈希分区和组合分区。
  • 反对单表百万级别的分区数,大大缩减对海量数据的检索响应工夫。
  • 库内剖析:可在数据库中进行简单的编程和运算,防止数据迁徙的耗时。
  • 提供多种 SQL 性能的扩大,包含非同时连贯、窗口连贯、透视表、复合列等。
  • 反对同一个分区数据库内多表疾速联结。
  • 数据压缩。
  • 反对多用户并发拜访。每个用户以给定的权限在独立的会话中工作。
  • 元数据高可用:多个管制节点应用 Raft 协定实现强一致性。
  • 分区数据高可用:一个数据库能够蕴含上百万个分区,分区的多正本之间应用改进的二阶段提交协定实现分区正本的强一致性。
  • 运维高可用:在线减少服务器节点,在线均衡节点间数据,在线为分区数据表减少字段。
  • 数据库的增量备份机制:当分区正本数为 N 的时候,在 N - 1 个节点宕机的状况下,保证系统仍能够继续写入和读取。
  • 应用内嵌的分布式文件系统主动治理分区数据及其正本,为分布式计算提供负载平衡和容错能力。

数据库内数据分析

  • 编程语言功能强大且表达能力丰盛。反对命令式编程、函数式编程、向量编程、SQL 编程和 RPC(近程函数调用)编程。
  • 编程语言的语法与 SQL 和 Python 十分类似,易上手易使用。
  • 内置 1000 多个函数,涵盖绝大多数罕用的数据处理、数据分析、机器学习等性能,以及文件调用与数据库治理等性能。
  • 通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算。
  • 提供即时编译版本,极大减速 for-loop, while-loop 与 if-else 等语句的执行速度。
  • 反对多种计算模型,包含 pipeline、map-reduce 和迭代计算。
  • 为动态数据分布式计算提供快照隔离。
  • 通过在多任务中共享内存的数据副原本进步零碎吞吐量。
  • 可便捷地剖析分布式数据。在单个节点上编写脚本后,无需编译和部署即可在整个集群上执行。

流数据

  • 无缝集成流数据和数据库表。能够应用 SQL 查问本地流数据或分布式流数据。
  • 内置工夫序列、横截面、异样检测以及响应式状态引擎等多种流数据聚合引擎。
  • 可应用 DolphinDB 中的用户自定义函数解决信息。
  • 亚毫秒级的信息提早。
  • 应用实时数据更新历史数据仓库只有亚秒级提早。
  • 能够从任意偏移量重现历史信息。
  • 提供可配置的选项(如分区、工作线程、队列)用于流量管制和性能调优。

生态

  • 提供多种编程 API,包含 C ++、Python、Java、C#、Go 和 Excel 等。
  • 已有的 pandas 程序只需做大量改变即可通过 pandas API (orca) 在 DolphinDB 中运行。
  • 提供多种插件,包含 MySQL、ODBC、HDF5、Parquet 等。
  • 内置 Web 服务器,用于集群治理、性能监控和数据拜访。
  • 提供 DolphinDB GUI 与 VS Code 插件等 IDE(集成开发环境)用于数据分析。
  • 通过内置函数、Web 接口或 Prometheus 实现系统监控。

版权申明: 本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

正文完
 0