一、数据建模的定义
数据建模指的是对事实世界各类数据的形象组织,确定数据库需管辖的范畴、数据的组织模式等直至转化成事实的数据库。将通过系统分析后形象进去的概念模型转化为物理模型后,在 visio 或 erwin 等工具建设数据库实体以及各实体之间关系的过程(实体个别是表)。
二、数据建模的根本流程
1、确定数据及其相干过程,如实地销售人员须要查看在线产品目录并提交新客户订单。
2、定义数据,如数据类型、大小和默认值。
3、确保数据的完整性,应用业务规定和验证查看。
4、定义操作过程,如安全检查和备份。
5、抉择数据存储技术,如关系、分层或索引存储技术。
6、肯定要晓得建模通常会以意想不到的形式波及公司的治理。例如,当对哪些数据元素应由哪些组织来保护有新的见解时,数据所有权以及数据保护、准确性和及时性的隐含责任通常会受到质疑。数据设计经常促使公司意识到企业数据系统是如何相互依存的,并且激励公司抓住协调后的数据布局所带来的效率进步、老本节约和战略性时机。
三、数据建模的类型
1、ER 模型
OLAP 中的 ER 模型,与 OLTP 中的有所区别。其本质差别是站在企业角度面向主题的形象,而不是针对某个具体业务流程的实体对象关系的形象。
2、星型模型
星型模型,是维度模型在关系型数据库上的一种实现。该模型表示每个业务过程蕴含事实表,事实表存储事件的数值化度量,围绕事实表的多个维度表,维度表蕴含事件产生时理论存在的文本环境。这种相似于星状的构造通常称为 ” 星型连贯 ”。其重点关注用户如何更疾速地实现需要剖析,同时具备较好的大规模简单查问的响应性能。在星型模型根底上,在简单场景下还能够进一步衍生出雪花模型。
3、多维模型
多维模型,是维度模型的另一种实现。当数据被加载到 OLAP 多维数据库时,对这些数据的存储的索引,采纳了为维度数据波及的格局和技术。性能汇集或预计算汇总表通常由多维数据库引擎建设并治理。因为采纳预计算、索引策略和其余优化办法,多维数据库可实现高性能查问。
四、数据建模案例
1、Smartbi 大数据挖掘平台算法丰盛,而且可扩大
数据挖掘平台反对多种高效实用的机器学习算法,蕴含了分类、回归、聚类、预测、关联,5 大类机器学习的成熟算法。其中蕴含了多种可训练的模型:逻辑回归、决策树、随 机森林、奢侈贝叶斯、反对向量机、线性回归、K 均值、DBSCAN、高斯混合模型。除提供次要算法和建模性能外,数据挖掘平台还提供了必不可少的数据预处理性能,包含字段拆分、行过滤与映射、列抉择、随机采样、过滤空值、合并列、合并行、JOIN、行抉择、去除反复值、排序、减少序列号、减少计算字段等。
2、Smartbi 大数据挖掘平台性能齐备,无缝集成到企业 BI 利用
1)适宜大型企业
分布式云计算,线性扩大,保障性能,与 BI 平台无缝整合,一键公布开掘模型,模型库进步常识复用,缩小反复投入,反对跨库查问,对立控制数据拜访权限,训练自动化、模型自学习。
2)适宜普通用户
直观的流式建模,极简格调的节点配置界面,反对可视化摸索,轻松了解数据品质和数据并联,流程节点在线帮忙,模型超参数主动调整。
3)业余算法能力
内置5大类机器学习成熟算法,反对文本剖析解决,反对应用 Python 扩大开掘算法,反对应用 SQL 扩大数据处理能力。
三、Smartbi 大数据挖掘平台易学易用,一站式实现数据处理和建模