简介：Dataphin，用中台方法论打造企业级好数据。Dataphin 是阿里巴巴团体 OneData 数据治理方法论外部实际的云化输入，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著晋升数据治理程度，构建品质牢靠、生产便捷、生产平安经济的企业级数据中台。Dataphin 提供多种计算平台反对及可拓展的凋谢能力，以适应各行业企业的平台技术架构和特定诉求。
在数据权限管控严格的研发流程下，经常会应用生产开发环境隔离的研发模式。Dataphin 反对创立成对存在、相互关联的生产开发模式我的项目（Dev-Prod 我的项目）。
我的项目中，研发人员通常须要实现代码编写、工作根底属性和调度属性配置、并基于开发环境的数据执行补数据测试，通过后再将工作提交至公布核心。公布审核人员接到公布申请后，联合工作配置详情评估是否配置正当，是否存在数据生产危险等，之后执行公布操作；公布胜利的工作会在生产环境中失效并调度运行，而公布失败的工作不会更新至生产我的项目，以此实现开发和生产我的项目的数据隔离，保证数据品质。
一、公布核心概述
试想，若由公布人员对每个工作进行人工审核，工作量微小且容易脱漏，对研发效率产生较大影响。那么现实的公布流程会是什么模式呢？
Dataphin 公布核心提供了待发布工作概览、批量公布、基于零碎规定的主动审核、公布记录概览、公布详情查看、公布失败起因提醒及一键从新公布等性能；同时，管理中心的公布管控性能，能够自定义审核规定和策略，以满足个性化需要场景。公布人员只需评估哪些工作须要上线生产环境，批量勾选并一键执行公布即可，大大缩短了操作门路，并从零碎角度提供了全面保障。
二、性能介绍
接下来，咱们具体介绍一下公布核心的外围性能：
首先，在开发环境我的项目创立一个以“test”命名的代码工作，实现代码编写、调度配置、预编译等操作，点击操作栏的“提交”按钮，将工作提交到公布核心；提交胜利后，点击工作操作栏的“去公布”按钮或者切换顶部导航为“公布”，即可进入公布核心：
1 待发布对象列表
在待发布对象列表页面，记录了以后我的项目已提交待发布的标准建模、数据处理和管道脚本数据对象。公布胜利的数据对象将从待发布对象列表移除，并在公布记录列表中生成一条公布胜利的记录；公布失败的数据对象将从新被记录在待发布对象列表，同时在公布记录列表中生成一条公布失败的记录，能够查看每条公布记录的公布详情。
待发布对象列表概览：列表记录了对象名称、对象类型、调度节点 ID、最近 1 次提交公布的版本号、本次提交变更类型、提交人及提交工夫等信息。公布审核人员能够基于这些根本信息，初步评估工作变更状况，作为判断是否须要公布的根据。
提交详情及提交记录查看：反对查看每个对象以后最新提交的版本详情及历史的提交记录，公布人员能够基于详情信息进一步评估公布该对象对生产我的项目可能产生的变更影响。同一个对象提交屡次（每次提交均未公布）时会合并为一条待发布对象；点击以后版本号可开展版本详情，点击“版本记录”，能够查看该对象的变更记录及每次变更操作人、操作工夫及变更起因备注。
移除及跳转编辑待发布对象：如果工作提交后须要再次变更，为了避免变更前的内容被提前公布影响生产环境数据，您能够被动移除公布对象，并在批改实现后再次提交公布。提供“编辑”对象的快捷操作入口，点击将跳转到该工作在开发模块的详情页。
公布及批量公布：确定能够公布后，您能够针对单个对象执行公布，也能够批量选中多个对象一次性公布。被选中的对象会依照依赖关系顺次执行公布动作。点击确定公布后可主动跳转到公布记录列表，期待执行实现后，即可查看公布后果。
2 公布零碎校验规定
不同公布对象有不同的校验规定。以 SQL 代码工作为例，会进行如下校验：
- 上游依赖配置的正确性：如果存在自依赖或上游依赖配置不残缺，则会阻断公布。
- 节点输入名称是否惟一：节点输入名称是每个工作的全局惟一标识，重名校验能够防止协同操作带来的抵触问题。
- 代码中援用的资产对象是否有相应权限：如是否有创立、删除表的权限，是否有往表中插入数据的权限等，避免权限泄露引发的数据安全问题。
- SQL 语法是否正确：若语法不正确，发布会被阻断，免得公布到生产环境后运行报错，影响上游数据产出。
- 公布执行是否失常：如果工作逻辑过于简单或一次性批量过多，可能会产生公布超时问题，在此处进行揭示。
每个对象只有所有零碎校验规定均通过，能力公布胜利，否则会在公布详情弹框进行谬误提醒，疏导须要执行的下一步操作，如申请权限、批改代码逻辑等等。
3 公布记录列表
公布记录列表页面记录了每一次公布的详情及公布后果：
- 公布记录概览：公布记录列表展现了每一次公布的执行详情，包含公布名称、公布对象、对象类型、公布版本、公布的变更类型、公布人及公布工夫、公布状态等。
- 公布详情查看：针对每条公布记录，能够查看公布详情，评估是否合乎预期；尤其是公布失败的工作，在公布详情会给出失败起因提醒，公布人员能够依据提示信息分割相干开发批改后从新公布。
公布失败日志查看及一键从新公布：公布失败的对象，能够点击查看公布详情，公布详情中能够查看本次公布的日志记录，以获取更多的报错信息领导下一步操作；若问题已解决，能够一键从新公布，缩小页面切换的操作老本。如果该对象曾经被公布胜利，则会提醒“从新公布失败，最新版本已公布。”
公布管控：如果您应用了变更管控中的公布管控性能，此处还会进行公布管控规定的校验，并将校验后果展现在“动态查看”局部。公布详情中会展现命中的管控规定及校验后果，针对校验失败的，还会展现在管控规定中配置的阐明文案，以揭示公布人员。
公布作为生产开发隔离的研发模式中毕竟的一道环节，为生产数据的正确性和生产环境稳定性提供了移到前置保障，能够缩小人工操作失误或流程不标准引发的问题，升高了对生产业务产生影响的可能性，为您的数据建设撑起一道保护伞。
三、结语
本期介绍了 Dataphin 的公布性能，包含如何执行公布、如何查看公布详情并解决异样等等，想要更残缺理解 Dataphin 的公布核心，就快来申请试用体验吧!
原文链接
本文为阿里云原创内容，未经容许不得转载。