乐趣区

关于数据库:干货分享-CloudQuery-数据保护能力之动态数据脱敏

在企业数字化转型的过程中,尤其随着互联网 +、云计算、大数据等信息技术与通信技术的迅猛发展,海量数据在各种信息系统上被存储和解决,其中蕴含大量有价值的敏感数据,这意味着数据泄露的危险也一直减少。

数据泄露可能由各种因素引起,包含歹意攻打、黑客入侵、员工失误、设施失落或偷盗等。一旦数据泄露,个人隐私将面临泄露危险,可能导致身份偷盗、金融欺诈、个人信息滥用等问题。此外,一些行业和法规要求组织必须采取措施来爱护敏感数据,例如金融机构须要爱护客户的个人身份信息,医疗机构须要爱护患者的病历数据。

为了应答这些挑战,数据脱敏技术应运而生。 数据脱敏是一种数据保护办法,通过对敏感数据进行批改、转换或暗藏,以爱护数据的安全性和隐衷性。脱敏后的数据依然保留其原始数据的构造和格局,但不蕴含间接辨认集体的敏感信息。

数据脱敏也成为大部分企业在数据管控中的必修课。

CloudQuery 的数据脱敏能力

CloudQuery 目前曾经搭载了动态脱敏和动静脱敏两种数据脱敏形式。

动态脱敏是一种在数据存储或传输过程中对数据进行脱敏解决的办法,采纳“先脱敏 - 后散发”的形式。它通常在数据收集和存储阶段对敏感信息进行脱敏,以确保数据在存储和传输过程中的安全性。动态脱敏的指标是通过对敏感信息进行不可逆的解决,使其无奈还原为原始数据,以爱护个人隐私。

而动静脱敏一种在数据应用过程中动静地对敏感信息进行脱敏解决的办法。与动态脱敏不同,动静脱敏是在须要应用敏感信息时进行加密,其余状况下仍保持数据的明文状态。能够说,动静脱敏的外围概念是依据理论需要和应用场景,在数据应用过程中灵便调整脱敏级别和形式,以实现更高级别的隐衷爱护和数据可用性的均衡。

动态数据脱敏和静态数据脱敏实用于不同的场景,两者之间没有优劣之分,次要是以应用场景来抉择适合的脱敏模式。 目前 CloudQuery 动态脱敏性能仅对企业版客户凋谢,本文将次要介绍几个版本的通用能力——动静脱敏。

CloudQuery 动静脱敏解决方案

目前支流的动静脱敏技术路线分为「后果集解析」和「语句改写」两条门路:

  • 后果集解析:
    不改写发给数据库的语句,须要提前获悉数据表构造,待数据库返回后果后再依据表构造判断汇合内哪些数据须要脱敏,并逐条改写后果数据。
  • 语句改写:
    将蕴含敏感字段查问的语句改写,对于查问中波及的敏感字段(表列)通过外层嵌套函数的形式改写,使得数据库运行查问语句时返回不蕴含敏感数据的后果集。

但两种办法各有优劣。「后果集解析」具备更高的灵活性和数据可用性,但同时在解决大规模数据时会带来肯定的性能开销。「语句改写」效率更高,其在查问语句中改写敏感字段的形式更确保敏感数据不会传输到应用层或其余环节,保障较高的数据安全性,同时语句改写还具备良好的可移植性。但绝对的,因为在查问语句中进行批改,「语句改写」势必会限度一些简单查问,其可定制性较弱。

针对两种办法的不同,<font color=”#0256FF”>CloudQuery 在动静脱敏的实现上交融了 SQL 语句改写与后果集改写两种技术路线长处,实现了性能和适用性的均衡,用户可基于不同的场景依据 SQL 语句的不同,触发不同形式的脱敏,全面笼罩运维场景和业务场景下数据实时脱敏需要。</font>

例如:select * from table1;

该语句因为语句中是查问的所有列,这时咱们不会进行前置脱敏,转而在执行完结之后,比照后果集中的列名,判断与已配置的列名是否雷同,去进行后果集解析的脱敏。

而上面这种:select a from table1;

在语句中有显式的查问 a 这个列,则会对 a 进行改写,将语句改写成 select func(a) from table1;

去执行,这样就只会应用前置脱敏,而不必去遍历后果集。

应用过程中能够依据数据量和性能要求应用不同的 SQL 语句去查问。

CQ 的动静脱敏性能如何应用?

CloudQuery 社区版 v2.0.0 的动静脱敏性能毋庸扭转生产数据库中的数据,即可根据用户级别、数据级别,对数据库返回数据进行差异化脱敏。能够确保不同角色的用户可能差异化地拜访数据库中的敏感数据。反对截取、加密、暗藏、替换等脱敏算法。

在 CloudQuery 的主页面点击「数据保护治理」菜单按钮可进入数据保护设置页面。

咱们这里给 AAA 字段设置一个保留前三位的截取算法。

之后也可在该处或者该表的父级节点抉择是否开启规定。

改写前后如下图所示:

(改写前)

(改写后)

CloudQuery 动静脱敏瞻望

在之后的版本中,CloudQuery 会陆续推出更多功能来欠缺动态数据脱敏图谱,如:

  • 自定义后果集数据解析规定: 即在一个 schema 下指定一个正则表达式,如手机号码或身份证号,如果查问后果有合乎格局的数据,则会依照相应改规定进行脱敏。并且反对内置脱敏规定的自定义增加,该形式能够捕捉到没有被配置的脱敏算法拦挡到的敏感数据,进一步保障数据安全。
  • 通过分级形式脱敏: 即反对对字段设置等级,对用户设置等级。不同用户只能查问到其对应等级的数据,不符合要求的数据则会被脱敏,提供更加个性化和准确的隐衷爱护能力。
  • 数据扫描: 自动识别敏感数据项和敏感数据的地位,扫描后数据可被分类为不同的敏感级别或类别,以便为每个类别利用相应的脱敏规定。同时,数据扫描能够剖析敏感数据之间的关联性,确保在脱敏过程中保持数据的一致性和完整性。通过了解敏感数据之间的关系,能够确保脱敏后的数据依然具备可用性和实用性。
  • 字段脱敏算法举荐: 针对不同的利用场景和需要举荐不同的字段脱敏算法,联合多种算法和策略,以实现对不同类型的敏感数据进行灵便、平安和高效的脱敏解决。

动态数据脱敏是 CloudQuery 数据保护治理能力里的重要组成部分。通过实时对敏感数据进行脱敏解决,在数据应用和共享的过程中缩小了对敏感信息的可见性,从而升高了数据泄露和滥用的危险。

后续 CloudQuery 不仅会欠缺动静脱敏性能,更会一直补充数据保护能力。 目前在 CloudQuery 企业版中就曾经实现了国密反对、审计日志、数据备份等能力。 综合使用这些数据保护措施,企业能够建设起欠缺的数据安全和隐衷爱护体系,保障数据的安全性、完整性和可用性。

退出移动版