乐趣区

关于数据:Maxcompute数据上云一致性比对

我写过很多如何去对数、如何批量对数的技术文档,最近我的项目遇到这个问题,我才发现在官网博客上还没有公布过这个课题的文章。这就像灯下黑,太长用到的知识点,反而没有意识到其重要性。
注:这里对数的场景就是指在阿里云平台应用 dataworks 等大数据开发工具集成业务零碎数据库(oracle 等)数据上云到 maxcompute 的场景,所以,示例的 SQL 也是针对 maxcompute。
先说说个别业务上怎么对数的,咱们做了一个报表,出了一个数据“某个产品卖了 30 个”。这个不只是在大数据平台上有这个数据,在业务零碎也有这个数据,这些统计动作在业务零碎通过程序和人工也会有一份,个别做好报表后会先对这个数据。
所以,第一线反馈回来的数据就是这个汇总数据不统一的问题。然而这个后果是十分概括的,因为就像我感觉这个月工资少发了 5 毛一样,如果我不看我的工资条我其实不晓得本人是不是少发了。工资条不只是一个汇总数据,外面有我税前工资、奖金(浮动)、社保、扣税等一系列的明细数据,这些数据让我去判断我是不是少了 5 毛,而加工过的数据是简单的。

残缺内容请点击下方链接查看:

https://developer.aliyun.com/article/1204686?utm_content=g_10…

版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

退出移动版