【摘要】本文介绍小文件与大文件在进行数据去重时的几种解决方法，比方按整行或要害列去除反复数据或留下反复数据，并用 esProc SPL 举例实现。请点击文件数据去重示例理解详情

关于如何去除一个给定数组中的重复项，应该是 Javascript 面试中最常见的一个问题了，最常见的方式有三种：Set、Array.prototype.filter 以及 Array.prototype.reduce，对于只有简单数据的数组来讲，我最喜欢 Set…

思路：用group by方法可以查询出’去重’后的数据，将这些数据存储到一张临时表中，然后将临时表的数据存储到指定的表中；

先排序，线性遍历后去重，时间复杂度O(n*log2n)； 使用哈希，空间换时间，时间复杂度O(n);