关于去重:文件数据去重示例
【摘要】本文介绍小文件与大文件在进行数据去重时的几种解决方法，比方按整行或要害列去除反复数据或留下反复数据，并用 esProc SPL 举例实现。请点击文件数据去重示例理解详情 在数据处理业务中，有时须要革除文件中的反复数据或只留下反复数据，本文将从小文件、大文件两方面介绍整行去重、要害列去重的几种解决方法，并提供用 esProc SPL 编写的代码示例。esProc 是业余的数据计算引擎，SPL 中有一套欠缺的汇合运算畛域的函数库，很适宜解决文件去重，写出的代码十分简洁。 1. 小文件1.1 整行去重有一个文本文件，其每一行是一个字符串，要将文件中的反复行只保留一行。解决此问题能够把文件的每一行读成一个字符串，组成一个汇合，而后通过汇合去重运算得出后果。 示例：报名绘画兴趣班的同学学号姓名记录在 paint.txt 中，可能有些同学报了屡次，请删除文件中反复的报名后保留在 paint1.txt 中。原文件局部数据如下所示 20121102-Joan 20121107-Jack 20121113-Mike 20121107-Jack esProc SPL 脚本如下： 1.2 要害列比拟一个文件，有多列数据，第一行是列名，第二行开始是数据记录，要对文件中要害列的内容进行比拟，对要害列内容反复的行进行删除或只保留反复的行。 现有 2018 年的销售订单表 order_2018.xlsx，局部数据如下所示： 1.2.1. 去除反复示例 1：申请出 2018 年购买产品的所有不同的客户 Id，保留在文件 2018c.xlsx 中。 esProc SPL 脚本如下： 示例 2：申请出 2018 年各位客户购买了哪些不同产品，将 CustomerId 和 ProductId 保留在文件 2018c_p.xlsx 中。 esProc SPL 脚本如下： 1.2.2. 只保留反复示例：申请出 2018 年回头客 (即屡次购买同种产品的客户) 的订单状况，将后果保留在文件 2018c_rebuy.xlsx 中。 ...