行式文本文件去重

zoomafia

1. 整行去重

有一个文本文件，其每一行是一个字符串，要将文件中的重复行只保留一行。处理此问题可以把文件的每一行读成一个字符串，组成一个集合，然后通过集合去重运算得出结果。

示例：报名绘画兴趣班的同学学号姓名记录在paint.txt中，可能有些同学报了多次，请删除文件中重复的报名后保存在paint1.txt中。原文件部分数据如下所示

20121102-Joan

20121107-Jack

20121113-Mike

20121107-Jack

esProc SPL脚本如下：

	A
1	=file("e:/txt/paint.txt").read@n()
2	=A1.id()
3	=file("e:/txt/paint1.txt").write(A2)

A1 读出paint.txt的数据，选项@n表示每行读成一个字符串，所有行串组成一个集合返回

A2 删除A1中重复的行

A3 将删除重复行后的A2写入文件paint1.txt中

2. 关键列比较

一个文件，有多列数据，第一行是列名，第二行开始是数据记录，要对文件中关键列的内容进行比较，对关键列内容重复的行进行删除或只保留重复的行。

现有2018年的销售订单表order_2018.txt，部分数据如下所示：

2.1 删除重复

示例1：请求出2018年购买产品的所有不同的客户Id，保存在文件2018c.txt中。

esProc SPL脚本如下：

	A
1	=T("e:/txt/order_2018.txt")
2	=A1.id(CustomerId)
3	=T("e:/txt/2018c.txt",A2)

A1 读入order_2018.txt中数据，T函数会自动根据文件扩展名选用适合的分隔符

A2 取出A1中所有不重复的CustomerId

A3 将A2中的数据写入文件2018c.txt中，T函数会自动根据文件扩展名选用适合的分隔符

示例2：请求出2018年各位客户购买了哪些不同产品，将CustomerId和ProductId保存在文件2018c_p.txt中。

esProc SPL脚本如下：

	A
1	=T("e:/txt/order_2018.txt";CustomerId,ProductId)
2	=A1.group@1(CustomerId,ProductId)
3	=T("e:/txt/2018c_p.txt",A2)

A1 读入order_2018.txt中CustomerId,ProductId两列数据，T函数会自动根据文件扩展名选用适合的分隔符

A2 按关键列分组，@1表示只取分组中的一条记录

A3 将A2中的数据写入文件2018c_p.txt中，T函数会自动根据文件扩展名选用适合的分隔符

2.2 只保留重复

示例：请求出2018年回头客(即多次购买同种产品的客户)的订单情况，将结果保存在文件2018c_rebuy.txt中。

esProc SPL脚本如下：

	A
1	=T("e:/txt/order_2018.txt")
2	=A1.group(CustomerId,ProductId)
3	=A2.select(~.count()>1).conj()
4	=T("e:/txt/2018c_rebuy.txt",A3)

A1 读入order_2018.txt数据，T函数会自动根据文件扩展名选用适合的分隔符

A2 按关键列分组, 同一客户购买同种产品的订单分为一组

A3 选出订单数大于1的组，把各组的订单并集为一个数据表

A4 将A3中的数据写入文件2018c_rebuy.txt中，T函数会自动根据文件扩展名选用适合的分隔符

注：以上几例中，如果是csv格式的文本文件，除了文件扩展名不同，脚本的写法是完全一样。