[求助]求问自动化筛选重复内容的办法

fuxiaomai

kyhQc9h9.rar (5.69 KB, 下载次数: 51)

2008-8-6 14:48 上传

点击文件名下载附件
[求助]求问自动化筛选重复内容的办法

我这篇文档是湖南省大部分社区卫生服务机构的名录,但是有很多是重复的.有些是完全重复比如第一页有 "新开铺街道社区卫生服务中心    新开铺路1号       5417516",第一百页有同样的条目 "新开铺街道社区卫生服务中心    新开铺路1号       5417516".整篇文档有数十条这样的条目分布在不同的页面,有几千页,如果一条条找很麻烦,是否有快捷的批处理的方法或者命令呢?呵呵,在线等,向各位高手求教.文档请看附件

有的不是完全相同只是大部分重复比如"黑石渡街道社区卫生服务中心    德雅路391号       4221926"和"黑石渡街道社区卫生服务站    德雅路口      4221926"

我要做的就是选出1000多页里面重复的条目然后删除保持没有条目重复,如何做到?

sylun

怎么才算重复，是完全重复吗（就算差一个空格也不算完全重复）？

fuxiaomai

开始也是想这个问题,完全重复应该相对简单些吧.能否匹配10个字符以上算重复呢?敢问上楼的大哥

sylun

是指从条目段落的第一个字符开始计算吧？如果这样，大托镇社区卫生服务中心下属的服务站点将只剩一个。从条目格式来看，一段式到三段式都有，有以制表符分隔，也有以空格分隔。是否可以第一字段（名称）相同即算，但这样附件中绿色的条目就不算重复。

wdwc

给你提供一个思路，绝对能解决，我处理过相似的文档：

利用excel和word协同工作。

首先处理word文档：

1，替换所有^t为一个全角空格。

2，替换所有^p为十个全角空格加一个^p——也就是在每个段落标记前加十个全角空格。

3，替换"^13?{12,12}"为 "^&^t"——这里的12就差不多了。

然后利用Excel的筛选。

1，选中B1单元格，全选word的内容复制粘贴到excel中。

2，A1填入1，以下自动填充。B列有多少就填充多少，这里做序号用，避免筛选过后出错误。

3，按照B列筛选不重复值，在原位置显示。

4，复制结果到新的表，按A列排序。

5，将B、C列复制到word。替换删除所有^t和^p前空格。

qtrHDSGC.rar (20.52 KB, 下载次数: 25)

2008-8-6 18:12 上传

点击文件名下载附件
[求助]求问自动化筛选重复内容的办法

sylun

如下程序按照4楼的重复界定标准处理，经简单测试似可通过。

Sub test()
'引用Microsoft VBScript Regular Expressions 5.5
Dim a As String, myReg As New RegExp, Matches, Match, n As Integer, b As String
a = ActiveDocument.Content
With myReg
    .Pattern = "(^[一-龥0-9]+)([\t\s].*\r)([.\r]*)(\1[\t\s].*?\r)"
    .Global = False 'True
    .Multiline = True
    Do While .test(a)
        Set Matches = .Execute(a)
        n = n + Matches.Count
        For Each Match In Matches
            b = b & Match.SubMatches(3)
        Next
        a = .Replace(a, "$1$2$3")
    Loop
End With
Documents.Add.Content = a '以新文档输出经删除处理后的文本内容
Documents.Add.Content = "删除记录" & vbCrLf & "共删除了" & n & "条，依次为：" & vbCrLf & b
End Sub

如用反复查找替换好像也行(不含第1条重复)，代码为：
查找：(^13)([一-龥]@)([^t^32]*^13*)\2*^13
替换：\1\2\3

fuxiaomai

刚上线,看到楼上两位大哥的回复,先顶一下你们辛苦了,慢慢看..

fuxiaomai

看了一会,大部分懂了,只是excel部分看不太懂,不过理解了大大的思路,感谢.

wdwc

sylun兄：

能否在空闲时对楼上的代码进行一下逐行注释？我想学习一下，谢谢！

wdwc

楼主，哪部分没懂？我现在在线上