百万行数据如何快速去重？

yeminqiang · 发表于 2016-12-17 10:57

Kaohsing 发表于 2016-12-17 10:11
字典去重：

总觉得有问题...百万行数据阿

Kaohsing · 发表于 2016-12-17 11:17

jjmysjg 发表于 2016-12-17 10:51
没有删除多余的行

[h1]输出的是没有重复的数据，也可以输出到另一个一个表。

Kaohsing · 发表于 2016-12-17 11:20

yeminqiang 发表于 2016-12-17 10:57
总觉得有问题...百万行数据阿

没有具体的数据，只好这个样子，SQL好像也能干这个活。

Kaohsing · 发表于 2016-12-17 11:41

本帖最后由 Kaohsing 于 2016-12-17 11:51 编辑

重新改了下

复制代码

zgzxp · 发表于 2016-12-17 13:15

去重是字典的一大功能个，楼主如果不在access中处理，就用字典吧

张文洲 · 发表于 2016-12-17 16:17

这么大的数据量，首先需要Pass掉的就是循环的思路
如果Excel有删除重复项的功能，可以优先使用。此外高级筛选删除重复值、数据透视表删除重复值、SQL语句删除重复值等都是可以考虑的思路。

wzsy2_mrf · 发表于 2016-12-17 16:59

大数据的时候用sql是不二法门。

longhuifen · 发表于 2017-4-26 18:01

yeminqiang 发表于 2016-12-16 16:38

你好，请问操作是在excel中的么还是其他软件？我用的excel2010版本，谢谢回答！

pepsi7777 · 发表于 2023-1-31 15:23

感谢收藏学习

tanglf188 · 发表于 2023-1-31 15:58

用UNIQUE()函数也可以啊，不是参与运算运算的个人觉得没必要数组或字典

		自动登录	找回密码
密码			免费注册

[求助] 百万行数据如何快速去重？