数据对比提取，量大，有好办法嘛？

zpwr · 发表于 2023-4-3 21:38

本帖最后由 zpwr 于 2023-4-4 17:46 编辑

想批量筛选出重复的数据，且数据量会越来越大

不知道咋办了。。。

实际数据200万+，想把红色字的词在a列对比后，留下不重复的

举例.rar (8.71 KB, 下载次数: 18)

数据举例.rar (105.79 KB, 下载次数: 1)

liulang0808 · 发表于 2023-4-4 07:59

本帖最后由 liulang0808 于 2023-4-4 08:00 编辑

楼主的实际数据，一列能存放下来吗？

再建议楼主结合需求模拟下具体结果，看不懂明白

zjzyj · 发表于 2023-4-4 08:28

猜一个

zxsea_7426 · 发表于 2023-4-4 09:40

貌似是需要猜题意:

grf1973 · 发表于 2023-4-4 10:01

源数据多的话，建议把源数据进字典。

zpwr · 发表于 2023-4-4 12:55

确实表达的太差了

这是别人写的，我也是这个需求

zpwr · 发表于 2023-4-4 12:57

最终想实现这样的结果
数据会一直累加，往多了说，几千万数据吧

高个子 · 发表于 2023-4-4 16:14

几千万的数据，VBA都会很卡的，Python和数据库联动吧

wanghan519 · 发表于 2023-4-4 16:30

本帖最后由 wanghan519 于 2023-4-4 17:12 编辑

几千万行，字典去重，听起来好像是redis该干的，可以持久化，新数据可以存在文本里，遍历一次也很快
试了一下，添加100万个key用了5秒，用EXISTS判断20万新增的key是否存在用了1秒

zpwr · 发表于 2023-4-4 17:39

wanghan519 发表于 2023-4-4 16:30
几千万行，字典去重，听起来好像是redis该干的，可以持久化，新数据可以存在文本里，遍历一次也很快
试了 ...

方便加下好友嘛？
95134452

		自动登录	找回密码
密码			免费注册

[求助] 数据对比提取，量大，有好办法嘛？