恳请! 算法高手…出手帮忙解难题…

On_fire · 发表于 2018-1-20 15:44

microyip 发表于 2018-1-20 14:20
其实，到现在，我都不知道要排什么，哈哈，哪些数据莫名其妙，又没说明，所以基本没怎么认真看过

算法要求都说了, 没有说明甚么?

microyip · 发表于 2018-1-20 17:04

On_fire 发表于 2018-1-20 15:44
算法要求都说了, 没有说明甚么?

我资质愚钝，没看懂说明，只是个人认为说明不清楚而已

chxw68 · 发表于 2018-1-20 18:15

lxw6 发表于 2018-1-19 15:28
同意。几万*100，数据量也不大。数据放入数组，循环也用不了几秒

1000行原始数据，最后生成的结果数据将近100万行，如果不优化算法，一般计算机内存都不够用，几秒种内根本完不成。

chxw68 · 发表于 2018-1-20 19:23

帮楼主顶一下，期待高手现身。

On_fire · 发表于 2018-1-20 19:50

microyip 发表于 2018-1-20 17:04
我资质愚钝，没看懂说明，只是个人认为说明不清楚而已

老师您没错,

原来的截图跟模拟有点问题…

现在已经重新上传了…

On_fire · 发表于 2018-1-21 09:35

chxw68 发表于 2018-1-20 19:23
帮楼主顶一下，期待高手现身。

谢谢老师…
再顶一下…

648555205 · 发表于 2018-1-21 11:06

100列，3万行数据，300万个关键字，不重复的关键字大概有多少？

如果每一行与其他行有50%的概率出现相同的关键字，那就有3万*1.5万=4.5亿行的输出！
如果是10%的话，也有3万*0.3万=0.9亿行？
这样算应该没错吧。

如果输出的话，肯定要输出到txt，Excel放不下

所以这个重复的关键字概率大概有多大？

On_fire · 发表于 2018-1-21 11:34

648555205 发表于 2018-1-21 11:06
100列，3万行数据，300万个关键字，不重复的关键字大概有多少？

如果每一行与其他行有50%的概率出现相同 ...

谢谢老师…

对, 你的理解是对的!

数据的概率真的不知道, 因为还没有运算,
请帮帮忙, 分别做两个输出?

648555205 · 发表于 2018-1-21 13:50

我模拟了些数据测试了下，模拟数据控制在10%左右的重复，3000行100列花了300多秒！
3000行100列.JPG

如果数据量到了30000行，110列，光读取数据，到处理完前10条就花了近60秒了！后面就没测试了！看来还得优化算法，实在不会了！
30000行110列.JPG

不知道你真实数据跑起来会怎么样

MatchTest.zip (49 KB, 下载次数: 8)

On_fire · 发表于 2018-1-21 14:00

648555205 发表于 2018-1-21 13:50
我模拟了些数据测试了下，模拟数据控制在10%左右的重复，3000行100列花了300多秒！

感谢老师…

因我现在要出去一下, 晚上回来再测试一下数据…
稍后再向您报告…谢谢...

		自动登录	找回密码
密码			免费注册

[求助] 恳请! 算法高手…出手帮忙解难题…