恳请! 算法高手…出手帮忙解难题…

On_fire

648555205 发表于 2018-1-21 13:50
我模拟了些数据测试了下，模拟数据控制在10%左右的重复，3000行100列花了300多秒！

老师,

数据行数是36833, 但试不了, 有报错…溢位…,
请问代码 , 对格内的数字.文本(中文及英文).符号.个数等等, 有限制吗?

香川群子

代码写好了，但是只限于3万多行，100多列，不重复元素小于1万的计算条件。

运算中，按每一行计算、匹配、排序，输出本行结果为一个独立的txt文件。
结果如附件。

香川群子

microyip 发表于 2018-1-19 14:31
这个不就是排列组合的问题而已，论坛里有很多案例。把标题写得那么夸张“挑战”，最终还不是想找枪手？

对这个问题的理解是：

1. 循环遍历m行
   2. 以该行各个元素为检查对象，循环遍历所有其它行，记录元素匹配个数
   3. 按匹配个数最多、元素个数最多的顺序返回、输出查询结果

做法很简单，写个双循环（实质为行对行、列对列的4层循环）即可完成，
但是为了提高计算效率，需要做很多细致的算法改进。

最快和最慢的，可以相差几十到几千倍。

On_fire

香川群子 发表于 2018-1-22 16:22
对这个问题的理解是：

1. 循环遍历m行

谢谢…香川权威出手帮忙…

...膜拜!

648555205

On_fire 发表于 2018-1-22 13:40
老师,

数据行数是36833, 但试不了, 有报错…溢位…,

我代码里用的是int类型，不能超过32767

如果超过了，把Integer换long

On_fire

648555205 发表于 2018-1-22 18:40
我代码里用的是int类型，不能超过32767

如果超过了，把Integer换long

谢谢老师…

不好意思, 证明我是菜鸟...

用了小部分原始数据(500行, 100列)做测试…

时间用了250秒,

用FIND在原始数据, 找几个重复值, 再对比结果,

不知道为甚么, 发现输出的结果少了一些...

(即缺少一些有重复值的行)…

On_fire

香川群子 发表于 2018-1-22 16:22
对这个问题的理解是：

1. 循环遍历m行

香川老师,

思路是不是像你这个帖?

http://club.excelhome.net/thread-1145694-1-1.html

香川群子

On_fire 发表于 2018-1-23 10:56
谢谢老师…不好意思, 证明我是菜鸟...

用了小部分原始数据(500行, 100列)做测试…时间用了250秒,

500行100列的测试数据，上传附件。

我来测试一下。
估计应该是不含输出耗时0.05-0.5秒左右完成。
含输出到txt文件，大约1-10秒（具体和数据构成有关）

On_fire

香川群子 发表于 2018-1-23 13:54
500行100列的测试数据，上传附件。

我来测试一下。

谢谢老师, 请看看文件…

原始数据的其中一列, 共36832行,

请测试一下, 感觉这比较靠谱…

On_fire

On_fire 发表于 2018-1-23 14:12
谢谢老师, 请看看文件…
原始数据的其中一列, 共36832行, 请测试一下, 感觉这比较靠谱…

依35楼, 老师的建议, 把原代码所有的Integer换long

同样的数据(其中一列), 再运行一次, 没再比对结果, 时间用了2122秒 (约35分钟)