琢磨很长时间未果，只能请教大神，对计算效率有要求

天悦行空 · 发表于 2018-11-9 14:18

香川群子发表于 2018-10-31 08:12
好了，你的文件已经成功下载了。

但是打不开！！！

老师，这个能下载的吧？
链接：https://pan.baidu.com/s/1DeVH1clBVZPEPseJW5TGiw
提取码：tiek

香川群子 · 发表于 2018-11-12 14:55

天悦行空发表于 2018-11-9 14:18
老师，这个能下载的吧？
链接：https://pan.baidu.com/s/1DeVH1clBVZPEPseJW5TGiw
提取码：tiek

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
1 20501152 10250799 5118783 2559622 1281917 641801 321222 159901 80115 40380 20227 10026 5022 2537 1255 587 319 161 70 40 23 9 4 0 0
2 10247149 5124905 2569947 1282881 641220 320777 160505 80745 39962 20138 10208 5098 2484 1321 592 313 132 82 45 16 9 7 3 0 0
3 5123319 2564011 1281778 640660 319932 160874 80573 40218 20309 10033 5169 2521 1261 590 303 151 87 45 13 8 6 2 0 0 1
4 2557444 1283922 639661 319707 160607 80830 40237 20211 10027 5056 2505 1203 632 344 157 78 37 25 8 4 2 1 0 0 0
5 1281013 642747 320744 159757 80343 40365 19835 10030 5136 2522 1211 547 305 159 83 43 23 9 9 5 1 0 0 1 0
6 643117 321411 160080 79675 40091 19963 10213 5209 2570 1264 627 290 149 75 33 17 12 7 4 0 1 0 0 0 0
7 321306 160225 80294 40458 20392 9969 4970 2469 1239 589 290 153 83 39 20 11 5 2 2 1 0 0 0 0 0
8 160786 80291 40192 19789 10137 5063 2483 1252 685 340 134 69 32 21 9 4 2 1 0 0 0 0 0 0 0
9 80655 39658 20148 10016 5112 2579 1282 606 308 153 71 31 24 5 7 2 1 1 0 0 0 0 0 0 0
10 40197 20234 10082 5087 2504 1238 638 336 160 74 35 18 6 6 2 3 1 1 0 0 0 0 0 0 0
11 20212 10075 5064 2512 1336 676 288 183 92 46 19 8 3 4 1 1 0 0 1 0 0 0 0 0 0
12 9967 5054 2494 1207 653 328 135 68 33 16 9 6 2 1 0 0 0 1 0 0 0 0 0 0 0
13 5036 2505 1221 624 329 166 71 32 9 6 6 1 1 0 0 0 0 0 0 0 0 0 0 0 0
14 2467 1282 713 331 155 88 41 12 6 2 4 1 0 1 0 0 0 0 0 0 0 0 0 0 0
15 1195 619 317 172 82 47 11 11 4 0 1 1 1 0 0 0 1 0 0 0 0 0 0 0 0
16 611 302 156 63 40 24 6 2 4 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
17 302 166 70 44 17 11 5 4 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0
18 173 80 45 16 12 4 2 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
19 79 43 13 12 2 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
20 38 20 14 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
21 23 9 8 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
22 12 3 2 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
23 4 1 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
24 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
25 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

部分文件有328160行、500列。
打开二进制文件耗时40秒，计算耗时60秒。

香川群子 · 发表于 2018-11-12 15:57

本帖最后由香川群子于 2018-11-12 15:59 编辑

文件名       C:\Users\Lenovo\Documents\部分数据.xlsb
行数m       328160       最大数值       24       有效0个数       82014385
列数n       500       最大距离       25       总耗时       107.195s

香川群子 · 发表于 2018-11-12 16:09

天悦行空发表于 2018-10-8 21:24
大概90万行5000列，越到后面列运算数据越慢

看你的计算过程，只和行数有关，列数是无关的。

所以，如果数据很多，可以按100列分开保存，各自统计，最后合并结果就可以了。

香川群子 · 发表于 2018-11-12 16:12

天悦行空发表于 2018-10-16 11:36
香川老师，有解决办法不？

如果按90万行、100列为一个数据单位，把数据保存为二进制文件。

然后自动轮番读取，计算统计，估计总耗时在1个小时左右。

香川群子 · 发表于 2018-11-13 08:59

大文件下载了，仍然打不开。我的电脑内存资源不够。

天悦行空 · 发表于 2018-11-13 22:35

香川群子发表于 2018-11-13 08:59
大文件下载了，仍然打不开。我的电脑内存资源不够。

老师，先不用算大文件，方法我懂了，我电脑计算下，谢啦

		自动登录	找回密码
密码			免费注册

[求助] 琢磨很长时间未果，只能请教大神，对计算效率有要求

评分

评分

评分

评分