保留有效位数并四舍六入2004-11-26新*

apolloh · 发表于 2004-11-22 11:21

那再请问如果是0.09999有没有这个问题呢？

chenjun · 发表于 2004-11-22 14:22

0.09999按3位修约应表示为0.1000或用科学记数法1.000E-001 就是最前一位如果为9，修约后9进为10后有效数位就要多1位。

apolloh · 发表于 2004-11-22 14:27

这个修约该如何理解

hvN7Rnh3.rar (14.64 KB, 下载次数: 82)

chenjun · 发表于 2004-11-22 14:37

没有矛盾的，那是实验值计算用的修约法，就是本贴讨论的内容。没有指明最左位进位的情况，国标的实验数据处理规则中就特别指出了这点。

apolloh · 发表于 2004-11-22 14:46

以下是引用chenjun在2004-11-22 14:37:00的发言： 没有矛盾的，那是实验值计算用的修约法，就是本贴讨论的内容。没有指明最左位进位的情况，国标的实验数据处理规则中就特别指出了这点。

哦，我想要一份国标的了解一下，可以上传一份吗？谢谢！

chenjun · 发表于 2004-11-22 23:20

我没有找到现成的，你可以这样理解：有效数位修约就是针对实验或测量得到的数据的一种处理，其原则是要保持原来获得时的精度，数字修约的另一个用处是对实测数据进行计算后的结果的修约，这时应按误差分析的方法由参与计算的原始值的精度（有效位）来确定结果值的精度（有效位），计算后的结果值的精度是不能高与原始值精度的。如果有这样2个测量值，9.995mm、9.994mm，按3位有效数修约后分别为10.00和9.99，可以认为10.00和9.99的误差都不会大于0.005；如果修约成了10.0和9.99，那么前一个误差就被认为是不大于0.05后一个的误差是不大于0.005，这就使2个数的精度有了10倍的差距，这是和实际情况不一致的（实际上9.995mm、9.994mm只是测量读数上差了0.001mm）。

chenjun · 发表于 2004-11-24 13:12

还有问题，9.99999E+300按3位有效数被修约成了1.000E+33011

chenjun · 发表于 2004-11-24 23:56

3位有效数 9.9999999999999E+101成1.00E+102 9.9999999999E+101成1.000E+102 按前面我们讨论的要求后面一个是正确的。

apolloh · 发表于 2004-11-25 08:42

原数据太大且有效数位多于11位会出现无法进位的情况，也就是有效位的修正值很小到忽略不计。

也就是log(9.9999999999999E+101)=log(1.00E+102)=102,EXCEL有效位太多且修正值非常小的情况下excel把这两个数的位数同等对待了。 log(9.9999999999E+306)=306 < log(1.000E+306)=307,这个数虽更大，但有效位小，修正值相对要大(指有效位）这种情况就可以进位。

以上可能是EXCEL的限制吧，在偶的附件中有说明。

在试验过程中还发现一个限制，mod只能处理第一个参数为-268435454到-268435455之间的数据，否则返回#NUM，第二个参数小于1的好像也有限制，具体值没测出来。

所以偶用了Right取数值的个位数

chenjun · 发表于 2004-11-25 10:48

MOD函数对数值是有最大值的限制的。你还是要再想其他方法来实现。

		自动登录	找回密码
密码			免费注册