dhqh7231017 发表于 2015-8-8 10:27:46

请问 Numeric 定义的精度是多少

    Numeric一个参数或变量后，例如 Numeric X（0.1512)  用commentary观察发现变量或参数被自动截断为0.15。 这是什么原因？ 如何使用这个默认值0.1512。  谢谢

xiaoxiao8 发表于 2015-8-10 11:27:53

参数精度只支持2位小数，如需更多精度，可乘上一定倍数来实现。例如：我们要传入的数据为1.234567，
实际上TB里只接受2位精度为1.23，如果想要保留小数部分，则我们将它乘上10000后，可以得到12345.67，
将12345.67放到参数里，在函数里再除以10000后，即可还原所需要的数据。

dhqh7231017 发表于 2015-8-10 12:27:16

xiaoxiao8 发表于 2015-8-10 11:27
参数精度只支持2位小数，如需更多精度，可乘上一定倍数来实现。例如：我们要传入的数据为1.234567，
实际上 ...

谢谢
页: [1]
查看完整版本: 请问 Numeric 定义的精度是多少