王孙不归 2022-09-23 17:37 采纳率: 0%
浏览 5

ruby浮点除法结果错误(精度问题?)

问题遇到的现象和发生背景

ruby开发数值计算百分比

用代码块功能插入代码,请勿粘贴截图
p 1.0/3
p 10.0/3
p 100.0/3
p 1000.0/3
p 10000.0/3
p 100000.0/3

运行结果及报错内容

0.3333333333333333
3.3333333333333335
33.333333333333336
333.3333333333333
3333.3333333333335
33333.333333333336

我的解答思路和尝试过的方法

为啥会有这样基础的离谱计算错误呢?

  • 写回答

1条回答 默认 最新

  • _GX_ 2022-09-23 18:02
    关注

    在计算机内由于浮点数采用二进制表示且存储空间有限,不可能精确表示任意精度。一般float类型能精确到6位有效数字,double类型能精确到15位有效数字。这里的有效数字是从左边开始第一个非零数字开始计算。
    你上面显示的是17位数字,其中只有前面15位是有效的,后面的数字是有误差的。

    评论

报告相同问题?

问题事件

  • 创建了问题 9月23日

悬赏问题

  • ¥50 切换TabTip键盘的输入法
  • ¥15 关于#网络安全#的问题:求ensp的网络安全,不要步骤要完成版文件
  • ¥15 可否在不同线程中调用封装数据库操作的类
  • ¥15 微带串馈天线阵列每个阵元宽度计算
  • ¥15 keil的map文件中Image component sizes各项意思
  • ¥20 求个正点原子stm32f407开发版的贪吃蛇游戏
  • ¥15 划分vlan后,链路不通了?
  • ¥20 求各位懂行的人,注册表能不能看到usb使用得具体信息,干了什么,传输了什么数据
  • ¥15 Vue3 大型图片数据拖动排序
  • ¥15 Centos / PETGEM