タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

mathとdoubleに関するkoroharoのブックマーク (1)

  • Javaでの数値計算の誤差や限界値 - kmkのメモ帳

    int型の計算誤差 int型同士の[掛け算、足し算、引き算]で誤差が発生するのはint型の最大値を超えてしまった場合か、最小値を下回ってしまった場合のみです。尚、当たり前ですが少数点を含む数値はだめです。整数に限ります。 int型の最大値 = 2147483647 int型の最小値 = -2147483648 この値を超えないよう注意さえすればint型では掛け算、足し算は誤差なく実施できます。 ただし、int型は小数点を切り捨てるため、割り算では大抵誤差が発生します。 例:1/2 = 0.5 0.5はint型では0として扱われるため 1/2 = 0 となってしまう。 double型の誤差について double型では値を格納する際に誤差が発生する可能性があります。 そのため、どのような計算でも誤差が発生する可能性があります。 尚、double型が扱える範囲は 最大値 1.79...E+308

  • 1