Single precision

Når en computer foretager beregninger, gemmes disse i arbejdslageret med en præcision (antal cifre), der er bestemt af den ordlængde, computeren arbejder med. Computeren siges pr. definition at arbejde i single precision. Et 32-bit ord kan repræsentere heltal i intervallet fra -2.147.483.648 til +2.147.483.647 (se også to-komplement). Hvis beregningerne er med decimaltal med fast kommaplacering, nedsættes intervallet væsentligt. Dette betyder, at hvis computeren foretager beregninger, der indeholder flere betydende cifre end angivet i intervallet, vil beregningerne blive foretaget med tilnærmede værdier. Anvendes sådanne tilnærmede tal i flere på hinanden følgende beregninger, akkumuleres fejlene, og resultatet kan i visse tilfælde være ubrugeligt. I sådanne tilfælde kan problemet ofte afhjælpes ved, at computeren udfører sine beregninger i double precision. Se også flydende tal og afrundingsfejl.