Plages, nombre de chiffres et précision des calculs
La plage de calcul, le nombre de chiffres utilisés pour le calcul en interne et la précision de calcul dépendent du type de calcul que vous effectuez.
Plage et précision des calculs
| Plage de calcul | ±1 × 10-99 à ±9,999999999 × 1099 ou 0 |
|---|---|
| Nombre de chiffres pour le calcul en interne | 15 chiffres |
| Précision | En général, ±1 dans le 10ème chiffre pour un calcul unique. La précision pour l’affichage exponentiel est ±1 dans le chiffre moins significatif. Les erreurs s’accumulent en cas de calculs consécutifs. |
Plages de saisie et précision des calculs de fonctions
| Fonctions | Plage de saisie |
|---|---|
| √x | 0 ≦ x < 1 × 10100 |
| x2 | |x| < 1 × 1050 |
| x-1 | |x| < 1 × 10100 ; x ≠ 0 |
| xy | x > 0 : -1 × 10100 < ylogx < 100 x = 0 : y > 0 x < 0 : y = n, 12n+1 (n est un entier) Cependant : -1 × 10100 < ylog |x| < 100 |
| a + b/c | Le total de l’entier, du numérateur et du dénominateur doit être de 10 caractères au maximum (signes de division compris). |
| °’ ” ← °’ ” |
a°b’c” : |a|, b, c < 1 × 10100 ; 0 ≦ b, c L’affichage de valeur des secondes est sujet à une erreur de ±1 à la deuxième position décimale. |
| |x| < 1 × 10100 Conversions décimale ↔ sexagésimale 0°0’0” ≦ |x| ≦ 9999999°59’ |
|
| heu | Conversions sexagésimale ↔ heure 0h ≦ |x| ≦ 9999999,999h |
| min | Conversions sexagésimale ↔ minute 0' ≦ |x| ≦ 599999999,9' |
| sec | Conversions sexagésimale ↔ seconde 0" ≦ |x| ≦ 9999999999" |
La précision est en principe comme indiqué dans « Plage et précision des calculs », ci-dessus.
Les calculs xy nécessitent des calculs internes consécutifs, ce qui peut provoquer une accumulation d’erreurs se produisant à chaque calcul.
L’erreur est cumulative et a la tendance à devenir très grande dans le voisinage de certains points singuliers et au point d’inflexion d’une fonction.
